12. Rn als EUKLIDISCHER VEKTORRAUMismi/boeinghoff/12.EuklidischeRaeume.pdf · Orthogonalit at in...
Transcript of 12. Rn als EUKLIDISCHER VEKTORRAUMismi/boeinghoff/12.EuklidischeRaeume.pdf · Orthogonalit at in...
12. Rn als EUKLIDISCHER VEKTORRAUM
1
Orthogonalitat in der Ebene.
Die Vektoren in der Ebene, die (im ublichen Sinne) senkrecht zu
einem Vektor x = (x1, x2)T stehen, lassen sich leicht angeben.
Sie haben die Koordinaten
(y1y2
)=
(x2−x1
)
und Vielfache davon.
2
x1
x2
y2
y1
y1 = −x2
y2 = x1
3
Algebraisch ausgedruckt:
Die Vektoren (x1, x2)T und (y1, y2)T stehen aufeinander senk-
recht, falls gilt
y1 = −λx2 , y2 = λx1
fur einen Skalar λ.
Viel klarer ist folgende Umformulierung:
x1y1 + x2y2 = 0
4
Dies fuhrt uns zum Skalarprodukt zweier Vektoren x,y in der
Ebene:
〈x,y〉 =⟨(x1
x2
),
(y1y2
)⟩:= x1y1 + x2y2
Wir halten fur die Orthogonalitat von x,y fest:
x ⊥ y ⇔ 〈x,y〉 = 0
5
Auch die Lange |x| eines Vektors x = (x1, x2)T lasst sich mit dem
Skalarprodukt bestimmen. Nach Pythagoras gilt
|x|2 = x21 + x2
2 = 〈x,x〉
6
x1
x2|x|
|x|2 = x21 + x2
2
7
Zudem gilt fur Winkel ϕ zwischen zwei Vektoren x,y 6= 0
cosϕ =〈x,y〉|x| · |y|
(Diese Formel begrunden wir hier nicht, wir brauchen sie nicht
mehr.)
8
Skalarprodukte ermoglichen in Vektorraumen Langen- und Win-
kelmessungen!
Vektorraume, die mit einem Skalarprodukt versehen sind, heißen
Euklidische Vektorraume
Auf die charakteristischen algebraischen Eigenschaften von Ska-
larprodukten kommen wir zuruck.
9
Im R3 sind die Verhaltnisse analog.
Langen und Orthogonalitat lassen sich entsprechend charakteri-
sieren:
10
Die Lange von Vektoren:
|x′|x3
x2x1
x
x′
|x|
zweimal Pythagoras
|x|2 = |x′|2 + x23
|x′|2 = x21 + x2
2
ergibt
|x|2 = x21 + x2
2 + x23
11
Orthogonalitat von Vektoren:
|y|
|x + y|
|x|
nochmal Pythagoras:
x ⊥ y, falls
|x|2 + |y|2 = |x + y|2
12
Das ergibt die Gleichungen
|x|2 = x21 + x2
2 + x23
|y|2 = y21 + y2
2 + y23
und
|x + y|2 = (x1 + y1)2 + · · ·+ (x3 + y3)2
= (x21 + 2x1y1 + y2
1) + · · ·+ (x23 + 2x3y3 + y2
3)
= |x|2 + |y|2 + 2(x1y1 + x2y2 + x3y3)
und folglich
|x|2 + |y|2 = |x + y|2 ⇔ x1y1 + x2y2 + x3y3 = 0
13
Definition:Das (Standard-)Skalarprodukt zweier Vektoren x = (x1, . . . , xn)T ,y = (y1, . . . , yn)T im Rn ist gegeben durch
〈x,y〉 = x1y1 + · · ·+ xnyn
Die Vektoren heißen orthogonal, falls 〈x,y〉 = 0. Wir schreibendann
x ⊥ y
Die Lange oder Norm von x ist gegeben durch
|x| =√〈x,x〉 =
√x2
1 + · · ·+ x2n
14
Skalarprodukte erfullen die Rechenregeln (nachrechnen!):
1. Bilinearitat
〈λ′x′+ λ′′x′′,y〉 = λ′〈x′,y〉+ λ′′〈x′′,y〉〈x, λ′y′+ λ′′y′′〉 = λ′〈x,y′〉+ λ′′〈x,y′′〉
2. Symmetrie
〈x,y〉 = 〈y,x〉
3. Positive Definitheit
〈x,x〉 ≥ 0
und
〈x,x〉 = 0 ⇔ x = 0
15
Orthogonale Projektionen.
Sei U ein Untervektorraum im Rn.
Wir konnen nun einen beliebigen Vektor x ∈ Rn auf U senkrecht
projizieren.
16
x
U
P (x)
17
Der Bildpunkt von x bezeichnen wir als
P (x) = PU(x)
Orthogonales Projezieren bedeutet, dass die Differenz x − P (x)senkrecht auf U steht. Die Projektion lasst sich also charakteri-sieren durch die Bedingung
x− P (x) ⊥ u fur alle u ∈ U
oder auch durch die aquivalente Bedingung
|x− P (x)| ≤ |x− u| fur alle u ∈ U
(nach Pythagoras gilt namlich |x− P (x)|2 + |P (x)− u|2 = |x− u|2).
18
Beispiel.
Sei U der von den Vektoren
b1 = (1,1,1)T , b2 = (1,2,0)T
im R3 aufgespannte Untervektorraum und sei
x = (0,2,3)T
Die Projektion P (x) = λ1b1 + λ2b2 erfullt die”
Normalgleichun-
gen“
〈x− P (x),b1〉 = 〈x− P (x),b2〉 = 0
19
oder
(0− λ1 − λ2) · 1 + (2− λ1 − 2λ2) · 1 + (3− λ1) · 1 = 0
(0− λ1 − λ2) · 1 + (2− λ1 − 2λ2) · 2 = 0
oder
5− 3λ1 − 3λ2 = 0
2− 3λ1 − 5λ2 = 0
oder
λ1 =19
6, λ2 = −
3
2also
P (x) =19
6
111
− 3
2
120
=
5/31/6
19/6
20
Beispiel: Lineare Regression.
t1 t2 t3 t4
x1
x2x3
x4
α+ βt
An Datenpunkte
x1, . . . , xn
sollen Punkte auf einer Geraden
α+ βt1, . . . , α+ βtn
angepasst werden.
t1, . . . , tn sind gegeben,
α, β sind zu bestimmen.
21
Der fruhe Vorschlag von Laplace, α und β so zu wahlen, dass
n∑i=1
|xi − (α+ βti)|
minimal wird, ist nicht gut handhabbar und auch geometrisch
schwer zu interpretieren.
Nach Gauss und Legendre trifft man die Wahl besser so, dass
n∑i=1
(xi − (α+ βti)
)2
minimal wird.
”Methode der kleinsten Quadrate“
22
Um die geometrische Bedeutung zu verstehen, betrachen wir im
Rn den”
Daten“vektor
x = (x1, . . . , xn)T
und den Untervektorraum der Dimension 2
U = {(α+ βt1, . . . , α+ βtn)T | α, β ∈ R}
Dann gilt fur u = (α+ βt1, . . . , α+ βtn)T
|x− u|2 =n∑i=1
(xi − (α+ βti)
)2
23
Nach der Methode der kleinsten Quadrate bestimmt man also
als Losung des Regressionsproblems die orthogonale Projektion
P (x) von x auf U.
Die Losung ist leicht bestimmt:
U wird von den beiden Vektoren (wahle α = 1, β = 0 und α =
0, β = 1)
b1 = (1, . . . ,1)T , b2 = (t1, . . . , tn)T
erzeugt, d.h.
U = L(b1,b2)
24
Es gilt also fur P (x) = (α+ βt1, . . . , α+ βtn)T⟨x− (α+ βt1, . . . , α+ βtn)T ,b1
⟩= 0⟨
x− (α+ βt1, . . . , α+ βtn)T ,b2
⟩= 0
bzw. nach Definition des Skalarproduktes
n∑i=1
(xi − (α+ βti)) · 1 = 0
n∑i=1
(xi − (α+ βti)) · ti = 0
25
Wir erhalten fur α, β die”
Normalgleichungen“
n∑i=1
xi − nα− βn∑i=1
ti = 0
n∑i=1
tixi − nαn∑i=1
ti − βn∑i=1
t2i = 0
Es lohnt nicht, sie sich im Einzelnen zu merken, man sollte eher
ihre Entstehung aus der orthogonalen Projektion nicht vergessen.
26
Die Losungen bestimmen sich als (nachrechnen!)
β =
n∑i=1
tixi − ntxn∑i=1
t2i − nt2=
n∑i=1
(ti − t)(xi − x)
n∑i=1
(ti − t)2
α = x− βt
mit
t =1
n
n∑i=1
ti , x =1
n
n∑i=1
xi
27
Beispiel: Die Cauchy-Schwarz Ungleichung.
Wir projizieren nun einen Vektor x ∈ Rn auf einen eindimensio-nalen Unterraum
U = L(b)
erzeugt von dem Vektor b 6= 0 (also auf eine”
Gerade“). Da dieProjektion P (x) zum Unterraum gehort, gilt fur ein Skalar λ
P (x) = λb
Außerdem gilt x− P (x) ⊥ b, bzw.
〈x− P (x),b〉 = 〈x− λb,b〉 = 0
28
b
U
P (x) = λb
x
29
Mit den Rechenregeln fur das Skalarprodukt folgt
〈x,b〉 − λ〈b,b〉 = 0 bzw. λ =〈x,b〉|b|2
Eingesetzt in P (x) = λb erhalten wir
P (x) =〈x,b〉|b|2
b
30
Fur die Norm der Projektion folgt
|P (x)|2 = 〈P (x), P (x)〉 = λ2〈b,b〉 = λ2|b|2 =〈x,b〉2
|b|4|b|2
oder auch
|P (x)||x|
=|〈x,b〉||x| · |b|
Wegen |P (x)| ≤ |x| erhalten wie die
Cauchy-Schwarz Ungleichung:
|〈x,b〉| ≤ |x| · |b|
31
Die Projektion als Abbildung.
Die Projektionsabbildung
x 7→ P (x)
auf U ist eine lineare Abbildung, mit dem Bildraum
RP = U
32
Der Nullraum besteht aus allen Vektoren x, die bei Projektion
auf 0 abgebildet werden, also schon senkrecht auf U stehen,
NP = {x ∈ Rn | x ⊥ u fur alle u ∈ U}
Man schreibt
NP = U⊥
33
x
U = RPU⊥ = NP
34
Definition:
Fur einen Unterraum U in einem Euklidischen Vektorraum V mit
Skalarprodukt 〈·, ·〉 ist das orthogonale Komplement definiert als
U⊥ := {x ∈ V | x ⊥u fur alle u ∈ U}
das ist die Menge aller Vektoren senkrecht zu U,
anders ausgedruckt, alle Vektoren, die auf den Ursprung 0 proji-
ziert werden.
35
Eigenschaften des orthogonalen Komplements.
1. (U⊥)⊥ = U.
2. Jeder Vektor x ∈ V gestattet eine eindeutige Zerlegung
x = u + u⊥ mit u ∈ U ,u⊥ ∈ U⊥
mit u = PU(x), u⊥ = PU⊥(x). Man schreibt
U ⊕ U⊥ = V
3. Insbesondere
dim(U) + dim(U⊥) = dim(V)
36