Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Methodenlehre III, WS 2010/2011
Prof. Dr. Holger Dette
Ruhr-Universitat Bochum
17. Januar 2011
1 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Methodenlehre III
I Prof. Dr. Holger DetteI NA 3/73I Telefon: 0234 322 8284I Email: [email protected] Internet: www.ruhr-uni-bochum.de/mathematik3/index.htmlI Vorlesung: Montag, 8.30–10.00 Uhr, HGA 20I Thema: Modelle der Faktorenanalyse, Clusteranalyse, logistische
Regression und ihre Anwendungen in der Psychologie
2 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Statistik-Team
I Ubung: Freitag, 8.30–10.00 Uhr, HGA 30 (ab 22.10.)Tobias Kley: [email protected] 3/76, Tel. 0234 32 23310
I Tutorium: SPSS
Nathalie Fritsch: [email protected] 04/615, Mo. (wtl.) 10.00–12.00 Uhr (ab 25.10.)
Max Willenberg: [email protected] 1/128 (CiP-Insel), Di (3-wtl.) 10.00–16.00 Uhr (ab 26.10.)
Igor Ivanov: [email protected] 04/271, Fr (wtl.) 12.00–14.00 Uhr (ab 29.10.)
I Koordination Tutorium
Lars Kuchinke: [email protected] 02/278, Tel. 0234 32 22677
3 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Ubungsaufgaben
I Zwei Kommentare aus der Evaluation zu Methodenlehre II:
I Falls es gewunscht wird, konnen in Erganzung zu denUbungsaufgaben in Blackboard
I (sehr einfache) Fragen zur Vorlesung gestellt undI Eckpunkte der Losung zu den Ubungaufgaben abgefragt
und die Antworten automatisiert bewertet werden.
4 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Ubungsaufgaben
I Die Aufgaben waren in einem begrenzten Zeitraum (ein bis zweiWochen) zu bearbeiten.
I Wer sich jede Woche mit dem Stoff auseinander setzt und dieFragen (richtig) beantwortet kann hierfur bis zu funfBonusprozent in der Semesterabschlussklausur bekommen.
I Beispiel: 63 von 93 Punkten (67.7%) bei denBlackboardaufgaben, entsprechen +4% fur die Klausur 52% statt 48% oder 100% statt 100%.
I Beispiel: 0 von 93 Punkten (0%) bei den Blackboardaufgaben,entsprechen 0% fur die Klausur 48% statt 48% oder 100% statt 100%.
Die Aufgaben waren also weiterhin optional.Aber: Wer sie bearbeitet, profitiert doppelt.
? Wird diese Losung von der Mehrheit gewunscht?
5 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression1. Einige (sehr kurze) Vorbemerkungen zur
Matrizenrechnung
6 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Abbildungen von Vektoren
Beispiel:
I Es seien
x1 =
(12
); x2 =
(−13
); x3 =
(1−2
)Vektoren und
A =1√2
(1 −11 1
)eine (quadratische) Matrix
I Durch Multiplikation der Vektoren x1, x2, x3 mit der Matrix Aergeben sich ”neue“ Vektoren.
7 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Abbildungen von Vektoren
I Durch Multiplikation der Vektoren x1, x2, x3 mit der Matrix Aergeben sich ”neue“ Vektoren:
x1 =
(12
)→ y1 = Ax1 = 1√
2
(−13
)x2 =
(12
)→ y2 = Ax3 = 1√
2
(−43
)x3 =
(12
)→ y3 = Ax3 =
(3−1
)I Die Punkte y1, y2, y3 erhalt man aus x1, x2, x3 durch eine
Drehung um 45% gegen den Uhrzeigersinn.I Die obige Matrix beschreibt also eine Drehung.
8 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
X3
X1
X2
Y1
Y3
Y2
9 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beachte:
I Bei der obigen Drehung andern alle Vektoren ihre Richtung.I Betrachtet man eine andere Matrix, z. B.
B =
(1 22 1
)so erhalt man durch Multiplikation der Vektoren x1, x2, x3 mitder Matrix B die neuen Vektoren:
y1 = Bx1 =
(54
); y2 = Bx2 =
(51
); y3 = Bx3 =
(−30
)I In diesem Fall andert sich auch die Lange der Vektoren!I
”Jede“ Matrix beschreibt eine Abbildung, die den Punkten derEbene neue Punkte zuordnet.
10 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
X3
X1
X2
Y1
Y3
Y2
11 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Frage: Gibt es Vektoren, die bei Multiplikationmit einer Matrix ihre Richtung nicht andern?
I Fur die Matrix A gibt es solche Vektoren nicht!I Fur den Vektor
x∗1 =
(11
)gilt:
Bx∗1 =
(1 22 1
)·(
11
)=
(33
)= 3
(11
)= 3x∗
1
I Fur den Vektorx∗
2 =
(1−1
)gilt:
Bx∗2 =
(1 22 1
)·(
1−1
)=
(−11
)= (−1)
(1−1
)= (−1)x∗
2
D. h. Fur die Matrix B existieren solche Vektoren (man beachte: wiridentifizieren die Richtung von Bx∗
2 und x∗2 als dieselbe)!
12 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
X1
X2
Y1
Y2
13 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
1.1 DefinitionIst A eine n × n Matrix und x ein n-dimensionaler Vektor, dann heißtx Eigenvektor der Matrix A zum Eigenwert λ, falls die Gleichung
Ax = λx
erfullt ist.
Beachte:I Mit x ist auch jedes Vielfache von x Eigenvektor.
I Die Matrix A hat immer n Eigenwerte λ1, . . . , λn (diese sindnicht notwendig reelle Zahlen).
I Symmetrische Matrizen (A = AT ) haben reelle Eigenwerte. Z. B.ist die Matrix aller Korrelationen von beobachteten Variablensymmetrisch!
I Die Berechnung von Eigenwerten und Eigenvektoren ist nichteinfach und wird in dieser Vorlesung nicht besprochen.
14 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
1.2 Determinante einer quadratischen Matrix
I Bezeichnung: Ist A eine n × n Matrix und sind λ1, . . . , λn dieEigenwerte von A, dann heißt die Große
| A |= λ1 · λ2 · . . . · λn =n∏
j=1λj
Determinante der Matrix A
I Beachte: Eigenwerte und Determinanten werden nur furquadratische Matrizen definiert (Zeilenzahl = Spaltenzahl)
15 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression2. Faktorenanalyse
16 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
2.1 Grundlegende/einleitende Bemerkungen zurFaktorenanalyse
I Die Faktorenanalyse ist ein Sammelbegriff fur eine Reihe vonexplorativen Verfahren, um fur wechselseitige Beziehungen
”vieler“ Variablen ein ”einfaches Erklarungsmodell“ zubestimmen
I Typisches Beispiel: Schulnoten (≥ 10 inklusive Kopfnoten)
”Erklarung“ durch ”Intelligenz“ und ”Disziplin“.Man Beachte: Die Großen ”Intelligenz“ und ”Disziplin“ sindnicht direkt beobachtbar
I Ziel: Aus der Korrelationsmatrix der beobachtbaren Variablensollen ”moglichst wenige“, ”wechselseitig voneinanderunkorrelierte“ Faktoren extrahiert werden, sodass
I moglichst wenig Information uber die beobachteten Variablenverloren geht
I sich eine ”interpretierbare“ Struktur ergibt, durch die dieFaktoren bezuglich der gemeinsamen Anteile derAusgangsvariablen benannt werden konnen
17 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
I Das Ergebnis der Faktorenanalyse sind ”wechselseitigvoneinander unkorrelierte“ Faktoren, die die Zusammenhangezwischen den beobachtbaren Variablen erklaren
I In dieser Vorlesung betrachten wir ”nur“ ein Verfahren derFaktorenanalyse:
Hauptkomponentenanalyse (PCA: principal componentanalysis)
I Es gibt viele andere Verfahren der Faktorenanalyse, die sich vorallem aus anderen Modellannahmen ableiten. Z. B.
I Explorative FaktorenanalyseI Image AnalyseI Kanonische Faktorenanalyse
18 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Heuristisches Prinzip:
I Schritt 1:I Aus den Korrelationen der gemessenen Variablen wird eine
”synthetische“ Variable (Faktor) konstruiert, die mit allengemessenen Variablen ”moglichst hoch korreliert“ ist.
I Dieser Faktor ist also eine theoretische (nicht beobachtbare)Variable.
I Die Partialkorrelationen bzgl. dieses Faktors erfassen diejenigenZusammenhange, die durch den Faktor nicht erklart werdenkonnen.
I Schritt 2:I Aus den Restkorrelationen wird dann mit derselben Methode ein
weiterer Faktor bestimmt, derI mit dem ersten Faktor unkorreliert ist.I die verbleibenden Zusammenhange moglichst gut erklart.
Dieses Verfahren wird dann fortgesetzt.
Wie wird das gemacht?
19 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
2.2 Das Grundprinzip des Faktormodells in einemBeispiel
I Klausurergebnisse in 5 Fachern (Mechanik, Vektorrechnung,Algebra, Analysis, Statistik)
I In den Klausuren zur Algebra (x3), Analysis (x4) und Statistik(x5) konnten wahrend der Klausur Bucher verwendet werden,(O: open book); in den Klausuren zur Mechanik (x1) undVektorrechnung (x2) nicht (C: closed book).
I Daten (Ergebnisse in Punkten)C O
x1 x2 x3 x4 x577 82 67 67 8163 78 80 70 8175 73 71 66 8155 72 63 70 68...
......
......
I Datensatz unterwww.rub.de/mathematik3/lehre/ws1011/methodenlehre3.htmlverfugbar
20 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Korrelationsmatrix fur das Beispiel derKlausurergebnisse
1 0553 0.547 0.410 0.389
1 0.610 0.485 0.4371 0.711 0.665
1 0.6071
Beachte: Es bestehen Korrelationen zwischen allen Variablen!
I”kleinste“ Korrelation besteht zwischen den Ergebnissen derKlausuren in Mechanik und Statistik (x1 und x5)
I”großte“ Korrelation besteht zwischen den Ergebnissen derKlausuren in Algebra und Analysis (x3 und x4)
21 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beachte:
I xmi bezeichne das Ergebnis des m-ten Studenten in Klausur i(i = 1, . . . , 5 m = 1, 2, . . . , 87)
I Es ist zu erwarten:
(1) dass eine Korrelation zwischen den verschiedenen Klausurenbesteht. Die Ergebnisse konnten z. B. von der ”Intelligenz“ odereiner anderen nicht beobachtbaren Eigenschaft der Kandidatenabhangen. Diese Eigenschaft der Person m wird mit fmbezeichnet.
(2) dass das Ausmaß dieser Eigenschaft fur die Bearbeitung derverschiedenen Klausuren unterschiedlich ist. Das Ausmaß, indem diese Eigenschaft fur die Bearbeitung der Klausur ierforderlich ist, wird mit ai bezeichnet.
22 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Mathematische Annahme: Faktormodell
xm1 = fma1xm2 = fma2xm3 = fma3xm4 = fma4xm5 = fma5
+ Rest
D. h. das Klausurergebnis xmi (des m-ten Studenten im Fach i) setzt
sich als Produkt zusammen aus
I der Eigenschaft (z. B. der allgemeinen Intelligenz) der m-tenPerson (fm) (man spricht von einem Faktor)
undI dem Ausmaß einer Eigenschaft (z. B. der allgemeinen
Intelligenz), das fur die Bearbeitung der Klausur i in diesemFach erforderlich ist (ai ).
I Beachte: Der Faktor wird ”mathematisch“ konstruiert und seineInterpretation (z. B. als allgemeine Intelligenz) erfolgt erst spater.
23 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beachte: Es kann weitere Faktoren geben!
Beispiel:
I Mit einer Eigenschaft (z. B. der allgemeinen Intelligenz) sind dieKlausurergebnisse nicht eindeutig bestimmt und es bleibt oft einnicht erklarbarer ”Rest“ (man beachte, dass der Rest fur jedeKlausur ein anderer ist).
I Zum Beispiel konnten Klausuren mit Buchbenutzung andereEigenschaften erfordern als Klausuren ohne Buchbenutzung,z. B. ”Disziplin“ (um etwas auswendig zu lernen).
I Es ist daher in vielen Fallen sinnvoll einen weiteren (und evtl.auch mehrere) Faktor(en) einzufuhren. In der Regel sucht mannach moglichst wenigen Faktoren.
24 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Ein zweiter Faktor:I Bezeichnet man
I die Auspragung des ersten Faktors (z. B. der allgemeinenIntelligenz) der Person m mit fm1
I das Ausmaß, in dem die Klausur i den ersten Faktor (z. B.allgemeine Intelligenz) erfordert mit ai1
I die Auspragung des zweiten Faktors (z. B. der ”Disziplin“) derPerson m mit fm2
I das Ausmaß, in dem die Klausur i den zweiten Faktors (z. B. die
”Disziplin“) erfordert mit ai2
so erhalt man das folgende Modellxm1 = fm1 · a11 + fm2 · a12xm2 = fm1 · a21 + fm2 · a22xm3 = fm1 · a31 + fm2 · a32xm4 = fm1 · a41 + fm2 · a42xm5 = fm1 · a51 + fm2 · a52
+ Rest
I Die Fahigkeit, die Klausur zu bearbeiten, stellt sich alsgewichtete Summe aus den Komponenten Intelligenz undDisziplin dar.
I Diese beiden Großen bezeichnen wir als Faktoren25 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
2.3 Das allgemeine Faktormodellxmi = fm1 · ai1 + . . .+ fmq · aiq + Rest =
∑qj=1 fmj · aij + Rest
(m = 1, . . . , n i = 1, . . . , p)
Interpretation:I n ist die Anzahl der Versuchsperson; p bezeichnet die Anzahl der
Variablen/Merkmale, die bei jeder Versuchsperson gemessenwerden.
I xmi reprasentiert die i-te Komponente der Messung fur dieVersuchsperson m (im Beispiel: Klausurergebnis fur Klausuri = 1, . . . , p = 5)
I fmj Auspragung der Person m mit dem Faktor j (j = 1, . . . , q)I q bezeichnet die Anzahl der Faktoren (im Beispiel ist - bis jetzt -
q = 2)I Beachte: Im mathematischen Modell sind
f1 = (f11, . . . , f1q), f2 = (f21, . . . , f2q), . . . , fn = (fn1, . . . , fnq)
Zufallsvariable (genauer Zufallsvektoren), deren KomponentenVarianz 1 haben. Außerdem wird angenommen, dass dieseZufallsvariablen unabhangig sind.
26 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
2.3 Das allgemeine Faktormodell
xmi = fm1 · ai1 + . . .+ fmq · aiq + Rest =∑q
j=1 fmj · aij + Rest
(m = 1, . . . , n i = 1, . . . , p)
Interpretation:I aij ”Bedeutung“ des j-ten Faktors fur die Variable xi (im Beispiel
die Bedeutung von Intelligenz (j = 1) bzw. Disziplin (j = 2) furdas Klausurergebnis in den 5 Fachern, d. h. i = 1, . . . , 5).
I Die Großen aij bezeichnet man auch als FaktorladungenI In der Regel ist q wesentlich kleiner als p
(→ Dimensionsreduktion) und aus diesem Grund steht in derobigen Gleichung ”immer“ ein ”Rest“.
Wie bestimmt man die Faktoren und die Faktorladungen?
27 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Matrixschreibweise des allgemeinenFaktormodells
X =
x11 . . . x1p...
. . ....
xn1 . . . xnp
; F =
f11 . . . f1q...
. . ....
fn1 . . . fnq
A =
a11 . . . a1q...
. . ....
ap1 . . . apq
; AT =
a11 . . . ap1...
. . ....
a1q . . . apq
Matrixschreibweise des allgemeinen Faktormodells
X = F · AT
Beachte:I X ist n × p Matrix (die Datenmatrix)I F ist n × q MatrixI AT ist q × p Matrix
28 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Matrixschreibweise des allgemeinenFaktormodells
X = F · AT
Beachte:I X ist n × p MatrixI F ist n × q MatrixI AT ist q × p MatrixI Die Darstellung ist nicht eindeutig: ist V eine invertierbare
q × q Matrix mit V · V−1 = Iq, so gilt
X = F · AT = F · Iq · AT = F · V · V−1 · AT = F · AT
mit F = F · V ; AT = V−1AT .I Oft interessiert man sich fur solche Matrizen, fur die V−1 = V T
gilt (solche Matrizen, genauer die durch sie beschriebenenAbbildungen bezeichnet man als orthogonale Rotation)
29 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
2.4 Bestimmung der Faktoren fur das Beispielvon 2 Variablen
I 3 Daten
P1 =
(x11x12
)=
(12
); P2 =
(x21x22
)=
(01
); P3 =
(x31x32
)=
(−1−3
)
X1
P2
X2
P1
P3
30 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Kenngroßen der Daten
x ·1 =13
3∑j=1
xj1 = 0 ; x ·2 =13
3∑j=1
xj2 = 0
s2x1
=13
3∑j=1
(xj1 − x ·1)2 =23
s2x2
=13
3∑j=1
(xj2 − x ·2)2 =143
s2x1
+ s2x2
=163
s2x1,x2
=13
3∑j=1
(xj1 − x ·1)(xj2 − x ·2) =53
31 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Gesucht: ”Neues“ Koordinatensystem mit der folgenden Eigenschaft:
I In dem neuen Koordinatensystem hat die erste Koordinate derDatenpunkte moglichst große und die zweite Koordinatemoglichst kleine Varianz
I Beispiel 1: Drehung der Achsen um 90◦
X1
P2
X2
P1
P3
32 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel 1: Drehung der Achsen um 90◦ (nicht optimal)Beachte:
I In dem neuen Koordinatensystem haben die Punkte dieKoordinaten
P1 =
(y11y12
)=
(−21
); P2 =
(y21y22
)=
(−10
);
P3 =
(y31y32
)=
(3−1
)I Die Varianz der ersten Koordinate wird deutlich vergroßert
y ·1 =13
3∑j=1
yj1 = 0 ; y ·2 =13
3∑j=1
yj2 = 0
s2y1
=13
3∑j=1
(yj1 − y ·1)2 =143
s2y2
=13
3∑j=1
(yj2 − y ·2)2 =23 ; s2
y1+ s2
y2=
163
s2y1,y2
=13
3∑j=1
(yj1 − y ·1)(yj2 − y ·2) = −53
33 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel 2: Drehung um 45◦ (besser als am Anfang - aber nichtoptimal!)
X1
P2
X2
P1
P3
34 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel 2: Drehung der Achsen um 45◦ (besser - aber nichtoptimal!)
I In dem neuen Koordinatensystem haben die 3 Punkte dieKoordinaten
P1 =
(y11y12
)=
(3√2
1√2
); P2 =
(y21y22
)=
(1√2
1√2
);
P3 =
(y31y32
)=
(−2√
2−√
2
)I Beachte: In diesem Fall wird die Varianz der ersten Koordinate
nicht weiter vergroßerty ·1 = 0 ; y 20 = 0
s2y1
=13
3∑j=1
(yj1 − y ·1)2 =133
s2y2
= 1 ; s2y1
+ s2y2
=163
s2y1,y2
=13
3∑j=1
(yj1 − y ·1)(yj2 − y ·2) = 2
35 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel 3: Drehung um 70.0972◦ (optimal!)
X1
P2
X2
P1
P3
36 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel 3: Drehung um 70.0972◦ (optimal!)I In diesem Koordinatensystem haben die 3 Punkte die
Koordinaten
P1 =
(y11y12
)=
(2.22−0.26
); P2 =
(y21y22
)=
(0.940.34
);
P3 =
(y31y32
)=
(−3.16−0.08
)I In diesem Fall ist die Varianz der ersten Koordinate maximal und
die der zweiten Koordinate minimal
y 1· = 0 ; y 2· = 0 ; s2y1
= 5.27009 ; s2y2
= 0.06324
s2y1
+ s2y2
=163 , s2
y1,y2= 0
I Die beiden neuen Achsen nennt man Faktoren. Offensichtlichkann der großte Teil der Varianz der beiden Variablen durch nureinen Faktor erklart werden!
I Durch die orthogonale Rotation wurden Koordinaten eingefuhrt,in denen die Daten unkorreliert sind.
37 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
2.5 Das Prinzip der Faktor- (Hauptkomponenten)analyse im allgemeinen FallMethode:
I In der Regel wird die Faktorenanalyse mit der Korrelationsmatrixdurchgefuhrt d. h. die Daten werden zunachst z-standardisiert
I Mit der Hauptkomponentenanalyse bestimmt man fur diep Variablen durch Drehungen ein neues Koordinatensystem:
I Schritt 1: Die erste Achse (Faktor) wird so gewahlt, dass dieProjektionen der Daten auf diese Achse maximale Varianz haben
I Dadurch wird ein Teil der Gesamtvarianz durch den erstenFaktor erklart
I Schritt 2: Die zweite Achse wird orthogonal (senkrecht) zu derersten Achse so gewahlt, dass von der Restvarianz ein moglichstgroßer Anteil erklart wird (man beachte, dass im Beispiel 3.4p = 2 ist und dadurch die zweite Achse festgelegt ist)
I Schritt 3, 4, . . . : Das Verfahren wird in dieser Weise fortgesetzt.
38 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beachte:I Die neuen Achsen erklaren sukzessive maximale Varianz.I Mathematisch bestimmt man dafur die Eigenwerte und
Eigenvektoren der Korrelationsmatrix der Daten.I Die neuen (optimalen) Achsen bezeichnet man als Faktoren.
Die neuen Koordinaten ymi werden noch durch einez-Transformation standardisiert. D. h. man ersetzt
ymi durch zmi =ymi − y ·i
syi
,
und die transformierten Werte heißen Faktorwerte. Diese Wertesind die Koordinaten der Daten bzgl. der neuen Achsen undgeben Auskunft, wie stark die Merkmale in dem jeweiligenFaktor ausgepragt sind.
I Die Faktorladungen aij sind die Korrelationen zwischen denFaktorwerten fur den j-ten Faktor und den Messungen derVariablen xi . D. h. a2
ij ist der Anteil der Varianz, der Variablen xi ,der durch j-ten Faktor erklart werden kann!
39 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Weitere BezeichnungenI Die Große
λj =
p∑i=1
a2ij (j = 1, . . . , q)
ergibt diejenige Varianz, die durch den j-ten Faktor aufgeklartwerden kann.λj heißt Eigenwert des j-ten Faktors. Sind die Variablen – wieublich – z-standardisiert, dann ist die Summe der Varianzen allerVariablen gleich p,
p∑j=1
λj = p
und es gilt
0 ≤ λj ≤ p (j = 1, . . . , q)
D. h. der Eigenwert λj gibt an, wie viel von der Gesamtvarianzaller Variablen durch den j-ten Faktor erklart werden kann.
I Man kann zeigen: λ1 ≥ λ2 ≥ . . . ≥ λq sind die q großtenEigenwerte der Korrelationsmatrix der Daten.
40 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Kommunalitaten
I Die Große
h2i =
q∑j=1
a2ij (i = 1, . . . , p)
gibt an, welcher Anteil der Varianz der Variablen xi durch dieq Faktoren erklart werden kann. h2
i heißt Kommunalitat und es
gilt (da man – wie ublich – von z-standardisierten Variablenausgeht)
0 ≤ h2i ≤ 1
I Beachte: Bei der Verwendung von q = p Faktoren sind alleKommunalitaten gleich 1.
41 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
2.6 Eine Methode zur Wahl von qDie Frage, wie viele Faktoren man verwendet, ist nicht eindeutigbeantwortbar. In der Regel sollte q im Verhaltnis zu p klein sein!
I Kaiser-Guttmann Kriterium:
I Benutze nur Faktoren fur die der zugehorige Eigenwert λj großerals 1 ist!
I Beachte: Die Varianz der standardisierten Eingangsvariablen istgleich 1! Damit betrachtet man nur Faktoren, fur die die Varianzder transformierten Große großer ist als die ursprunglichenVarianzen.
I Ein Screeplot betrachtet das Eigenwertdiagramm inAbhangigkeit von den Faktoren und man sucht in diesem einen
”Knick“, der die ”wesentlichen“ Eigenwerte von den
”unwesentlichen“ unterscheidet.
In anderen Worten: Man reduziert Schritt fur Schritt dieDimensionalitat, bis ”plotzlich“ im nachsten Schritt die Kostender Reduktion (gemessen in Form des Verlusts an erklarterVarianz) ”deutlich“ großer sind als in den vorigen Schritten.
42 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel fur ein Eigenwertdiagramm bzw.Screeplot
Faktor
121110987654321
Eig
enw
ert
5
4
3
2
1
0
Screeplot
I Auf Basis des Diagramms entscheidet man fur 3 FaktorenI Aus Basis des Kaiser-Guttmann Kriteriums entscheidet man fur
2 Faktoren43 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
2.7 Faktorenanalyse im Beispiel 2.2
Korrelationsmatrix in SPSS
StatistikAnalysisAlgebraVektorrechnungMechanikMechanik
Vektorrechnung
Algebra
Analysis
Statistik
Korrelation
1,000,610,666,437,390
,6101,000,710,492,408
,666,7101,000,615,546
,437,492,6151,000,558
,390,408,546,5581,000
Korrelationsmatrix
Als Eigenwerte erhalt man fur diese Matrix
λ1 = 3.1816 λ2 = 0.7388 λ3 = 0.4449
λ4 = 0.3884 λ5 = 0.2463
Beachte: λ1 + λ2 + λ3 + λ4 + λ5 = 5
44 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Screeplot fur die Daten aus Beispiel 2.2
Faktor
54321
Eig
enw
ert
4
3
2
1
0
Screeplot
Auf Basis des Screeplot arbeitet man entweder mit 1 oder 2Faktoren. Wir entscheiden uns hier fur 2 Faktoren! Damit erklartman ca. 78% der Gesamtvarianz aller Variablen.
45 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Erklarte Gesamtvarianz
Kumulierte %% der VarianzGesamt Kumulierte %% der VarianzGesamt
Summen von quadrierten Faktorladungen für ExtraktionAnfängliche Eigenwerte
1
2
3
4
5 100,0004,935,247
95,0657,624,381
87,4428,868,443
78,57414,805,74078,57414,805,740
63,76963,7693,18863,76963,7693,188KomponenteKomponente
Erklärte Gesamtvarianz
Extraktionsmethode: Hauptkomponentenanalyse.
46 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Kommunalitaten
ExtraktionAnfänglichMechanik
Vektorrechnung
Algebra
Analysis
Statistik ,7771,000
,7761,000
,8181,000
,7391,000
,8191,000
Kommunalitäten
Extraktionsmethode:Hauptkomponentenanalyse.
Beachte:I Durch die beiden Faktoren kann man fur alle Variablen ca. 78%
der Varianz erklaren!I 81.9% der Varianz der Klausurergebnisse in Mechanik konnen
durch die ersten beiden Faktoren erklart werden (die Werte furdie Faktorladungen findet man auf der folgenden Folie)
0.819 ≈ 0.7132 + 0.5582
47 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Komponentenmatrix
21
Komponente
Mechanik
Vektorrechnung
Algebra
Analysis
Statistik -,407,782
-,332,816
-,110,898
,375,773
,558,713
Komponentenmatrixa
Extraktionsmethode:Hauptkomponentenanalyse.
a. 2 Komponenten extrahiert
Beachte:I Die Komponentenmatrix enthalt die Faktorladungen
{aij |i = 1, . . . , 5; j = 1, 2},
also die Korrelationen zwischen den Variablen und denextrahierten Faktoren. D. h. der erste Faktor erklart(0.713)2 ≈ 50.8% der Varianz der Ergebnisse in derMechanikklausur.
48 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Komponentenmatrix
21
Komponente
Mechanik
Vektorrechnung
Algebra
Analysis
Statistik -,407,782
-,332,816
-,110,898
,375,773
,558,713
Komponentenmatrixa
Extraktionsmethode:Hauptkomponentenanalyse.
a. 2 Komponenten extrahiert
Beachte:I Die erste Komponente kann man als ”Mittelwert“ auffassen. Ein
hoher Faktorwert fur eine Versuchsperson zeigt an, dass diesebei allen Klausuren gute Leistung erzielt hat.
I Die zweite Komponente beschreibt den Unterschied zwischenden Klausuren mit und ohne Buch.
49 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Komponentendiagramm
Komponente 1
1,00,50,0-0,5-1,0
Ko
mp
on
ente
2
1,0
0,5
0,0
-0,5
-1,0
Statistik
Analysis
Algebra
Vektorrechnung
Mechanik
Komponentendiagramm
50 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Komponentenwerte
21
Komponente
Mechanik
Vektorrechnung
Algebra
Analysis
Statistik -,550,245
-,449,256
-,149,282
,507,243
,754,223
Koeffizientenmatrix der Komponentenwerte
Extraktionsmethode:Hauptkomponentenanalyse.
I Die Faktorwerte sind Linearkombination der standardisiertenMerkmalswerte.
I Die obige Matrix enthalt die Gewichte in diesenLinearkombinationen.
51 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Verwendung der Komponentenwerte zurBerechnung der Faktorwerte 1/2
I Die Matrix auf der letzten Folie enthalt die
”Transformationsvektoren“v1√λ1
und v2√λ2,
mit denen die funf Merkmale in die zwei Faktorwertetransformiert werden konnen. Es sind λ1 ≥ λ2 die beidengroßten Eigenwerte und v1, v2 die zugehorigen Eigenvektorender Korrelationsmatrix.
52 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Verwendung der Komponentenwerte zurBerechnung der Faktorwerte 2/2
I Zur Veranschaulichung betrachten wir die Daten aus Beispiel 3.2und berechnen den Faktorwert fur das erste Datum mit obigerMatrix.
I z-Standardisierung von x = (77, 82, 67, 67, 81) z = (2.17, 2.37, 1.54, 1.37, 2.23).
I Fur den ersten Faktorwert verwende zum einen den Eigenvektorv1 = (0.399, 0.433, 0.503, 0.457, 0.438)T zum großten Eigenwertλ1 = 3.189. Das ergibt:
v1√λ1
= (0.223, 0.234, 0.282, 0.256, 0.245)T
I Der Faktorwert ist damit:
z v1√λ1
= (2.17 · 0.233 + . . .+ 2.23 · 0.245) = 2.391
53 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
2.7 Rotation der Faktoren ”Varimax“
Noch einige grundsatzliche Bemerkungen zurHauptkomponentenanalyse (PCA)
I PCA liefert eine Datenreduktion der p-dimensionalenursprunglichen Daten auf q-dimensionale Daten (in dem durchdie Faktoren bestimmten Koordinatensystem).
I PCA ist ein mathematisches Verfahren, das nicht dieInterpretierbarkeit der resultierenden Faktoren gewahrleistet (esist damit zu rechnen, dass die Faktoren zu viele Variablen
”hochladen“)
54 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel (Fortsetzung von Beispiel 2.2)
I Die ursprunglichen Daten haben die Dimension 5 (das entsprichtder Anzahl der Variablen/Merkmale).
I Die PCA liefert eine Reduktion auf Dimension 2 (mit denprojezierten Daten kann 78.41% der Varianz der ursprunglichenDaten erklart werden).
I In vielen Fallen sind die neuen Faktoren nur schwerinterpretierbar.
I Ziel: Da die Faktoren nicht eindeutig bestimmt sind, versuchtman eine weitere Rotation dieser 2 Faktoren zu finden, um einebessere Interpretierbarkeit der neuen Faktoren zu erhalten. Indieser Vorlesung wird nur das Varimax Rotationsverfahrenbesprochen.
55 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel (Fortsetzung von Beispiel 2.2)Streudiagramm der ersten beiden (nicht rotierten) Faktoren
REGR factor score 1 for analysis 1
3,000002,000001,00000,00000-1,00000-2,00000-3,00000
RE
GR
fac
tor
sco
re
2 fo
r an
alys
is 1 2,00000
,00000
-2,00000
-4,00000
56 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Varimax Rotation
I Anschauliche Beschreibung: Die Rotation der q Achsen (diedurch die Hauptkomponentenanaylse ermittelt wurden) erfolgtso, dass quadrierte Ladungen ”mittlerer“ Große entweder”unbedeutender“ oder ”extremer“ werden.
Quadrierte Ladung ungefahr 1 Ladung ungefahr ±1 Ausgangsvariable kann als Indikatorvariable fur den Faktor
interpretiert werden.
Quadrierte Ladung ungefahr 0 Ladung ungefahr 0 Ausgangsvariable ist keine Indikatorvariable.
57 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Mathematische Beschreibung der VarimaxRotation
I Die q Achsen (die durch die Hauptkomponentenanaylse ermitteltwurden) werden so rotiert, dass die Summe der Varianzen derquadrierten Ladungen der verschiedenen Faktoren maximalwird:
I
s2j =
1p
p∑i=1
(a2ij )
2 − (1p
p∑i=1
a2ij )
2
ist die Varianz der quadrierten Ladungen fur Faktor j(j = 1, . . . , q).
I Die Rotation der Achsen wird so bestimmt, dass die Summe derVarianzen
q∑j=1
s2j
maximal wird.
58 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
2.8 Beispiel: Varimax Rotation fur die Daten ausBeispiel 2.2
Kumulierte%
% der VarianzGesamt
Kumulierte%
% der VarianzGesamt
Summen von quadrierten Faktorladungen für ExtraktionAnfängliche Eigenwerte
1
2
3
4
5 100,0004,935,247
95,0657,624,381
87,4428,868,443
78,57414,805,74078,57414,805,740
63,76963,7693,18863,76963,7693,188KomponenteKomponente
Erklärte Gesamtvarianz
Extraktionsmethode: Hauptkomponentenanalyse.
Kumulierte%
% der VarianzGesamt
Rotierte Summe der quadrierten Ladungen
1
2 78,57434,7891,739
43,78443,7842,189KomponenteKomponente
Erklärte Gesamtvarianz
Extraktionsmethode: Hauptkomponentenanalyse.
59 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Komponentenmatrix nachVarimax Rotation
21
Komponente
Mechanik
Vektorrechnung
Algebra
Analysis
Statistik ,186,861
,266,840
,489,761
,783,355
,885,192
Rotierte Komponentenmatrixa
Extraktionsmethode:Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung.
a. Die Rotation ist in 3 Iterationen konvergiert.
Beachte:I Der erste Faktor hat einen starkeren Einfluss auf die
Klausurergebnisse mit Buch (”Intelligenz“)I Der zweite Faktor hat einen starkeren Einfluss auf die
Klausurergebnisse ohne Buch (”Disziplin“)60 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output:Komponententransformationsmatrix
211
2 ,769-,639
,639,769KomponenteKomponente
Komponententransformationsmatrix
Extraktionsmethode:Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung.
Beachte: Diese Matrix beschreibt die Rotation (in unserem Fall istdas eine Drehung, da nur 2 Faktoren betrachtet werden). Z. B.
(0.192 0.885
)=(0.713 0.558
)( 0.769 0.639−0.639 0.769
)
61 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel (Fortsetzung von Beispiel 0.0)Das Streudiagramm der ersten beiden rotierten Faktoren
REGR factor score 1 for analysis 2
3,000002,000001,00000,00000-1,00000-2,00000-3,00000
RE
GR
fac
tor
sco
re
2 fo
r an
alys
is 2 2,00000
,00000
-2,00000
-4,00000
62 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel (Fortsetzung von Beispiel 2.2)Das Streudiagramm der ersten beiden (nicht rotierten) Faktoren
REGR factor score 1 for analysis 1
3,000002,000001,00000,00000-1,00000-2,00000-3,00000
RE
GR
fac
tor
sco
re
2 fo
r an
alys
is 1 2,00000
,00000
-2,00000
-4,00000
63 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Komponentendiagramm nachVarimax Rotation
Komponente 1
1,00,50,0-0,5-1,0
Ko
mp
on
ente
2
1,0
0,5
0,0
-0,5
-1,0
Statistik
Analysis
Algebra
Vektorrechnung
Mechanik
Komponentendiagramm im rotierten Raum
64 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Komponentendiagramm vorVarimax Rotation
Komponente 1
1,00,50,0-0,5-1,0
Ko
mp
on
ente
2
1,0
0,5
0,0
-0,5
-1,0
Statistik
Analysis
Algebra
Vektorrechnung
Mechanik
Komponentendiagramm
65 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Koeffizientenmatrix nach VarimaxRotation
21
Komponente
Mechanik
Vektorrechnung
Algebra
Analysis
Statistik -,266,540
-,182,483
,066,312
,545-,137
,723-,310
Koeffizientenmatrix der Komponentenwerte
Extraktionsmethode:Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung.
Interpretation: Wie auf Folie 52 und 53 (Berechnung derFaktorwerte aus den z-standardisierten Originaldaten)
66 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Bemerkung: Weitere Rotationsverfahren
Beachte:I Die Varimax Rotation ist eine orthogonale Rotation, bei der die
Unkorreliertheit der Faktoren erhalten bleibt. Die Varianz der qFaktoren wird auf die ”neuen“ (rotierten) Faktoren umverteilt,um eine ”bessere“ Interpretierbarkeit der Faktoren zu erhalten.Es gibt auch alternative orthogonale Rotationen.
I Bei orthogonalen Rotationen andern sich die Kommunalitatennicht.
I Es gibt Rotationsvarianten, bei denen die die neuen Faktorennicht unkorreliert sind (oblique Rotationen):
I ObliminI PromaxI QuartiminI Tandem
...
67 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
2.9 Beispiel (Personlichkeitspsychologie)
I Ziel: Aus einer (großen) Menge von Adjektiven sollen einzelneGruppen von inhaltlich zusammenhangenden Adjektivenidentifiziert werden (beschreiben hochkorrelierte Adjektive einegemeinsame Eigenschaft?)
I Probanden schatzen eine Person dahingehend ein, inwieweit diejeweiligen Adjektive auf diese Person zutreffen (1 trifftuberhaupt nicht zu; 9 trifft voll zu)
I 12 Adjektive (p = 12 Variable/Merkmale)
Variablen Adjektive Variablen Adjektivex1 angriffslustig x7 akkuratx2 penibel x8 gewissenhaftx3 streitbar x9 kleinlichx4 kampferisch x10 ubergenaux5 grimmig x11 herausforderndx6 grundlich x12 hitzig
68 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Daten (n = 30)
x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 x121 4 6 3 4 5 5 5 1 5 6 4 52 9 3 8 6 4 2 2 2 1 1 1 43 5 1 4 2 3 2 1 3 1 1 2 34 8 1 6 8 4 2 1 2 1 1 8 45 7 3 6 7 4 3 3 4 3 3 7 46 2 4 3 3 5 4 4 3 1 4 3 57 4 3 3 4 5 5 4 6 2 3 4 68 3 5 3 4 4 5 5 4 1 5 4 49 1 4 1 5 3 4 4 4 2 4 1 3
10 4 7 3 6 4 6 6 5 3 7 1 411 2 6 2 5 2 6 6 6 6 6 2 212 6 4 4 7 3 5 5 2 1 1 3 313 4 8 3 5 5 6 7 5 1 1 5 514 8 7 7 8 7 6 5 4 7 7 7 715 7 8 7 8 6 7 5 4 8 8 6 616 5 9 5 7 5 8 7 3 7 7 7 617 6 8 6 7 5 7 6 4 8 8 7 518 8 9 7 6 7 8 8 3 9 9 5 519 4 8 5 5 3 7 7 3 8 8 5 720 3 7 4 4 5 8 7 3 7 7 4 321 2 8 3 5 5 8 8 5 7 9 5 522 4 7 4 4 3 8 7 8 7 7 4 323 6 6 5 6 5 7 7 8 6 6 6 524 9 4 8 8 7 6 5 7 4 4 8 725 9 2 8 8 8 3 3 4 2 2 8 826 2 1 1 3 3 2 3 4 1 1 3 327 4 3 3 5 3 3 3 3 3 3 5 328 6 2 5 7 5 3 3 4 2 2 7 529 4 1 3 5 3 2 2 3 1 1 5 330 9 2 8 8 7 3 2 3 2 2 8 7
69 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Mit der Faktoranalyse sollen nun die Adjektive zu moglichst wenigGruppen (Faktoren) zusammengefasst werden, sodass
I moglichst wenig Information bei dieser Datenreduktion verlorengeht
I die extrahierten Faktoren moglichst gut interpretierbar sind
70 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Korrelationsmatrix fur die Daten aus Beispiel 2.91/2
akkuratgründ-
lichgrim-mig
kämpfer-isch
streit-barpenibel
angriffs-lustig
angriffslustig
penibel
streitbar
kämpferisch
grimmig
gründlich
akkurat
gewissenhaft
kleinlich
übergenau
herausfordernd
hitzig
Korrelation
,128,208,812,537,641,214,541
,005,109,641,737,622,056,607
,795,867,215,042,077,856-,152
,753,844,236,187,226,829,033
,388,397,049-,016-,063,194-,101
1,000,951,135-,053-,109,917-,271
,9511,000,224,056,039,931-,147
,135,2241,000,555,693,199,624
-,053,056,5551,000,757,070,770
-,109,039,693,7571,000,052,945
,917,931,199,070,0521,000-,135
-,271-,147,624,770,945-,1351,000
Korrelationsmatrix
hitzigheraus-fordernd
über-genaukleinlich
gewiss-enhaft
angriffslustig
penibel
streitbar
kämpferisch
grimmig
gründlich
akkurat
gewissenhaft
kleinlich
übergenau
herausfordernd
hitzig
Korrelation
1,000,659,220,239,062
,6591,000,111,224,109
,220,1111,000,935,227
,239,224,9351,000,234
,062,109,227,2341,000
,128,005,795,753,388
,208,109,867,844,397
,812,641,215,236,049
,537,737,042,187-,016
,641,622,077,226-,063
,214,056,856,829,194
,541,607-,152,033-,101
KorrelationsmatrixBeobachtung:
I Die Variablen ”angriffslustig“ und ”streitbar“ haben vielgemeinsame Varianz (r1,3 ≈ 95%)
I Die Variablen ”angriffslustig“ und ”penibel“ hangen nur wenigzusammen (r1,2 ≈ −14%)
71 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Korrelationsmatrix fur die Daten aus Beispiel 2.92/2
akkuratgründ-
lichgrim-mig
kämpfer-isch
streit-barpenibel
angriffs-lustig
angriffslustig
penibel
streitbar
kämpferisch
grimmig
gründlich
akkurat
gewissenhaft
kleinlich
übergenau
herausfordernd
hitzig
Korrelation
,128,208,812,537,641,214,541
,005,109,641,737,622,056,607
,795,867,215,042,077,856-,152
,753,844,236,187,226,829,033
,388,397,049-,016-,063,194-,101
1,000,951,135-,053-,109,917-,271
,9511,000,224,056,039,931-,147
,135,2241,000,555,693,199,624
-,053,056,5551,000,757,070,770
-,109,039,693,7571,000,052,945
,917,931,199,070,0521,000-,135
-,271-,147,624,770,945-,1351,000
Korrelationsmatrix
hitzigheraus-fordernd
über-genaukleinlich
gewiss-enhaft
angriffslustig
penibel
streitbar
kämpferisch
grimmig
gründlich
akkurat
gewissenhaft
kleinlich
übergenau
herausfordernd
hitzig
Korrelation
1,000,659,220,239,062
,6591,000,111,224,109
,220,1111,000,935,227
,239,224,9351,000,234
,062,109,227,2341,000
,128,005,795,753,388
,208,109,867,844,397
,812,641,215,236,049
,537,737,042,187-,016
,641,622,077,226-,063
,214,056,856,829,194
,541,607-,152,033-,101
Korrelationsmatrix
I Die Variablen ”streitbar“ und ”gewissenhaft“ hangen nur wenigzusammen (r3,8 ≈ −6%)
I Die Variablen ”ubergenau“ und ”kleinlich“ haben vielgemeinsame Varianz (r10,9 ≈ 94%)
72 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Screeplot fur die Daten aus Beispiel 2.9
Faktor
121110987654321
Eig
enw
ert
5
4
3
2
1
0
Screeplot
=⇒ Wir entscheiden uns mit 3 Faktoren zu arbeiten!73 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Erklarte Gesamtvarianz fur dieDaten aus Beispiel 2.9 1/2
Kumulierte %% der VarianzGesamt
Anfängliche Eigenwerte
1
2
3
4
5
6
7
8
9
10
11
12 100,000,158,019
99,842,242,029
99,601,355,043
99,246,401,048
98,8451,266,152
97,5791,575,189
96,0032,675,321
93,3293,813,458
89,5155,546,666
7,985,958
34,3884,127
41,5964,991KomponenteKomponente
Erklärte Gesamtvarianz
Extraktionsmethode: Hauptkomponentenanalyse.
Kumulierte % Kumulierte %% der VarianzGesamt
Summen von quadrierten Faktorladungen für Extraktion
AnfänglicheEigenwerte
1
2
3 83,9697,985,95883,969
75,98434,3884,12775,984
41,59641,5964,99141,596KomponenteKomponente
Erklärte Gesamtvarianz
Extraktionsmethode: Hauptkomponentenanalyse.
Kumulierte %% der VarianzGesamt
Rotierte Summe der quadrierten Ladungen
1
2
3 83,9699,1641,100
74,80536,8724,425
37,93337,9334,552KomponenteKomponente
Erklärte Gesamtvarianz
Extraktionsmethode: Hauptkomponentenanalyse.
I Die drei gewahlten Faktoren erklaren zusammen83.969% = 41.596% + 34.388% + 7.985% der Gesamtvarianz.
74 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Erklarte Gesamtvarianz fur dieDaten aus Beispiel 2.9 2/2
Kumulierte %% der VarianzGesamt
Anfängliche Eigenwerte
1
2
3
4
5
6
7
8
9
10
11
12 100,000,158,019
99,842,242,029
99,601,355,043
99,246,401,048
98,8451,266,152
97,5791,575,189
96,0032,675,321
93,3293,813,458
89,5155,546,666
7,985,958
34,3884,127
41,5964,991KomponenteKomponente
Erklärte Gesamtvarianz
Extraktionsmethode: Hauptkomponentenanalyse.
Kumulierte % Kumulierte %% der VarianzGesamt
Summen von quadrierten Faktorladungen für Extraktion
AnfänglicheEigenwerte
1
2
3 83,9697,985,95883,969
75,98434,3884,12775,984
41,59641,5964,99141,596KomponenteKomponente
Erklärte Gesamtvarianz
Extraktionsmethode: Hauptkomponentenanalyse.
Kumulierte %% der VarianzGesamt
Rotierte Summe der quadrierten Ladungen
1
2
3 83,9699,1641,100
74,80536,8724,425
37,93337,9334,552KomponenteKomponente
Erklärte Gesamtvarianz
Extraktionsmethode: Hauptkomponentenanalyse.
I Beachte: Nach der Rotation der Faktoren andern sich dieVarianzanteile, der Gesamtanteil fur die drei Faktoren bleibtgleich.
75 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output Kommunalitaten fur die Daten ausBeispiel 2.9
ExtraktionAnfänglichangriffslustig
penibel
streitbar
kämpferisch
grimmig
gründlich
akkurat
gewissenhaft
kleinlich
übergenau
herausfordernd
hitzig ,6801,000
,7211,000
,8981,000
,8681,000
,9481,000
,9111,000
,9561,000
,7211,000
,7291,000
,8621,000
,9291,000
,8531,000
Kommunalitäten
Extraktionsmethode:Hauptkomponentenanalyse.
Beachte: Durch die drei Faktoren kann man fur alle Variablen ca.75% der Varianz erklaren (in vielen Fallen sogar deutlich mehr)!
76 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Komponentenmatrix fur die Datenaus Beispiel 2.9
321
Komponente
angriffslustig
penibel
streitbar
kämpferisch
grimmig
gründlich
akkurat
gewissenhaft
kleinlich
übergenau
herausfordernd
hitzig ,080,526,630
,191,618,550
-,168-,499,788
-,169-,373,837
,894-,248,296
,053-,629,716
,031-,540,815
,051,555,641
-,015,686,508
-,118,748,536
-,185-,522,789
-,071,848,358
Komponentenmatrixa
Extraktionsmethode:Hauptkomponentenanalyse.
a. 3 Komponenten extrahiert
I Beachte: Die Kommunalitat der Variablen ”angriffslustig“ ergibtsich zu h2 = 0.3582 + 0.8482 + (−0.071)2 ≈ 0.852 (vgl. vorigeFolie )
77 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Komponentendiagramm
Komponente 31,00,5
0,0-0,5 -1,0
Ko
mp
on
ente
21,0
0,5
0,0
-0,5
-1,0
Komponente 11,0
0,5
0,0
-0,5
-1,0
x11
x5x12
x4x3
x8
x1
x6
x9
x7
y10
x2
Komponentendiagramm
I Es ist relativ gut zu erkennen, dass drei Gruppen vorliegen.
78 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Komponentenwerte fur die Datenaus Beispiel 2.9
321
Komponente
angriffslustig
penibel
streitbar
kämpferisch
grimmig
gründlich
akkurat
gewissenhaft
kleinlich
übergenau
herausfordernd
hitzig ,081,180,011
,189,193-,037
-,133-,010,229
-,136,020,220
,931,019-,101
,096-,036,191
,073-,008,198
,051,186,014
-,025,194-,011
-,132,205,005
-,149-,015,236
-,092,206-,046
Koeffizientenmatrix der Komponentenwerte
Extraktionsmethode:Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung.
Interpretation: wie auf Folie 52 und 53 (Berechnung derFaktorwerte aus den z-standardisierten Originaldaten)
79 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Komponentendiagramm
Komponente 31,00,5
0,0 -0,5 -1,0
Ko
mp
on
ente
21,0
0,5
0,0
-0,5
-1,0
Komponente 11,0
0,5
0,0
-0,5
-1,0
x6
x7
x2
y10
x9
x8
x12 x5
x11 x4
x3x1
Komponentendiagramm im rotierten Raum
I Es ist relativ gut zu erkennen, dass drei Gruppen vorliegen.
80 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Varimax Rotation fur die Datenaus Beispiel 2.9
321
Komponente
angriffslustig
penibel
streitbar
kämpferisch
grimmig
gründlich
akkurat
gewissenhaft
kleinlich
übergenau
herausfordernd
hitzig ,090,799,183
,174,830,045
,015,058,946
,003,188,912
,952,006,203
,241-,083,920
,220,048,951
,059,828,181
-,043,853,013
-,149,916,020
,002,038,963
-,141,893-,188
Rotierte Komponentenmatrixa
Extraktionsmethode:Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung.
a. Die Rotation ist in 4 Iterationen konvergiert.
81 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Eine mogliche Interpretation der Faktoren
I Die Variablen ”penibel“, ”grundlich“, ”akkurat“, ”kleinlich“ und
”ubergenau“ korrelieren hoch mit Faktor 1.I Faktor 1 kann als Perfektionismus bezeichnet werden. Hohe
Auspragungen eines Probanden in diesem Faktor bewirken hoheWerte in den zugehorigen Variablen.
I Die Variablen ”angriffslustig“, ”streitbar“, ”kampferisch“,
”grimmig“, ”herausfordernd“ und ”hitzig“ korrelieren hoch mitFaktor 2.
I Der Faktor 2 kann als Aggressivitat beschrieben werden.I Der Faktor 3 beschreibt nur die Eigenschaft gewissenhaft, die
man auch Faktor 1 zuordnen kann (das mathematischeVerfahren hat evtl. zu viele Faktoren ermittelt).
82 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Faktorenanalyse fur die Daten aus Beispiel 2.9mit 2 Faktoren
21
Komponente
angriffslustig
penibel
streitbar
kämpferisch
grimmig
gründlich
akkurat
gewissenhaft
kleinlich
übergenau
herausfordernd
hitzig ,526,630
,618,550
-,499,788
-,373,837
-,248,296
-,629,716
-,540,815
,555,641
,686,508
,748,536
-,522,789
,848,358
Komponentenmatrixa
Extraktionsmethode:Hauptkomponentenanalyse.
a. 2 Komponenten extrahiert83 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Komponentendiagramm
Komponente 1
1,00,50,0-0,5-1,0
Ko
mp
on
ente
2
1,0
0,5
0,0
-0,5
-1,0
x12
x11
y10
x9
x8
x7
x6
x5
x4x3
x2
x1
Komponentendiagramm
84 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Komponentenmatrix nach Varimax Rotation
21
Komponente
angriffslustig
penibel
streitbar
kämpferisch
grimmig
gründlich
akkurat
gewissenhaft
kleinlich
übergenau
herausfordernd
hitzig ,799,189
,824,070
,073,930
,202,893
-,022,386
-,075,950
,056,976
,828,181
,854-,004
,920-,019
,054,945
,894-,221
Rotierte Komponentenmatrixa
Extraktionsmethode:Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung.
a. Die Rotation ist in 3 Iterationen konvergiert.
85 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Komponentendiagramm nach Varimax Rotation
Komponente 1
1,00,50,0-0,5-1,0
Ko
mp
on
ente
2
1,0
0,5
0,0
-0,5
-1,0
x12x11
y10
x9
x8x7
x6
x5x4
x3
x2
x1
Komponentendiagramm im rotierten Raum
86 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Eine mogliche Interpretation der zwei Faktoren
I Die Variablen ”penibel“, ”grundlich“, ”akkurat“, ”kleinlich“,
”ubergenau“ und (mit Einschrankungen) ”gewissenhaft“korrelieren hoch mit Faktor 1.
I Faktor 1 kann als Perfektionismus bezeichnet werden. HoheAuspragungen eines Probanden in diesem Faktor bewirken hoheWerte in den zugehorigen Variablen.
I Die Variablen ”angriffslustig“, ”streitbar“, ”kampferisch“,
”grimmig“, ”herausfordernd“ und ”hitzig“ korrelieren hoch mitFaktor 2.
I Der Faktor 2 kann als Aggressivitat beschrieben werden.
87 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Einige abschließende Bemerkungen
I Auch nach der Varimax Rotation sind die Faktoren manchmalnur schwer interpretierbar.
I Faktorenanalyse ist ein mathematisches Verfahren, das keineInterpretierbarkeit der ermittelten Faktoren garantiert.
I Faktoren, die nicht interpretiert werden konnen, sind in derRegel praktisch unbrauchbar.
I Faktorenanalyse ist ein mathematisches Verfahren zum Findenvon Hypothesen.
88 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression3. Multivariate Mittelwertvergleiche
89 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.1 Beispiel: Vergleich von verschiedenenUnterrichtsmethoden
I Zwei ”Zufallsstichproben“ (A und B) mit je 10 Schulern und 8Schulern
I Gruppe A wird nach Unterrichtsmethode A unterrichtet undGruppe B nach Unterrichtsmethode B
I Fur jeden Schuler werden zwei Variable gemessen
I Leistung (x1)
I Zufriedenheit (x2)
I Frage: Besteht zwischen den beiden Unterrichtsmethoden einUnterschied?
90 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Daten zu Beispiel 3.1
Methode Ax1 x2
11 59 3
10 410 411 314 410 512 713 38 6
Methode Bx1 x2
10 48 49 49 7
10 513 38 3
12 6
Beachte: Im Prinzip konnte man beide Variablen getrenntuntersuchen. (z. B. Hypothesen bzgl. der Variablen x1 mit t-Test furzwei unabhangige Stichproben). Die Anwendung von multiplen Testsfuhrt aber zu Schwierigkeiten bei der Wahl des Niveaus (vgl.Methodenlehre II, 1.16). 91 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.2 Mathematisches ModellI g Gruppen von Probanden
I In jeder Gruppe gibt es nj Probanden, fur die Daten erhobenwerden
I x(j)1 , . . . , x(j)
nj (j = 1, . . . , g)
I Jedes Datum (d. h. Messung an einem Probanden) hat pVariablen/Merkmale.
x(j)m = (x (j)
m1, . . . , x(j)mp) (m = 1, . . . , nj )
bezeichnet die Messwerte fur Proband m in Gruppe j (manbeachte, dass der obere Index j die Gruppe bezeichnet).
I Alle Daten sind Realisierungen einer normalverteiltenZufallsvariable.
I Die Daten entstammen aus ”unabhangigen“ Gruppen.
Ziel: Vergleich der Erwartungswertvektoren (d. h. den Vektoren ausden komponentenweise gebildeten Erwartungswerten).
92 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.3 Hypothesentest fur den Erwartungswert(Vektor) der Population (g = 1)
I Frage: Ist der Erwartungswertvektor µ der Grundgesamtheitgleich einem gegebenen Vektor µ0?
I Idee: Lehne die Nullhypothese
H0 : µ = µ0
ab, falls der ”Vektor“ x(1)· − µ0 ”groß“ ist. Dabei bezeichnet
x(1)· =
1n1
n1∑m=1
x(1)m
den Mittelwertvektor der beobachteten Daten.I Beachte: Der Mittelwertvektor x(1)
· ist der Vektor gebildet ausden Mittelwerten fur die einzelnen Variablen x(1)
m· .
93 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.4 Beispiel (Fortsetzung von 3.2)I Ein Wissenschaftler behauptet, dass der Erwartungswertvektor
der Population derjenigen Schuler, die nach Methode A
unterrichtet werden, durch den Vektor µ0 =
(105
)gegeben ist.
In diesem Fall ist p = 2, n1 = 10.I Man berechnet den Mittelwertvektor
x(1)· =
1n1
n1∑m=1
x(1)m =
110
{(115
)+
(93
)+
(104
)+ . . .
}=
(10.84.4
)und erhalt
x(1)· − µ0 =
(0.8−0.6
)I Beachte: Wenn die Nullhypothese gilt, sollten die beiden
Komponenten in diesem Vektor ”ungefahr“ gleich 0 sein,andernfalls sollte mindestens eine der Komponenten weit von 0entfernt sein.
94 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.5 Hotellings T 2-Test fur eine StichprobeI Modellannahmen: die beobachteten Daten sind Realisationen
von unabhangigen multivariat normalverteilten Zufallsvariablen.I Testgroße
T 21 = n1(x(1)
· − µ0)T D−11 (x(1)
· − µ0)
wobei
D1 =1
n1 − 1
n1∑m=1
(x(1)m − x(1)
· )(x(1)m − x(1)
· )T
eine Schatzung fur die Kovarianzmatrix der Population ist.Diese Matrix dient hier der Standardisierung, da nicht davonausgegangen werden kann, dass verschiedene Variablen dieselbeGroßenordnung haben.
I Die Nullhypothese H0 : µ = µ0 wird verworfen, fallsn1 − p
(n1 − 1)p T 21 > Fp,n1−p,1−α
ist. Dabei ist Fp,n1−p,1−α das (1− α)-Quantil der F -Verteilungmit (p, n1 − p) Freiheitsgraden.
95 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel (Berechnung der Kovarianzmatrix)
Beachte: In Beispiel 3.1 erhalt man fur Gruppe A alsKovarianzmatrix
D1 =19
[{(115
)−(
10.84.4
)}{(115
)−(
10.84.4
)}T
+
{(93
)−(
10.84.4
)}{(93
)−(
10.84.4
)}T+ . . .
]
=19
[(0.20.6
)(0.2 0.6
)+
(−1.8−1.4
)(−1.8 −1.4
)+ . . .
]=
19
[(0.04 0.120.12 0.36
)+
(3.24 2.522.52 1.96
)+ . . .
]=
(3.29 −0.36−0.36 1.82
)
96 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beachte:I Berechnet man fur das erste und das zweite Merkmal der Daten
fur Unterrichtsmethode A die Varianz, so ergibt sich
s2x1
=19{
(11− 10.8)2 + (9− 10.8)2 + (10− 10.8)2 + . . .}
= 3.29
s2x2
=19{
(5− 4.4)2 + (3− 4.4)2 + (4− 4.4)2 + . . .}
= 1.82
I D. h. in der Diagonalen der Kovarianzmatrix stehen die(empirischen) Varianzen der Merkmale.
I Berechnet man fur das erste und zweite Merkmal die Kovarianz,so ergibt sich
s2x1x2
=19 {(11− 10.8)(5− 4.4) + (9− 10.8)(3− 4.4) + . . .}
= −0.36
I D. h. in den Eintragen neben der Diagonalen stehen die(empirischen) Kovarianzen zwischen den Merkmalen.
97 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Eine Bemerkung zur KovarianzmatrixBeispiel: 500 simulierte Daten (zweidimensional)
●
●
●
●
●
●
●
●
●●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●●
●
●●
●
●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●●
●
●
●
●●
●
●
●●
●
●●
●
●
●
●
●
● ●
●
●
●●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
−10 −5 0 5 10
−10
−5
05
10
X1
X2
Beachte: Die Kovarianzmatrix D1 wird zur ”Standardisierung“verwendet. Ziel ist es, die Daten so zu transformieren, dass
I die einzelnen Komponenten dieselbe Großenordnung habenI die beiden Komponenten unkorreliert sind
98 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel: Bei den 500 Daten wurde jede Komponente getrenntz-standardisiert
●
●
●●
●
●
●
●
● ●
●
●
●
●
● ●
●●
●
●
●
●
●
●
●
●●
●
●
●●
●
●●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●●
●
●●
●●●●
●
●●
●
●
●●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●●
● ●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●●
●
●
●
●
●
●●
●
● ●
●
●
●
●
●●●● ●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
● ●
●
●
●
● ●●
●● ●
●
● ●
●
●
●
●
●● ●
●
●● ●
●
● ●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●●
●
●
●
● ●●
●
●
● ●
●
●
●
●●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●●
●●
●●
●
●
●●●
●
●
●
●
●●●
●●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●●
●●●
●
●
●
●
●
●
●
●●
●
● ●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
−10 −5 0 5 10
−10
−5
05
10
X1
X2
Beachte:I Die einzelnen Komponenten haben dieselbe Großenordnung.I Die beiden Komponenten sind aber nicht unkorreliert.
99 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel: Die 500 simulierten Daten werden wie folgt transformiert.I Es gibt eine Matrix A mit A · A = D1 .I Transformiere die Daten durch
z i = A−1(x(1)i − x(1)
· )
●
●
● ●●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●● ●
●
●●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●●
●
●●
●
●●●
●
●
●●
●
●
●
●
●
● ●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●●
●
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●●
● ●
●
●
●
●
●●
●
●●
●
●●
●
●
●
●
●
●●
●●
●●
●
●●●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●●
●
●
●
●●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●●
●
●
●
●●●
●
●
●
●
●
●● ●
●
●●●
●
●
●
●
●●●
● ●
●
●
●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●● ●
●
●
●
●
●●
●● ●
●
●
●●
●
●
●
●●
●
● ●
●
●
● ●
●
●
●
●
●
●●
●
●
●
●
−10 −5 0 5 10
−10
−5
05
10
X1
X2
Beachte:I Die einzelnen Komponenten haben dieselbe Großenordnung.I Die beiden Komponenten sind unkorreliert.
100 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel: Hotellings T 2-Test fur Beispiel 3.1
Fur die Daten aus Gruppe A im Beispiel 3.1 ergibt sich fur dieStatistik T1 der Wert
T 21 = 10 ·
(0.8 −0.6
)( 3.29 −0.36−0.36 1.82
)−1( 0.8−0.6
)= 10 ·
(0.8 −0.6
)(0.31 0.060.06 0.56
)(0.8−0.6
)= 10 ·
(0.8 −0.6
)( 0.21−0.29
)= 3.42
Da F2,8,0.95 = 4.46 und 10−22·9 T 2
1 = 1.52, kann die Nullhypothese
H0 : µ =
(105
)zum Niveau 5% nicht verworfen werden (p-Wert: 0.275)
101 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Anschauliche Interpretation von HotellingsT 2-Test fur die Daten aus Beispiel 3.1
●
●
●●
●
●
●
●
●
●
−15 −10 −5 0 5 10 15
−15
−10
−5
05
1015
X1
X2 ●
●
●●
●
●●
●
●
●
−15 −10 −5 0 5 10 15
−15
−10
−5
05
1015
Y1
Y2
I Links: Original DatenI Rechts: Daten nach der Transformation z = A−1(x − µ0)I Beachte: Die Nullhypothese wird abgelehnt, falls der
”durchschnittliche“ Abstand der transformierten Daten zumNullpunkt des Koordinatensystems zu groß ist.
102 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output fur die Daten aus Beispiel 3.1
Sig.Fehler
dfHypothese
dfFWertPillai-Spur
Wilks-Lambda
Hotelling-Spur
Größte charakteristische Wurzel nach Roy
Konstanter Term
,2758,0002,0001,522a
,380
,2758,0002,0001,522a
,380
,2758,0002,0001,522a
,724
,2758,0002,0001,522a
,276EffektEffekt
Multivariate Testsb
a. Exakte Statistik
b. Design: Konstanter Term
Beachte:
I Mit SPSS wurde die Nullhypothese H : µ = 0 mit den um denVektor µ0 =
(10 5
)T verschobenen Daten uberpruft.I Der Wert von Hotellings T 2 berechnet sich, indem man den
Wert der Hotelling-Spur mit (n − 1) multipliziert:
T 21 = (10− 1) · 0.380 = 3.42
I SPSS liefert noch die Ergebnisse fur drei weitere Tests fur dieNullhypothese H : µ = 0 (Pillai-Spur, Wilk’s-Lambda, Roy’sgroßter Eigenwert), die am Ende des Kapitels erklart werden.
103 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.6 Wichtigste Anwendung des EinstichprobenT 2-Tests: Vergleich von zwei abhangigenStichproben
I Beispiel: 5 Probanden machen ein Konzentrationstraining. Vorund nach dem Training wird ein Konzentrationstest gemacht,indem 2 Variablen gemessen werden. Das ergibt die Daten:
vorherx1 x2
140 90140 100160 100140 80120 80
nachherx1 x2
150 80160 70160 90140 90140 70
nachher - vorherx1 x210 -1020 -30
0 -100 10
20 -10
I Frage: Bewirkt das Training einen Unterschied in derKonzentrationsfahigkeit?
I Idee: Falls kein Unterschied zwischen den Ergebnissen vor undnach dem Test besteht, sollten die Differenzen (nachher -vorher) ”klein“ sein.
104 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
T 2-Tests: fur zwei abhangige Stichproben
I Idee: Man wendet Hotelling’s Einstichproben T 2-Test auf diekomponentenweise gebildeten Differenzen der Daten an, um dieHypothese
H0 : µ = 0zu testen. Im Beispiel ergibt sich (n = 5, p = 2):
I Mittelwertvektor der Differenzen:(10−10
)I
T 21 = 5 ⇒ F =
5− 24 · 2 · 5 = 1.87
I Das 95%-Quantil der F -Verteilung mit (2, 3) Freiheitsgraden istF2,3,0.95 = 9.55. Damit kann die Nullhypothese (”vor und nachdem Training besteht kein Unterschied“) nicht zum Niveau 5%verworfen werden.
105 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Anschauliche Interpretation von HotellingsT 2-Test fur die Daten aus Beispiel 3.6
●
●
●
●
●
−30 −20 −10 0 10 20 30
−30
−20
−10
010
2030
X1
X2 ●
●●
●●
−30 −20 −10 0 10 20 30−
30−
20−
100
1020
30
Y1
Y2
I Links: Original Daten (Differenzen vorher - nachher)I Rechts: Daten nach der Transformation z = A−1(x − 0)
I Beachte: Die Nullhypothese wird abgelehnt, falls der
”durchschnittliche“ Abstand der transformierten Daten zumNullpunkt des Koordinatensystems zu groß ist. Hier isty (1)
· ≈ 0.894 und y (2)· ≈ −0.447.
106 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.7 Vergleich von zwei unabhangigen Stichproben
I Frage: Sind die Erwartungswertvektoren µ1 und µ2 der beidenPopulationen (vgl. Beispiel 3.1) gleich?
H0 : µ1 = µ2
I Idee: Die Nullhypothese wird abgelehnt, falls der Vektor derDifferenzen
x(1)· − x(2)
·
”groß“ ist (d. h. sich mindestens eine der Komponenten deutlichvon 0 unterscheidet). Dabei bezeichnet
x(j)· =
1nj
nj∑m=1
x(j)m j = 1, 2
den Mittelwert (Vektor) der Gruppe j (j = 1: Lernmethode A,j = 2 Lernmethode B)
107 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.8 Beispiel (Fortsetzung von 3.1)Ein Wissenschaftler behauptet, dass zwischen denUnterrichtsmethoden ein Unterschied besteht.
I Mathematische Formulierung der Nullhypothese
H0 : µ1 − µ2 = 0 ⇐⇒ H0 : µ1 = µ2
I µj bezeichnet den Erwartungswert (Vektor) der Population jI Als Schatzung fur die Mittelwertdifferenz berechnet man
zunachst den Mittelwertvektor der beiden Populationen(x(1)
· wurde bereits in Beispiel 4.4 berechnet)
x(2)· =
1n2
n2∑m=1
x(j)m =
18
{+
(104
)+
(84
)+
(94
)+ . . .
}=
(9.875
4.5
)Damit erhalt man
x(1)· − x(2)
· =
(10.84.4
)−(
9.8754.5
)=
(0.925−0.1
)108 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.9 Hotelling’s T 2-Test fur den Vergleich vonzwei Stichproben aus unabhangigen Populationen
Modellannahmen:I Zwei unabhangige Stichproben{
x(1)m = (x (1)
m1 , . . . , x(1)mp )| m = 1, . . . , n1
}{
x(2)m = (x (2)
m1 , . . . , x(2)mp )| m = 1, . . . , n2
}I Die beobachteten Daten sind Realisationen von normalverteilten
Zufallsvariablen.
I (x(1)1 , . . . , x(1)
n1 ) und (x(2)1 , . . . , x(2)
n2 ) sind Realisationenunabhangiger Zufallsvariablen (d. h. es liegen unabhangigeStichproben vor).
I Varianzhomogenitat und Kovarianzhomogenitat
109 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.9 Hotelling’s T 2-Test fur den Vergleich vonzwei Stichproben aus unabhangigen Populationen
I Testgroße
T 22 =
n1n2(n1 + n2 − 2)
n1 + n2(x(1)
· − x(2)· )T W−1(x(1)
· − x(2)· ),
wobei die Matrix
W =2∑
j=1
nj∑m=1
(x(j)m − x(j)
· )(x(j)m − x(j)
· )T
die (gewichteten) Summen der Varianzen und Kovarianzeninnerhalb der beiden Gruppen enthalt.
I Die Nullhypothese H0 : µ1 = µ2 wird zum Niveau α verworfen,falls
n1 + n2 − p − 1(n1 + n2 − 2)p T 2
2 > Fp,n1+n2−p−1,1−α
gilt. Dabei bezeichnet Fp,n1+n2−p−1,1−α das (1− α)-Quantil derF -Verteilung mit (p, n1 + n2 − p − 1) Freiheitsgraden.
110 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Bemerkung zu der Matrix WI Kovarianzmatrix fur Gruppe 1
D1 =1
n1 − 1
n1∑m=1
(x(1)m − x(1)
· )(x(1)m − x(1)
· )T
I Kovarianzmatrix fur Gruppe 2
D2 =1
n2 − 1
n2∑m=1
(x(1)m − x(1)
· )(x(1)m − x(1)
· )T
I Die Matrix ergibt sich als gewichtete Summe von D1 und D2:
W = (n1 − 1) D1 + (n2 − 1) D2
I Im Beispiel 3.1 ist
W = 9·(
3.29 −0.36−0.36 1.82
)+7·(
3.27 0.070.07 2.0
)=
(52.5 −2.75−2.75 30.38
)
111 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel (Fortsetzung von 3.1)Fur die Matrix W erhalt man im Beispiel 3.1
W =
(52.5 −2.75−2.75 30.38
)⇒W−1 =
(0.0191 0.00170.0017 0.0330
)Das ergibt
T 22 =
10 · 8 · 1610 + 8
(0.925 −0.1
)(0.0191 0.00170.0017 0.0330
)(0.925−0.1
)= 71.11
(0.925 −0.1
)( 0.0175−0.0017
)= 1.16
Wegen10 + 8− 2− 1(10 + 8− 2) · 2 T 2
3 = 0.54
und F2,15,0.95 = 3.68 kann die Nullhypothese H0 : µ1 = µ2 (”zwischenden Unterrichtsmethoden besteht kein Unterschied“) zum Niveau 5%nicht verworfen werden (p-Wert: 0.593).
112 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output: Vergleich von zwei unabhangigenStichproben
Sig.Fehler
dfHypothese
dfFWertPillai-Spur
Wilks-Lambda
Hotelling-Spur
Größte charakteristische Wurzel nach Roy
Pillai-Spur
Wilks-Lambda
Hotelling-Spur
Größte charakteristische Wurzel nach Roy
Konstanter Term
GRUPPE
,59015,0002,000,547a
,073
,59015,0002,000,547a
,073
,59015,0002,000,547a
,932
,59015,0002,000,547a
,068
,00015,0002,000380,886a
50,785
,00015,0002,000380,886a
50,785
,00015,0002,000380,886a
,019
,00015,0002,000380,886a
,981EffektEffekt
Multivariate Testsb
a. Exakte Statistik
b. Design: Konstanter Term + GRUPPE
I Der Wert von Hotellings T 2 berechnet sich durch Multiplikationdes Werts der Hotelling-Spur mit (n1 + n2 − 2):
T 22 = (10 + 8− 2) · 0.073 = 1.168
I SPSS liefert noch die Ergebnisse fur drei weitere Tests fur dieNullhypothese H0 : µ1 = µ2 (Pillai-Spur, Wilk’s-Lambda, Roy´sgroßter Eigenwert), die am Ende des Kapitels erklart werden.
113 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.10 Einfaktorielle multivariate Varianzanalyse(MANOVA)Modellannahmen:
I g ≥ 2 unabhangige Stichproben
{x(1)m = (x (1)
m1 , . . . , x (1)mp ) | m = 1, . . . , n1}
...
{x(g)m = (x (g)
m1 , . . . , x (g)mp ) | m = 1, . . . , ng}
I Die beobachteten Daten sind Realisationen von normalverteiltenZufallsvariablen.
I (x(1)1 , . . . , x(1)
n1 ), . . . , (x(g)1 , . . . , x(g)
n2 ) sind Realisationenunabhangiger Zufallsvariablen (d. h. es liegen g unabhangigeStichproben vor).
I Varianzhomogenitat und Kovarianzhomogenitat.114 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.10 MANOVAI Es bezeichne µj den Erwartungswert (-vektor) der j-ten
Population (j = 1, . . . , g).I Nullhypothese: H0 : µ1 = . . . = µg
I Die Nullhypothese wird zu Gunsten der Alternative furH1 : µi 6= µj fur mindestens ein Paar i , j (i 6= j) verworfen fallsfur Wilk’s gilt:
Λ = |W (W + B)−1| ≤ Λp,n−g,n−1,α
Dabei bezeichnetI Λp,n−g,n−1,α das (1− α)-Quantil der Wilk’s-Λ-Verteilung mit
(p, n − g , n − 1) FreiheitsgradenI n =
∑gj=1 nj die Anzahl aller Beobachtungen
I Die Matrix
B =
g∑j=1
nj (x(j)· − x(·)
· )(x(j)· − x(·)
· )T
dient als Maß fur die Unterschiede zwischen den Gruppen(Streuung zwischen den Gruppen). D. h. man vergleicht jedenGruppenmittelwertvektor mit dem Mittelwertvektor von allenDaten.
115 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Vergleich mit dem eindimensionalen FallI Im Fall p = 1 ergibt sich
Λ−1 =W + B
W = 1 +BW
= 1 +
∑gj=1 nj(x (j)
· − x (·)· )2∑g
j=1∑nj
m=1(x (j)m − x (j)
· )2
I H0 wird verworfen, falls Λ ”kleine“ Werte annimmt, d. h. falls
BW =
∑gj=1 nj(x (j)
· − x (·)· )2∑g
j=1∑nj
m=1(x (j)m − x (j)
· )2
”große“ Werte annimmt. D. h. der Test von Wilk ist eineVerallgemeinerung des F -Tests fur multivariate Daten (vgl.Beispiel Methodenlehre II, 1.17)
I Fur große Stichprobenumfange kann man zeigen, dass der Test
−(n − 1− g + p2 ) log Λ ≥ χ2
p(g−1),1−α
naherungsweise das Niveau α hat. Dabei bezeichnet χ2p(g−1),1−α
das Quantil der χ2-Verteilung mit p(g − 1) Freiheitsgraden.116 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS und Wilk’s ΛI In SPSS wird statt der χ2-Approximation (Bartlett, 1947) eine
F -Approximation verwendet (Rao, 1952). Man kann zeigen, dass
Ff1,f2 =f2f1· 1− Λ1/s
Λ1/s
”naherungsweise“ F -verteilt ist mit (f1, f2) Freiheitsgraden, wobei
f1 = p(g − 1) , f2 = m · s − 12 p(g − 1) + 1
m = n − 1− p + g2
s =
√p2(g − 1)2 − 4
p2 + (g − 1)2 − 5I Als Approximation fur das α-Quantil der Wilk’s Λ-Verteilung
erhalt man
Λp,n−g,n−1,α ≈
(1
1 + f1f2· Ff1,f2,α
)s
I Ist n im Vergleich zu g und p klein, dann liefert dieF -Approximation die genaueren Werte. 117 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.10 Abschließende BemerkungenI Wilk’s Test setzt die Normalverteilungsannahme und
Varianz- und Kovarianzhomogenitat voraus.I Sind λ1, . . . , λg die Eigenwerte der Matrix W−1B, dann gilt
Λ =
g∏i=1
11 + λi
=1
1 + λ1· 1
1 + λ2· . . . · 1
1 + λg
I Neben der Determinante werden noch andere Kriterien fur dieKonstruktion von Teststatistiken verwendet:
I Hotelling’s Spurkriterium
H = Spur (B−1W ) =
g∑i=1
1λi
I Pillai’s Spurkriterium
P = Spur (W (W + B)−1) =
g∑i=1
11 + λi
I Roy’s großter Eigenwert (der Matrix (W (W + B)−1):
R =g
maxi=1
11 + λi
118 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
3.11 Beispiel: MANOVAI Anhand von Aufsatzen wird bei 6 Unter-, 4 Mittel- und 5
OberschichtenkindernI ein Index fur die Satzlange (x1),I ein Index fur die Vielfalt der Wortwahl (x2) undI ein Index fur die Komplexitat der Satzkonstruktionen (x3)
erhoben.I Stimmen die drei sozialen Schichten hinsichtlich dieser
linguistischen Variablen uberein?I Daten (p = 3, n1 = 6, n2 = 4, n3 = 5)
Unterschicht Mittelschicht Oberschichtx1 x2 x3 x1 x2 x3 x1 x2 x33 3 4 3 4 4 4 5 74 4 3 2 5 5 4 6 44 4 6 4 3 6 3 6 62 5 5 5 5 6 4 7 62 4 5 6 5 63 4 6
119 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Man berechnet die Gruppenmittelwerte
x(1)· =
16
3
34
+
443
+ . . .
=
36
9.67
,
x(2)· =
4.675.67
7
, x(3)· =
79.679.67
,
den Gesamtmittelwert
x (·)· =
115
3
34
+
443
+ . . .
=
3.534.675.27
und erhalt fur die Streuung zwischen den Gruppen
120 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
B = 6
3
69.67
−3.53
4.675.27
3
69.67
−3.53
4.675.27
T
+ 4
4.67
5.677
−3.53
4.675.27
4.67
5.677
−3.53
4.675.27
T
+ . . .
= 6
−0.531.334.4
(−0.53 1.33 4.4)
+ 4
1.141.0
1.73
(1.14 1.0 1.73)
=
3.93 5.97 3.175.97 9.78 4.783.17 4.78 2.55
121 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Fur die Matrix W erhalt man mit einer ahnlichen Rechnung wie inBeispiel 3.5
W =
13.8 −3.3 3.7−3.3 7.55 −0.451.7 −0.45 14.38
und damit fur Wilk’s Λ (die Berechnung der Determinante wird hiernicht dargestellt)
Λ = |W (W + B)−1| = 0.297
Es ist p = 3, n1 = 6, n2 = 4, n3 = 5 und man erhalt (Tabelle)
0.297 = Λ ≤ Λ3,12,14,0.95 = 0.315247
mit der F -Approximation (Rao) erzielt man die gleicheTestentscheidung (n = 15, s = 2, f1 = 6, f2 = 20)
f2f1· 1− Λ1/s
Λ1/s = 2.783 ≥ 2.599 = F6,20,0.95
Damit wird die Nullhypothese (”die Erwartungswerte derPopulationen sind gleich“) zum Niveau 5% verworfen.
122 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output fur Beispiel 3.11:
Sig.Fehler
dfHypothese
dfFWertPillai-Spur
Wilks-Lambda
Hotelling-Spur
Größte charakteristische Wurzel nach Roy
Pillai-Spur
Wilks-Lambda
Hotelling-Spur
Größte charakteristische Wurzel nach Roy
Konstanter Term
Schicht
,00311,0003,0008,435b
2,300
,01818,0006,0003,4812,321
,03920,0006,0002,784a
,297
,10222,0006,0002,049,717
,00010,0003,000347,487a
104,246
,00010,0003,000347,487a
104,246
,00010,0003,000347,487a
,010
,00010,0003,000347,487a
,990EffektEffekt
Multivariate Testsc
a. Exakte Statistik
b. Die Statistik ist eine Obergrenze auf F, die eine Untergrenze auf dem Signifikanzniveau ergibt.
c. Design: Konstanter Term + Schicht
123 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression4. Diskriminanzanalyse
124 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
4.1 Beispiel
I 20 Versuchspersonen werden gebeten einen Text abzuschreiben.Dabei werden
I der beim Schreiben gezeigte durchschnittliche Schreibdruck (x1)registriert
I die durchschnittliche Unterlange der Buchstaben (x2) ermittelt
I Außerdem werden die Personen mit dem Rosenzweig PF(Picture Frustration) Test klassifiziert. Folgende Kategorienkommen hierbei in Betracht:
I extrapunitiv: Aggresivitat ist gegen die Umwelt gerichtetI intrapunitiv: Aggresivitat ist gegen das eigene Ich gerichtetI impunitiv: Aggresivitat wird uberhaupt umgangen
125 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Daten zu Beispiel 4.1
extrapunitiv intropunitiv impunitivx1 x2 x1 x2 x1 x213 3 16 5 11 815 5 16 8 13 714 4 18 8 13 715 4 17 4 12 613 4 17 8 15 916 4 12 515 5 12 7
14 8
126 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Streudiagramm zu Beispiel 4.1
Schreibdruck
18161412
Du
rch
sch
nit
tlic
he
Un
terl
äng
e d
er B
uch
stab
en
9
8
7
6
5
4
3
impunitiv: die Aggresivität wird überhaupt umgangen
intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet
extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet
Aggresivität
127 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Mathematisches Modell der Diskriminanzanalyse
I g Gruppen von ProbandenI in jeder Gruppe nj Probanden, jeweils gemessen in p Variablen
I x(j)1 , . . . , x(j)
nj (j = 1, . . . , g)
I x(j)m = (x (j)
m1, . . . , x(j)mp) (m = 1, . . . , nj )
I p ist die Anzahl der gemessenen Variablen
Beachte: Das Modell entspricht der einfaktoriellen multivariatenVarianzanalyse (wobei hier keine Normalverteilungsannahme gemachtwird)
Ziel der Diskriminanzanalyse ist die Bildung ”optimaler“Linearkombinationen
y (j)ms = v1s x (j)
m1 + . . .+ vps x (j)mp (s = 1, 2, . . .),
um die gegebenen Probandengruppen moglichst gut separieren zukonnen.
128 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiele fur Linearkombination fur die Daten in4.1 (g = 3, p = 2)
I Mittelwert aus beiden Merkmalen: v1 = (v11, v21) = ( 12 ,
12 )
y (1)11 =
12 13 +
12 3 = 8, y (1)
21 =12 15 +
12 5 = 10,
y (3)11 =
12 11 +
12 8 = 9.5
I Kontrast (Differenz aus den Merkmalen) (v21, v22) = ( 12 ,−
12 )
y (1)12 =
12 13− 1
2 3 = 5, y (1)22 =
12 15− 1
2 5 = 5,
y (3)12 =
12 11− 1
2 8 = 1.5
129 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Daten fur die beiden Linearkombinationen
ext int impy1 y2 y1 y2 y1 y28 5 10.5 5.5 9.5 1.5
10 5 12 4 10 39 5 13 5 10 3
9.5 5.5 10.5 6.5 9 38.5 8.5 12.5 4.5 2 310 6 13.5 3.510 5 9.5 2.5
11 3
Frage: was sind ”optimale“ Linearkombinationen?
130 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
4.2 Das Grundprinzip der Diskriminanzanalyse
Schritt 1: Wir bestimmen zunachst eine Linearkombination
y (j)m1 = v11 x (j)
m1 + . . .+ vp1 x (j)mp
I Beachte: die ”neuen“ Daten hangen von den Gewichtenv11, . . . , vp1 ab
I Das ergibt g Gruppen mit je nj (eindimensionalen) Daten
Gruppe 1 : y (1)11 , . . . , y
(1)n11
...
Gruppe g : y (g)11 , . . . , y
(g)ng 1
Man versucht jetzt die Gewichte v11, . . . , vp1 so zu wahlen,dass man die Gruppen moglichst gut unterscheiden kann.
131 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
I Eine (naheliegende) Moglichkeit: Wahle v11, . . . , vp1 so, dass(a) die Gruppenmittelwerte y (j)
·1 = 1nj
∑njm=1 y (j)
m1 moglichst starkstreuen.
(b) die transformierten Daten innerhalb einer Gruppe moglichstwenig streuen.
I Betrachtet man als Maß fur die Streuung die Varianz, dannfuhrt (a) auf die Maximierung von
F (v11, . . . , vp1) =
g∑j=1
nj (y (j)·1 − y ··1)2.
Dabei ist y (·)·1 = 1
n∑g
j=1∑nj
m=1 y (j)m1 der Mittelwert der
transformierten Daten der Gesamtstichprobe undn = n1 + . . .+ ng die Anzahl aller Probanden. (b) fuhrt auf dieMinimierung von
G(v11, . . . , vp1) =
g∑j=1
nj∑m=1
(y (j)m1 − y (j)
·1 )2
I Eine simultane Maxi- und Minimierung der Großen F und G istnicht moglich!
132 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
I Man maximiert daher den Ausdruck
H(1)(v11, . . . , vp1) =F (v11, . . . , vp1)
G(v11, . . . , vp1)
=
∑gj=1 nj (y (j)
·1 − y ··1)2∑gj=1∑nj
m=1(y (j)m1 − y (j)
·1 )2
Den Maximalwert bezeichnen wir mit λ1. Man spricht auch vondem großten Eigenwert.
I Man beachte: die Große H(1)(v11, . . . , vp1) ist (bis auf einenFaktor der Freiheitsgrade) die Statistik des F -Tests in dereinfaktoriellen Varianzanalyse (vgl. Methodenlehre II, 1.17)
I D. h. die Gewichte v11, . . . , vp1 fur die erste Linearkombinationwerden so bestimmt, dass die Statistik des F -Tests fur denVergleich der Gruppenmittelwerte der transformierten Datenmaximal wird.
133 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiele fur die erste Linearkombination fur dieDaten in 4.1 (g = 3, p = 2)
I (v11, v21) ≈ (0.8348,−0.5506)
y (1)11 = 0.8348 · 13− 0.5506 · 3 = 9.2003,
y (1)21 = 0.8348 · 15− 0.5506 · 5 = 9.7687,
y (3)31 = 0.8348 · 11− 0.5506 · 8 = 4.7778
134 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Transformierte Daten fur die erste optimaleLinearkombination
y (1)m1 y (2)
m1 y (3)m1
ext int imp9.2003 10.6034 4.77789.7687 8.9517 6.99799.4845 10.6212 6.9979
10.3192 11.9888 6.71378.6497 9.7864 7.5663
11.1540 7.26439.7687 6.1631
7.2821
135 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Schritt 2 (und Folgende): Man bestimmt nun eine weitereLinearkombinationen
y (j)m2 = v12 x (j)
m1 + . . .+ vp2 x (j)mp
sodass
(1) die Große
H(2)(v12, . . . , vp2) =F (v12, . . . , vp2)
G(v12, . . . , vp2)=
∑gj=1 nj (y (j)
·2 − y ··2)2∑gj=1∑nj
m=1(y (j)m2 − y (j)
·2 )2
maximal wird und(2) die transformierten Daten {y (j)
m1 | m = 1, . . . , nj ; j = 1, . . . , g}und {y (j)
m2 | m = 1, . . . , nj ; j = 1, . . . , g} unkorreliert sind.
Den Maximalwert aus Schritt 2 bezeichnen wir mit λ2 (zweitgroßterEigenwert). Die aus den weiteren Schritten erhaltenen Großenwerden mit λ3 ≥ λ4 ≥ . . . bezeichnet.
136 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiele fur die beiden Linearkombination fur dieDaten in 4.1 (g = 3, p = 2)
I (v11, v21) ≈ (0.8348,−0.5506)
y (1)11 = 0.8348 · 13− 0.5506 · 3 = 9.2003,
y (1)21 = 0.8348 · 15− 0.5506 · 5 = 9.7687,
y (3)31 = 0.8348 · 11− 0.5506 · 8 = 4.7778
I (v11, v21) ≈ (0.4969, 0.8678)
y (1)12 = 0.4969 · 13 + 0.8678 · 3 = 9.0636,
y (1)21 = 0.4969 · 15 + 0.8678 · 5 = 11.7930,
y (3)31 = 0.4969 · 11 + 0.8678 · 8 = 12.4086
137 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Transformierte Daten fur die ersten beidenoptimalen Linearkombinationen
ext int impy1 y2 y1 y2 y1 y2
9.2003 9.0636 10.6034 12.2900 4.7778 12.40869.7687 11.7930 8.9517 14.8933 6.9979 12.53479.4845 10.4283 10.6212 15.8872 6.9979 12.5347
10.3192 10.9253 11.9888 11.9192 6.7137 11.17008.6497 9.9314 9.7864 15.3903 7.5663 15.2642
11.1540 11.4222 7.2643 10.30229.7687 11.7930 6.1631 12.0378
7.2821 13.8994
Frage: Wie findet man die Transformationen?
138 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Deskriptive Statistiken vor und nach derTransformation
SdMean SdMean
DurchschnittlicheUnterlänge der
BuchstabenSchreibdruck
extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet
intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet
impunitiv: die Aggresivität wird überhaupt umgangen
Gesamt
Aggresivität
1,835,692,1213,96
1,257,131,2812,75
1,956,60,8416,80
,694,141,1314,43
SdMean SdMean
Y2Y1
extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet
intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet
impunitiv: die Aggresivität wird überhaupt umgangen
Gesamt
Aggresivität
1,9012,291,898,70
1,5312,52,896,72
1,8414,081,1310,39
1,0210,76,809,76
139 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Streudiagramm zu Beispiel 4.1 mit Eigenvektoren
Schreibdruck
18,0016,0014,0012,0010,00
Du
rch
sch
nit
tlic
he
Un
terl
äng
e d
er B
uch
stab
en
9,00
8,00
7,00
6,00
5,00
4,00
3,00
Gruppenmittelwert
impunitiv: die Aggresivität wird überhaupt umgangen
intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet
extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet
Aggresivität
140 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Altes und neues Koordinatensystem
Schreibdruck
18161412
Du
rch
sch
nit
tlic
he
Un
terl
äng
e d
er B
uch
stab
en
9
8
7
6
5
4
3
impunitiv: die Aggresivität wird überhaupt umgangen
intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet
extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet
Aggresivität
Y2
16,0014,0012,0010,00
Y1
12,00
10,00
8,00
6,00
4,00
impunitiv: die Aggresivität wird überhaupt umgangen
intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet
extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet
Aggresivität
141 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
4.3 BemerkungenI Ist x(j)
m der Vektor der p-Variablen des m-ten Probanden inStichprobe j (= 1, . . . , g), dann ist
x(j)· =
1nj
nj∑m=1
x(j)m
der Mittelwertvektor in Gruppe j und
x =1N
g∑j=1
nj x(j)· =
1n
g∑j=1
nj∑m=1
x(j)m
der Mittelwertvektor aller Beobachtungen. Die Matrix p × p
B =
g∑j=1
nj(x(j)· − x)(x(j)
· − x)T
ist ein multivariates Maß fur die Streuung zwischen denGruppen (vgl. 3.10)
142 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
I Die Matrix
W =
g∑j=1
nj∑m=1
(x(j)m − x(j)
· )(x(j)m − x(j)
· )T
ist ein multivariates Maß fur die Streuung innerhalb derGruppen (vgl. 3.8).
I Man kann zeigen, dass die Vektoren vs = (v1s , . . . , vps)(sukzessive unter der Nebenbedingung der Unkorreliertheit) dieGroßen
H(s)(vs) =vT
s B v svT
s W v smaximieren.
I Man kann zeigen, dass die Vektoren v1, v2, . . . dieEigenvektoren der Matrix
W−1 B
sind und die zugehorigen Maximalwerte λ1, λ2, . . . dieEigenwerte dieser Matrix sind, d. h. es gilt
(W−1 B)v j = λjv j j = 1, 2, . . .
143 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Zahlenbeispiel fur die Berechnung derEigenvektoren
I SPSS liefert Schatzungen fur Mittelwerte undKovarianzmatrizen (innerhalb der Gruppen und in der gesamtenStichprobe); daraus berechnen sich:
B =
(50.537 −8.155−8.155 36.184
)und
W =
(22.017 10.42510.425 28.952
)I Damit ergibt sich:
W−1B =
(2.928 −1.160−1.336 1.667
)mit
λ1 = 3.693, v1 =
(0.8348−0.5506
)und λ2 = 0.902, v2 =
(0.49690.8678
)als Eigenwerten und zugehorigen Eigenvektoren
144 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Zahlenbeispiel: SPSS-Ausgaben
DurchschnittlicheUnterlänge der
BuchstabenSchreibdruckSchreibdruck
DurchschnittlicheUnterlänge der Buchstaben
Schreibdruck
DurchschnittlicheUnterlänge der Buchstaben
Kovarianz
Korrelation
1,000,413
,4131,000
1,702,613
,6131,295
Gemeinsam Matrizen innerhalb der Gruppena
a. Die Kovarianzmatrix hat einen Freiheitsgrad von 17.
W = (20− 3) ·(
1.295 0.6130.613 1.702
)=
(22.017 10.42510.425 28.952
)
145 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Zahlenbeispiel: SPSS-Ausgaben
DurchschnittlicheUnterlänge der
BuchstabenSchreibdruckSchreibdruck
DurchschnittlicheUnterlänge der Buchstaben
Schreibdruck
DurchschnittlicheUnterlänge der Buchstaben
Schreibdruck
DurchschnittlicheUnterlänge der Buchstaben
Schreibdruck
DurchschnittlicheUnterlänge der Buchstaben
extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet
intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet
impunitiv: die Aggresivität wird überhaupt umgangen
Gesamt
3,418,124
,1243,818
1,554,893
,8931,643
3,800,400
,400,700
,476,429
,4291,286AggresivitätAggresivität
Kovarianz-Matrizena
a. Die Kovarianzmatrix für alle Fälle hat einen Freiheitsgrad von 19.
W = (7− 1) ·(
1.286 0.4290.429 0.476
)+ (5− 1) ·
(0.700 0.4000.400 3.800
)+ (8− 1) ·
(1.643 0.8930.893 1.554
)=
(22.017 10.42510.425 28.952
)146 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Zahlenbeispiel: SPSS-Ausgaben
KanonischeKorrelationKumulierte %% der VarianzEigenwert
1
2 ,689100,019,7,901a
,88780,380,33,685a
FunktionFunktion
Eigenwerte
a. Die ersten 2 kanonischen Diskriminanzfunktionen werden in dieser Analyse verwendet.
147 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
4.4 Bemerkungen
I Die Vektoren v s = (v1s , . . . , vps) in den Linearkombinationenheißen Diskriminanzfaktoren (man beachte die Analogie zurFaktorenanalyse). Allerdings sind die Diskriminanzfaktoren nichtnotwendig orthogonal.
I Bei g Gruppen und p Variablen gibt es
r = min {p, g − 1}
Faktoren. Wir erhalten also insgesamt r Maximalwerte
λ1 ≥ λ2 ≥ . . . ≥ λr ,
die Eigenwerte genannt werden. Die Große
ρs =λs
λ1 + λ2 + . . .+ λr; s = 1, . . . , r
bezeichnet den Diskriminanzanteil des Diskriminanzfaktors s
148 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
4.5 Bemerkungen
I Die Große
ωs =λ1 + λ2 + . . .+ λsλ1 + λ2 + . . .+ λr
; s = 1, . . . , r
bezeichnet das Diskriminanzpotenzial derDiskriminanzfaktoren 1, . . . , s. In vielen Fallen verwendetman nicht alle Diskriminanzfaktoren sondern nur diejenigen, furdie das Diskriminanzpotenzial ”groß“ ist. Damit erhalt man wiebei der Faktorenanalyse eine Dimensionsreduktion.
I Durch die Diskriminanzanalyse werden r neueKoordinatenachsen bestimmt mit dem Ziel der sukzessivenmaximalen Separierbarkeit der verglichenen Stichproben. Dieneuen Achsen sind nicht notwendig orthogonal.
149 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beachte:
I Wichtige Kennwerte der Diskriminanzanalyse
I Die z-standardisierten Positionen der Probanden auf denKoordinatenachsen heißen wie bei der FaktorenanalyseFaktorwerte.
I Die Korrelation zwischen den ursprunglichen Messwerten undden Faktorwerten heißen Faktorladungen und werden wie beider Faktorenanalyse fur die Interpretation derDiskriminanzfaktoren verwendet. Eine sehr hohe positive odersehr niedrige negative Faktorladung besagt, dass dieentsprechende Variable besonders charakteristisch fur denDiskriminanzfaktor ist.
I Außerdem untersucht man die Mittelwerte der verglichenenGruppen auf dem Diskriminanzfaktor. Dadurch kann manfeststellen, wie gut die Gruppen durch den Diskriminanzfaktorgetrennt werden.
I Oft werden die Diskriminanzfaktoren noch mit demVarimax-Kriterium (vgl. 2.7) rotiert, um eine bessereInterpretation der Diskriminanzfaktoren zu erhalten.
150 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
4.6 Wieviele Diskriminanzfaktoren?I Ist der Test fur die Hypothese gleicher Erwartungswerte in den
Gruppen aus 3.10 signifikant, so bedeutet das, dass man dieStichproben auf Grund aller Diskriminanzfaktoren signifikantvoneinander trennen kann. Dieser Test verwirft
H0 : µ1 = µ2 = . . . = µg ,
falls fur Wilk’s Λ die Ungleichung
V1 = −(n − g + p2 − 1) log Λ
= (n − g + p2 − 1) log
r∏j=1
(1 + λj)
= (n − g + p2 − 1)
r∑j=1
log(1 + λj) > χ2p(g−1),1−α
gilt.I In einem solchen Fall uberpruft man sukzessiv, ob bei Weglassen
von Diskriminanzfaktoren die Gruppen immer noch signifikantunterschieden werden konnen.
151 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
I Im zweiten Schritt untersucht man die Ungleichung
V2 = −(n − g + p2 − 1)
r∑j=2
log(1 + λj) > χ2(p−1)(g−2),1−α
Gilt diese nicht (keine Signifikanz), so ist ”nur“ der ersteDiskriminanzfaktor signifikant und das Verfahren wirdabgebrochen. Sonst (Signifikanz) wird das Verfahren fortgesetzt.
I Im dritten Schritt untersucht man die Ungleichung
V3 = −(n − g + p2 − 1)
r∑j=3
log(1 + λj) > χ2(p−2)(g−3),1−α
Gilt diese nicht (keine Signifikanz), so sind ”nur“ der erste undzweite Diskriminanzfaktor signifikant und das Verfahren wirdabgebrochen. Sonst (Signifikanz) wird das Verfahren fortgesetzt.
I Man beachte:I Dieses Verfahren setzt die Normalverteilung voraus.I Der α-Fehler des Gesamtverfahrens wird nicht kontrolliert.
152 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Wieviele Diskriminanzfaktoren im Beispiel 4.1I Beachte: g = 3 p = 2I Zwei Faktoren genugen, denn
V1 = (n − g + p2 − 1)
2∑j=1
log(1 + λj)
= (20− 3 + 22 − 1) [log(1 + 3.693) + log(1 + 0.902)]
= 16.401 > 9.487 = χ24,0.95
I Ein Faktor genugt auch schon, denn
V2 = (n − g + p2 − 1)
2∑j=2
log(1 + λj)
= (20− 3 + 22 − 1) log(1 + 0.902)
= 10.608 > 5.991 = χ22,0.95
153 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
4.7 Klassifikation
I Eng mit der Diskriminanzanalyse verbunden ist das Problem derZuordnung von weiteren Probanden zu den g Gruppen
”Zu welcher der g Gruppen passt ein Individuum auf Grundseines individuellen Merkmalprofils am besten“
I Beispiel: Eine Person, bei der Schreibdruck x1 = 13 und einedurchschnittliche Unterlange der Buchstaben x2 = 8 gemessenwurde, soll ohne Anwendung des Rosenzweig PF-Testshinsichtlich der Aggresivitat klassifiziert werden.
I Hier: zwei Klassifikationsverfahren, die auf Abstanden basieren
I lineare KlassifikationI quadratische Klassifikation
154 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
4.8 Lineare KlassifikationI Modellannahmen:
I unabhangige GruppenI Varianz-Kovarianzhomogenitat
I Varianz-Kovarianzmatrix in Gruppe j
Wj =1
nj − 1
nj∑m=1
(x(j)m − x(j)
· )(x(j)m − x(j)
· )T (j = 1, . . . , g)
I Schatzung der Varianz-Kovarianzmatrix der Gesamtstichprobeerfolgt durch ein gewichtetes Mittel derVarianz-Kovarianzmatrizen der einzelnen Gruppen(n = n1 + . . .+ ng ist der Gesamtstichprobenumfang)
W =1
n − g {(n1 − 1)W1 + (n2 − 1)W2 + . . .+ (ng − 1)Wg}
=1
n − g
g∑j=1
nj∑m=1
(x(j)m − x(j)
· )(x(j)m − x(j)
· )T
155 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
4.8 Lineare Klassifikation
I Der Mahalanobis-Abstand der ”neuen“ Datenx = (x1, . . . , xp)T zu der Population j ist:
d linj (x) = (x − x(j)
· )T W−1(x − x(j)· ) (j = 1, . . . , g)
wobei x(j)· = (x (j)
1· , . . . , x(j)p· )T der Vektor der durchschnittlichen
Auspragungen der Merkmale in Gruppe j bezeichnet, d. h.
x(j)i· =
1nj
nj∑m=1
x(j)mi
I Man ordnet das neue Datum x derjenigen Gruppe zu, fur die derzugehorige Abstand d lin
j (x) minimal wird.
156 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel: Lineare Klassifikation fur die Daten aus Beispiel 4.1
x(1)· =
(14.434.14
), x(2)
· =
(16.806.60
), x(3)
· =
(12.757.13
)
W =1
17
(22.017 10.42510.425 28.952
)Damit erhalt man fur x = (13, 8)T die Abstande
I d lin1 (x) = 16.15
I d lin2 (x) = 18.39
I d lin3 (x) = 0.49
x ist also der Kategorie ”impunitiv“ zuzuordnen!
157 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
4.9 Quadratische Klassifikation
I Varianz-Kovarianzmatrix in Gruppe j
Wj =1
nj − 1
nj∑m=1
(x(j)m − x(j)
· )(x(j)m − x(j)
· )T (j = 1, . . . , g)
I Als Abstand der ”neuen“ Daten x = (x1, . . . , xp)T zu derPopulation j verwendet man
dquadj (x) = (x − x(j)
· )T W−1j (x − x(j)
· ) + log |Wj |
I Man ordnet x derjenigen Gruppe zu, fur die der zugehorigeAbstand dquad
j (x) minimal wird.
I Beachte: diese Prozedur setzt keineVarianz-Kovarianzhomogenitat voraus
158 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel: Quadratische Klassifikation fur die Daten aus Beispiel4.1
x(1)· =
(14.434.14
), x(2)
· =
(16.806.60
), x(3)
· =
(12.757.13
),
W =1
17
(22.017 10.42510.425 28.952
), W1 =
(1.286 0.4290.429 0.476
),
W2 =
(0.700 0.4000.400 3.800
), W3 =
(1.643 0.8930.893 1.554
)Damit erhalt man fur x = (13, 8)T die Abstande
I dquad1 (x) = 56.7510
I dquad2 (x) = 25.1163
I dquad3 (x) = 1.1053
x ist also der Kategorie ”impunitiv“ zuzuordnen.
159 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
4.10 Ein Test auf Varianz-Kovarianzhomogenitat(Box-Test)
I Modellannahmen:I unabhangige PopulationenI Normalverteilungsannahme
I Die Nullhypothese der Varianz-Kovarianzhomogenitat in den gGruppen wird verworfen, falls
(1− C)
[n log |W | −
g∑j=1
nj log |Wj |]> χ2
p(p+1)(k−1)/2,1−α
gilt. Hier bezeichnet
C =
[2p2 + 3p − 1
6(p + 1)(k − 1)
][ g∑j=1
1nj− 1
n
]eine Konstante und χ2
p(p+1)(g−1)/2,1−α das (1− α)-Quantil derχ2 Verteilung mit p(p + 1)(g − 1)/2 Freiheitsgraden.
I Beachte: Dieser Test ist die Verallgemeinerung desBartlett-Tests (vgl. Methodenlehre II, 1.19) auf denmultivariaten Fall. 160 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel: Test auf Varianz-Kovarianzhomogenitat fur die Daten ausBeispiel 4.1
C =2 · 22 + 3 · 2− 16(2 + 1)(3− 1)
(17 + frac15 +
18 −
120
)≈ 0.1509
(1− C)
[n log |W | −
g∑j=1
log |Wj |]≈ 7.534 < χ2
2(2+1)(3−1)/2,1−α
= χ26,0.95 ≈ 12.591
Die Nullhypothese der Varianz-Kovarianzhomogenitat kann nicht
verworfen werden.
161 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel: SPSS-Test auf Varianz-Kovarianzhomogenitat fur dieDaten aus Beispiel 4.1
Box-M
Näherungswert
df1
df2
Signifikanz
F
,389
2622,761
6
1,053
7,736
Textergebnisse
Testet die Null-Hypothese der Kovarianz-Matrizen gleicher Grundgesamtheit.
Beachte: SPSS verwendet eine etwas andere Box-M-Statistik:
(n − g) log |W | −g∑
j=1(nj − 1) log |Wj | ≈ 7.701,
die (mit einer anderen Konstante normiert) approximativ F -verteiltist.
162 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression5. Clusteranalyse
163 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Einleitende Bemerkung:
Die Clusteranalyse ist ein exploratives Verfahren mit dem Ziel:
I der Aufteilung von n Probanden, an denen Variablen erhobenwurden, in verschiedene Gruppen (Cluster).
I Die Anzahl der Gruppen ist in der Regel nicht bekanntI Die Probanden innerhalb der Gruppen sollen sich moglichst
wenig ”unterscheiden“ (Homogenitat)I Zwischen den Gruppen sollen moglichst große Unterschiede
bestehen (Heterogenitat)
164 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.1 Beispiel: Weiterbildung fur Flugtlotsen
I Ein Weiterbildungsprogramm fur 20 Fluglotsen soll auf dieindividuellen Fahigkeiten der Lotsen abgestimmt werden.
I Dazu sollen die Fluglotsen in Gruppen eingeteilt werden, diejeweils getrennt weitergebildet werden (insbesondere sollen dieFahigkeiten trainiert werden, in denen die GruppenmitgliederDefizite aufweisen).
I Jedes Datum enthalt 5 Merkmale.
Variablen Label Bemerkungenx1 Technik Technisches Verstandnisx2 Englisch Englischkenntnissex3 Entscheidung Entscheidungsverhalten in komplexen, dynamischen
Situationenx4 Kapazitat Mehrfacharbeitskapazitatx5 Konzentration Konzentrationsfahigkeit unter Belastungs-
bedingungen
165 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Daten
Pb Technik Englisch Entscheidung Kapazitat Konzentration1 4 3 1 1 112 2 8 8 2 163 4 2 5 5 194 1 1 2 5 205 8 8 1 3 146 8 9 1 4 167 8 9 3 3 158 7 3 3 1 119 6 5 3 3 15
10 6 8 3 4 1511 9 2 1 6 2012 8 1 2 7 2013 5 1 6 6 1914 8 4 1 1 1115 2 8 7 4 1416 7 9 3 2 1617 7 8 4 2 1518 2 9 9 3 1819 7 8 4 2 1620 4 3 1 5 18
166 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Grundprinzip der Clusteranalyse:
Fur die Bildung der Gruppen verwendet man Abstandsmaße(Metriken) bzw. Ahnlichkeitsmaße
I x i = (xi1, . . . , xip) Datum fur den i-ten Probanden (im Beispielist p = 5)
I man definiert ein Abstandsmaß d , durch das die Abstandezwischen den Probanden gemessen werden
I ein Abstandsmaß d hat (in der Regel) die folgendenEigenschaften. Es bezeichne d(x1, x2) den Abstand zwischenDatum x1 und x2, dann soll gelten:
d(x1, x2) ≥ 0d(x1, x2) = d(x2, x1)
d(x1, x2) = 0 genau dann wenn x1 = x2
d(x1, x2) ≤ d(x1, x3) + d(x3, x2)
167 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.2 Abstandsmaße fur dichotome Merkmale
I Es werden zwei Probanden
x1 = (x11, . . . , x1p) und x2 = (x21, . . . , x2p)
anhand von p dichotomen Merkmalen verglichen, d. h. dieMerkmalsauspragungen x1i bzw. x2i (i = 1, . . . , p) konnen nurdie Werte 0 oder 1 annehmen.
I Der Vergleich der beiden Probanden hinsichtlich eines Merkmalserlaubt jeweils nur eine von vier Konstellationen (zwei Formenvon Ubereinstimmung und zwei Formen der Abweichung)
I Wie haufig welche Konstellationen vorliegt, ist genugendInformation um ein Abstandsmaß zu definieren
I Es bezeichne aij die Anzahl der Merkmale in den Datenx1 = (x11, . . . , x1p) und x2 = (x21, . . . , x2p), bei denen x1` = iund x2` = j ist.
168 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.2 Abstandsmaße fur dichotome Merkmale
I In Tabellendarstellung (aij die Anzahl der Merkmale, bei denenx1` = i und x2` = j ist):
x2` = 1 x2` = 0x1` = 1 a11 a10x1` = 0 a01 a00
I In der weiteren Diskussion wird folgendes Beispiel verwendet:
x1 = (0, 1, 0, 1, 1, 0)
x2 = (1, 0, 1, 1, 0, 0)
damit: a11 = 1, a10 = 2, a01 = 2 und a00 = 1
169 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.2 Abstandsmaße fur dichotome Merkmale
Allgemeines Prinzip: Gangige Abstandsmaße setzen die Anzahl derUbereinstimmungen ins Verhaltnis. Wir betrachten 3 Beispiele:
I S-Koeffizientds(x1, x2) = a10+a01
a11+a10+a01
I Im Beispiel:ds(x1, x2) =
45
170 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.2 Abstandsmaße fur dichotome Merkmale
I SMC-Koeffizient: berucksichtigt auch die Ubereinstimmung aufNichtvorhandensein (a00) eines Merkmals
dSMC(x1, x2) = a10+a01p
wobei p die Anzahl der erhobenen Merkmale ist.
I Im Beispiel istdSMC(x1, x2) =
23
171 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
I Weitere Moglichkeit: Fasse x1 und x2 als Merkmale auf undquantifiziere ihre Abhangigkeit. Basierend auf demΦ-Koeffizienten ergibt sich beispielsweise
Φ(x1, x2) =a11 · a00 − a10 · a01√
(a11 + a10) · (a11 + a01) · (a00 + a10) · (a00 + a01)
dΦ(x1, x2) = 1− Φ(x1, x2)
Im Beispiel ist
Φ(x1, x2) =−4√
3 · 3 · 2 · 2= −2
3
alsodΦ(x1, x2) =
53
I Man beachte Φ(x1, x2) ist ein Maß fur den Zusammenhangvon zwei dichotomen Variablen.
172 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.3 Abstandsmaße fur nominale Merkmale mit kStufen
I Man benutzt eine Dummy-Codierung und dann eines derAbstandsmaße fur dichotome Variablen
I Beispiel (k = 3)
x1 = (A,B,C ,A,B,B)
x2 = (A,A,B,B,C ,C)
173 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel
Mit der Codierung
A→ (1, 0), B → (0, 1), C → (0, 0)
erhalt man
x1 = (1, 0, 0, 1, 0, 0, 1, 0, 0, 1, 0, 1)
x2 = (1, 0, 1, 0, 0, 1, 0, 1, 0, 0, 0, 0)
Fur die Berechnung des SMC -Koeffizienten bestimmt mana11 = 1, a00 = 4, a10 = 4, a01 = 3 und es ergibt sich
dSMC(x1, x2) =7
12
174 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.4 Abstandsmaße fur ordinale Merkmale mit kStufen
I Man benutzt wieder eine Dummy-Codierung und dann eines derAbstandsmaße fur dichotome Variablen
I Beispiel A ≺ B ≺ C ≺ D
x1 = (A,B,A,B)
x2 = (B,A,B,A)
x3 = (D,C ,D,D)
175 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel
Mit der Codierung
A→ (0, 0, 0), B → (1, 0, 0), C → (1, 1, 0), D → (1, 1, 1)
erhalt man
x1 = (0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0)
x2 = (1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0)
x3 = (1, 1, 1, 1, 1, 0, 1, 1, 1, 1, 1, 1)
Die Berechnung des SMC -Koeffizienten zeigt, dass erwartungsgemaß
dSMC(x1, x2) =4
12 =13 <
34 = dSMC(x2, x3)
176 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.5 Abstandsmaße fur metrische Skalen (Langen,Gewichte, Temperatur etc.)
x1 = (x11, . . . , x1p)
x2 = (x21, . . . , x2p)
I Euklidische Metrik
dE(x1, x2) =
√√√√ p∑i=1
(x1i − x2i )2
I City-Block Abstand
dCB(x1, x2) =
p∑i=1|x1i − x2i |
177 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel: p = 3 x1 = (−1.1,−0.5, 1.2); x2 = (2.1, 0.7, 1.1)
dE(x1, x2) =√
(−1.1− 2.1)2 + (−0.5− 0.7)2 + (1.2− 1.1)2
=√
(−3.2)2 + (−1.2)2 + (0.1)2 =√
11.69 ≈ 3.419
dCB(x1, x2) = | − 1.1− 2.1|+ | − 0.5− 0.7|+ |1.2− 1.1|= | − 3.2|+ | − 1.2|+ |0.1| = 4.5
178 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Graphisches Beispiel: City-Block Abstand
X1
X3
P2
P1
X2
179 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Graphisches Beispiel: Euklidischer Abstand
X1
X3
P2
P1
X2
180 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.6 Abstandsmaße fur gemischt skalierte Daten
I Beobachtungen in der Praxis werden haufig mit nominal, ordinalund metrisch skalierten Merkmalen beschrieben.
I Losung 1: Bildung von Klassen, die als Kategorien desniedrigsten Skalenniveaus (nominal bzw. ordinal) aufgefasstwerden. Vorsicht: Informationsverlust!
I Losung 2: Fuhre drei Clusteranalysen mit den fur die dreiMerkmalsgruppen ermittelten Distanzen dn, do und dm undvergleiche die Ergebnisse. Wie verfahren, wenn die Ergebnisse deutlich voneinanderabweichen?
I Losung 3: Aggregiere die drei Distanzen zu einer neuen Distanzd mit
d = αdn + βdo + γdm
mit α, β, γ > 0.
181 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel
I Versuchspersonen sollen aufgrund von folgenden Merkmalen inGruppen eingeteilt werden:
Variablen Label Bemerkungenx1 Geschlecht zwei Auspragungen: M - mannlich und W - weiblichx2 Augenfarbe Augenfarbex3 Bildung Auspragungen: ohne ≺ ABI ≺ BSc ≺ MScx4 Gewicht in kgx5 Große in cm
Geschlecht Augenfarbe Bildung Gewicht GroßeM blau — 85 182M braun ABI 96 185M blau ABI 102 180W braun BSc 61 168W blau MSc 55 165W braun MSc 65 172
182 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
BeispielI Verwende Variante 3 mit α = β = 1 und γ = 1
25I Exemplarisch: Abstand von Person 1 zu Person 4I Hierfur zuerst Kodierung der kategoriellen Merkmale
Geschlecht Augenfarbe Bildung Gewicht Große0 0 000 85 1820 1 100 96 1850 0 100 102 1801 1 110 61 1681 0 111 55 1651 1 111 65 172
I Fur die nominalen Merkmale gilt:a11 = 0, a10 = 0, a01 = 2, a00 = 0 S-Koeffizient dn = 2
2 = 1I Fur das ordinale Merkmal gilt:
a11 = 0, a10 = 0, a01 = 2, a00 = 1 S-Koeffizient d0 = 2
3I Fur die metrischen Merkmale ist der euklidische Abstand:
dm =√
(85− 61)2 + (182− 168)2 ≈ 27.8I Damit gilt dann: d ≈ 2.779
183 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Verfahren der Clusteranalyse:Es werden hierarchische und partitionierende Verfahren unterschieden.(A) Hierarchisch-Agglomerative Verfahren
I Beginne mit der feinsten Aufteilung (fur jedes Probanden eineigenes Cluster)
I Berechne alle paarweisen Abstande und fusioniere die beidenProbanden mit dem geringsten Abstand (bzw. der großtenAhnlichkeit)
I Die Anzahl der Cluster reduziert sich um 1 und das Verfahrenwird mit den neuen Clustern fortgesetzt.
I In jedem Schritt wird die Anzahl der Cluster um 1 reduziert bisnur noch 1 Cluster vorhanden ist.
I Das duale Vorgehen, mit der grobsten Aufteilung zu beginnenund diese schrittweise zu verfeinern (hierarchisch-divisiveClusterverfahren, z. B. MacNaughton/Smith (1964)) wird indieser Vorlesung nicht thematisiert.
184 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
I Fur das Fortschreiben der Abstande des sich bei der Fusionergebenden Cluster gibt es verschiedene Strategien
I average linkage (wird in dieser Vorlesung besprochen)I complete linkage (auch furthest neighbour)I single linkage (auch closest neighbour)
usw.
I Abschließend wird die Clusterzahl festgelegt. Dafur verwendetman oft eine graphische Darstellung, das Dendrogramm.
185 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.7 Clusteranalyse fur die ersten 5 Probanden ausBeispiel 5.1 (eukl. Abstand und average linkage)Schritt 1:
I Berechne fur die Probanden die paarweisen Abstande anhandder standardisierten Merkmale x3 und x4 und betrachte dieAbstands- oder Distanzmatrix
PB1 PB2 PB3 PB4 PB5PB1 .00PB2 2.36 .00PB3 2.59 1.94 .00PB4 2.26 2.59 .98 .00PB5 1.12 2.36 1.72 1.17 .00
Beispiel:
dE(PB1,PB2) =√(1− 3.4
3.05 − 8− 3.43.05
)2+
(1− 3.21.789 −
2− 3.21.789
)2≈ 2.362
I Da PB3 und PB4 den kleinsten Abstand zueinander haben,werden diese zu einem neuen Cluster zusammengefasst.
186 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Schritt 2:
I Der Abstand dieses neues Clusters (PB3,PB4) zu sich selbst istder Abstand von PB3 zu PB4.
I Der Abstand von den alten Clustern zu dem neuen Cluster(PB3,PB4) ergibt sich als Durchschnitt (average) der Abstandezu den Clustern PB3 und PB4. Z. B.
I Abstand von PB1 zu (PB3,PB4): 2.59+2.262 = 2.425
I Abstand von PB2 zu (PB3,PB4): 1.94+2.592 = 2.265
I Damit erhalt man eine ”neue“ Abstandsmatrix
PB1 PB2 (PB3, PB4) PB5PB1 .00PB2 2.36 .00
(PB3, PB4) 2.43 2.27 .98PB5 1.12 2.36 1.45 .00
in der PB1 und PB5 den kleinsten Abstand haben und zu einemneuen Cluster zusammengefasst werden.
187 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Schritt 3:
I Abstand von (PB3,PB4) zu (PB1,PB5): 2.43+1.452 = 1.94
I Abstand von PB2 zu (PB1,PB5): 2.36+2.362 = 2.36
I Damit erhalt man eine ”neue“ Abstandsmatrix
(PB1, PB5) PB2 (PB3, PB4)(PB1, PB5) 1.12
PB2 2.36 .00(PB3, PB4) 1.94 2.27 .98
in der die Cluster (PB1,PB5) und (PB2,PB3) den geringstenAbstand haben.
188 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Schritt 4: Euklidische Abstande nach dem dritten (Fusions-) Schritt
PB2 (PB1, PB3, PB4, PB5)PB2 .00
(PB1, PB3, PB4, PB5) 2.31 1.64
Schritt 5: Der letzte (Fusions-) Schritt – 1 Cluster
(PB1, PB2, PB3, PB4, PB5)(PB1, PB2, PB3, PB4, PB5) 1.91
189 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output fur Beispiel 5.7
Distanzmatrix
5:Proband 5 4:Proband 4 3:Proband 3 2:Proband 2 1:Proband 1
Euklidisches Distanzmaß
1:Proband 1
2:Proband 2
3:Proband 3
4:Proband 4
5:Proband 5 ,0001,1651,7232,3621,118
1,165,000,9842,5852,260
1,723,984,0001,9442,592
2,3622,5851,944,0002,362
1,1182,2602,5922,362,000FallFall
Näherungsmatrix
Dies ist eine Unähnlichkeitsmatrix
190 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Zuordnungsubersicht
Cluster2
Cluster1 Koeffizienten
Cluster2
Cluster1
NächsterSchritt
Erstes Vorkommen des Clusters
Zusammengeführte Cluster
1
2
3
4 0032,31421
4121,93531
3001,11851
300,98443SchrittSchritt
Zuordnungsübersicht
I Die Werte aus der Spalte ”Koeffizienten“ werden auchHomogenitaten genannt.
I Sie entsprechen dem Abstand der zusammengefugten Cluster.I Die Homogenitaten konnen auch im Dendrogramm abgelesen
werden.
191 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Clusterzugehorigkeit
2 Cluster3 Cluster4 Cluster1:Proband 1
2:Proband 2
3:Proband 3
4:Proband 4
5:Proband 5 114
133
133
222
111FallFall
Cluster-Zugehörigkeit
192 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.8 Graphische Darstellung der hierarchischenClusteranalyse: das Dendogramm
1
5
3
4
2
0.8 1.0 1.2 1.4 1.6 1.8 2.0 2.2
Height
I Abstand zwischen PB3 und PB4 ist 0.98I Abstand zwischen (PB1,PB5) and (PB3,PB4) ist 1.94
193 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beachte: In SPSS wird im Dendrogramm die Achse derAbstandsmaße neu skaliert, um die Distanzschritte deutlicher zumachen
I min bezeichnet den minimalen Abstand vor dem ersten Schritt(im Beispiel 0.98)
I max bezeichnet den maximalen Abstand vor dem ersten Schritt(im Beispiel 2.31)
I die Abstande im Dendrogramm werden durch die Transformation
d −→ 25 · d −minmax −min = 25 · d − 0.98
2.31− 0.98 = 25 · d − 0.981.33
skaliert.Beispiele:
I Abstand zwischen PB3 und PB4: 0.98→ 0I Abstand zwischen (PB1,PB5) und (PB3,PB4): 1.94→ 18.05I Abstand zwischen (PB1,PB3,PB4,PB5)
und PB2: 2.31→ 25
194 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output
Dendogramm fur die Daten aus Beispiel 5.7 (die ersten 5 Probanden)
Dendrogram using Average Linkage (Between Groups) Rescaled Distance Cluster Combine C A S E 0 5 10 15 20 25 Label Num +---------+---------+---------+---------+---------+ Proband 3 3 -+---------------------------------+ Proband 4 4 -+ +-------------+ Proband 1 1 -----+-----------------------------+ | Proband 5 5 -----+ | Proband 2 2 -------------------------------------------------+
195 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.9 Clusteranalyse (Hierarchisch-Agglomerativ)fur die Daten aus Beispiel 5.1
Cluster2
Cluster1 Koeffizienten
Cluster2
Cluster1
NächsterSchritt
Erstes Vorkommen des Clusters
Zusammengeführte Cluster
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19 016183,70931
1912173,43821
1811132,61751
194152,575113
161452,03143
15001,581204
17701,55281
18081,547152
171061,42875
11931,29397
10001,095109
12001,024182
1300,961148
1100,93965
1500,859133
1600,8591211
1020,852167
310,5661716
200,3441917SchrittSchritt
Zuordnungsübersicht
196 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Dendogramm fur die Daten aus Beispiel 5.1
Dendrogram using Average Linkage (Between Groups)
Rescaled Distance Cluster Combine
C A S E 0 5 10 15 20 25 Label Num +---------+---------+---------+---------+---------+
Proband 17 17 -+-+ Proband 19 19 -+ +---+ Proband 16 16 ---+ +-------+ Proband 7 7 -------+ +-+ Proband 9 9 -----------+---+ +---------------+ Proband 10 10 -----------+ | | Proband 5 5 ---------+-------+ +-----------+ Proband 6 6 ---------+ | | Proband 8 8 ---------+-------+ | | Proband 14 14 ---------+ +---------------+ +---+ Proband 1 1 -----------------+ | | Proband 2 2 -----------+-----+ | | Proband 18 18 -----------+ +---------------------------+ | Proband 15 15 -----------------+ | Proband 11 11 -------+-------------------------+ | Proband 12 12 -------+ +---------------+ Proband 3 3 -------+-----------------+ | Proband 13 13 -------+ +-------+ Proband 4 4 -------------------+-----+ Proband 20 20 -------------------+
197 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Clusterzugehorigkeit
2 Cluster3 Cluster4 Cluster5 Cluster1:Proband 1
2:Proband 2
3:Proband 3
4:Proband 4
5:Proband 5
6:Proband 6
7:Proband 7
8:Proband 8
9:Proband 9
10:Proband 10
11:Proband 11
12:Proband 12
13:Proband 13
14:Proband 14
15:Proband 15
16:Proband 16
17:Proband 17
18:Proband 18
19:Proband 19
20:Proband 20 2333
1144
1222
1144
1144
1222
1111
2333
2335
2335
1144
1144
1111
1144
1144
1144
2333
2333
1222
1111FallFall
Cluster-Zugehörigkeit
198 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Bemerkungen zur Interpretation
I Clusteranalyse ist ein exploratives Verfahren.I Es werden Hypothesen generiert.I Die mit den Abstandmaßen verechnete Aufteilung muss nicht
immer interpretierbar sein!I es ist daher sinnvoll mehrere Clusterlosungen inhaltlich zu
untersuchen!
199 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
(B) Nichthierarchische Verfahren (partionierende Clusteranalysen)
I Man beginnt mit einer Startgruppierung von g Clustern unddefiniert ein Zielkriterium
I Durch Verschieben einzelner Probanden von einem Cluster zumanderen wird versucht, das Zielkriterium zu verbessern
Beachte:I diese Strategie bestimmt fur eine vorgegebene Menge von
Clustern die ”beste“ AufteilungI Bei einer mittleren Anzahl von Probanden ist das Verfahren sehr
rechenintensiv und man schrankt den Suchprozess ”oft“ auf einegeeignet erscheinende Teilklasse von Partitionen ein. Es istwichtig sich eine inhaltlich plausible Anfangspartitionvorzugeben!
200 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Bemerkungen:
I Die Anfangscluster werden oft mit einem hierarchischenVerfahren bestimmt
I Als Zielkriterium besprechen wir das Varianzkriterium und dasDeterminantenkriterium. Es bezeichne fur jedes Cluster Widie Kovarianzmatrix der Probanden, die in dieses Cluster fallen.D. h fallen z. B. die ersten 3 Probanden
x1 = (x11, . . . , x1p)
x2 = (x21, . . . , x2p)
x3 = (x31, . . . , x3p)
in das Cluster 1, dann ist x ·j = 13∑3
i=1 xij der Mittelwert fur dasMerkmal j , (j = 1, . . . , p) und
wjk =13
3∑i=1
(xij − x ·j)(xik − x ·k)
die Kovarianz zwischen den Merkmalen j und k im Cluster 1.
201 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
I Die Matrix
W1 =
w11 c12 · · · w1pw21 c22 · · · w2p
......
. . ....
wp1 cp2 · · · wpp
enthalt dann in der Position (j , k) die Kovarianz zwischen denMerkmalen j und k im Cluster 1.
I Die Matrix W2 enthalt dann in der Position (j , k) die Kovarianzzwischen den Merkmalen j und k im Cluster 2, usw.
202 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
I Insgesamt ergibt sich fur jedes der Cluster eine entsprechendeKovarianzmatrix
W1 : Cluster 1 mit n1 ProbandenW2 : Cluster 2 mit n2 Probanden
......
...Wg : Cluster g mit ng Probanden
Aus diesen Matrizen wird dann die Matrix
W =
g∑j=1
(nj − 1)Wj
gebildet, und Kenngroßen dieser Matrix dienen als Zielkriterium.
203 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
5.10 Zielkriterien
I Mit Hilfe des Varianzkriteriums werden die Daten so auf dieCluster verteilt, dass die Große
Spur (W )
minimal wird. Dabei bezeichnet Spur (W ) die Spur (= Summeder Diagonalelemente) der Matrix W
I Mit Hilfe des Determinantenkriteriums werden die Daten soauf die Cluster verteilt, dass
det (W )
minimal wird. Dabei bezeichnet det (W ) die Determinante derMatrix W
204 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression6. Logistische Regression
205 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel 6.1: Untersuchung zu Alkoholkonsum inder Kinder- und Jugendpsychatrie
I 30 hinsichtlich Alkoholmissbrauch diagnostizierte Jugendliche
I 30 hinsichtlich Alkoholmissbrauch ”unauffallige“ Jugendliche
I Gemessene Variablen
a) Abhangige VariableI y : Alkoholmissbrauch (0 – kein Missbrauch; 1 – Missbrauch)
b) Pradiktoren, die zur Vorhersage von Alkoholmissbrauchbeitragen konnten:
I x1: erbliche Vorbelastung (0 – nein; 1 – ja)I x2: Bedeutung des Alkoholkonsums im sozialen Umfeld
(0 – gering; 1 – mittel; 2 – hoch)I x3: AlterI x4: Reizhunger (Fragebogen zum ”sensations seeking“)
206 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Unterschiedliche Datentypen
Beachte: es liegen unterschiedliche Datentypen vor
I Kriterium (Alkoholmissbrauch): nominalskaliert (0/1)
I Nominalskalierte Pradiktoren
I erbliche Vorbelastung (0/1)I soziales Umfeld (0/1/2)
I Intervallskalierte Pradiktoren
I Alter (intervallskaliert: 12 - 22 Jahre)I Reizhunger (intervallskaliert)
207 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Daten:
Pb y x1 x2 x3 x41 0 0 0 14 222 0 0 0 17 203 0 0 0 14 26...
......
......
...30 0 1 1 17 1831 1 0 0 16 2732 1 0 0 18 22...
......
......
...59 1 1 2 17 2360 1 1 2 15 27
y : Alkoholmissbrauch
x1: Erbe ; x2: Umfeldx3: Alter ; x4: Reizhunger
208 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Haufigkeiten und bedingte Wahrscheinlichkeitenfur die Daten aus Beispiel 6.1Beispiel: Haufigkeiten (Erbe x Alkohol)
nicht vorbelastet vorbelastet(e = 0) (e = 1)
kein Alkoholmissbrauch (k = 0) 20 10
Alkoholmissbrauch (k = 1) 10 20
Summe 30 30
=⇒ Aus den Daten ermittelt man ”Schatzungen“ fur dieWahrscheinlichkeiten.Z.B. erhalt man fur die Wahrscheinlichkeit einesAlkoholmissbrauchs und einer erblichen Vorbelastung
P(k = 0, e = 1) ≈ 1060 =
16
209 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS Output fur Haufigkeiten (Erbe x Alkohol)
vorbelastetnicht
vorbelastet Gesamt
Erbe
Anzahl
% innerhalb von Erbe
Anzahl
% innerhalb von Erbe
kein Missbrauch
Missbrauch
Anzahl
% innerhalb von Erbe
Gesamt
Alkohol
100,0%100,0%100,0%
603030
50,0%66,7%33,3%
302010
50,0%33,3%66,7%
301020
Alkohol * Erbe Kreuztabelle
Man beachte: diese Tabelle zeigt die Haufigkeiten innerhalb derGruppen!Die Wahrscheinlichkeit von Alkoholmissbrauch innerhalb der Gruppeder vorbelasteten ist
2030 ≈ 66.7%
210 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel: bedingte Wahrscheinlichkeiten
nicht vorbelastet vorbelastet(e = 0) (e = 1)
kein Alkoholmissbrauch (k = 0) 23
13
Alkoholmissbrauch (k = 1) 13
23
Die Wahrscheinlichkeit, dass ein Jugendlicher zum Alkoholmissbrauchneigt, unter der Bedingung, dass eine erbliche Vorbelastung vorliegt,wird geschatzt als
P(k = 1 | e = 0) =P(k = 1, e = 0)
P(e = 0)=
10603060
=13
Dabei erhalt man den Nenner (30/60) aus der Tabelle auf dervorigen Folie
211 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel: (weitere) bedingte Wahrscheinlichkeiten
Die Wahrscheinlichkeit, dass ein Jugendlicher nicht zum Alkohol-missbrauch neigt, unter der Bedingung, dass keine erblicheVorbelastung vorliegt wird geschatzt als
P(k = 0 | e = 0) =P(k = 0, e = 0)
P(e = 0)=
20603060
=23
Die Wahrscheinlichkeit, dass ein Jugendlicher nicht zum Alkohol-missbrauch neigt, unter der Bedingung, dass eine erblicheVorbelastung vorliegt wird geschatzt als
P(k = 0 | e = 1) =P(k = 0, e = 1)
P(e = 0)=
10603060
=13
212 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Odds:Der Odds beschreibt eine Chance. Z.B.
I Die Wahrscheinlichkeit zu keinem Alkoholmissbrauch, wenn manerblich nicht vorbelastet ist, betragt
P00 = P(k = 0 | e = 0) =23
I Die Wahrscheinlichkeit zu Alkoholmissbrauch, wenn man erblichvorbelastet ist, betragt
1− P00 = P(k = 1 | e = 0) =13
I Der Odds der Wahrscheinlichkeit zu keinem Alkoholmissbrauch,wenn man nicht erblich vorbelastet ist, betragt
odds (P00) =P00
1− P00=
2313
= 2
D.h. Die Chance, dass ein nicht vorbelasteter Jugendlicherkeinen Alkoholmissbrauch aufweist, ist 2 zu 1
213 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel: Tabelle der Odds fur die Daten inBeispiel 6.1
nicht vorbelastet vorbelastetodd(Pke) (e = 0) (e = 1)
kein Alkoholmissbrauch 2 = 2 : 1 0.5 = 1 : 2(k = 0)
Alkoholmissbrauch 0.5 = 1 : 2 2 = 2 : 1(k = 1)
odd (P01) =P01
1− P01=
13
1− 13
=12 = 0.5
D.h. die Chance, dass ein vorbelasteter Jugendlicher keinen
Alkoholmissbrauch aufweist, betragt 0.5 = 1 : 2
214 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Odds ratio
Der Odds ratio (OR) beschreibt ein Chancenverhaltnis. Z.B.
OR =odds (P11)
odds (P10)=
P111−P11
p101−P10
=odds (P(k = 1 | e = 1)
odds (P(k = 1 | e = 0)=
212
= 4
D.h. die Chance eines Alkoholmissbrauchs ist bei einem erblichvorbelasteten Jugendlichen viermal so groß wie bei einem erblichnicht vorbelasteten Jugendlichen.
215 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
6.2 Das Modell der logistischen Regression
Yi : Wert der (dichotomen) abhangigen Variablen des itenProbanden (i = 1, . . . , n)
x1i : Wert des Merkmals ”1“ des iten Probandenx2i Wert des Merkmals ”2“ des iten Probanden...xpi : Wert des Merkmals ”p“ des iten Probanden
(1) ln( P(Yi = 1)
1− P(Yi = 1)
)= b0 + b1x1i + . . .+ bpxpi i = 1, . . . , n
Beachte:(a) In Gleichung (1) bezeichnet man mit ln den naturlichen
Logarithmus und b0, . . . , bp sind (unbekannte) Modellparameter.(b) Im Beispiel 6.1 ist p = 4 und n = 60.
216 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Logit
Beachte:I auf der rechten Seite der Gleichung (1) steht ein multiples
lineares Regressionsmodell
I auf der linken Seite der Gleichung (1) steht der Logarithmus derChance, dass die Kriteriumsvariable den Wert 1 annimmt. Manspricht vom Logit der Wahrscheinlichkeit P(Yi = 1):
ln( P(Yi = 1)
1− P(Yi = 1)
)
217 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Das Modell der logistischen Regression(aquivalente Darstellung)
Yi : Wert der (dichotomen) abhangigen Variablen des itenProbanden (i = 1, . . . , n)
x1i : Wert des Merkmals “1” des iten Probandenx2i : Wert des Merkmals “2” des iten Probanden...xpi : Wert des Merkmals “p” des iten Probanden
(2) P(Yi = 1) =1
1 + exp(−(b0 + b1x1i + . . .+ bpxpi )), i = 1, . . . , n
Beachte:
(a) In Gleichung (1) bezeichnet man mit exp(z) = ez dieExponentialfunktion und b0, . . . , bp sind (unbekannte)Modellparameter.
(b) Im Beispiel 6.1 ist p = 4 und n = 60.218 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Die logistische Funktion
Beachte: Mitzi = b0 + b1x1i + . . .+ bpxpi
kann man die Gleichung (2) schreiben als
P(Yi = 1) =1
1 + e−zi
I Fur zi → 0 gilt: P(Yi = 1)→ 0.5I Fur zi → −∞ gilt: P(Yi = 1)→ 0I Fur zi → +∞ gilt: P(Yi = 1)→ 1
219 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Grafik der logistischen Funktion
−10 −5 0 5 10
0.0
0.2
0.4
0.6
0.8
1.0
P(yi = 1)
zi = b0 + b1xi1 + b2xi2 + … + bkxki
Man beachte:I Fur zi → 0 gilt: P(Yi = 1)→ 0.5I Fur zi → −∞ gilt: P(Yi = 1)→ 0I Fur zi → +∞ gilt: P(Yi = 1)→ 1
220 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Anwendung des logistischen Regressionsmodells
I Aus den Daten erhalt man Schatzungen b0, . . . , bp fur dieParameter b0, . . . , bp des logistischen Regressionsmodells.
I Fur einen neuen Probanden werden die Pradiktoren x1, . . . , xpgemessen
I Aus diesen Pradiktoren berechnet man den entsprechenden“z-Wert”
z = b0 + b1x1i + . . .+ bpxp
I die Wahrscheinklichkeit, dass der neue Proband alsKriteriumsvariable den Wert Y = 1 hat (im Beispiel zuAlkoholmissbrauch neigen wird) wird mit
P(Y = 1) =1
1 + exp(−z)
vorhergesagt.
221 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
6.3 Schatzung der Parameter im logistischenRegressionsmodell
Voraussetzungen:
I y1, . . . , yn sind Realisierungen von unabhangigen Zufallsvariablen
I dichotome Merkmale (Binomialverteilung)
I Gultigkeit des logistischen Regressionsmodells (1) bzw. (2)
I Fur alle Signifikanztests und Konfidenzbereiche muss derStichprobenumfang “hinreichend” groß sein! Es gibtverschiedene Empfehlungen in der Literatur (z.B. fur beideGruppen y = 0 und y = 1 mussen mindestens 25 Datenvorliegen).
222 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Parameterschatzung mit derMaximum-Likelihood Methode
I bestimme fur jedes Datum den erwarteten Wert
`i (b0, . . . , bp) = P(Yi = 1) =1
1 + exp(−(b0 + b1x1i + . . .+ bpxpi )
falls yi = 1, bzw. den erwarteten Wert
`i (b0, . . . , bp) = 1− P(Yi = 1) = P(Yi = 0)
=exp(−(b0 + b1x1i + . . .+ bpxpi )
1 + exp(−(b0 + b1x1i + . . .+ bpxpi ))
falls yi = 0 ist.I Maximiere die Funktion
`1(b0, . . . , bp) · `2(b0, . . . , bp) · . . . · `n(b0, . . . , bp)
bzgl. der Wahl von b0, . . . , bp
223 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel: Maximum-Likelihood Methode fur dieDaten aus Beispiel 6.1 (p = 4, n = 60)
Proband 1: y1 = 0; x11 = 0; x21 = 0; x31 = 14; x41 = 22
`1(b0, . . . , b4) =exp(−(b0 + 14b3 + 22b4)
1 + exp(−(b0 + 14b3 + 22b4)
Proband 30: y30 = 0; x1,30 = 1; x2,30 = 1; x3,30 = 17; x4,30 = 18
`30(b0, . . . , b4) =exp(−(b0 + b1 + b2 + 17b3 + 18b4))
1 + exp(−(b0 + b1 + b2 + 17be + 18b4)
Proband 60: y60 = 1; x1,30 = 1; x2,30 = 2; x3,30 = 15; x4,30 = 27
`60(b0, . . . , b4) =1
1 + exp(−(b0 + b1 + 2b2 + 15b3 + 27b4))
Die Werte fur die anderen Probanden`2(b0, . . . , b4), . . . , `29(b0, . . . , b4), `31(b0, . . . , b4), . . . , `59(b0, . . . , b4)werden analog berechnet.
224 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Behandlung nominal skalierter Merkmale mitk > 2 Auspragungen (im Beispiel: Umfeld)
I Anteil im Modell in Originalskalierung: b2x2
I man verwendet eine Dummy Codierung
x2 = 0 (gering) → x2(1) = 0; x2(2) = 0x2 = 1 (mittel) → x2(1) = 1; x2(2) = 0x2 = 2 (hoch) → x2(1) = 0; x2(2) = 1
I Anteil im Modell mit Dummy Codierung:
b2(1) · x2(1) + b2(2) · x2(2)
(d.h. es wird ein weiterer Parameter eingefuhrt!)
I Beachte: die Pradiktoren x2(1) und x2(2) nehmen nur dieWerte 0 oder 1 an!
225 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
SPSS-Output fur die Daten aus Beispiel 6.1
Exp(B)Sig.Regressionsk
oeffizientBObererWert
UntererWert
95%Konfidenzintervall für
EXP(B)
x1(1)
x2
x2(1)
x2(2)
x3
x4
Konstante
Schritt 1a
,000,001-13,987
1,4791,0731,260,005,231
2,322,9911,517,055,417
50,0031,3238,132,0242,096
5,902,2261,155,862,144
,056
21,3711,2275,122,0251,633
Variablen in der Gleichung
a. In Schritt 1 eingegebene Variablen: x1, x2, x3, x4.
226 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Interpretation der ErgebnisseI SPSS liefert Schatzungen b0, b1, . . . , bp fur die
Regressionskoeffizienten im Modell
P(Yi = 1) =1
1 + exp(−(b0 + b1x1i + . . .+ bpxpi ))i = 1, . . . , n
Dabei werden nominal skalierte Merkmale mit k > 2 in k − 1Dummy Variablen kodiert.
I In diesem Fall ist exp(bi ) der Odds ratio (OR) fur dieentsprechende Wahrscheinlichkeit.Beispiele:
I der OR der Stufe mittel gegenuber gering (des MerkmalsUmfeld) ist 1.16.
I der OR der Stufe hoch gegenuber gering (des Merkmals Umfeld)ist 8.12.
D.h. die Chance, dass ein Jugendlicher mit hohem (mittlerem)Wert im sozialen Umfeld Alkoholmissbrauch aufweist, ist um das8.12 (1.16)-fache großer als bei einem Jugendlichen mitgeringem Wert im sozialen Umfeld.
227 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel fur Vorhersagen
I Fur weitere Probanden konnen Vorhersagen getroffen werden!I In dem Datenbeispiel erhalt man fur die Schatzungen der
Parameter
b0 = −13.987, b1 = 1.633, b2(1) = 0.144, b2(2) = 2.096,
b3 = 0.417, b4 = 0.231I Ein neuer Proband hat die Pradiktoren
x1 = 1, x2 = 2, x3 = 15, x4 = 28
I Das ergibt
z = −13.987 + 1.633 + 2.096 + 15 · 0.417 + 28 · 0.231 = 2.465
228 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Beispiel fur Vorhersagen
I Damit erhalt man als Vorhersage fur die Wahrscheinlichkeiteines Alkoholmissbrauchs fur diesen Probanden
P(Y = 1) =1
1 + exp(−(b0 + b1x1 + b2x2 + b3x3 + b4x − 4))
=1
1 + exp(−z)= 0.922
229 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Test auf Signifikanz der Regressionskoeffizienten(Likelihood Quotiententest)
I die NullhypotheseH0 : bi = 0
(d.h. die Variable xi hat keinen Einfluss) wird zum Niveau αverworfen, falls ( bi
sbi
)2> χ2
1,1−α
ist (oder der entsprechende p-Wert kleiner als α ist). Dabeibezeichnet sb die Standardabweichung von bi und χ2
1,1−α das(1− α)-Quantil der χ2-Verteilung mit 1 Freiheitsgrad.
I Beachte: dieser Test halt nur fur großen Stichprobenumfangdas Niveau α. Manche Autoren empfehlen Signifikanztests erst,wenn fur beide Auspragungen (y = 1 und y = 0) mindestens je25 Probanden vorliegen.
230 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Signifikanztests fur die Daten aus Beispiel 6.1
I die Hypothese H0 : b0 = 0 wird zum Niveau 5% verworfenI die Hypothese H0 : b1 = 0 wird zum Niveau 5% verworfenI die Hypothese H0 : b2(1) = 0 wird zum Niveau 5% nicht
verworfenI die Hypothese H0 : b2(2) = 0 wird zum Niveau 5% verworfenI die Hypothese H0 : b3 = 0 wird zum Niveau 5% nicht verworfenI die Hypothese H0 : b4 = 0 wird zum Niveau 5% verworfen
231 / 232
Methodenlehre III, WS2010/2011
Prof. Dr. HolgerDette
1. Matrizenrechnung
2. Faktorenanalyse
3. MultivariateMittelwertvergleiche
4. Diskriminanzanalyse
5. Clusteranalyse
6. LogistischeRegression
Konfidenzbereiche fur den Odds ratio
I Der Odds ratio von “ohne erbliche Vorbelastung” und “miterblicher Vorbelastung” betragt 5.122(= exp(b1)). D.h. dieChance, dass bei einem Jugendlichen mit erblicher VorbelastungAlkoholmissbraucht auftritt, ist 5.12 mal großer als bei einemJugendlichen ohne erbliche Vorbelastung.
I Ein 95% Konfidenzintervall fur diesen OR ist [1.227, 21.371].
Beachte: diese Aussage ist nur bei ”großem”Stichprobenumfang zuverlassig.
232 / 232
Top Related