1 Analyse eines Trainings zum Induktiven Denken Seminar Kausalität – WS 2006/2007 26.01.2007...
-
Upload
wolfgang-lange -
Category
Documents
-
view
213 -
download
0
Transcript of 1 Analyse eines Trainings zum Induktiven Denken Seminar Kausalität – WS 2006/2007 26.01.2007...
1
Analyse eines Trainings zum Induktiven Denken
Seminar Kausalität – WS 2006/200726.01.2007
Bianca Mariß, Caroline Rook, Franziska Ehrke
2
Gliederung
Einleitung Vorüberlegungen Modellübersicht Modell 1 mit einer Kovariate Modell 2 mit zwei Kovariaten Chi2-Differenzentest Prüfung von Unkonfundiertheit Schlussfolgerung für kausale Effekte Schlussfolgerungen für inhaltliche Fragestellung
3
Einleitung Klauer-Datensatz
Erfassung eines Trainings zum induktiven Denken
3 Tests CPM = Raven-Matrizen-Test CFT = Culture-Fair-Test/Grundintelligenztest WST= Wortschatztest
Inhaltliche Fragestellung: Bei wem erzielt das Induktive Denktraining die größten
durchschnittlichen kausalen Effekte?
4
Vorüberlegungen
Outcomevariable? Autoren: CPM misst induktives Denken am besten CPM zu t2 = Outcomevariable für unsere Modelle
Relevante Kovariaten? CPM 1 -> eventuell anfängliche
Mittelwertsunterschiede? CFT 1& WST 1?
5
CPM - Bestehen anfängliche Gruppenunterschiede?
*** Simultaneous tests for all treatment groups and all dependent variables ***
==================================Hypothesis Chi-sq DF Prob------------------------------------------------No treatment effect 8.563 1 0.0034==================================
*** Group means of the outcome variable(s) ***
Group Outcome Mean Std.dev. Std.error
0 A1 13.312 2.329 0.224
1 A1 12.368 2.562 0.239
EffectLite
*** Detailed analysis of the effects ***
Results for outcome variable 1: A1
Group 1 - Control group 0
Effect -0.944 Std.error 0.327 Effect/SE -2.884 Effect size -0.405
6
CPM - Bestehen anfängliche Gruppenunterschiede?
es bestehen anfängliche Gruppenunterschiede zwischen Treatment- und Kontrollgruppe bzgl. der Mittelwerte des CPMTreatmentgruppe zeigt vor dem Training niedrigere Messwerte im induktiven Denken als die Kontrollgruppe
CPM zu t1 = relevante Kovariate, die berücksichtigt werden sollte!
7
CFT und WST als relevante Kovariaten? Überlegung
Wortschatztest misst kein induktives Denken
WST als Kovariate irrelevant
Mittelwertsunterschiede von CFT und WST
zwischen den Gruppen zu t2 betrachten!
8
CFT und WST als relevante Kovariaten?Zeigen sich nach dem Treatment Mittelwertsunterschiede? *** Group means of the outcome variable(s) ***
Group Outcome Mean Std.dev. Std.error
0 CFT2 53.007 9.103 0.772
0 WST2 26.421 4.032 0.342
1 CFT2 57.633 7.797 0.664
1 WST2 26.050 4.453 0.379
9
CFT und WST als relevante Kovariaten? WST
kein Effekt auf WST durch Treatment WST wird nicht mit in unsere Modelle einbezogen
CFT erfasst Trainingseffekte des induktiven Denkens sollte als Kovariate einbezogen werden? Bestehen anfängliche Gruppenunterschiede?
10
CFT - Bestehen anfängliche Gruppenunterschiede?
*** Group means of the outcome variable(s) ***
Group Outcome Mean Std.dev. Std.error
0 A1 23.052 3.666 0.317
1 A1 20.667 4.267 0.378
*** Simultaneous tests for all treatment groups and all dependent variables ***===============================Hypothesis Chi-sq DF Prob------------------------------------------------No treatment effect 21.371 1 0.0000================================
*** Detailed analysis of the effects ***
Results for outcome variable 1: A1
Group 1 - Control group 0
Effect -2.385 Std.error 0.494 Effect/SE -4.832 Effect size -0.651
11
CFT - Bestehen anfängliche Gruppenunterschiede?
es bestehen anfängliche Gruppenunterschiede zwischen Treatment- und Kontrollgruppe bzgl. der Mittelwerte des CFTTreatmentgruppe zeigt vor dem Training niedrigere Messwerte im induktiven Denken als die Kontrollgruppe
CFT zu t1 = relevante Kovariate, die berücksichtigt werden sollte!
12
Modellübersicht Modell 1 (mit einer Kovariate)
Y: (gemessen durch CPM 12 & CPM 22) Z: (gemessen durch CPM 11 & CPM 21)
Modell 2 (mit 2 Kovariaten) Y: (gemessen durch CPM 12 & CPM 22) Z1: (gemessen durch CPM 11 & CPM 21) Z2: (gemessen durch CFT 11 & CFT 21)
13
Modell 1 (mit einer Kovariate) Outcomevariable
Y: (gemessen durch CPM 12 & CPM 22) Kovariate
Z: (gemessen durch CPM 11 & CPM 21)
Pfaddiagramm/Strukturgleichungsmodell
ξ ηCPM11
CPM22CPM21
CPM121
1 1
1
Chi-Square=19.64, df=13, P-value=0.10456, RMSEA=0.053
δ21
δ11 ε12
ε12
X g1-0(ξ)
14
Modell 1 (mit einer Kovariate)
ξ ηCPM11
CPM22CPM21
CPM121
1 1
1
3,02
1,77 4,07
1,98
ξ ηCPM11
CPM22CPM21
CPM121
1 1
1
4,92
1,71 3,81
2,73
Treatmentgruppe 1
Kontrolltgruppe 0
0,98
0,62
EX=0(η/ξ)= γ00+γ01*ξ
EX=1(η/ξ)= γ00+γ01*ξ + γ10 + γ11*ξ
15
Modell 1 - Hypothesentest unter Berücksichtigung einer Kovariaten*** Simultaneous tests for all treatment groups and all dependent variables ***
============================================================Hypothesis Chi-sq DF Prob--------------------------------------------------------------------------------------------------------No average treatment effect: E(g1-0) = 0 73.511 1 0.0000No covariate effect in control group: g0 = constant 96.171 1 0.0000No treatment*covariate interaction: g1-0 = constant 7.146 1 0.0075============================================================
Es gibt einen durchschnittlichen kausalen Effekt des Treatments.
Es gibt einen Einfluss der Kovariaten auf die Outcome-Variable.
Es gibt einen Interaktionseffekt zwischen Kovariate und Treatment.
16
Durchschnittlicher kausaler Effekt für Gesamtstichprobe
*** Detailed analysis of the average effects ***
Results for outcome variable 1: B1
Group 1 - Control group 0
Effect E(g1-0) 2.633 Std.error 0.251 Effect/Std.error 10.475 Effect size 0.916
ACE
Starker Effekt
17
Durchschnittliche kausale Effekte gegeben der Treatment-Bedingungen
*** Average effects given a treatment condition ***
Results for outcome variable 1: B1
Group 1 - Control group 0
Effect given treatment: 0 1 Effect E(g1-0|X=i) 2.501 2.767 Std.error 0.251 0.267 Effect/Std.error 9.956 10.37 Effect size 0.870 0.962
ACE1-0; X=i (ξ)
Starker Effekt
18
Modell 1Zusammenfasung
bei CPM zu t1 bestehen Mittelwertsunterschiede (KG > TG)
ACE1-0 (X=0) < ACE1-0 (X=1)
Training erzielt größere durchschnittliche kausale Effekte bei anfänglich niedrigerer Fähigkeit Abzuleitende Zuweisungsstrategie für ein Training des
induktiven Trainings: „Trainiere die, die am bedürftigsten sind!“
19
Modell 2 (mit zwei Kovariaten) Outcomevariable
Y: (gemessen durch CPM 12 & CPM 22) Kovariaten
Z1: (gemessen durch CPM 11 & CPM 21) Z2: (gemessen durch CFT 11 & CFT 21)
Pfaddiagramm
ξ1
CPM11
CPM21
1λ21
δ21
δ11
ξ2
CFT11
CFT21
1
δ22
δ21η
CPM22
CPM12
1
1 ε12
ε12
Chi-Square=21.57 df=31, P-value=0.89609 RMSEA=0.000
Xλ22
g1-0(ξ1, ξ2)
EffectLite
20
Kontrollgruppe
ξ1
CPM11
CPM21
1
1,132,25
2,27
ξ2
CFT11
CFT21
1
12,01
2,10η
CPM22
CPM12
1
1 3,68
2,37
0,69
0,74
EX=0(η/ξ1)= γ00+γ01*ξ1
EX=0(η/ξ2)= γ00+γ01*ξ2
21
Treatmentgruppe
ξ1
CPM11
CPM21
1
1,132,84
2,92
ξ2
CFT11
CFT21
1
11,93
1,89η
CPM22
CPM12
1
1 3,64
2,90
0,39
0,66
EX=1(η/ξ1)= γ00+γ01*ξ1 + γ10 + γ11*ξ1
EX=1(η/ξ2)= γ00+γ01*ξ2 + γ10 + γ11*ξ2
22
Modell 2 - Hypothesentest unter Berücksichtigung zweier Kovariaten
Es gibt einen durchschnittlichen kausalen Effekt des Treatments.
Es gibt einen Einfluss der Kovariaten auf die Outcome-Variable.
Es gibt einen Interaktionseffekt zwischen den Kovariaten und dem Treatment.
*** Simultaneous tests for all treatment groups and all dependent variables ***
============================================================Hypothesis Chi-sq DF Prob---------------------------------------------------------------------------------------------------------No average treatment effect: E(g1-0) = 0 39.933 1 0.0000No covariate effect in control group: g0 = constant 97.096 2 0.0000No treatment*covariate interaction: g1-0 = constant 7.760 2 0.0207============================================================
23
Durchschnittlicher kausaler Effekt für Gesamtstichprobe
*** Detailed analysis of the average effects ***
Results for outcome variable 1: B1
Group 1 - Control group 0
Effect E(g1-0) 2.723 Std.error 0.254 Effect/Std.error 10.704 Effect size 0.950
ACE
Starker Effekt
24
*** Average effects given a treatment condition ***
Results for outcome variable 1: B1
Group 1 - Control group 0
Effect given treatment: 0 1 Effect E(g1-0|X=i) 2.647 2.798 Std.error 0.260 0.276 Effect/Std.error 10.180 10.153 Effect size 0.923 0.976
Durchschnittliche kausale Effekte gegeben der Treatment-Bedingungen
ACE1-0; X=i (ξ1,ξ2)
Starker Effekt
25
Modell 2 Zusammenfassung der durchschnittliche kausale Effekt der TG ist
weiterhin größer als der der KG unter zusätzlicher Berücksichtigung einer zweiten Kovariate
Training erzielt größere durchschnittliche kausale Effekte bei anfänglich niedrigerer Fähigkeit bei Messung durch CPM und CFT weiterhin abzuleitende Zuweisungsstrategie: „Trainiere die, die am bedürftigsten sind!“
26
Chi2-Differenzentest (nested) Modell 1
Chi2 =38,91 df=32
Modell 2 Chi2=21,57 df=31
Chi2-Differenzentest: Chi2 = 21,57-38,91 = -17,34 df=31-32= -1 ?
27
Übersicht der ACEs ACE Modell 1
ACE1-0(ξ) = 2,633
ACE Modell 2 ACE1-0 (ξ1ξ2) = 2,830
Ist der ACE-Unterschied durch Hinzunahme einer zweiten zusätzlichen Kovariate bedeutsam?
Kann man von Unkonfundiertheit ausgehen?
28
Prüfung der Unkonfundiertheit 2 Wege
Empirisch: Betrachtung der Differenz der ACEs der zu vergleichenden Modelle in Relation zu den entsprechenden Standardfehlern
Statistische: Vertrauensintervalle
29
empirisch
Modell2 –Modell1 ACE2 = 2,830 - Std.error= 0,255 ACE1= 2,633 - Std.error=0,251
ACE2-ACE1= 0,197< std.error Unterschied zw. ACEs ist nicht bedeutsam
weist auf Unkonfundiertheit hin der ACE des Modell 1 kann auch als solcher
interpretiert werden
30
Statistische Prüfung der Unkonfundiertheit pro Gruppe Vergleich von:
Vertrauensintervalle der adj.mean (ξ)vs.
Vertrauensintervalle der adj.mean (ξ1,ξ2)
Vertrauensintervall der adj.means aus Modell 1 KG : 15,243 – (0,249*1,96); 15,243 + (0,249 * 1,96)
[14,755; 15,806] TG : 17,877 – (0,247 * 1,96); 17,877 + (0,247 * 1,96)
[17,393; 18,361] Vertrauensintervall der adj.mean Modell 2
KG 15,230 – (0,250 * 1,96); 15,230 + (0,250 * 1,96) [14,74; 15,72]
TG 17,953 – (0,248 * 1,96); 17,953 + (0,248 * 1,96) [17,467; 18,439]
31
Vertrauensintervalle der adj.means
Kontrollgruppe Treatmentgruppe
Modell 1 [14,755; 15,806] [17,393; 18,361]
Modell 2 [14,74; 15,72] [17,467; 18,439]
32
Schlussfolgerungen für kausale Effekte Unkonfundiertheit scheint bezüglich unserer
Kovariaten gegeben
Wenn ... Anfangsunterschiede der Variable CPM als
Kovariate berücksichtigt werden, dann ...
sind ACEs bezüglich des Trainings induktiven Denkens kausal interpretierbar!
33
Schlussfolgerungen für inhaltliche Fragestellung Inhaltliche Fragestellung:
Bei wem erzielt das Induktive Denktraining die größten durchschnittlichen kausalen Effekte?
Personen mit niedriger Ausprägung induktiven Denkens profitieren stärker vom Training.
34
Vielen Dank für eure
Aufmerksamkeit!