Séminaire du CRIE – Université de Sherbrooke : 2 avril 2009 Perspectives multiniveaux dans la...
-
Upload
sylvianne-duret -
Category
Documents
-
view
104 -
download
0
Transcript of Séminaire du CRIE – Université de Sherbrooke : 2 avril 2009 Perspectives multiniveaux dans la...
Séminaire du CRIE – Université de Sherbrooke : 2 avril 2009
Perspectives multiniveaux Perspectives multiniveaux dans la recherche en dans la recherche en
éducationéducationPascal BRESSOUXPascal BRESSOUX
Université Pierre-Mendès-France GrenobleUniversité Pierre-Mendès-France GrenobleLaboratoire des Sciences de l’EducationLaboratoire des Sciences de l’Education
Plan de l’exposé
• Considérations méthodologiques liées à l’analyse multiniveau
• Le modèle multiniveauL’exemple de l’expérimentation CP à effectif réduits
• Les modèles de croissanceL’exemple du suivi à long terme des effets du CP à effectifs réduits
• Le modèle aléatoire croiséL’exemple de l’étude de l’effet-maître sur le long terme
Buxelles: De Boeck2008
Considérations méthodologiques liées à l’analyse multiniveau
Données sur plusieurs « niveaux » :
- Un effet-classe sur les acquis des élèves ?
- Un effet-juge sur les condamnations des prévenus ?
- Un effet-quartier sur la délinquance des jeunes ?
- Un effet-pays sur les résultats des élèves à PISA ?
- Etc.
Souvent, structure hiérarchisée.
Exemple : des élèves (niveau 1) dans des classes (niveau 2), etc.
Modèles multiniveaux (ou modèles hiérarchiques linéaires)
Nés des avancées des modèles de contexte et des modèles mixtes.
But : étudier les effets de l’environnement sur le « comportement » individuel.
Principes de l’analyse multiniveau
Académie 1 Académie 2
Ecole 1 Ecole 2
Classe 1 Classe 2
Ecole 3 Ecole 4
Classe 3 Classe 4
él. 1 él. 2 él. 3 él. 4 él. 5 él. 6 él. 7 él. 8 Niveau 1(élèves)
Niveau 2(classes)
Niveau 3(Ecoles)
Niveau 4(Académies)
Exemple d’une structure hiérarchisée à quatre niveaux
… / …
Non-indépendance des résidus
Agrégation vs désagrégation
(voir aussi diapo suivante)
Hétérogénéité des relations
Effets aléatoires et effets fixes
Problèmes posés par l’analyse de données hiérarchisées
Le modèle multiniveau
Le modèle multiniveau à constantes aléatoires
Les composants de la variance :
Variance totale :
Niveau 1
Niveau 2
Equation complète
2
00
2
uj
eij
uVar
eVar
20
2ueijyVar
jj u0000
ijijjij eXY 10
ijjijij euXY 01000
Un exemple d’estimation avec constantes aléatoires
Modèles expliquant le score final en français (données aménagement du temps scolaire 1997-98)
Paramètres Modèle 1 Modèle2
Effets fixes
Constante 0,007 (0,078) 0,007 (0,078)
Score initial en français 0,690 (0,031)
Effets aléatoires
Variance des constantes 0,103 (0,042) 0,096 (0,034)
Variance inter-élèves 0,890 (0,057) 0,442 (0,028)
–2 log L 1434,071 1084,083
N = 516
Le score initial (modèle 2) « n’explique » quasiment pas la variance des constantes (variance interclasses), mais il « explique » environ la moitié de la variance inter-élèves (intraclasse).
Le modèle multiniveau complet :constantes et pentes aléatoires
Niveau 1
Niveau 2
Equation complète
ijijjjij eXY 10
jj
jj
u
u
1101
0000
ijijjjijij eXuuXY 101000
Les composants de la variance :
ijuijuueijij xXXYVar 1022
120
20 2
Variance de Y devient fonction quadratique de X
1010
211
200
2
, ujj
uj
uj
eij
uuCov
uVar
uVar
eVar
Un exemple d’estimation avec constantes et pentes aléatoiresModèles expliquant le score final en français (données aménagement du temps scolaire 1997-98)
Paramètres Modèle 1 Modèle2 Modèle 3
Effets fixes
Constante 0,007 (0,078) 0,007 (0,078) 0,008 (0,069)
Score initial en français 0,690 (0,031) 0,690 (0,041)
Effets aléatoires
Niveau 2 (classes) :
Variances des constantes 0,103 (0,042) 0,096 (0,034) 0,092 (0,033)
Covariance constantes-pentes 0,014 (0,014)
Variance des pentes 0,016 (0,011)
Niveau 1 : variance inter-élèves 0,890 (0,057) 0,442 (0,028) 0,441 (0,025)
–2 log L 1434,071 1084,083 1079,525
N = 516
Relation entre les scores initial et final : nuage de points et droites estimées pour chacune des classes
Relation entre les constantes et les pentes
Estimation des constantes et des pentes avec leurs intervalles de confiance
Cette incertitude dans les estimations est très importante à prendre en compte dans les « palmarès » (type PISA).
L’effet de shrinkage
Les droites sont « ramenées » vers la moyenne générale pour corriger les fluctuations aléatoires dues à la variance d’échantillonnage.
Chaque droite est affectée par les informations obtenues sur le groupe particulier et par l’information générale (estimation bayésienne).
Plus Nj est petit, plus la variance d’échantillonnage est élevée et plus la droite sera ramenée vers la moyenne.
La variance d’échantillonnage est beaucoup plus importante pour les pentes que pour les constantes.
Application de l’analyse multiniveau: L’expérimentation CP à effectifs réduits
Méthode
Participants
100 classes expérimentales (8 à 12 élèves par classe dans les faits avec une moyenne égale à 10,45)
100 classes témoins (15 à 27 élèves par classe dans les faits avec une moyenne égale à 21,29).
Toutes dans des milieux défavorisés (écoles en zone d’éducation prioritaire)
Le Ministère de l’Education Nationale français a lancé en 2002-2003 une expérimentation d’envergure visant à réduire la taille des classes de CP (1ère
année élémentaire) à 10 élèves dans les zones défavorisées.
Acquis des élèves en français-lecture évalués en début, en milieu et en fin d’année.
(Dans les écoles témoins, ces évaluations n’ont porté que sur 10 élèves choisis aléatoirement.)
Les scores d’acquisitions des élèves ont été normalisés, centrés et réduits.
Dans un premier temps, on n’utilise pour l’évaluation que les scores d’acquisitions de début et de fin d’année.
Procédure
Paramètres Modèle 1 Modèle 2
Effets fixes
Constante 0,030 (0,054) -0,115 (0,109)
Score initial en français 0,760 (0,027)
Profession du père (référence = cadre sup)Agriculteur, artisan, commerçant ou chef d’entreprise
-0,063 (0,121)
profession intermédiaire 0,016 (0,110)
employé -0,187 (0,106)
ouvrier -0,138 (0,097)
« autre » -0,201 (0,097)
Effectif réduit 0,249 (0,077)
Ancienneté en 1e année 0,017 (0,005)
Effets aléatoires
Niveau 3 : variance inter-écoles 0,075 (0,040) 0,070 (0,037)
Niveau 2 (inter-classes) :variance des constantesvariance des pentes du score
0,115 (0,038) 0,038 (0,014)0,039 (0,011)
Niveau 1 : variance inter-élèves 0,801 (0,038) 0,295 (0,015)
–2 log V 2873,63 1956,08
Modèles multiniveaux expliquant les acquis des élèves en 1e année élémentaire
Le modèle multiniveau de croissance
X
Y
Y
t t1 t2 t3
Le modèle multiniveau de croissance
Relation entre les scores initial et final pour un échantillon d’individus
Relation entre le temps et les scores pour un individu donné
Classe 1
Elève 1 Elève 2
mes. 1 Niveau 1(Mesures)
Niveau 2(Elèves)
Niveau 3(Classes)
Exemple d’une structure hiérarchisée de croissance
mes. 2 mes. 3 mes. 1 mes. 2 mes. 3
Classe 2
Elève 3 Elève 4
… /…
Niveau 1 :
Formalisation du modèle de croissance
Niveau 2 :
En intégrant dans une même équation :
titiitiiiti eXTEMPSY 210
202
111101
001000
i
iii
iii
uZ
uZ
tiiititiitiiti eTEMPSuuXTEMPSZTEMPSZY 102011100100 *
Rythme de croissance fonction aussi de Z
Caractéristique qui varie avec le temps
Caractéristique interindividuelle stable dans le temps
Niveau initial moyen
Rythme de croissance moyen
Variance de Y fonction du temps (= gestion de l’hétéroscédasticité des erreurs)
Une mesure du déroulement du temps est nécessaire (âge, durée…)
Application du modèle multiniveau de croissance:
reprise de l’expérimentation de réduction de la taille des classes
Application du modèle multiniveau de croissance
Etude des effets à long terme de la réduction des effectifs
Les élèves ont été suivis jusqu’au début de la 3e année élémentaire
Leurs acquisitions en français-lecture ont été testées en début et en fin de 2e année élémentaire et en début de 3e année élémentaire
Précision : les épreuves n’étant pas les mêmes, leurs scores ne sont pas directement comparables.
Tous les scores ont été centrés réduits
=> On s’intéresse aux progrès relatifs des groupes expérimental et témoin
Modèles longitudinaux de croissance expliquant les acquis des élèves avec modélisation d’un effet quadratique du temps
Paramètres Modèle 1 Modèle 2 Modèle 3
Effets fixes
Constante –0,039 (0,039) 0,007 (0,040) 0,269 (0,074)
Temps –0,005 (0,001) –0,015 (0,006)
Temps2 0,0004 (0,0003)
Profession du père : (réf = cadre sup)Artisan/commerçantIntermédiaireEmployéOuvrierAutre
–0,399 (0,081)–0,153 (0,072)–0,282 (0,068)–0,462 (0,062)–0,492 (0,061)
Fille 0,175 (0,023)
CP réduit 0,136 (0,053)
Temps × CP réduit 0,026 (0,008)
Temps2 × CP réduit 0,0012 (0,0004)
Effets aléatoires
Niveau 3 (écoles) 0,088 (0,020) 0,089 (0,021) 0,095 (0,026)
Niveau 2 (élèves) :Variance des constantes TempsVariance des pentes TempsCovariance constantes/pentes TempsVariance des pentes Temps2
Covariance constantes/pentes Temps2
Covariance pentes Temps/pentes Temps2
0,326 (0,022) 0,330 (0,022) 0,178 (0,026)0,0003(0,0002)0,0189 (0,0038)0,0000 (0,0000)–0,0007 (0,0002)0,0000 (0,0000)
Niveau 1 (intra-élèves) 0,652 (0,011) 0,650 (0,011) 0,638 (0,011)
–2 Log V 20219,22 20201,94 19922,76
Modélisation des acquisitions comme fonction quadratique du temps, selon que les élèves appartiennent au groupe expérimental ou témoin
-0,15
-0,1
-0,05
0
0,05
0,1
0,15
0,2
0 5 10 15 20 25
Temps
Acq
uisi
tions Groupe témoin
Groupe expérimental
Le modèle aléatoire croisé
Le modèle aléatoire croisé
Ecole 1 Ecole 2 Ecole 3 Ecole 4
Quartier 1
Quartier 2
Quartier 3
Un exemple de structure aléatoire croisée
transversale
Année 2
Enseignant 1
Enseignant 2
Enseignant 3
Année 1
Enseignant 1
Enseignant 2
Enseignant 3
Un exemple de structure aléatoire croisée
longitudinale
Modèle aléatoire croisé à 2 niveaux :
Modèle aléatoire croisé à 3 niveaux :
212121100021 jjijjjjijji euuXY
kjjikjkjkkjjikjji euuvXY 21212110000021
Un exemple de modélisation aléatoire croisée : la question des effets à long terme des
enseignants sur les acquis en mathématiques
Paramètres Modèle 1 Modèle 2 Modèle 3 Modèle 4
Effets fixes
Constante –0,007 (0,069) –0,016 (0,074) –0,015 (0,074) –0,015 (0,074)
Score initial 0,620 (0,036) 0,627 (0,035) 0,625 (0,035) 0,625 (0,035)
Effets aléatoires
Niveau 3 : variance inter-écoles 0,000 (0,000) 0,000 (0,000) 0,000 (0,000)
Niveau 2 :Variance inter-classes (année 2)variance inter-classes (année 1) 0,103 (0,036)
0,113 (0,040) 0,100 (0,043)0,024 (0,029)
0,100 (0,043)0,024 (0,029)
Niveau 1 : variance inter-élèves 0,543 (0,037) 0,530 (0,036) 0,519 (0,037) 0,519 (0,037)
–2 log L 1066,45 1055,76 1054,72 1054,72
Ni = 461
MERCI POUR VOTRE ATTENTION
… « Qui s’assemble se ressemble »
- Destin commun (partage d’un même environnement)
- interactions (influence mutuelle)
« Qui se ressemble s’assemble »…
- Eventuelle sélection par les écoles- Eventuel choix des parents
- Ségrégation spatiale en cas de carte scolaire
« Similarité » des individus au sein des contextes
Illustration du biais d’agrégation (Cf. observations classes DEP 95 : Relation entre jugement des enseignants et scores des élèves)
ijij SJ
007,0020,047,2ˆ
jj SJ .022,016,4.ˆ
006,0
Jugement
Score
M1
M2M3
jijij SSJ .080,0060,003,4ˆ
011,0008,0
contexte inter intra
Corrélation (toutes classes confondues) = 0,28 (p = 0,003).
Corrélation inter-classes = –0,77 (p = 0,002).
Corrélation médiane intra-classes = 0,73.
Approche par la régression :
L’estimation de la part de variance inter-groupes
Décomposition de la variance (ANOVA avec effets aléatoires)
222ueu
Coefficient de corrélation intra-classe
Simulation…
ijjij euY 000
2
20
,0
,0
eij
uj
Ne
Nu
Groupe Nombres aléatoires Moyenne Ecart-type
123456789
10
39 65 76 45 45 19 90 69 64 6173 71 23 70 90 65 97 60 12 1172 20 47 33 84 51 67 47 97 1975 17 25 69 17 17 95 21 78 5837 48 79 88 74 63 52 06 34 3002 89 08 16 94 85 53 83 29 9587 18 15 70 07 37 79 49 12 3898 83 71 70 15 89 09 39 59 2410 08 58 07 04 76 62 16 48 6847 90 56 37 31 71 82 13 50 41
57.3057.2053.7047.2051.1055.4041.2055.7035.7051.80
20.4931.0526.1830.7625.3638.2729.2331.0029.1623.71
Total 50.63 28.50
ρ = 0,059 (Proc ANOVA).
Donc, part de variance inter-groupes = 5,9 %
Données issues de tables de nombres aléatoires, groupées dans des macro-unités(extrait de Wonnacott & Wonnacott, 1991, p. 867)
yij
xij
u j0
Classe j
Moyenne
Droites de régression avec constantes aléatoires
y i j
x i j
1 1 u j
C l a s s e j
M o y e n n e
Droites de régression avec constantes et pentes aléatoires
Illustration de l’effet de shrinkage
Droites de régression estimées par le modèle multiniveau
Droites de régression estimées par les moindres carrés ordinaires
60
65
70
75
80
85
90
95
100
105
110
115
120
125
130
135
140
145
60 65 70 75 80 85 90 95 100 105 110 115 120 125 130
Acquisitionsfinales
Acquisitions initiales
60
65
70
75
80
85
90
95
100
105
110
115
120
125
130
135
140
145
60 65 70 75 80 85 90 95 100 105 110 115 120 125 130
Acquisitionsfinales
Acquisitions initiales