L a déperdition au fil des trois vagues de l’enquête longitudinale Erfi-GGS
description
Transcript of L a déperdition au fil des trois vagues de l’enquête longitudinale Erfi-GGS
La déperdition au fil des trois vagues de l’enquête longitudinale Erfi-GGS
Arnaud Régnier-Loilier, Nelly Guisse(Institut national d’études démographiques)
Colloque francophone sur les Sondages 2012 – Rennes – 5 novembre 2012, session « Panels »
Mise en place en France entre 2005 et 2011 (Ined, Insee)
Déclinaison française du Generations and Gender Survey
Thématique familiale ; 18-79 ans lors de la première vague
Objectifs :
comparaisons internationales
dimension prospective : 3 vagues espacées de 3 ans
Enquête non obligatoire
Mêmes enquêteurs sollicités aux vagues succesives
L’enquête en 3 vagues… en 3 mots
Au programme…
1) Procédure de “suivi” et nombre de répondants
2) Facteurs d’attrition entre V1 et V3
3) Accentuation ou “sélection” : facteurs d’attrition identiques entre les vagues ( V1 / V2 et V2 / V3) ?
Fiche de suivi à la fin de chaque vague
Nom, prénom, adresse, téléphone, personnes relais
Saisie manuelle des adresses par le SES : difficultés- pas d’outil existant
- pas toujours le prénom du répondant
Envoi de courriers de relance suite à V1 :- pour les répondants refusant le suivi
- pour ceux n’ayant pas donné de relais
Entre V1 et V3 : ~ 2 courriers / an, premiers résultats...
Le suivi entre V1 et V3
V1 2005 : 10 079 répondants- refus de poursuivre : 10 %
- NPAI répétés, décès, parti à l’étranger, en institution : 8 %
→ échantillon 2008 : 8 341 personnes
- refus de répondre : 8 %
- impossible à joindre : 6 %
- parti à l’étranger, en institution, inapte : 3 %
- répondant 2008 ≠ 2005 (42 cas)
V2 2008 : 6 534 répondants
Taux d’attrition entre V1 et V2
35 %
V2 2008 : 6 534 répondants- refus de poursuivre : 3 %
→ échantillon 2011 :
6 248 répondants à V2
- refus : 322 (5%)
- IAJ : 226 (4%)
- inapte : 117 (2%)
- hors champ : 150 (2%)
V3 2011 : 5 433 “V123”
Taux d’attrition entre V1 et V3
13 %
1 274 non répondants à V2
396 (31%)
377 (30%)
73 (6%)
80 (6%)
348 “V1-3”
V3 2011 : 5 781 répondants (ayant répondu à V1 et V3)
soit une attrition de 43 % en 6 ans
73 %
Refus de poursuivre ou autres raisons ?
~ 50 % de l’attrition (V123) s’explique par un refus de poursuivre ou de répondre à un moment donné
~ 50 % par d’autres raisons (impossible à joindre, perdu de vue, départ en institution, etc.)
Proportions semblables entre V1/V2 et V2/V3
Sur l’ensemble des 18-79 ans n’ayant répondu qu’à la vague 1, environ 1/10e de l’attrition imputable à la mortalité
Géographie de l’attrition
Plus forte attrition (>50 %) en :
Île de France
Paca
Languedoc
Corse
Moindre attrition(<37 %) en :
Auvergne
Bretagne
Pays de la Loire
Loraine
Beaucoup d’effets “liés” : type de commune, type de logement, intention de déménager...
Régression logistique estimant la probabilité de ne pas avoir participé à la vague 3
Nombreux “essais” de modélisations pour s’assurer de la stabilité des résultats, tester des hypothèses, etc.
Résultats difficilement “présentables” : synthèse
Repérage des facteurs « toutes choses égales »
« Toutes choses égales », attrition plus forte...
... régions Île-de-France
... et Méditerranée
... des locataires
... en appartement
... ayant l’intention de déménager
Moindre attrition chez les agriculteurs, communes <5000 habitants, et les propriétaires accédants
Lieu d’habitation
(plus de refus)
(moins de refus)
(moins de refus)
(autant)
(moins de refus)
(autant)
« Toutes choses égales », attrition plus forte des...
... hommes
... âges extrêmes
... aucun diplôme
... chômeurs
... nationalités étrangères
Caractéristiques sociodémographiques
(moins de refus)
(moins de refus)
(autant)
(autant)
(autant)
« Toutes choses égales », attrition plus forte des...
... très mauvaise santé
... seules (avec ou sans enfant < 3 ans)
... absence de confidence
Santé, entourage, sociabilité
(moins de refus)
(moins de refus)
(plus de refus)
« Toutes choses égales », attrition plus forte des...
... questionnaires courts
... personnes ne souhaitant pas recevoir les résultats
... refusant de répondre à questions
→ Chez les actifs, pas d’effet du temps de travail (proxi d’une plus ou moindre grande disponibilité)
Posture par rapport à l’enquête lors de la 1ère vague
(autant)
(plus de refus)
(plus de refus)
35 % d’attrition entre V1-V2, 17 % entre V2-V3 : effet de sélection
Mais les mêmes facteurs continuent-ils à jouer ?
Hypothèses :
→ les facteurs liés à la mobilité, à l’accès au logement, à la santé, à la posture / à l’enquête se rejouent au fil du suivi
→ moindre effet des caractéristiques individuelles : diplôme, nationalité, sexe (effet de sélection)...
Question
Deux approches :
- modélisation de la probabilité d’attrition V1/V2 et modélisation entre V2/V3 puis comparaison
→ les mêmes facteurs jouent-ils ?
- modélisation unique sur l’ensemble des répondants à V1 (10079) et à V2 (6534) de la probabilité d’avoir répondu à la vague suivante, en intégrant des interactions entre la vague et chaque variable
→ une interaction significative indique que la variable joue différemment entre V1/V2 et V2/V3
Mise en œuvre
Globalement, les mêmes facteurs se rejouent entre V2 / V3 avec une attrition plus forte pour...
- Île-de-France, intention de déménager
- refus de répondre, non intérêt pour les résultats
- mauvaise santé perçue
Moindre attrition chez les agriculteurs, communes <5000 ha
Résultats
Par contre : plus d’effet chez les non diplômés, les locataires, en région méditerranéenne ni de la longueur du questionnaire (effet de sélection)
Par contre, on retrouve le même effet entre V2 / V3...
- des plus diplômés qui répondent mieux (accentuation)
- de la nationalité (accentuation)
- de l’âge (accentuation)
- du sexe (accentuation)
Résultats
Moindre attrition entre V2 et V3 : effet de sélection après V1
Moindre qualité du modèle V2 / V3 (R²) : les facteurs expliquent moins l’attrition ? Effet de sélection ?
Mais globalement, les mêmes facteurs se rejouent d’une vague à l’autre : accentuation de la déformation de la structure de l’échantillon (sauf non diplômé, méditerranée, communes > 100 000 ha)
Au final : variance de la pondération normalisée > en V3
Résultats (synthèse)
Conclusion
Attrition relativement élevée (43 – 46 %)...
... “classiquement” moindre pour la 3e vague (sélection)
Pour moitié des refus ; difficilement récupérables en V+1
Facteurs d’attrition “classiques”...
... avec une déformation de l’échantillon qui s’accentue au fil des vagues (attrition V2/V3 non uniforme)
Conclusion
Perspectives pour d’autres opérations longitudinales :
- Importance de disposer d’au - 1 téléphone et 1 relais
- un suivi “individualisé” serait-il envisageable ? (contacts plus rapprochés pour les plus mobiles, pour ceux n’ayant pas donné de personnes-relais... ?)
- Un soin à apporter à la présentation de l’enquête pour les personnes a priori moins “concernées”
Analyses à poursuivre :
- Mesure des biais sur les variables d’intérêt
Pour en savoir plus sur l’enquête… www-erfi.ined.fr
Ont participé au suivi des répondants :
Ruxandra Breda-Popa (SES)Lamia Zamouri (SES)
Raphaël Laurent (SES)et ponctuellement l’ensemble du SES !
Merci à Laurent Toulemon pour ses conseils
Problème de cohérence d’unevague à l’autre de l’enquête Érfi-GGS :
l’exemple du nombre d’enfants
Arnaud Régnier-Loilier(Institut national d’études démographiques)
Colloque francophone sur les Sondages 2012 – Rennes – 5 novembre 2012, session « Panels »
3 vagues d’enquête sur 6 ans : se pose la question de la stabilité des réponses d’une vague à l’autre
“Stratégie” dans Érfi : éviter de collecter aux vagues successives des informations déjà connues (gain de temps, éviter les incohérences)...
... mais pas possible pour les enfants, leur situation pouvant changer d’une vague à l’autre
Problème de cohérence rencontré lors de l’appariement des répondants V1 – V2 : moins d’enfants en V2
Problèmatique
Détermination du nombre d’enfants dans Erfi par addition :
1) des enfants du logement
2) des enfants non cohabitants (hors logement) : {Nous avons déjà parlé des enfants vivant au sein de votre ménage.} Avez-vous adopté ou avez-vous eu vous-même {d’autres} enfants. Ne prenez pas en compte les beaux-enfants, les enfants accueillis ni les enfants aujourd’hui décédés, nous en parlerons après. Si oui : Combien?
3) des enfants décédés : Il arrive que l’on perde un enfant. Avez-vous eu d’autres enfants qui sont aujourd’hui décédés? Si oui : Combien?
Distinction des enfants placés, adoptés, beaux-enfants
Problèmatique
Pour V3 (2011) :
- Insitence en formation d’enquêteurs sur ce problème
- Inclusion d’un indicateur récapitulatif du nombre total d’enfants du répondant : Pour récapituler, combien d’enfants avez-vous eu vous-même en tout, qu’il s’agisse d’enfants eus ou adoptés, avec votre conjoint actuel ou avec un précédent conjoint ? Merci de prendre également en compte les enfants qui ne vivent plus avec vous ou qui sont aujourd’hui décédés.
Problèmatique
Au programme…
1) Confrontation des informations collectées par décompte en V1, V2 et V3 + récapitulatif en V3
2) Quels enfants sont sous-déclarés ?
3) Un profil spécifique des sous-déclarants ?
0
0,5
1
1,5
2
2,5
3
3,5
18-19
20-24
25-29
30-34
35-39
40-44
45-49
50-54
55-59
60-64
65-69
70-74
75-79
18-19
20-24
25-29
30-34
35-39
40-44
45-49
50-54
55-59
60-64
65-69
70-74
75-79
HOMMES FEMMES
Décompte, V3 (2011)
Nombre moyen d’enfants
Champ : répondants aux 3 vagues d’enquête
Source : Ined-Insee, Erfi-GGS 123, 2005-2011
Décompte, V1 (2005)
Décompte, V2 (2008)
Récapitulatif, V3 (2011)
Plus d’enfants : naissances
0,3 enfant en moins en V2 et V3
Plus d’enfants : naissances
0,3 enfant en moins en V2 et V3
Lecture : en 2005, les femmes de 25-29 ans déclarent en moyenne
0,5 enfant
Note : données non pondérées
Champ : répondants hommes aux 3 vagues d’enquête
Source : Ined-Insee, Erfi-GGS 123, 2005-2011Note : données non pondérées ; âge en 2005
Cohérence entre le décompte en V1 et le récapitulatif en V3
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
18-19
20-24
25-29
30-34
35-39
40-44
45-49
50-54
55-59
60-64
65-69
70-74
75-79
HOMMES
Autant d’enfants en V1 et d’après le récapitulatif en V3
Moins d’enfants en V3 qu’en V1
Plus d’enfants :
naissances ?
Cohérence entre le décompte en V1 et le récapitulatif en V3
Champ : répondants femmes aux 3 vagues d’enquête
Source : Ined-Insee, Erfi-GGS 123, 2005-2011Note : données non pondérées ; âge en 2005
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
18-19
20-24
25-29
30-34
35-39
40-44
45-49
50-54
55-59
60-64
65-69
70-74
75-79
FEMMES
Autant d’enfants en V1 et d’après le récapitulatif en V3
Moins d’enfants en V3 qu’en V1
Plus d’enfants :
naissances ?
Au-delà de 45-50 ans, différence de
réponse < 5 %
Cohérence entre le décompte V1, V2 et V3
Champ : répondants femmes aux 3 vagues d’enquête
Source : Ined-Insee, Erfi-GGS 123, 2005-2011Note : données non pondérées ; âge en 2005
HOMMES0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
18-19
20-24
25-29
30-34
35-39
40-44
45-49
50-54
55-59
60-64
65-69
70-74
75-79
Autant d’enfants en V1, V2 et V3 d’après le décompte des enfants
Plus d’enfants
Moins en V2, autant entre V2 et V3 (sur-déclaration en V1 ?)Moins en V2
Moins en V3 uniquement
Cohérence entre le décompte V1, V2 et V3
Champ : répondants femmes aux 3 vagues d’enquête
Source : Ined-Insee, Erfi-GGS 123, 2005-2011Note : données non pondérées ; âge en 2005
FEMMES0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
18-19
20-24
25-29
30-34
35-39
40-44
45-49
50-54
55-59
60-64
65-69
70-74
75-79
Autant d’enfants en V1, V2 et V3 d’après le décompte des enfants
Plus d’enfants
Moins en V2, autant entre V2 et V3 (sur-déclaration en V1 ?)
Moins en V2
Moins en V3 uniquement
Moins d’enfants en V2 ou V3 dans 21 % des cas chez les
50-79 ans (âge en 2005)
Même proportion chez les femmes et les hommes
- La méthode du décompte des enfants du foyer, hors foyer et décédés en V1 est cohérente avec le nombre total d’enfants obtenu avec la question récapitulative en V3
- Sous-estimation du nombre d’enfants en V2 et V3 par la méthode du décompte (au total, 21 % après 50 ans)
- Même phénomène entre V1 et V2 ET entre V2 et V3, mais auprès de personnes différentes
- Même phénomène chez les hommes et les femmes
Conclusion intermédiaire
Hypothèses
1) enfants partis du foyer parental et non déclarés comme non cohabitants
2) sous-déclaration des enfants décédés aux vagues V+1 et V+2 (événement récent, sensible...)
3) effet enquêté : non déclaration des enfants non cohabitants
4) effet enquêteur ?
...
Qui sont les enfants perdus de vue ?
a. Faire appel à Jacques Pradel dans son émission « Perdu de vue »... mais elle n’existe plus hélas
b. En descriptif, trois étapes :
1) On se limite aux personnes de 50-79 ans (en 2005) ayant moins d’enfants en vague V+1 qu’en V (n = 206 et 311)
2) Décomposition du nombre total d’enfants en 3 composantes : cohabitants, hors ménage, décédés
3) Confrontation de chaque “type” d’enfants entre V1-V2 et V3
Les enfants sous-déclarés en vague 3
0 1 2 3 4 et + Total0123
4 et +Total 206
Nombre d'enfants hors ménage en 2005 / 2008
Nombre d'enfants
hors ménage en 2011
Nombre de cas cohérents entre V1-2 et V3 concernant ce type d’enfants
Nombre de cas avec moins d’enfants de ce type en V3Nombre de cas avec plus d’enfants de ce type en V3
Exemple pour les enfants hors ménages
Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V3 uniquement (n=206)
Source : Ined-Insee, Erfi-GGS 123, 2005-2011
Les enfants sous-déclarés en vague 3
0 1 2 3 4 et + Total0 131 12 13 2
4 et + 1Total 206
Nombre d'enfants hors ménage en 2005 / 2008
Nombre d'enfants
hors ménage en 2011
Nombre de cas cohérents entre V1-2 et V3 concernant ce type d’enfants
Nombre de cas avec moins d’enfants de ce type en V3Nombre de cas avec plus d’enfants de ce type en V3
Exemple pour les enfants hors ménages
Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V3 uniquement (n=206)
Source : Ined-Insee, Erfi-GGS 123, 2005-2011
Les enfants sous-déclarés en vague 3
0 1 2 3 4 et + Total0 131 0 12 0 0 13 0 0 0 2
4 et + 0 0 0 0 1 1Total 13 206
Nombre d'enfants
hors ménage en 2011
Nombre d'enfants hors ménage en 2005 / 2008
Nombre de cas cohérents entre V1-2 et V3 concernant ce type d’enfants
Nombre de cas avec moins d’enfants de ce type en V3Nombre de cas avec plus d’enfants de ce type en V3
Exemple pour les enfants hors ménages
Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V3 uniquement (n=206)
Source : Ined-Insee, Erfi-GGS 123, 2005-2011
Les enfants sous-déclarés en vague 3
0 1 2 3 4 et + Total0 13 54 78 34 18 1971 0 1 1 1 0 32 0 0 1 1 0 23 0 0 0 2 1 3
4 et + 0 0 0 0 1 1Total 13 55 80 38 20 206
Nombre d'enfants hors ménage en 2005 / 2008
Nombre d'enfants
hors ménage en 2011
Nombre de cas cohérents entre V1-2 et V3 concernant ce type d’enfants
Nombre de cas avec moins d’enfants de ce type en V3Nombre de cas avec plus d’enfants de ce type en V3
Exemple pour les enfants hors ménages
2 résultats :
1) 91 % des sous-déclarants en V3 ont déclaré moins d’enfants non cohabitants en V3
2) parmi ces 91 %, 89 % sont passés de n enfants en 2005-2008 à 0 enfant non cohabitant en 2011
Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V3 uniquement (n=206)
Source : Ined-Insee, Erfi-GGS 123, 2005-2011
Les enfants sous-déclarés en vague 3
Exemple pour les enfants décédés
Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V3 uniquement (n=206)
Source : Ined-Insee, Erfi-GGS 123, 2005-2011
2 résultats :
1) 95 % des sous-déclarants en V3 ont déclaré autant d’enfants décédés en V3
2) 3 % des sous-déclarants en V3 ont déclaré moins d’enfants décédés en V3
0 1 2 3 Total0 184 6 0 0 1901 2 12 0 1 152 0 1 0 0 13 0 0 0 0 0
Total 186 19 0 1 206
Nombre d'enfants
hors ménage en 2011
Nombre d'enfants hors ménage en 2005 / 2008
Les enfants sous-déclarés en vague 2
Exemple pour les enfants hors ménages
0 1 2 3 4 et + Total0 15 81 110 51 23 2801 0 5 6 0 0 112 0 1 2 1 2 63 0 1 0 4 7 12
4 et + 0 0 0 0 2 2Total 15 88 118 56 34 311
Nombre d'enfants hors ménage en 2005
Nombre d'enfants
hors ménage en 2008
En vague 2, même phénomène :
1) 90 % des sous-déclarants en V2 ont déclaré moins d’enfants non cohabitants en V2
2) parmi ces 90 %, 85 % sont passés de n enfants en 2005 à 0 enfant non cohabitant en 2008
Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V2 (n=311)
Source : Ined-Insee, Erfi-GGS 123, 2005-2011
- La sous-déclaration des enfants tient principalement à la disparition de l’ensemble des enfants non cohabitants d’une personne
- Légère sous-déclaration des enfants décédés
- Autre cas possibles repérés : sur-déclaration des enfants en vague 1 (un même enfant est déclaré comme appartenant au logement et comme non cohabitant)
- Quelques rares cas de beaux-enfants déclarés comme enfants du répondant en vague 1, pas dans les autres
Conclusion intermédiaire
Modélisation de la probabilité d’avoir sous-déclaré vs autant
Caractéristiques individuelles : sexe, âge, niveau de diplôme
Posture par rapport à l’enquête : refus de répondre au revenu, d’enregistrer les questions sensibles, refus de recevoir les premiers résultats, présence d’un tier pendant l’entretien
Évènement vécu entre les vagues : séparation
Nombre d’enfants des différents types en 2005 : cohabitant, non cohabitant, décédés
Présence d’enfants avec qui le lien est rompu : + interaction avec le sexe du répondant
Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré autant ou moins d’enfants à une vague (n = 2010)
Source : Ined-Insee, Erfi-GGS 123, 2005-2011
Résultats de la modélisation
Aucun effet des caractéristiques individuelles, de la posture par rapport à l’enquête, du fait de s’être séparé
Mais sous-déclaration plus forte si :
- présence d’enfants décédés en V1
- au moins 1 enfant non cohabitant en V1 (pas d’effet du nombre)
- présence d’enfants avec qui le lien est rompu en V1
... avec un effet significatif de l’interaction avec le sexe (joue uniquement chez les hommes)
- Méthode de décompte des enfants cohabitants, hors ménage et décédés correcte, mais en V1 uniquement
- Importante sous-déclaration des enfants non cohabitants en V2 et V3 (21 % chez les 50 ans et plus ; - 0,3 enfant en moyenne en V2, et également en V3)
- Même phénomène entre V1-V2 et entre V2-V3 malgré formation accrue des enquêteurs
- Même effet chez les hommes et les femmes
Conclusion
- Pas de profil-type des sous-déclarants sauf le “type” d’enfants qu’ils ont en V1
- Quelle(s) interprétation(s) possible(s) ?
- Effet enquêteur ? (a priori non ; phénomène très “réparti”)
- Effet panel, avec une stratégie d’évitement de blocs de questions de la part de certains répondants ?
- Effet panel, avec une impression que rien n’a changé à ce niveau depuis la vague précédente ?
Conclusion
- Pour faire le lien avec la présentation précédente : pas d’effet de la sous-déclaration entre V1 et V2 sur la probabilité d’avoir répondu à V3...
Ne plaide pas en faveur de l’hypothèse d’une stratégie d’évitement de la part des enquêtés “lassés”...
Le mystère reste entier... Toutes idées d’interprétation bienvenues
Conclusion
Pas de complément d’échantillon en V2 ni V3
Risque de déformation de la structure de l’échantillon
Utile pour le calcul de redressements, pondérations
Question des biais éventuels (si les non répondants ont des caractéristiques sépcifiques)
“Enseignement” pour d’autres enquêtes longitudinales
Étudier l’attrition : pourquoi ?