De steeds maar weer veranderende wereld van survey-onderzoek
Jelke Bethlehem
Universiteit Leiden
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 1 / 36
De veranderende wereld van survey-onderzoek
Het verleden
De mens heeft altijd data verzameld.
De opkomst van steekproefonderzoek.
De rol van de computer.
Het heden
Uitdagingen.
Online dataverzameling.
De toekomst
Andere aanpakken.
De rol van big data.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 2 / 36
Terug in de tijd
In de grijze oudheid was al behoefte aan statistische informatie
Altijd integraal onderzoek (volkstellingen).
China en Egypte (1000 voor Chr.): Overzichten voor belasting en militaire zaken.
Romeinse rijk (8 voor Chr): Tellingen van mensen en hun bezittingen.
Voorbeeld: Volkstelling in Bethlehem (Pieter Bruegel, 1566)
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 3 / 36
Terug in de tijd
Het Domesday Book (1086)
In opdracht van Willem de Veroveraar, nadat hij in 1066 Engeland had veroverd vanuit Normandië.
Gegevens over 13.000 dorpen en riddergoederen.
10.000 cijfers per graafschap.
Informatie over eigendommen, slaven vrije mensen, bos, grasland, molens, visvijvers en geschatte waarde.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 4 / 36
Terug in de tijd
De Quipucamayoc
Statisticus in het rijk der Inca’s (1200-1500 AD).
Quipucamayoc in elk district
Hij verzamelde data over mensen, huizen, lama’s en jonge mannen.
Data vastgelegd op quipu’s: systeem van
knopen in gekleurde touwen.
Decimaal systeem.
RAPI: Rope-assisted personal interviewing.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 5 / 36
Terug in de tijd
De eerste moderne volkstellingen
Gestandaardiseerde vragenlijst.
Verplichting om mee te doen
1666: Nieuw-Frankrijk (Canada),
Jean Talon, N = 3215.
1748: Zweden.
1769: Denemarken.
1795: Nederland, new vanwege nieuw kiessysteem the in de Bataafse Republiek.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 6 / 36
De opkomst van steekproefonderzoek
De periode tot 1895 Geen steekproeven. Het is onjuist om mensen te vervangen door
berekeningen. Werken met steekproeven is een vorm van discriminatie.
Je kunt geen betrouwbare conclusies trekken uit steekproef- gegevens. Je moet gegevens van alle mensen hebben.
Een nieuw tijdperk breekt aan
Industrialisatie.
Verstedelijking.
Groeiende bevolking.
Centrale overheid.
Groeiende behoefte aan informatie.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 7 / 36
De opkomst van steekproefonderzoek
Anders Kiaer (Noorwegen, 1895)
Stelt zijn Representatieve Methode voor.
Een miniatuur van de doelpopulatie volstaat.
Maar, hoe nauwkeurig zijn de uitkomsten?
Arthur Bowley (Engeland, 1906) Je moet de steekproef loten (aselecte steekproef).
Dan kun je de kansrekening toepassen.
Je kunt de nauwkeurigheid van de schattingen bepalen.
Jerzy Neyman (Polen,1934)
Betrouwbaarheidsinterval (en dus onzekerheidsmarge) als indicatie van de onzekerheid.
Andere steekproeven (zelfselectie-steekproeven en quota-steekproeven werken niet).
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 8 / 36
De opkomst van steekproefonderzoek
De fundamentele principes van de steekproef
Je moet de steekproef loten uit de doelpopulatie. We noemen dit een aselecte steekproef.
Elke persoon moet een positieve kans hebben om in de steekproef te komen. Niemand mag worden uitgesloten.
Al die selectiekansen moeten bekend zijn.
Gevolgen
Dan kun je zuivere (valide) schattingen berekenen.
Dan kun je onzekerheidsmarges berekenen.
Deze principes worden al sinds 1940 toegepast in wetenschappelijk verantwoord onderzoek.
Als deze principes niet volgt, dan kun je niets zinnigs zeggen over de betrouwbaarheid van de uitkomsten.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 9 / 36
Voorbeeld: Presidentsverkiezingen in Amerika (1936)
De peiling van Literary Digest
Steekproef: Lijsten van autobezitters en telefoonboeken.
Omvang van de steekproef: 2,4 miljoen.
Voorspelling: Alf Landon (Republikein) wint (fout).
George Gallup Representatieve steekproef op
basis van quota’s (geslacht, leeftijd, sociaaleconomische groep en regio).
Omvang steekproef: 50,000.
Honderden interviewers in het hele land.
Voorspelling: Franklin Roosevelt (Democraat) wint (goed).
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 10 / 36
Voorbeeld: Presidentsverkiezingen in Amerika (1948)
De peiling van Gallup
Thomas Dewey (Republikein) versus Harry Truman (Democraat).
Voorspelling van Gallup: Dewey wint.
Kranten wilden niet wachten op de echte uitslag.
Harry Truman bleek echter de winnaar te zijn.
Oorzaak: quota-steekproef was onvoldoende representatief.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 11 / 36
De opkomst van steekproefonderzoek
Situatie in Nederland
Surveys van het CBS
Vanaf 1950: Face-to-face enquêtes.
Steekproeven werden getrokken uit het bevolkingsregister.
Grote groep interviewers.
Hoge responspercentages.
Kostbaar en tijdrovend.
Vanaf 1980 ook telefonische surveys.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 12 / 36
Bevolkingsregister, 1946
De toenemende rol van de computer
Computergestuurd interviewen
Kwam op in de 80er jaren.
Papieren vragenlijsten werden vervangen door elektronische vragenlijsten.
CATI: Computer-assisted telephone interviewing.
CAPI: Computer-assisted personal interviewing.
CASI: Computer-assisted self- interviewing.
Voordelen
Betere kwaliteit gegevens (controles).
Snellere verwerking gegevens.
Eenvoudiger voor interviewers.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 13 / 36
Het heden
De snelle opkomst van online survey
Begon nadat HTML 2.0 beschikbaar kwam in 1995.
Eenvoudig: Simpele toegang tot grote groep potentiële respondenten.
Goedkoop: geen interviewers, geen drukkosten,
geen verzendkosten.
Snel: je kunt een nieuwe survey snel opstarten.
Iedereen kan het doen!
Methodologische uitdagingen
Onderdekking.
Steekproeftrekking.
Meetfouten.
Non-respons.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 14 / 36
Het heden
Onderdekking in online surveys
Probleem: niet iedereen heeft (of gebruikt) internet.
Ouderen, laag opgeleiden en allochtonen zijn ondervertegenwoordigd.
Resultaat: vertekende uitkomsten.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 15 / 36
Top 3: Noorwegen (97%) Luxemburg (97%) Nederland (96%)
Bottom 3: Griekenland (68%) Roemenië (68%) Bulgarije (59%) Bron: Eurostat, 2015
Het heden
Steekproef voor online survey
Hoe trek je een aselecte steekproef?
Er is geen steekproefkader van e-mailadressen beschikbaar.
Andere methoden van werving zijn bewerkelijk en kostbaar.
Gevaren van zelfselectie
Onbekende trekkingskansen: geen zuivere schattingen
Deelnemers van buiten doelpopulaties.
Risico van manipulatie.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 16 / 36
Gemeenteraadsverkiezingen in Amsterdam. Wie won het debat (januari 2014)?
Het heden
Meetfouten in online surveys
Er zijn geen interviewers. Respondenten zijn op zichzelf aangewezen.
Respondenten zijn niet geïnteresseerd in de survey.
Deelname is dus niet belangrijk voor hen.
Ze lezen de vragen niet, maar scannen er snel doorheen.
Ze weten dat er geen straf staat op een fout antwoord.
Satisficing
Respondenten geven niet het correcte antwoord, maar het eerste min of meer acceptabele antwoord dat bij hen opkomt.
Voorbeelden: primacy effect, weet niet. Vlucht naar neutrale middelste optie.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 17 / 36
Het heden
Kleinere budgetten
Interviewer-gestuurde surveys (CAPI, CATI) zijn te duur geworden.
Overstappen naar online surveys zonder aantasten van kwaliteit?
Ontbreken van steekproefkaders
Er zijn geen geschikte steekproefkaders voor online surveys.
Het is steeds moeilijker om een goede steekproef te trekken voor
een telefonische survey..
Toenemende non-respons problemen
Responspercentage < 10% voor telefonische surveys (RDD).
Responspercentage < 40% voor online surveys.
Zijn de principes van aselecte steekproeven nog wel van
toepassing?
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 18 / 36
De toekomst
Hoe verzamelen we data in de toekomst?
Stop met kanssteekproeven. Gebruik niet-kanssteekproeven.
Stop met kanssteekproeven. Gebruik model-based schattings-
technieken.
Stop helemaal met surveys. Gebruik beschikbare Big Data.
Ga door met kanssteekproeven.
Investeer in betere correctietechnieken.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 19 / 36
De toekomst
Niet-kanssteekproeven: zelfselectie
Vervang kanssteekproef door zelfselectie-steekproef.
Dataverzameling met zelfselectie is veel eenvoudiger.
Corrigeer het gebrek aan representativiteit door weging.
Volgende stap:
Groot zelfselectie online panel.
Maar …
Representativiteitsproblemen zijn bij zelfselectie veel groter dan
bij aselecte steekproeven + non-respons.
Is het echt mogelijk de vertekening volledig te corrigeren? Niet, als
bepaalde subpopulaties volledig ontbreken.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 20 / 36
De toekomst
Steekproef met zelfselectie
Is sample matching misschien een oplossing?
Aselecte steekproef uit steekproefkader (bevolkingsregister).
Lokaliseer gelijkende personen in groot zelfselectie-panel.
Interview deze personen (en niet de personen in het steekproefkader).
Geen non-respons.
Maar …
Betere schattingen dan die van gewogen steekproef uit zelfselectie-panel?
Alleen effectief als geschikte hulp- variabelen beschikbaar zijn.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 21 / 36
Kader Steekproef Panel
De toekomst
Model-based benadering
Traditional benadering: design-based benadering.
Veronderstel lineair verband tussen doelvariabele Y en hulpvariabele X.
Trek aselecte steekproef.
Schat regressie model.
Gebruik regressieschatter:
Robuuste schatter. Is ook zuiver als model niet geldt.
Alleen minder precies als verkeerd model wordt verondersteld.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 22 / 36
R E Gy y b x X
De toekomst
Model-based benadering
Model-based benadering: Negeer steekproefaspecten
Fit een model dat doelvariabele verklaard uit een reeks hulpvariabelen. Bij voorbeeld: Yk = α + βXk + εk, met εk ~ N(0, σ).
Gebruik model om onbekende waarden van Y te voorspellen.
Voorspelling van populatiegemiddelde: Neem gemiddelde van bekende en onbekende waarden van Y.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 23 / 36
De toekomst
Model-based benadering
Fit een model dat doelvariabele verklaard uit een reeks hulpvariabelen. Bij voorbeeld: Yk = α + βXk + εk, met εk ~ N(0, σ).
Gebruik model om onbekende waarden van Y te voorspellen.
Voorspelling van populatiegemiddelde: Neem gemiddelde van bekende en onbekende waarden van Y.
Voorspelling is accuraat voor waarnemingen aan de uiteinden van het model.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 24 / 36
De toekomst
Model-based benadering
Fit een model dat doelvariabele verklaard uit een reeks hulpvariabelen. Bij voorbeeld: Yk = α + βXk + εk, met εk ~ N(0, σ).
Gebruik model om onbekende waarden van Y te voorspellen.
Voorspelling van populatiegemiddelde: Neem gemiddelde van bekende en onbekende waarden van Y.
Voorspelling faalt als het veronderstelde model niet (meer) past.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 25 / 36
De toekomst
Model-based benadering
Model-based benadering kan zeer nauwkeurige schattingen opleveren, maar alleen als het model correct is.
Model-based benadering is dus niet robuust tegen misspecificatie van modellen.
In de praktijk moet je regelmatig controleren of de modellen nog wel passen. Daarvoor moet je wel een goede (aselecte) steekproef trekken.
Beschermen tegen misspecificatie is mogelijk, maar dit vereist een (aselecte) steekproef.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 26 / 36
De toekomst
Big data
Kunnen surveys worden vervangen door big data sets?
Tim Harford (2014): “Big data is like teenager sex. Everyone is talking about it. Nobody knows how to do it. Everybody claims they are doing it. Everybody assumes everybody else is doing it”.
AAPOR Report on Big Data (2015): “Surveys and Big Data are complementary data sources, not competing data sources”.
NTTS 2015 | The ever changing landscape of official statistics 27 / 33
De toekomst
Gebruik van Big Data
Big data is er altijd geweest. Alleen werd het anders genoemd: data mining (2000).
Is big data een hype, een marketing truc of een bruikbare nieuwe aanpak?
Toepassingen lijken nog beperkt.
Is het een grote hoeveelheid data op zoek naar een probleem?
Of gaat het om problemen die op zoek zijn naar data?
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 28 / 36
De toekomst
Uitdagingen
Big data sets zijn van andere organisaties.
Big data sets zijn opgezet voor een ander doel en met andere
definities.
Er is geen controle over de verzameling van de data.
Variabelen kunnen veranderen of verdwijnen.
Big data sets kunnen fouten bevatten.
Is er wel voldoende kwaliteitscontrole?
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 29 / 36
De toekomst
Big data – Geen theorie nodig
“With enough data, the numbers speak for themselves” (Wired, 2008).
“If you torture the data long enough, it will confess” (Coase, 1995).
Gebruik correlaties in de data om een voorspellingsmodel te bouwen.
Maar pas op: modellen kunnen op een later moment falen.
Voorbeeld: Google Flu Trends (GFT)
Model gebaseerd op zoekgedrag in Google.
Model functioneerde drie jaar lang goed.
In 2013 zat het model er een factor 2 naast.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 30 / 36
De toekomst
Big data – nep-correlations
Zelfs bij random ruis is 5% van de correlaties significant.
Data moet worden gesplitst in twee portie: één voor exploratie en
hypothesevorming, en één voor het testen van hypothesen.
Voorbeeld: onafhankelijk, aselecte trekkingen uit normale verdeling.
istribution.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 31 / 36
Significante correlatie
De toekomst
Zijn big data sets representatief?
We hebben geen big data nodig, maar representatieve data.
Big data beschrijven soms maar een deel van de populatie. Het resterende deel mag niet worden vergeten.
Voorbeeld: de Boston Street Bump
Slim idee: smartphone app registreert kuilen in de weg.
Goedkoop en snel. Veel data.
Helaas: bezitters van smartphones wonen vooral in de betere wijken van Boston.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 32 / 36
De toekomst
Zijn big data sets representatief ?
Onderwerpen van 184.5 miljoen tweets in 2014 (Echelon Insights).
Welke populatie wordt hier beschreven?
Veel data, maar zijn die representatief?
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 33 / 36
De toekomst
Zijn big data sets representatief ?
Tweede Kamerverkiezingen in maart 2017.
Is het aantal ‘likes’ op Facebook representatief voor de populariteit van een partij?
Kunnen die ‘likes’ een opiniepeiling vervangen?
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 34 / 36
De toekomst
Is er nog een toekomst voor aselecte steekproeven?
Gooi de baby niet weg met het badwater!
We hebben surveys nodig voor …
Onderwerpen die niet in andere data sets zitten.
Controleren van modellen.
Kwaliteitscontrole van big data sets en andere data sets.
We moeten investeren in …
Betere steekproefkaders.
Betere correctietechnieken.
Betere (effectievere) hulpvariabelen.
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 35 / 36
NPSO 2018 | 10-jarig lustrum | 5 juni 2018 36 / 36
Einde
Top Related