Jbom jessy siongers
-
Upload
steunpunt-jeugd -
Category
Education
-
view
531 -
download
0
Transcript of Jbom jessy siongers
Survey onderzoek
Jessy Siongers
Onderzoeksgroep TOR
Survey-onderzoek
• Survey-onderzoek, enquête-onderzoek, opinie-onderzoek, peiling, poll, ...
• Op systematische wijze worden vragen gesteld aan een (vaak groot) aantal mensen.
• Die vragen meten meningen, motieven, gedrag of andere kenmerken van die mensen
• Vaak gehanteerde methoden– Face to face– Postenquêtes– Online enquêtes– Schoolenquêtes – Telefonische enquêtes
Het survey-huis
Dekking
Steekproef
Respons Meting
Specifiatie
Specificatie van het onderzoek
1. Verantwoording– Waarom ga ik onderzoeken?
2. Formulering probleemstelling & onderzoeksvragen
3. Van concept naar empirische vraag
De fundering
Aandachtspunten
• Geldigheid– Meet de vraag wat ze bedoeld is te meten?
• Betrouwbaarheid– Het meetinstrument moet bij herhaalde
toepassingen op dezelfde, onveranderd gebleven onderzoekseenheden, hetzelfde resultaat opleveren
Specificatie
• Hoe specificatiefouten vermijden?
– Grondige discussie laten aan voorafgaan– Pretest bij een kleine groep respondenten– Baseren op bestaande vragenlijsten
• Vb. Onderzoeksinstellingen, APS-survey, Jeugdmonitor, ...
Hoeksteen 1: Dekking
• Bij een survey heeft men steeds een doelpopulatie voor ogen– Steekproefkader nodig:
• Vb. Lijst met jeugdige inwoners in de gemeente• Vb. Lijst met deelnemers aan activiteiten
georganiseerd door organisatie, gemeente, ...• Vb. Lijst met telefoonnummers• Vb. Scholenlijst
Dekkingsfouten (1)
• Mismatch tussen steekproefkader en doelpopulatie– Vaak: doelpopulatie niet volledig gedekt
• Vb. Personen zonder email of telefoon • Vb. Bij schoolenquêtes in uitsluitend het het voltijds regulier
onderwijs
– Maar soms ook: “over”dekking• Vb. scholen: Administratieve vs. reële opdeling• Vb. Meerdere emailadressen/gsm-nummers van 1 persoon
– Fouten in bestand• Vb. Volwassenen in jongerenbestand
Dekkingsfouten (2)
• Groot risico op dekkingsfouten:– Websurveys zonder uitnodiging
• vb. Link vanop populaire website
– Commerciële adressenlijsten
Hoeksteen 2: Steekproef
• Iedereen bevragen? • Doorgaans:
toevalssteekproef– Elke persoon uit de
onderzoekspopulatie heeft een berekenbare kans om in de steekproef terecht te komen.
Hoeksteen 2: Steekproef
• Meest gehanteerde: – Zuiver toevallige steekproef– Gestratificeerde toevalssteekproef
• Populatie wordt opgedeeld in een aantal strata en per strata een toevalssteekproef (bv. Opdeling naar leeftijd, geslacht en nationaliteit)
– Disproportioneel gestratificeerde toevalssteekproef• Bv. Oversampling van allochtonen
– Getrapte steekproeven• Bv. Eerst steekproef van gemeenten en daarbinnen van
jongeren
Hoeksteen 2: Steekproef
• Hoe groot moet mijn steekproef zijn?– Afhankelijk van:
• Heterogeniteit of spreiding van de onderzochte kenmerken• Betrouwbaarheidsinterval: Gewenste kans op een verkeerde beslissing
– Met een 95% betrouwbaarheidsinterval is er 5% kans dat de werkelijke waarde buiten het opgestelde interval valt maar besluit dat het er binnen valt
• De gewenste nauwkeurigheid of omgekeerd foutenmarge: de grootte van de fout die men wenst toe te laten
• Analysebehoeften – Complexere analyses: steekproef moet groter zijn naargelang het aantal variabelen en categoriëen van
die variabelen
• Beschikbare tijd en middelen
– Steekproefcalculators op internet• Op basis van heterogeniteit, betrouwbaarheidsinterval en foutenmarge
– Steekproeven zijn niet per definitie beter omdat ze groter zijn• Kan zelfs tot grotere fouten leiden• Wijze waarop steekproef en survey uitgevoerd wordt is belangrijker
Hoeksteen 2: Steekproef
JOP Brussel
12-18 jaarKlassikaal
DepOnderwijs
Studie 214-18 jaarDrop off
% ouders in België geboren 38% 63%% spreekt Nederlands met moeder
23% 30% 77% % spreekt thuis Nederlands
• Item nonrespons• Eenheid nonrespons
• Vooral problematisch als deze selectief is: onder- en oververtegenwoordiging van groepen
– Bv. Ondervert. van laag opgeleiden, allochtonen• Oorzaken
• Als verschillende mailings worden voorzien, bereikt men bij postenquêtes een vergelijkbare respons met deze van bij face to face
Hoeksteen 3: Respons
Hoeksteen 3: Respons
• Wat er aan doen?– Aankondiging van de studie– Herhaalde contacten (ook bij weigering)– Vergelijk met populatiegegevens– Respons en nonrespons op een aantal
punten vergelijken (vb. Geslachts- en leeftijdsverdeling)
– Wegingen gebruiken– Respons onder de 50%
Hoeksteen 4: Meten
• 3 (4) bronnen van meetfouten– De vragenlijst
• Vragen moeten duidelijk zijn en door iedereen op dezelfde manier begrepen
– De respondent• Onbedoeld: verkeerd begrepen, geheugen• Bedoeld: bij gevoelige informatie
– Methode van dataverzameling– (interviewer)
Opbouw vragenlijst
• Voorzie de vragenlijst van een algemene inleiding en van de nodige korte introducties bij de verschillende onderdelen
• Overweeg de volgorde van de vragen en de plaats van elke vraag– Best beginnen en eindigen met niet te moeilijke vragen– Ook vooraan: meest belangrijke en relevante vragen, vragen die de interesse
wekken, vragen die door iedereen kunnen beantwoord worden, gesloten vragen– Las enkele ontspannende vragen in (bv. Muziek, tv, ...)– Zorg voor afwisseling– Vragen die elkaar kunnen beïnvloeden:
• concrete doorgaans niet voor algemene vraag plaatsen– Specifiek: verschillende aspecten van participatie beoordelen– Algemeen: Is participatie belangrijk?
• Pas op met doorverwijzingen• Lengte van de vragenlijst is afhankelijk van methode• Besteed voldoende tijd aan opmaak van een vragenlijst
Algemene aanbevelingen
• Steun op vorig onderzoek– Check voor betrouwbaarheid– Vergelijkingsmogelijkheden– Wel oppassen met veranderende betekenissen
• Vragen moeten begrijpelijk en duidelijk zijn– Vb. Ontspanningsmogelijkheden ipv recreatieve voorzieningen
• Vragen moeten eenduidig zijn– Vb. Kan je op je vrienden en familie terugvallen als je problemen
hebt? opdelen in twee vragen
• Geef duiding bij moeilijke of dubbelzinnige begrippen
Meten van feitelijke gegevens
• Denk aan relevante achtergrondsvariabelen (leeftijd, geslacht, opleiding (ouders), ...)
• Zoveel mogelijk gesloten vragen• Tracht zo volledig mogelijk te zijn in je antwoordcategorieën
(vermijd “andere”)• Maak de vragen zo specifiek mogelijk
– Bv. Geef een welomschreven referentieperiode en/of plaatsomschrijving
• Hoeveel keer heb je het afgelopen jaar informatie over culturele activiteiten opgezocht op het internet (nooit, één enkele keer, slechts enkele keren, minstens maandelijks, minstens wekelijks)
• Hoe vaak zoek je informatie over culturele activiteiten op op het internet (nooit, zelden, soms, vaak)
• Maak gebruik van (chronologische) tabellen en lijsten
Meten van attitudes
– Mogelijkheden• Open vragen• Rangschikkingsvragen• Gesloten vragen met antwoordmogelijkheden
– Oppassen voor beïnvloeding• Sociale wenselijkheid
– bv. “Onze preventiedienst heeft een nieuw programma ontwikkeld om jongeren te wijzen op de gevaren van alcohol. De volgende vragen gaan over jouw drankgebruik”
• Toevoeging van positieve of negatieve adjectieven• Vermijd onderliggende assumpties:
– Vb. Vind je dat omwille van de stijgende jeugdcriminaliteit het skatepark enkel toegankelijk zou mogen gemaakt worden voor jongeren van de gemeente?
– Vermijd dubbele negaties• Oppassen met restrictieve termen: Verbieden, controleren, beperken, tegengaan• Vb. Bent u het eens of oneens met de volgende stelling: Leerkrachten mogen niet
verboden worden om leerlingen te controleren buiten de schoolpoorten
Face to face Postenquête Online enquête SchoolenquêteKostprijs Hoog
Ca. 150€/enqLaag
Port- & ponskosten10 à 15€/enq.
Zeer laagSoftware (bv.
SurveyMonkey 0 tot 800€/jaar)
Laag/zeer laagVnl. Vervoerskosten
& indien schriftelijk: druk- en ponskosten (max. 5€/enq.)
Lengte vragenlijst Lang (30 à 60 min.) Medium (<16 p.) Kort (<15 min.) Medium (best binnen 1 lesuur,)
Dekking/steekproef Afh. Van bron Afh. Van bron Afh. Van bronIdeaal voor internat.
studies
Doorgaans zeer goed, maar afhankelijk van
onderzoeksthema
ResponsTijdsautonomie respondent Beperkt Zeer goed Goed/zeer goed Beperkt/goed
Respons rate goed Slecht/goed Slecht/goed goedSelectieve nonrespons Eerder laag Medium/hoog (Meer
hoger opg;, weinig allochtonen,...)
Medium/hoog (Meer hoger opg einig allochtonen,...)
Laag
Info over non-respons Redelijk Beperkt Beperkt Schoolniveau: redelijkLeerlingniveau: beperkt
MetenGevoelige thema’s Redelijk Goed Redelijk/goed RedelijkNiet bedreigende vragen Goed Goed Goed Goed
Controle over antwoordsituatie Zeer goed Slecht Slecht Goed
Kwaliteit van antwoordregistratie
Zeer goed Redelijk/Goed Goed Goed
Visuele hulpmiddelen Zeer goed Goed Zeer goed Goed/zeer goedDoorverwijsmogelijkheden Zeer goed Beperkt Goed/zeer goed Beperkt/zeer goed
Dus ...
• Elke methode heeft zijn voor- en nadelen
• Veel is afhankelijk van de manier waarop aandacht wordt besteed aan het vermijden van fouten op het vlak van : specificatie, dekking, steekproef, respons en meting