Tekstbronnen bestuderen...wijze data te verzamelen •Bestaande instrumenten of zelf instrument...
Transcript of Tekstbronnen bestuderen...wijze data te verzamelen •Bestaande instrumenten of zelf instrument...
1/15/20
1
AOS docentonderzoekbijeenkomst 6Onderzoeksinstrumenten
Rian Aarts & Joske Piepers
www.docentonderzoekbrabant.nl
1
Bijeenkomst 6
• Onderzoeksplannen: Methode• Vandaag:
• Onderzoeksinstrumenten• Ontwerp maken
2
Data verzamelen
• Gericht: moet bijdragen aan beantwoorden onderzoeksvraag.
• Instrumenten: middelen die je helpen om op eenduidige wijze data te verzamelen
• Bestaande instrumenten of zelf instrument maken
www.docentonderzoekbrabant.nl
3
Ethische aspecten van onderzoek
1.Doen de respondenten vrijwillig aan het onderzoek mee?
2.Wordt er aan de respondenten van tevoren duidelijk uitgelegd wat het doel en de werkwijze van het onderzoek zijn?
3.Worden de gegevens van de respondenten vertrouwelijk, maar het liefst anoniem verwerkt?
4.Hebben de uitkomsten van het onderzoek geen nadelige gevolgen voor de respondenten?
5.Wordt het onderzoek op een eerlijke en objectieve manier uitgevoerd?
4
Instrumenten
• Tekstbronnen bestuderen• Toets• Bezoeken• Observeren• Bevragen
• Het interview• De vragenlijst
www.docentonderzoekbrabant.nl
5
Tekstbronnen bestuderen
• Kijkkader met concreet omschreven kijkpunten• Bijvoorbeeld: lesmateriaal bestuderen op culturele
diversiteit
www.docentonderzoekbrabant.nl
Aantal keer Beschrijving / context
personen met verschillendeachtergronden
Situaties buiten Nederland
Situaties waarin interculturelecommunicatie plaatsvindt
6
1/15/20
2
Toets
• Kennis of vaardigheden• Onderzoeksvraag: Zijn leerdoelen gehaald?
• ontwikkeling; leervorderingen; leereffect van een aanpak
• Bestaande toetsen: methodegebonden of onafhankelijketoetsen
• Zelf toets maken: doel vaststellen; inhoud erop afstemmen; nauwkeurig formuleren (kort, zakelijk); voldoende opdrachten, tijd.
• Vraagvormen: • open (mondeling; essay; opdrachten; van tevoren
beoordelingscriteria opstellen)• gesloten (ja/nee; meerkeuze; matching).
www.docentonderzoekbrabant.nl
7
Bezoeken
• Doel van bezoek (welke deelvraag)• Plannen: wanneer, wie, wat, hoe (bestuderen,
observeren, bevragen)• Contact leggen en afspraken maken (bijv over wat er
met resultaten gebeurt; anonimiteit)• Verslaglegging: kort na je bezoek (vers); geef context
van school/instelling• Terugkoppeling
www.docentonderzoekbrabant.nl
8
Observeren (1)
• Doelgericht kijken naar situaties in de onderwijspraktijk• Opbrengst: inzicht in wat er daadwerkelijk gebeurt in de
praktijk• Nadeel: tijdsintensief. • Aandachtspunt: objectviteit.• Onderzoeksvraag (waarom je observeert) is leidend voor
wat, wie en op welke manier
www.docentonderzoekbrabant.nl
9
Observeren (2)
Eenmalig (eenmalige situatie)
Vaker (verschillende tijdstippen, situaties, verloop over tijd)
Participerend dagelijkse praktijk: validiteit + betrokkenheid: objectiviteit -
Niet-participerend inbreuk op normale gang van zaken: validiteit -als buitenstaander: objectiviteit +
Direct (directe registratie)
Indirect (opname maken)
Gestructureerd (concrete aspecten turven)
Minder/Niet gestructureerd (beschrijving maken)
www.docentonderzoekbrabant.nl
10
Observatie-instrumenten
Minder gestructureerd:- observatieschema met observatiedoel en
observatiepunten.
Gestructureerd: observatiecategorieën en punten:- Of iets voorkomt: per tijdseenheid registreren;- Hoe vaak iets voorkomt: elke keer dat gedrag voorkomt
turven;- Hoe lang iets duurt: gedrag + duur ervan;- In welke mate of hoe intens iets voorkomt:
beoordelingsschalen (betrouwbaarheid en objectiviteit -).
www.docentonderzoekbrabant.nl
11
Voorbeeld: Observatieformulier(ICALT-instrument, RUG, lerenobserveren.nl)
12
1/15/20
3
Observatieverslag
• Doel aangeven• Observatiepunten aangeven
• Geef informatie over plaats, datum, tijd, situatie• Beschrijf waarneembaar gedrag• Vermijd interpretaties en waarderingen• Beschrijf wat vooraf gaat aan gedrag en wat erop volgt
(stimuluscondities).
www.docentonderzoekbrabant.nl
13
Bevragen
Onderzoeksvraag is leidend voor wat, wie en op welkemanier
• Wat: onderwerp in kaart brengen; gevoelens, meningenbevragen; ideeën, adviezen; kennis.
• Wie: leerlingen, leraren, directie, ouders…Allemaal of steekproef:
- Reputatiemethode (specialist; evt. sneeuwbalsysteem)- Aspectenmethode (per aspect een vertegenwoordiger)- Steekproeftrekking (random: representatief beeld).
www.docentonderzoekbrabant.nl
14
Bevragen
Mondeling: • Individueel interview (gevoelig thema, geen
beïnvloeding) • Focusgroep (reacties op elkaar,
verschillende perspectieven). Denk na over: grootte en samenstelling groep
Schriftelijk: Vragenlijst/enquêteVoordeel: tijd
Nadeel: verschillende interpretaties, nietdoorvragen
www.docentonderzoekbrabant.nl
15
Bevragen
Aandachtspunten:- Begrippen en aanduidingen (veel, goed) kunnen
verschillend geïnterpreteerd worden- Mogelijke invloed van aanwezige personen, plaats,
tijdstip, context van het onderzoek- Vraagstelling; niet suggestief!
www.docentonderzoekbrabant.nl
16
Bevragen: individueel of groep(bron: Baarda, 2014)
Individueel Groep
Respondentvriendelijk Ja Ja, men is vaak al aanwezig
Respondent heeft tijd om na tedenken over antwoorden
Nee Nee
Controle op beantwoordingsproces Zeer goede controle op beantwoordingsproces
Beperkte controle achterafmogelijk
Ingewikkelde vragen enbeantwoordingsprocessen mogelijk
Ja Is hier wat lastiger
Anonimiteit Niet Niet
Invloed interviewer Mogelijk probleem Mogelijk probleem, leidengroep ook extra moeilijk
Algehele afname en verwerkingstijd Veel Levert veel tijdswinst op
(Gedeeltelijke) non-respons Wanneer afspraakgemaakt, nauwelijks
Heel laag, men is immers al aanwezig
Invloed groep Niet Positief: groep kaninspireren, negatief groepsdruk
17
Wat mankeert er aan deze vragen?
1. De film Titanic is door meer mensen gezien dan welke andere film tot nu toe. Hebt u de film gezien?
2. Bent u van mening dat de laatste kabinetsformatie te lang heeft geduurd?
3. Ik lees mijn studieboeken uitsluitend in vertaling. soms/meestal/altijd4. Vindt u het plezierig om per bus of trein te reizen?5. Leest u een dagblad, zoals de Volkskrant?6. Hoeveel boeken hebt u het afgelopen jaar gelezen?7. Ik vind het hier best aardig wonen. eens/oneens8. Ik zou niet teleurgesteld zijn als ik niet geschikt zou zijn.
helemaal oneens – oneens – eens – helemaal eens
www.docentonderzoekbrabant.nl
18
1/15/20
4
Bevragen: mondeling of schriftelijk(bron: Baarda, 2014)
Mondeling / interview Schriftelijk / vragenlijst
Respondentvriendelijk Ja Nee
Respondent heeft tijd om na tedenken over antwoorden
Nauwelijks Ja
Controle op beantwoordingsproces Ja Nee
Ingewikkelde vragen enbeantwoordingsprocessen mogelijk
Ja Nee
Anonimiteit Niet Wel
Invloed interviewer Mogelijk probleem Geen probleem
Voorbereidingstijd Relatief weinig, traineninterviewers
Veel, grondig ontwikkelenen testen van vragenlijst
Algehele afname en verwerkingstijd Veel Relatief weinig
(Gedeeltelijke) non-respons Wanneer afspraakgemaakt, nauwelijks
Veel/hoog
19
Liever interview dan enquête als ….• … vragen veel toelichting nodig hebben• … er veel open vragen worden gesteld.Voordelen:• Interviews vergen minder taalvaardigheden en
gedisciplineerdheid van de ondervraagden.• Bij interviews zijn de gegevens completer; bij ontbrekende
gegevens is de reden bekend.Maar:• Interviews kosten veel tijd• zijn minder anoniem• er zijn veel factoren die het resultaat kunnen beïnvloeden.
www.docentonderzoekbrabant.nl
20
Interview: communicatie
• Lichaamstaal: oogcontact• Sfeer: veilig, aandacht, tijd nemen• Omgeving: rustig• Begrip tonen• Actief luisteren• Neutraal reageren; niet sturend
www.docentonderzoekbrabant.nl
21
Soorten interviewvragen
Gesloten en open vragen
• Inleidend (kun je me iets vertellen over….)• Vervolg (inzoomen; meer informatie krijgen)• Verdiepend (kun je dat nader toelichten)• Specificerend (kun je een voorbeeld geven; hoe ziet dat er in
de praktijk uit?)• Direct (wat vind je van…)• Indirect (hoe denk je dat de leerlingen dit zien…)• Structurerend (iets afsluiten, met nieuw thema beginnen)• Interpreterend (klopt het dat…; bedoelde je dat …)
www.docentonderzoekbrabant.nl
22
De geïnterviewde
Een geïnterviewde kan geneigd zijn om:• sociaal acceptabel of wenselijk te antwoorden• zich van zijn beste kant te laten zien• vanuit een bepaalde rol te spreken• een vaag en vrijwel nietszeggend antwoord te geven
(doorvragen)• afleiden naar een ander onderwerp
www.docentonderzoekbrabant.nl
23
Het interview
Interviewleidraad (stappenplan) met:• Doel, manier van vastleggen, afspraken met
respondenten (anonimiteit, terugkoppeling, duur);
• Opbouw: welke onderwerpen/thema’s in welke volgorde. • Logische ordening: van algemeen naar specifiek
(trechterstructuur) of andersom.• Inleiding (kennismaking), kern, slot (dank).
www.docentonderzoekbrabant.nl
24
1/15/20
5
Vragenlijst (1)
De vragen• Blokken van vragen die bij elkaar horen• Van algemeen naar specifiek (trechter)• Antwoordmogelijkheid: weet ik niet, niet van toepassing,
geen mening• Filtervragen (overslaan indien niet van toepassing)• Eenduidig en helder formuleren (enkelvoudige vragen,
heldere zinsbouw, vermijd moeilijke woorden; geendubbele ontkenningen)
www.docentonderzoekbrabant.nl
25
Vragenlijst (2)
Vraagtypen: • Open vragen: diverse antwoorden; moeilijker te
analyseren (achteraf categoriseren)• Gesloten vragen:
- Enkelekeuzevragen (1 mogelijkheid kiezen)- Meerderekeuzevragen (meerdere mogelijkheden
kiezen; uitputtend of: anders, namelijk……)- Vragen met getal als antwoord (vergelijkbaarheid)- Schaalvragen: stelling op schaal zetten- Rangordevragen: antwoorden in volgorde zetten
www.docentonderzoekbrabant.nl
26
Vragenlijst (3)Bestaande vragenlijst of eigen vragenlijst opstellen.Opbouw:• Informatie voorafDoel onderzoek, verwerking resultaten, anonimiteit, terugkoppeling, contact onderzoeker
• Instructie over hoe in te vullen; antwoordmogelijkheden(1 of meerdere antwoorden)
Let op:• Niet te lang (dan minder nauwkeurig ingevuld)• Pilot: uitproberen bij enkele respondenten.
www.docentonderzoekbrabant.nl
27
Voorbeeld: Informatie vooraf bij enquête
28
Opdracht
Ga voor de enquête of de interviewvragen na hoe deze nog verbeterdzouden kunnen worden.
29
Stappenplan voor het maken van een instrument
• Uitgangspunt: doel van het instrument• Lijst met kernbegrippen• Opsplitsing van kernbegrippen in deelaspecten• Omzetten van kernbegrippen en deelaspecten in
kijkpunten, observatiepunten, vragen/stellingen.• Ordening aanbrengen.• Voorleggen aan anderen en pilot.
www.docentonderzoekbrabant.nl
30
1/15/20
6
Stappenplan voor instrument:voorbeeld enquêteDoel Kernbegrip Deelaspecten Kijkpunten
ObservatiepuntenVragen/stellingen
Vaststellenvan waarderinggroepswerkdoor leerlingen
Organisatie van samenwerking
Samenstelling van groepen
Ik zit in een fijne groep.
Verdeling van taken Ik moet veel meer doendan anderen in dezegroep.
Opbrengst van samenwerking
Kennis delen Samen weten we meerdan elk alleen.
Ieders expertise gebruiken
We kunnen in dezegroep van elkaar leren.
…
www.docentonderzoekbrabant.nl
31
Aan de slag
1. Starten met opstellen onderzoeksinstrument• Gebruik het stappenplan
2. Gebruik van Qualtrics: Joske• Software voor online enquêtes
• Beschikbaar gesteld door Tilburg University
• https://tilburghumanities.eu.qualtrics.com/WRQualtricsControlPanel/#
• Inloggen met Tilburg University e-mailadres
3. Informatie over maken van een ontwerp: Rian
www.docentonderzoekbrabant.nl
32
StappenplanDoel Kernbegrip Deelaspecten Kijkpunten
ObservatiepuntenVragen/stellingen
doel Kernbegrip 1 Deelaspect 1.1
Deelaspect 1.2
Kernbegrip 2 Deelaspect 2.1
Deelaspect 2.2
Deelaspect 2.3
www.docentonderzoekbrabant.nl
33
Onderzoekscyclus met ontwerp
www.docentonderzoekbrabant.nl
34
Ontwerpen
• InnoverenDoelbewuste invoering van een ontwerp om verandering in de praktijk te realiseren.
• OntwerpEen uitgewerkt idee, gebruik of object. Bijv eenlesmodule, een nieuwe werkvorm, een protocol ..
• Een kleine ingreep, een bestaand ontwerp aanpassen, iets nieuws ontwerpen.
www.docentonderzoekbrabant.nl
35
OntwerponderzoekEerste fase: beschrijven- praktijkprobleem beschrijven; doel en vragen- plannen, data verzamelen- richtlijnen voor oplossing formuleren à ontwerpeisen
Tweede fase: innovatiecyclus- ontwerp maken op basis van eisen- uittesten in de praktijk, data verzamelen- evt herontwerp maken, weer testen- eindpunt: definitief ontwerp (oplossing probleem)
www.docentonderzoekbrabant.nl
36
1/15/20
7
Ontwerpeisen
• Doelgroep: voor welke leerlingen?• De leraar: welke leraren?• Organisatorisch: budget, locatie, tijd…• Pedagogisch, didactisch, vakdidactisch, inhoudelijk:
methodiek, visie, doelen en inhouden.
• Zo concreet en eenduidig mogelijk beschrijven en verantwoorden.
www.docentonderzoekbrabant.nl
37
Het ontwerp
• Hulpbronnen zoeken: wat is er al?• Ontwerp maken: voldoende specifiek,
gebruikersvriendelijk, aanvaardbaar voor gebruikers, realiseerbaar
• Feedback vragen en zonodig aanpassen• Testen van het ontwerp: volledig, op kleine schaal, in kleine
delen• Testcriteria:
- Voldoet het aan ontwerpeisen?
- Voldoet het in praktijk of komen er nieuwe eisen op?
• Zonodig: herontwerp maken en testen.
www.docentonderzoekbrabant.nl
38
Spreekuren
Spreekuur op 20 januari
https://docentonderzoekbrabant.wordpress.com/spreekuren/
39