Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap
Transcript of Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap
![Page 1: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/1.jpg)
Intercodeurbetrouwbaarheids-berekeningDe Achtergrond / De Opdrachten
![Page 2: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/2.jpg)
Betrouwbaarheid
• Een andere onderzoeker komt met hetzelfde meetinstrument tot dezelfde resultaten
![Page 3: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/3.jpg)
Verstoringen betrouwbaarheid• Enquête
• enquêteur luistert niet goed of interpreteert een antwoord
• Inhoudsanalyse
• Codeur interpreteert een actie, uitspraak of beweging binnen een ‘text’ op zijn of haar eigen manier
![Page 4: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/4.jpg)
Betrouwbaarheids-analyse• Test van het meetinstrument
• Categorieënindeling
• Codeerinstructies
• Zijn twee codeurs op basis van het meetinstrument bij eenzelfde case tot eenzelfde categorisering gekomen?
![Page 5: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/5.jpg)
Overeenstemming
Variabele A Variabele AOvereen-stemming
Codeur 1 ja Codeur 2 ja 1
Codeur 1 ja Codeur 2 nee 0
Codeur 1 nee Codeur 2 ja 0
Codeur 1 nee Codeur 2 nee 1
![Page 6: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/6.jpg)
Overeenstemming
Variabele A Variabele AOvereen-stemming
Codeur 1 ja Codeur 2 ja 1
Codeur 1 ja Codeur 2 nee 0
Codeur 1 nee Codeur 2 ja 0
Codeur 1 nee Codeur 2 nee 1
50%
![Page 7: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/7.jpg)
Overeenstemming
Variabele A Variabele AOvereen-stemming
Codeur 1 ja Codeur 2 ja 1
Codeur 1 ja Codeur 2 nee 0
Codeur 1 nee Codeur 2 ja 0
Codeur 1 nee Codeur 2 nee 1
50%
Twee ongetrainde apen komen ook tot 50% overeenstemming
![Page 8: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/8.jpg)
Overeenstemming
Wie is in beeld? Codeur 1
Bekende Nederlander
Onbekende Nederlander Buitenlander Niemand
59 23 14 4
C o d e u r !2
Bekende Nederlander 60 55 3 1 1
Onbekende Nederlander 20 1 18 1 0
Buitenlander 13 1 2 10 0
Niemand 7 2 0 2 3
In deze tabel is de overeenstemming 0,86
!= !
(55 + 18 + 10 + 3)/100
![Page 9: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/9.jpg)
Opdracht #1
• Geef de overeenstemming weer tussen twee variabelen.
• De docent vertelt tijdens de bijeenkomst welke variabelen je kunt gebruiken
• Maak hiervoor een kruistabel waarbij je de bewuste variabelen in de eerste en de tweede codering tegenover elkaar zet.Je percenteert per cel (total).
![Page 10: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/10.jpg)
Corrigeren voor toeval
Wie is in beeld? Codeur 1
Bekende Nederlander
Onbekende Nederlander Buitenlander Niemand
59 23 14 4
C o d e u r !2
Bekende Nederlander 60 55 3 1 1
Onbekende Nederlander 20 1 18 1 0
Buitenlander 13 1 2 10 0
Niemand 7 2 0 2 3
Overeenstemming = 0,86 !
Correctie met Cohen’s kappa: 0,75 !
Relatief groot verschil omdat data niet evenredig verdeeld zijn:
‘bekende Nederlander komt heel vaak voor.
!Kans dat je ‘goed zit’ met bekende Nederlander is groot dus codeur kan denken: “Ach, het zal wel een
bekende Nederlander zijn” !
Daarvoor corrigeert Cohen’s kappa
![Page 11: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/11.jpg)
Cohen’s Kappa
! = Pr ! − Pr!(!)1− Pr(!) !
waarbij: Pr(a) = de relatieve geobserveerde overeenstemming tussen de codeurs !(de wit gearceerde velden (= 86) / totaal aantal observaties (= 100)waarbij: Pr(e) = de relatieve verwachte overeenstemming tussen de codeurs, gebaseerd op de marginalen (zie volgende tabel)!
![Page 12: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/12.jpg)
De Pe’s (Expected proportions/values)
Wie is in beeld? Codeur 1
Bekende Nederlander
Onbekende Nederlander Buitenlander Niemand
59 23 14 4
C o d e u r !2
Bekende Nederlander 60 35 14 8 2
Onbekende Nederlander 20 12 5 3 1
Buitenlander 13 8 3 1 0
Niemand 7 4 2 1 0
35 = (60*59)/100
![Page 13: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/13.jpg)
Cohen’s kappa
! = Pr ! − Pr!(!)1− Pr(!) !
! = 86− 411− 41
! = 4559
=
=
= 0,76
![Page 14: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/14.jpg)
Corrigeren voor toeval
Wie is in beeld? Codeur 1
Bekende Nederlander
Onbekende Nederlander Buitenlander Niemand
27 25 25 23
C o d e u r !2
Bekende Nederlander 28 23 3 1 1
Onbekende Nederlander 22 1 20 1 0
Buitenlander 24 1 2 21 0
Niemand 26 2 0 2 22
Overeenstemming = 0,86 !
Correctie met Cohen’s kappa: ?? !
Waarom is het verschil tussen overeenstemming en Cohen’s
kappa hier kleiner dan in de vorige tabel? !
tip: wat is de ‘expected proportion’?
![Page 15: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/15.jpg)
Opdracht #2
• Bereken voor dezelfde variabelen als uit Opdracht #1 de kappa.
• Voeg aan de kruistabellen uit opdracht #1 de statistische maat ‘kappa’ toe.
![Page 16: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/16.jpg)
Krippendorff’s Alpha
• Bij data op ordinaal of hoger meetniveau is Kappa minder geschikt:
• Niet-overeenstemming is niet altijd even fout. Als een codeur een individu op 29 schat en de ander op 31 is dat minder fout dan dat het verschil in schatting b.v. tien jaar is.
• Indien tabel niet-symmetrisch is, is kappa niet te berekenen. Krippendorff’s Alpha lost dit op
• Tabel is niet-symmetrisch indien een van de twee codeurs een bepaalde waarde nooit heeft gecodeerd
![Page 17: Intercodeurbetrouwbaarheid voor Leerproject 1 van Communicatiewetenschap](https://reader033.fdocument.pub/reader033/viewer/2022042716/55c09ddbbb61eba97c8b4684/html5/thumbnails/17.jpg)
Opdracht #3
• Bereken de betrouwbaarheidsgegevens voor alle variabelen die jij voor je onderzoeksproject gebruikt.
• Hiervoor is een macro ontwikkelt waarover uitleg volgt tijdens de werkgroep.
• Schrijf de resultaten die je krijgt in het opdrachtformulier.