Gæði mælinga
description
Transcript of Gæði mælinga
Gæði mælinga
Stefán Hrafn Jónsson27-2-2014
• http://www.youtube.com/watch?v=pVeTexc4YgE
Mælingar
• Ferlið að setja tölur eða texta á einingar í úrvinnslu (t.d. einstaklinga) þannig að það endurspegli t.d. magn, styrk, umfang hugtaks.
• Dæmi: Hversu góð/góður/gott var – kvikmyndin (4 ½ stjarna af 5 mögulegum), – veitingastaðurinn (vondur matur en fín þjónusta)– stefnumótið (algerlega mislukkað).
3
Lykilhugtök í mati á gæðum mælinga
• Áreiðanleiki mælinga– Hversu stór hluti dreifingar á mæligildi er tilkomin
vegna dreifingar í raungildi– Hversu nákvæm mælingin er
• Réttmæti mælinga– Hvort og hversu vel við mælum það sem við
viljum/ætlum að mæla. – Að við séum ekki að mæla eitthvað annað en það
sem við ætlum að mæla
4
Lykilhugtök• Líkan/módel (e. model)
– Mælingamódel• Dulin breyta (e. latent variable)• Raungildi (sanngildi, e. true score)• Mæligildi (e. observed score)• Villa mælinga
– Ókerfisbundin villa• Minnkar áreiðanleika og réttmæti
– Kerfisbundin villa• Minnkar réttmæti
5
Samsettar mælingar
• Sumar mælingar eru samsettar úr atriðum (spurningum) sem eiga sameiginlega orsök– Henta til þáttagreiningar og til að reikna
Chronbacks alpha
– Sumar mælingar eru samsettar úr atriðum (spurningum) sem eiga ekki sameiginlega orsök (t.d. áföll) henta ekki til þáttagreiningar
Dulin breyta og atriði
• Hugmyndin að baki sambandinu á milli hugtaka, duldra breyta og mælinga er mjög mikilvæg
• Byggir á classical measurement theory sem mun nýtast mjög vel síðar. – Sígilda mælingakenningin
• Grundvallarhugmynd er að dulin breyta hafi áhrif á hvernig fólk svarar spurningum (atriði).
• Ef breyta hefur áhrif á atriði má gera ráð fyrir fylgni þar á milli.
7
Mælingalíkan fyrir scale/index með sameiginlega orsök
Dulin breytaGreind
D
sp1 sp2 sp3
e1 e2 e3
8SP1 SP2 og SP3 eru þá þrjú atriði á greindarprófi.
Ókerfisbundin villa• Þegar villan er óútskýranleg með öðrum mældum eða
ómældum breytum er hún sögð ókerfisbundin• Ókerfisbundin skekkja er ýmist + eða – Dæmi:
– Persóna A er nákvæmlega 65kg. – A fer á sömu vigt, 50 sinnum og sér að mælingarnar flökta frá
64,2 til 65,8kg. – Villan er ókerfisbundin +/- 0,8kg– Ef A fer á vigtina 50 sinnum með bakpoka, fullan af
skólabókum og fartölvu, sýnir vigtin 74,2 til 75,8kg– Þá hefur bæst við kerfisbundin villa +10kg sem má að fullu
skýra með þyngd skólatöskunnar. Auk þess er ókerfisbundna villan uppá +/- 0,8kg enn til staðar.
9
Ókerfisbundin villa (skekkja)
• Dæmi um ókerfisbundna villu (flökt í mælitæki)
• Vog sem er með skekkju. Stundum mælir vogin +1 gramm, stundum -1 gramm, stundum eitthvað þar á milli. Svo lítil skekkja skiptir ekki máli þegar þyngd fólks er mæld en getur skipt verulegu máli í efnafræðirannsóknum
• Námundun á næsta heila tug, hundruð eða eins og algengt er um verð á bílum, næsta 100.000kr
10
11
Kerfisbundin skekkja eða villa• Þegar villan er útskýranleg (stærð og stefna) með
öðrum mældum eða ómældum breytum er hún sögð kerfisbundin
• Oft þarf að sætta sig við skekkju, þá er best að skekkjan sé sem minnst.
• Bakpokinn á fyrri glæru er skýrt dæmi um kerfisbundna skekkju. Bakpokinn bætti alltaf við +10kg kerfisbundinni skekkju við mælinguna hjá þessum einstakling.
• Næsti nemandi gæti verið með 8kg bakpoka og sá þriðji með 12kg bakpoka.
12
13
Erum við að mæla það sem við viljum mæla eða eitthvað annað?
Dulin breytaViðhorf
T=true score
X1Viðhorf Atriði 1
e1 e2
X2Viðhorf Atriði 2
Ókerfisbundinvilla atriði 1
Ókerfisbundin Villa atriði 2
Dulin breytaLestrarkunnátta
0,01
0,85
0,01
0,850,52
0,52
14
Skekkjur og gæði mælinga
• Ókerfisbundin villa minnkar:– Áreiðanleika mælinga og– Réttmæti mælinga
Kerfisbundin villa minnkar réttmæti mælinga
15
Mælingamódel
Dulin breytaD Mæld
breytae1
16
Mælingamódel
Dulin breyta
Mæld breyta
e1
X = T + EObserved score True score Error Mæligildi Sanngildi VillaMæld breyta Dulin breyta
Latent variable
17
Tilraun var framkvæmd 27.2.2014
• 20 nemandi fær úthlutuðum launum að geðþótta kennara– Meðallaun eru 300 þús– Nemendur bæta við (eða draga frá)
handahófskenndri villu (A) við launin og gefa kennara upp „mæld laun“
Teiknum upp mælingalíkan fyrir laun
Dreifni
σ2 = Dreifni = Staðalfrávik*Staðalfrávik
σ2 =Variance = (Std.dev)2
20
Takið eftir að dreifni er mæld fyrri marga einstaklinga. Við erum ekki ennþá kominmeð margar mælingar (atriði) á sömu duldu breytunni.
Sígilda mælingakenninginÁreiðanleiki
X = T + E
Með nokkrum forsendum fæst:σ2
X = σ2T+ σ2
E
σ2measure = σ2
true+ σ2error
σ2total = σ2
true+ σ2error
Allar þrjár formúlurnar hér að ofan segja það sama
σ2 = variance, dreifni 21
Áreiðanleiki
Skilgreinum áreiðanleika mælinga: •rxx = áreiðanleiki mælinga (reliability)
•rxx = σ2true / (σ2
true + σ2error) = σ2
true / σ2 total
•rxx = σ2true = σ2
true (σ2
true + σ2error) σ2
total
22
• Áreiðanleiki er sá hluti heildadreifni (total variance) sem er tilkominn vegna dreifni á sanngildi (raungildi)
• Ef σ2true = 100
• Og σ2error = 20
• Þá er σ2total=120
•rxx = 100/120 = 0,83 •Áreiðanleiki er frá 0 til 1,0 Því hærri því betri•
23
Mælingamódel
Dulin breytaD
sp1sp2 sp3
e1e2 e3
Ef fylgnin á milli sp1 og sp2 er 0,49 og við gefum okkur það að fylgnin á milli D og Sp1 sé jöfn fylgninni á milli D og sp2 þá er fylgnin á milli D og sp1 0,7
0,49
0,7
0,7
Fylgnifylki Hversu margar duldar breytur eru líklegar til að skýra fylgnina á milli þessa
atriða?
Correlations
1 ,508 ,606 ,594 ,021
. ,000 ,000 ,000 ,649
452 452 452 452 452
,508 1 ,615 ,618 ,022
,000 . ,000 ,000 ,637
452 452 452 452 452
,606 ,615 1 ,741 ,001
,000 ,000 . ,000 ,989
452 452 452 452 452
,594 ,618 ,741 1 -,013
,000 ,000 ,000 . ,786
452 452 452 452 452
,021 ,022 ,001 -,013 1
,649 ,637 ,989 ,786 .
452 452 452 452 452
Pearson Correlation
Sig. (2-tailed)
N
Pearson Correlation
Sig. (2-tailed)
N
Pearson Correlation
Sig. (2-tailed)
N
Pearson Correlation
Sig. (2-tailed)
N
Pearson Correlation
Sig. (2-tailed)
N
SP1
SP2
SP3
SP4
SP5
SP1 SP2 SP3 SP4 SP5
Fylgni á milli atriða
sp1 sp2 sp5sp3 sp4
0,02
0,02
0,00
-0,01
0,6
0,60,5 0,74
0,60,6
Þáttagreining byggir fylgnitölum á milli atriða og finnur á svipaðan hátt og áður (0,7*0,7=0,49), fylgni á milli þátta og atriða
Takið eftir fylgni milli sp5 og annarra atriða
Mælingalíkan
sp1 sp2 sp5sp3 sp4
0,6
0,60,5 0,74
0,6
0,8
Dulin breytaD1
Dulin breytaD2
0,8
0,6
0,9 0,90,99
0,006
-0,03
Villuþáttum (e1 til e5) sleppt til að einfalda framsetningu líkansins
Mælingalíkan
sp1 sp2 sp5sp3 sp4
0,8
Dulin breytaD1
Dulin breytaD2
0,8 0,9 0,90,99
e1 e2 e3 e4 e5
Þáttahleðsla
Þáttur (e. Factor, Component)Dulin breyta (e. Latent variable)Vídd
Atriði (e. item)