Reliabilita škály

ISSReliabilita škály

Semináře ke kurzuSemináře ke kurzu

Analytické metody výzkumuAnalytické metody výzkumu

Jindřich KrejčíJindřich Krejčí

ISSAnalytické metody výzkumu, semináře - reliabilitaAnalytické metody výzkumu, semináře - reliabilita Str. Str. 22

Měření reliability a validity - literatura

Ferjenčík J. 2000. Úvod do metodologie psychologického výzkumu. Praha: Portál. (kap. 16)

Soukup, P. 2006. „Čím větší, tím lepší“. Socioweb 2006/7: 11-12. http://www.socioweb.cz/

Kreidl, M. 2004. „Přehled základních přístupů k empirickému hodnocení kvality měření v sociálních vědách“. Pp.87-96 in Kvalita výzkumů volebních preferencí, ed. by J. Krejčí. Praha: Sociologický ústav AV ČR.

Řehák, J. 1998. „Kvalita dat I. Klasický model měření reliability a jeho praktický aplikační výzkum“ Sociologický časopis 34: 51-60.

Řehák, J. 1998. „Kvalita dat II. Přístupy ohodnocování výzkumných instrumentů založené na modelování kovariančních struktur“. Sociologický časopis 34: 195-204.

Řehák, J., I. Bártová, J. Hamanová. 1998. „Kvalita dat III. Empirické výsledky měření reliability pro vybrané míry a stupnice“. Sociologický časopis 34: 363-372.

Jeřábek, Disman,...


Koncept validity a reliability

psychometrie, 60. léta, Lord a Novick, Campbel a Stanley...

viz Jeřábek, Disman...; validita - koncept, reliabilita - nástroj• validita = schopnost měřit koncept, který chceme měřit• reliabilita = přesnost, konzistentnost měření• reliabilita je jednou z podmínek validity

chyby měření (instrument... škály)


Měření validity

obsahová validita: úplnost významové domény jevu v koncepci a postupu měření

kriteriální (empirická) validita: soulad s již existujícím kritériem (např. volební prognóza a výsledek voleb)• souběžná (concurrent), prediktivní

konstruktová (teoretická) validita: soulad vztahů očekávaných v teorii a mezi naměřenými hodnotami indikátorů• konvergentní, diskriminační (korelace, faktorová analýza)• modelování - MIMIC, • kovarianční - zachycení reliability i validity pomocí opakovaní měření

modelů (RMM, MTMM)

externí validita: přesahuje sadu měřených proměnných


Měření reliability

paralelní měření: dvě nebo více měření stejného konceptu• různými otázkami• v různých podmínkách

opakování v čase

testování nástroje (účast v minulých volbách)

u hodnot a postojů problém časové vzdálenosti - blízkost kvůli možné změně postoje, vzdálenost

alternativní formy jedné otázky (zařazení nevím, střední kategorie, použití karet, alternativní formulace atp.)

více pozorovatelů, jeden postup

hodnocení mezipoložkové reliability: crobachovo alfa, split-half


Reliabilita škály konstrukce výzkumného nástroje: korelace mezi nástrojem a

realitou (pravdivým měřením), protože realitu neznáme:

• test vnitřní konzistence škály (internal consistency)• split-half• test-retest• paralelní měření (inter-rater r.)

kalibrace - zvyšování reliability pomocí zvyšování homogenity triangulace - zvyšování reliability pomocí redukce systematické chyby

(chyby metody) - např. vícenásobné měření

SPSS: analýza vícepoložkový aditivních škál - hledání nejvhodnější škály z dané množiny položek

• Cronbachovo alfa• Split-half• Guttman (alternativní split-half)• Parallel• Strict parallel


Reliabilita škály v SPSS

ANALYZE - SCALE - RELIABILITY ANALYSIS ...

hodnoty - odpovědi na otázky/položky škály

reliabilita: pozorovaná hodnota = pravdivá hodnota + chyba; (chyba = systematický chyba + náhodná chyba); čím menší chyba, tím lepší škála

jak škála diskriminuje? jak položky zapadají do škály?

• celková hodnota testu pro škálu• relace hodnoty každé položky a celkové hodnoty• relace hodnot položek

jednotlivé položky - deskriptivní statistiky: hodnoty, průměry, standardní odchylky, vztahy mezi položkami

vztahy mezi položkami a celkovým skóre škály: Item - Total Statistics


Cronbachovo alfa (1)

míra vnitřní konzistence škály (měříci jednu dimenzi)

průměrná korelace položek v rámci jedné škály, jestliže položky standardizovány (st.dev. = 1) nebo průměrná kovariance, když nejsou standardizovány

interpretace jako korelace (hodnoty (nežádoucí -1 až) 0 až 1):• mezi testovanou škálou a jinými možnými škálami měřícími stejnou věc

sestavitelnými z hypotetické množiny položek• mezi pozorovaným skóre (skóre obdrženým v testu) a pravdivým skóre

(skóre za všech možných položek)

0, tzn. žádná shoda => pouze chybová položka; 1, tzn. úplná schoda => pouze pravdivá hodnota

Cut-off criteria - běžná konvence: 0,6 použitelná, 0,7 adekvátní, 0,8 dobrá


Cronbachovo alfa (2) negativní hodnoty (mezipoložkové korelace) - nekonzistentní kódování

nebo více různých dimenzí

hodnota závislá na početu položek: čím větší počet, tím větší reliabilita (obvyklý cíl: přiměřeně položek!, vysoká reliabilita)

alpha if deleted: dopad jednotlivých položek na reliabilitu škály - odebrání položky z testu a sledování změny

item - total: korelace položky s celkovou škálou - malá (<0,3/nevýznamná) => asi vyhodit

R2: R2 položky predikované ze všech ostatních položek škály; čím větší, tím víc položka přispívá ke konzistenci škály (malé hodnoty - uvažovat o vyhození)

KR20: koeficient alfa pro dichotomické položky (Kuder-Richardson)

standardizované alfa pro položky (Spearman-Brown Coef., ne S-B split half): míra nepodobnosti rozptylu mezi položkami

Raykovo rho: alternativní míra reliability

Spearmanovo rho: alternativní míra spočítaná na základě pořadí (ordinální data)

ISSAnalytické metody výzkumu, seminářeAnalytické metody výzkumu, seminářeJindřich Krejčí, 1. 11. 2011Jindřich Krejčí, 1. 11. 2011 Str. Str. 1010

Split Half podstata: rozdělit škálu na dvě části a posouzení ekvivalence

(korelací) mezi jednotlivými částmi

SPSS: rozdělí test na dvě části podle pořadí, pokud lichý počet, první část je delší

• Cronbachovo alfa pro bě části & korelace mezi oběma částmi

• equal-length Spearman-Brown koef.: • korelace mezi oběma částmi testu - odhad celkového koeficientu reliability• equal/ unequal-length • nevýhoda 1: závisí jak jsou rozděleny položky do částí (náhodně)• nevýhoda 2: vyžaduje podobný rozptyl v obou částech testu• nevýhoda 3: hledání problematické položky (nevíme, v které půlce)• nepléct se Spearman-Brown standardizovaným alfa koef.

• Guttman split-half koef.• modifikace S-B koef. - nevyžaduje shodu rozptylů

• Guttman split-half test: • šest koeficientů• doporučeno experimentovat pro dosažení rozdělení na dvě části s nejvyšší

reliabilitou: nejlepší rozdělení to, kde jsou nejvíce zkorelované položky v obou částech


Test - retest:

• stabilita v čase, stejný test ve dvo časových bodech

• klasický - Spearman-Brown split-half

Inter-rater

• měření homogenity hodnocení různých hodnotitelů

• stejný test na stejné objekty, různí hodnotitelé

• Cohen’s Kappa: pokud jen dva různí hodnotitelé

• ICC (intraclass correlations): pro dva a více


Další předpoklady

aditivita:každá položka by měla mít lineární vztah k celkovému skóre - Tukey’s test of aditivity

nezávislost pozorování nezkorelované chyby konzistentní kódování podobná obtížnost odpovídání na položky

Reliabilita škály

Documents

Transcript of Reliabilita škály