Pragmatika výzkumu v humanitních vědách

Jan Širůček

IVDMR & KP FSS MU

Co číst? Téměř libovolné „handbooks“ vydané renomovanými nakladatelstvími.

APA (2002). Publication manual of the American Psychological Association. 6th ed. Washington: APA. závazná pro citační aparát a pro prezentaci kvantitativních výsledků

Urbánek, T. (2007). K prezentaci výsledků statistických analýz - 1. část. Československá psychologie, 51, 6, 601-609.; 2. část. Československá psychologie, 52, 1, 70-79. též velmi vhodné pro prezentaci kvantitativních výsledků

Kvalitní učebnice metodologie obsahují kapitoly o prezentaci výsledků. Nekvalitní bohužel často také.

Co nečíst? Lokální (=české) produkty, skripta recyklovaná od roku 1985, atd. To, že dané texty vydal Portál, Grada, Academia a spol. nemusí nic znamenat.

Od výzkumného problému k smysluplnému výsledku Role výzkumného designu (plánu):

strategie řešení problému -> výzkumný projekt v případě kvantitativních výzkumů musí téměř

vždy existovat relativně konkrétní výzkumný plán před započetím empirického stadia

Tedy výzkumný plán sjednocuje potřeby výzkumného problému s

možnostmi empirického řešení stanovuje sekvenci kroků, které k řešení vedou (či

alespoň mohou vést) svým zakořeněním v teorii umožňuje adekvátní

intepretaci výsledku

Plánování výzkumu

(už zase) problematic

ká teorie =>

výzkumný problém

konkrétní výzkumné otázky a z

nich vyplývající hypotézy

konkrétní empirické

řešení=> design

designu adekvátní

interpretace

(teď zrovna)

smysluplná teorie

Dodržení návazností je pro kvatitativní výzkum vitální – jednotlivá stadia implikují volby v dalších krocích

Obvykle je zcela nemožné měnit design během výzkumu

Nedodržení nebo chyba plánu v jediném bodě může způsobit naprosté selhání výzkumu

Vztah výzkumného problému, výzkumné otázky a hypotéz

Výzkumný problém Výzkumná otázka a hypotézy

Vyplývá ze stavu teorie v určitých podmínkách důsledek pnutí mezi teorií a

(např. časem změněnou) každodenní realitou

Provázaností se stavem, podobou teorie implikuje paradigma (pojmový systém), v němž bude přetvořen do výzkumných otázek je udržitelná současná

představa o struktuře inteligence?

VO: Specifikace VP na jevovou úroveň jaká je struktura inteligence?

tedy, jaké dimenze inteligence má smysl diagnostikovat např. ve vztahu ke škole?

H: Specifikace VO na jedno, či sérii ověřitelných tvrzení (či gramatických otázek; na formě nezáleží) lze diferencovat verbální a

neverbální faktor inteligence? existuje jediný faktor IQ?

Výsledek řešení sekvence problém -> otázka -> hypotézy Pojmový aparát (paradigma) Teoretické konstrukty, použitelné k odvození metod vhodných

pro empirické řešení potřebuji změřit spíš interpersonální závislost nebo styl citové vazby? záleží spíš inteligenci nebo školní znalosti/dovednosti?

Statistické hypotézy (nejen věcná a nulová ) implikující vlastní výzkumný design potřebuji porovnat skupiny respondentů nebo zjistit vztahy mezi

jevy? jde o kauzalitu, nebo projev souvisejících charakteristik?

Selhání v řešení sekvence způsobí: odvození nesmyslného designu, volbu absurdních metod, vznik

bezcenných Snaha o přeskočení stupně v sekvenci způsobí:

objev kokosového ořechu (dojde k užití ad hoc metod a analýze banálních dat)

Hledání empirického řešení - metody Užití metod vyplývá často spíše z otázky, než hypotéz Metody v širším smyslu

pozorování, rozhovor, ankety, dotazníky, testy, analýza artefaktu kvantifikovatelné nebo kvantitativně zpracovatelné jsou produkty/data

téměř jakkékoliv metody, jsou-li získány v adekvátním plánu/designu Metody v užším smyslu

psychodiagnostické metody úzké provázání s teorií, problematická přenositelnost mimo původní rámec,

problematika zaškolení a autorských práv Bez ohledu na předchozí jsou kritické požadavky na validitu a

reliabilitu validita: konstruktová, diferenciální, dimenzionální, obsahová

(přinejmenším) a indikace vůči vzorku a problému (vždy) reliabilita dle teoretických vlastností měřeného konstruktu metody postrádající jedno či obojí produkují náhodná nebo (hůře)

systematicky chybná data Metody implikují měřené proměnné. Garbage in, garbage out.

Hledání empirického řešení – vzorek Požadavky na vzorek vyplývají z výzkumné otázky a

designu zohledňujeme přitom možnosti (indikaci) metod k dispozici

Náhodné nebo záměrné výběry? a jak se to vlastně má k reprezentativnosti? a kolik jich vlastně má být? (očekáváná síla efektu)

Experimentální designy: náhodné výběry, konstrastní skupiny, intra-subject vs.

inter-subject, single case Korelační designy:

reprezenativní a záměrné výběry, kohortové a cross-sectional výběry, drop-out

Zvláštní designy – jen při jasném způsobu analýzy!

Dodržení disciplíny sběru dat umožňuje intepretaci... ... a bez intepretace je kvanti výzkum bezcenný. Kdo

stojí jen o čísla? Smysluplná interpretace je možná pouze tehdy,

dodrželi jsme-li návaznost teorie – empirie, neopustili sekvenci

neselhalo-li měření zvládli jsme-li analýzu chápeme-li jasně souvislost mezi změřenými jevy, jejich

tabelovaným popisem (daty), výsledky jejich analýzy a původní teorií

K smysluplné intepretaci patří i reflexe slabin výzkumu Dobrá zpráva o výzkumu není success story, ale

upřímný odborný text. Bez ohledu na to, zda je kvali-, nebo kvanti-.

K problému měření v humanitních vědách*

* Půlpán, 2000.10

Měření je proces, jehož předmětem jsou určité atributy určitých předmětů. Měření je smysluplné pouze může-li být jednoznačné

předmět náleží právě do jedné třídy v dané vlastnosti; třídy jsou tedy disjunktní je-li systematické, reprodukovatelné… tedy i popsatelné

vzpomeňme operacionální definici proměnné… z definice procesu měření vyplývá reprodukovatelnost

operacionální definice proměnné je též jednou z potřebných záruk vztahu mezi měřeným (objekty) a uvažovaným (proměnné)

lze-li odhadnout jeho spolehlivost… proč?!? empirické měření není nikdy přímé – vždy se děje pomocí nějakého nástroje (škála, oko,

člověk, přístroj…) nepřímost měření implikuje chyby měření.

A proto se Classical Test Theory zabývá vztahem

a nebo na úrovni individuálních skórů vztahem

CTT se tedy zabývá vztahy mezi měřenými hodnotami, chybou měření a skutečnými hodnotami.

222etx

iii eX

… celkový (měřením získaný) rozptyl, rozptyl true-score, chybový rozptyl

… naměřené skóre, true-score, chyba – pro dané pozorování

Zdroje chyby měření

11

Nástroj měření Zvolený nástroj neměří přesně – není vybaven odpovídající škálou, je“hrubý“: Měření rozměrů

podlahy pravítkem; záměna nástroje pro patologickou populaci nástrojem pro normu a naopak Pozorovatel

Přesnost: kompetence – percepční schopnosti, znalosti, zaškolení: reakční čas u stopek, nedostatečné pochopení klasifikačních kriterií v případě kvalitativního výzkumu

Objektivita: názorová nezaujatost (deklarovaná i cenzurovaná), predispozice znalostmi, kulturou, výchovou: Odhad úrovně schopnosti, intelektu či morality u osoby z „nepřátelského“ etnika

Okolnosti měření Situace a čas (a „milieu“ a „epocha“*): Význam stimulu může být dán kontextem … milieu =

kultura, epocha = dějinné období; occasion a state složka rysu… krátkodobý aspekt; v tomto okamžiku a podmínkách se cítím právě tak

Měřený objekt Měřená charakteristika „brání měření“: - tím, že je změřena, se změní (měření polohy

elementární částice – Werner Heisenberg: „Relace neurčitosti“); co v psychologii? Měření objektu ovlivní (nejen právě měřené) charakteristiky objektu; obtruzivní měření má i závažné etické důsledky

Měřená veličina nevhodně zvolená latentní proměnná/konstrukt; resp. latentní proměnná o nízké konstruktové

validitě. Nesmysl není možné změřit dobře; nanejvýše je možné místo něj změřit něco jiného. „Blbec může říct pravdu jen z nesprávných důvodů.“**

Měření samo o sobě (jako proces daný výzkumníkem) Zvolený nástroj neodpovídá měřené veličině – chyba operacionalizace: Např. odhad intelektu

pomocí hodnocení školního výkonu.

*Jerome Kagan, kdovíkde; **Umberto Eco, Foucaltovo kyvadlo

Odhad a kontrola chyb měření –– pracovní rámec CTT

12

Chyby vztažené k nástroji – validita a reliabilita validita – shoda zaměření nástroje a účelu; obsahová, kriteriální, faktorová,

prediktivní, empirická, ekologická… reliabilita – relativní nepřítomnost chyby měření; stabilita v čase, konzistence, shoda

paralelních forem dané aspekty lze empiricky kontrolovat; testovat

Chyby vztažené k pozorovateli – zejména objektivita vztahují se obvykle ke konkrétnímu (profesionálnímu) výkonu v diagnostické situaci;

současně zdrojem možného zneužití nástroje; obtížně testovatelné nerespektování podmínek pro administraci, „nespravedlnost“, interakční prvky atd. -> mají charakter intervenujících proměnných řeší se formálním požadavkem na standardizaci testovat lze konzistenci posuzovatelů atd.; obtížná zobecnitelnost pro rutinní práci

Chyby vztažené k teorii – konstruktová validita shoda nástroje a teoretického interpretačního rámce

rozšíření obsahové validity o kontext modelu či teorie; shoda empirických charakteristik dat s předpoklady teorie

Chyby interpretační – normalizace, standardizace Navazuje na výše uvedené; týká se výlučně práce s výsledky měření Irelevantní kontext, neznalost, „klinický vhled“, přeceňování osobní zkušenosti atd. Toto ošetřují postupy vážení skórů => normy a intepretační postupy

Položky, proměnné, skóry

13

Položka (stimul) je operacionalizací proměnné položka je

operacionalizací/manifestací latentní proměnné, konstruktu

soubor položek k měření (latentní) proměnné je reprezentativním výběrem všech možných položek (v ideálním případě )… z tzv. banky položek

Odpověď na položku (response) je manifestní, exogenní je výsledkem jednání

respondenta její vztah k latentní proměnné je

pouze částečný, je zatížena chybou

Hrubý skór (raw score) Obvykle suma (správných)

odpovědí ve škále Předpoklad stejné váhy

všech položek/odpovědí 20 položek ano/ne…

respondent 4 ví, 2 „ví“ chybně, 14 tipuje… jaké bude nejpravděpodobnější hrubé skore? A jaké je pravé skore?

Hrubé skore je zatíženo chybou měření

Pravý skór (true score) je HS oproštěný od chyby měření… Na individuální úrovni nelze

chybu měření určit!

Plný strukturní model – schéma základních pojmů CTT

Teoretická definice reliability Pokud platí potom je reliabilita testu podíl variability

pravých skórů k celkové variabilitě testu, tedy

jenže takto obecně definovanou reliabilitu (také) nelze přímo určit. Proto reliabilitu odhadujeme a uvažujeme nejčastěji o stabilitě v čase paralelních formách/split-half reliabilitě vnitřní konzistenci shodě posuzovatelů

222etx

Test-retestová reliabilita - Stabilita v čase

16

Metody: korelace dvou měření (rank-order

stability) párové srovnání středních hodnot

(mean stability) Podmínky:

samotný rys musí být stabilní v čase možnost dvojího měření v

přiměřeném odstupu Tedy nemožné u nástrojů

diagnostiky aktuálního psychického stavu

Problém: reálná fluktuace rysu v čase je považována za chybu testu Mohou existovat dokonale stabilní

rysy? Stabilita rysu (korelace TS) vs.

stabilita metody (korelace HS)

T

X1 XnX2

SnS2S1

ene1 e2

OnO2O1

rs12 rs23 ... rs.n

Reliabilita paralelních forem Možnost, jak se „vyhnout“ opakování administrace stejných

položek X testů, které měří konstrukt stejným způsobem – položky

jsou vybrány ze stejné domény Mohou existovat různé stupně ekvivalence

Alternativní (pouze podobné) Srovnatelné (srovnatelné konečné skóry) Ekvivalentní (zajištěny stejné průměry HS a sm. odch, totožné

korelace s jinými nástroji) (Striktně) paralelní – jako ideál výběru položek z domény; stejná

vnitřní struktura Metody:

položková analýza – průměry, rozptyly, neparametrické ekvivalenty

korelace položek a forem vyrovnávání (např. bonifikace v IST)

Značná technická náročnost, není to však neřešitelné Problém: co když je málo manifestací? V praxi se reliabilita paralelních forem užívá pouze u metod

s efektem zácviku17

Reliabilita jako vnitřní konsistence Všechny položky navzájem by měly

pěkně korelovat… potom jsou konzistentní a měří totéž.

Tedy – položky měří totéž, jestliže mají společným rozptyl

Cronbachův koeficient alfa: K je počet položek, si je rozptyl i-té položky,

st je rozptyl sumy položek čím nižší je suma rozptylů položek oproti

rozptylu sumy položek, tím lépe test měří… Psychometrický paradox:

Čím více spolu položky korelují, tím „ostřeji“ se zaměřují na specifický rys.

Měříme stále přesněji stále méně – ztráta validity.

Někdy i jako cílená aktivita; de facto je to podvod (synonymní položky)

Stejně tak nemá smysl ospravedlňovat nízkou reliabilitu vyšší validitou – ta z ní nevyplývá, ba naopak.

Pro dichotomické pol. Kuder-Richardson KR20

2

2

11 t

i

i

kkk

kr

18

Požadavky na reliabilitu Helmstadter:

0,5 pro hodnocení výkonu skupiny 0,9 pro hodnocení rozdílů skupiny u dvou a více výkonů 0,94 pro hodnocení individuálního výkonu 0,98 pro hodnocení rozdílů dvou a více individuálních výkonů

Podceňováno :-/ Je zřejmé, že nelze požadovat vždy všechny důkazy o reliabilitě Možnost výpočtu směrodatné chyby:

Sx je směrodatná odchylka provedených měření

Se je směrodatná chyba; po vynásobení příslušnými kvantily normálního rozložení určuje interval spolehlivosti měření

platí však jen tehdy, lze-li měřit opakovaně

'1 xxxe rss 19

chyba měření v praxi Libovolný test, 95% interval spolehlivosti, +-

chyba v měřítku IQ při dané reliabilitě…

r se chyba0,5 10,61 20,790,6 9,49 18,590,7 8,22 16,10

0,75 7,50 14,700,8 6,71 13,15

0,85 5,81 11,390,9 4,74 9,30

0,94 3,67 7,20

Validita I Validita = shoda mezi nástrojem a měřeným rysem; obsahová

charakteristika „Validita“ (obdobně jako reliabilita) je pouze souhrnným pojmem pro

velkou skupinu různých zdrojů „důkazů o validitě“ Nástroj je v nějakém ohledu reliabilní -> tedy něco měří. (Protože je

konzistentní, stabilní, ...) Ale co? E. G. Boring „Inteligence je to, co měří test inteligence.“

Reliabilita sama nezajišťuje validitu, je pro ni však nezbytná. Aspekty validity (zdroje důkazů):

Obsahová: shoda mezi metodou a účelem metody (v teoretické rovině) face validity, sample validity, factor validity

Emipirická: shoda mezi testovým skórem (výsledkem) a vnějším kriteriem predictive, concurrent, incremental, differencial Je shoda mezi výsledkem měření a „realitou“? Nebo alespoň mezi

metodami? Je tedy měření informačně hodnotné?

Kostruktová: shoda metody (dimenzí metody) s teorií Reliabilita je pohled do metody, validita je pohled ven z metody.

21

Důkazy obsahové validity I Face validity: zjevná vs. zdánlivá

Test měří právě to, co je v něm na první pohled vidět, pozná to i laik…

Na první pohled se zdá, že test měří ... , ale měří ... Je běžné užívat zejména WAIS (v.) jako projektivní

metodu u psychiatrických pacientů Jakýkoliv výkonnostní test může posloužit při troše

snahy jako test zvládání stresové situace, úzkosti Tedy: využití existence více zdrojů systematického

rozptylu v položkách Současně ovšem problém systematického zkreslení

Social desirability Faktor „hodnocení“ (viz Osgood, sémantický diferenciál) je

přítomný téměř ve všech posuzovacích škálách jako „g“ U výkonnostních metod je to přítomnost např. časového

omezení (zavádí faktor rychlosti), percepční charakteristiky atd.

z metodologického hlediska se jedná o intervenující proměnnou.

Užití testu k jinému účelu, než jeho autor zamýšlel, se považuje za porušení autorských práv.

Důkazy obsahové validity II Sample validity (výběrová...)

Vlastní obsahová validita Dána reprezentativností výběru položek z domény

Expertní posouzení atd.; konzistence posuzovatelů: koeficient konkordace (Place de la Concorde = Náměstí Svornosti)

Soulad s teorií danými pojmy v plné šíři Současně princip reliability v některých kvalitativních paradigmatech

Faktorová validita (Historický) přechod k vícerozměrnému pojetí... Inteligence,

Sperman vs. Thurstone Odpovídá (korelační/faktorová) struktura skórů získaných na

populaci teoretickým předpokladům? Problém reifikace (latentní proměnné jsou jen myšlené, odvozené...

Stejně tak IQ je odvozené... Inteligence/temperament/... jsou tedy pouze shrnujícími výpověďmi, ne reálně existujícími charakteristikami ve smyslu např. fyzikálních rozměrů

Tautologický postup; resp. artefakt metody – na populaci získám skory nějakou metodou a z jejich struktury odvozuji teorii. Opačným postupem je ověřena platnost. TEORIE NESMÍ BÝT NIKDY ZÁVISLÁ NA METODĚ.

23

Důkazy empirické (kriteriální) validity Odpovídá zjištění z vyšetření metodou externímu kritériu?

Např. Inteligence známky, MMPI, ROR Psychiatrická diagnosa dle MKN Metody: Korelace, t-test/neparametrický ekvivalent, shoda klasifikací v

kontingenční tabulce (Chi2 + analýza residuálních hodnot)… Požadavky:

Věrohodnost kritéria (hodnotnější je vždy kriterium získané z jiného typu zdroje) adekvátnost souboru (podmínkou je dostatečná variabilita zkoumaného rysu v

souboru a shoda souboru s aplikační skupinou metody)

Prediktivní validita Vztažena vůči kriteriu v budoucnosti (r, rank-order)

Souběžná, paralelní validita (concurrent) Shoda s kriteriem v daném momentu (r, rank-order)

=> PV i SV trpí problémy analogickými se stabilitou v čase; poněkud simplexní. Požadavek na prediktivní validitu má spíše historické důvody (jedním z cílů vývojové psychologie je predikce)

Nereliabilní metody nemohou vykazovat empirickou validitu

24

Inkremetální a diferenciální validita

25

Inkrementální validita: „přidaná hodnota metody“ Mějme dva testy a kritérium … T1, T2 a K Parciální korelace ... Korelace A-C „očištěná“ od společného rozptylu A-B a B-C Tedy: Kolik další informace přidává o kritériu test T2, poté co jsme již měřili testem T1? => platí de facto i pro položky v konceptu vnitřní konzistence: nemají-li vůči sobě

položky inkremetální validitu, jsou (až na jednu) zbytečné, neb nic nového nenaměří.

Diferenciální validita Schopnost metody diferencovat (srov. diferenciální diagnosa) rys od jemu „podobných“. Tedy požadavkem je naopak nízká korelace s negativně vymezeným kriteriem Je zřejmé, že se jedná o pouze doplňkový zdroj, užitečný jen ve speciálních případech.

Je však vhodné prověřovat diferenciální validitu v jakémkoliv designu s více prediktory – jev multikolinearity zcela znehodnocuje platnost vícerozměrných (lineárních) analýz.

K

2KT

2TT

KTTTKT

K.TT

212

2121

21

r1r1

rrrr

T1

T2

Proč konstruktová validita Nic nového

Cronbach & Meehl začátkem padesátých let Postupy prokazující empirickou validitu jsou

zakotveny pouze metodově... „pure empirism“ Metody jsou však z teorií pouze odvozeny a jsou

zatíženy nepřesnostmi (viz. teorém CTT, GT…) Tyto nepřesnosti se dále násobí

Mějme test A korelující s kritériem X 0,7. Uspokojivé? Mějme test B ověřený pouze korelací s „kriteriálním“ testem A,

a to 0,7. Uspokojivé? Navíc, ověřování validity klasickými empirickými postupy

(kriteriální, obsahová, prediktivní, paralelní) postrádá komplexitu. Nevztahuje se k teorii, pouze k metodě.

Tedy nutnost vyvinout postup komplexního testování souladu metody s teorií jako celkem.

26

Jak na konstruktovou validitu Předpokládejme, že metoda skutečně měří distinktní rysy A B C.

BF: extraverze, neuroticismus, přívětivost, svědomitost, otevřenost vůči zkušenosti

Co je známo z dosavadní (prověřené) „teorie“ o oněch rysech? BF: že jsou platné v euroamerickém prostoru, že dimenze jsou víceméně

nezávislé, že existuje shoda mezi self-report a informant-report, že jsou do jisté míry stabilní.

Formulujeme hypotézy vyplývající z výše uvedeného a testujeme je s užitím metody, jejíž KV nás zajímá. Musí platit na všech příslušných národních vzorcích. Korelace dimenzí (mezi sebou) musí být redundantní

(jsou-li, nemusíme už se zabývat ani diferenciální ani inkrementální validitou) MTMM (Multi-Trait Multi Method; Campbell a Fiske, konec 50ties):

Korelace stejných dimenzí s-r a i-r musí být průkazné a věcně významné. Ostatní korelace v MTMM Matrix musí být redundantní.

Musí být průkazná stabilita v čase. Jsou-li hypotézy vyvráceny...

Test neměří daný konstrukt Teoretické předpoklady jsou #&@{ (nebo se ----- něco jiného)

27

Konstrukce testové/dotazníkové metody Metoda musí naplňovat požadavky reliability a

validity Tvorba metody je postup navrhování položek tak,

aby byly (předpokládaně) validní a ve škále reliabilní, a testování těchto předpokladů.

Konstrukce metody Analýza položek Teorie faset (původně Guttman, poté Shye &

al.) Základem dekompozice univerza určité teorie Mapping definitions – zobrazující definice Série definic obsahu nějakého chování podle

tendence, příležitosti a odpovědi… (O – (T <=> S) – R) Zdeněk Pohlreich se setkává s výzvou (O) v podobě

zablešené restaurace, reaguje dle své role (T, S) a strašlivě do… personál (R).

Dekompozice obsahového univerza:fasety modelového zadání – studijní styl Zadání:

popsat převládající studijní styl

Situace: Typy výkonových situací

Zkouška Seminárka Průběžné studium

Čas: dlouhodobost/krátkodobost před – v průběhu – po

Složka postoje: Kognitivní Afektivní Behaviorální

Chování Odklon Ruminace Prokrastinace Řešení úkolu Perseverace…

Afektivní Útlum / agitace Konkrétní emoce…

Kognitivní Dispozice Realizace Znalost Rychlost…

A tak dále… 3x5x3(x5x2x4..)

Dekompozice obsahového univerza II: Vznikne tedy pomyslná matice 3x5x3(x5x2x4..)

kombinací, jak formulovat položky na tentýž obecný konstrukt… Odtud pojem „multifasetový konstrukt“

Při přípravě na zkoušku se zaměřuji na především na získání obecné orientace v látce

Před zkouškou trpím silnými pocity úzkosti Během zkoušení mívám problémy s vybavováním Po zkoušce se obvykle odreaguji ve společnosti

Položka je tedy tvořena vždy výběrem příslušné kombinace faset, s tím, že některé mohou být „nepoužity“

Fasety jsou více či méně univerzální – např. složky postoje jsou pro psychologii obecné, ale další fasety závisí na konkrétní teorii, jsou z teorie odvozené.

Psaní položek – typy položek Obecně:

Item stem = podnět = jádro položky = stimul

Response = odpověď = kvantifikace = …kde co.

Jedna položka může implikovat více odpovědí.

Vztah mezi odpovědí a skórem nemusí být přímý Vážené odpovědi,

interpretované odpovědi.. ROR, TAT, MMPI

Odpověď na položku není totožná se skórem položky!

Typy položek II: Z hlediska úrovně měření:

Nominální – ordinální – „intervalové“ – poměrové

Z hlediska typů metody: Testy schopností Osobnostní dotazníky Silové, rychlostí vs.

kapacitní testy Výkonové vs.

introspektivní Objektivní testy Projektivní testy V principu: existuje

„správná“ či „diagnostická“ odpověď?

Formát odpovědi: Implikuje použité statistiky: Položky s volnou

kvantifikací (čas, x-bodové škály) lze obvykle zpracovat pod CTT s předpokladem normálního rozdělení.

Položky se „správnou“, „diagnostickou“ odpovědí je nutno v konečném zpracování brát jako dichotomické.

Dichotomizace (byť sekundární) omezuje variabilitu – rozlišovací účinnost!

Typy položek III: formát odpovědi Doplňování odpovědi

7+2=…; Co mají společného obraz a socha?; Za dvacet let budu… Vícenásobná volba

Výběr z více než 3 variant s 1 správnou odpovědí a x distraktory Dichotomická položka

Výběr 2 variant Mnohonásobná volba

Vlastně série dichotomií… Spojování (párování) „uspořádané kategorie“ resp. „stejně se jevící intervaly“

Nikdy – zřídka – občas - často – vždy Nucená volba

Jste spíše tolerantní, nebo náročný? Řazení

Seřaďte výroky podle výstižnosti: Jsem energický… nezávislý … důvěřivý… Neuspořádané kategorie (vícenásobná volba bez kriteriální odpovědi)

Skór položky a skór testu Hrubé skore se typicky vytváří jako suma odpovědí

Diagnostických/správných Všech u volných škál

Odpovědi mohou být vážené: V kvantifikátoru (různým kvantifikátorům dle závažnosti

podnětu odpovídají různé hodnoty) Ve skore položky (kvantifikátory jsou vždy stejné, ale jsou

jim dle závažnosti položky přisuzovány různé hodnoty) Ukazatelem účinnosti položky jsou

Vztah ke kriteriu Korelace se zbytkem škály Popularita resp. obtížnost položky (srov. Guttmanovy škály)

nebo Rozpětí, rozptyl, střední hodnota – prostě rozdělení odpovědí

Problém nástroje měření: úroveň měření

*Půlpán, 200035

Měření je proces… kdy jsou charakteristikám přiřazovány hodnoty. Z povahy nástroje měření a měřeného vyplývá úroveň měření. Tradiční v humanitních vědách: nominální – pořadová – intervalová –

poměrová. Smysluplnější alternativa*:

Nominální úroveň („nominal“) alternativní (znak přítomen/nepřítomen) kategorická (odlišné kvality)

A | B | C | D | …k ekvivalence?

Pořadová = ordinální úroveň („ordinal“) 1 < 2 < 3 < k uspořádání?

Metrická úroveň („scale“) smysluplná je i vzdálenost dvou bodů Intervalová

b – a = c – b … reálná čísla Kardinální (poměrová)

0 znamená nepřítomnost charakteristiky Pouze kladné Lze i násobit

(nejen) Úroveň měření implikuje možnosti práce s daty: Nominální:

četnosti kategorií, očekávané četnosti, kontingence…

Ordinální „čísla“ označují pouze pořadí; nebo

shodná pořadí ntily, medián, modus… => neparametrické metody;

„robustní“, „distribution free“ Korelace: Spearman, Kendall Vážná omezení v SEM

Metrické záleží na rozdělení… je normální ? střední hodnoty a rozptyl/odchylka (ne)parametrické metody Při normálním rozložení ideál CTT