O otázkách a odpovědích: přínos kognitivního přístupu k metodologii dotazování

Aleš Neusar Institut výzkumu dětí, mládeže a rodiny

Abstrakt Článek se zaměřuje na kognitivní přístup k metodologii dotazování (CASM), který nás již více než dvacet let obohacuje systematizovanými poznatky o tom, jak lidé rozumějí otázkám a konstruují odpovědi, a jakým způsobem se dotazovat například na frekvence chování, citlivé chování či postoje. Zajímavé je, že pokud se podíváme do literatury, která se nesoustředí na strukturované formy interview, zjistíme, že poznatky CASM do těchto oblastí nebyly (téměř) vůbec aplikovány. Možnosti aplikace jsou uvedeny na názorném příkladu. Klíčová slova CASM, kognitivní přístup k metodologii dotazování, interview, dotazování, otázky, odpovědi Vznik tohoto článku byl podpořen projektem VZ MŠMT 0021622406. 1. Úvod Jako výzkumníci se často ptáme dobrovolníků na to, co vědí či dokáží nějak zjistit. Očekáváme, že pokud s nimi navážeme dostatečně dobrý kontakt, tak nám vše potřebné řeknou a nebudou záměrně lhát. Našim přáním je, aby odpovědi, které dostáváme, byly co nejdůvěryhodnější a nejpřesnější. Tomuto přání obvykle také věříme. Ostatně, často nám ani nezbývá jiná možnost, neboť nemáme další kritérium, podle kterého výpovědi ověřit.

Dotazování se obvykle jeví být tou nejjednodušší a také nejčastěji používanou metodou sběru dat v sociálních vědách. Odpovídá tomu i počet studií, které využívají jako primární metodu nějakou formu dotazování (např. rozhovor, dotazník). Pokud se například podíváme na články v časopise Československá psychologie, je tato metoda sběru dat použita ve více než 4/5 všech výzkumných studií. Pro srovnání v např. Journal of Personality and Social Psychology to je přibližně polovina všech výzkumných studií (v obou případech šlo o výběr ze šesti namátkou vybraných čísel; u druhého časopisu bylo těžší rozhodnout, zdali se jednalo o hlavní či vedlejší metodu).

O vedení strukturovaných či méně strukturovaných forem interview bylo napsáno mnoho knih (např. Kvale, 1996; Seidman, 1998; Arksey & Knight, 1999; Tourangeau, Rips & Rasinski, 2000; Wengraf, 2001; Holstein & Gubrium, 2003). Zajímavé je, že poznatky uváděné v těchto knihách kupodivu nejsou podobné, ale zdá se, že jde o poměrně oddělené „tradice“, mezi kterými není velká propustnost, což je na škodu. Na jedné straně jsou knihy věnující se výhradně méně strukturovaným rozhovorům (např. Kvale, 1996; Seidman, 1998; Wengraf, 2001) a na druhé straně jsou autoři věnující se výhradně strukturovaným formám interview (např. Saris & Gallhofer, 2007).

V tomto článku se budu věnovat poznatkům, které vycházejí převážně z přístupu zaměřeného na strukturované formy interview – konkrétně kognitivním přístupem k metodologii dotazování, který se snaží poměrně úspěšně integrovat poznatky obou přístupů (Cognitive Aspects of Survey Methodology; dále CASM). Tito autoři se po léta věnují systematizaci poznatků o tom, jak lidé rozumějí otázkám a konstruují odpovědi, a jakým způsobem se dotazovat například na frekvence chování, citlivé chování či postoje (Tourangeau, Rips & Rasinski, 2000; Bradburn, Sudman & Wansink, 2004).

Cílem tohoto textu je ukázat na konkrétním příkladu některé z těchto poznatků a představit model dotazování, který umožňuje lépe pochopit celý proces dotazování.

2. Stručná historie CASM Aplikace poznatků kognitivní psychologie do metodologie dotazování se začíná objevovat koncem 70. let a počátkem 80. let v Anglii a USA (o něco později v Německu), kdy se poprvé na konferencích více setkávají odborníci na dotazování (průzkumy veřejného mínění; marketingové průzkumy) s kognitivními psychology a dalšími vědci (antropology, statistiky, socio-lingvisty, kriminalisté). Z těchto konferencí vycházejí první sborníky věnující se tématu retrospektivních dat a jak se na ně nejlépe dotazovat (např. Moss & Goldstein, 1979). Samotný název CASM vznikl z názvu semináře z roku 1983, který byl organizován americkou National Research Council (Tanur, 1992). Tento název se někdy používá jako zaštiťující pro celé interdisciplinární „hnutí“, které od 80. let nabírá na síle a jeho poznatky se začínají objevovat i v základních učebnicích o výzkumu. Postupně se objevily další sborníky a monografie, které mají stále více kognitivně-interakční charakter (např. Biemer et al., 1991; Lyberg et al., 1997; Groves et al., 2004). V roce 1996 vyšla první monografie, která se snažila sumarizovat dosavadní poznatky učebnicovou formou (Sudman, Bradburn & Schwartz, 1996) a v roce 2000 v současnosti asi nejúplnější popularizující text (Tourangeau, Rips & Rasinski, 2000), který používáme se Stanislavem Ježkem jako základní učebnici předmětu Psychologie dotazování (Ježek, Neusar, 2008). 3. Čím může CASM obohatit metodologii interview CASM přístup je nejvíce propracován a zaměřen na oblasti, ve kterých lze kvalitu odpovědi relativně lehce hodnotit pravdivostí či přesností odpovědi (např. frekvence, doba trvání). Věnuje se ale i jiným oblastem, např. postojům či odpovědím na citlivé otázky.

Mnohé poznatky jsou univerzálního charakteru a mohou tak obohatit jakoukoliv formu interview. Jiné jsou zaměřené na více strukturované formy interview (např. délka škál, množství a typ odpověďových alternativ, pořadí otázek). Mezi „univerzální“ poznatky patří například: - model dotazování (např. Tourangeau, Rips & Rasinski, 2000), - systematizované poznatky o různých efektech a zkresleních (efekt pořadí otázek; kontextové nápovědy; délka odpovědí; délka času na odpovědi; heuristiky; kotva a úprava) (Tourangeau, Rips & Rasinski, 2000), - návody, jak se co nejlépe doptat na frekvence chování, postoje, citlivé otázky, znalosti atd. (např. Bradburn, Sudman & Wansink, 2004), - různé techniky a metody zvyšující validitu výpovědí. CASM přístup převzal a úspěšně dále rozvíjí mnohé metody, např. kognitivní rozhovor (tzv. mluvení či myšlení nahlas o procesu odpovídání na otázku (Ericsson, Simon, 1993; Willis, 2005), interakční analýzu (Schwartz & Sudman, 1996), kalendárium životních událostí (Belli, 1998). 4. Model dotazování I když v rámci CASM existují různé modely dotazování, obvykle můžeme najít přibližně čtyři základní fáze procesu odpovídání na otázku, které jsou shodné napříč různými modely: porozumění, vybavení, posouzení a odpověď (Tourangeau, Rips & Rasinski, 2000). Tento model integruje jak kognitivní, tak sociálně-interakční vlivy. Zabývá se tím, jak respondent rozumí otázce, problematikou paměti a vybavováním relevantních paměťových obsahů, kognitivním zpracování veškerých těchto informací a způsoby rozhodování se pro určitou odpověď (viz. obr. 1).

Obr. 1: Kognitivně interakční model dotazování (dle Tourangeau, Rips, Rasinski, 2000; mírně upravil Stanislav Ježek, 2008)

Ve fázi porozumění musí člověk pochopit otázku. K porozumění nevyužívá pouze dané otázky, ale i informace, které mu poskytuje kontext dotazování – například, kdo se ho ptá (psycholog, žurnalista). Výzkumy ukazují, že i samotný název institutu, ze kterého výzkumník pochází, může v některých případech značně ovlivnit výpovědi respondentů. To je způsobeno tím, že lidé využívají kontextových informací pro posouzení, jaké informace asi budou pro výzkumníka relevantní (Norenzayan & Schwarz, 1999). Také se poměrně často stává, že respondent otázce nerozumí a nepřizná se. Tento problém není samozřejmě tak častý u méně strukturovaných forem interview, kde obvykle tazatel na nejasnost přijde díky pozorování respondenta, popřípadě nepřiléhavé odpovědi. Ve fázi vybavení si musí respondent vybavit relevantní obecné i specifické vzpomínky a případně je doplnit o chybějící detaily. Vybavování je v mnoha případech poměrně náročným úkolem, což může být zejména pro méně motivované respondenty důvodem, že svou odpověď spíše nějak odhadnou či si vymyslí. Ne nadarmo se tvrdí, že pokud není dostatečný vztah s respondentem a motivace, nemůžeme obvykle získat kvalitní výpovědi – zejména pak v případech, kdy nemá respondent odpovědi bez větší nesnáze z dřívějška „připraveny“ (Bradburn, Sudman & Wansink, 2004). Pokud člověk odpověď zná, tak je fáze vybavení a posouzení odpovědi vynechána. Největší potíže ovšem stejně přináší samotný limit naší paměti – nelze se ptát na to, co si lidé nepamatují; i vzpomínky, které si pamatujeme zcela jasně, mohou být výrazně zkreslené či plně smyšlené (Schacter, 1999).

Ve fázi posouzení respondent posuzuje úplnost a významnost svých vzpomínek. Dále se snaží tyto vzpomínky integrovat, odhadovat některé detaily na základě dostupných vzpomínek. Pro odhad také používá různé heuristiky, např. dostupnosti či reprezentativnosti. Často se stává, že se spokojíme s vybavením pár relevantních vzpomínek a dále už nehledáme, nesnažíme se najít vzpomínky, které s těmi původními nesouhlasí apod. (Tversky & Kahneman, 1982). Tuto fázi ovlivňuje velké množství potenciálních kontextových zkreslení.

Porozumění Posouzení, odhad Volba odpovědi

Volba O podle jiných nápovědí - Od tazatele (status, vzhled, chování) - Formulace otázky, předchozí otázky - Vlastní cíle, přesvědčení a hodnoty - Náročnost úkolu

Zkreslená odpověď - Konformita - Žádoucnost - Tendence (ne)souhlasit - …

K O N T E X T (nápovědi, klíče)

Vybavení

Ve fázi formulace odpovědi respondent na základě předchozí fáze vybírá odpověď. Zde mohou vstupovat další vlivy, například sociální žádoucnost, konformita, neschopnost říci nevím apod.

„Ideální“ respondent prochází, pokud je to potřeba, všemi fázemi. Při výzkumu (zejména u dotazníků) se ovšem až příliš často setkáváme s respondenty, kteří se nesnaží pořádně porozumět otázce, nebo mnohé z fází přeskakují a odpověď odhadují „od oka“. 5. Příklad uvažování CASM Představte si, že máte před sebou osmnáctiletého středoškolského studenta Mirka a zajímá vás, kolikrát za poslední rok pil alkohol. I když jde o relativně jednoduchý a neproblematický úkol, dá se na něm dobře ukázat jaké možnosti CASM přístup k dotazování může přinést (jde o hypotetický příklad). Budu postupovat podle výše uvedeného modelu dotazování.

Otázka výzkumníka: „Mirku, kolikrát jsi za poslední rok pil alkohol?“ Mirkova odpověď: „No… to je těžký. Hm.. Hm… počkejte chvíli…. Asi tak 100x.“ Co si o odpovědi 100x můžeme myslet? Předpokládejme, že nevíme o žádném

důvodu, proč by nám měl Mirek lhát. Odpověď bude uchována v tajnosti. Nejsme moc velcí kamarádi, takže se Mirek nemusí snažit na nás udělat dojem (sociální žádoucnost). 5.1. Fáze porozumění První věc, která asi výzkumníka napadne je, co znamená „poslední rok“. Je to posledních 12 měsíců nebo, např. pokud je konec září, tak je to posledních devět měsíců? Takovou školáckou chybu většina výzkumníků patrně neudělá. Předpokládejme tedy, že výzkumníka zajímalo posledních 12 měsíců a jeho otázka zněla: „Mirku, kolikrát jsi za posledních 12 měsíců pil alkohol?“ Další otázkou je, co pro Mirka znamená „pil alkohol“. Je jedno pivo pití alkoholu? Nebo jeden panák? I malý? Předpokládejme, že i tento problém jsme vyřešili a s Mirkem jsme si tuto otázku vyjasnili. Fázi porozumění jsme tedy zvládli dobře. 5.2 Fáze vybavení Zde může hrát roli, jak moc a jak pravidelně Mirek alkohol pije. Pokud bude pravidelný pijan (množstvím i časem), tak bude jeho počítání poměrně jednoduchým úkolem. Pokud ovšem není pravidelným pijanem a nemá ani žádný zápis, kdy co vypil, tak bude muset frekvenci užívání alkoholu odhadnout. Další otázkou je, jakou Mirek zvolí strategii odpovídání. Bude počítat každou akci, na kterou si vzpomene? Bude odhadovat „od boku“? Nebude líný vůbec začít přemýšlet? Jakou použije heuristiku odhadu? Nebyl Mirek delší dobu nemocný – a nevzpomenul si na to? 5.3 Fáze posouzení a formulování odpovědi O této fázi toho mnoho nevíme. Snad kromě toho, že Mirek asi chvíli uvažoval („hm“.. „hm“). Ideální by v tomto případě bylo provést co nejdříve kognitivní interview. Při kognitivním interview člověk nahlas mluví o tom, jak došel k odpovědi buď během samotného odpovídání či chvíli po něm (Ericsson & Simon, 1993; Willis, 2005). V rámci kognitivního interview nám Mirek řekl: „No, za poslední měsíc toho bylo hodně. Skoro každý druhý den jsme s kámošema zašli na „jedno“, někdy každý. To by mohlo být 15krát. Jiné měsíce jsem sice taky pil – na pivko chodím tak od 17 ... myslím, že jindy piju méně ... taky se musím někdy víc učit ... desetkrát? Hm, i to je asi dost … Když si to sečtu, tak to dělá za rok něco přes stovku. Asi sto.“ 5.4 Jak přesná bude Mirkova výpověď? Odpověď na tuto otázku samozřejmě neznáme. Pokud bychom ale provedli rozhovor s mnoha osmnáctiletými studenty, už bychom se měli o co v našich odhadech opřít. V roce 1979 byl na 131 středních školách v USA proveden rozsáhlý průzkum (N=16654) o užívání návykových látek (Bachman & O’Malley, 1980). Dotazník byl zadáván anonymně v rámci

vyučovacích hodin, učitelé nebyli přítomni a jakoukoliv otázku bylo možné nevyplnit. Respondenti měli za úkol odpovědět na tuto otázku: Otázka: Kolikrát jsi užil (pokud vůbec) alkohol … a) během svého života b) během posledních dvanácti měsíců c) v předchozích 30 dnech U každého období měli zaškrtnout frekvenci užívání: 0x 1-2x 3-5x 6-9x 10-19x 20-39x 40x a více Stejnou otázku pak vyplnili i u dalších 10 typů návykových látek (např. marihuana, LSD, ostatní psychedelika, kokain). Zajímavým výsledkem této studie bylo, že pokud se měsíční užívání alkoholu vynásobilo 12, tak bylo obvykle roční užívání výrazně podceněno oproti měsíčnímu. V tabulce 1 uvádím četnosti užívání alkoholu u studentů, kteří uvedli, že za rok užili alkohol přibližně 14,5 x (střed intervalu 10-19x). Frekvence měsíčního užití 10-19 6-9 3-5 1-2 Vážený

průměr Procento výpovědí 0,4 % 3,5 % 6,9 % 4,2 % Násobek podhodnocení (v rámci celého roku)

12 x 6,2 x 3,3 x 1,2 x 3,43 x

Tab. 1 - Užití alkoholu studenty - 14,5 x ročně (Bachman, O’Malley, 1980) Pokud bychom předpokládali, že budou studenti pít každý měsíc přibližně stejně, tak by studenti, kteří uvedli měsíční užívání v intervalu 10-19 podhodnotili roční užívání dvanáctkrát. V případě studentů, kteří uvedli měsíční užívání v intervalu 6-9 by to bylo 3,3x. U marihuany byl vážený průměr 3,17x. Je samozřejmé, že nemuselo nutně jít o podhodnocení ročního užívání. Možných příčin je mnoho: a) nadhodnocení měsíčního užívání z důvodu nepřesné paměti. To je ovšem dosti nepravděpodobné, neboť nedávné jevy si pamatujeme obvykle docela přesně, zejména pokud jde o četnosti, které nejsou příliš velké a jednotlivé události se dají dobře oddělit. Pokud by ovšem Mirek byl velmi častý a zároveň hodně nepravidelný pijan, pak by to samozřejmě problém byl (Sedlmeier & Betsch, 2002), b) jev nazývaný „efekt přiblížení“ („teleskopování dopředu“ - forward telescoping), kdy lidé zasazují do určitého časového období události, které se ve skutečnosti udály později. Tento jev se u odhadu četností objevuje velmi často. Výzkumníci popisují i „backward telescoping“, který se objevuje méně často (Huttenlocher, Hedges & Prohaska, 1988; Tourangeau, Rips & Rasinski, 2000). c) roli jistě sehrála i paměť. Na starší události máme tendenci zapomínat. Zejména pak pokud jde o podobné události, které se opakovaly (Schacter, 1999). Četnost užití alkoholu za poslední měsíc by si tedy studenti mohli pamatovat dobře, ale hůře už si pamatují užívání alkoholu za poslední rok. d) vývojový trend. Čím jsou studenti střední školy starší, tím více se dá předpokládat, že budou mít zkušeností s pitím alkoholu. Logicky tedy vypijí za poslední měsíc o něco více, než v předešlých měsících. I když by mohl vývojový trend vysvětlit velkou část rozdílu mezi měsíčním a ročním užíváním, domnívám se, že tak velký rozdíl se nedá přičíst pouze tomuto jevu.

Mezi další vlivy, které mohly ovlivnit Mirkovu výpověď, mohlo být i samotné ujišťování o anonymitě našeho průzkumu. Pokud ujišťujeme jen trošku více, než je pro respondenta přirozené nebo běžné, může to vést paradoxně ke zvýšení nedůvěry v nás a tím pádem i v ovlivnění výpovědi (Bradburn, Sudman & Wansink, 2004). Mirek proto mohl například svůj odhad snížit. Mirek mohl být líný při odhadování četností o vzdálenějších měsících. Mohl také zapomenout, že byl dlouho nemocný, a proto také dlouho nepil. Ke zvýšení kvality výpovědí může vést kalendárium životních událostí (Belli, 1998; Neusar, Ježek, 2009), které vypadá

jako nástěnný kalendář, kde jsou vyznačeny důležité události v daném období, na které se dotazujeme a člověk si do něj také doplní osobní důležité události (své narozeniny, do jakého ročníku školy chodil, partnery, koníčky). Všechny tyto informace pak slouží jako paralelní a sekvenční klíče k dalším informacím, na které se dotazujeme. Otázkou také je, co pro Mirka četnost 100 znamená. Je to hodně nebo málo? Má důvod před námi přehánět či naopak svou výpověď zmírňovat?

Pokud tedy shrneme všechny dostupné informace, je poměrně hodně pravděpodobné, že číslo 100 je spíše podceněné (například díky špatné paměti na dřívější události). Číslo 100 vzbuzuje navíc podezření, že Mirek zaokrouhloval – ostatně nám to i řekl při kognitivním interview. Přesnost zaokrouhlování je se zvyšujícími četnostmi méně přesná. Lidé mají tendenci své odpovědi zaokrouhlovat na „pěkná“ čísla. Mezi tato čísla patří například 10, 15, 20, 25, 50, 100, 200, 500. Pokud tedy respondent řekne, že pil za poslední rok 50x, pak je docela pravděpodobné, že mohl pít 38x i 75x. Pokud ovšem udává, že pil 100x, pak se interval rozšiřuje na 75x – 150x (Tourangeau, Rips, Rasinski, 2000). 6. Závěr Poznatky, které přináší CASM neřeší všechny problémy s dotazováním. Dají se ale dobře využít k zefektivnění procesu dotazování i zvýšení validity našich dat (Ježek, 2007). Někdy nám mohou i zabránit se dotazovat, protože bude například jednodušší a přesnější člověka pozorovat při určitém chování, nežli se ho ptát například na jeho motivaci, potřeby apod. Výzkum kognitivně-interakčních aspektů dotazování je také skvělou příležitostí pro navázání užší spolupráce mezi různými vědními obory, které využívají dotazování pro získávání dat. Propojení kvalitativních poznatků s těmi kvantitativními je ideální cestou, jak detailně porozumět procesu dotazování a posléze i vhodně interpretovat naše data. Literatura: Arksey, H., & Knight, P. (1999) Interviewing for Social Scientists. Sage Publications, London. Belli, R. F. (1998). The structure of autobiographical memory and the event history calendar: Potential improvements in the quality of retrospective reports in surveys. Memory, 6, 383–406. Biemer, P. B., Groves, R. M., Lyberg, L. E., Mathiowetz, N.A., & Sudman S. (Eds.) (1991). Measurement errors in surveys. New York: John Wiley & Sons. Bradburn, N., Sudman, S., & Wansink, B. (2004). Asking questions. Rev. ed. San Francisco: Jossey-Bass. Ericsson, K. A., & Simon, H. A. (1993). Protocol Analysis. Verbal reports as data (rev. ed.). Cambridge: A Bradford Book. The MIT Press. Groves, R. M., Fowler, F. J., Couper, M. P., Lepowski, J. M., Singer, E., & Tourangeau, R. (2004). Survey methodology. Hoboken: John Wiley & Sons. Huttenlocher, J., Hedges, L., & Prohaska, V. (1988). Hierarchical organization in ordered domains: Estimating the dates of events. Psychological Review, 95, 471-484. Ježek, S., & Neusar, A. (2008). Dostupné z: http://is.muni.cz/predmety/predmet.pl?id=474388 Ježek, S. (2007). Kvalita dotazování v psychologii a sociálních vědách – perspektivy nabízené kognitivními aspekty dotazování. Psychofórum, 1.

Kvale, S. (1996). InterViews: an introduction to qualitative research interviewing. California: Sage. Lyberg, L., Biemer, P., Collins, M., de Leeuw, E., Dippo, C., Schwartz, N., & Trewin, D. (Eds.) (1997). Survey measurement and process quality. New York: John Wiley & Sons. Norenzayan, A., & Schwarz, N. (1999). Telling what they want to know: Participants tailor causal attributions to researchers' interests. European Journal of Social Psychology 29, pp.1011-1020. Moss, L., & Goldstein, H. (Eds.) (1979). The recall method in social surveys. London: NFER Publishing. Neusar, A., & Ježek, S. (2009). Kalendárium životních událostí jako metoda podpory vybavování v retrospektivním dotazování. Odesláno k recenzi. Saris, W. E., & Gallhofer, I. N. (2007). Design, evaluation and analysis of questionnaires for survey research. New York: Wiley. Schacter, D. L. (1999). The seven sins of memory: Insights from psychology and cognitive neuroscience. American Psychologist, 54, 182 – 203. Sedlmeier, P., & Betsch, T. (2002) (Eds.). Etc. Frequency processing and cognition. Oxford: OUP. Seidman, I. (1998). Interviewing as Qualitative Research, 2nd edn. Teachers College Press, New York. Schwartz, N., & Sudman, S. (Eds) (1996). Answering questions. Methodology for determining cognitive and communicative processess in survey research. San Francisco: Jossey-Bass. Schwarz, N. (2007). Retrospective and concurrent self-reports: The rationale for real-time data capture. In A. A. Stone, S. S. Shiffman, A. Atienza, & L. Nebeling (eds.), The science of realtime data capture: Self-reports in health research (pp. 11-26). New York: Oxford University Press. Sudman, S., Bradburn, N. M., & Schwartz, N. (1996). Thinking about answers. The application of cognitive processes to survey methodology. San Francisco: Jossey-Bass. Tanur, J. M. (Ed.) (1992). Questions about questions: Inquiries into cognitive bases of surveys. New York: Russell Sage Foundation. Tourangeau, R., Rips, L. J., & Rasinski, K. (2000). The psychology of survey response. Oxford: OUP. Tversky, A., & Kahneman, D. (1982). Judgment under uncertainty: Heuristics and biases. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment under uncertainty: Heuristics and biases, 3 – 22. Cambridge: Cambridge University Press. Wengraf, T. (2001) Qualitative research interviewing: Semi-structured, biographical and narrative methods. London: Sage. Willis, G. B. (2005). Cognitive interviewing. A tool for improving questionnaire design. Thousand Oaks: Sage.

E-mail: neusar@fss.muni.cz Korespondenční adresa: Mgr. Aleš Neusar Institut výzkumu dětí, mládeže a rodiny Fakulta sociálních studií MU Joštova 10 602 00 Brno