Insightsemináře

Kombinace metod sběrůCo je „správně“ (validace realitou)

Dan Prokop, MEDIAN Jan Tuček, STEM/MARK

Obsah

Proč vůbec kombinovat metodiky sběru dat

Na co si dát pozor

Kombinace metod v praxi – ukázky řešení a výstupů

Co je vlastně „správně“? Ověření jiným zdrojem/ realitou

Proč kombinace ?

To Mix or Not to Mix ?

„There are 3 important reasons to choose a multiple

mode survey design:

improve response rates

increase cost-effectiveness

reduce time and measurement errors.“

Journal of Official Statistics, Vol. 21, No. 2, 2005

… respondentům „vybírám“ metodu, která jim vyhovuje a jsou ochotni jejím prostřednictvím odpovídat

• komfortnější dotazovací situace, různým respondentům vyhovují různé

dotazovací metody (např. seniorům CATI, studentům CAWI…), ale i třeba různá

délka dotazníku

• eliminace nevýhod jednotlivých metod

• kvalitnější pokrytí populace, cílové skupiny

… co jde, dotazuji levně; co nejde, tak „draho“

Proč kombinovat metody …

… kombinací řeším „časové a kvalitativní ztráty“ sběru

• možnost volby vhodné části dne pro dotazování různých skupin respondentů

• omezení přetěžování jednoho sběru (negativního přetížení tazatelů, CATI)

• minimalizace vlivu konkrétní metody

• kombinace kontrolních mechanismů (náslechy, nahrávky, visual recording,

GPS, …)

• zrobustnění dat z hlediska rizik, které neznáme a nelze je předvídat

• možnost kontroly – jak se liší dva sběry, co jsou vlivy metod na zachycení zkoumané „reality“

Proč kombinovat metody …

Na co si dát pozor při kombinování

… to, že fungování některých otázek se může v metodách lišit

• odlišnost uzavřených otázek, jiné zastoupení „nevím“, efekty pořadí, atd.

… metody mají „silné a slabé stránky“

• jiné charakteristiky z hlediska rychlosti, ceny, zásahu populace

• existují nevhodná témata k dotazování CAWI / CATI

… odlišnosti samovyplňování a dotazování s tazatelem

• tendence „přibarvovat“ odpovědi za přítomnosti tazatele (platí i u CATI)

• jiné možnosti nabídky „nevím“

• vyšší aktivita on-line panelistů: aktivnější životní styl, vyšší spotřeba médií, …

Na …

Konstrukce dotazníku - I

Otevřená otázka Uzavřená SR otázka

Bez omezení(jiné fce probingu)

Zobrazení / karty(12-15 položek)

Bez omezení(jiné fce probingu)

Bez zobrazení(8-9 položek – jednoduché)

Otevřená otázka Uzavřená otázka

15-25 % 5-15 %

20-40 % 10-15 %

ZASTOUPENÍ ODPOVĚDÍ „NEVÍM“ (příklad: otázka na preferovanou stranu)

VYUŽITELNOST A OMEZENÍ OTÁZEK:

Konstrukce dotazníku - II

EFEKTY POŘADÍ:

Otevřená otázka Uzavřená otázka

BEZ EFEKTUPRIMACY EFEKT(první položky)

BEZ EFEKTURECENCY EFEKT

(poslední položky)

JINÉ CHOVÁNÍ V SELF-FILL A S TAZATELEM:

Odpověď neví Vyplňování baterií

S tazatelem Nabízená / nenabízená Omezené vracení / jiné sumy

Self-fill Nabízená Vyšší vracení / jiné sumy

Sociální desirabilita

SOCIÁLNÍ DESIRABILITA ODPOVĚDÍ:

Avizovaná volební účast(aktuálně)*

Vztah k menšinám

52-57 % negativnější

64-67 % pozitivnější

Vážení dat na minulou účast u voleb redukuje rozdíl jen částečně – zůstává rozdílv avizované účasti 4-5 %.

Vliv tazatele

CHEMIE VZTAHU TAZATEL – RESPONDENT:

PŘÍSTUP TAZATELE (někdy i operátora)

„přibarvování“ odpovědí před tazatelem

„natřásání se“, flirtování

ostych

autocenzura ...

tendence zasahovat do odpovědí respondenta

(napovídání, „zrychlování“ průchodu dotazníkem,

komentování odpovědí)

nedodržení pokynů, osobní aktivita a kreativita

zvyšování hodnot pomocí „doptávání se“

Aktivita on-line panelistů

NEZAPOMENOUT NA:

POZOR NA MOTIVACI K ÚČASTI VE VÝZKUMU (v závislosti na typu odměňování)

větší spotřebu médií

větší digitální gramotnost a schopnosti

pocit větší anonymity respondenta

možnost (byť málo využívanou) googlování správných odpovědí

potřebuji projít screenem

všechno vím/všechno znám (méně odpovědí „nevím“)

Kdy spíše ne…

NPS : CAWI A CATI VYCHÁZÍ DIAMETRÁLNĚ ODLIŠNĚ

VÝZKUM ZNAČKY:

v CATI asi působí osobní přístup, volání jménem banky, správné

nasměrování operátorem na skutečný důvod hodnocení, větší vazba

na přímou nedávnou zkušenost

v otevřené otázce na NPS v CAWI menší relevance důvodů ke

konkrétnímu touchpointu

SPONTÁNNÍ ZNALOSTI ZNAČEK (CAPI/PAPI vers. CAWI): díky

„povzbuzování“ respondenta tazatelem vyšší celková spontánní

znalost

V CAWI bez gamifikace a při dlouhém dot. plošší čísla u měření síly

značky

Dlouhodobě zjišťujeme…

Kdy spíše ne…

OMEZENÍ CATI:

TÉMATA NAVÁZANÁ NA MÓDY SBĚRU:

Dlouhodobě zjišťujeme…

Omezení validity dat u dotazníků nad 25 minut

Vyšší navázání response rate na zájem o problém -> riziko posunutí u témat

zajímající velmi omezenou skupiny

Nemožnost dotazování osobních věcí – detailní majetek, zkušenosti s

kriminalitou, atd.

Intenzita telefonování (CATI), využívání on-line služeb (CAWI)

Vnímání menšin – výrazně ovlivněno soc. sítěmi (posunutí u CAWI)

Zvážit zařazení metodiky -> určitě nikoli jako single mode

Jak míchat – rizika překryvu

OSOBNÍSBĚR CATI

Populace ČR

TRADIČNÍ PŘEDSTAVA PŘEKRYVU ZÁSAHŮ

Riziko = nadreprezentování lidí ochotných odpovídat oběma metodikami

OSOBNÍSBĚR

TEL

Jak míchat – rizika překryvu

Populace ČR

REALITASnížené návratnosti, diverzifikace zásahu, snížený překryv

dva paralelní reprezentativní sběry

• rizika překryvu - viz výše

zajištění disjunktnosti

• otázka na ochotu odpovídat druhým sběrem

apriorní rozdělení sběru

• sociodemografické: mladí internetem, starší CATI nebo F2F

• regionální: města / obce

obrana před odmítnutím

• výběr preferovaného módu dotazování

• rekrutace do druhého sběru

dosběr

• dohledání chybějících cílových skupin

Jak míchat – možnosti paralelních kombinací

Závěry

1.

• Velká část rozdílů mezi metodami je dána nejednotou „chování“ dotazníků

2.• U některých témat kombinace vhodné, jinde ne

3.• Více typů kombinací – zvážit, kterou potřebujeme

=• KOMBINOVAT, ALE TESTOVAT, POROVNÁVAT A PROMÝŠLET !

Kombinace metod v praxi

Ukázky z panelu Dialog

Specifika kombinace metod v panelu Dialog

Panel repre na bankovní populaci cca 6500 osob

Náhodná telefonická rekrutace

Kombinace dotazování podle metody sběru, kterou si SÁM respondent vybral

Online 65%, CATI 25%, PAPI 10%

Možnost kombinované urgence různými metodami

Kombinace způsobů odměňování – výplata, charita, soutěže, losování

Různá návratnost a časový průběh sběru dat

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

4/8/2015 4/9/2015 4/10/2015 4/11/2015 4/12/2015 4/13/2015 4/14/2015 4/15/2015 4/16/2015

Po

díl

do

kon

čen

ých

ro

zho

vorů

CAWI CATI PAPI

Dialog -klientství bank a finanční produkty

8

23

24

17

4

19

22

20

5

9

15

22

0% 20% 40% 60% 80%

Air Bank

ČSOB

Komerční banka

Poštovníspořitelna/ERA

CAWI

CATI

PAPI

Kterých bank jste v současnosti klientem, využíváte u nich tedy jakýkoliv produkt či

službu?

17

16

54

15

10

68

6

4

52

0% 20% 40% 60% 80%

Investiční nástroje

Hypoteční úvěr

SIPO

Využíváte tyto finanční produkty či službu Vy osobně pro soukromé účely?

STEM/MARK – Panel Dialog, únor-březen 2015

61

81

78

33

12

18

5

6

2

2

1

2

0%1%2%3%4%5%6%7%8%9%10%11%12%13%14%15%16%17%18%19%20%21%22%23%24%25%26%27%28%29%30%31%32%33%34%35%36%37%38%39%40%41%42%43%44%45%46%47%48%49%50%51%52%53%54%55%56%57%58%59%60%61%62%63%64%65%66%67%68%69%70%71%72%73%74%75%76%77%78%79%80%81%82%83%84%85%86%87%88%89%90%91%92%93%94%95%96%97%98%99%100%101%

CAWI

CATI

PAPI

Osobně Elektronicky Telefonicky Nevím

Jaký způsob vyřizování finančních záležitosti v bance, tedy například objednání nového produktu či změnu nastavení služby, preferujete?

Dialog -komunikace s bankou

údaje v tabulce a v grafu v %STEM/MARK – Panel Dialog, únor-březen 2015

CAWI CATI PAPI

Osobní návštěva Několikrát za měsíc 5 13 10

Asi jednou za měsíc 11 24 16

Internetbanking Několikrát za týden 30 13 14

Několikrát za měsíc 42 21 25

Jak často kontaktujete svou hlavní banku následujícím způsobem?

Validace daty nevýzkumnou realitou

Příklad: Volby 2013

Volby do PSP 2013- srovnání metodik

ZDROJ: STEM/MARK, údaje v grafu v %

20

1513

10

89

65 5

23 22

13

10

76 6

3 3

26

19

10 108 7

4

7

3

2019

15

12

8 7 7

3 3

0%1%2%3%4%5%6%7%8%9%10%11%12%13%14%15%16%17%18%19%20%21%22%23%24%25%26%27%28%29%30%

ČSSD ANO 2011 KSČM TOP 09 ODS Úsvit KDU-ČSL Piráti Stranazelených

CATI CAPI ČNP Realita Kombinace

Volební model

Volby do PSP 2013- srovnání metodik

ZDROJ: STEM/MARK, údaje v grafu v %

20

1513

10

89

65 5

23 22

13

10

76 6

3 3

26

19

10 108 7

4

7

3

2019

15

12

8 7 7

3 3

2119

1210

76 6

4 3

0%1%2%3%4%5%6%7%8%9%10%11%12%13%14%15%16%17%18%19%20%21%22%23%24%25%26%27%28%29%30%

ČSSD ANO 2011 KSČM TOP 09 ODS Úsvit KDU-ČSL Piráti Stranazelených

CATI CAPI ČNP Realita Kombinace

Volební model

Redukce odlišnosti sladěním dotazníku

Zvažované strany

Vážně zvažované strany

Hl. strana

Nemožnost dotazovat delší seznamy CATI

Jiné chování spontánní otázky (díky jinému % neví)

Řešení v krajských výzkumech MEDIAN + STEM/MARK pro ČT

před PSP 2013 = dotazování tzv. trychtýřem

jednotné, více odpovídá uvažování voličů

Rozhodnutí voliči Ne (zcela) rozhodnutí voliči

24

1513 13

9

5 4 3

14

22

14 1312

96 6

3

15

ČSSD ANO KSČM TOP 09 ODS ÚSVIT KDU-CSL SZ OSTATNÍ

CAPI CATI

N=14 500 údaje v grafu v %

sběr září+začátek října 2013

Krajské výzkumy MEDIAN+STEM/MARK pro ČT – celostátní modelHarmonizace dotazníků (funnel), model zohledňující zvažované stranyVáženo na sociodemografii + VOLBY 2010

PSP 2013 – metodiky s harmonizovanými dotazníky

Odchylka výzkumů od voleb v čase – PSP 2013

0%

1%

2%

3%

4%

5%

9/17/2013 9/22/2013 9/27/2013 10/2/2013 10/7/2013 10/12/2013 10/17/2013 10/22/2013

CAPI+CATI F2F CATI ONLINE

STŘEDNÍ DEN SBĚRU DAT

PR

ŮM

ĚRN

Á A

BS.

CH

YB

A U

STR

AN

Y

SM+MEDIAN pro ČT

Odchylka výzkumů od voleb v čase – PSP 2013

0%

1%

2%

3%

4%

5%

9/17/2013 9/22/2013 9/27/2013 10/2/2013 10/7/2013 10/12/2013 10/17/2013 10/22/2013

CAPI+CATI F2F CATI ONLINE

STŘEDNÍ DEN SBĚRU DAT

PR

ŮM

ĚRN

Á A

BS.

CH

YB

A U

STR

AN

Y

SM+MEDIAN pro ČT

Kombinace metod sběru a„volební výzkumy“

UKAZUJE SE NAPŘ., ŽE:

V CATI a CAWI je silný vztah k volené straně (cca 4/5), v PAPI méně (1/2)

CAWI (panely) jsou levicové, ale vzhledem k volbám „špatně levicové“ –

méně starších respondentů (s vyšší volební účastí)

CAWI i CATI umožňuje sledovat reakce na super-aktuální dění v řádu

minut/hodin (minimalizace obvyklých výtek na kvalitu výzkumů)

V CAWI je nižší podíl odpovědí typu „nevím“ (Koho budete volit? CATI –

20 %, CAWI 5 % neví) a vyšší ochota odpovídat (CATI – 16 %, CAWI 5 %

odmítá)

V CAWI jsou respondenti více „online trendy“ – větší vliv dění na

sociálních sítích, vyšší podíl voličů Pirátů…

MÁME-LI: časové řady „testů a pokusů“DOKÁŽEME-LI EXTRAHOVAT: závislosti na metodice sběru, složení vzorku, odlišnosti tazatelských sítí

Validace daty z nedeklarativních výzkumů a jiné „fíčury“

Deklarace versus měření= elekrotronické pasivní měření

ČRo2 – průměrná neděle (4. kvartál 2013)

Deklarace versus měření

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0 1 2 3 4 5 6 7 8 9 10

Re

call

rekl

amy

Počet zásahů reklamou (TV+net)

NE

Nevím

ANO

= elekrotronické pasivní měření

Cookies + dotazník

POSTVIEW TRACKING

Konverzní kód => do dotazníku doplní info, zda byl

respondent vystaven (mohl vidět) konkrétní kampani

Používáme např. jako filtrační či třídící proměnnou,

měříme Brand Awareness&Perception

… a usuzujeme, zda reklama měla efekt,

ovlivnila odpovědi v dotazníku

Míra pozornosti

Emoční stav při průchodu dotazníkem

Ověření identity, věku, pohlaví

nelíbí

klid

vzrušení

líbí

NPS zdrojová data

Emoce + dotazník

WEB KAMERA / KAMERA V MOBILU / AUDIO ANALÝZA

Děkujeme za pozornost

Insightsemináře