Spørgeskemaer, skalaer og tests

SPØRGESKEMAER,

SKALAER OG TESTS

SIGNE BOE RAYCE

21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 2

MÅLING AF EFFEKTER - METODE

Nogle oplysninger findes i statistikker og registre, men ikke alt. Spørgeskemaer: adgang til personlig (og subjektiv) information · Mental sundhed… Diagnoser tilgængelige. Hvad med depressive symptomer eller lav livsglæde?

· Livsstil… Misbrugere muligvis registreret. Hvad med unges forbrug af alkohol og hash?

· Arbejdsliv… Sygefravær tilgængeligt. Hvad med egne grunde til, at man melder sig syg?

21-05-2015 TITEL 3

HVOR SVÆRT KAN DET EGENTLIGT VÆRE?


SVÆRT!

Et rigtig godt og velvalideret spørgeskema kan tage år at udvikle. Kvaliteten af den måling man foretager afhænger af: · at man er klar over, HVAD man vil have svar på… · at man stiller det RIGTIGE spørgsmål… · på den RIGTIGE måde… · til at får svar på PRÆCIS det man gerne vil have svar på.


GØR MAN IKKE DET…

risikerer man… · at man får svar på noget ANDET end det, man har behov for… · at man IKKE får et PRÆCIST svar på det, man spørger om… · og allerværst – at man ikke er klar over, at det er gået GALT!


IKKE SKRÆMMEEKSEMPEL

DERIMOD EN OPFORDRING TIL: · respekt for kompleksiteten · tænk grundigt over, hvad det er, I vil undersøge · se på hvordan andre har gjort · søg information om det er gjort på en god og valid måde · brug validerede spørgeskemaer, items og skalaer hvis muligt · spørg om hjælp, ved tvivl eller behov for hjælp!


ANVENDELSE AF GODE OG VALIDE SPØRGESKEMAER OG MÅLEINSTRUMENTER

VIGTIGT FOR: · at man kan stole på resultatet af effektmålingen · at man ikke kommer til at træffe beslutninger på et forkert videns grundlag.

21-05-2015 TITEL 8

FØR DU GÅR I GANG…


FORMÅL MED EFFEKTMÅLINGEN

· Hvem er målgruppen? · Hvad er det præcis, vi ønsker at opnår viden om?

· Hvad er det præcis vi har behov for at spørge om/ måle, for at opnå denne viden?

er der desuden behov for baggrundsoplysninger (køn, alder, socioøkonomiske oplysninger mm.)


UNDERSØG MULIGHEDEN FOR AT ANVENDE ALLEREDE EKSISTERENDE SPØRGESKEMAER

FORDELE VED STANDARDSKEMAER: · Tidsbesparende · Kvalitet ofte kan være bedre · (Skala)validering kan være udført · Erfaringer opnået · Nogle gange findes der ’norm’ eller ’referencedata’ – fx fra en stikprøve af den danske befolkning (herom senere)

NB! Husk at følge anvisninger hvis sådanne findes


UNDERSØG MULIGHEDEN FOR AT ANVENDE ALLEREDE EKSISTERENDE SPØRGESKEMAER

ULEMPER VED STANDARDSKEMAER: · Passer måske ikke helt til formålet · Indholdsvaliditet måske lavere, end når spørgeskemaet skræddersyes. · Der kan være copyright på

Og HUSK generelt: At et spørgeskema allerede eksisterer og er blevet brugt, er ikke en garanti for, at det er godt.


HVILKEN INDSAMLINGSMETODE? (1)

Besøgsinterviews · Længere og mere komplicerede spørgeskemaer · Dyrt og tidskrævende · Høj svarprocent.

Telefoninterviews · Højere grad af anonymitet – personfølsomme spørgsmål · Hurtigere og billigere en besøg · Krævere kortere spørgsmål og færre svarkategorier · Lavere svarprocent end besøg


HVILKEN INDSAMLINGSMETODE? (2)

Selvudfyldte spørgeskemaer · post eller online spørgeskemaer · Udlevering i setting – overvej om kontekst påvirker svar? · Anonymitet · Enkle spørgsmål og mulighed for åbne spørgsmål · Lavere omkostninger og tidsbesparende · Risiko for lav motivation – afhængigt af emne og relevans · Laveste svarprocent


SPØRGESKEMAETS LÆNGDE

Spørg kun om det I har behov for at vide Længde betydning for om man får svar på alt · Max 1 time (ca. 200 items) · Afhænger af målgruppe · Overvej placering af item – vigtigste først, evt. følsomme spørgsmål til sidst (undtagelser) Online spørgeskemaer: skal alle items besvares for at fortsætte?


MOTIVATION

Indre motivationsfaktorer · Relevant emne · Emnet har særlig interesse

Ydre motivationsfaktorer · Belønning – gaver, ekstra ydelser, · Information om egne resultater

Rykkere – Hvor mange gange?

21-05-2015 TITEL 16

SPØRGESKEMAER GENERELT


ITEMS

Items: · evt introducerende tekst · Et spørgsmål · en eller flere svarkategorier · evt. hjælpetekst

I dette spørgsmål beder vi dig tænke på sidste uge. Hvor mange overarbejdstimer har du haft? ___ timers overarbejde (Skriv venligst det samlede antal timer, du har oplyst til din arbejdsgiver vedrørende de sidste 5 dage, du har været på arbejde)

21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE

18

ITEM KONSTRUKTION – GENERELLE REGLER

· Tilpas spørgsmålet til målgruppen –skal opfattes passende af alle · Gør spørgsmålet forståeligt · Spørgsmålet skal være entydigt · Spørg kun om én ting ad gangen · Stil korte spørgsmål · Undgå spørgsmål, der kan virke stødende eller placér dem til sidst. · Undgå værdiladede spørgsmål


SVARKATEGORIER

Lukkede vs. åbne spørgsmål · Lukkede mulighed for statistisk bearbejdning · Åbne nuanceret men tidskrævende at bearbejde · Kombination

Svarkategorier – nogle eksempler · Prædefinerede – ja/nej · Ordinale kategoriske skalaer - Likert skalaer

Meget enig Enig

Hverken eller Uenig

Meget uenig

Spørgeskemaer er spændende…


SVARKATEGORIER - OVERVEJELSER

Hvor mange? – nok til at det er meningsfuldt for respondenten ‘Midterkategorier’ og ‘ved ikke’ er omdiskuteret ved holdningsspørgmål Nogle gange er det lettere at svare med tal end med svarkategorier


SKALAER

Skalaer/tests · flere items, der måler/reflekterer det samme begreb · analyseres samlet (fx sumskala) Eksempel: Ensomhed (1 item) eller fx UCLA Loneliness Scale (4 items)


PILOTTEST

Test skemaet inden i ‘går i luften’ – også selvom det har været anvendt af andre før · Prøv selv at svare på skemaet · Få en ekspert (emne + spørgeskema) til at se det igennem · Pilottest spørgeskemaet i en relevant population

• Var der mange ubesvarede spørgsmål • Papirskemaer – blev sat kryds/skrevet til flere steder? • Udfyldelse + efterfølgende interviews Eksempel: Hvad er betyder hjælpeløs?

21-05-2015 TITEL 23

SKALAER


24

SKALAER – MANGE NAVNE

· Skalaer · Spørgeskemaer · Tests · Måleinstrumenter · Psykometriske tests · Psykologiske tests · Pædagogiske test · Screeningsredskab · …


HVAD BRUGES SKALAER TIL?

Måler fænomener som ikke kan observeres direkte, men som vi antager findes – fx egenskaber, kompetencer, følelser. (latente variable) Eksempler: ensomhed, udvikling, matematik færdigheder mm. Måles på forhold/spørgsmål, som er indikatorer for det, vi gerne vil måles - dvs. flere items, med ét samlet score En skala må måle ét (og KUN ét) begreb


EN GOD SKALA

KENDETEGN: · Bygger på en grundig konceptualisering af det begreb den måler · Måler KUN ét begreb · Høj validitet – grundigt (psykometrisk) valideret · Fungerer ens i forskellige subgrupper af målgruppen - (køn, alder, etnicitet, socioøkonomiske position · God reliabilitet · (Psykologiske) tests har ofte en standardiseret procedure for administration af test - samt detaljer om kodning og fortolkning


27

VALIDITET

Grundlæggende et udtryk for et items/skalas/tests gyldighed og troværdighed – at den måler, hvad den siger, den gør. Flere former for validitet · Indholdsvaliditet (Er spørgsmålenes indhold rigtige?) · Begrebsvaliditet (Måler vi vores begreb? – skalavalidering) · Kriterievaliditet (Sammenhæng med eksternt kriterium) Forskellige definitioner i litteraturen!


28

RELIABILITET

Hvorvidt en målemetode giver reproducerbare resultater Måles ved hjælp bl.a. ved brug af: · Test-retest (hvis man da antager, at der er tale om et tidsmæssigt stabilt begreb) · Cronbach’s Alpha (forudsætter ensdimensionalitet)

· >0.70 regnes normalt som god · >0.90 ved diagnostiske test Rapporteres oftest – i artikler + manual e.l.


29

VALIDITET OG RELIABILITET

Høj validitet kan være kombineret med både høj og lav reliabilitet Høj reliabilitet kan være kombineret med både høj og lav validitet

PETER HAR FEBER – 38,5 helt præcist

T4: 38,2 40,0 38,8 39,6 = 39,2 (Lav reliabilitet – lav validitet)


Vi tester 4 forskellige termometre – hver 4 gange:

T1: 38,5 38,5 38,5 38,5 = 38,5 (Høj reliabilitet – høj validitet) T2: 38,4 39,0 38,6 38,0 = 38,5 (Lav reliabilitet – høj validitet) T3: 39,5 39,5 39,5 39,5 = 39,5 (Høj reliabilitet – lav validitet)


STANDARDISEREDE TESTS

Test hvor fordelingen af resultaterne er kortlagt i forbindelse med en stor repræsentativ undersøgelse af en stor gruppe personer i målgruppen. · Sammenligne med testresultater fra en større population

· Ofte percentilværdier – 50% = midt i populationen · Der kan udarbejdes høje, lave kritiske værdier mm. · Kræver præcis gennemførelse mht. setting, testprocedure, tester, tidspunkt mm. som beskrives i manual


32

OVERSÆTTELSE AF SKALAER OG TESTS

Vær opmærksom på følgende: · Passer skalaen eller testen til en dansk kontekst? · Man kan ikke nødvendigvis sammenligne med internationale normer og niveauer.

· Oversæt til dansk ekspertvurdering tilbageoversættelse · Gerne to oversættere på hvert trin · Valideringsstudie herunder test for differentiel item funktion


HVORFOR BRUGE SKALAER I EFFEKTMÅLING?

Giver en højere indholdsvaliditet i ens måling · Er med til at gøre målingens indhold præcist – ex. Ensomhed

Giver en højere sensitivitet – responsiveness i ens måling · bedre mulighed for at skelne mellem høj og lav, når der måles mange grader af det begreb, man måler. · bedre mulighed for at måle ændringer og udvikling

Giver en højere reliabilitet i ens måling


34

HVORFOR BRUGE SKALAER I EFFEKTMÅLING?

Ved eksisterende og godt validerede tests/skalaer: Fordi det er undersøgt og dokumenteret, at de måler det, vi vil måle på en god måde.

· Giver et score/niveau for borgeren · Mulighed for at måle udvikling over tid · Nogle gange mulighed for at sammenligne niveau/score med en større baggrundspopulation.


35

OG HUSK...

Et test score kan have store konsekvenser for den enkelte person og bør ikke stå alene på individniveau. Effektmålinger baseret på skalaer kan have (store) konsekvenser, i tilfælde af at der handles på dem – positive og negative

Vigtigt, at anvende velvaliderede spørgeskemaer, items og tests


36

GOD FORNØJELSE – DET ER SJOVT

(også selv om det kan virke lidt tørt….)

Spørgeskemaer, skalaer og tests

Science

Transcript of Spørgeskemaer, skalaer og tests