Grundlagen der klassischen Testtheorie Seminar: Testtheorie und Testkonstruktion Referentin:...
-
Upload
gerwulf-hemmert -
Category
Documents
-
view
113 -
download
0
Transcript of Grundlagen der klassischen Testtheorie Seminar: Testtheorie und Testkonstruktion Referentin:...
Grundlagen der klassischen Testtheorie
Seminar: Testtheorie und Testkonstruktion
Referentin: Matislava Karačić
03. Mai 2006
Gliederung
Einführung:
• Zielsetzung
• Arten von Tests und Testdefinition
Hauptteil:
• Die klassische Testtheorie
• Gütekriterien von Tests
• Testkonstruktion
Abschluss
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Ziel des Ganzen?
wissen, was hinter der klassischen Testtheorie steht
Gütekriterien kennen und anhand dessen Tests beurteilen und auswählen können
Vorgehensweise bei der Konstruktion von Tests kennen lernen zur späteren Anwendung
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Welche Arten von Tests gibt es?
Brähler et al. (2002)
Leistungstests
• Schnelligkeit/Speedtests (z.B. d2-Test)
• Niveau/Powertests (z.B. IST-2000)
Psychometrische Persönlichkeitstests (z.B. NEO-FFI)
Persönlichkeits-Entfaltungs-Verfahren (z.B. TAT, Rorschach-Test)
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Definition: psychometrische Tests
Lienert u Raatz (1998)
Wissenschaftliches Routineverfahren zur Untersuchung empirisch abgrenzbarer Persönlichkeitsmerkmale
mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung.
Es sollte ein theoretischer Rahmen für qualitative Aussagen existieren, die kategoriale Aussagen über die individuelle Ausprägung eines Merkmals geben.
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Klassische Testtheorie
Grundlage der meisten psychologischen Testverfahren (95%)
Macht Aussagen darüber, aus was für Komponenten Messwerte bestehen
Ausgangshaltung:
Testergebnisse variieren zwischen verschiedenen Messzeitpunkten Grund: un-/systematische Einflüsse
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Voraussetzungen
Novick (1966)
• Getestete Person zufällig aus Population entnommen
• Testergebnis variiert zufallsabhängig
• Testung zu unterschiedlichen Zeitpunkten unterschiedliche Werte
• endliche Varianzen
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Grundannahmen
X = T + E
X: beobachteter Wert einer Person
T: wahrer Wert – Mittelwert über unendlich viele beobachtete Testergebnisse einerPerson
E: Messfehler – repräsentiert alle unkontrollierten und unsystematischen Störeinflüsse
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Folgerungen I
(1) M(E)I=0; M(E)P=0
(2) r(E,T)=0
Mittelwert des Messfehlers über unendlich viele Messungen einer Person I ist Null;
ebenso Null bei einer Messung einer Teil-/Population
kein Zusammenhang zwischen Messfehler und wahren Wert einer Person
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Folgerungen II
(4) r(EA,TB)=0
(3) r(EA,EB)=0 Messfehler eines Tests A weist keinen Zusammenhang mit dem Messfehler eines Tests B auf
Messfehler eines Test A weisen keinen Zusammenhang mit tatsächlichem Wert aus einem Test B auf
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Anmerkungen
• Kernkonzept der kT: Reliabilität
• kT gilt nur für intervallskalierte Daten
• Kritik:
reine Messfehlertheorie
einige Annahmen nicht überprüfbar oder widerlegbar
keine Annahme über Zustandekommen einer Leistung
Testwerte der kT stichprobenabhängig
rtt=ST2/SX
2
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Hauptgütekriterien
Hauptgütekriterien
Objektivität Reliabilität Validität
Durchführung
Auswertung
Interpretation
innere Konsistenz
Stabilität
Inhaltsvalidität
Konstruktvalidität
KriteriumsvaliditätParallel- test - R.
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Hauptgütekriterien
Objektivität
Durchführung Auswertung Interpretation
Durchführung darf von Test zu Test nicht variieren
Jeder Auswerter ermittelt gleiche Punktwerte
Jeder Auswerter gibt gleiche Interpretation
• genaue Instruktion
Wie/unter welchen Bedingungen soll Test durchgeführt werden?
Zeitbegrenzung?
Hilfestellung?
• genaue Auswert- ungsvorschrift
Schablonen? Auswertungsblätter?
Genaue Definition, was richtig ist (bei offenen Fragen)?
• Standardisierte Interpretation
• Normstichprobe und geprüfte Gütekriterien
Wird jede Person mit dem gleichen Maßstab beurteilt?
Unabhängigkeit der Ergebnisse vom Untersucher
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Hauptgütekriterien
Reliabilität
Innere Konsistenz
Retest-Reliabilität
Paralleltest-Reliabilität
Test in gleich große Teile unterteilen und miteinander korrelieren
Split-Half: Testhälftenkorrelieren
Innere Konsistenz: jedes einzelne Item ist eigenständiges Testteil
Korrekturfaktor: Testlänge
Korrelation zwischen Testleistungen des selben Tests zu versch. Zeitpunkten
Korrelation zw. 2 Tests mit inhaltlich ähnlichen Items
Messgenauigkeit
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Hauptgütekriterien
Validität Test misst das, was er zu messen vorgibt
Inhaltsvalidität Test/-item erfasst das zu messende Merkmal wirklich
Wird nicht numerisch anhand Kennwert bestimmt, sondern aufgrund logischer und fachlicher Überlegungen
Vorgehen (Repräsentationsausschluss):
(1) Beschreibung der Inhaltsebene des Konstruktes
(2) Festlegung, welcher Inhaltsbereich durch welches Item erfasst wird
(3) Vergleich der Teststruktur mit der Struktur der Inhaltsebene des Konstruktes
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Hauptgütekriterien
Kriteriumsvalidität Zusammenhang der Testleistung mit einem/mehreren Kriterien
Vorgehensweise: Korrelationsausschluss
• Vorhersagevalidität/prognostische/prädiktive V. IQ vor Lehre korreliert mit Abschlussnote der Ausbildung
• Übereinstimmungsvalidität/konkurrente V Konzentrationsleistung vor Klausur korreliert mit Klausurnote
• Retrospektive Validität IQ während Studiums korreliert mit Schulnoten des Abiturs
•Inkrementelle Validität IQ-Test sagt gut Berufserfolg vorher – strukturiertes
Interview leistet zusätzlichen Anteil an Vorhersage
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Hauptgütekriterien
Konstrutkvalidität Test misst Eigenschaft/Fähigkeit, die er messen soll
• konkurrente/konvergente Validität Korrelation mit Tests gleicher/ähnlicher
Gültigkeitsbereiche
• Diskriminative/divergente Validität Korrelation mit Tests anderer Gültigkeitsbereiche
Methode zur Bestimmung:
- Korrelationen
- Faktorenanalyse
- Multitrait-Multimethoden-Ansatz
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Multitrait-Multimethoden-Ansatz
Bildung von 4 Korrelationsmatrizen:
A. Monotrait-Monomethoden Matrix Kennwerte für Intelligenz mit gleicher Methode erfasst (Test) – korrelieren am höchsten miteinander
B. Monotrait-Heteromethoden Matrix Korrelation zwischen Kennwerten einer Fähigkeit (Intelligenz) niedriger, wenn diese mit unterschiedlichen Methoden (Test, Verhaltenbeob.) erfasst werden
C. Heterotrait-Heteromethoden Matrix Korrelation zwischen Kennwerten unterschiedlicher Fähigkeiten (Intelligenz, Konzentration) niedriger, wenn diese mit gleicher Methode erfasst
D. Heterotrait-Heteromethoden Matrix niedrigste Korrelation zwischen Kennwerten unterschiedlicher Fähigkeiten, wenn mit unterschiedlichen Methoden erfasst
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Nebengütekriterien
Nebengütekriterien
Normierung
Ökonomie
Vergleichbarkeit
Nützlichkeit
Bezugssystem individueller Testergebnisse im Vgl. zur Norm
Vergleichbarer Test, wenn Parallelform/en vorhanden
kurze Durchführzeit wenig Material einfache Handhabung Gruppentest schnell und bequem auswertbar
Testung von Merkmalen, die in Praxis gebraucht werden
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
10 Stufen der Testentwicklung
1. Anforderungsanalyse und Problemstellung
• erfahrungsgeleitete-intuitive Methode
• analytisch-empirische Methode
• personenbezogene-empirische Methode
2. Planung und Literatursuche
• Wichtig: Genau überlegen, was man testen möchte
• Lehrbücher, Literaturdatenbanken, Befragung von Laien/Experten
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
10 Stufen der Testentwicklung
3. Eingrenzung des Merkmals, Arbeitsdefinition
• rationale Fragebogenkonstruktion
• deduktive Fragebogenkonstruktion
• induktive Fragebogenkonstruktion
4. Testentwurf
• Vorüberlegung: welche Zielgruppe? Welche Art von Info? Welcher Zweck?
• Testauswahl, Itemauswahl
• Testung der Verständlichkeit der Items
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
10 Stufen der Testentwicklung
5. Überprüfung des Testentwurfs
• geeignete und große Stichprobe rekrutieren
• Mendoza et al. (2000): N>100
6. Verteilungsanalyse
• Itemverteilung der Testdaten beobachten
Decken-/Bodeneffekte?
zweigipflige Verteilung?
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
10 Stufen der Testentwicklung
7. Itemanalyse/-selektion
• Itemschwierigkeit und -trennschärfe berechnen
6. Kriterienkontrolle
• Reliabilität und Validität bestimmen
• sinnvoll: mind. 1. Konstruktkonvergentes Verfahren; 1-2 Kriterien erheben
9. Revision des Tests
10. Eichung (Normierung)/ Cut-Off-Werte
• Norm erheben an repräsentativer, geschichteter Population
Einführung
Klassische Testtheorie
Gütekriterien
Testkonstruktion
Abschluss
Abschluss
FRAGEN?
...ansonsten Danke!
Literatur:
Bühner, M. (2004). Einführung in die Test- und Fragebogenkonstruktion. Pearson Studium.