Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere...
Transcript of Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere...
![Page 1: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/1.jpg)
Studiendesign/Evaluierungsdesign
Praxisprojekt: „Nutzerorientierte Evaluierung von
Visualisierungen in Daffodil mittels
Eyetracker“
Jennifer Ziegert
![Page 2: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/2.jpg)
Warum Studien/Evaluierungsdesign
Das Design einer Untersuchung ist anzulegen, um einen gezielten und kontrollierten Vergleich der empirisch feststellbaren Sachverhalten mit den Hypothesen ableitbaren Behauptungen über die Realität zumachen
Evaluierung = Bewertung, Analyse vom Projekt
![Page 3: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/3.jpg)
Inhalt
• Fragestellung erarbeiten• Literaturstudium• Hypothesen formulieren• Statistische Methoden• Planen• Untersuchungen durchführen• Ergebnisse interpretieren• Publizieren
![Page 4: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/4.jpg)
Fragestellung
Klare Fragestellung erarbeiten, Begriffe definieren: Unumgänglich für Planung, Durchführung und Interpretation. Schlampige (unklare) Fragestellung rächt sich, die Statistik kann Fehler bei Fragestellung, Studiendesign oder Methodenwahl nicht im nachhinein gutmachen.
![Page 5: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/5.jpg)
Hypothese(n) formulieren• Hypothese(n) formulieren -
Hypothesen sind (begründete) Vermutungen über Sachverhalte. Sie werden auf dem Boden vorhandenen 'Wissens' aufgestellt. Es muss klar sein, was man unter welchen Umständen und warum erwartet, und wie diese Erwartungen allenfalls widerlegt werden können (Falsifizierbarkeitskriterium für naturwissenschaftliches Vorgehen: Jede Behauptung muss im Prinzip durch Beobachtung / Experimente widerlegbar sein).
![Page 6: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/6.jpg)
Es gibt beschreibende, analytische und Experimentelle Studien, die für unser Projekt zurAnwendung kommen sollten. Für die verschiednenStudiendesigns gibt es Vor und Nachteile.Dazu später mehr.
Es wird zwischen beschreibenen (deskriptiven), analytischeUnd experimentellen Studien unterschieden
Studienarten
![Page 7: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/7.jpg)
Studienarten
Querschnitt StudienKorrelationsstudien
Deskriptive Studien
Fall- Kontroll- StudienKohortenstudien
Analytische Studien
Randomisierte Studien
Experimentelle Studien
Studiendesign
![Page 8: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/8.jpg)
Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert des Schätzfehlers.In der Praxis kann eine Verzerrung zwei Ursachen haben:einen systematischen Fehler, also ein nichtzufälliger Messfehler in der Apparatur, oder einen zufälligen Fehler, dessen Erwartungswert ungleich 0 ist. Zufällige Fehler können aus zufälligen Messfehlern resultieren, aber auch Fehlinterpretationen des Modells als Ursache haben.Potenzielle Einflussfaktoren wie systematische Verzerrung(Bias) und Störgrößen(Confounder) müssen bei der Planung einer Studie berücksichtigt werden.
Bias
![Page 9: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/9.jpg)
Bias
Bias können bei der Auswahl der Probanden (Studenten) entstehen, diese nennt man dann Auswahl Bias oder Selektions Bias. Zudem gibt es noch so genannte BeobachtungBias, die beider Datenerhebung auftreten können.
![Page 10: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/10.jpg)
Grundgesamtheit&Stichprobe
• Totalerhebung in der Praxis unmöglich
• Stichprobe: Systematisch geleitete Entnahme von Ereignissen oder Merkmalen der Grundgesamtheit
• Größe der Stichprobe entscheidet übe die Qualität
• Ergebnisse von Erhebung lassen Aussagen über die Grundgesamtheit zu
• Je größer die Stichprobe desto eher kann Repräsentativität erreicht werden
![Page 11: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/11.jpg)
Deskriptive&analytische Studien• Beobachtende Studienform• Es wird nicht aktiv ins Geschehen eingegriffen• beschreibende Statistik sie vermittelt Verfahren zur
übersichtlichen Darstellung von Untersuchungsergebnissen
• (Mittelwert, Streumaße)• Mittels beschreibender Statistik werden
Häufigkeitsverteilungen ermittelt, Kenngrößen für die Streuung von Merkmalsausprägungen angegeben z.B. als Standardabweichung um den Mittelwert. Der Zusammenhang von Merkmalen und die Abhängigkeit eines Merkmals von einer Einflussgrösse (Regression)werden dargestellt.
![Page 12: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/12.jpg)
Experimentelle Studien
• Es wird aktiv eingegriffen• Parameter systematisch verändert und
beeinflusst• Schätz und Testverfahren, ermöglicht
die Prüfung von Hypothesen durch statistische Tests.
![Page 13: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/13.jpg)
Statistische MethodenKorrelative Verfahren
• Berechnung der Parameter ;Welche Skalenniveaus haben die Variablen:Norminal, Ordinal, Intervall, Ratioskala
• Kausalität vs Korrelation• Nullhypothese• Signifikanz
![Page 14: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/14.jpg)
Nullhypothese
• „Alles ist zufällig“(nicht signifikant)• Abweichung nur durch fehlerbehaftete
Stichprobenentnahme• Mittwerttest überprüft dies• Als (oft zu falsifizierende) Nullhypothese
definiert man im allgemeinen die Vermutung, dass zwischen zwei zu vergleichenden Stichproben =Teile der Gesamtheit, kein Unterschied besteht. Die Wahrscheinlichkeit, dass diese Vermutung zutrifft, ist umso kleiner, je eindeutiger der Unterschied ist.
![Page 15: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/15.jpg)
Signifikanz• Wenn diese Wahrscheinlichkeit unter 5% liegt, ist
man von einem realen Effekt überzeugt und spricht von einem signifikanten Ergebnis.Die Wahl dieses 'Schwellenwerts' ist willkürlich; je niedriger der pWert, desto überzeugender ist das Ergebnis.
• Wahrscheinlichkeit gering, dass Unterschiede oder Zusammenhänge durch Zufall zustande gekommen sind
• Wahrscheinlichkeit, dass H0 zu unrecht verworfen wird : < 5%
![Page 16: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/16.jpg)
Regressionsanalyse
• Analyse von Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen
• Einfache Regressionsanalyse Y=f(x1)• Multible Regressionsanalyse
Y=f(x1,x2,x3,...xj....xJ)• Die Variationen der Variable Y lassen sich nie
vollständig durch eine Begrenzte Menge von einer unabhängigen Variablen erklären
• Es gibt hier auch immer Störgrößen (Bias)
![Page 17: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/17.jpg)
Faktorenanalyse
• Reduzierung der Variablen• Übersichtlichkeit• Bessere Interpretationsmöglichkeiten• Analyse von unabhängigen Variablen• Durch untersuchen eine der Korrelation
untereinander werden diese zu sinnvollen Faktoren gruppiert
![Page 18: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/18.jpg)
Diskriminanzanalyse
• Die Diskriminanzanalyse stellt Unterschiede zwischen Gruppen fest
• Anhand welcher man dann für zukünftige Befragte versucht eine Vorhersage für die Gruppenzugehörigkeit zu machen
![Page 19: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/19.jpg)
Untersuchung durchführen
• Dabei muss klar sein, welche Methoden wann, wie, warum und von wem verwendet werden, um Fehlerquellen auszuweichen; unter welchen Umständen Beobachtungen / Probanden zugelassen (Einschlußkriterien) oder ausgeklammert werden (Ausschlußkriterien); wie im Falle von Störungen zu verfahren ist (z.B.Bias)
![Page 20: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/20.jpg)
Planen• Planung der Beobachtungen / Experimente - Ziel der
Beobachtungen ist die Beantwortung der gestellten Frage(n) durch Verwerfen oder Akzeptieren der aufgestellten Hypothese(n) mittels statistischer Verfahren. So kann eine Untersuchung rein beobachtend sein, z.B. retrospektiv den Einfluß einer bestimmten Maßnahme alleine nachzuvollziehen versuchen (deskriptive Studie) oder im Vergleich zum Verlauf in einer Kontrollgruppe (retrospektive Studie, sie kann fragen, was gegenwärtig vorgeht (Querschnittstudie), oder was - im Vergleich zu einer Kontrollgruppe - unter Einwirkung einer Maßnahme geschehen wird (prospektive Studie,). Oder die Studie ist experimentell, möglichst kontrolliert. Bei der Auswahl der Studienteilnehmer (Probanden) muß sichergestellt werden, daß keine systematischen Verzerrungen (bias) unterlaufen
• Fragebögen (Validität)• Logische Regression
![Page 21: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/21.jpg)
Ergebnisse interpretieren
• Durch biometrische Verfahren. Die Statistik.Kontrollierte Studien sollen die Frage beantworten, ob signifikante(u-und t-tests) Effekte bestehen (=Unterschiede im entsprechenden Merkmal ausreichend wahrscheinlich).
![Page 22: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/22.jpg)
Schlussfolgerungen ziehen
• was bedeuten die Ergebnisse für die praktische Anwendung? Sind sie relevant / repräsentativ für eine andere Teil- bzw. für die Gesamtpopulation? Wenn ja, unter welchen (z.B. zeitlichen) Bedingungen? Sind die Ergebnisse statistisch signifikant?
![Page 23: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/23.jpg)
Publizieren
• Die Publikation wird wiederum von anderen Forschern zur Formulierung ihrer Studien mit herangezogen.
• Ist eine klare Fragestellung und Zielsetzung erkennbar?
• Wird der Aufbau der Studie den Zielsetzungen gerecht? • Sind die verwendeten Methoden und Maßnahmen
adäquat, eindeutig und ausreichend dargestellt?• Welche statistischen Verfahren wurden angewandt? • Sind die Ergebnisse klar und ausreichend dargestellt?• Werden angemessene Schlussfolgerungen gezogen?• Ist die zitierte Literatur adäquat und ausreichend?• In welcher Zeitschrift ist die Arbeit erschienen?
![Page 24: Jennifer Ziegert - is.inf.uni-due.de · Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert](https://reader030.fdocument.pub/reader030/viewer/2022040816/5e5f81959516b550965c3203/html5/thumbnails/24.jpg)
Literatur
• Projektdurchführung und Studiendesign, Prof.Dr.Thomas Schäfer,2003
• Empirische Sozialforschung, Helmut Kromrey,2006
• Deskreptive Statistik, Skript Vorlesung Prof. Kern, 2007
• Studiendesign, Helmut HinghoferSzalkay, 2000-2002