Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik...

51
A statistician is a person who draws a mathematically precise line from an unwarranted assumption to a foregone conclusion. Pflege Deine Vorurteile!

Transcript of Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik...

Page 1: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

A statistician is a person who draws a mathematically precise line

from an unwarranted assumption to a foregone conclusion.

Pflege Deine Vorurteile!

Page 2: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Quo vadis ?

Statistik als wissenschaftliche Qualitätskontrolle

Page 3: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Quo vadis ?

Statistik als wissenschaftliche Qualitätskontrolle

Page 4: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

1. Ein p-Wert ist ein p-Wert ist ein p-Wert(und kein Test)

Page 5: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Ursache Wirkung

deduktiv

induktiv

Zwei Arten logischen Schlußfolgerns

Page 6: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Hypothese Beobachtung

?

?

Schlußfolgern in der Statistik

Page 7: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Hypothese

Beobachtung

Schlußfolgern in der Statistik (induktiv)

p-Wert

Sir Ronald A. Fisher (1890-1962)

Page 8: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Beobachtung xobs

Teststatistik T:x→T(x)

Hypothese H0

p = PH0(x:T(x)≥T(xobs))

Der p-Wert

Page 9: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

T(xobs)

p

Der p-Wert

T

PH0

“... an informal index to be used as a measure of discrepancy between the data and the null hypothesis.”

Goodman SN (1999) Ann Intern Med 130: 995-1004

Page 10: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

“No test based upon the theory of probabilitycan by itself provide any valuable evidence ofthe truth or falsehood of a hypothesis”

Neyman J, Pearson E (1933) Phil Trans R Soc A, 231:289-337

Das Theorem von Bayes

Thomas Bayes (1702-1761)

P(H0|xobs) ∝ P(H0)⋅p

Page 11: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

p-Wert als “Entscheidungskriterium“

p=0.10

unerwartet “shows that the two groups are equivalent“

erwartet “trend of borderline significance“

“not statistically significant, most probablybecause of small sample size“

Page 12: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

p-Wert als “Entscheidungskriterium“

p=0.10

unerwartet “shows that the two groups are equivalent“

erwartet “trend of borderline significance“

“not statistically significant, most probablybecause of small sample size“

p=0.01unerwartet “in all likelihood represents a false positive“

erwartet

“reflects unknown bias“

“clearly demonstrates a treatment effect“

Page 13: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

statistisches Testen

Schlußfolgern in der Statistik (deduktiv)

Jerzy Neyman (1894-1981)

Egon Pearson (1895-1980)

Hypothese

Beobachtung

Page 14: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

“Without hoping to know whether each separatehypothesis is true or false, we may search forrules to govern our behavior with regard to them,in following which we insure that, in the longrun of experience, we shall not often be wrong.”

Neyman J, Pearson E (1933) Phil Trans R Soc A, 231:289-337

Statistisches Testen

Page 15: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Beobachtungen xTeststatistik T:x→T(x)

Fehler 2. Art β

Hypothesen H0, H1

Wähle Cα so, daß PH0(x:T(x)>Cα)≤α

Fehler 1. Art α

Statistisches Testen

PH1(x:T(x)≤Cα)≤β

Page 16: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Statistisches Testen

αααα

H0 H1

T(xobs)≤Cα H0

T(xobs)>Cα H1

Tββββ

PH0 PH1

Page 17: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Das sogenannte „multiple Testproblem“

Placebo vs. Behandlung A 0.125Placebo vs. Behandlung B 0.015Placebo vs. Behandlung C 0.045

p

Page 18: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Das sogenannte „multiple Testproblem“

Placebo vs. Behandlung A 0.125Placebo vs. Behandlung B 0.015Placebo vs. Behandlung C 0.045

0.053

p pcrit

Page 19: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Das sogenannte „multiple Testproblem“

Placebo vs. Behandlung A 0.125Placebo vs. Behandlung B 0.015Placebo vs. Behandlung C 0.045

Placebo vs. Behandlung D 0.020Placebo vs. Behandlung E 0.005

0.053

0.052

p pcrit

Page 20: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Das sogenannte „multiple Testproblem“

Placebo vs. Behandlung A 0.125Placebo vs. Behandlung B 0.015Placebo vs. Behandlung C 0.045

Placebo vs. Behandlung D 0.020Placebo vs. Behandlung E 0.005

0.053

0.052

0.055

p pcrit pcrit

Page 21: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Das sogenannte „multiple Testproblem“

Placebo vs. Behandlung A 0.125Placebo vs. Behandlung B 0.015Placebo vs. Behandlung C 0.045

Placebo vs. Behandlung D 0.020Placebo vs. Behandlung E 0.005

0.053

0.052

0.055

p pcrit pcrit

entwederH0A H0B H0C H0D H0E

Page 22: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Das sogenannte „multiple Testproblem“

Placebo vs. Behandlung A 0.125Placebo vs. Behandlung B 0.015Placebo vs. Behandlung C 0.045

Placebo vs. Behandlung D 0.020Placebo vs. Behandlung E 0.005

0.053

0.052

0.055

p pcrit pcrit

entwederH0A H0B H0C H0D H0E

oderH0A H0B H0C H0D H0E

Page 23: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Das sogenannte „multiple Testproblem“

Placebo vs. Behandlung A 0.125Placebo vs. Behandlung B 0.015Placebo vs. Behandlung C 0.045

Placebo vs. Behandlung D 0.020Placebo vs. Behandlung E 0.005

0.053

0.052

0.055

p pcrit pcrit

entwederH0A H0B H0C H0D H0E

oderH0A H0B H0C H0D H0E

aber nicht

H0A H0B H0C H0D H0E

Page 24: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

2. Was ist schon/noch „normal“?

Page 25: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

PH0(x:T(x)≥T(xobs))p-Wert

PH0(x:T(x)>Cα)Test

Verteilung: Fakt und Fiktion

Page 26: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

PH0(x:T(x)≥T(xobs))p-Wert

PH0(x:T(x)>Cα)Test

Verteilung: Fakt und Fiktion

Page 27: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Randomisierungs-Tests„statistics without tears“

x1 x2 x3 x4 x5 x6 x7 x8 x9xobs T(xobs)

Fälle Kontrollen

Page 28: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Randomisierungs-Tests„statistics without tears“

x1 x2 x3 x4 x5 x6 x7 x8 x9xobs T(xobs)

x1x2x3 x4 x5x6 x7x8 x9π1(xobs) T(π1(xobs))

Fälle Kontrollen

Page 29: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Randomisierungs-Tests„statistics without tears“

x1 x2 x3 x4 x5 x6 x7 x8 x9xobs T(xobs)

x1x2x3 x4 x5x6 x7x8 x9

x1 x2 x3x4x5x6 x7x8 x9

x1 x2 x3x4x5 x6 x7x8x9

x1 x2x3 x4 x5 x6x7x8 x9

π1(xobs)π2(xobs)π3(xobs)π4(xobs)

T(π1(xobs))T(π2(xobs))T(π3(xobs))T(π4(xobs))

PH0(T(x))

Fälle Kontrollen

Page 30: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

3. Ein p-Wert mißt keine Effektgröße(signifikant ist nicht gleich „signifikant“)

Page 31: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Kleine Studie, großer Effekt ...

Verum

Placebo

Erfolg ∅Erfolg

40 10

25 25

50

50

65 35 100Σ

Σ

χ2=8.62, 1 df, p=0.004 OR=4.000 CI: 1.517-10.749

Page 32: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Kleine Studie, großer Effekt ...

Verum

Placebo

Erfolg ∅Erfolg

40 10

25 25

50

50

65 35 100Σ

Σ

Verum

Placebo

Erfolg ∅Erfolg

2648 2352

2500 2500

5000

5000

5148 4852 10000Σ

Σ

χ2=8.62, 1 df, p=0.004

χ2=8.62, 1 df, p=0.004

OR=4.000 CI: 1.517-10.749

OR=1.126 CI: 1.040-1.219

Page 33: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

4. post hoc ergo propter hoc(die Sache mit dem Klapperstorch)

Page 34: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Von Störchen und Babys

0

10

2030

40

50

60

7080

Jan

Mar

May Ju

l

Sep

Nov

Störche Geburten

r = 0.898

Page 35: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Scheinkorrelation/assoziation

A B

C

A B

C

I. II.

A: Geschlecht, B: Verhalten, C: Erziehung

Page 36: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Scheinkorrelation/assoziation

A B

C

A B

C

I. II.

A: Geschlecht, B: Verhalten, C: Erziehung

A: Therapieform, B: Morbidität, C: Mobilität

Page 37: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Scheinkorrelation/assoziation

A B

C

A B

C

I. II.

A: Geschlecht, B: Verhalten, C: Erziehung

A: Ernährung, B: Lebensdauer, C: Sozialisation

A: Therapieform, B: Morbidität, C: Mobilität

Page 38: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Scheinkorrelation/assoziation

A B

C

A B

C

I. II.

A: Geschlecht, B: Verhalten, C: Erziehung

A: Ernährung, B: Lebensdauer, C: Sozialisation

A: Therapieform, B: Morbidität, C: Mobilität

A: Mobiltelefonieren, B: Schlafstörungen, C: Lebensweise

Page 39: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Alle Confounder bedacht?

Page 40: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Alle Confounder bedacht?

Page 41: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Alle Confounder bedacht?

... Augen links

Page 42: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Alle Confounder bedacht?

... Augen rechts

Page 43: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

„The DDT ban myth“

Malaria-Prävalenz in Sri Lanka

1948 2,800,0001958 Beginn des DDT Einsatzes1962 Silent Spring (Rachel Carson)

1964 Verbot von DDT1968 1,000,0001969 2,500,000

1963 17

Page 44: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

„The DDT ban myth“

Malaria-Prävalenz in Sri Lanka

1948 2,800,0001958 Beginn des DDT Einsatzes1962 Silent Spring (Rachel Carson)

1964 Verbot von DDT1968 1,000,0001969 2,500,000

1963 17Resistenzbildung !

Page 45: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

5. Skalieren, Normieren, Standardisieren(Bilder sagen mehr als tausend Worte)

Page 46: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

0

20

40

60

80

100

120

1960 1970

Year

Inzi

denc

e

Schwache Trends, starke Trends

Page 47: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

Schwache Trends, starke Trends

Inzi

denc

e

Year

Page 48: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

100

102

104

106

108

110

1960 1970

Year

Inci

denc

e

Schwache Trends, starke Trends

Page 49: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

0

20

40

60

80

100

120

1960 1970 1980 1990

Year

Inzi

denc

e

Schwache Trends, starke Trends

Page 50: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

100

110

120

130

140

150

1960/80 1970/90

Year

Inzi

denc

e (%

)

Schwache Trends, starke Trends

Page 51: Pflege Deine Vorurteile! - uni-kiel.de · Hypothese Beobachtung Schlußfolgern in der Statistik (induktiv) p-Wert Sir Ronald A. Fisher (1890-1962)

The End