Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr !...
Transcript of Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr !...
![Page 1: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/1.jpg)
Proportions-Tests
![Page 2: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/2.jpg)
Proportions Tests
● Proportions Test können in zwei Fällen benutzt werden Vergleich von beobachteten vs. erwarteten Proportionen
Test der Unabhängigkeit von 2 Faktoren
● kann auch zum Vergleich von 2 Populationen benutzt werden(Goodness-of-fit)
● Test : Fishers Exact Test : exakter Test für alle Probengrößen, wird meistens für
kleine Anzahlen benutzt
Pearson χ2 – Test : gilt für große Anzahlen (>5 in jeder Kategorie)
für große beobachtete Anzahlen sind beide Tests gleich
![Page 3: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/3.jpg)
Fishers Exact Test
● Testet ob 2 Eigenschaften unabhängig voneinander sind.
● 2 x 2 Kontingenztafel
iPhone kein iPhone
Damen 4 1 5
Herren 2 3 5
6 4 10
Wieviele Permutationen von 10 Elementen ergeben solche oder grössere/kleinere Verhältnisse und erhalten die Randsummen ?
Verhältniss iPhone/kein Iphone ist● 4/1 = 4 bei Damen● 2/3 bei Herren
→ Quotenverhältnis : 4/1 / 2/3 = 6(„odds-ratio“)
![Page 4: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/4.jpg)
Fishers Exact Test
iPhone kein iPhone
Damen 4 1 5
Herren 2 3 5
6 4 10
iPhone kein iPhone
Damen 5 0 5
Herren 1 4 5
6 4 10
iPhone kein iPhone
Damen 3 2 5
Herren 3 2 5
6 4 10
![Page 5: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/5.jpg)
Fishers Exact Test
iPhone kein iPhone
Damen 2 3 5
Herren 4 1 5
6 4 10
iPhone kein iPhone
Damen 1 4 5
Herren 5 0 5
6 4 10
Der Fischer Test untersucht alle möglichen Permutationender Daten und bestimmt wie oft die beobachtete Kontingenztabelle auftritt → exakter Test
![Page 6: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/6.jpg)
Beobachtet BeobachtetiPhone kein iPhone iPhone kein iPhone
Damen 14 30 44 Damen 31.82% 68.18% 100.00%Herren 5 20 25 Herren 20.00% 80.00% 100.00%
19 50 69 27.54% 72.46% 100.00%
H0iPhone kein iPhone
Damen 27.54% 72.46% 100.00%Herren 27.54% 72.46% 100.00%
27.54% 72.46% 100.00%
Fishers Exact Test
H0: Quotenverhältnis (odds-ratio=OR) ist 1 :
![Page 7: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/7.jpg)
Fisher's Exact Test in R
> fisher.test(table(smartPhone))
Fisher's Exact Test for Count
Data
data: table(smartPhone)
p-value = 0.4027
alternative hypothesis: true odds ratio
is not equal to 1
95 percent confidence interval:
0.5216129 7.6273675
sample estimates:
odds ratio
1.850454
BeobachtetiPhone kein iPhone
Damen 14 30 44Herren 5 20 25
19 50 69
H0 : das Verhältnis iPhone/kein iPhoneist unabhängig vom Geschlecht
→ kann nicht verworfen werden...
Jahrgang 2013/2014
![Page 8: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/8.jpg)
Fisher's Exact Test
Nebenwirkung Nebenwirkung
Leicht Mittel Stark Leicht Mittel Stark
Drug A 25 11 13 49 Drug A 51.02% 22.45% 26.53% 100.00%
Drug B 9 14 11 34 Drug B 26.47% 41.18% 32.35% 100.00%
34 25 24 83 40.96% 30.12% 28.92% 100.00%
H0Nebenwirkung
Leicht Mittel Stark
Drug A 40.96% 30.12% 28.92% 100.00%
Drug B 40.96% 30.12% 28.92% 100.00%
40.96% 30.12% 28.92% 100.00%
> table(sideeffect)
SideEffect
Drug Leicht Mittel Schwer
A 25 11 13
B 9 14 11
> fisher.test(table(sideeffect))
Fisher's Exact Test for Count Data
data: table(sideeffect)
p-value = 0.06375
alternative hypothesis: two.sided
Für Kontingenztabellen größerals 2x2 wird kein OR gerechnet
Unterscheiden sich 2 Medikamente hinsichtlich der Nebeneffekte ?
![Page 9: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/9.jpg)
Chi-Quadrat Tests
● der chi-Quadrat Test vergleicht beobachtete (O) mit erwarteter (E)Anzahl von Ereignissen (keine Proportionen !!)
● unter H0 folgt die Verteilung der chi2 Verteilung mit m-1 Freiheitsgraden für m unabhängige Beobachtungen.
● Anwendungsbereich :
Oi ≥ 2
80% der Beobachtungen sollten Oi ≥ 5
![Page 10: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/10.jpg)
Chi-Quadrat Tests : Unabhängigkeitstest
Beobachtet BeobachtetiPhone kein iPhone iPhone kein iPhone
Damen 14 30 44 Damen 31.82% 68.18% 100.00%Herren 5 20 25 Herren 20.00% 80.00% 100.00%
19 50 69 27.54% 72.46% 100.00%
H0 H0iPhone kein iPhone iPhone kein iPhone
Damen 12.1 31.9 44 Damen 27.54% 72.46% 100.00%Herren 6.9 18.1 25 Herren 27.54% 72.46% 100.00%
19 50 69 27.54% 72.46% 100.00%
Achtung : Anzahl der Freiheitsgrade ist (Reihen -1) x (Spalten -1)
![Page 11: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/11.jpg)
Tabelle der kritischen Werte chi2-Test
Chi2 Verteilung mit 5 (blau)Und 10 (rot) Freiheitsgraden
![Page 12: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/12.jpg)
Chi-Quadrat Test
Nebenwirkung Nebenwirkung
Leicht Mittel Stark Leicht Mittel Stark
Drug A 25 11 13 49 Drug A 51.02% 22.45% 26.53% 100.00%
Drug B 9 14 11 34 Drug B 26.47% 41.18% 32.35% 100.00%
34 25 24 83 40.96% 30.12% 28.92% 100.00%
H0Nebenwirkung
Leicht Mittel Stark
Drug A 40.96% 30.12% 28.92% 100.00%
Drug B 40.96% 30.12% 28.92% 100.00%
40.96% 30.12% 28.92% 100.00%
Unterscheiden sich 2 Medikamente hinsichtlich der Nebeneffekte ?
> table(sideeffect) SideEffectDrug Leicht Mittel Schwer A 25 11 13 B 9 14 11
> chisq.test(table(sideeffect)) Pearson's Chi-squared testdata: table(sideeffect) X-squared = 5.5257, df = 2, p-value = 0.06311
> fisher.test(table(sideeffect)) Fisher's Exact Test for Count Datadata: table(sideeffect) p-value = 0.06375alternative hypothesis: two.sided
df = (3-1) x (2-1) = 2
![Page 13: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/13.jpg)
Goodness of fit
● Weicht eine Verteilung signifikant von einer theoretischenVerteilung (hier : Gleichverteilung?
> chisq.test(bin.t)
Chi-squared test for
given probabilities
data: bin.t
X-squared = 83.344, df = 9, p-
value = 3.491e-14
> chisq.test(bin.w)
Chi-squared test for
given probabilities
data: bin.w
X-squared = 13.85, df = 9, p-
value = 0.1278
signifikante Abweichung keine signifikante Abweichung
10 unabhängigeBeobachtungen→ df = 10-1=9
![Page 14: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/14.jpg)
Multiples Testen
![Page 15: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/15.jpg)
Russisches Roulette:wenn 1 von 12 Kugelkammern eine Kugel enthält ...
… was ist die Wahrscheinlichkeit, daß in einer 10-köpfigen Gruppe jemanddieses Spiel zum letzten Mal spielt ?
![Page 16: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/16.jpg)
Genexpressions Daten
10000 Gene p-value = 0.001389
p-value = 0.00271
445 signifikant diff. exprimierte
Gene alpha = 0.05
Welche Gene sind differenziel exprimiert zwischen den beiden Bedingungen ?
diff. Expression wird mit einemt-Test bestimmt(alpha = 0.05)
H0 : kein Unterschiedzwischen den MittelwertenDisease / Healthy
![Page 17: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/17.jpg)
„ Ein blindes Huhnfindet auch mal ein Korn“
alles rein zufällige Daten…H0 gilt in ALLEN 10.000 Fällen→ alle positiven sind Falsch-Positive !
X <- matrix(rnorm(n=100000,sd=3),nrow=10000)
![Page 18: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/18.jpg)
Multiple Testen
● der p-Wert gibt an, mit welcherWahrscheinlichkeit man unter H0 einvergleichbares/extremeres Ergebnisbekommen hätte.
● α ist das Risiko, zu unrecht H0 zuverwerfen (falsch Positiv oder Typ IFehler)
● umgekehrt ist 1-α die Wahrscheinlichkeit,keinen Typ I Fehler zu begehen.
● bei mehreren Tests :
2 Tests: (1-α)² → pTypI = 1-(1-α)²
k Tests : (1-α)k
→ pTypI = 1-(1-α)k
10000 Tests : → p = 1-1e-223 = 1 !!!
Bei mehreren unabhängigen Tests steigtdie Wahrscheinlichkeit einen Typ I Fehler zubegehen.
![Page 19: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/19.jpg)
Achtung Verwechslungsgefahr !
● 1-(1-α)k ist dieWahrscheinlichkeit, daß unterH0 irgend einer der k Testsp<α hat→ Family-Wise error rate
● α ist die Falsch positiv Rate d.h. Anteil der Tests die bei H0 trotzdem als positiv bewertetwerden
Wahrscheinlichkeit, mindestens einen Punkt links der Linie zu bekommen
Anteil der Punktelinks der Linie
![Page 20: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/20.jpg)
Fehlerquellen
H0 gilt( = negative)
H0 gilt nicht( = positive)
H0 wirdverworfen
(p < α)V S
R(= positiv
vorhergesagt)
H0 wird nichtverworfen
(p > α)U T
m-R(= negativ
vorhergesagt)
m0 m-m0 m
V = Typ I Fehler, Falsch-PositivT = Typ II Fehler, Falsch-Negativ
![Page 21: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/21.jpg)
Fehlerquellen
H0 gilt( = negative)
H0 gilt nicht( = positive)
H0 wirdverworfen
(p < α)445 0
445(= positiv
vorhergesagt)
H0 wird nichtverworfen
(p > α)9.555 0
9.555(= negativ
vorhergesagt)
10.000 0 10.000
V = Typ I FehlerT = Typ II Fehler
![Page 22: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/22.jpg)
Kontrolle der Typ I Fehler
● Gesamtheit der durchgeführten Testswird als „Familie“ bezeichnet : m Tests
● Wahrscheinlichkeit eines Typ I Fehlersin allen Test = Family Wise Error Rate :
FWER = P(V ≥ 1)
● Anteil der Falsch Positiven unter denNegativen= False Positive Rate
FPR = V / m0
● Anteil der falsch-positiven in densignifikanten (bei denen H0 verworfenwird)= False Discovery Rate
FDR = V / R
H0 giltH0 giltnicht
H0 wirdverworfen
V S R
H0 wirdnicht
verworfenU T m-R
m0 m-m0 m
![Page 23: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/23.jpg)
Bonferroni Korrektur
● Kontrolle der FWER
● das Signifikanzniveau α wirdangepasst an die Anzahl von Tests
● bei N Tests :α → α / Np → padj = min(Np,1)
● Wahrscheinlichkeit einen Typ I Fehlerzu begehen bleibt konstant aufNiveau α
● sehr stringente Korrektur ! Erhöhtes Typ II Fehler Risiko !!
● z.B. Genexpressions Daten : 10.000Gene werde auf diff. Expressiongetestet:α = 0.05 → α/N = 5e-6
![Page 24: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/24.jpg)
False Discovery Rate
● Bei einer großen Anzahl von Tests (typ. bei Genomdaten) ist dieBonferroni Korrektur zu stringent
● zu viele Typ II ( = falsch negative) Fehler !
● man kann eine gewisse Anzahl von FP tolerieren, solange derenAnteil kontrolliert wird : False Discovery Rate
● False Discovery Rate = Anteil der FP in den von mir als positivegewerteten Ergebnisse
● FDR = 10% : 10% der von mir als positiv betrachteten Ereignisse (H0 verworfen) sind falsch Positive.
![Page 25: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/25.jpg)
Benjamini Hochberg
● Kontrolle des FDR Niveaus
● Prozedur alle p-Werte werden in
steigender Reihenfolge geordnetp1 ≤ p2 … ≤ pN
man bestimmt den höchstenRang j bei dem
pj ≤ δ j/N
alle Tests 1,2,...j werden alssignifikant erklärt
Beispiel bei FDR δ = 10%
Von den 4 signifikanten Tests sind 10% falsch Positive
q-Wert = N pj / j
Pval threshold Pass Qval
1 0.000853528 0.01 TRUE 0.00853528
2 0.004802111 0.02 TRUE 0.02401055
3 0.024180546 0.03 TRUE 0.08060182
4 0.030346760 0.04 TRUE 0.07586690
5 0.091403930 0.05 FALSE 0.18280786
6 0.127264255 0.06 FALSE 0.21210709
7 0.199171664 0.07 FALSE 0.28453095
8 0.202888447 0.08 FALSE 0.25361056
9 0.719389689 0.09 FALSE 0.79932188
10 0.910390445 0.10 FALSE 0.91039045
q-Wert = kleinste FDR δ, bei der dieser p-Wertsignifikant ist
![Page 26: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/26.jpg)
Vergleich der multiple Testing Prozeduren
● Wir simulieren das Ergebnis von 1000 Tests (t-test) Bei 900 stimmt H0 (kein Unterschied zwischen den Mittelwerten der untersuchten
Proben)
Bei 100 stimmt H0 NICHT (es gibt einen signifikanten Unterschied)
● Wir vergleichen Alpha = 5%
Bonferroni Korrektur mit alpha = 5%/1000 = 0.005 %
Benjamini-Hochberg FDR = 5%
● FPR = falsch Positive / Negative
● FNR = falsch Negative / Positive
● FDR = falsch Positive / (Wahre Positive + falsch Positive)
![Page 27: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/27.jpg)
Vergleich der multiple Testing Prozeduren
● Bonferroni Korrektur : sehr stringent → hoher Anteil an Typ IIFehlern (falsch negative)
● Benjamini-Hochberg : kontrolliert die FDR auf ein bestimmtesLevel; reduziert die Anzahl der falsch negativen
H0 gilt (900 Tests) H0 gilt nicht (100 Tests)
FPR FNR FDR
Alpha = 0.05 44 856 84 16
1 899 18 82
2 898 46 54
H0 verworfen(falsch positive)
H0 nicht verworfen(wahre negative)
H0 verworfen(wahre positive)
H0 nicht verworfen(falsche negative)
44 / (44+856) =4.8 %
16 / (16+84) =16%
44 / (44+84)= 34%
Bonferroni : alpha =0.05/1000
1 / (899+1) =0.11 %
82 / (82+18) =82%
1 / (1 + 18) =5 %
Benjamini-HochbergFDR = 5 %
2/(2+898) =0.2%
54/(54+46) =54 %
2 / (2+46) =4.1%
![Page 28: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/28.jpg)
Beispiel: keine Korrektur
## Signifikanzniveau
> alpha <- 0.05
## 900 Daten mit Mittelw. 0, 100 mit Mittelw. 3
> x <- c(rnorm(900),rnorm(100,mean=3))
## Berechnung der p-Werte nach t.test ob m=0
> p <- pnorm(x,lower.tail=F)
## Anzahl der Tests, bei denen H0 verworfen wird
> test <- p < alpha
> table(test[1:900])
TRUE FALSE
44 856
> table(test[901:1000])
TRUE FALSE
84 16
hier gilt H0
hier gilt H0 nicht
falsch PositiveFPR = 44/900 = 4.8%
falsch Negative; FNR = 16/100 = 16%
wahre Negative
wahre Positive
![Page 29: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/29.jpg)
Beispiel : Bonferroni Korrektur
## Signifikanzniveau Bonferroni
> alpha <- 0.05 / 1000
## 900 Daten mit Mittelw. 0, 100 mit Mittelw. 3
> x <- c(rnorm(900),rnorm(100,mean=3))
## Berechnung der p-Werte nach t.test ob m=0
> p <- pnorm(x,lower.tail=F)
## Anzahl der Tests, bei denen H0 verworfen wird
> test <- p < alpha
> table(test[1:900])
TRUE FALSE
1 899
> table(test[901:1000])
TRUE FALSE
18 82
hier gilt H0
hier gilt H0 nicht
falsch PositiveFPR = 1/900= 0.11%
falsch Negative; FNR = 82/100 = 82% !!!
wahre Negative
wahre Positive
![Page 30: Proportions-Testsbioinfo.ipmb.uni-heidelberg.de/crg/biostat4fs/... · Achtung Verwechslungsgefahr ! 1-(1-α)k ist die Wahrscheinlichkeit, daß unter H0 irgend einer der k Tests p](https://reader033.fdocument.pub/reader033/viewer/2022050400/5f7dae5277ca4a106a5c4dba/html5/thumbnails/30.jpg)
Beispiel : FDR Prozedur## FDR
> fdr <- 0.05
## 900 Daten mit Mittelw. 0, 100 mit Mittelw. 3
> x <- c(rnorm(900),rnorm(100,mean=3))
## Berechnung der p-Werte nach t.test ob m=0
> p <- pnorm(x,lower.tail=F)
## Anzahl der Tests, bei denen H0 verworfen wird
> test <- p < max.p
> table(test[1:900])
TRUE FALSE
2 898
> table(test[901:1000])
TRUE FALSE
46 54
hier gilt H0
hier gilt H0 nicht
falsch PositiveFPR = 2/900 = 0.2%
falsch Negative; FNR = 54/100 = 54%
wahre Negative
wahre Positive
FDR = 2/(46+2) = 4.1%