Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage...
Transcript of Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage...
![Page 1: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/1.jpg)
Bootstrap et reechantillonnageAtelier SFdS - Partie 1
Magalie Fromont et Myriam Vimond
CREST (Ensai) - IRMAR (Universite Europeenne de Bretagne)
Novembre 2012
1/ 101
![Page 2: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/2.jpg)
Plan
1 IntroductionIl etait une fois...Dans une lointaine contree...Ils vecurent heureux...
2 Principe du plug-in
3 Bootstrap et methodes de reechantillonnage
4 Proprietes d’un estimateur
5 Intervalles de confiance
6 Tests d’hypotheses
2/ 101
![Page 3: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/3.jpg)
Il etait une fois...Bradley Efron
Bootstrap methods : another look at the Jackknife. Ann. Stat. (1979)
Question
Etant donne un echantillon X = (X1, . . . ,Xn) de variables aleatoiresi.i.d. de loi P inconnue, comment estimer la loi d’une variableRn(X,P) sur la base d’une observation de X ?
S’inspirant du Jackknife, introduit par Quenouille et Tukey pourl’estimation du biais et de la variance d’un estimateur, Efronpropose une methode d’estimation non parametrique plus”primitive” (sic), mais plus generale.
3/ 101
![Page 4: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/4.jpg)
Il etait une fois...Karl Friedrich Hieronymus, baron de Munchhausen ?
Le terme de bootstrap donne par Efron a sa methode provient del’expression : ”to pull oneself up by one’s bootstraps”.
→ Se hisser en tirant sur les languettes de ses bottes.→ Se sortir, seul, d’une situation difficile.
Cette expression est communement attribuee a Rudolf E. Raspe,auteur des aventures du baron de Munchhausen (BaronMunchhausen’s Narrative of his Marvellous Travels and Campaignsin Russia, 1785).
4/ 101
![Page 5: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/5.jpg)
Dans une lontaine contree...Du doux nom d’Inference Statistique
Rappel : X = (X1, . . . ,Xn) echantillon d’une loi P inconnue.
On s’interesse a un parametre θ(P) de la loi P et on envisage l’undes problemes suivants.
I Estimation ponctuelle de θ(P) par θ = T(X) et etude de laprecision de l’estimateur :
I Biais de θ = EP[T(X) − θ(P)],I Variance de θ = VP[T(X)],I EQM (MSE) de θ = EP[(T(X) − θ(P))2].
I Construction d’une region de confiance pour θ(P).I Construction d’un test d’hypotheses sur θ(P).
5/ 101
![Page 6: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/6.jpg)
Pour resoudre le probleme envisage, il ”suffit” par exemple de :
I Connaıtre (exactement ou asymptotiquement) la loi deT(X) − θ(P), de T(X) ou de φ ((T(X) − θ(P)).
OU
I Savoir simuler cette loi de facon a pouvoir utiliser desmethodes de Monte Carlo.
6/ 101
![Page 7: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/7.jpg)
L’exemple de la moyenne.
X = (X1, . . . ,X30) 30-echantillon d’une loi P.
Parametre d’interet : θ(P) = EP[Xi] =∫
xdP(x).
Estimateur des moments, du maximum de vraisemblance etplug-in : θ = X.
→ Question : loi de θ = X ?
7/ 101
![Page 8: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/8.jpg)
Loi P = loi de Bernoulli B(1/2) (connue).
0.0 0.2 0.4 0.6 0.8 1.0
01
23
45
Espérance de la loi P
Figure: Histogramme de la loi de θ = X
8/ 101
![Page 9: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/9.jpg)
Loi P = loi de Bernoulli B(θ) (θ inconnu).
X = 30-echantillon de loi B(θ) conditionnellement a X.
0.0 0.2 0.4 0.6 0.8 1.0
01
23
45
Moyenne de l'échantillon X Espérance de la loi P
Figure: Histogramme de la loi de X sachant X
9/ 101
![Page 10: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/10.jpg)
Loi P inconnue.X∗ = (X∗1, . . . ,X
∗
30), X∗i tire au hasard avec remise dans X1, . . . ,X30.
0.0 0.2 0.4 0.6 0.8 1.0
01
23
45
Moyenne de l'échantillon X Espérance de la loi P
Figure: Histogramme de la loi de X∗ sachant X
10/ 101
![Page 11: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/11.jpg)
Loi P = loi de Bernoulli B(1/2) (connue).
R(X,P) =√
30(X − θ(P)
).
−3 −2 −1 0 1 2 3
0.0
0.2
0.4
0.6
0.8
1.0
Densité de la loi asymptotique
Figure: Histogramme de la loi de R(X,P)
11/ 101
![Page 12: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/12.jpg)
Loi P = loi de Bernoulli B(θ) (θ inconnu).
R =√
30(X − θ
).
−3 −2 −1 0 1 2 3
0.0
0.2
0.4
0.6
0.8
1.0
Figure: Histogramme de la loi de R sachant X
12/ 101
![Page 13: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/13.jpg)
Loi P inconnue.R∗ =
√30
(X∗ −X
).
−3 −2 −1 0 1 2 3
0.0
0.2
0.4
0.6
0.8
1.0
Figure: Histogramme de la loi de R∗ sachant X
13/ 101
![Page 14: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/14.jpg)
Ils vecurent heureux...
Quelques ouvrages de reference
I Chernick, M. R. (1999). Bootstrap Methods : A Practitioner’sGuide.
I Davison, A. C. and Hinkley, D. V. (1997). Bootstrap Methodsand their Applications.
I Efron, B. and Tibshirani, R. J. (1993). An introduction to theBootstrap.
I Gine, E. (1996). Lectures on some aspects of the Bootstrap.
I Hall, P. (1992). The Bootstrap and Edgeworth Expansion.
I Shao, J., and Tu, D. (1992). The Jackknife and Bootstrap.
14/ 101
![Page 15: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/15.jpg)
Plan
1 Introduction
2 Principe du plug-inLa mesure empiriqueLe processus empiriqueMethode d’estimation par injection : plug-in
3 Bootstrap et methodes de reechantillonnage
4 Proprietes d’un estimateur
5 Intervalles de confiance
6 Tests d’hypotheses
15/ 101
![Page 16: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/16.jpg)
La mesure empiriqueLa fonction de repartition empirique
Soit (Ω,A,P) un espace probabilise.Soit X = (X1, . . . ,Xn) un n-echantillon de P.
Fonction de repartition : F(t) = P (X1 ≤ t)
Fonction de repartition empirique : Fn(t) = 1n
n∑i=1
1Xi≤t
La mesure empirique Pn est la mesure discrete associee a Fn quiattribue un poids de 1/n a chaque observation :
Pn =1n
n∑i=1
δXi ,
ou δx est la mesure de Dirac en x.
16/ 101
![Page 17: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/17.jpg)
La mesure empiriqueLa mesure empirique comme un processus
Notations : soit g : R→ R fonction mesurable bornee,
Pg =
∫gdP = E[g(X1)], Png =
∫gdPn =
1n
n∑i=1
g(Xi).
Par exemple : F(t) = P1]−∞,t], Fn(t) = Pn1]−∞,t].
Soit F ⊂ L2(P).La mesure empirique indexee par F , Pn =
(Pn f
)f∈F , est une
collection de v.a. indexee par F .
Convergence ponctuelle du processus
(LFG) Pour tout f ∈ F , Pn fp.s.−→ P f .
17/ 101
![Page 18: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/18.jpg)
Hypothese : Les trajectoires de Pn sont p.s. bornees
Pour presque tout ω ∈ Ω fixe, l’application
F ⊂ L2(P)→ R
f 7→(Pn f
)(ω) =
1n
n∑i=1
f (Xi(ω))
est bornee.
Objectif : Convergence sur les trajectoires de Pn.
‖Pn − P‖∞ = supf∈F
∣∣∣Pn f − P f∣∣∣ mesurable ? convergente ?
18/ 101
![Page 19: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/19.jpg)
Exemple : F =1]−∞,t], t ∈ R
Theoreme de Glivenko-Cantelli (1933)
‖Pn − P‖∞ = supt|Fn(t) − F(t)|
p.s.→ 0
n = 100 n = 1000
Figure: 200 trajectoires de la mesure empirique Pn associee a unn-echantillon de la loi N(0, 1)
19/ 101
![Page 20: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/20.jpg)
Le processus empirique
Le processus empirique indexe par F , Zn =(Zn f
)f∈F , est une
collection de v.a. indexee par F , telle que :
pour f ∈ F , Zn f =√
n(Pn f − P f
).
Convergence ponctuelle du processus empirique
(TCL) pour tout f ∈ F ⊂ L2(P), Zn f Z f
ou Z f ∼ N(0,P f 2
− (P f )2).
Objectif : Convergence sur les trajectoires de Zn lorsque cestrajectoires sont p.s. bornees
Zn : Ω→ `∞(F ),
ou `∞(F ) =z : F → R : ‖z‖∞ = sup f |z( f )| < ∞
.
20/ 101
![Page 21: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/21.jpg)
Exemple : F =1]−∞,t], t ∈ R
Inegalite de Dvoretsky-Kiefer-Wolfowitz
(Bande de confiance pour (F(t))t∈R) Pour tout ε > 0,
limnP (‖Zn‖∞ > ε) = lim
nP
(‖Fn − F‖∞ > ε/
√n)≤ 2e−2ε2
.
Theoreme de Donsker (1952)
Zn =√
n(Pn − P) Z dans `∞(R),
Z processus gaussien centre de covariance σ(s, t)=F(s∧t)−F(s)F(t).
Si X est un n-echantillon de la loi U[0, 1],Z est un pont brownien sur [0, 1].
21/ 101
![Page 22: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/22.jpg)
Definitions :
Soit Yn : Ω→ `∞(F ) une suite d’applications.Soit Y : Ω→ `∞(F ) une v.a.
I Ynp.s.→ Y dans `∞(F )
s’il existe ∆n : Ω→ R+ v.a. telle que ∆np.s.→ 0 et ‖Yn − Y‖∞ ≤ ∆n.
I YnP→ Y dans `∞(F )
si pour tout ε > 0, P (‖Yn − Y‖∞ > ε)→ 0.
I Yn Y dans `∞(F )si pour toute f : `∞(F )→ R continue bornee,
E(
f (Yn))→E
(f (Y)
).
22/ 101
![Page 23: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/23.jpg)
Methode d’estimation par injection : plug-inFonctionnelle statistique
Une fonctionnelle statistique est un parametre s’exprimantcomme une fonction de la loi de l’echantillon
θ = θ(P) ou θ = θ(F).
Exemples :
I La moyenne m(P) =∫
xdP
I La variance σ2(P) =∫
(x −m(P))2 dPI La mediane me(P) = F−1(1/2)I Le coefficient d’asymetrie γ(P) =
∫(x −m(P))3 dP/σ(P)3/2
I Fonctionnelle lineaire statistique : pour f ∈ L1(P) fixee,
s(P) =
∫f (x)dP(x)
23/ 101
![Page 24: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/24.jpg)
Methode d’estimation par injection : plug-in
Un estimateur par injection (ou plug-in) est defini par :
θ = θ(Pn)
Exemples :
I La moyenne m(Pn) = X
I La variance σ2(Pn) = 1n∑n
i=1
(Xi − X
)2
I La mediane me(Pn) = X(n/2) ou X((n+1)/2) i.e. X(dn/2e)...
I Fonctionnelle lineaire statistique : s(Pn) = Pn f
24/ 101
![Page 25: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/25.jpg)
Zoom sur : θ(P) = P f avec f ∈ L2(P).
I Estimateur plug-in de θ(P) : θ = θ(Pn) = Pn fLFG : θ
p.s.→ θ(P)
TCL :√
n(θ − θ) N(0, σ2), avec σ2 = P f 2− (P f )2
I Estimateur plug-in de σ2 : σ2 = Pn f 2− (Pn f )2
LFG : σ2 p.s.→ σ2
Soit zα/2 le quantile d’ordre α/2 de la loi N(0, 1).Un intervalle de confiance de niveau de confiance asymptotique1 − α pour θ(P) est donne par :[
θ + zα/2σ√
n, θ − zα/2
σ√
n
]
25/ 101
![Page 26: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/26.jpg)
Plan
1 Introduction
2 Principe du plug-in
3 Bootstrap et methodes de reechantillonnageLe JackknifeLe Bootstrap ”naıf” d’EfronLe Bootstrap a poids general
4 Proprietes d’un estimateur
5 Intervalles de confiance
6 Tests d’hypotheses
26/ 101
![Page 27: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/27.jpg)
Le JackknifeHistorique
I Methode proposee par Maurice Quenouille vers 1950 pourreduire le biais d’un estimateur.
I Vers 1958, John Tukey l’utilise pour l’estimation de l’erreurstandard d’un estimateur.
I Le Jackknife prefigure le bootstrap.
Aujourd’hui le Jackknife s’utilise en complement du bootstrap, parexemple pour la construction d’intervalles de confiance.
Principe du Jackknife
Retirer une des observations de l’echantillon de depart,puis recalculer l’estimateur sur les observations restantes.
27/ 101
![Page 28: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/28.jpg)
Le JackknifeLe sous-echantillonnage
Soit X = (X1, . . . ,Xn) un n-echantillon de la loi P.Soit θ = Tn(X) un estimateur de θ = θ(P).
Un echantillon Jackknife est obtenu en retirant une observation :
X(−i) = (X1, . . .Xi−1,Xi+1, . . . ,Xn), i = 1 . . . n
Une replique Jackknife de θ est l’evaluation de la statistique Tn−1sur un echantillon Jackknife :
θ(−i) = Tn−1
(X(−i)
), i = 1 . . . n.
28/ 101
![Page 29: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/29.jpg)
Le JackknifeReduction du biais
Soit X = (X1, . . . ,Xn) un n-echantillon de P.Soit θ = Tn(X) un estimateur de θ = θ(P).
Estimateur Jackknife du biais
bJackk = (n − 1)(θ(−) − θ
), avec θ(−) =
1n
n∑i=1
θ(−i)
Estimateur Jackknife ayant un biais reduit
θJackk = θ − bJackk = nθ − (n − 1)θ(−)
Si B(θ) = a/n + O(1/n2), alors B(θJackk) = O(1/n2).
29/ 101
![Page 30: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/30.jpg)
Le JackknifeEstimation de la variance
Soit X = (X1, . . . ,Xn) un n-echantillon de P.Soit θ = Tn(X) un estimateur de θ = θ(P).
Estimateur de la variance
vJackk =n − 1
n
n∑i=1
(θ(−i)
− θ(−))2
Sous certaines hypotheses,
vJackk
V(θ)
p.s.−→ 1.
30/ 101
![Page 31: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/31.jpg)
Le Bootstrap ”naıf” d’EfronLe principe
Une racine est une fonctionnelle de l’echantillon X et de la loi P,notee Rn(X,P), dont certaines des caracteristiques (loi, ou plussimplement esperance, variance, quantile...) nous interessent enparticulier.
Principe du Bootstrap
Pour estimer la loi de Rn(X,P) sans faire d’hypothese de typeparametrique sur P, Efron extrapole le principe du plug-in pourconstruire un monde Bootstrap miroir du monde reel dans lequelaucune quantite n’est inconnue.
31/ 101
![Page 32: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/32.jpg)
Monde reel Monde bootstrap
P ↔ Pn = 1n∑n
i=1 δXi mesure empirique
X = (X1, . . . ,Xn)n-echantillon de laloi P
↔ X∗ = (X∗1, . . . ,X∗n) n-echantillon de la loi
Pn, appele echantillon bootstrap asso-cie a X.
P(X∗j = Xi|X) =1n∀i, j
Rn(X,P) ↔ R∗n = Rn(X∗,Pn) replication bootstrapde la racine
32/ 101
![Page 33: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/33.jpg)
Le Bootstrap ”naıf” d’EfronEstimation bootstrap et reechantillonnage
Estimation bootstrap de la loi de Rn(X,P)La loi de Rn(X,P) est estimee par la loi conditionnelle deR∗n = Rn(X∗,Pn) sachant X.
Approximation de Monte Carlo et reechantillonnage
Conditionnellement a X = (x1, . . . , xn), une realisation del’echantillon bootstrap X∗ = (X∗1, . . . ,X
∗n) peut etre simulee en
tirant au hasard avec remise n valeurs dans x1, . . . , xn.
La loi conditionnelle de R∗n sachant X peut donc etre approcheepar une methode de Monte Carlo.
On parle alors de reechantillonnage.
Retour a l’exemple de la moyenne
33/ 101
![Page 34: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/34.jpg)
Le Bootstrap ”naıf” d’EfronMesure et processus empiriques bootstrap
La mesure empirique et la mesure empirique bootstrap sontrespectivement definies par
Pn =1n
n∑i=1
δXi et P∗n =1n
n∑j=1
δX∗j.
Le processus empirique et le processus empirique bootstrap sontrespectivement definis par
Zn =√
n (Pn − P) et Z∗n =√
n(P∗n − Pn
).
34/ 101
![Page 35: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/35.jpg)
Le Bootstrap ”naıf” d’EfronPoids de reechantillonnage
Rappel : P(X∗j = Xi
∣∣∣∣X)= 1
n .
→ Si (U1, . . . ,Un) est un n-echantillon de la loi U([0, 1]),independant de X, et Mn,i =
∑nj=1 1U j∈](i−1)/n,i/n],
X∗j =(L)n∑
i=1
Xi1U j∈](i−1)/n,i/n] et #X∗j = Xi =(L) Mn,i.
Le vecteur Mn = (Mn,1, . . . ,Mn,n) est independant de X et de loimultinomiale de parametres (n, 1/n, . . . , 1/n).Les Mn,i sont des poids de reechantillonnage et Mn constitue unplan de reechantillonnage.
Conditionnellement a X,
P∗n =(L) 1n
n∑i=1
Mn,iδXi et Z∗n =(L) 1√
n
n∑i=1
(Mn,i − 1)δXi .
35/ 101
![Page 36: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/36.jpg)
Le Bootstrap a poids generalLe principe
Idee : remplacer Mn par Wn = (Wn,1, . . . ,Wn,n) vecteur de poids(independants de X) tels que
∑Wn,i = n ou E[Wn,i] = 1.
I Pwn = 1
n∑n
i=1 Wn,iδXi
I Zwn = cw
n
(Pw
n −WnPn)
=cw
nn
∑ni=1(Wn,i −Wn)δXi .
Racine de la forme Rn(X,P) = Pn( f ) ou Rn(X,P) = Zn( f ).
Estimation bootstrap a poids de la loi de Rn(X,P)La loi de Rn(X,P) est estimee par la loi conditionnelle deRw
n = Pwn ( f ) ou Zw
n ( f ) sachant X.
36/ 101
![Page 37: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/37.jpg)
Le Bootstrap a poids generalExemples
Delete-d jackknife, mn out of n bootstrap sans remise
Poids aleatoires generes par permutation de poids deterministes.
I w = (w1, . . . ,wn) tels que∑n
i=1 wi = n.
I πn une permutation aleatoire uniformement distribuee sur Πn,independante de X.
I Wn,i = wπn(i).
Cas particulier 1 : w = (n/(n − d), . . . ,n/(n − d), 0, . . . , 0), avec unbloc de 0 de taille d, ou d est suppose fixe → delete-d jackknife.Cas particulier 2 : w = (n/mn, . . . ,n/mn, 0, . . . , 0), avec un bloc de0 de taille n −mn, ou mn →∞, n→∞ → mn out of n bootstrapsans remise.
37/ 101
![Page 38: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/38.jpg)
Cas particulier du mn out of n bootstrap sans remise.
Soit πn une permutation aleatoire uniformement distribuee sur Πn,et Xw = (Xw
1 , . . . ,Xwmn
), avec Xwi = Xπn(i) pour tout i = 1 . . . n.
Conditionnellement a X, Pwn =(L) 1
mn
∑mni=1 δXw
i, et
Zwn :=
√nmn
n−mn(Pw
n − Pn) =(L)√
nmnn−mn
(1
mn
∑mni=1 δXw
i− Pn
).
Approximation de Monte Carlo et sous-echantillonnage(sans remise)
Conditionnellement a X = (x1, . . . , xn), une realisation deXw = (Xw
1 , . . . ,Xwmn
) peut etre simulee en tirant au hasard SANSremise mn valeurs dans x1, . . . , xn.
La loi conditionnelle de Rwn = Pw
n ( f ) ou Zwn ( f ) sachant X peut donc
etre approchee par une methode de Monte Carlo.
On parle alors de sous-echantillonnage (sans remise).
38/ 101
![Page 39: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/39.jpg)
mn out of n bootstrap avec remise
I Mmn = (Mmn,1, . . . ,Mmn,n) de loi M(mn, 1/n, . . . , 1/n),independant de X,
I Wn = (Wn,1, . . . ,Wn,n) avec Wn,i = (n/mn)Mmn,i.
Soit Xw = (Xw1 , . . . ,X
wmn
) un mn-echantillon de la loi Pn i.e.
P(Xwj = Xi|X) = 1
n ∀i, j.
Conditionnellement a X, Pwn =(L) 1
mn
∑mni=1 δXw
iet
Zwn :=
√mn(Pw
n − Pn) =(L) √mn(
1mn
∑mni=1 δXw
i− Pn
).
Approximation de Monte Carlo et sous-echantillonnageavec remise
Conditionnellement a X = (x1, . . . , xn), une realisation deXw = (Xw
1 , . . . ,Xwmn
) peut etre simulee en tirant au hasard AVECremise mn valeurs dans x1, . . . , xn.
La loi conditionnelle de Rwn = Pw
n ( f ) ou Zwn ( f ) sachant X peut donc
etre approchee par une methode de Monte Carlo.
On parle alors de sous-echantillonnage avec remise.
39/ 101
![Page 40: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/40.jpg)
Bootstrap bayesien
Poids de somme egale a n, generes a partir d’echantillons i.i.d.
I Y = (Y1, . . . ,Yn) n-echantillon d’une loi d’esperance µ,d’ecart-type σ, independant de X,
I Wn = (Wn,1, . . . ,Wn,n) avec Wn,i = Yi/Y.
Pwn =
1n
n∑i=1
Yi
YδXi et Zw
n =
√nµσ
(Pw
n − Pn).
4 Bootstrap plus ”lisse” que les precedents.
Cas particulier : Y = n-echantillon de la loi exponentielle E(1)→ Bootstrap bayesien.
40/ 101
![Page 41: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/41.jpg)
Wild bootstrap ou bootstrap ”sauvage”
Wn = (Wn,1, . . . ,Wn,n) n-echantillon d’une loi d’esperance 1,d’ecart-type σ.
Pwn =
1n
n∑i=1
Wn,iδXi et Zwn =
√nσ
(Pw
n −WnPn).
Cas particulier 1 : Wn,1, . . . ,Wn,n i.i.d. de loi P(1)→ poissonisation du bootstrap ”naıf” d’Efron.
Cas particulier 2 : Wn,i = 2Bi, ou B1, . . . ,Bn i.i.d. de loi B(1/2)→ Zw
n = 1σ√
n
∑ni=1(2Bi − 1)
(δXi − Pn
), ou 2Bi − 1 est une variable
de Rademacher.
41/ 101
![Page 42: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/42.jpg)
Le Bootstrap a poids generalElements de bibliographie
Ouvrages
I Barbe, P., and Bertail, P. (1995). The weighted bootstrap.
I Politis, D. N., Romano, J. P., and Wolf, M. (1999).Subsampling.
I Van der Vaart, A., and Wellner, J. A. (1996). Weakconvergence and empirical processes. Pages 353–359.
Articles
I Bickel P., Gotze F., and van Zwet, W. (1997). Resamplingfewer than n observations : gains, losses and remedies forlosses. Statistica Sinica.
I Bretagnolle, J. (1989). Lois limites du bootstrap de certainesfonctionnelles. Ann. I.H.P.
I Lo, A. Y. (1987). A large sample study of the Bayesianbootstrap. ann. Statist.
42/ 101
![Page 43: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/43.jpg)
I Mammen, E. (1992) Bootstrap, wild bootstrap, andasymptotic normality. Prob. Th. Relat. Fields.
I Politis, D. N., Romano, J. P., Wolf, M. (2001). On theasymptotic theory of subsampling. Statistica Sinica.
I Praestgaard J., and Wellner, J. A. (1996). Exchangeablyweighted bootstraps of the general empirical process. Ann.Prob.
I Rubin, D. (1981). The Bayesian bootstrap. Ann. Statist.
I Shao, J., and Wu, C. F. (1989). A general theory for jackknifevariance estimation. Ann. Statist.
I Wu, C. F. (1990). On the asymptotic properties of thejackknife histogram. Ann. Statist.
43/ 101
![Page 44: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/44.jpg)
Autres approches bootstrapLe bootstrap parametrique
On considere ici un modele parametrique.
P = Pτ, τ ∈ Rd↔ Pτ, ou τ est un ”bon” estimateur de
τ construit sur X
X = (X1, . . . ,Xn) n-echantillon de la loi P
↔ X = (X1, . . . , Xn) n-echantillon de laloi Pτ
Rn(X,P) ↔ Rn = Rn(X,Pτ)
Estimation bootstrap parametrique de la loi de Rn(X,P)
La loi de Rn(X,P) est estimee par la loi conditionnelle de Rnsachant X, que l’on peut simuler par une methode de Monte Carlo.
44/ 101
![Page 45: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/45.jpg)
Autres approches bootstrapSmooth boostrap ou bootstrap ”lisse”
On considere ici un modele non parametrique, ou P est une loicontinue sur Rd muni de la mesure de Lebesgue.
P ↔ P, ou P est un ”bon” estimateur anoyau de la loi P
X = (X1, . . . ,Xn) n-echantillon de la loi P
↔ X = (X1, . . . , Xn) n-echantillon de laloi P
Rn(X,P) ↔ Rn = Rn(X, P)
Estimation de la loi de Rn(X,P) par bootstrap ”lisse”
La loi de Rn(X,P) est estimee par la loi conditionnelle de Rnsachant X.
45/ 101
![Page 46: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/46.jpg)
Plan
1 Introduction
2 Principe du plug-in
3 Bootstrap et methodes de reechantillonnage
4 Proprietes d’un estimateurEstimation bootstrap du biaisEstimation bootstrap de la varianceEstimation bootstrap de la MSE
5 Intervalles de confiance
6 Tests d’hypotheses
46/ 101
![Page 47: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/47.jpg)
Cadre non parametrique
X = (X1, . . . ,Xn) est un n-echantillon d’une loi P inconnue.
θ(P) un parametre d’interet de la loi P, et θ = T(X) un estimateurde θ(P), par exemple θ = θ(Pn) estimateur plug-in (mais pasnecessairement).
On souhaite estimer sur la base d’une observation de X :
I Le biais de θ = EP[T(X) − θ(P)],I La variance de θ = VP[T(X)],I L’erreur quadratique moyenne (MSE) de θ =EP[(T(X) − θ(P))2].
47/ 101
![Page 48: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/48.jpg)
Estimation bootstrap du biaisEn theorie...
Soit θ = T(X) un estimateur de θ = θ(P)
Monde reel : le biais de T(X) est donne par E[Rn(X,P)] avecRn(X,P) = T(X) − θ(P).
Monde bootstrap : R∗n = Rn(X∗,Pn) = T(X∗) − θ(Pn), ou X∗ est unechantillon bootstrap (”naıf”) associe a X.
Estimateur bootstrap du biais
L’estimateur bootstrap du biais de θ = T(X) est defini parE[R∗n|X] = E[T(X∗) − θ(Pn)|X].
Approximation de Monte Carlo
Conditionnellement a X = x, la loi de R∗n peut etre simulee, etE[R∗n|X = x] estimee par une methode de Monte Carlo.
48/ 101
![Page 49: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/49.jpg)
Estimation bootstrap du biaisEn pratique... Monte Carlo
Algorithme Estimation bootstrap du biais
Variable
B:entier assez grandDebut
Pour b variant de 1 a BGenerer x∗b realisation d’un echantillon bootstrap
Calculer T(x∗b) replication bootstrap de T(x)FinPour
Retourner 1B∑B
b=1 T(x∗b) − θ(Pn)Fin
49/ 101
![Page 50: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/50.jpg)
Estimation bootstrap du biaisCas particulier ou θ = θ(Pn) (estimateur plug-in)
Algorithme Estimation bootstrap acceleree du biais
Variable
B:entier assez grandDebut
Pour b variant de 1 a BGenerer x∗b = (x∗b1 , . . . , x
∗bn )
Calculer T(x∗b)
Calculer p∗bi = #
j, x∗bj = xi
/n pour tout i
FinPour
Calculer p∗i = 1B∑B
b=1 p∗bi pour tout iRetourner 1
B∑B
b=1 T(x∗b) − θ(P∗) ou P∗ =∑n
i=1 p∗iδxi
Fin
50/ 101
![Page 51: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/51.jpg)
Estimation bootstrap du biaisIllustration 1 : biais de l’estimateur plug-in de la variance
Le coin du UseR
biaisbst=function(B,X)
Tbst=numeric(B);n=length(X);
for (b in 1:B)
s=sample(1:n,n,replace=T);
Tbst[b]=(n-1)*var(X[s])/n ;
return(mean(Tbst)-(n-1)*var(X)/n) ;
biaisbst(999,X) # Estimation bootstrap du biais
Utilisation du package boot :
library(boot)
# Creation d'une fonction calculant l'estimateur# sur l'echantillon bootstrap
myvar=function(data,indice)
n=length(data);
return((n-1)*var(data[indice])/n) ;
varboot=boot(X,myvar,R=999);
mean(varboot$t)-varboot$t0; print(varboot)
51/ 101
![Page 52: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/52.jpg)
X = n-echantillon d’une loi N(0, 1).
0 500 1000 1500 2000
−0
.05
−0
.04
−0
.03
−0
.02
−0
.01
0.0
00
.01
0.0
2
Nombre de réplications bootstrap
Biais réel
Estimation bootstrap
Figure: Estimation bootstrap du biais, n=100
52/ 101
![Page 53: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/53.jpg)
Le coin du UseR
biaisbstA=function(B,X)
Tbst=numeric(B);n=length(X);
p=matrix(0,nr=B,nc=n);
for (b in 1:B)
s=sample(1:n,n,replace=T);
Tbst[b]=(n-1)*var(X[s])/n;
for (i in 1:n)p[b,i]=mean((X[s]==X[i]));
pstar=apply(p,2,mean);
return(mean(Tbst)
- weighted.mean((X-weighted.mean(X,pstar))^2,pstar))
;
biaisbstA(100,X) # Estimation bootstrap acceleree du biais
53/ 101
![Page 54: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/54.jpg)
X = n-echantillon d’une loi N(0, 1).
0 500 1000 1500 2000
−0
.05
−0
.04
−0
.03
−0
.02
−0
.01
0.0
00
.01
0.0
2
Nombre de réplications bootstrap
Biais réel
Estimation bootstrap
Estimation bootstrap accélérée
Figure: Estimation bootstrap acceleree du biais, n=100
54/ 101
![Page 55: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/55.jpg)
X = n-echantillon d’une loi N(0, 1).
0 500 1000 1500 2000
−0
.20
−0
.15
−0
.10
−0
.05
0.0
0
Nombre de réplications bootstrap
Biais réel
Estimation bootstrap
Estimation bootstrap accélérée
Figure: Estimation bootstrap acceleree du biais, n=20
55/ 101
![Page 56: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/56.jpg)
Estimation bootstrap du biaisIllustration 2 : biais de l’estimateur plug-in du rapport des esperances
X = ((Y1,Z1), . . . , (Yn,Zn)) n-echantillon d’une loi bivariee P,
θ(P) = E[Yi]/E[Zi], θ = θ(Pn) = Y/Z.Le coin du UseR
biaisbst=function(B,X)
Tbst=numeric(B);n=nrow(X);
for (b in 1:B)
s=sample(1:n,n,replace=T);
Tbst[b]=mean(X[s,1])/mean(X[s,2]) ;
return(mean(Tbst)-mean(X[,1])/mean(X[,2])) ;
biaisbst(999,X) # Estimation bootstrap du biais
biaisbstA=function(B,X)
Tbst=numeric(B);n=nrow(X);p=matrix(0,nr=B,nc=n);
for (b in 1:B)
s=sample(1:n,n,replace=T);
Tbst[b]=mean(X[s,1])/mean(X[s,2]);
for (i in 1:n)p[b,i]=mean(s==i) ;
pstar=apply(p,2,mean); return(mean(Tbst)-
weighted.mean(X[,1],pstar)/weighted.mean(X[,2],pstar)) ;
biaisbstA(100,X) # Estimation bootstrap acceleree56/ 101
![Page 57: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/57.jpg)
X = n-echantillon de la loi E(1)⊗E(2) .
0 500 1000 1500 2000
−0
.10
−0
.05
0.0
00
.05
0.1
0
Nombre de réplications bootstrap
Biais réel
Estimation bootstrap
Estimation bootstrap accélérée
Figure: Estimation bootstrap acceleree du biais, n=100
57/ 101
![Page 58: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/58.jpg)
Estimation bootstrap du biaisChoix du nombre de replications bootstrap
Si B suffisamment grand, le TCL donne :
P
∣∣∣∣∣∣∣ 1B
B∑b=1
T(X∗b) − E [T(X∗)|X]
∣∣∣∣∣∣∣ ≤ 2
√V(T(X∗)|X)
B
≈ 0.95.
L’inegalite de Markov donne :
P
∣∣∣∣∣∣∣ 1B
B∑b=1
T(X∗b) − E [T(X∗)|X]
∣∣∣∣∣∣∣ ≤√V(T(X∗)|X)
0.05B
≥ 0.95.
8 Probleme : V(T(X∗)|X) inconnue.4 Preconisation : etudier graphiquement la stabilisation del’approximation de Monte-Carlo...
58/ 101
![Page 59: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/59.jpg)
Estimation bootstrap du biaisCorrection du biais d’un estimateur ?
Corriger le biais de l’estimateur θ = T(X) par une methode debootstrap revient a considerer :
θcorr = θ − E[T(X∗) − θ(Pn)|X].
Si θ = θ(Pn) (estimateur plug-in),
θcorr = 2θ − E[T(X∗)|X].
8 Attention : l’estimateur corrige n’est pas E[T(X∗)|X] lui-meme(erreur frequente).8 De toutes facons, corriger le biais en pratique est dangereux, carθcorr peut avoir une plus grande variance que θ !4 Mais avoir une idee du biais permet de mieux arbitrer lecompromis biais-variance...
59/ 101
![Page 60: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/60.jpg)
Estimation bootstrap de la varianceEn theorie...
Monde reel : la variance de θ = T(X) est donnee par VP[Rn(X,P)]avec Rn(X,P) = T(X).Monde bootstrap : R∗n = Rn(X∗,Pn) = T(X∗), ou X∗ est unechantillon bootstrap (”naıf”) associe a X.
Estimateur bootstrap de la variance
L’estimateur bootstrap de la variance de θ = T(X) est defini parV[R∗n|X] = V[T(X∗)|X].
Approximation de Monte Carlo
Conditionnellement a X = x, la loi de R∗n peut etre simulee, etV[R∗n|X = x] estimee par une methode de Monte Carlo.
60/ 101
![Page 61: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/61.jpg)
Estimation bootstrap de la varianceEn pratique... Monte Carlo
Algorithme Estimation bootstrap de la variance
Variable
B:entier assez grandDebut
Pour b variant de 1 a BGenerer x∗b realisation d’un echantillon bootstrap
Calculer T(x∗b) replication bootstrap de T(x)FinPour
Retourner 1B−1
∑Bb=1
(T(x∗b) − 1
B∑B
b=1 T(x∗b))2
Fin
61/ 101
![Page 62: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/62.jpg)
Estimation bootstrap de la MSEEn theorie...
Monde reel : l’erreur quadratique moyenne de θ = T(X) est egale aEP[R2
n(X,P)] avec Rn(X,P) = T(X) − θ(P).Monde bootstrap : R∗n = Rn(X∗,Pn) = T(X∗) − θ(Pn), ou X∗ est unechantillon bootstrap (”naıf”) associe a X.
Estimateur bootstrap de la MSE
L’estimateur bootstrap de l’erreur quadratique moyenne deθ = T(X) est defini par E[(R∗n)2
|X] = E[(T(X∗) − θ(Pn))2
∣∣∣X].
Approximation de Monte Carlo
Conditionnellement a X = (x1, . . . , xn), la loi de R∗n peut etresimulee, et E[(R∗n)2
|X] estimee par une methode de Monte Carlo.
62/ 101
![Page 63: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/63.jpg)
Estimation bootstrap de la MSEEn pratique... Monte Carlo
Algorithme Estimation bootstrap de la MSE
Variable
B:entier assez grandDebut
Pour b variant de 1 a BGenerer x∗b realisation d’un echantillon bootstrap
Calculer T(x∗b) replication bootstrap de T(x)FinPour
Retourner 1B∑B
b=1
(T(x∗b) − θ(Pn)
)2
Fin
63/ 101
![Page 64: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/64.jpg)
Pour resumer
x∗1 −→ T(x∗1)
x −→... −→
...
x∗B −→ T(x∗B)
1B∑B
b=1 T(x∗b) − θ(Pn)1
B−1∑B
b=1
(T(x∗b) − 1
B∑B
b=1 T(x∗b))2
1B∑B
b=1
(T(x∗b) − θ(Pn)
)2
64/ 101
![Page 65: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/65.jpg)
Plan
1 Introduction
2 Principe du plug-in
3 Bootstrap et methodes de reechantillonnage
4 Proprietes d’un estimateur
5 Intervalles de confianceIntervalle de confiance par tables bootstrap ou bootstrap-tIntervalle de confiance par percentile bootstrapIntervalle de confiance BC-percentile bootstrapIntervalle de confiance BCa-percentile bootstrap
6 Tests d’hypotheses65/ 101
![Page 66: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/66.jpg)
Intervalle de confiance et pivot
Soit X = (X1, . . .Xn) un n-echantillon de P.Soit θ = θ(P) ∈ Θ un parametre reel.Soit α ∈]0, 1[.
Un intervalle de confiance pour θ de niveau 1 − α, IC1−α(θ),est un sous-ensemble aleatoire,
In(X) = [Tinf(X),Tsup(X)],
de Θ tel que1 − α = P (θ ∈ In(X)) .
66/ 101
![Page 67: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/67.jpg)
Construction d’un IC1−α(θ) par la methode du pivot
I Trouver un pivot Rn(X, θ),I Determiner des quantiles qα/2 et q1−α/2 tels que
P(Rn(X, θ) ∈ [qα/2, q1−α/2]
)= 1 − α,
I Inverser l’equation :
Rn(X, θ) ∈ [qα/2, q1−α/2] ⇔ θ ∈[Tinf(X),Tsup(X)
]
67/ 101
![Page 68: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/68.jpg)
Construction d’un IC1−α(θ) par pivotement de la f.d.r
Pour tout α ∈]0, 1[, il existe une statistique θα telle que :
α = P(θ < θα
).
Alors[θα/2(X), θ1−α/2(X)
]est un IC1−α(θ).
Les statistiques θα peuvent etre obtenues en pivotant la f.d.r. d’une
statistique T.
68/ 101
![Page 69: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/69.jpg)
Intervalle de confiance par tables bootstrap oubootstrap-t
Soit Rn(X, θ) un pivot (asymptotique)
Monde reel : qα/2 et q1−α/2 les quantiles d’ordre α/2 et 1 − α/2 dela loi de Rn(X, θ),
IC1−α(θ) =t ∈ Θ : Rn(X, t) ∈ [qα/2, q1−α/2]
Monde bootstrap : q∗α/2 et q∗1−α/2 les quantiles d’ordre α/2 et1 − α/2 de la loi conditionnelle de R∗n = Rn(X∗, θ(Pn)) sachant X
IC∗1−α(θ) =t ∈ Θ : Rn(X, t) ∈ [q∗α/2, q
∗
1−α/2]
8 Existence d’un pivot, en pratique estimateurs supposesasymptotiquement normaux
8 Non invariante par transformation
69/ 101
![Page 70: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/70.jpg)
Algorithme IC bootstrap-t
Evaluer q∗α/2 et q∗1−α/2 Variable
B:999, 9999...Debut
Pour b variant de 1 a BGenerer x∗b realisation d’un echantillon bootstrap
Calculer r∗bn = Rn(x∗b, θ(Pn)) replication bootstrap de Rn
FinPourRetourner les stat. d’ordre dBα/2e et dB(1 − α/2)e de (r∗bn )b
Fin
70/ 101
![Page 71: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/71.jpg)
Exemple : θ est un parametre de position pour θ
I R = θ − θ pivot
I θ − θ ∼ N(0, σ2n) approximation normale
I R =(θ − θ
)/σn pivot
I R = β(θ) − β(θ) stabilisation de la variance
71/ 101
![Page 72: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/72.jpg)
Illustration : estimation par intervalle de confiance de la variancecorrespondant aux mesures de la longueur en pouces del’avant-bras de 140 hommes adultes.
Estimateur :
σ2 =1n
n∑i=1
(Xi − X
)2
Racine :
Rn =(σ2− σ2
)/V(σ2).
Resultat :
[1.01 1.47]Figure: Histogramme des replications bootstrap de σ2
72/ 101
![Page 73: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/73.jpg)
Intervalle de confiance par percentile bootstrap
Soit θ = θ(Pn) = T(X) un estimateur plug-in de θ.Soit β : Θ→ R bijective croissante telle que :
P(β(θ) − β(θ) ≤ x
)= ψ(x),
ou ψ la f.d.r d’une loi continue symetrique.
Monde reel : qα le quantile d’ordre α de ψ,
IC1−α(θ) =[β−1
(β(θ) + qα/2
), β−1
(β(θ) + q1−α/2
)]Monde bootstrap t∗α le quantile d’ordre α de la loi de T(X∗)|X.
IC∗1−α(θ) =[t∗α/2, t
∗
1−α/2
]4 Facile a implementer, invariante par transformation
8 Niveau de confiance approximatif73/ 101
![Page 74: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/74.jpg)
Algorithme IC percentile bootstrap
Evaluer t∗α/2 et t∗1−α/2 Variable
B:999, 9999...Debut
Pour b variant de 1 a BGenerer x∗b realisation d’un echantillon bootstrap
Calculer t∗b = T(x∗b) replication bootstrap de θFinPourRetourner les stat. d’ordre dBα/2e et dB(1 − α/2)e de (t∗b)b
Fin
74/ 101
![Page 75: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/75.jpg)
Intervalle de confiance BC-percentile bootstrap
Extension de la methode percentile bootstrap au cas d’unestimateur biaise :
P(β(θ) − β(θ) + b0 ≤ x
)= ψ(x),
ou b0 est le biais de θ.
Monde reel : qα le quantile d’ordre α de ψ,
IC1−α(θ) =[β−1
(β(θ) + b0 + qα/2
), β−1
(β(θ) + b0 + q1−α/2
)]Monde bootstrap : t∗α le quantile d’ordre α de la loi de T(X∗)|X,α1 = ψ(2b∗0 + qα/2), α2 = ψ(2b∗0 + q1−α/2),b∗0 = ψ−1
(P
(T(X∗) < θ|X
)).
IC∗1−α(θ) =[t∗α1, t∗α2
]Remarque : on choisit pour ψ la f.d.r de N(0, 1)
75/ 101
![Page 76: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/76.jpg)
Algorithme IC BC-percentile bootstrap
Evaluer t∗α1et t∗α2
Variable
B:999, 9999...Debut
Pour b variant de 1 a BGenerer x∗b realisation d’un echantillon bootstrap
Calculer t∗b = T(x∗b) replication bootstrap de θFinPour
b∗0 = ψ−1(
1B∑
b 1t∗b≤θ
)α∗1 = ψ
(2b∗0 + qα/2
), α∗2 = ψ
(2b∗0 + q1−α/2
)Retourner les stat. d’ordre dBα∗1e et dBα∗2e de (t∗b)b
Fin
76/ 101
![Page 77: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/77.jpg)
Intervalle de confiance BCa-percentile bootstrap
Extension de la methode BC-percentile au cas d’un estimateuravec une curtose.
P
β(θ) − β(θ)1 + aβ(θ)
+ b0 ≤ x
= ψ(x),
ou a est une constante d’acceleration
Monde reel : qα/2 le quantile d’ordre α/2 de ψ,
IC1−α(θ)=
β−1
β(θ) +(1 + aβ(θ))(b0 + qα/2)
1 − a(b0 + qα/2)
, β−1
β(θ) +(1 + aβ(θ))(b0 + q1−α/2)
1 − a(b0 + q1−α/2)
Monde bootstrap : t∗α/2 le quantile d’ordre α/2 de la loi de
T(X∗)|X, α1 = ψ(b∗0 +
b∗0+qα/21−a(b∗0+qα/2)
), α2 = ψ
(b∗0 +
b∗0+q1−α/2
1−a(b∗0+q1−α/2)
).
IC∗1−α(θ) =[t∗α1, t∗α2
]8 Estimateur bootstrap de a : depend du modele
77/ 101
![Page 78: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/78.jpg)
Plan
1 Introduction
2 Principe du plug-in
3 Bootstrap et methodes de reechantillonnage
4 Proprietes d’un estimateur
5 Intervalles de confiance
6 Tests d’hypothesesTests de permutationTests bootstrap
78/ 101
![Page 79: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/79.jpg)
Tests de permutationPrincipe general
Fisher (1935) / Hoeffding (1952), Romano et Wolf (2005)
Soit X une v.a. modelisant les donnees observees, a valeurs dans X.
(H0) La loi de X appartient a une famille de lois P
Statistique de test : T(X) a valeurs reelles, dont la loi sous (H0) estinconnue ou n’est pas libre, pour laquelle de grandes valeursconduisent au rejet de (H0).
Soit G un groupe fini de transformations : X → X de cardinal M.
Hypothese d’invariance
Sous (H0), la loi de X est invariante par les transformations g ∈ G,i.e. pour tout g ∈ G, gX =(L) X.
79/ 101
![Page 80: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/80.jpg)
Sachant X = x, soit T(1)(x) ≤ . . . ≤ T(M)(x) les valeurs ordonneesde T(gx), g ∈ G.
a(x) =Mα−M+(x)
M0(x) ,
M+(x) = #j, T( j)(x) > T(dM−Mαe)(x)
,
M0(x) = #j, T( j)(x) = T(dM−Mαe)(x)
.
Test randomise
Soit α ∈]0, 1[. Le test randomise defini par :
Φα(X) =
1 si T(X) > T(dM−Mαe)(X)
a(X) si T(X) = T(dM−Mαe)(X)0 si T(X) < T(dM−Mαe)(X)
est de niveau α, et la p-valeur de Φα en x est donnee par :
p(x) =1M
#g ∈ G, T(gx) ≥ T(x)
.
80/ 101
![Page 81: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/81.jpg)
Tests non-randomises approches
Soit x une observation de X.
I Soit g1, . . . , gB i.i.d. de loi uniforme sur G et t∗b = T(gbx).Soit (t∗(1), . . . , t∗(B)) la statistique d’ordre associee a(t∗1, . . . , t∗B).T(dM−Mαe)(x) est approchee par t∗(dB−Bαe) (Monte Carlo).
I Premier test : on rejette (H0) si T(x) > t∗(dB−Bαe) (niveau
controle par bBαc+1B+1 ).
I Deuxieme test : on rejette (H0) si la p-valeur approchee
p∗B(x) =#b,t∗b≥T(x)+1
B+1 est inferieure ou egale a α (niveaucontrole par α).
81/ 101
![Page 82: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/82.jpg)
Tests de permutationProbleme a deux echantillons ou comparaison de lois
X(1) = (X(1)1 , . . . ,X
(1)n1
) un n1-echantillon d’une loi P1 inconnue,
X(2) = (X(2)1 , . . . ,X
(2)n2
) un n2-echantillon d’une loi P2 inconnue,supposes independants.
(H0) P1 = P2 versus (H1) P1 , P2
Echantillon agrege : n = n1 + n2,X = (X1, . . . ,Xn) := (X(1)
1 , . . . ,X(1)n1,X(2)
1 , . . . ,X(2)n2
).
Statistique de test : T(X) a valeurs reelles, dont la loi sous (H0) estinconnue ou n’est pas libre de P1 = P2, pour laquelle de grandesvaleurs conduisent au rejet de (H0) (par exemple, la statistique deKolmogorov-Smirnov generalisee).
Groupe d’invariance :G = g : x = (x1, . . . , xn) 7→ (xπ(1), . . . , xπ(n)), π ∈ Πn,Πn =l’ensemble des permutations de 1, . . . ,n. M = n!
82/ 101
![Page 83: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/83.jpg)
Algorithme Test de permutation d’egalite des lois
Variable
B:999, 9999... tel que (B + 1)α entierDebut
Pour b variant de 1 a BGenerer πb ∼ U(Πn)Calculer gbx = (xπb(1), . . . , xπb(n))Calculer t∗b = T(gbx)
FinPour
Retourner p∗B(x) =#b,t∗b≥T(x)+1
B+1Fin
83/ 101
![Page 84: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/84.jpg)
Exemple
Xi a valeurs reelles, T(X) =∣∣∣∣ 1n1
∑n1i=1 Xi −
1n2
∑n2i=n1+1 Xi
∣∣∣∣.Le coin du UseR
myT=function(data,i,n1,n2)
xstar=data[i];
return(abs(mean(xstar[1:n1])-mean(xstar[(n1+1):(n1+n2)])))
;
pval=function(X1,X2,B)
n1=length(X1);n2=length(X2);
X=c(X1,X2);
Tbst=boot(X,myT,R=B,sim="permutation",n1=n1,n2=n2);
return(c(Tbst$t0,(1+sum(Tbst$t>=Tbst$t0))/(B+1)))
;
Illustration
P1 = N(1, 4), n1 = 30, P2 = N(0, 1), n2 = 35, T(x) = 0.988,p∗9999(x) = 0.03397.
84/ 101
![Page 85: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/85.jpg)
Tests de permutationTest d’independance
(Y,Z) couple de variables aleatoires de loi PX = ((Y1,Z1), . . . , (Yn,Zn)) n−echantillon de la loi P.
(H0) ”Y et Z sont independantes” versus(H1) ”Y et Z ne sont independantes”
Statistique de test : T(X) a valeurs reelles, dont la loi sous (H0) estinconnue, pour laquelle de grandes valeurs conduisent au rejet de(H0).
Groupe d’invariance : G = g : x = ((y1, z1), . . . , (yn, zn)) 7→((y1, zπ(1)), . . . , (yn, zπ(n))), π ∈ Πn. M = n!
85/ 101
![Page 86: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/86.jpg)
Algorithme Test de permutation d’independance
Variable
B:999, 9999... tel que (B + 1)α entierDebut
Pour b variant de 1 a BGenerer πb ∼ U(Πn)Calculer gbx = ((y1, zπb(1)), . . . , (yn, zπb(n)))Calculer t∗b = T(gbx)
FinPour
Retourner p∗B(x) =#b,t∗b≥T(x)+1
B+1Fin
86/ 101
![Page 87: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/87.jpg)
Exemple
T(X) = coefficient de correlation de Pearson.
Le coin du UseR
myT=function(data,i,n)
xstar=data[i];
return(cor(xstar[1:n],xstar[(n+1):(2*n)])) ;
pval=function(XX,B)
n=nrow(XX);X=c(XX[,1],XX[,2]);
Tbst=boot(X,myT,R=B,sim="permutation",n=n,strata=rep(c(1,2),c(n,n)));
return(list(Tbst$t0,(1+sum(Tbst$t>=Tbst$t0))/(B+1))) ;
Illustration
Donnees : esperance de vie, QI moyen, consommation d’alcoolmoyenne par habitant pour tous les pays.
I Esperance de vie et QI moyen :T(x) = 0.8488, p∗9999(x) = 1.10−4.
I Esperance de vie et consommation moyenne d’alcool :T(x) = 0.3058, p∗9999(x) = 6.10−4.
87/ 101
![Page 88: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/88.jpg)
Tests bootstrapProbleme a deux echantillons
X(1) = (X(1)1 , . . . ,X
(1)n1
) un n1-echantillon d’une loi P1 inconnue,
X(2) = (X(2)1 , . . . ,X
(2)n2
) un n2-echantillon d’une loi P2 inconnue,supposes independants.
(H0) P1 = P2 versus (H1) P1 , P2.
Echantillon agrege : n = n1 + n2,X = (X1, . . . ,Xn) := (X(1)
1 , . . . ,X(1)n1,X(2)
1 , . . . ,X(2)n2
).
Statistique de test : T(X) a valeurs reelles, dont la loi sous (H0) estinconnue ou n’est pas libre de P1 = P2, pour laquelle de grandesvaleurs conduisent au rejet de (H0).
Soit X∗ un echantillon bootstrap associe a X.
88/ 101
![Page 89: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/89.jpg)
Test bootstrap
Soit α ∈]0, 1[. Le test bootstrap associe a T(X) est donne parΦα ∗ (X) = 1 si T(X) > q∗1−α(X), 0 sinon, ou q∗1−α(X) est le (1 − α)quantile de la loi de T(X∗) sachant X.
Tests bootstrap approches
I Soit X∗1, . . . ,X∗B B echantillons bootstrap.
I Soit T∗b = T(X∗b).I Soit (T∗(1), . . . ,T∗(B)) statist. d’ordre associee a (T∗1, . . . ,T∗B).
Le quantile conditionnel q∗1−α(X) est approche par T∗(dB−Bαe)
(Monte Carlo).
I Premier test : on rejette (H0) si T(X) > T∗(dB−Bαe).
I Deuxieme test : etant donnee une observation x de X, on
rejette (H0) si la p-valeur approchee p∗B(x) =#b, t∗b≥T(x)+1
B+1 estinferieure ou egale a α.
89/ 101
![Page 90: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/90.jpg)
Algorithme Test bootstrap d’egalite des lois
Variable
B:999, 9999... tel que (B + 1)α entierDebut
Pour b variant de 1 a BGenerer x∗b realisation d’un echantillon bootstrap
Calculer t∗b = T(x∗b) replique bootstrap de T(x)FinPour
Retourner p∗B(x) =#b, t∗b≥T(x)+1
B+1Fin
90/ 101
![Page 91: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/91.jpg)
Exemple
Xi sont a valeurs reelles, T(X) =∣∣∣∣ 1n1
∑n1i=1 Xi −
1n2
∑n2i=n1+1 Xi
∣∣∣∣.Le coin du UseR
myT=function(data,i,n1,n2)
xstar=data[i];
return(abs(mean(xstar[1:n1])-mean(xstar[(n1+1):(n1+n2)]))) ;
pval=function(X1,X2,B)
n1=length(X1);n2=length(X2);X=c(X1,X2);
Tbst=boot(X,myT,R=B,sim="ordinary",n1=n1,n2=n2);
return(list(Tbst$t0,(1+sum(Tbst$t>=Tbst$t0))/(B+1))) ;
Illustration (Meme exemple que pour le test de permutation)
P1 = N(1, 4), n1 = 30, P2 = N(0, 1), n2 = 35, T(x) = 0.988,p∗9999(x) = 0.014985 (versus 0.03397 pour le test de permutation).
91/ 101
![Page 92: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/92.jpg)
Tests bootstrapTest d’independance
(Y,Z) un couple de variables aleatoires de loi PX = ((Y1,Z1), . . . , (Yn,Zn)) un n−echantillon de la loi P.Y = (Y1, . . . ,Yn) et Z = (Z1, . . . ,Zn).
(H0) ”Y et Z sont independantes” versus(H1) ”Y et Z ne sont independantes” .
Statistique de test : T(Y,Z) a valeurs reelles, dont la loi sous (H0)est inconnue, pour laquelle de grandes valeurs conduisent au rejetde (H0).
Y∗ echantillon bootstrap associe a Y,Z∗ echantillon bootstrap associe a Z.
92/ 101
![Page 93: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/93.jpg)
Test bootstrap
Soit α ∈]0, 1[. Le test bootstrap associe a T(Y,Z) est donne parΦα ∗ (Y,Z) = 1 si T(Y,Z) > q∗1−α(Y,Z), 0 sinon, ou q∗1−α(Y,Z) estle (1 − α) quantile de la loi de T(Y∗,Z∗) sachant X.
Algorithme Test bootstrap dindependance
Variable
B:999, 9999... tel que (B + 1)α entierDebut
Pour b variant de 1 a BGenerer y∗b et z∗b echantillons bootstrap associes a y et zCalculer t∗b = T(y∗b, z∗b)
FinPour
Retourner p∗B(y, z) =#b, t∗b≥T(y,z)+1
B+1Fin
93/ 101
![Page 94: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/94.jpg)
ExempleLe coin du UseR
myT=function(data,i,n)
xstar=data[i];
return(cor(xstar[1:n],xstar[(n+1):(2*n)])) ;
pval=function(XX,B)
n=nrow(XX);X=c(XX[,1],XX[,2]);
Tbst=boot(X,myT,R=B,sim="ordinary",n=n,strata=rep(c(1,2),c(n,n)));
return(list(Tbst$t0,(1+sum(Tbst$t>=Tbst$t0))/(B+1))) ;
Illustration
Donnees : esperance de vie, QI moyen, consommation d’alcoolmoyenne par habitant pour tous les pays.
I Esperance de vie et QI moyen :T(x) = 0.8488, p∗9999(x) = 1.10−4.
I Esperance de vie et consommation moyenne d’alcool :T(x) = 0.3058, p∗9999(x) = 4.10−4.
94/ 101
![Page 95: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/95.jpg)
Tests bootstrapTest sur la moyenne
X = (X1, . . . ,Xn) n-echantillon d’une loi P sur R, d’esperanceθ(P) =
∫xdP(x), telle que
∫x2dP(x) < ∞.
(H0) θ(P) = θ0 versus (H1) θ(P) > θ0.
Statistique de test ”studentisee” :
T(X) =
√n(X−θ0
)S(X) , ou S2(X) = 1
n−1∑n
i=1(Xi −X)2.
Test asymptotique
Soit α ∈]0, 1[.Le test defini par Φα(X) = 1T(X)>q1−α, ou q1−α est le (1 − α)quantile de la loi N(0, 1), est de niveau asymptotique α.
95/ 101
![Page 96: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/96.jpg)
Soit Rn(X,P) =√
nX−θ(P)S(X) et R∗n = Rn(X∗,Pn) =
√nX∗−XS(X∗) , ou X∗
est un echantillon bootstrap associe a X.
Test bootstrap
Soit α ∈]0, 1[. Le test bootstrap associe a la statistique T(X) estdonne par Φα ∗ (X) = 1 si T(X) > q∗1−α(X), 0 sinon, ou q∗1−α(X) estle (1 − α) quantile de la loi conditionnelle de R∗n sachant X.
4 Idem au test propose initialement par Efron et Tibshirani (1993)(pp 226–227).4 Equivalence entre ce test et l’intervalle de confiance bootstrap-t.8 Si la loi de la racine Rn(X,P) semble tres eloignee de la loinormale, on changera de statistique de test et de racine,typiquement T(X) = X − θ0, et Rn(X,P) = X − θ(P).
96/ 101
![Page 97: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/97.jpg)
Tests bootstrap approches
I Soit X∗1, . . . ,X∗B B echantillons boostrap.
I Soit R∗bn = Rn(X∗b,Pn).
I Soit (R∗(1)n , . . . ,R∗(B)
n ) la statistique d’ordre associee a(R∗1n , . . . ,R∗Bn ).
Le quantile conditionnel q∗1−α(X) est approche par R∗(dB−Bαe)n
(Monte Carlo).
I Premier test : on rejette (H0) si T(X) > R∗(dB−Bαe)n .
I Deuxieme test : etant donnee une observation x de X, on
rejette (H0) si la p-valeur approchee p∗B(x) =#b, r∗bn ≥T(x)+1
B+1 estinferieure ou egale a α.
97/ 101
![Page 98: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/98.jpg)
Algorithme Test bootstrap sur la moyenne
Variable
B:999, 9999... tel que (B + 1)α entierDebut
Pour b variant de 1 a BGenerer x∗b realisation d’un echantillon bootstrap
Calculer r∗bn = Rn(x∗b,Pn) replique bootstrap de Rn(x,P)FinPour
Retourner p∗B(x) =#b, r∗bn ≥T(x)+1
B+1Fin
98/ 101
![Page 99: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/99.jpg)
Le coin du UseR
myT=function(data,index)
sqrt(length(data))*(mean(data[index])-mean(data))/sd(data[index]) ;
pval=function(X,B,theta0)
Tbst=boot(X,myT,R=B);
Tnull=sqrt(length(X))*(mean(X)-theta0)/sd(X);
return((1+sum(Tbst$t>=Tnull))/(B+1)) ;
→ Generalisations :
I Test bilatere (redefinir le test approche a l’aide la p-valeur),
I Test sur un parametre d’interet θ(P) dont on dispose d’un”bon” estimateur θ = T(X).
99/ 101
![Page 100: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/100.jpg)
Illustration
Test de (H0) θ(P) = 1 versus (H1) θ(P) , 1.Estimation de la puissance du test pour X = 30-echantillon d’uneloi exponentielle de differents parametres.
0 200 400 600 800 1000
0.0
0.5
1.0
1.5
Nombre de réplications bootstrap
Espérance=1/1.75
Espérance=1/1.5
Espérance=1/1.25
Espérance=1
Figure: Puissance du test bootstrap de la moyenne100/ 101
![Page 101: Bootstrap et rééchantillonnage - Atelier SFdS - Partie 1 · Bootstrap et r e echantillonnage Atelier SFdS - Partie 1 Magalie Fromont et Myriam Vimond CREST (Ensai) - IRMAR (Universit](https://reader031.fdocument.pub/reader031/viewer/2022022617/5ba4bf7a09d3f2db298bd96e/html5/thumbnails/101.jpg)
Tests d’hypothesesElements de bibliographie
Ouvrages
I Fisher, R. A. (1935). The Design of Experiments.
I Good, P. (2004). Permutation, Parametric, and BootstrapTests of Hypotheses.
I Van der Vaart, A., and Wellner, J. A. (1996). Weakconvergence and empirical processes. Pages 360–366, pour letest de Kolmogorov-Smirnov generalise.
Articles
I Hoeffding, W. (1952). The large-power of tests based onpermutations of observations.
I Romano, J. P. and Wolf, M. (2005). Exact and ApproximateStepdown Methods for Multiple Hypothesis Testing.
101/ 101