Donnees arbitrairement censurees et tronquees: estimation

non-parametrique de la densite.

C. Huber∗

V. Solev†

Filia Vonta‡

Compiegne, 27 fevrier 2007.

On etablit la consistance de l’estimateur du maximum de vraisemblancede la densite et on calcule sa vitesse de convergence. Cela necessite des hy-potheses sur les trois lois, de la censure, de la troncature (toutes les deuxnuisibles) et de la duree de survie, seul parametre d’interet.

∗Universite Paris 5, Paris FRANCE. e-mail: catherine.huber@univ-paris5.fr.

†Steklov Institute, St Petersbourg, RUSSIA. e-mail: solev@pdmi.ras.ru.

‡University of Cyprus, CYPRUS. e-mail: vonta@ucy.ac.cy

0-0

0-1

Les preuves utilisent en particulier les ouvrages suivants:

1. Stein (1993),Harmonic Analysis,Princeton University Press,

2. Wing Hung Wong and Xiatong Shen (1995),Probability inequalities for likelihood ratios and convergence rates ofsieve mles.The Annals of Statistics, 23, No. 2, pp : 339-362),

3. van der Waart and Wellner (2000),Weak Convergence and Empirical Processes.Springer Series in Statistics, Springer

0-1

0-2

Plan de l’expose

1. Mecanisme de la censure et de la troncature.

2. Calcul de la loi des observations.

(a) Lois conditionnelles, a x puis a (x, z),

(b) Loi du quadruplet observe.

3. Estimateur du Maximum de Vraisemblance.

(a) Proprietes,

(b) Entropie a crochets,

(c) Resultats intermediaires,

(d) Theoreme de consistance et vitesse de convergence.

0-2

0-3

1 Representation des observations censurees et

tronquees

Les observations ont lieu dans l’intervalle (a, b) ⊂ IR. On veut estimer la loide la v.a. X ∈ (a, b), censuree et tronquee.

1.1 Censure: Recouvrement aleatoire simple:

ϑ est un ”Recouvrement Aleatoire Simple” si :

τ = {(Yj,Yj+1], j = 0,±1, . . .},partition aleatoire de (a, b) :

⋃j

(Yj , Yj+1] = (a, b)

k = k(x) = inf {j : x ≤ Yj+1} x ∈ (a, b)

ϑ(x) =(Yk(x),Yk(x)+1

]= (L(x) ; R(x)], x ∈ (a, b).

0-3

0-4

a b

time

Y1 Y2 Yj Yj+1 Yj+2

L(x)

x

R(x)

Le processus ϑ associe a chaque x un intervalle de censure tel que:

ϑ(x) = ϑ(y), ouϑ(x) ∩ ϑ(y) = ∅.

On identifie les processus ϑ et υ:

ϑ(x) =(Yk(x), Yk(x)+1

]

υ(x) = (L(x), R(x)) les extremites gauche et droite de ϑ(x),

ouvert a gauche car a l’instant Yj l’evenement n’a pas encore eu lieu, tandisqu’a l’instant Yj+1, il a deja eu lieu, eventuellement exactement a ’instantYj+1.

0-4

0-5

1.2 Ajout de la troncature.

Soit△ = [z1, z2] l’intervalle de troncature,z = (z1, z2) z1 < z2 le couple associe.

Pour une valeur fixee de la partition τ = t, t = {(yj , yj+1], j = 0,±1, . . .} ,soit

z1 ≡ R(z1)

z2 ≡ L(z2)

a b

temps

yj−2 yj−1yj yj+1 yj+2 yj+3

L(x)

x

R(x)z1

z1 z2

z2

R(z1) L(z2)

z1

z1

z2

z2

R(z1)L(z2)

0-5

0-6

Tout se passe entre R(z1) et L(z2) pourvu que R(z1) < L(z2).Cas particulier de la troncature droite : △ = [a, z]

1.3 Le mecanisme de la troncature et de la censure

• X est une variable aleatoire (la survie),

• ∆ = (Z1, Z2] est un intervalle aleatoire (la troncature),

• ϑ(x) = (L(x), R(x)], x ∈ IR, est un recouvrement aleatoire simple, en-gendre par une partition τ (censure).

Les trois sont supposes independants, mais on n’a pas d’observations completes:

• si (L(X), R(X)] 6⊂ ∆∗ = (R(Z1), L(Z2)] on n’a aucune observation.

• si (L(X), R(X)] ⊂ ∆∗ on n’observe pasX , mais on observe les intervallesemboıtes qui contiennent X :

R(Z1) ≤ L(X) < R(X) ≤ L(Z2).

0-6

0-7

2 Loi des observations (R(Z1), L(X), R(X), L(Z2))

On examine successivement:

• La loi de (L(x), R(x)) conditionnellement a x fixe.

• La loi de (L(x), R(x), L(z), R(z)) conditionnellement a x et z tels quex < z.

• La loi de (R(Z1), L(X), R(X), L(Z2)), non conditionnelle.

2.1 Distribution du recouvrement aleatoire L(x), R(x).

Pour chaque x fixe dans (a, b), soit Px la loi de l’encadrement de x parL(x), R(x), pour a < u < v < b:

dPx(u, v) = dP (L(x) = u,R(x) = v).

0-7

0-8

Lemme 1 Une condition necessaire et suffisante pour que

Px ≪ λ2 ∀x

est que

(i) Pour tout j , dP(Yj , Yj+1)/dλ2 = rj(u, v),

(ii) la serie∑j

rj(u, v) converge p.s. vers une fonction r(u, v),

Alors, dPx/dλ2 := rx(u,v) := r(u,v)1I(u,v](x).

0-8

0-9

2.2 Distribution de (L(x), R(x), L(z), R(z)) pour x < z.

(L(x), R(x), L(z), R(z)) ∼ Px,z

La distribution Px,z n’est pas AC par rapport a λ4 car on peut avoir:

• L(z) = R(x) et on est alors dans IR3.

• (L(x), R(x)) = (L(z), R(z)) et on est alors dans IR2.

Supposons que pour tout n,m > 0, n > m , P(Ym,...,Yn) ≪ λn−m+1

et soit i+ 1 < j,

ri,j(y1, y2, y3, y4) la densite de (Yi, Yi+1, Yj , Yj+1),

rj(y1, y2, y3) ”” (Yj−1, Yj , Yj+1),

rj(y1, y2) ”” (Yj , Yj+1).

0-9

0-10

On suppose la convergence des series

d4(s1, s2, s3, s4) =∑

i, j:i+1<j

ri j(s1, s2, s3, s4) <∞ (λ4-a.s.),

d3(s1, s2, s3) =∑j

rj(s1, s2, s3) <∞ (λ3-a.s.),

d2(s1, s2) =∑j

rj(s1, s2) <∞ (λ2-a.s.).

Si on definit une fonction ν−mesurable d(s|x, z), s = (s1, s2, s3, s4), comme

d(s|x, z) = 1I(s1,s2](x)d∗(s|z),

ou

d∗(s | z) =

d2(s1, s2)1I(s1,s2](z), si s1 = s3 < s2 = s4

d3(s1, s2, s4)1I(s2,s4](z), si s1 < s2 = s3 < s4

d4(s1, s2, s3, s4)1I(s3,s4](z), si s1 < s2 < s3 < s4

0, else

(1)

0-10

0-11

alors, pour x < z

Eψ(L(x), R(x), L(z), R(z)) =

∫∫∫∫ψ(s)d(s |x, z) dµ,

etqx, z(s1, s2, s3, s4) = 1I(s1,s2](x)d∗(s1, s2, s3, s4 | z). (2)

Cas de la troncature droite (sans restriction de la generalite) :

La densite r(u, v, v′) de la loi de W = (L(X), R(X), L(Z)) par rapporta ν est obtenue en :

• Omettant d2, car si (L(x), R(x)) ≡ (L(z), R(z)), il y a troncature.

• Integrant en s4 la densite precedente, puisque R(z) n’intervient pas encas de troncature droite.

0-11

0-12

2.3 Distribution de W = (L(X), R(X), L(Z)).

On a un echantillon de W :W ∼ PW = pWdµ

p(u, v, z) = r(u,v, z) ×v∫

u

fz(x) dx,

fz(x) =f(x)∫

u≤z

f(u) du1I(−∞, z](x).

ou• f est la densite de X , la duree de survie , a estimer, f ∈ F ,

• r est la densite de base, (parametre nuisible) de l’ensemble censure-troncature, r ∈ G

0-12

0-13

3 Estimateur du maximum de vraisemblance

non parametrique de la survie

3.1 Le cadre

W = (L(X), R(X), L(Z)), de densite inconnue p, et W1, . . . ,Wn i.i.d. ∼ W ,de loi empirique

Pn {A} =1

n

n∑

j=1

1IA(Wj).

P = {p : p = r ϕ(f ; ·), (r, f) ∈ G × F} (3)

pn, estimateur MV de p ∈ P verifie

∫ln pn dPn = max

q∈P

∫ln q dPn.

0-13

0-14

rn, estimateur MV de r ∈ G et fn, estimateur MV de f ∈ F verifient∫

ln rn dPn = maxq∈G

∫ln q dPn

∫ln fn dPn = max

q∈F

∫ln q dPn

pn = rn × ϕ(fn; ·)

3.2 L’entropie a crochets de Hellinger

F est une famille de densites par rapport a une mesure µ sur (E,B), f, g uncouple de densites de F .Distance de Hellinger de f et g, f, g ∈ F :

h2(f, g) =1

2

∫

Y

(√f −√

g)2

dµ

Bande ou ”bracket” definie par gL < gR:

V (gL, gR) ={g : gL ≤ g ≤ gR

}

0-14

0-15

Definition 1 (ε−entropie a crochets H(ε,F , h(µ)))

Soit N[ ](ε,F , h(µ)) la plus petite valeur de m telle que

F ⊂m⋃

j=1

V (gLj , g

Rj ), ou h(gL

j , gRj ) ≤ ε, j = 1, . . . ,m.

Alors l’ε− entropie a crochets est definie comme

H(ε,F ,h(µ)) = ln(N[ ]).

�

On peut definir la quantite analogue pour d’autres distances, en particulier ladistance L2:

H(ε,F , L2(µ)) = lnN[ ](ε,F , L2(µ)).

0-15

0-16

Theorem 1 (W.H.Wong and X.Shen) Soit F un ensemble de densitessur un espace mesurable

(Y ,B, µ

)et Y n = (Y1, · · · , Yn) un echantillon de

densite f ∈ F . L’s-entropie a crochets de Hellinger de F est notee H(s,F , h(µ))et ε est un nombre positif qui est suppose verifier pour une constante positivec :

ε∫

ε2

H1/2(s,F , h(µ)) ds ≤ cε2√n. (4)

Alors, il existe trois constantes positives c1, c2, C telles que

P

sup

h(g, f)≥ε,

g∈F

n∏

j=1

g(Yj)

f(Yj)≥ exp{−c1nε2}

≤ C exp{−c2nε2}. (5)

Corollaire 1 Sous les hypotheses du theoreme (1), l’estimateur du maximum

de vraisemblance fn de f verifie:

P{h(fn, f) ≥ ε

}≤ C exp{−c2nε2}. (6)

0-16

0-17

Preuve. Soit A = {Y n : h(fn, f) ≥ ε}. fn est defini comme ”l’estimateurdu maximum de vraisemblance choisi dans F mais en dehors de laboule de Hellinger de centre f et de rayon ε”:

n∏

j=1

fn(Yj)

f(Yj)≥

n∏

j=1

g(Yj)

f(Yj)∀g ∈ F

⋂{h(f, g) ≥ ε}

Sur A, fn ≡ fn. On a donc sur A:

n∏

j=1

fn(Yj)

f(Yj)=

n∏

j=1

fn(Yj)

f(Yj)≥ 1 ≥ exp(−c1nε2).

Il s’ensuit que

A ⊂ B = {Y n :n∏

j=1

fn(Yj)

f(Yj)≥ exp(−c1nε2)}

Donc P (A) ≤ P (B) et le theoreme de Wong acheve de prouver le corollaire

P{h(fn, f) ≥ ε

}≤ C exp{−c2nε2}. � (7)

0-17

0-18

Remarque. Pour prouver la consistance, on doit verifier que le plus petit εqui verifie (4), comme fonction de n, a les deux proprietes:

ε(n) −−−−→n→∞

0

nε2(n) −→ ∞

ce qui est automatiquement verifie des que H(ε,F , h(µ)) → ∞ quand ε→ 0.On peut trouver chez [van der Vaart et Wellner (2000) [VdW00], p. 154-155, 157] des conditions de regularite qui permettent de calculer l’entropie acrochets en fonction de varepsilon.

0-18

0-19

4 Conditions de regularite et calcul de l’entropie

a crochets.

Definition 2 (Condition de regularite CβM0

)

χ est un ensemble borne de IRd, 0 < α ≤ 1, r ∈ N, et β = r + α.Alors C

βM0

est l’ensemble de toutes les fonctions de χ vers IR qui ont desderivees partielles uniformement bornees jusqu’a l’ordre r et dont les deriveespartielles d’ordre le plus eleve sont Lipschitz d’ordre α. Plus precisement, pourtout k = (k1, · · · , kd)

‖g‖β = maxP

ki≤rsupx|Dkg(x)| +maxP

ki=rsupx,y|Dkg(x) −Dkg(y)|

‖x− y‖α≤M0

(8)ou le maximum est pris sur tous les x, y a l’interieur de χ tels que x 6= y.

0-19

0-20

Theorem 2 ( calcul de l’entropie a crochets) Soit χ un sous-ensembleconvexe borne de IRd d’interieur non vide. Il existe une constante K0 quidepend de β, diam(χ), p, M0 et d tel que

log(N[ ](ε,CβM0

,Lp(Q)) ≤ K0(1

ε)d/β (9)

pour tout p ≥ 1 , ε > 0 et la mesure de probabilite Q.

En imposant a F ou a ϕ(F ) une condition de regularite telle que ci-dessus,on obtiendra des bornes sur l’entropie a crochets de ces ensembles grace aulemme ci-dessous.

0-20

0-21

4.1 Resultats intermediaires

Lemme 2 On suppose que dans l’espace P defini en (3) la fonction r estbornee par une constante r0 > 0 et que l’espace F des densites par rap-port a la mesure de Lebesgue λ est uniformement borne inferieurement etsuperieurement:

F = {f : f est a support compact χ et 0 < cl ≤ f ≤ cu <∞}.

Alors, siH(ε,F , L2(λ)) = h0 <∞ (10)

il existe des constantes c′ et c′′ telles que

H(c′ε,F , h(λ)) ≤ h0, (11)

H(c′′ε,P, h(ν∗∗)) ≤ h0. (12)

Preuve. Pour prouver (11) et (12) on montre que a chaque bande de taille εdans l’espace F pour la distance de Hellinger correspond une bande de taille

0-21

0-22

c′ε pour la distance L2 dans F et une bande de taille c′′ε dans l’espace P

pour la distance de Hellinger. Le premier resultat est une consequence del’equivalence des distances L2 et Hellinger dans l’espace F , due a la proprietede ”bibornitude” de F . Comme nous montrons ci-dessous que cette proprietea lieu aussi pour P on obtient le second resultat.Reecrivons p(u, v, w) comme

p(u, v, w) = r∗(u, v, w) × ϕ∗(f ;u, v, w)

r∗(u, v, w) =v − u

wr(u, v, w)

ϕ∗(f ;u, v, w) =

v∫

u

f(x) dx

v − u∫ w

0f(x) dx

w

0-22

0-23

Le fait que F est bi-borne, 0 < cl < f < cu < ∞ pour tout f ∈ F , impliquela meme propriete pour l’ensemble F ∗ = {ϕ∗(f) ; f ∈ F} :

clcu

< ϕ∗(f) <cucl

; f ∈ F . (13)

Donc, la distance de Hellinger est equivalente a la distance L2 a la fois pourF et pour F ∗, car

4clh2(f, g) ≤ L2(f, g) =

∫(f − g)2dλ =

∫(√f −√

g)2(√f +

√g)2dλ ≤ 4cuh

Soit D = ϕ∗(f) − ϕ∗(g). Comme a/c− b/d = (a− b)/c+ b(1/c− 1/d), onobtient:

D =w

v − u

∫ v

u(f − g)∫ w

0f

+w

v − u(

∫ v

u

g)

∫ w

0(g − f)

∫ w

0f

∫ w

0g

so that

|D| ≤∫ v

u|f−g|v−u∫ w

0fw

+

∫ v

u

g

(v − u)

∫ w

0|f−g|

w∫ w

0fw

∫ w

0gw

0-23

0-24

On doit montrer que ψ(f, g) =∫D2(u, v, w)dudvdw tend vers 0 si h2(f, g)

tend vers 0.Mf(x) est defini pour toute fonction reelle f et tout reel M comme

Mf(x) = supI∋x

∫I|f(u)| du|I|

alors on sait (Stein (1993) [Ste93]) que

∫|Mf(u)|p du ≤ C(p)p

∫|f(u)|p du , ∀p > 1 (14)

0-24

0-25

Appliquant (14) a p = 2 en remplacant la fonction f par f − g, f et g dansF , on obtient la norme L2

2 de D, notee ψ(f, g):

ψ(f, g) =∫0<u<v≤w<1

D2(u, v, w)dudvdw

≤ 2[ 1c2

l

∫ 1

0(M(f − g)(u))2 du+

c2u

c4l

∫ 1

0(M(f − g)(w))2 dw]

≤ 2c2l +2c2

u

c4l

C(2)2 ×∫ 1

0((f − g)(x))2 dx

≤ 2c2l +2c2

u

c4l

C(2)2 × 4cuh2(f, g)

Puisque la fonction r est supposee bornee par r0 > 0, on a

h2(pr,f , pr,g) ≤ r0h2(ϕ∗(f), ϕ∗(g))

≤ r04cu

clψ(f, g)

≤ r016c2

u(2c2l +2c2

u) C(2)2

c5l

h2(f, g)

0-25

0-26

Pour terminer la preuve, nous devons suivre les etapes ci-dessus pour f =fR et g = fL pour fL ≤ f ≤ fR et h2(fL, fR) ≤ ε. En fait, (fL∗ =max(fL, cl), fR∗ = min(fR, cu)) est aussi une ε-bande pour f . On a alorsce qu’on souhaite:

h2(pr,fL∗, pr,fR∗) ≤ c′′ε.

cqfd �

Lemme 3 Supposons que f ∈ F ⊂ CβM0

(χ) ou χ = [0; b], b > 0 et F est unensemble de densites sur χ par rapport a la mesure de Lebesgue λ. On supposeaussi que F est uniformement bornee inferieurement par une constante posi-tive some cl > 0. De plus, la loi de la censure et de la troncature, de densiter par rapport a ν∗∗ appartient a G tel que

∀ε > 0, and ∀x ∈ [ε; b], infr∈G

∫

0≤u<v<w,v−u≤ε

r(u, v, w)dν∗∗(u, v, w) > 0. (15)

Alors, si h2(f1, f2) > 0:h2(pr1,f1 , pr2,f2) > 0. (16)

0-26

0-27

Preuve. Supposons que 2h2(f1, f2) ≥ ε > 0. Alors il existe au moinsun x0 ∈ [0, b] tel que |

√f1(x0) −

√f2(x0)| >

√ε/(2

√b). Comme f1 et f2

appartiennent a CβM0

with β > 1/2, il existe une constante cm > 0, telle que

|f1(x) − f1(x+ t)| ≤ cmtα

uniformement sur F , ou β = r + α, r ∈ N, 0 < α ≤ 1. Aussi,

|f1 − f2| = |√f1 −

√f2|(

√f1 +

√f2) > |

√f1 −

√f2|2

√cl >

√cl/b

√ε.

De plus, il existe t0 > 0 obtenu ci-dessous, tel que

∀t ∈ [−t0 ; t0] , |f1(x0 + t) − f1(x0)| ≤ cmtα <

1

4{√cl/b

√ε}.

Cette derniere inegalite a lieu des que

t0 = [

√clε

4√bcm

]1/α.

0-27

0-28

Alors, uniformement sur [x0 − t0 ; x0 + t0], |f1(x) − f2(x)| >√

clε2b .

Notation:

Ni =1

v − u

∫ v

u

fi(x)dx , Di =1

w

∫ w

0

fi(x)dx i = 1, 2

so that

|(ϕ∗(f1) − ϕ∗(f2))| =∣∣∣N1

D1− N2

D2

∣∣∣. (17)

1. Numerateurs Ni:Ni ne depend que de u et v. Aussi, sur 0 < x0 − t0 < u < v < x0 + t0,ou la difference f1 − f2 a toujours le meme signe, on a l’inegalite:

|N1 −N2| =1

v − u

∫ v

u

|f2 − f1| >1

2

√clε

b. (18)

2. Denominateurs Di:Di, ne depend que de w. Il existe b0 < b tel que

∀w ≥ b0 , D1 ≥ 1 − η1 , D2 ≥ 1 − η2

0-28

0-29

ouη1 < εγ ; η2 < εγ

pour un γ > 0.

Alors, sur l’ensemble

Bε = {0 < x0 − t0 ≤ u < v ≤ x0 + t0 < b0 < b} (19)

on a l’inegalite, due a (18)

|(ϕ∗(f1)−ϕ∗(f2))| =∣∣∣N1

D1−N2

D2

∣∣∣ > |N1−N2|−max(N1η2, N2η1) >1

2

√clε

b−cuεγ

(20)Il suffit alors de prendre γ > 1/2 pour que le terme de droite de l’inegalite

soit strictement positive des que ε est suffisamment petit. Alors on peut dire

2h2(ϕ∗(f1), ϕ∗(f2)) ≥

∫Bε

(√ϕ∗(f1) −

√ϕ∗(f2))

2dλ3

≥ (1/16)(c2l /bcu)(1 − 2√b/clcuε

γ−1/2)2 × λ3(Bε) ε> 0

0-29

0-30

Nous avons donc prouve que h2(ϕ∗(f1), ϕ∗(f2) ne peut pas etre egal a 0,

des que h2(f1, f2) > 0. Aussi, comme (15) le meme resultat a lieu pourh2(r∗ϕ∗(f1), r

∗ϕ∗(f2)).

Remarque 1Si le support de F n’est pas compact, on doit supposer que F est uni-formement integrable sur IR, c’est a dire

∀δ > 0, ∃0 < b0 <∞such thatsupf∈FP (X > b0) < δ

pour obtenir le meme resultat.Remarque 2Une condition suffisante pour que la condition (15) ait lieu est que r∗ soit p.s.positive par rapport a la mesure ν∗∗.

0-30

0-31

4.2 Consistance et vitesse de convergence

Theorem 3 (Consistance et vitesse de convergence)Supposons que le parametre d’interet, c’est a dire la densite f de la survie Xpar rapport a la mesure de Lebesgue, appartient a l’espace

F = {f : f ∈ CβM0

with compact support χ and 0 < cl ≤ f ≤ cu <∞}(21)

ou β > 1/2. On suppose aussi que la fonction r qui decrit la censure et latroncature est connue et bornee par une constante r0 > 0. Alors, l’estimateurMV non-parametrique de f , fn est consistant pour la distance de Hellinger;pour tout ε > 0

supp = pr,f ∈P

Pp

{h

(fn, f

)> ε

}→ 0, as n→ ∞.

Plus precisement, la vitesse de convergence est donnee par

supp = pr,f ∈P

Pp

{h

(fn, f

)> n−

β2β+1

}≤ C exp{−c2n

12β+1 }.

0-31

0-32

Preuve D’apres le theoreme 2 et le lemme 2 on a

log(N[ ](ε,F , L2(λ)) ≤ K0(1

ε)1/β

or equivalently

log(N[ ](c′ε,F , h(λ)) ≤ K0(

1

ε)1/β

or,

log(N[ ](c′′ε,P, h(ν∗∗)) ≤ K0(

1

ε)1/β. (22)

D’apres le theoreme 1, le corollaire 1 et le lemme 3, on obtient la consistanceet la vitesse de convergence des qu’on verifie que le plus petit ε qui satisfasse(4), comme fonction de n, tend vers 0 quand n tend vers ∞ et que nε2 tendvers ∞.

Plus precisement nous avons dans notre cas

ε∫

ε2

H1/2(s,P, h(ν∗∗)) ds ≤ε∫

ε2

√K0(

1s )1/2βds = (23)

√K0

2β2β−1 (ε1−

12β − ε2−

1β ) ≤ cε2

√n (24)

0-32

0-33

ce qui donne pour n √n ≥ C0(ε

−1− 12β − ε−

1β )

ou β > 1/2. Cela implique que le plus petit ε pour lequel (4) a lieu est lafonction de n

ε = C0n− β

2β+1

qui converge vers 0 quand n→ ∞.

On a aussi nε2 = C0n1− 2β

2β+1 → ∞, ce qui prouve la consistance et fournitla vitesse de convergence.

0-33

0-34

5 Exemple

Dans cette section, on donne un exemple qui illustre les resultats theoriquesprecedents:

1. L’intervalle total d’observation est [a, b] := [0, 1].

2. Les instants d’observation sont {Yj , j = 1, . . . , K}, ou K est d’abordconsidere comme fixe, est un echantillon ordonne de taille K de la loiuniforme sur [0,1].

3. La variable de troncature droite Z suit une loi uniforme sur [0,M ]) ouM > 1.

4. la duree de survie X suit une distribution de densite inconnue f(x), x ∈[0, 1] par rapport a la mesure de Lebesgue sur IR+, qui appartient al’espace F defini en (21).

0-34

0-35

5. Les observations sont W1, . . . ,Wn, un echantillon de vecteurs i.i.d., ouW = (L(X), R(X), L(Z)), de densite

p(u, v, w) = r(u, v, w) ×

v∫

u

f(x) dx

∫

x≤w

f(x) dx·

On veut estimer f alors que r(u, v, w) est connu et decrit le mecanisme de lacensure et de la troncature, que nous avons choisi de fixer dans un premiertemps. Nous pourrions aussi avoir une famille de densites r siK etait aleatoire.K pourrait suivre une loi de Poisson de parametre (λ) conditionnee par 2 <K < K0.Dans notre cas, r peut etre completement calculee.

0-35

0-36

References

[FMD93] D. M. Finkelstein, D. F. Moore, and D. A.Schoenfeld. A propor-tional hazards model for truncated aids data. Biometrics, 49:731-740, 1993.

[Fry94] H. Frydman. A note on nonparametric estimation of the distributionfunction from interval-censored and truncated observations. Journalof the Royal Statistical Society, Series B, 56:71-74, 1994.

[HbV04] C. Huber and F. Vonta. Frailty models for arbitrarily censored andtruncated data. Lifetime Data Analysis, 10:369-388, 2004.

[HbV05] C. Huber, V. Solev and F. Vonta. Estimation of density for Ar-bitrarily censored and truncated data. in ”Probability, Statis-tics and Modelling in Public Health”, Springer ed. (eds. M.Nikulin,D.Commenges and C.Huber), 246-265, 2005.

[Ste93] E. M. Stein. Harmonic Analysis. Princeton University Press, 1993.

0-36

0-37

[Tur76] B. W. Turnbull. The empirical distribution function with arbitrarygrouped, censored and truncated data. Journal of the Royal Statis-tical Society, 38:290-295, 1976.

[VdW00] A. W. Van der Vaart and J. A. Wellner. Weak Convergence andEmpirical Processes (With applications to Statistics). Springer Se-ries in Statistics, Springer, 2000.

[VdV98] A. W. Van der Vaart. Asymptotic statistics. Cambridge Seriesin Statistical and Probabilistic Mathematics, Cambridge UniversityPress, 1998.

[WSh95] Wing Hung Wong and N. Xiatong Shen. Probability inequalities forlikelihood ratios and convergence rates of sieve mles. The Annals ofStatistics, 23, No. 2:339–362, 1995.

0-37

0-38

Lemme 4 For the observational scheme described above, the density r(u, v, w)of the censoring and truncating mechanism, has two parts, one which is abso-lutely continuous with respect to λ3, denoted by r3, and one that is absolutelycontinuous with respect to λ2, denoted by r2 which are given as

r3(u, v, w) = K(K − 1){(u+ 1 − v)K−2 − (u+ w − v)K−2+(K − 2)(M − 1)(u+ w − v)K−3}0 ≤ u < v < w ≤ 1;

r2(u, v) = K{

(u+ 1 − v)K−1 − uK−1) + (K − 1)(M − 1)uK−2}

0 ≤ u < v ≤ 1;

Proof. For any measurable function ψ(u, v, w), ν∗∗ denotes the followingmeasure

∫ψ(u, v, w)dν∗∗ =

∫ψ(u, v, w) dλ3(u, v, w) +

∫ψ(u, v, v) dλ2(u, v).

The measure Q is absolutely continuous with respect to ν∗∗ and one has

0-38

0-39

∫ψ(u, v, w)dQ=

∫ψ(u, v, w)r3(u, v, w) dλ3(u, v, w)+

∫ψ(u, v, v)r2(u, v) dλ

2(u, v)

(25)Let us first compute r3. The fact that v is strictly smaller than w means thatwe have to consider the density rYj ,Yj+1,Yk,Yk+1,Z(u, v, w, w′, z) with k > j+1:

rYj ,Yj+1,Yk,Yk+1,Z(u, v, w, w′, z) =

K!

(j − 1)!(k − j − 2)!(K − k − 1)!uj−1(w − v)k−j−2(1 − w′)K−k−1

which has to be integrated with respect to w′ and z, and summed over allK − 1 ≥ k > j + 1 and j from 1 to K − 3. This is done hereafter and givenin equation (26). Doing so however we miss the borderline term where Z liesbetween YK , the last time we look at a patient, and M . Adding also this part(27) to (26), leads to the final value for r3 given in (28).

Integration with respect to z and w′ gives

rYj ,Yj+1,Yk(u, v, w) =

0-39

0-40

K!

(j − 1)!(k − j − 2)!(K − k − 1)!uj−1(w−v)k−j−2

∫ 1

w

(1−w′)K−k−1(w′−w)dw′

and consequently,rYj ,Yj+1,Yk

(u, v, w) =

K!

(j − 1)!(k − j − 2)!(K − k + 1)!uj−1(w − v)k−j−2(1 − w)K−k+1.

We need now to sum rYj ,Yj+1,Ykfirst over k and then over j. For the first sum

we have

uj−1

(j − 1)!

K−1∑

k=j+2

K!

(k − j − 2)!(K − k + 1)!(w − v)k−j−2(1 − w)K−k+1

which with the changes K′ = K − 1 and k′ = k − j − 2 becomes

uj−1

(j − 1)!

K′−j−2∑

k′=0

K′ + 1!

k′!(K′ − j − k′)!(w − v)k′

(1 − w)K′−j−k′

=

0-40

0-41

uj−1(K′ + 1)!

(j − 1)!(K′ − j)!

{(1−v)K′−j −(K′ − j)(w−v)K′−j−1(1−w)−(w−v)K′−j

}.

Then, changing again to K = K′+1 and summing for j from 1 to K−3 weobtain the sum of three terms which we will denote by S1, S2 and S3. First,

S1 =K−3∑

j=1

K!

(j − 1)!(K − 1 − j)!uj−1(1 − v)K−1−j

which with the changes K′ = K + 3 and j′ = j − 1 becomes

K′−1∑

j′=0

(K′ + 3)!

j′!(K′ + 1 − j′)!uj′

(1 − v)K′+1−j′

=

(K′ + 3)(K′ + 2){

(u+ 1 − v)K′+1 − uK′+1 − (K′ + 1)uK′

(1 − v)}

=

K(K − 1){

(u+ 1 − v)K−2 − uK−2 − (K − 2)uK−3(1 − v)}.

0-41

0-42

The second term

S2 =K−3∑

j=1

K!

(j − 1)!(K − 1 − j)!(K − 1 − j)uj−1(1 − w)(w − v)K−j−2

with the changes K′ = K + 3 and j′ = j − 1 becomes

(1 − w)K′−1∑

j′=0

(K′ + 3)!

j′!(K′ − j′)!uj′

(w − v)(K′−j′) =

(K′ + 3)(K′ + 2)(K′ + 1)(1 − w){

(u+ w − v)K′ − uK′

}=

K(K − 1)(K − 2)(1 − w){(u+ w − v)K−3 − uK−3

}.

The third term

S3 =K−3∑

j=1

K!

(j − 1)!(K − 1 − j)!uj−1(w − v)K−j−1

0-42

0-43

with the changes K′ = K + 3 and j′ = j − 1 becomes

K′−1∑

j′=0

(K′ + 3)!

j′!(K′ + 1 − j′)!uj′

(w − v)(K′+1−j′) =

(K′ + 3)(K′ + 2){

(u+ w − v)K′+1 − uK′+1 − uK′

(K′ + 1)(w − v)}

=

K(K − 1){

(u+ w − v)K−2 − uK−2 − (K − 2)uK−3(w − v)}.

After some simplifications, S1 + S2 + S3 becomes

K(K−1){

(u+1−v)K−2−(u+w−v)K−2−(K−2)(u+w−v)K−3(1−w)}

(26)

for 0 ≤ u < v < w ≤ 1.We now add the borderline case where Yk coincides with YK and the trunca-

tion variable Z falls within the interval (YK ,M). The density of (Yj , Yj+1, YK , Z)is given as

rYj ,Yj+1,YK ,Z(u, v, w, z) =K!

(j − 1)!(K − j − 2)!uj−1(w − v)K−j−2.

0-43

0-44

Then, the density rYj ,Yj+1,YK(u, v, w) is equal to

K!

(j − 1)!(K − j − 2)!uj−1(w − v)K−j−2(M − w).

Now we need to sum rYj ,Yj+1,YKover j from 1 to K − 2. Then, by making

also the changes K′ = K − 2 and j′ = j − 1 we get

(M − w)K′−1∑

j′=0

(K′ + 2)!

j′!(K′ − j′ − 1)!uj′

(w − v)K′−j′−1 =

(K′ + 2)(K′ + 1)(K′)(M − w)(u+ w − v)K′−1 =

K(K − 1)(K − 2)(M − w)(u+ w − v)K−3. (27)

Finally, combining (26) and (27) we obtain r3(u, v, w) which is absolutelycontinuous with respect to λ3 and is given as

r3 = K(K−1){(u+1−v)K−2−(u+w−v)K−2+(K−2)(M−1)(u+w−v)K−3}(28)

0-44

0-45

for 0 ≤ u < v < w ≤ 1.We compute now r2, corresponding to the case where L(Z) coincides with

R(X), so that w = v. For this case we need to calculate the common densityof (Yj , Yj+1, Z, Yj+2) as Yj+1 coincides with Yk and Z falls into the interval(Yj+1, Yj+2). So,

rYj ,Yj+1,Yj+2,Z(u, v, w, z) =K!

(j − 1)!(K − j − 2)!uj−1(1 − w)K−j−2

and

rYj ,Yj+1(u, v) =

K!

(j − 1)!(K − j − 2)!uj−1

∫ 1

v

(1 − w)K−j−2(w − v)dw

and consequently,

rYj ,Yj+1(u, v) =

K!

(j − 1)!(K − j)!uj−1(1 − v)K−j .

0-45

0-46

Now we need to sum over j from 1 to K − 2. By also making the changesK′ = K − 1 and j′ = j − 1 we get

KK′−2∑

j′=0

(K′)!

j′!(K′ − j′)!uj′

(1 − v)K′−j′

=

K{

(u+ 1 − v)K−1 − (K − 1)uK−2(1 − v) − uK−1}

(29)

for 0 ≤ u < v ≤ 1.Again, we have to consider the special case where Yj+1 coincides with YK

and therefore Z falls within the interval (YK ,M). The density rYK−1,YK ,Z(u, v, z)is given as

K!

(K − 2)!uK−2

and consequently,

rYK−1,YK(u, v) = K(K − 1)uK−2(M − v) (30)

for 0 ≤ u < v ≤ 1.

0-46

0-47

Finally, combining (29) and (30) we obtain r2(u, v) which is absolutelycontinuous with respect to λ2 and is given as

r2(u, v) = K{

(u+ 1 − v)K−1 − uK−1) + (K − 1)(M − 1)uK−2}

(31)

for 0 ≤ u < v ≤ 1. �

The spaceG = {r(u, v, w) defined by (28) and (31)} (32)

consists of only one element r, which is known, since K is fixed.Note that all of the appropriate assumptions required for the consistency

of the estimator of f hold for the case of this example.First, by equations (28, 31) we have

r3(u, v, w) ≤ K(K − 1)[1 + (K − 2)(M − 1)]r2(u, v) ≤ K(1 + (K − 1)(M − 1))

Thus r∗(u, v, w) = v−uw r(u, v, w) ≤ r(u, v, w) is bounded by r0 = K2(1 +

(K − 1)(M − 1)) and our density r satisfies the required condition. It is alsoclear by the definition of r that it satisfies the identifiability condition (15).

0-47

0-48

References

[ACo96] A. Alioum and D. Commenges. A proportional hazards model forarbitrarily censored and truncated data. Biometrics, 52:512-524,1996.

[FMD93] D. M. Finkelstein, D. F. Moore, and D. A.Schoenfeld. A propor-tional hazards model for truncated aids data. Biometrics, 49:731-740, 1993.

[Fry94] H. Frydman. A note on nonparametric estimation of the distributionfunction from interval-censored and truncated observations. Journalof the Royal Statistical Society, Series B, 56:71-74, 1994.

0-48

0-49

[HbV04] C. Huber and F. Vonta. Frailty models for arbitrarily censored andtruncated data. Lifetime Data Analysis, 10:369-388, 2004.

[HbV05] C. Huber, V. Solev and F. Vonta. Estimation of density for Ar-bitrarily censored and truncated data. in ”Probability, Statis-tics and Modelling in Public Health”, Springer ed. (eds. M.Nikulin,D.Commenges and C.Huber), 246-265, 2005.

[Ste93] E. M. Stein. Harmonic Analysis. Princeton University Press, 1993.

[Tur76] B. W. Turnbull. The empirical distribution function with arbitrarygrouped, censored and truncated data. Journal of the Royal Statis-tical Society, 38:290-295, 1976.

[VdW00] A. W. Van der Vaart and J. A. Wellner. Weak Convergence andEmpirical Processes (With applications to Statistics). Springer Se-ries in Statistics, Springer, 2000.

[VdV98] A. W. Van der Vaart. Asymptotic statistics. Cambridge Seriesin Statistical and Probabilistic Mathematics, Cambridge UniversityPress, 1998.

0-49

0-50

[WSh95] Wing Hung Wong and N. Xiatong Shen. Probability inequalities forlikelihood ratios and convergence rates of sieve mles. The Annals ofStatistics, 23, No. 2:339–362, 1995.

0-50