1Club SAS Stat 12 Décembre 2002 Application des réseaux de neurones aux données censurées...
-
Upload
jean-vallet -
Category
Documents
-
view
104 -
download
1
Transcript of 1Club SAS Stat 12 Décembre 2002 Application des réseaux de neurones aux données censurées...
1Club SAS Stat12 Décembre 2002
Application des réseaux Application des réseaux de neurones aux données de neurones aux données
censurées censurées
Antonio Ciampi Mac Gill University, Antonio Ciampi Mac Gill University,
CanadaCanada
Yves Lechevallier INRIA, FranceYves Lechevallier INRIA, France
2Club SAS Stat12 Décembre 2002
Problème (1/2)Construire un modèle de prédiction du temps de
survie à partir d’un ensemble de descripteurs ou variables
• Ingénierie:– Brown, S.F., Branford, A.J., Moran, (1997) ‘On the use of Artificial
Neural networks for the Analysis of Survival Data’, IEEE Transacions on Neural Networks, 8, 1071-1077
• Médecine: - Faraggi, D., Simon, R. (1995) ‘A Neural Network Model for Survival Data’, Statistics in Medicine, 14, p73-82
- Biganzoli, E., Boracchi, P., Mariani, L., Marubini, E. (1998) ‘Feed Forward Neural Networks for he analysis of censored survival data : a partial logistic regression approach’ Statistics in Medicine, 17, 1169-1186
3Club SAS Stat12 Décembre 2002
Problème (2/2)
Difficultés:•Comment introduire la notion de censure dans un réseau de neurones?•Comment entraîner un réseau afin d’obtenir des bonnes prédictions sur des nouvelles données?
4Club SAS Stat12 Décembre 2002
Organisation de la présentation
• Notion de base de l’analyse de survie
• Utilisation du Perceptron multi-couches
• Architecture, apprentissage, évaluation
• Un exemple
5Club SAS Stat12 Décembre 2002
Analyse de Survie
t
Données de survie avec une censure à droite
L’approche statistique est de construire un modèle de régression approprié à partir du tableau de données
6Club SAS Stat12 Décembre 2002
Données de survie
(z(i), t(i),(i)), i = 1,…,N
• z(i) son vecteur de description
•t(i) son temps de survie
(i) l’indicateur de censure (1 = observé, 0 = censuré)
Pour chaque observation i nous avons :
Un échantillon de taille N
7Club SAS Stat12 Décembre 2002
La fonction de survie
Les variables prédictives servent à estimer le paramètre de la distribution de la fonction de survie
La fonction h(t;z) est définie à partir de la fonction de survie par:
z) S(t;
z) ;z ;
z ;
z ;
z.
()(
)(
)(
);(t
tSttS
tSdttdS
th
zz ;);( tTPtS
C’est le taux de décroissance de la survie en fonction de z
8Club SAS Stat12 Décembre 2002
Hypothèses sur la fonction h(t;z)
)();( 0)( theth zz
h peut être décomposée comme un produit de deux fonctions. L’une dépend de t, l’autre est liée à z.
avec (0)=0
On suppose que les variables prédictives sont centrées et normées.
)](log[);( z ;z tSdt
dth
9Club SAS Stat12 Décembre 2002
la vraisemblance
Pour une observation (z(i), t(i),(i)) le log de la vraisemblance est égal à :
)()(log)( )(0
)(0
)()( )( nnnn tHethlnz(n)z
t
duuhtH0
00 )()( Voir Cox et Oakes, 1984
Il faut estimer les fonctions h0 et à partir des données
10Club SAS Stat12 Décembre 2002
Modèle exponentiel
(z) = w’z
)()()( )(
)( nnn telnz(n)z
On suppose que le fonction est linéaire
et que h0(t) = 0=constant
d’où l’équation du log de la vraisemblance
)log( 0 redéfinir
11Club SAS Stat12 Décembre 2002
Régression
1
1
I
z
z
O u t ( ; ) (z w z ; w )
(z;w) = w’z
12Club SAS Stat12 Décembre 2002
Architecture du Perceptron Multi-Couches
Entrée
p+1 valeurs
Couche cachée
H neurones
Sortie calculéeOut(z;w)
Sortie désirée (t,)
13Club SAS Stat12 Décembre 2002
La fonction de transfert les variables prédictives sont associées aux cellules de la couche d’entrée
Le couple (t,) est associé au neurone de la couche de sortie
J
i
p
jiijki zwfwffWwOut
1 1
)1(,
)2(,))(,();( zz
L’apprentissage de ce réseau est supervisé. Il utilise un algorithme de rétropropagation du gradient de l’erreur
W est un vecteur de matrices
14Club SAS Stat12 Décembre 2002
Algorithme du gradient stochastique
On choisit un w0 dans l'espace des solutions.
à l'étape t on effectue un tirage aléatoire. On obtient une réalisation zt
on procède à la mise à jour par la formule suivante :
w
zwww
),(
)1(tt
ttt
c
la suite de termes t positifs doit vérifier :
lim , ,t
t tt
tt
0
1
2
1
15Club SAS Stat12 Décembre 2002
La mise à jour des pondérations Mesure de l’erreur le processus d’apprentissage du réseau consiste à présenter successivement les exemples de l’ensemble d’apprentissage de façon à estimer les poids W.
On utilise l’erreur quadratique moyenne
Algorithme de minimisation de l’erreur On peut écrire qu’à l’étape t, le vecteur des matrices des pondérations W dépendent de l’étape t-1 par la formule suivante:
)(
),()1()(
)(,
)(,
)(, tw
tWctwtw
cji
tcji
cji
K
kkk yOuttWc
1
2),(
16Club SAS Stat12 Décembre 2002
Calcul des pondérations
Pour le neurone i de la couche de sortie NC il faut calculer:
De manière générale nous avons :
)()1()(
,
)1(
)1()(,
.),(
)(.
),(
)(
),( cjc
icji
ci
ci
cji
se
tWj
tw
e
e
tWj
tw
tWj
)('.),(
.),(),( )(
)()(
)(
)()(NC
iNCi
NCi
NCi
NCi
NCi
efs
tWj
e
s
s
tWj
e
tWj
)(2),( )(
)(NC
itiNC
i
sys
tWj
Cette partie est dépendante
de la fonction de coût J.
17Club SAS Stat12 Décembre 2002
Calcul des pondérations
11
1
)()()1(
1)(
)1(
)1()()('.
),(.
),(),( cc n
l
ci
clic
l
n
lc
i
ci
cl
ci
efWe
tWj
e
e
e
tWj
e
tWj
)1()(
1
)()1()1(
).('.),(),( 1
c
jc
i
n
l
clic
lc
ij
sefWe
tWj
W
tWj c
car )(' )()()(
)1(c
ic
lici
ci efWe
e
D’où
Ce calcul est indépendant de la fonction de coût J.
18Club SAS Stat12 Décembre 2002
Perceptron multi-couches
(n))()( ,t);;( lwOutc nn (n)z
Fonction de coût :
)(;)()()( t);(,t);;()( nwzOutnnn n
ewOutwOutc (n)(n) zz
Avec le modèle exponentiel nous avons:
la fonction Out de sortie du réseau représente la fonction du modèle de survie
19Club SAS Stat12 Décembre 2002
Architecture
Le choix le plus simple est d’utiliser un réseau de neurones ayant une couche cachée. Dans ce cas il faut spécifier le nombre de neurones dans cette couche.
1
1
p
z
z
w k( )2
Out ( ; ) (z w z; w)
w ij( )1
20Club SAS Stat12 Décembre 2002
Apprentissage, évaluation
Apprentissage :L’objectif est de déterminer, à partir des données, le vecteur de pondération w qui minimise la fonction coûtÉvaluation : on se propose de comparer la performance de notre prédiction avec les approches « classiques »
21Club SAS Stat12 Décembre 2002
GénéralisationOn veut estimer l’efficacité de notre prédiction par rapport à des situations futures. Cette prédiction a été construite à partir d’un ensemble d’apprentissage. Cependant cette prédiction dépend de l’architecture du réseau et donc à chaque modification de l’architecture nous avons une autre fonction de prédiction.
Un troisième ensemble des données (ensemble de validation) est donc nécessaire pour pouvoir comparer deux prédictions issues d’architectures différentes mais construites sur le même ensemble « d’apprentissage ».
22Club SAS Stat12 Décembre 2002
« Early Stopping »Dans Bishop (1995) « Neural Networks for Pattern Recognition » de nombreuses solutions sont proposées pour comparer et évaluer différents fonctions de prédiction issues d’architectures neuronales différentes.
Dans cette stratégie on divise l’ensemble d’apprentissage Le en deux ensembles: l’ensemble d’entraînement Tr qui permet de calculer les pondérations w de réseau, l’ensemble de validation Vl qui permet d’arrêter le processus d’apprentissage. La convergence est déclarée quand la fonction de coût, évaluée sur Tr croit sur Vl. L’ensemble test Ts mesure la qualité de la prédiction choisie.
23Club SAS Stat12 Décembre 2002
Choix de l’architectureC(wH(A) ;B) coût global d’une architecture avec H neurones dans
la couche cachée, évalué sur l’ensemble B mais estimé sur l’ensemble A.
wH(A, i, r) pondérations wH à l'itération i de l’essai r (initialisation
au hasard) calculées avec A
H nombre de neurones fixé, choisir l’itération i et l’essai r par
(iV(H), rV(H)) =argmin { C(wH(Tr, i, r)) ;Vl)
pour i = 1,2,....., et r = 1, 2,...R}
et déterminer le bon choix du nombre de neurones H* par
H* = argmin {C(wH(Tr, iV(H), rV(H);Vl) ; h = 1,2,...}
24Club SAS Stat12 Décembre 2002
Un exemple
Treize variables décrivent des rythmes cardiaques ont été utilisées pour construire une prédiction de la fonction de survie à partir d’un ensemble de 1550 malades ayant une maladie cardiaque.
L’ensemble de données a été divisé en trois parties: l’ensemble d’apprentissage Le (1000 malades) et l’ensemble test Ts (550 malades). L‘ensemble d’apprentissage a été divisé en deux : l’ensemble d’entraînement Tr ( 700 malades) et l’ensemble de validation Vl (300 malades)
25Club SAS Stat12 Décembre 2002
Courbes d’évaluation sur Vl
140
145
150
155
160
165
170
175
180
0 50 100 150 200 250 300 350 400 140
145
150
155
160
165
170
175
180
0 50 100 150 200 250 300 350 400
H=1 H=2
26Club SAS Stat12 Décembre 2002
Courbes d’évaluation sur Vl
140
145
150
155
160
165
170
175
180
0 50 100 150 200 250 300 350 400
H=8 H=10
140
145
150
155
160
165
170
175
180
0 50 100 150 200 250 300 350 400
27Club SAS Stat12 Décembre 2002
Fonction coût sur Tr, Vl et Ts
vi ));,(( TriTrWC vh));,(( VliTrWC vh ));,(( TsiTrWC vh )1(
hb )( )1(hbSEH
1 275 426.38 152.68 298.16 0.16 0.20
2 185 420.05 151.15 296.40 1.55 1.32
3 57 423.18 151.15 296.16 1.21 1.08
4 143 407.46 152.35 307.56 1.42 2.39
5 67 415.38 150.77 299.34 1.10 1.43
6 50 420.20 150.60 298.54 1.36 1.36
7 39 420.00 152.67 302.68 0.86 0.68
8 79 410.60 149.19 299.82 1.40 1.03
9 22 423.31 153.58 294.50 0.82 0.92
10 73 409.12 152.35 303.51 1.87 1.97
));,(( TriTrWC vh
));,(( VliTrWC vh
));,(( TsiTrWC vh
H=4
H=8
H=3
28Club SAS Stat12 Décembre 2002
(iTs(H), rTs(H)) =argmin { C(wH(Le, i, r)) ;Ts) ;
pour i = 1,2,....., r = 1, 2,...R}
H = argmin {C(wH(Le, iTs(H), rTs(H)) ;
h = 1,2,..
Biais lié à l’utilisation de l’ensemble Ts:
))H);(r,ir,,(C()H);(r,ir,,((C(b HH
R
1rR1
H TsLewTsTrw TsV
Intérêt de l’utilisation de Vl
29Club SAS Stat12 Décembre 2002
Biais associé à Ts
H iVl
C(wH(Tr,r(H),iVl(H)) ;Vl)
bH
SE(bH)
1 275 152.68 3.73 1.82
2 185 151.15 6.69 3.05
3 57 151.15 8.36 4.53
4 143 152.35 5.84 2.29
5 67 150.77 5.57 3.05
6 50 150.60 5.08 2.08
7 39 152.67 6.63 4.06
8 79 149.19 4.12 1.88
9 22 153.58 3.69 2.62
10 73 152.35 5.23 4.07
30Club SAS Stat12 Décembre 2002
Mesures pour l’évaluation
i) Le coût global
ii) Moyenne quadratique de l’erreur de prédiction (c'est calculé après avoir complété la valeur censurée du temps en ajoutant la survie résiduelle attendue);
iii) l'adaptation du C-index de Harrel (Harrel et al.,1984).
C c Outn
Nn n( ; ) ( ( ; ); )( ) ( )D w z w y
1
31Club SAS Stat12 Décembre 2002
Évaluation et comparaison de deux réseaux
avec la régression Régression ANN
Ens Apprentissage 8 AN 2 AN
Coût = 573.73 563.14 563.50
EMS = 169.46 137.87 106.13
C-index = 0.68 0.70 0.68
Ens test
Coût = 327.98 294.28 298.29
EMS = 178.11 180.28 116.98
C-index =0.69 0.70 0.70
32Club SAS Stat12 Décembre 2002
ConclusionL’approche neuronale peut être appliquée avec succès à l'analyse de données de la survie
Notre approche évite la discretisation de la variable temps mais suppose un modèle paramétrique qui est un compromis entre l'approche semi-paramétrique de Faraggi et Simon et celle de Biganzoli.
Nous avons aussi utilisé une nouvelle approche qui permet d’arrêter le processus d’apprentissage et semble bien fonctionner avec un temps de calcul raisonnable.
La limitation majeure de ce travail peut être vaincue par le développement de modèles plus réalistes, par exemples des mélanges de distributions exponentielles.