Réseaux de neurones : évaluation et sélection de...
Transcript of Réseaux de neurones : évaluation et sélection de...
![Page 1: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/1.jpg)
Réseaux de neurones : évaluation etsélection de modèle
Fabrice Rossi
http://apiacoa.org/contact.html.
Universite Paris-IX Dauphine
Reseaux de neurones – evaluation et selection de modele – p.1/57
![Page 2: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/2.jpg)
Plan du cours “Évaluation et sélection de modèle”
1. Le problème
2. La validation
3. méthodes de ré-échantillonnage :
(a) la validation croisée
(b) le Bootstrap
4. méthodes “statistiques” :
(a) contrôle de complexité
(b) dimension de Vapnik-Chervonenkis
Reseaux de neurones – evaluation et selection de modele – p.2/57
![Page 3: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/3.jpg)
Évaluation et sélection de modèle
Comment évaluer les performances d’un modèle ? Problème :On connaît les performances du modèle sur l’ensemble
de données utilisé pour le construire (l’ensembled’apprentissage)On cherche les performances sur de nouvelles données :
pour prédire le comportement du modèlepour pouvoir le comparer à d’autres modèlesen particulier pour pouvoir choisir les hyper-paramètres :
nombre de neuronesnature des neurones (par exemple position descentres des RBF)taux de régularisationetc.
Reseaux de neurones – evaluation et selection de modele – p.3/57
![Page 4: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/4.jpg)
Formalisation
On disposed’un ensemble Θ d’hyper-paramètresd’un ensemble de classes de modèles indexés par Θ, les
(Mθ)θ∈Θ
d’une mesure d’erreur, E qui à un modèle f et desdonnées D associe E(f,D), l’erreur commise par f en tantque modèle de D
Buts :Étant donné un modèle f (obtenu d’une façon à
déterminer), construire un estimateur de E(f,D) pour desdonnées D “semblables” à celles utilisées pour construiref : évaluationTrouver, à partir de D, θ ∈ Θ tel que le meilleur modèle
dans Mθ soit le meilleur modèle des données D dansl’ensemble des modèles indexés par Θ : sélection demodèle
Reseaux de neurones – evaluation et selection de modele – p.4/57
![Page 5: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/5.jpg)
Remarques
par données “semblables” on entend données de mêmedistribution que les données d’apprentissagele choix de f dans Mθ (pour θ fixé) obéit à un algorithme
fixe spécifique à Mθ. Par exemple :si θ correspond au nombre de neurones pour un modèlepseudo-linéaire basé sur des B-splines, le choix de f sefait au sens des moindres carréssi θ correspond au nombre de neurones et à unparamètre de régularisation, le choix de f se fait ausens des moindres carrés pénalisés par le terme derégularisationetc.
l’idée est donc de choisir θ de sorte que le choix naturelde f dans Mθ donne de bonnes performances
Reseaux de neurones – evaluation et selection de modele – p.5/57
![Page 6: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/6.jpg)
Approches possibles
La mauvaise idée : estimer les performances grâce auxperformances sur l’ensemble d’apprentissage.
ça ne fonctionne pas : cf les exemples des coursprécédentsestimateur biaisé : les performances sur l’ensemble
d’apprentissage sont toujours meilleures que lesperformances réelles
Quelques méthodes qui fonctionnent :Découpage des données (validation)Validation croisée (et leave-one-out)Ré-échantillonnage (bootstrap)Contrôle de complexitéDimension de Vapnik-Chervonenkis
Reseaux de neurones – evaluation et selection de modele – p.6/57
![Page 7: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/7.jpg)
Découpage des données (la validation)
Si on a beaucoup de données, on coupe l’ensemble en deux,apprentissage et test :
on utilise les données de l’ensemble d’apprentissage pourestimer les paramètres du modèleon utilise les données de l’ensemble de test pour évaluer
la qualité du modèle optimal (estimateur non biaisé + loides grands nombres)
Pour donner un intervalle de confiance, on utilise desinégalités de concentration. Par exemple Hoeffding :
P
(∣∣∣∣∣1
N
N∑
i=1
U i − E(U)
∣∣∣∣∣ ≥ ε
)≤ 2e−Nε2
Reseaux de neurones – evaluation et selection de modele – p.7/57
![Page 8: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/8.jpg)
Application à la sélection de modèle
L’application est immédiate :pour chaque valeur de l’hyper-paramètre θ, on détermine
fθ, le meilleur modèle de Mθ grâce aux donnéesd’apprentissageon évalue les performances de fθ grâce aux données de
testle meilleur θ est celui dont le fθ donne les meilleures
performances
Attention : les performances de fθ évaluées grâce aux don-
nées de test ne constituent pas un bon estimateur des perfor-
mances de fθ sur de nouvelles données !
Reseaux de neurones – evaluation et selection de modele – p.8/57
![Page 9: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/9.jpg)
Exemple
On reprend l’exemple du créneau :ensemble d’apprentissage : 40 exemplesensemble de test : 40 exempleson trace l’évolution des erreurs en fonction du paramètre
de régularisation :erreur sur l’ensemble d’apprentissageerreur sur l’ensemble de testerreur par rapport au modèle réel (à laquelle on ajoutela variance du bruit)
Reseaux de neurones – evaluation et selection de modele – p.9/57
![Page 10: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/10.jpg)
Erreur en fonction de ν
0.2
0.4
0.6
0.8
1.0
1.2
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagetestthéorique
Reseaux de neurones – evaluation et selection de modele – p.10/57
![Page 11: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/11.jpg)
Sélection de modèle
−3 −2 −1 0 1 2 3
−2.
0−
1.5
−1.
0−
0.5
0.0
0.5
1.0
1.5
apprentissagetestthéoriqueréel
Erreur quadratique moyenne réelle ' 0.071
Reseaux de neurones – evaluation et selection de modele – p.11/57
![Page 12: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/12.jpg)
Exemple d’intervalle de confiance
Pour le créneau, on a N = 40. Pour obtenir une confiance de95% dans les valeurs observées, on doit accepter une erreurde
ε ≥
√− ln 0.025
N
soit ε ≥ 0.3. Or, le créneau régularisé à 0.001 donne une erreur
quadratique moyenne d’environ 0.15 !
Pour faire 10% d’erreur dans l’estimation de cette erreur, il fau-
drait 16400 exemples !
Il existe de meilleures bornes, mais rien d’extraordinaire.
Reseaux de neurones – evaluation et selection de modele – p.12/57
![Page 13: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/13.jpg)
Critique de la validation
Points positifs :facile à mettre en œuvretemps de calcul réduit
Points négatifs :nécessite beaucoup de données :
deux ensembles distincts pour l’évaluation d’un modèletrois ensembles distincts pour la sélection et l’évaluationd’un modèle (apprentissage, sélection puis test)
sensible au découpageréduit drastiquement les données disponibles pour la
construction du modèle : mauvaise estimation desparamètres
Reseaux de neurones – evaluation et selection de modele – p.13/57
![Page 14: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/14.jpg)
Validation croisée
Quand on a peu de données, on ne peut pas découperl’ensemble. On introduit alors du hasard artificiellement enengendrant de nouveaux ensembles d’exemples à partir desdonnées d’origine (ré-échantillonnage).Validation croisée :
1. on coupe les données en n sous-ensembles D1, . . . , Dn
2. pour tout i :
(a) on estime les paramètres du modèle sur l’union desDj avec j 6= i
(b) on évalue le modèle obtenu sur Di
3. on somme les évaluations pour obtenir une évaluationglobale
Dans le cas limite où n = N , on parle de leave-one-out.
Reseaux de neurones – evaluation et selection de modele – p.14/57
![Page 15: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/15.jpg)
Validation croisée (2)
Estimation desperformances
Test
Apprentissage
Test
Apprentissage
Reseaux de neurones – evaluation et selection de modele – p.15/57
![Page 16: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/16.jpg)
Application à la sélection de modèle
On procède de la façon suivante :pour chaque valeur de l’hyper-paramètre θ, on évalue les
performances du meilleur f de Mθ selon la procédure devalidation croiséele meilleur θ est celui qui donne les meilleures
performances estimées par VC
Attention : la VC ne donne pas de modèle, mais seulement
des performances. Il faut ensuite estimer le meilleur f de Mθ,
puis évaluer ses performances (avec un ensemble de test, par
exemple).
Reseaux de neurones – evaluation et selection de modele – p.16/57
![Page 17: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/17.jpg)
Créneau : erreur en fonction deν
0.2
0.4
0.6
0.8
1.0
1.2
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagecvthéorique
Reseaux de neurones – evaluation et selection de modele – p.17/57
![Page 18: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/18.jpg)
Sélection de modèle
−3 −2 −1 0 1 2 3
−2.
0−
1.5
−1.
0−
0.5
0.0
0.5
1.0
1.5
apprentissagecvthéoriqueréel
Reseaux de neurones – evaluation et selection de modele – p.18/57
![Page 19: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/19.jpg)
Sensible au choix des morceaux !
0.1
0.2
0.3
0.4
0.5
0.6
0.7
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
Reseaux de neurones – evaluation et selection de modele – p.19/57
![Page 20: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/20.jpg)
Sensible au choix des morceaux !
−3 −2 −1 0 1 2 3
−2.
0−
1.5
−1.
0−
0.5
0.0
0.5
1.0
1.5
apprentissagecvthéoriqueréel
Reseaux de neurones – evaluation et selection de modele – p.20/57
![Page 21: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/21.jpg)
Sensible au nombre de morceaux (8)
0.1
0.2
0.3
0.4
0.5
0.6
0.7
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
Reseaux de neurones – evaluation et selection de modele – p.21/57
![Page 22: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/22.jpg)
Sensible au nombre de morceaux (8)
−3 −2 −1 0 1 2 3
−2.
0−
1.5
−1.
0−
0.5
0.0
0.5
1.0
1.5
apprentissagecvthéoriqueréel
Reseaux de neurones – evaluation et selection de modele – p.22/57
![Page 23: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/23.jpg)
Avec 80 exemples
0.05
0.10
0.15
0.20
0.25
0.30
0.35
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
Reseaux de neurones – evaluation et selection de modele – p.23/57
![Page 24: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/24.jpg)
Avec 80 exemples
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
0
Erreur quadratique moyenne réelle ' 0.036
Reseaux de neurones – evaluation et selection de modele – p.24/57
![Page 25: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/25.jpg)
80 exemples “weight decay”
0.05
0.10
0.15
0.20
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −7 −6 −5 −4 −3 −2 −1 0 1
apprentissagecvthéorique
Reseaux de neurones – evaluation et selection de modele – p.25/57
![Page 26: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/26.jpg)
80 exemples “weight decay”
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
0
Erreur quadratique moyenne réelle ' 0.069
Reseaux de neurones – evaluation et selection de modele – p.26/57
![Page 27: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/27.jpg)
80 exemples dérivée première
0.1
0.2
0.3
0.4
0.5
0.6
0.7
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −4 −3.3 −3 −2.3 −2 −1.3 −1 0 1
apprentissagecvthéorique
Reseaux de neurones – evaluation et selection de modele – p.27/57
![Page 28: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/28.jpg)
80 exemples dérivée première
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
0
Erreur quadratique moyenne réelle ' 0.045
Reseaux de neurones – evaluation et selection de modele – p.28/57
![Page 29: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/29.jpg)
Critique de la Validation Croisée
Points positifs :facile à mettre en œuvreutilise toutes les données
Points négatifs :sensible au découpage :
choix du nombre de blocschoix des blocs eux-mêmes
temps de calcul élevéla VC ne donne pas de modèle
Reseaux de neurones – evaluation et selection de modele – p.29/57
![Page 30: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/30.jpg)
Le Bootstrap
Méthode générale d’estimation de la qualité d’un estimateur,basée sur un ré-échantillonnage :
on cherche à estimer θ, un paramètre associé à la loi d’unensemble d’observations, les xi
on se donne θ(x1, . . . , xN ) un estimateur de θ
on cherche à déterminer :le biais de θ
la variance de θ
Le bootstrap permet d’estimer ces deux quantités grâce à des
échantillons bootstrap : un échantillon bootstrap est un N -
uplet, (x1∗, . . . , x
N∗ ) obtenu par tirage aléatoire uniforme avec
remise dans l’échantillon d’origine (x1, . . . , xN ).
Reseaux de neurones – evaluation et selection de modele – p.30/57
![Page 31: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/31.jpg)
Principe
Tirage Aleatoire
Echantillon
Monde Reel
(x1, . . . , xN ) → θ
X → θ
Monde Reel
Echantillon Bootstrap
Echantillon Bootstrap
(x1
∗, . . . , xN
∗) → θ∗
(x1
∗, . . . , xN
∗) → θ∗
Reseaux de neurones – evaluation et selection de modele – p.31/57
![Page 32: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/32.jpg)
Principe
Tirage Aleatoire
Monde Reel
Echantillon
Monde Reel
(x1, . . . , xN ) → θ
X → θ
Echantillon Bootstrap
Echantillon Bootstrap
(x1
∗, . . . , xN
∗) → θ∗
(x1
∗, . . . , xN
∗) → θ∗
Reseaux de neurones – evaluation et selection de modele – p.31/57
![Page 33: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/33.jpg)
Estimation du biais
Algorithme :
1. pour b allant de 1 à n
(a) engendrer un échantillon bootstrap (x1∗b, . . . , x
N∗b)
(b) calculer θ∗b = θ(x1∗b, . . . , x
N∗b)
2. l’estimation du biais est
1
n
n∑
b=1
θ∗b − θ(x1, . . . , xN )
Idée, remplacer le monde réel par l’échantillon :le premier terme estime l’espérance de l’estimateurle second terme estime l’estimateur
Reseaux de neurones – evaluation et selection de modele – p.32/57
![Page 34: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/34.jpg)
Estimation de la variance
Algorithme :
1. pour b allant de 1 à n
(a) engendrer un échantillon bootstrap (x1∗b, . . . , x
N∗b)
(b) calculer θ∗b = θ(x1∗b, . . . , x
N∗b)
2. calculer
θ∗ =1
b
n∑
b=1
θ∗b
3. l’estimation de la variance est
1
n − 1
n∑
b=1
(θ∗b − θ∗
)2
Reseaux de neurones – evaluation et selection de modele – p.33/57
![Page 35: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/35.jpg)
Application à l’évaluation d’un modèle
Raisonnement :l’évaluation d’un modèle consiste à estimer ses
performancesl’erreur résiduelle sur l’ensemble d’apprentissage
sous-estime l’erreur réelleidée, estimer l’ampleur de la sous-estimation par
bootstrap :calculer la sous-estimation pour un échantillonbootstrapmoyenner les sous-estimations pour beaucoupd’échantillons bootstrapcorriger l’erreur résiduelle en ajoutant la moyenne
Reseaux de neurones – evaluation et selection de modele – p.34/57
![Page 36: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/36.jpg)
Évaluation d’un modèleAlgorithme :
1. pour b allant de 1 à n
(a) engendrer un échantillon bootstrap (x1∗b, . . . , x
N∗b) (à
partir de l’ensemble d’apprentissage)
(b) estimer le modèle optimal pour l’échantillonbootstrap
(c) calculer B∗b comme la différence entre l’erreurrésiduelle du modèle sur l’échantillond’apprentissage et l’erreur résiduelle du modèle surl’échantillon bootstrap
2. estimer l’erreur résiduelle E du modèle optimal surl’ensemble d’apprentissage
3. corriger cette erreur en lui ajoutant 1n
∑n
b=1 B∗b
Reseaux de neurones – evaluation et selection de modele – p.35/57
![Page 37: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/37.jpg)
Créneau : erreur en fonction deν
0.05
0.10
0.15
0.20
0.25
0.30
0.35
10 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.36/57
![Page 38: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/38.jpg)
Créneau : erreur en fonction deν
0.05
0.10
0.15
0.20
0.25
0.30
0.35
50 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.36/57
![Page 39: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/39.jpg)
Créneau : erreur en fonction deν
0.05
0.10
0.15
0.20
0.25
0.30
0.35
100 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.36/57
![Page 40: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/40.jpg)
Créneau : erreur en fonction deν
0.05
0.10
0.15
0.20
0.25
0.30
0.35
500 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.36/57
![Page 41: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/41.jpg)
Créneau : erreur en fonction deν
0.05
0.10
0.15
0.20
0.25
0.30
0.35
1000 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.36/57
![Page 42: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/42.jpg)
Créneau : erreur en fonction deν
0.05
0.10
0.15
0.20
0.25
0.30
0.35
5000 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.36/57
![Page 43: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/43.jpg)
Intervalle de confiance
0.05
0.10
0.15
0.20
0.25
0.30
0.35
10 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.37/57
![Page 44: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/44.jpg)
Intervalle de confiance
0.05
0.10
0.15
0.20
0.25
0.30
0.35
50 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.37/57
![Page 45: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/45.jpg)
Intervalle de confiance
0.05
0.10
0.15
0.20
0.25
0.30
0.35
100 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.37/57
![Page 46: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/46.jpg)
Intervalle de confiance
0.05
0.10
0.15
0.20
0.25
0.30
0.35
500 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.37/57
![Page 47: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/47.jpg)
Intervalle de confiance
0.05
0.10
0.15
0.20
0.25
0.30
0.35
1000 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.37/57
![Page 48: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/48.jpg)
Intervalle de confiance
0.05
0.10
0.15
0.20
0.25
0.30
0.35
5000 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.37/57
![Page 49: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/49.jpg)
Sélection de modèle
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
010 échantillons
apprentissagebootstrapthéoriqueréel
Erreur quadratique moyenne réelle ' 0.045Reseaux de neurones – evaluation et selection de modele – p.38/57
![Page 50: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/50.jpg)
Sélection de modèle
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
050 échantillons
apprentissagebootstrapthéoriqueréel
Erreur quadratique moyenne réelle ' 0.036Reseaux de neurones – evaluation et selection de modele – p.38/57
![Page 51: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/51.jpg)
Sélection de modèle
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
0100 échantillons
apprentissagebootstrapthéoriqueréel
Erreur quadratique moyenne réelle ' 0.045Reseaux de neurones – evaluation et selection de modele – p.38/57
![Page 52: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/52.jpg)
Sélection de modèle
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
0500 échantillons
apprentissagebootstrapthéoriqueréel
Erreur quadratique moyenne réelle ' 0.036Reseaux de neurones – evaluation et selection de modele – p.38/57
![Page 53: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/53.jpg)
Sélection de modèle
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
01000 échantillons
apprentissagebootstrapthéoriqueréel
Erreur quadratique moyenne réelle ' 0.045Reseaux de neurones – evaluation et selection de modele – p.38/57
![Page 54: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/54.jpg)
Sélection de modèle
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
05000 échantillons
apprentissagebootstrapthéoriqueréel
Erreur quadratique moyenne réelle ' 0.045Reseaux de neurones – evaluation et selection de modele – p.38/57
![Page 55: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/55.jpg)
Variantes
Estimation directe de l’erreur du modèle optimalmoyenne empirique de l’erreur commise sur l’ensemble
d’apprentissage par le modèle construit sur l’échantillonbootstrap (EB)moyenne empirique de l’erreur commise sur le
complémentaire de l’échantillon bootstrap par le modèleconstruit sur l’échantillon (bootstrap out-of-bag, Eoob)bootstrap 632 : combinaison de l’estimation out-of-bag et
de l’estimation naïve (sur l’ensemble d’apprentissage)
E632 = 0.632 Eoob + 0.368 E
Probabilité qu’une observation de l’ensembled’apprentissage soit dans un échantillon bootstrap : 0.632
Reseaux de neurones – evaluation et selection de modele – p.39/57
![Page 56: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/56.jpg)
Intervalle de confiance (Bootstrap 632)
0.05
0.10
0.15
0.20
0.25
0.30
0.35
10 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.40/57
![Page 57: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/57.jpg)
Intervalle de confiance (Bootstrap 632)
0.05
0.10
0.15
0.20
0.25
0.30
0.35
50 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.40/57
![Page 58: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/58.jpg)
Intervalle de confiance (Bootstrap 632)
0.05
0.10
0.15
0.20
0.25
0.30
0.35
100 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.40/57
![Page 59: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/59.jpg)
Intervalle de confiance (Bootstrap 632)
0.05
0.10
0.15
0.20
0.25
0.30
0.35
500 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.40/57
![Page 60: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/60.jpg)
Intervalle de confiance (Bootstrap 632)
0.05
0.10
0.15
0.20
0.25
0.30
0.35
1000 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.40/57
![Page 61: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/61.jpg)
Intervalle de confiance (Bootstrap 632)
0.05
0.10
0.15
0.20
0.25
0.30
0.35
5000 échantillons
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissagebootstrapthéorique
Reseaux de neurones – evaluation et selection de modele – p.40/57
![Page 62: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/62.jpg)
Sélection de modèle (Bootstrap 632)
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
010 échantillons
apprentissagebootstrapthéoriqueréel
Erreur quadratique moyenne réelle ' 0.045Reseaux de neurones – evaluation et selection de modele – p.41/57
![Page 63: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/63.jpg)
Sélection de modèle (Bootstrap 632)
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
050 échantillons
apprentissagebootstrapthéoriqueréel
Erreur quadratique moyenne réelle ' 0.036Reseaux de neurones – evaluation et selection de modele – p.41/57
![Page 64: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/64.jpg)
Sélection de modèle (Bootstrap 632)
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
0100 échantillons
apprentissagebootstrapthéoriqueréel
Erreur quadratique moyenne réelle ' 0.045Reseaux de neurones – evaluation et selection de modele – p.41/57
![Page 65: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/65.jpg)
Sélection de modèle (Bootstrap 632)
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
0500 échantillons
apprentissagebootstrapthéoriqueréel
Erreur quadratique moyenne réelle ' 0.036Reseaux de neurones – evaluation et selection de modele – p.41/57
![Page 66: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/66.jpg)
Sélection de modèle (Bootstrap 632)
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
01000 échantillons
apprentissagebootstrapthéoriqueréel
Erreur quadratique moyenne réelle ' 0.045Reseaux de neurones – evaluation et selection de modele – p.41/57
![Page 67: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/67.jpg)
Sélection de modèle (Bootstrap 632)
−3 −2 −1 0 1 2 3
−1.
5−
1.0
−0.
50.
00.
51.
01.
52.
05000 échantillons
apprentissagebootstrapthéoriqueréel
Erreur quadratique moyenne réelle ' 0.036Reseaux de neurones – evaluation et selection de modele – p.41/57
![Page 68: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/68.jpg)
Critique du Bootstrap
Points positifs :facile à mettre en œuvreutilise toutes les donnéesdonne des intervalles de confiance
Points négatifs :temps de calcul très élevénombreuses variantes
Remarques importantes :résultats théoriques de convergenceasymptotiquement, pas de différence avec la validation
croisée
Reseaux de neurones – evaluation et selection de modele – p.42/57
![Page 69: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/69.jpg)
Conclusion sur le ré-échantillonnage
en pratique la validation croisée fonctionne de façonsatisfaisantele bootstrap donne en plus des intervalles de confiance
(meilleurs que Hoeffding par exemple) mais très coûteuxune règle d’or : comparer ce qui est comparable !
ne pas comparer une estimation bootstrap avec uneestimation par validation croiséeutiliser toujours le même découpage pour la validationcroiséeutiliser les mêmes échantillons bootstrap
Reseaux de neurones – evaluation et selection de modele – p.43/57
![Page 70: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/70.jpg)
Contrôle de complexité
L’idée de base est d’étudier une combinaison :
E + C
et de prendre le modèle qui minimise cette combinaison. Edésigne l’erreur de modélisation obtenue, alors que C mesurela complexité effective du modèle. Par exemple le critère deMallows est donné par :
E + 2W
Nσ2
où E désigne l’erreur quadratique moyenne sur l’ensembled’apprentissage, W le nombre de paramètres du modèlelinéaire, N le nombre de données et σ2 une estimation de lavariance du bruit.
Reseaux de neurones – evaluation et selection de modele – p.44/57
![Page 71: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/71.jpg)
Critères de Mallows et AIC
Difficultés :n’est justifié (théoriquement) que pour le cas linéaire et
l’erreur quadratiquene s’applique donc que pour la sélection de variables
(choix des variables explicatives importantes)demande une estimation correcte de σ2 : il faut donc
utiliser un modèle avec un faible biais ⇒ contradictoireavec le cas linéaire
Version plus générale, le critère d’information d’Akaïke (AIC) :
−2L + 2W
où L désigne la log-vraisemblance. Coïncide avec le critère de
Mallows quand on utilise un modèle d’erreur gaussienne.
Reseaux de neurones – evaluation et selection de modele – p.45/57
![Page 72: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/72.jpg)
Critère BIC
BIC : Bayesian Information CriterionMême esprit que AIC, on compare les modèles selon :
−2L + 2W log(N)
asymptotiquement exact : sélectionne ne bon modèlequand N tend vers l’infinipénalisation lourde des modèles complexes : sélectionne
des modèles simplesen cas de bruit gaussien, équivalent à
E + log(N)W
Nσ2
Reseaux de neurones – evaluation et selection de modele – p.46/57
![Page 73: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/73.jpg)
Cas non linéaire
Il faut remplacer W par une mesure de complexité dumodèle :
modèle linéaire généralisé :base de φi
W : nombre de φi linéairement indépendantes utilisées(en tenant compte du terme constant)
prise en compte de la régularisation :quand on régularise, les prédictions associées auxobservations s’écrivent :
Y ZT (ZZT + νP )−1TZ
W est alors obtenu comme la trace deZT (ZZT + νP )−1Z
Reseaux de neurones – evaluation et selection de modele – p.47/57
![Page 74: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/74.jpg)
Exemple (Créneau) : erreur en fonction deν
0.1
0.2
0.3
0.4
0.5
0.6
0.7
log(ν)
Err
eur
quad
ratiq
ue m
oyen
ne
−Inf −5 −4 −3.3 −3 −2 −1.3 −1 0 1
apprentissageaicbicthéorique
Reseaux de neurones – evaluation et selection de modele – p.48/57
![Page 75: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/75.jpg)
Exemple (Créneau) : sélection de modèle
−3 −2 −1 0 1 2 3
−2.
0−
1.5
−1.
0−
0.5
0.0
0.5
1.0
1.5
apprentissageaicbicthéoriqueréel
Reseaux de neurones – evaluation et selection de modele – p.49/57
![Page 76: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/76.jpg)
Critique du contrôle de complexité
Points positifs :relativement facile à mettre en œuvreutilise toutes les donnéestemps de calcul additionnel négligeablele BIC sélectionne asymptotiquement le meilleur modèle
Points négatifs :AIC sélectionne des modèles trop complexes avec N
grandBIC sélectionne des modèles trop simples avec N petitcomportement parfois décevant à distance finie (i.e.,
quand N est “raisonnable”)il faut estimer le bruit
Reseaux de neurones – evaluation et selection de modele – p.50/57
![Page 77: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/77.jpg)
Théorie de Vapnik-Chervonenkis
cadre : la discriminationdonnées : entrée x ∈ X, sortie y ∈ {0, 1} (problème à
deux classes)description statistique : P une probabilité sur X × {0, 1}H : ensemble des modèles considérés, des fonctions de
X dans {0, 1}erreur commise par h ∈ H : E(h) = P ({(x, y) | h(x) 6= y})on cherche h ∈ H qui minimise E(h) ( !)échantillon : z =
((x1, y1), . . . , (xk, yk)
)
erreur sur un échantillon : E(h, z) = 1k|{i | yi 6= h(xi)}|
but de la théorie de VC, majorer
P (z, suph∈H
|E(h, z) − E(h)| > ε)
Reseaux de neurones – evaluation et selection de modele – p.51/57
![Page 78: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/78.jpg)
Dichotomie
On considère un ensemble S = {x1, . . . , xk} ⊂ X :une dichotomie de S est une fonction de S dans {0, 1}une dichotomie coupe S en deux classesH|S = {h(x1), . . . , h(xk) | h ∈ H} ⊂ {0, 1}k
si∣∣H|S
∣∣ = 2k, H réalise toutes les dichotomies de S, i.e.pour toute partition S = S0 ∪ S1, il existe h ∈ H tel queh(x) = 1 ⇔ x ∈ S1
GH(k) = max{∣∣H|S
∣∣ | S ⊂ X, |S| = k}
: la fonction decroissance de H (growth function)Exemple, H : les modèles linéaires sur R
2
pour k ∈ 1, 2, 3, on peut réaliser toutes les dichotomiesà partir de k = 4, ça ne marche plus ! (exemple du XOR)on montre que pour k > 3, GH(k) = 4(k − 1)
Reseaux de neurones – evaluation et selection de modele – p.52/57
![Page 79: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/79.jpg)
Exemple
1000 1100 1110 1111
0111 0011 0001 0000
0110 1001 1011 0100
Reseaux de neurones – evaluation et selection de modele – p.53/57
![Page 80: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/80.jpg)
Dimension de Vapnik-Chervonenkis
Une façon de résumer la fonction de croissance, définie par :
dimV C(H) = max{k | GH(k) = 2k}
C’est une mesure de la capacité de H :quand GH(k) = 2k :
H peut séparer arbitrairement tous les ensembles detaille k : apprentissage par cœursi |z| = k, minh∈H E(h, z) = 0les données n’apportent pas grand chose pour choisir h
quand GH(k) < 2k, H est saturé, on ne peut plusapprendre par cœurexemple : modèle linéaire dans R
n, dimV C = n + 1.on peut avoir dimV C = ∞
Reseaux de neurones – evaluation et selection de modele – p.54/57
![Page 81: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/81.jpg)
Théorèmes principaux
si dimV C(H) = d et k > d
GH(k) ≤
(ek
d
)d
on a
P (z, |z| = k, suph∈H
|E(h, z) − E(h)| > ε) ≤ 4GH(2k)e−ε2
k
8
et donc quand dimV C(H) = d et k > d
P z, |z| = k, suph∈H
|
�
E(h, z) − E(h)| <8
k
�
d ln2ke
d+ ln
4
η
�
≥ 1 − η
⇒ Intervalle de confiance
Reseaux de neurones – evaluation et selection de modele – p.55/57
![Page 82: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/82.jpg)
Critique de la théorie VC
Points positifs :l’une des théories les plus avancées pour l’apprentissagedonne un intervalle de confiance dans le cas le pireaucune hypothèse sur la distribution des données
Points négatifs :dimension VC très difficile à calculerbornes très pessimistes (à cause de l’absence
d’hypothèses sur les données)utilisation pratique difficile
Reseaux de neurones – evaluation et selection de modele – p.56/57
![Page 83: Réseaux de neurones : évaluation et sélection de …apiacoa.org/publications/teaching/nn/EvaluationSelection.pdf · R´eseaux de neurones – ´evaluation et s´election de mod`ele](https://reader031.fdocument.pub/reader031/viewer/2022022020/5b9c29cb09d3f2f94c8c0f43/html5/thumbnails/83.jpg)
Résumé et conclusion
Pas de solution miracle !
Méthode InconvénientDécoupage Beaucoup de données
Ré-échantillonnage Temps de calcul
Complexité Fortes hypothèses
Vapnik Pessimiste
En pratique :si le temps de calcul est acceptable : ré-échantillonnagesinon contrôle de complexitésinon découpage
Ne jamais se passer d’une méthode connue pour l’évaluation
et/ou la sélection de modèle
Reseaux de neurones – evaluation et selection de modele – p.57/57