Planification et analyse d'expériences numériques: approche bayésienne
-
Upload
julien-bect -
Category
Technology
-
view
282 -
download
3
Transcript of Planification et analyse d'expériences numériques: approche bayésienne
![Page 1: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/1.jpg)
Planification et analyse d’expériences numériques :approche bayésienne
(introduction, orientée vers la planification séquentielle)
Julien Bect
SUPELEC — GdR MASCOT-NUM — IRT SystemX
Séminaire ONERA/DSNA28 novembre 2013
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 2: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/2.jpg)
1 Introduction : exploration de modèles numériques coûteux
2 Optimisation globale : des méta-modèles à l’approche bayésienne
3 Bayesian Subset Simulation : un autre exemple de planification séquentielle
4 Conclusion
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 3: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/3.jpg)
« Expériences numériques » (computer experiments) 1/2
x ∈ X ⊂ Rd
ξ(x) ∈ Rp
Soit ξ : X → Rp un modèle numérique
d’un système à concevoir ou à étudier (fiabilité),d’un phénomène physique ou biologique,. . .
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 4: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/4.jpg)
« Expériences numériques » (computer experiments) 1/2
x ∈ X ⊂ Rd
ξ(x) ∈ Rp
Soit ξ : X → Rp un modèle numérique
d’un système à concevoir ou à étudier (fiabilité),d’un phénomène physique ou biologique,. . .
x : facteurs
paramètres de conception (à choisir),paramètres physiques (éventuellement mal connus),. . .
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 5: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/5.jpg)
« Expériences numériques » (computer experiments) 1/2
x ∈ X ⊂ Rd
ξ(x) ∈ Rp
Soit ξ : X → Rp un modèle numérique
d’un système à concevoir ou à étudier (fiabilité),d’un phénomène physique ou biologique,. . .
x : facteurs
paramètres de conception (à choisir),paramètres physiques (éventuellement mal connus),. . .
Qu’entendons-nous par « expérience numérique » ?
une expérience ≡ évaluer une réponse ξ(x) du codechaque expérience coûte (souvent, du temps !)budget d’expériences limité
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 6: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/6.jpg)
« Expériences numériques » (computer experiments) 2/2
x ∈ X ⊂ Rd
ξ(x) ∈ Rp
Point de vue du statisticien
le code est une « boîte noire »on veut obtenir des informations sur ξ
à partir d’un échantillon : y1 = ξ(x1), y2 = ξ(x2), . . .
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 7: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/7.jpg)
« Expériences numériques » (computer experiments) 2/2
x ∈ X ⊂ Rd
ξ(x) ∈ Rp
Point de vue du statisticien
le code est une « boîte noire »on veut obtenir des informations sur ξ
à partir d’un échantillon : y1 = ξ(x1), y2 = ξ(x2), . . .
Deux aspects, comme en statistique « classique »
planifier les calculs (choisir x1, x2, . . . )analyser les résultats et quantifier les incertitudes
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 8: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/8.jpg)
« Expériences numériques » (computer experiments) 2/2
x ∈ X ⊂ Rd
ξ(x) ∈ Rp
Point de vue du statisticien
le code est une « boîte noire »on veut obtenir des informations sur ξ
à partir d’un échantillon : y1 = ξ(x1), y2 = ξ(x2), . . .
Deux aspects, comme en statistique « classique »
planifier les calculs (choisir x1, x2, . . . )analyser les résultats et quantifier les incertitudes
Planification séquentielle
planifier chaque calcul en fonction des précédentscouplage planification / analyse
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 9: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/9.jpg)
Exemple 1 : optimisation de forme (Renault)
Contexte : CAO
calculs de CFD 3D
thèse de J. Villemonteix (2008)encadrement : E. Vazquez,M. Sidorkiewicz et E. Walter
Objectif(s)
optimiser la forme du conduit d’admission
maximiser les performances du moteur
minimiser les émissions de polluant
Caractéristiques
≈ 1 h / calcul
6 paramètres de forme à ajuster
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 10: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/10.jpg)
Exemple 2 : projet BEMUSE (CEA, IRSN, . . . )
Contexte : sûreté nucléaire
calculs thermo-hydrauliques
réalisés avec le logiciel CATHARE
benchmark international(de Crécy et al., NED, 2008)
Scenario
perte de réfrigérant due à une brèche
grandeur d’intérêt : température max.
Caractéristiques
≈ 10 minutes / calcul
53 paramètres incertains
Principaux objectifs
estimation d’un quantile de Tmax
analyse de sensibilité(B. Iooss, J. Nat. Fiabilité, 2010)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 11: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/11.jpg)
Exemple 3 : étude d’un risque de crue (EDF R&D)
Contexte : sûreté des installations
calculs d’hydraulique
équ. de Saint Venant 1D ou 2D
logiciels
MASCARET (1D)OpenTELEMAC (2D)http://www.opentelemac.org
projet ANR OPUS
Scenario
étude du risque de crue
facteurs : débit, coeff. de Strickler
réponse : hauteur d’eau H
Principaux objectifs
propagation d’incertitudes
estimation d’un quantile sur H
analyse de sensibilité
(M. Couplet et al, JdS 2010 ; Arnaud et al, JdS 2010)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 12: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/12.jpg)
Objectif(s) : ce que l’on veut savoir sur ξ
Construire un « méta-modèle » : approximation peu coûteuse
approximation globale, sur l’ensemble du domaine X,ou locale, par ex. précise au voisinage d’un seuil
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 13: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/13.jpg)
Objectif(s) : ce que l’on veut savoir sur ξ
Construire un « méta-modèle » : approximation peu coûteuse
approximation globale, sur l’ensemble du domaine X,ou locale, par ex. précise au voisinage d’un seuil
Chercher un optimum de performance ou un pire cas
chercher x∗ = argmax ξ et/ou ξ∗ = ξ(x∗)optimisation multi-objectif / sous contraintes / robuste / . . .estimer un ensemble admissible : {x ∈ X, ξ(x) > ξcrit}
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 14: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/14.jpg)
Objectif(s) : ce que l’on veut savoir sur ξ
Construire un « méta-modèle » : approximation peu coûteuse
approximation globale, sur l’ensemble du domaine X,ou locale, par ex. précise au voisinage d’un seuil
Chercher un optimum de performance ou un pire cas
chercher x∗ = argmax ξ et/ou ξ∗ = ξ(x∗)optimisation multi-objectif / sous contraintes / robuste / . . .estimer un ensemble admissible : {x ∈ X, ξ(x) > ξcrit}
Propagation d’incertitude : X ∼ PX
estimer une proba de défaillance : PX (ξ(X) > ξcrit)estimer un quantilecaractériser la loi de Y = ξ(X)réaliser une analyse de sensibilité. . .
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 15: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/15.jpg)
Objectif(s) : ce que l’on veut savoir sur ξ
Construire un « méta-modèle » : approximation peu coûteuse
approximation globale, sur l’ensemble du domaine X,ou locale, par ex. précise au voisinage d’un seuil
Chercher un optimum de performance ou un pire cas
chercher x∗ = argmax ξ et/ou ξ∗ = ξ(x∗)optimisation multi-objectif / sous contraintes / robuste / . . .estimer un ensemble admissible : {x ∈ X, ξ(x) > ξcrit}
Propagation d’incertitude : X ∼ PX
estimer une proba de défaillance : PX (ξ(X) > ξcrit)estimer un quantilecaractériser la loi de Y = ξ(X)réaliser une analyse de sensibilité. . .
En pratique : bien souvent, un mélange de tous ces objectifs !
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 16: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/16.jpg)
Diversité des codes de calculs
Cadre computer experiments traditionnel
code de calcul déterministe, (plus ou moins) coûteuxdifférence importante avec les expériences physique :faire des répétitions n’a pas de sens !
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 17: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/17.jpg)
Diversité des codes de calculs
Cadre computer experiments traditionnel
code de calcul déterministe, (plus ou moins) coûteuxdifférence importante avec les expériences physique :faire des répétitions n’a pas de sens !
Simulateurs stochastiques
sortie aléatoire : x → ξ(x) + bruit
Multi-fidélitéplusieurs simulateurs, plus ou moins précis
exemple : 1D / 2D / 3Dsimulateur à précision « ajustable »
exemple : pas de discrétisation, tolérance, . . .
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 18: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/18.jpg)
Diversité des codes de calculs
Cadre computer experiments traditionnel
code de calcul déterministe, (plus ou moins) coûteuxdifférence importante avec les expériences physique :faire des répétitions n’a pas de sens !
Simulateurs stochastiques
sortie aléatoire : x → ξ(x) + bruit
Multi-fidélitéplusieurs simulateurs, plus ou moins précis
exemple : 1D / 2D / 3Dsimulateur à précision « ajustable »
exemple : pas de discrétisation, tolérance, . . .
Disponibilité du gradient ?
souvent, pas de gradient disponibleexception : code adjoint
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 19: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/19.jpg)
1 Introduction : exploration de modèles numériques coûteux
2 Optimisation globale : des méta-modèles à l’approche bayésienne
3 Bayesian Subset Simulation : un autre exemple de planification séquentielle
4 Conclusion
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 20: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/20.jpg)
Optimisation globale
On considère un problème d’optimisation globale
fonction ξ a priori multimodale
quelle planification (séquentielle) d’expériences utiliser ?
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 21: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/21.jpg)
Compromis exploration/exploitation
Deux stratégies « extrêmes »
remplir au mieux le domaine X
ex : X = [0; 1], xi = 2i−1
2N, 1 ≤ i ≤ N
échantillonages LHS, maximin, . . . (si d ≥ 2)
essayer d’aller droit au but
choisir un bon x1 ∈ X (connaissance a priori)optimiser localement, par ex. Nelder-Mead
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
xx
yy
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 22: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/22.jpg)
Compromis exploration/exploitation
Deux stratégies « extrêmes »
remplir au mieux le domaine X
ex : X = [0; 1], xi = 2i−1
2N, 1 ≤ i ≤ N
échantillonages LHS, maximin, . . . (si d ≥ 2)
essayer d’aller droit au but
choisir un bon x1 ∈ X (connaissance a priori)optimiser localement, par ex. Nelder-Mead
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
xx
yy
Principe fondamental
bien optimiser globalement ⇒chercher un compromis entreexploration et exploitation
Explorer tout le domaine, oui, mais pas uniformément !
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 23: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/23.jpg)
Utilisation d’un méta-modèle
Méta-modèle ?
modèle simplifié de ξ, plus rapide à évaluer
exemples : krigeage, RBF, réseau de neurones. . .
cas d’observations sans bruit −→ interpolation
Approche générale (planification séquentielle)
1 init : remplir X avec n0 < N points2 pour n = n0 + 1 : N ,
ajuster un méta-modèle aux données x1, ξ(x1), . . . , xn−1, ξ(xn−1)utiliser ce méta-modèle pour choisir xn
3 renvoyer x̂∗ = argmax ξ(xn), ξ̂∗ = ξ (x̂∗)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 24: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/24.jpg)
Illustration : usage optimiste du méta-modèle
Exemple avec X = [0; 1], méta-modèle : krigeage.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
x
ξ(x
)n = n0 = 4
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 25: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/25.jpg)
Illustration : usage optimiste du méta-modèle
Exemple avec X = [0; 1], méta-modèle : krigeage.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
x
ξ(x
)n = n0 = 4
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 26: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/26.jpg)
Illustration : usage optimiste du méta-modèle
Exemple avec X = [0; 1], méta-modèle : krigeage.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
x
ξ(x
)n = 5
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 27: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/27.jpg)
Illustration : usage optimiste du méta-modèle
Exemple avec X = [0; 1], méta-modèle : krigeage.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
x
ξ(x
)n = 6
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 28: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/28.jpg)
Illustration : usage optimiste du méta-modèle
Exemple avec X = [0; 1], méta-modèle : krigeage.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
x
ξ(x
)n = 7
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 29: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/29.jpg)
Illustration : usage optimiste du méta-modèle
Exemple avec X = [0; 1], méta-modèle : krigeage.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
x
ξ(x
)n = 8
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 30: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/30.jpg)
Illustration : usage optimiste du méta-modèle
Exemple avec X = [0; 1], méta-modèle : krigeage.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
x
ξ(x
)n = 9
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 31: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/31.jpg)
Illustration : usage optimiste du méta-modèle
Exemple avec X = [0; 1], méta-modèle : krigeage.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
x
ξ(x
)n = 10
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 32: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/32.jpg)
Illustration : usage optimiste du méta-modèle
Exemple avec X = [0; 1], méta-modèle : krigeage.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
x
ξ(x
)n = 11
Convergence vers un maximum local !
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 33: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/33.jpg)
Principes de l’optimisation bayésienne
Constat essentielIl n’existe pas de « bon » algorithme d’optimisationglobale dans l’absolu : on doit préciser à quel type defonctions on s’intéresse !
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 34: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/34.jpg)
Principes de l’optimisation bayésienne
Constat essentielIl n’existe pas de « bon » algorithme d’optimisationglobale dans l’absolu : on doit préciser à quel type defonctions on s’intéresse !
Solution bayésienne
Nécessité de quantifier l’incertitude pour faire deschoix rationnels.
La théorie bayésienne de la décision fournit uncadre cohérent → représentation probabiliste del’incertitude.
Repères biblio de base :
H. Kushner (1964) : P-algorithme
J. Mockus et al. (1978) : critère EI
D. Jones et al. (1998) : algorithme EGO
Thomas Bayes
(1702–1761)
Harold Kushner
Jonas Mockus
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 35: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/35.jpg)
Loi a priori / a posteriori
Informations a priori sur ξ −→ processus aléatoire, i.e. P0 = P (ξ ∈ · | I0)
régularité (dérivabilité), vitesse de variation, . . . )
« tendance » (linéaire, quadratique, . . . )
symétries, monotonie, . . .
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 36: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/36.jpg)
Loi a priori / a posteriori
Informations a priori sur ξ −→ processus aléatoire, i.e. P0 = P (ξ ∈ · | I0)
régularité (dérivabilité), vitesse de variation, . . . )
« tendance » (linéaire, quadratique, . . . )
symétries, monotonie, . . .
Mise à jour des connaissances
après n évaluations, on a appris : ξn = (ξ(x1), . . . , ξ(xn))
loi a posteriori Pn = P (ξ ∈ · | I0, ξn)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 37: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/37.jpg)
Loi a priori / a posteriori
Informations a priori sur ξ −→ processus aléatoire, i.e. P0 = P (ξ ∈ · | I0)
régularité (dérivabilité), vitesse de variation, . . . )
« tendance » (linéaire, quadratique, . . . )
symétries, monotonie, . . .
Mise à jour des connaissances
après n évaluations, on a appris : ξn = (ξ(x1), . . . , ξ(xn))
loi a posteriori Pn = P (ξ ∈ · | I0, ξn)
Remarque importante
ξ̂n(x) = E (ξ(x) | I0, ξn) est un méta-modèle naturel dans ce cadre. . .
. . . mais Pn contient beaucoup plus d’information !
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 38: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/38.jpg)
Illustration
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−4
−3
−2
−1
0
1
2
3
4
x
ξ(x
)
Simulations sous la loi a priori P0
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 39: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/39.jpg)
Illustration
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
x
ξ(x
)
Moyenne et variance a posteriori Pn0
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 40: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/40.jpg)
Comment choisir xn+1 connaissant I0, ξn ?
1 En utilisant la loi a posteriori, on construit un critère d’échantillonnage
x ∈ X 7→ Jn (x; I0, ξn)
qui mesure l’intérêt d’une évaluation en x.
2 On choisit le prochain point à l’aide de ce critère
xn+1 = argmaxx∈X
Jn (x; I0, ξn)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 41: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/41.jpg)
Comment choisir xn+1 connaissant I0, ξn ?
1 En utilisant la loi a posteriori, on construit un critère d’échantillonnage
x ∈ X 7→ Jn (x; I0, ξn)
qui mesure l’intérêt d’une évaluation en x.
2 On choisit le prochain point à l’aide de ce critère
xn+1 = argmaxx∈X
Jn (x; I0, ξn)
Un critère très utilisé : expected improvement (EI)
Jn (x; I0, ξn) = E ((ξ(x) − Mn)+ | I0, ξn)
avec Mn = max (ξ(x1), . . . , ξ(xn)).
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 42: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/42.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
x
ξ(x
)
n = n0 = 4
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 43: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/43.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.05
0.1
0.15
0.2
0.25
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 44: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/44.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.02
0.04
0.06
0.08
0.1
0.12
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 45: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/45.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.01
0.02
0.03
0.04
0.05
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 46: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/46.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.01
0.02
0.03
0.04
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 47: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/47.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.005
0.01
0.015
0.02
0.025
0.03
0.035
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 48: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/48.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.005
0.01
0.015
0.02
0.025
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 49: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/49.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
1
2
3
4
5
6x 10
−3
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 50: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/50.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
1
2
3
4
5
6x 10
−3
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 51: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/51.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.5
1
1.5
2x 10
−3
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 52: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/52.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.5
1
1.5x 10
−3
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 53: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/53.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.2
0.4
0.6
0.8
1x 10
−3
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 54: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/54.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.005
0.01
0.015
0.02
0.025
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 55: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/55.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.05
0.1
0.15
0.2
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 56: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/56.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.005
0.01
0.015
0.02
0.025
0.03
EI
x
ξ(x
)
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 57: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/57.jpg)
Illustration du critère EI (algorithme EGO)
Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2
−1
0
1
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
1
2
3
4
5
6
7x 10
−3
EI
x
ξ(x
)
On finit (presque) toujours par explorer les zones « vides » !cf. théorème(s) de convergence, Vazquez et Bect, 2010
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 58: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/58.jpg)
1 Introduction : exploration de modèles numériques coûteux
2 Optimisation globale : des méta-modèles à l’approche bayésienne
3 Bayesian Subset Simulation : un autre exemple de planification séquentielle
4 Conclusion
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 59: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/59.jpg)
Bayesian Subset Simulation
Voir présentation PSAM11-ESREL 2012
http://fr.slideshare.net/JulienBect/bect-bsspsamesrel2012
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 60: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/60.jpg)
1 Introduction : exploration de modèles numériques coûteux
2 Optimisation globale : des méta-modèles à l’approche bayésienne
3 Bayesian Subset Simulation : un autre exemple de planification séquentielle
4 Conclusion
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 61: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/61.jpg)
Ce n’est que le début. . .
Abondante littérature sur la planification séquentielle bayésienne !
En particulier : travaux sur les critères d’échantillonnage
critères adaptés à chaque objectif particulier
approximation globale, optimisation, intégration, . . .
critères adaptés à différents contextes
calcul parallèle (évaluation par batchs)simulateurs stochastiques, multi-fidélité, . . .
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 62: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/62.jpg)
Ce n’est que le début. . .
Abondante littérature sur la planification séquentielle bayésienne !
En particulier : travaux sur les critères d’échantillonnage
critères adaptés à chaque objectif particulier
approximation globale, optimisation, intégration, . . .
critères adaptés à différents contextes
calcul parallèle (évaluation par batchs)simulateurs stochastiques, multi-fidélité, . . .
Une communauté de recherche active
en France : le GdR MASCOT-NUM
Méthodes d’Analyse Stochastique pour les COdeset Traitements Numériques
http://www.gdr-mascotnum.fr
conférence annuelle : à Zurich en 2014
international : MUCM
Managing Uncertainty in Computer Models
http://www.mucm.ac.uk
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24
![Page 63: Planification et analyse d'expériences numériques: approche bayésienne](https://reader034.fdocument.pub/reader034/viewer/2022052508/5597de491a28ab5e388b466b/html5/thumbnails/63.jpg)
Références : quelques thèses soutenues à Supélec
thèse de Romain BENASSI (2013)
optimisation bayésienneencadrement : J. Bect et E. Vazquez (Dir.)financement : bourse MESR
thèse de Ling LI (2012)
estimation de probabilités d’événements raresencadrement : J. Bect et E. Vazquezfinancement : projet CSDL (pôle Systematic)
thèse de Julien VILLEMONTEIX (2008)
optimisation bayésienneencadrement : E. Vazquez, M. Sidorkiewicz et É. Walter (Dir)financement : CIFRE Renault
thèse de Miguel PIERA-MARTINEZ (2008)
estimation de probabilités d’événements raresencadrement : E. Vazquez et É. Walter (Dir)financement : fondation EADS
Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013
/ 24