La programmation semi-définie - cedric.cnam.frcedric.cnam.fr/~lamberta/MPRO/PMA/PMA_cours1.pdfouteT...
Transcript of La programmation semi-définie - cedric.cnam.frcedric.cnam.fr/~lamberta/MPRO/PMA/PMA_cours1.pdfouteT...
Programmation Mathématique Avancée - Laprogrammation semi-dé�nie
Amélie Lambert
Cnam
MPRO
Amélie Lambert (Cnam) PMA - SDP MPRO 1 / 92
1 Ensemble convexesLes ensembles convexesLes cônes convexes
2 Les matrices semi-dé�nies positives
3 Les programmes semi-dé�nis
4 Algorithmes de résolution des programmes semi-dé�nisAlgorithmes des points intérieursLa méthode des faisceaux
Amélie Lambert (Cnam) PMA - SDP MPRO 2 / 92
Les ensembles convexes
Amélie Lambert (Cnam) PMA - SDP MPRO 3 / 92
Les ensembles convexes
Un ensemble C est convexe si et seulement si pour tous points x et ydans C , le segment connectant x et y est inclu dans C
Exemples : les cubes, les boules ou les ellipsoides
Pour utiliser les ensembles convexes dans des algorithmes il fautpouvoir les représenter en machine :
I description implicite par l'intersection de demi-espaces,I description explicite de la combinaison convexe de ses points extrêmes
Ici, nous allons parler de programmation conique, nous parlerons decônes convexes.
Exemples de cônes convexes pour l'optimisation : Rn+, cône des
matrices semi-de�nie positives ou le cônes des matrices copositives
Amélie Lambert (Cnam) PMA - SDP MPRO 4 / 92
Contexte
On travaille dans un espace euclidien E , de n dimensions muni d'unproduit scalaire : ici Rn
Pour les vecteurs colonnes x = (x1, . . . , xn)T et y = (y1, . . . , yn)T
appartenant à Rn, le produit scalaire est
xT y =n∑
i=1
xiyi
Amélie Lambert (Cnam) PMA - SDP MPRO 5 / 92
Topologie dans les espaces métriques : dé�nitions (1/2)
On dé�nit la boule de centre x ∈ Rn et de rayon r comme
B(x , r) = {y ∈ Rn : d(x , y) ≤ r}
Si A ⊂ Rn, un point x ∈ A est un point intérieur si il existe un rayonε > 0 tel que B(x , ε) ⊆ A
0n note int A l'ensemble des points intérieurs de A, et on dit que Aest ouvert si tous les points de A sont intérieurs.
L'ensemble A est fermé si sont complément Rn\A est ouvert.
Amélie Lambert (Cnam) PMA - SDP MPRO 6 / 92
Topologie dans les espaces métriques : dé�nitions (2/2)
La fermeture de A, notée A, est l'intersection de tous les ferméscontenant A, c'est donc le plus petit fermé contenant A.
Un point x appartient à la frontière de A, notée ∂A, si pour toutε > 0, la boule B(x , ε) a des points dans A et dans Rn\A.
La frontière ∂A est un ensemble fermé et nous avons A = A ∪ ∂A et∂A = A\int A.
L'ensemble A est compact si et seulement si il est fermé et borné.(i.e. il peut être contenu dans une boule su�samment grande mais derayon �ni).
Amélie Lambert (Cnam) PMA - SDP MPRO 7 / 92
Topologie dans les espaces métriques : Illustration
Exemple : A un espace ouvert
Amélie Lambert (Cnam) PMA - SDP MPRO 8 / 92
Ensembles convexes : dé�nitions (1/4)
Le segment entre les points x et y est l'ensemble des barycentres àcoe�cients positifs ou nuls de x et y , il est dé�ni par les points z :
[x , y ] = {z = (1− α)x + αy : α élément de [0, 1]}
Un ensemble C est convexe si et seulement si pour tous points x et ydans C , le segment connectant x et y est inclu dans C
Toute intersection d'ensembles convexes est un ensemble convexe.
Amélie Lambert (Cnam) PMA - SDP MPRO 9 / 92
Ensembles convexes : dé�nitions (2/4)
Soient n ∈ N∗ et x1, . . . , xn ∈ C , une combinaison convexe des xi estun point p de la forme :
p =n∑
i=1
αixi où α ∈ Rn+ et
n∑i=1
αi = 1
Un sous-ensemble convexe est stable aux combinaisons convexes :
∀n ∈ N, ∀x1, . . . , xn ∈ C , ∀α ∈ Rn+, tq
n∑i=1
αi = 1 on a p =n∑
i=1
αixi ∈ C
Amélie Lambert (Cnam) PMA - SDP MPRO 10 / 92
Ensembles convexes : dé�nitions (3/4)Soit C ⊂ Rn un ensemble convexe. Un point x ∈ C est dans l'intérieurrelatif de C si et seulement si
∀y ∈ C , ∃z ∈ C , α ∈]0, 1[ : x = αy + (1− α)z
En d'autres termes, c'est l'intérieur de C relativement au sous-espace a�neengendré par C .
Exemple : Soit A = {(x , y , z) ∈ R3 | z = 0, x2 + y2 ≤ 1}
Exemple : L'interieur relatif de A
Amélie Lambert (Cnam) PMA - SDP MPRO 11 / 92
Ensembles convexes : dé�nitions (4/4)
L'enveloppe convexe de A ∈ Rn (notée conv A) est le plus petitensemble convexe contenant A.
C'est l'ensemble des combinaisons convexes des points x1, . . . , xn,c'est-à-dire de leurs barycentres à coe�cients positifs :
conv A =
{p =
n∑i=1
αixi : n ∈ N, ∀x1, . . . , xn ∈ C , ∀α ∈ Rn+, tq
n∑i=1
αi = 1
}
L'enveloppe convexe d'un ensemble �ni de points est appelépolytope (ou polygone en 2 dimensions)
Amélie Lambert (Cnam) PMA - SDP MPRO 12 / 92
Description implicite : intersection de demi-espaces (1/2)
Un hyperplan H correspondant au vecteur normal c ∈ Rn\{0} etpassant par x ∈ Rn est :
H = {x ∈ Rn : cT x = β}
c'est un sous-espace a�ne de dimension n − 1.
L'hyperplan H divise Rn en 2 demi-espaces fermés :
H+ = {y ∈ Rn : cT y ≥ cT x = β} et H− = {y ∈ Rn : cT y ≤ cT x = β}
H sépare A ⊆ Rn et B ⊆ Rn si A ⊆ H+ et B ⊆ H− (ou inversement).i.e. si ∃c ∈ Rn\{0}, β ∈ R : ∀x ∈ A, y ∈ B : cT x ≤ β ≤ cT y
Si les deux inégalités sont strictes, la séparation est dite stricte.
Amélie Lambert (Cnam) PMA - SDP MPRO 13 / 92
Description implicite : intersection de demi-espaces (2/2)H est le support de A en x , si x ∈ A, x ∈ H et A est contenu dansun des 2 sous-espaces H+ ou H−.
Alors on dit que H+ (ou H−) est le demi-espace support.
Exemple : L'hyperplan H supporte A en x et sépare A et BAmélie Lambert (Cnam) PMA - SDP MPRO 14 / 92
Projection orthogonale
Soit C ⊂ Rn un espace convexe et fermé. Il est possible de projeter tous lespoints x de Rn sur C : on prend le point de C qui est le plus proche de x .
Soit x ∈ Rn\C (x est extérieur à C ), ∃!πC (x) ∈ C , qui est le plusproche de x . De plus, πC (x) ∈ ∂C .
La projection πC : Rn → C est caractérisée par la propriété
∀y ∈ C : d(πC (x), x) ≤ d(y , x)
Pour tout y ∈ ∂C , il y a un point x extérieur à C , tel que y = πC (x)
Amélie Lambert (Cnam) PMA - SDP MPRO 15 / 92
Hyperplans supports et séparateursSoient C ⊂ Rn un espace convexe et fermé, x ∈ Rn\C , πC (x) ∈ C laprojection de x sur C , on a :
1 l'hyperplan H qui passe par x avec comme normale x − πC (x)supporte C en πC (x) et donc sépare {x} et C .
2 l'hyperplan H ′ qui passe par (x + πC (x))/2 avec comme normalex − πC (x) sépare strictement {x} et C .
Hyperplans H et H ′ qui séparent C de x .
Donc on peut construire un hyperplan support H sur chaque point x ∈ ∂CAmélie Lambert (Cnam) PMA - SDP MPRO 16 / 92
Description explicite : ensemble des points extrêmes (1/2)Dé�nition : un point x ∈ C est un point extrême si pour tout segment sde C , x n'est pas un point de l'intérieur relatif de s.
i.e. : si on ne peut pas écrire x sous la forme x = (1− α)y + αz ,avec y , z ∈ C et 0 < α < 1.On note ext C l'ensemble de tous les points extrêmes de C .
Propriété : Soit C ⊂ Rn un ensemble compact et convexe, alors
C = conv(ext C )
Les points extrêmes d'un ensemble convexe.
Amélie Lambert (Cnam) PMA - SDP MPRO 17 / 92
Description explicite : ensemble des points extrêmes (2/2)Application : Soit C ⊂ Rn compact et convexe, et f : Rn 7→ R continue etconvexe, alors max
x∈Cf (x) a un maximum qui est un point extrême de C .
Amélie Lambert (Cnam) PMA - SDP MPRO 18 / 92
Les cônes convexes
Amélie Lambert (Cnam) PMA - SDP MPRO 19 / 92
Les cônes convexes (1/4)
Dé�nition : Un ensemble non vide K ⊂ Rn est un cône convexe si etseulement si il est fermé par rapport aux combinaisons linéairespositives :
∀α, β ∈ R+, ∀x , y ∈ K : αx + βy ∈ K
de plus, on dit que K est pointé si x et −x ∈ K =⇒ x = 0
Le produit direct de deux cônes convexes K ⊂ Rn et K ′ ⊂ Rn′ estun cône convexe : K × K ′ = {(x , x ′) ∈ Rn+n′ : x ∈ K , x ′ ∈ K ′}
Le dual K ∗ d'un cône K est dé�ni de la façon suivante :
K ∗ = {y ∈ Rn : xT y ≥ 0 ∀x ∈ K}
K ∗ est un cône fermé et convexe.
Amélie Lambert (Cnam) PMA - SDP MPRO 20 / 92
Les cônes convexes (2/4)
Un cône pointé K ⊂ Rn dé�ni un ordre partiel sur Rn, pour x , y ∈ Rn :
x � y ⇐⇒ x − y ∈ K
Cet ordre partiel satisfait les conditions suivantes :1 Re�exi�té : ∀x ∈ Rn : x � x2 Anti-symmetrie : ∀x , y ∈ Rn : x � y , y � x =⇒ x = y3 Transitivité : ∀x , y , z ∈ Rn : x � y , y � z =⇒ x � z4 Homogénéité : ∀x , y ∈ Rn,∀α ∈ R+ : x � y ,=⇒ αx � αy5 Additivité : ∀x , y , x ′, y ′ ∈ Rn : x � y , x ′ � y =⇒ x + x ′ � y + y ′
On dé�ni l'inégalité stricte par :
∀x , y ∈ Rn : x � y ⇐⇒ x − y ∈ int K
Amélie Lambert (Cnam) PMA - SDP MPRO 21 / 92
Les cônes convexes (3/4)
Exemple de cône qui n'est pas une combinaison conique d'un nombre �nide vecteurs.
Amélie Lambert (Cnam) PMA - SDP MPRO 22 / 92
Les cônes convexes (4/4)Le cône convexe généré par un ensemble de vecteurs A ⊂ Rn est le pluspetit cône convexe contenant A :
cône A = {n∑
i=1
αixi : n ∈ N, x ∈ A, α ∈ Rn+}
Exemple de
cône généré par la combinaison conique des 4 vecteurs noirs
Amélie Lambert (Cnam) PMA - SDP MPRO 23 / 92
Exemple : Rn+
Rn+ est un cône pointé, fermé et de pleine dimension, il est dé�ni par :
Rn+ = {x = (x1, . . . , xn)T ∈ Rn : x1, . . . , xn ≥ 0}
Le cône R3+ : un polyhèdre.
Pour le PL suivant :
(PL)
max cT x
s.t.
Ax � b
l'ordre partiel x � y signi�exi ≥ yi for tout i ∈ {1, . . . , n}
Amélie Lambert (Cnam) PMA - SDP MPRO 24 / 92
1 Ensemble convexesLes ensembles convexesLes cônes convexes
2 Les matrices semi-dé�nies positives
3 Les programmes semi-dé�nis
4 Algorithmes de résolution des programmes semi-dé�nisAlgorithmes des points intérieursLa méthode des faisceaux
Amélie Lambert (Cnam) PMA - SDP MPRO 25 / 92
Théorème de décomposition spectrale
Toute matrice X ∈ Sn (ensemble des matrice symétriques de dimension n)peut être décomposée comme :
X =n∑
i=1
λiuiuTi
où les λi ∈ R sont les valeurs propres de X , et les ui ∈ Rn les vecteurspropres associés, formant une base orthonormale de Rn.
Matriciellement, X = PDPT , où D = diag(λ) est la matrice diagonaledont les éléments non-nuls sont les λi , et P la matrice orthogonale dont lescolonnes sont les ui .
Amélie Lambert (Cnam) PMA - SDP MPRO 26 / 92
Sous-matrices principales et symétriques, mineurs
Dé�nition : Soit X ∈ Sn, on appelle sous-matrice symétrique de Xtoute sous matrice de X obtenue en supprimant des lignes et descolonnes de X en même nombre et de mêmes indices.
Ex : X =
3 5 65 1 96 9 2
, ordre 2 :
(3 55 1
) (3 66 2
) (1 99 2
),
ordre 1 : (3) (1) (2)
Dé�nition : Soit X ∈ Sn, on appelle sous-matrice principale de Xtoute sous matrice principale de X obtenue en supprimant lesdernières lignes et les dernières colonnes de X .
Ex : X =
3 5 65 1 96 9 2
, ordre 2 :
(3 55 1
), ordre 1 : (3)
Dé�nition : On appelle mineur symétrique (ou principal), ledeterminant d'une sous-matrice symétrique (ou principale).
Amélie Lambert (Cnam) PMA - SDP MPRO 27 / 92
Matrices semi-dé�nies positives
Soit une matrice X ∈ Sn, les assertions suivantes sont équivalentes :
1 X est semi-dé�nie positive (SDP), noté X � 0, si
∀x ∈ Rn, xTXx =n∑
i=1
n∑i=1
X ijxixj = 〈X , xxT 〉 ≥ 0
2 La plus petite valeur propre de X est positive ou nulle.
3 Tous les mineurs symétriques de X sont positifs ou nuls.
4 Décomposition de Cholesky : Pour k ≥ 1, il existe une matricediagonale inférieure L ∈ Rn×k tel que X = LLT
Amélie Lambert (Cnam) PMA - SDP MPRO 28 / 92
Matrices semi-dé�nies positives : exemple
X =
3 1 −11 3 1−1 1 1
2 Les valeurs propres de X sont (0, 4, 3).3 Mineurs symétriques :
I Mineur symétrique d'ordre 3 :∣∣∣∣∣∣3 1 −11 3 1−1 1 1
∣∣∣∣∣∣ = 3
∣∣∣∣ 3 11 1
∣∣∣∣− 1
∣∣∣∣ 1 1−1 1
∣∣∣∣− 1
∣∣∣∣ 1 3−1 1
∣∣∣∣ = 0 ≥ 0
I Mineurs symétriques d'ordre 2 :∣∣∣∣ 3 11 3
∣∣∣∣ = 8 ≥ 0,
∣∣∣∣ 3 −1−1 1
∣∣∣∣ = 2 ≥ 0,
∣∣∣∣ 3 11 1
∣∣∣∣ = 2 ≥ 0
I Mineurs symétriques d'ordre 1 : |3| = 3 ≥ 0, |3| = 3 ≥ 0, |1| = 1 ≥ 0.
=⇒ La matrice X est semi-dé�nie positive.
Amélie Lambert (Cnam) PMA - SDP MPRO 29 / 92
Matrices semi-dé�nies positives : exemple
X =
0 0 00 2 40 4 8
4 Décompositions de Choleski non unique :
I
0 0 00 2 40 4 8
= LLT =
0 0 0
0√2 0
0 4√2
0
0 0 0
0√2 4√
2
0 0 0
I
0 0 00 2 40 4 8
= L′L′T =
0 0 01 1 02 2 0
0 1 20 1 20 0 0
=⇒ La matrice X est semi-dé�nie positive.
Amélie Lambert (Cnam) PMA - SDP MPRO 30 / 92
Matrices dé�nies positives
Soit une matrice X ∈ Sn, les assertions suivantes sont équivalentes :
1 X est dé�nie positive (DP), noté X � 0, si
∀x ∈ Rn, xTXx =n∑
i=1
n∑i=1
X ijxixj = 〈X , xxT 〉 > 0
2 La plus petite valeur propre de X est strictement positive.
3 Tous les mineurs principaux de X sont strictement positifs.
4 Décomposition de Cholesky : pour k ≥ 1, il existe une unique matricediagonale inférieure L ∈ Rn×k inversible tel que X = LLT .
Amélie Lambert (Cnam) PMA - SDP MPRO 31 / 92
Matrices dé�nies positives : exemple
X =
4 1 −11 3 1−1 1 1
2 Les valeurs propres de X sont (0.13, 3.2, 4.7).3 Mineurs symétriques :
I Mineur symétrique d'ordre 3 :∣∣∣∣∣∣4 1 −11 3 1−1 1 1
∣∣∣∣∣∣ = 4
∣∣∣∣ 3 11 1
∣∣∣∣− 1
∣∣∣∣ 1 1−1 1
∣∣∣∣− 1
∣∣∣∣ 1 3−1 1
∣∣∣∣ = 2 > 0
I Mineur symétrique d'ordre 2 :∣∣∣∣ 4 11 3
∣∣∣∣ = 1 > 0
I Mineurs symétriques d'ordre 1 : |4| = 4 > 0
=⇒ La matrice X est dé�nie positive.
Amélie Lambert (Cnam) PMA - SDP MPRO 32 / 92
Matrices dé�nies positives : exemple
X =
4 1 −11 3 1−1 1 1
4 Décompositions de Choleski unique : 4 1 −1
1 3 1−1 1 1
= LLT =
2 0 01
2
√11
20
− 1
2
5
2√11
√2√11
2 1
2− 1
2
0√11
2
5
2√11
0 0√2√11
=⇒ La matrice X est dé�nie positive.
Amélie Lambert (Cnam) PMA - SDP MPRO 33 / 92
Produit tensoriel de deux vecteurs
Dé�nition : Soient les vectuer u ∈ Rn, v ∈ Rn, on dé�nit le produittensoriel de deux vecteurs :
u ⊗ v = uvT =
u1v1 . . . u1vn...
. . ....
unv1 . . . unvn
La matrice uvT n'est pas symétrique, et le produit tensoriel n'est pascommutatif :
Prenons u =
213
et v =
−102
, on a :
u ⊗ v =
−2 0 4−1 0 2−3 0 6
et v ⊗ u =
−2 −1 −30 0 04 2 6
Amélie Lambert (Cnam) PMA - SDP MPRO 34 / 92
Remarques
1 Si X est SDP et X ii = 0, alors X ij = X ji = 0, ∀j = 1, . . . , n
2 Si X est une matrice diagonale, elle est SDP, si tous ces élémentsdiagonaux sont positifs ou nuls (ses valeurs propres)
3 Si de plus ils sont tous strictement positifs, alors elle est DP.
4 Soit le vecteur x ∈ Rn, la matrice
x ⊗ xT = xxT =
x21
. . . x1xn...
. . ....
xnx1 . . . x2n
est semi-dé�nie positive.
5 Soit X ∈ Sn+, X =n∑
i=1
λiuiuTi avec λi ≥ 0, le cône des matrices SDP
est généré par les matrices de rang 1 :
Sn+ = cône {xxT : x ∈ Rn}
6 A l'intérieur du cône Sn+ se trouvent les matrices dé�nies positives.
Amélie Lambert (Cnam) PMA - SDP MPRO 35 / 92
Le produit scalaire et la trace
La trace d'une matrice X ∈ Rn×n est Tr(X ) =n∑
i=1
X ii =n∑
i=1
λi
PropriétésI Tr(λX ) = λTr(X )I Tr(A + B) = Tr(A) + Tr(B).I Tr(A) = Tr(AT )I Tr(AB) = Tr(BA)
On dé�nit le produit scalaire : 〈A,B〉 = Tr(ATB) =n∑
i=1
n∑j=1
AijBij
Amélie Lambert (Cnam) PMA - SDP MPRO 36 / 92
Le complément de Shur
Dé�nition : Soit une matrice X ∈ Sn de la forme
(A BBT C
)avec A ∈ Rm×m, B ∈ Rm×l , and C ∈ Rl×l , et A une matriceinversible. Alors la matrice C − BTA−1B s'appelle le complément deShur de A en X .
Lemme de Shur : Soit une matrice X ∈ Sn de la forme
(A BBT C
),
avec A inversible, alors
X � 0⇐⇒ A � 0 et C − BTA−1B � 0(A BBT C
)=
(I 0
BTA−1 I
)(A 00 C − BTA−1B
)(I A−1B0 I
)
Amélie Lambert (Cnam) PMA - SDP MPRO 37 / 92
Matrices par blocs
Dé�nition : Soient les matrices Xi ∈ Sni , ∀i = 1, . . . , r ,X = X1 ⊕ . . .⊕ Xr est la matrice par blocs suivante :
X = X1 ⊕ . . .⊕ Xr =
X1 0 . . . 00 X2 . . . 0...
. . ....
0 0 . . . Xr
Propriété : X � 0 si et seulement si Xi � 0, ∀i = 1, . . . , r
Amélie Lambert (Cnam) PMA - SDP MPRO 38 / 92
Le cône des matrices semi-dé�nie positives
Le cône des matrices SDP Sn+ ⊂ Sn :
Sn+ = {X ∈ Sn : X est sdp, i.e ∀x ∈ Rn : xTXx ≥ 0}
C'est bien un cône puisque :∀α > 0 et X ∈ Sn+, on a xT (αX )x = αxTXx ≥ 0, et donc αX ∈ Sn+.
Le dual de Sn+ est :
(Sn+)∗ =
{B ∈ Sn : 〈A,B〉 ≥ 0, ∀A ∈ Sn
+
}Théorème : Le cône Sn+ coïncide avec son dual : (Sn+)∗ = Sn+,i.e. A � 0⇐⇒ ∀B ∈ Sn+ : 〈A,B〉 ≥ 0
Exercice : preuve
Amélie Lambert (Cnam) PMA - SDP MPRO 39 / 92
Exemple : Le cône des matrices S2+
Le cône des matrices X ∈ S2+
(x yy z
)� 0
⇐⇒ x ≥ 0, z ≥ 0, xz − y2 ≥ 0
Amélie Lambert (Cnam) PMA - SDP MPRO 40 / 92
1 Ensemble convexesLes ensembles convexesLes cônes convexes
2 Les matrices semi-dé�nies positives
3 Les programmes semi-dé�nis
4 Algorithmes de résolution des programmes semi-dé�nisAlgorithmes des points intérieursLa méthode des faisceaux
Amélie Lambert (Cnam) PMA - SDP MPRO 41 / 92
La programmation semi-dé�nie
La programmation semi-dé�nie (SDP) est une extension de laprogrammation linéaire (LP).
La SDP a été étudiée pour la première fois dans les années 60.
Un problème SDP est un programme dont l'objectif est linéaire en lestermes de la matrice variable X et dont les contraintes sont égalementlinéaires en les termes de cette matrice.
Amélie Lambert (Cnam) PMA - SDP MPRO 42 / 92
Inégalités matricielles linéaires (LMI)Dé�nition : Soient Ai ∈ Sn et x ∈ Rn, une inegalité matricielle linéaire
est de la forme : g(x) =m∑i=1
〈Ai , xi 〉 � A0
Exemple : Soient 2 réels x1 et x2 ∈ R, et l'inégalité matricielle suivante :
x1
0 1 01 0 00 0 0
+ x2
1 0 00 0 00 0 1
� −1 0 −1
0 −2 0−1 0 0
est équivalent à :
x2 + 1 x1 1x1 2 01 0 x2
� 0
ou bien encore à l'in�nité d'inégalités : ∀v ∈ R3,
vT
x2 + 1 x1 1x1 2 01 0 x2
v ≥ 0
Amélie Lambert (Cnam) PMA - SDP MPRO 43 / 92
Inégalités matricielles linéaires (LMI)
g(x) =m∑i=1
〈Ai , xi 〉 − A0 � 0
g(x) caractérise un ensemble convexe, qui est l'ensemble C :
C = {x ∈ Rn : g(x) � 0}
C est dans l'intersection d'un espace a�ne et du cône des matricessemi-dé�nies positives.
C n'est en général pas un polytope pour n ≥ 2
Amélie Lambert (Cnam) PMA - SDP MPRO 44 / 92
Inégalités matricielles linéaires (LMI) : exemple
Dans S2+, on cherche les matrices
(x yy z
)� 0 telles que y = 2, i.e. :(
x 22 z
)� 0 ⇐⇒ x ≥ 0, z ≥ 0, xz ≥ 4
Ce sont celles qui sont à l'intersection du cône S2+ et de l'hyperplan y = 2.
Amélie Lambert (Cnam) PMA - SDP MPRO 45 / 92
Le problème primal semi-dé�ni
Soient Q,A1, . . . ,Am ∈ Sn, et b ∈ Rm, le primal (SDP) s'écrit :
(SDP)
max f (X ) = 〈Q,X 〉s.t.
gr (X ) = 〈Ar ,X 〉 = br ∀r = 1, . . . ,m
X � 0
Les contraintes gr (x) indiquent la structure de la matrice X .
rappel : ∀A,B ∈ Sn, 〈A,B〉 =n∑
i=1
n∑i=1
aijbij
Amélie Lambert (Cnam) PMA - SDP MPRO 46 / 92
Exemple : un problème primal SDP (1/2)
(Ex1)
min〈(
1 00 1
),X 〉
s.t.
〈(
0 10 0
),X 〉 = 1
〈(
0 01 0
),X 〉 = 1
X � 0
Ce qui est équivalent au problème :
(Ex1)
minX11 + X22
s.t.(X11 11 X22
)� 0
Amélie Lambert (Cnam) PMA - SDP MPRO 47 / 92
Exemple : un problème primal SDP (2/2)
(Ex1)
minX11 + X22
s.t.(X11 11 X22
)� 0
La solution optimale est la matrice X ∗ =
(1 11 1
)de valeur 2.
Amélie Lambert (Cnam) PMA - SDP MPRO 48 / 92
Le problème primal SDP : géométrieLa matrice optimale X ∗ se trouve à l'intersection de l'hyperplan 〈A,X 〉 = bet du cône Sn+ des matrices SDP
Exemple de région admissible pour un programme SDP
Amélie Lambert (Cnam) PMA - SDP MPRO 49 / 92
Problème primal non nécessairement borné
Le problème SDP peut ne pas être borné.
Exemple : Soient un scalaire α ∈ R, et la famille de problèmes (Exα)
(Exα)
maxX11
s.t.(X11 αα 0
)� 0
I det(X ) = −α2 et donc la région admissible de (Exα) est vide si α 6= 0.I Lorsque α = 0, (Exα) admet une solution admissible, mais pas de
solution strictement admissible.
La valeur optimale est +∞, (Exα) est non borné.
En cas de minimisation de la fonction objectif, le valeur optimale est 0
avec la solution X =
(0 00 0
).
Amélie Lambert (Cnam) PMA - SDP MPRO 50 / 92
Optimum non nécessairement atteint
La valeur optimale d'un problème SDP peut ne pas être atteinte
Exemple
(SDP)
minX11
s.t.(X11 11 X22
)� 0
La valeur optimale est 0 dont la solution est X11 = 1
X22, or comme
X22 → +∞, elle n'est jamais atteinte.
Amélie Lambert (Cnam) PMA - SDP MPRO 51 / 92
Programmation SDP et Programmation Linéaire
Considérons un programme SDP où :
les matrices Q,A1, . . . ,Am ∈ Sn sont des matrices diagonales, dontles éléments non-nuls sont q et ar ,
b ∈ Rm
la matrice variable X est diagonale et ses éléments non-nuls sont x
Le problème SDP s'écrit
(SDPd)
max〈q, x〉s.t.
〈ar , x〉 = br
x � 0
(SDPd)
max qT x
s.t.
aTr x = br
x ≥ 0
La programmation SDP inclue donc la programmation linéaire.
Amélie Lambert (Cnam) PMA - SDP MPRO 52 / 92
Le problème dual SDP
Soit β ∈ Rm les variables duales de (SDP), le dual (DSDP) est :
(SDP)
max f (X ) = 〈Q,X 〉s.t.
gr (X ) = 〈Ar ,X 〉 = br ← β
X � 0
(DSDP)
min h(β) = 〈b, β〉s.t.
m∑r=1
βrAr − S = Q
β ∈ Rm
S � 0
Remarques :m∑r=1
βrAr − Q doit appartenir à Sn+
la matrice S joue ici le rôle d'une variable d'écart.
Amélie Lambert (Cnam) PMA - SDP MPRO 53 / 92
Exemple : le problème dual SDP
(Ex1)
minX11 + X22
s.t.(X11 11 X22
)� 0
(Ex1)
max−〈(
1 00 1
),X 〉
s.t.
〈(
0 10 0
),X 〉 = 1← β1
〈(
0 01 0
),X 〉 = 1← β2
X � 0
(DEx1)
minβ1 + β2
s.t.(1 β1β2 1
)� 0
β ∈ R2
Amélie Lambert (Cnam) PMA - SDP MPRO 54 / 92
Dual d'un SDP, relation avec le Lagrangien
(SDP) : maxX{〈Q,X 〉 : 〈Ar ,X 〉 = br , r = 1, . . . ,m , X � 0}
Son Lagrangien est :
L(X , β) = 〈Q,X 〉 −m∑r=1
βr (〈Ar ,X 〉 − br ) = 〈b, β〉 − 〈m∑r=1
βrAr − Q,X 〉
dont la fonction duale est : L(β) = maxX�0〈b, β〉 − 〈
m∑r=1
βrAr − Q,X 〉
et son dual Lagrangien est : (DL) = minβ∈Rm
maxX�0〈b, β〉 − 〈
m∑r=1
βrAr − Q,X 〉
Or, maxX�0
L(X , β) =
〈b, β〉 ssi (m∑r=1
βrAr − Q) � 0
∞ sinon
Donc : (DL) = minβ∈Rm
{〈b, β〉 : (m∑r=1
βrAr − Q) � 0} qui est exactement (DSDP)
Amélie Lambert (Cnam) PMA - SDP MPRO 55 / 92
Admissibilité et admissibilité stricte
Admissibilité :I primale : Une matrice X � 0 est réalisable pour (SDP) ssi :
〈Ar ,X 〉 = br r = 1, . . . ,m.
I duale : Le vecteur β ∈ Rm est réalisable pour (DSDP) ssi
m∑r=1
βrAr − Q � 0.
Admissibilité stricte :I primale : Une matrice X � 0 est strictement réalisable pour (SDP) ssi
〈Ar ,X 〉 = br r = 1, . . . ,m.
I duale : Le vecteur β ∈ Rm est strictement réalisable pour (DSDP) ssi
m∑r=1
βrAr − Q � 0.
Amélie Lambert (Cnam) PMA - SDP MPRO 56 / 92
Saut de dualité - Dualité faible et forteEtant donné X et β solutions réalisables de (SDP) et (DSDP), ladi�érence entre les valeurs des objectifs de (SDP) et (DSDP) est appeléele saut de dualité. Il est donné par :
〈b, β〉 − 〈Q,X 〉
Dualité faible : Etant donné X et β solutions réalisables de (SDP) et(DSDP) alors
〈Q,X 〉 ≤ 〈b, β〉
Dualité forte : Si pour X et β solutions admissibles de (SDP) et (DSDP),le saut de dualité vaut 0, alors il y a dualité forte et X et β sont les valeursoptimales de (SDP) et (DSDP). Et on a :
〈b, β〉 − 〈Q,X 〉 = 0⇐⇒ 〈X ,m∑r=1
βrAr − Q〉 = 0
Cependant, il n'y a pas nécessairement dualité forte en SDP.
Amélie Lambert (Cnam) PMA - SDP MPRO 57 / 92
Dualité faible et forte : exemple [Vandenberghe and Boyd]
(SDPex)
max−X12
s.t. 0 X12 0X12 X22 00 0 1 + X12
� 0
(DSDPex)
minβ1
s.t. β21−β12
β32
1−β12
0 β42
β32
β42
β1
� 0
Exercice : Retrouvez ce dual et montrer quel est le saut de dualité
Amélie Lambert (Cnam) PMA - SDP MPRO 58 / 92
Certi�cat de saut de dualité nul (conditions de Slater)
Théorème : Soient p∗ = la valeur optimale de (SDP) et d∗ la valeuroptimale de (DSDP)
i) si (SDP) admet une solution strictement réalisable et p∗ �ni, alorsp∗ = d∗ et cette valeur est atteinte pour (DSDP)
ii) si (DSDP) admet une solution strictement réalisable et d∗ �ni, alorsp∗ = d∗ et cette valeur est atteinte pour (SDP)
iii) si (SDP) et (DSDP) ont des solutions strictement réalisables alorsp∗ = d∗ et cette valeur est atteinte pour les deux problèmes.
Amélie Lambert (Cnam) PMA - SDP MPRO 59 / 92
Conditions d'optimalité
Pour les problèmes à dualité forte, nous avons les conditions nécessaires etsu�santes d'optimalité suivantes :
(OPT )
gr (X ) = 〈Ar ,X 〉 − br = 0 ∀r , X � 0 (admissibilité du primal)m∑r=1
βrAr − S = Q β ∈ Rm (admissibilité du dual)
SX = 0 complémentarité de X et S
S � 0,X � 0
Amélie Lambert (Cnam) PMA - SDP MPRO 60 / 92
1 Ensemble convexesLes ensembles convexesLes cônes convexes
2 Les matrices semi-dé�nies positives
3 Les programmes semi-dé�nis
4 Algorithmes de résolution des programmes semi-dé�nisAlgorithmes des points intérieursLa méthode des faisceaux
Amélie Lambert (Cnam) PMA - SDP MPRO 61 / 92
Quels algorithmes pour résoudre (SDP)
Méthode des points intérieurs (implementations CSDP, SeDuMi,SDPA).En général ne sont pas capables de résoudre des instances dedimension supérieures à 1000 ou de plus de 10000 contraintes.
Méthode des faisceaux spectraux basée sur l'optimisation desvaleurs propres (implementations Spectral Bundle)L'idée est d'exploiter le fait que X � 0⇐⇒ λmin(X ) ≥ 0
Méthodes des faisceaux (callable Conic Bundle library)Permet de résoudre des instances signi�cativement plus grandes, doitêtre bien paramétrée car sa convergence peut-être très longue.
D'autres classes de méthodes comme les algorithmes du lagrangienaugmenté.
Amélie Lambert (Cnam) PMA - SDP MPRO 62 / 92
Algorithmes des points intérieurs
Amélie Lambert (Cnam) PMA - SDP MPRO 63 / 92
Les méthodes de points intérieurs - Principe
Méthodes développées dans les années 90
Il existe plusieurs variantes pour résoudre des SDP
La plus e�cace est la méthode primale-duale
Le principe est de suivre un chemin central dans l'intérieur de la régionadmissible
Ce chemin central est obtenu en remplaçant les conditionsd'optimalités par des conditions d'optimalités approchées
On suppose ici que le primal (SDP) et le dual (DSDP) satisfont lesquali�cations des contraintes de Slater
Amélie Lambert (Cnam) PMA - SDP MPRO 64 / 92
Méthodes de points intérieurs - Principe
L'idée principale est de se débarasser de la contrainte di�cile X � 0
Pour cela, on ajoute une fonction barrière à la fonction objectif, quitend vers 0 à l'intérieur du cône des Sn+ et vers l'in�ni ailleurs.
En faisant cela, si on démarre d'une solution X � 0, on peut retirer lescontraintes X � 0 puisqu'elles seront forcées par la fonction barrière(on reste dans l'intérieur du cône des Sn+).
Une fonction barrière classique en SDP est la fonction :
B(X ) =
{log (det (X )) si X � 0−∞ sinon
(toutes les matrices X de la frontières sont dans Sn+ (X � 0), leurdeterminant est nul.)
Amélie Lambert (Cnam) PMA - SDP MPRO 65 / 92
Points intérieurs - Problème auxiliaire
Soit la fonction barrière suivante : B(X ) =
{log (det (X )) X � 0−∞ sinon
On commence par dé�nir le problème auxiliaire suivant :
(SDPµ)
max fµ(X ) = 〈Q,X 〉+ µ log (det (X ))
s.t.
gr (X ) = 〈Ar ,X 〉 − br = 0 ∀r = 1, . . . ,m
X � 0
Ici X est dé�nie positive (toutes ses valeurs propres sont > 0 et donc son
determinant det (X ) =n∏
i=1
λi > 0 ).
Amélie Lambert (Cnam) PMA - SDP MPRO 66 / 92
Unique solution du problème auxiliaire
On souhaiterait que :
1 (SDPµ) ait une solution unique X ∗µ pour tout µ > 0
2 〈Q,X ∗µ〉 converge vers la valeur optimale de (SDP) quand µ→ 0.
Pour montrer cela nous allons :
(i) Montrer que si (SDPµ) a une solution optimale X ∗µ , alors elle estunique.
(ii) Ecrire les CN de l'existence de X ∗µ , sous la forme d'un système que X ∗µdoit satisfaire. Ces conditions vont aussi impliquer la convergence de〈Q,X ∗µ〉 vers la valeur optimale de (SDP).
(iii) Montrer que les CN sont aussi su�santes : le système issu de (ii) aune solution unique X = X ∗µ
Amélie Lambert (Cnam) PMA - SDP MPRO 67 / 92
Etape (i) : unicité de la solution X ∗µ
Lemme : la fonction X 7→ log (det (X )) est strictement concave dansl'intérieur de Sn+.
Nous savons maintenenant que si (SDPµ) a une solution, elle est unique.Déterminons maintenant les conditions nécessaires pour que X ∗µ existe.
Amélie Lambert (Cnam) PMA - SDP MPRO 68 / 92
Etape (ii) : CN de l'existence de X ∗µPour chaque contrainte gr (X ) = 0, nous associons un multiplicateur delagrange βr ∈ R.
On considère ensuite le lagrangien :
Lµ(X , β) = 〈Q,X 〉+ µ log (det (X ))−m∑r=1
〈βr , gr (X )〉
Théorème de Lagrange : X ∗µ est un maximum (local) si :i) gr (X ∗µ) = 0, pour tout r
ii) ∃!β∗ ∈ Rm tel que ∇Lµ(X ∗µ , β∗) = ∇fµ(X ∗µ) +
m∑r=1
β∗r∇gr (X ∗µ) = 0
Cela s'applique si :
1 si fµ et gr sont de�nies sur un ouvert de Rn
2 si fµ et gr sont di�érentiables3 les ∇gr (X ) sont indépendant (satisfait car les gr sont des fonctions
linéaires).
Amélie Lambert (Cnam) PMA - SDP MPRO 69 / 92
Etape (ii) : CN de l'existence de X ∗µ
Remarquons d'abord que ∇ log (det (X )) = (XT )−1
Exercice : preuve
Utilisons le Théorème de Lagrange pour calculer
∇Lµ(X , β) = ∇fµ(X ) +m∑r=1
βr∇gr (X )
On a ∇ log (det (X )) = (XT )−1 et ∇〈Q,X 〉 = ∇Tr(QTX ) = QT
Donc ∇fµ(X ) = QT + µ(XT )−1
On a ∇gr (X ) = ∇(〈Ar ,X 〉 − br ) = ∇(Tr(ATr X )− br ) = AT
r
On a donc ∇Lµ(X , β) = QT + µ(XT )−1 −m∑r=1
βrATr = 0
Amélie Lambert (Cnam) PMA - SDP MPRO 70 / 92
CN d'optimalité pour (SDPµ)
En introduisant la variable d'écart S =m∑r=1
βrATr − QT = µ(XT )−1, on
obtient les CN suivantes :
(OPTµ)
gr (X ) = 〈Ar ,X 〉 = br ∀r , X � 0 (admissibilité du primal)m∑r=1
βrAr − S = Q β ∈ Rm, S � 0 (admissibilité du dual)
SX = µIn complémentarité de X et S
En fait, par rapport à (SDP), on a remplacé la dernière condition parSX = 0 par SX = µIn, avec µ > 0 et µ→ 0.
Amélie Lambert (Cnam) PMA - SDP MPRO 71 / 92
Une interprétation primale duale
Puisque X ∗µ satisfait (OPTµ) si il existe, on peut en déduire quefµ(X ∗µ) = 〈Q,X ∗µ〉+ µ log (det (X ∗µ)) converges vers la valeur duproblème initial (SDP) : f (X ) = 〈Q,X 〉 lorsque µ tend vers 0.
En plus, on a une paire primale-duale (X , β, S) dont le saut de dualitédépend de µ :Si (X , β, S) satisfont (OPTµ), alors X est une solution strictementréalisable de (SDP), (β, S) est une solution strictement réalisable de(DSDP) et le saut de dualité est :
〈b, β〉 − 〈Q, X 〉 = nµ
Exercice : preuve
Amélie Lambert (Cnam) PMA - SDP MPRO 72 / 92
Une interprétation primale duale
Du coup si nous pouvons calculer X ∗µ pour µ très petit, nous auronsune solution "presque" optimale de (SDP).
De plus comme par la faible dualité, 〈Q,X 〉 ≤ 〈b, β〉, la valeur de lasolution 〈Q,X ∗µ〉 sera au plus à nµ de la solution optimale de (SDP).
Amélie Lambert (Cnam) PMA - SDP MPRO 73 / 92
Etape (iii) : CS pour l'optimalité de X ∗µ
Supposons que (SDP) ait une solution intérieure X � 0 et que son dual(DSDP) ait aussi une solution intérieure β telle que la matrice d'écart S
satisfaisant S =m∑r=1
βrAr − Q soit dé�nie positive (i.e. S � 0).
De plus si les matrices Ar sont linéairement indépendantes, alors pour toutµ, (SDPµ) a une unique solution X ∗ = X ∗µ , β
∗ = β∗µ et S∗ = S∗µ, et X∗µ est
l'unique maximum de fµ sous les contraintes gr (X ) = 0 et X � 0
Amélie Lambert (Cnam) PMA - SDP MPRO 74 / 92
Méthode des points intérieurs : algorithme
Soient un point strictement réalisable (X , β, S) = (X 0, β0, S0), et un ε > 0
1 Calculer le µ courant : µ = 〈S ,X 〉n
2 Calculer les nouvelles directions de recherche pour le nouveau µ, i.e.calculer (∆X ,∆β,∆S) en résovant (OPTµ) :
(OPTµ)
〈Ar ,X + ∆X 〉 = br ∀r , X � 0
m∑r=1
(βr + ∆βr )Ar − (S + ∆S) = Q β ∈ Rm, S � 0
(S + ∆S)(X + ∆X ) = µIn
3 Calcul de la distance de recherche : Calculer les distances αp et αd
telles que :X + αp∆X � 0 S + αd∆S � 0
4 Mise à jour : X = X + αp∆X , β = β + αd∆β et S = S + αd∆S
5 Si 〈S ,X 〉 < ε, s'arrêter.
Amélie Lambert (Cnam) PMA - SDP MPRO 75 / 92
Etape 2 : approximation des directions de recherche
Résolution du système :
(OPTµ)
〈Ar ,X + ∆X 〉 = br ∀r , X � 0
m∑r=1
(βr + ∆βr )Ar − (S + ∆S) = Q β ∈ Rm
(S + ∆S)(X + ∆X ) = µIn
Les deux premières équations sont linéaires.Approximer la troisième par une fonction linéaire (ici Helmberg et al. 96) :µIn = (S + ∆S)(X + ∆X )
= SX + S∆X + X∆S + ∆S∆X ≈ SX + S∆X + X∆SRemarque : même si X et S sont symétriques, le produit XS ne l'est pas
forcément. Lorsque ça arrive, on considère la matrice X S = SX+SX2
.
Amélie Lambert (Cnam) PMA - SDP MPRO 76 / 92
La méthode des faisceaux
Amélie Lambert (Cnam) PMA - SDP MPRO 77 / 92
La méthode des faisceaux
Principe pour la version statique : C'est un algorithme itératif desous-gradient avec mémoire. A chaque itération :
I On évalue le lagrangien partiel où on a dualisé une partie descontraintes, et on obtient une solution primale-duale (X , β, S)
I on calcule les sous-gradients au point XI On véri�e si des contraintes sont violées, si aucune n'est violée on a la
solution optimale
Pour la version dynamique on ajoute et/ou enlève des contraintes aufur et à mesure de l'exécution de l'algorithme.
Amélie Lambert (Cnam) PMA - SDP MPRO 78 / 92
La méthode des faisceaux statique
Amélie Lambert (Cnam) PMA - SDP MPRO 79 / 92
Réécriture de (SDP) : contraintes à dualiser (1/2)
Nous réécrivons (SDP) en (SDPT ) :
(SDPT )
max f (X ) = 〈Q,X 〉s.t.
gr (X ) = 〈Ar ,X 〉 − br ≤ 0 ∀r ∈ T
g ′r (X ) = −〈Ar ,X 〉+ br ≤ 0 ∀r ∈ T
X ∈ F
où
T ⊂ {1, . . . ,m} est un sous-ensemble des indices des contraintesd'égalités, celles que l'on dualisera, réécrites sous forme d'inégalités.
F = {X : gr (X ) = 〈Ar ,X 〉 − br = 0 ∀r ∈ {1, . . . ,m}\T ,X ∈ Sn+} estle reste des contraintes.
Amélie Lambert (Cnam) PMA - SDP MPRO 80 / 92
Réécriture de (SDP) : contraintes à dualiser (2/2)
Pour simpli�er la présentation de la méthode, nous ne considérons qu'unefamille d'inégalités :
(SDPT )
max f (X ) = 〈Q,X 〉s.t.
gr (X ) = 〈Ar ,X 〉 − br ≤ 0 ∀r ∈ T
X ∈ F
où
T ⊂ {1, . . . ,m} est un sous-ensemble des indices des contraintesd'égalités, celles que l'on dualisera, réécrites sous forme d'inégalités.
F = {X : gr (X ) = 〈Ar ,X 〉 − br = 0 ∀r ∈ {1, . . . ,m}\T ,X ∈ Sn+} estle reste des contraintes.
Amélie Lambert (Cnam) PMA - SDP MPRO 81 / 92
Le dual Lagrangien de (SDPT )
Pour chaque contrainte gr (X ) ≤ 0, r ∈ T , on associe un multiplicateur deLagrange βr ∈ R+, et on considère le Lagrangien partiel :
LT (X , β) = 〈Q,X 〉 − 〈β, g(X )〉
et nous obtenons la fonction duale :
gT (β) = maxX∈F
LT (X , β).
En minimisant gT (β) nous obtenons le dual lagrangien partiel (LDT )associé à (SDPT )
(LDT ) ={
minβ≥0
gT (β)}
Nous avons v(SDPT ) = v(LDT ).
=⇒ Nous allons résoudre (LDT ) pour trouver la solution de (SDPT )
Amélie Lambert (Cnam) PMA - SDP MPRO 82 / 92
Evaluation de la fonction duale
La fonction duale est un programme semidé�ni :
gT (β)
{max 〈Q,X 〉 − 〈β, g(X )〉s.t. X ∈ F
Pour un β donné, il est facile d'évaluer gT (β) : par exemple, par uneméthode des points intérieurs.
De cette évaluation, nous obtenons :
Une paire-primale duale (X ∗, β) où gT (β) = LT (X ∗, β)
La valeur de gT (β)
Amélie Lambert (Cnam) PMA - SDP MPRO 83 / 92
Calcul d'un sous-gradient
Par dé�nition, pour une paire primale-duale (X ∗, β) nous avons :
gT (β) = 〈Q,X ∗〉 − 〈β, g(X ∗)〉
Comme gT (β) est un problème de maximisation sur (X ), nous avons pour
tout β :gT (β) ≥ 〈Q,X ∗〉 − 〈β, g(X ∗)〉
En soustrayant, nous obtenons :
gT (β)− gT (β) ≥ 〈β − β, g(X ∗)〉
gT (β) ≥ gT (β) + 〈β − β,−g(X ∗)〉
Donc, s = −g(X ∗) ∈ ∂gT (β).
En d'autres termes, s est un sous-gradient de gT au point β
Amélie Lambert (Cnam) PMA - SDP MPRO 84 / 92
Quel algorithme pour résoudre (SDPT ) ?
Nous voulons résoudre (SDPT ) ou de façon équivalente :
(LDT ) ={
minβ≥0
gT (β) = maxX∈F〈Q,X 〉 − 〈β, g(X )〉
}
Pour un β donné, nous pouvons évaluer gT (β), et obtenir une paireprimale-duale (X ∗, β).
Nous pouvons également calculer un sous-gradients = −g(X ∗) ∈ ∂gT (β)
=⇒ Résoudre (LDT ) peut-être fait avec un algorithme de sous-gradient :ici une méthode des faisceaux dynamique.
Amélie Lambert (Cnam) PMA - SDP MPRO 85 / 92
Rappel : principe d'une méthode de sous-gradient
1 On démarre avec k = 0, une tolérance ε > 0, et un βk = β0,
2 On évalue gT (βk), et on obtient X k , et on choisit un sous-gradientsk = −g(X k)
3 Si || sk ||< ε on s'arrête.4 Sinon
1 Dé�nir une longueur de pas θk > 0
2 βk+1 = βk − θk sk
||sk ||
3 k = k + 1, et aller en 2
Aucune information relative au passé n'est considérée pour la prochaineitération.
Amélie Lambert (Cnam) PMA - SDP MPRO 86 / 92
Principe de la méthode des faisceaux statique (1/3)
On démarre avec un β0 (e.g. β0 = 0), on résoud gT (β0), et on obtient unepaire primale-duale (X 0, β0).
L'algorithme est itératif et maintient à chaque iteration :
La meilleure approximation courante β pour le minimiseur (LDT ),
une séquence {X i}i=1,...,k et β où chaque (X i , β) est une paireprimale-duale,
une séquence {s i ∈ ∂gT (βi )}i=1,...,k des sous-gradients des itérationsprécédentes.
une séquence {gT (βi )}i=1,...,k des évaluations des itérationsprécédentes.
Amélie Lambert (Cnam) PMA - SDP MPRO 87 / 92
Principe de la méthode des faisceaux statique (2/3)
Elle combine deux idées pour déterminer le prochain point βk+1 :
Approximation du modèle :
Comme gT (β) ≥ gT (βi ) + 〈s i , β − βi 〉, il est possible de construireune approximation linéaire par morceaux de gT (β) :
gTk(β) = max
i=1,...,kgT (βi ) + 〈s i , β − βi 〉
L'idée du point "proximal" :L'idée est de pénaliser le déplacement depuis la meilleureapproximation courante β avec un terme proportionnel à || β − β ||2
Amélie Lambert (Cnam) PMA - SDP MPRO 88 / 92
Principe de la méthode des faisceaux statique (3/3)
Di�érence avec les algorithmes classique des sous-gradient :
Stockage dans un faisceau les informations des itération passées pourcalculer la prochaine itération
Travailler avec la meilleure approximation courante β
Construire gTi, une approximation linéaire par morceaux de gT
Déterminer le prochain point en optimisant "proche" de la meilleureapproximation courante et de mettre à jour si le progrès est su�sant.
Amélie Lambert (Cnam) PMA - SDP MPRO 89 / 92
la méthode des faisceaux statique : algorithme
Etant donné : une fonction convexe gT (β)
1 Soit β, β0 = β, k = 0.Calculer gT (β), X ∗ et s0 ∈ ∂gT (β).
2 Déterminer une approximation linéaire par morceaux gTk(β) basée sur les
évaluations précédentes des sous-gradients.
3 Minimiser gTk(β) + u
2|| β − β ||2 et déterminer un point βk+1
Le modele augmenté avec le poids u est utilisé pour optimiser dans unesphère de rayon u (considérer les candidat proche du centre β)
4 Calculer gT (βk+1), et sk+1 ∈ ∂gT (βk+1)Mesurer la progression :
I PAS SUFFISANT : déplacer le centre β = βk+1
I PAS NUL : conserver le centre β et améliorer le modèle au point βk+1
5 k=k+1 aller en 2
Amélie Lambert (Cnam) PMA - SDP MPRO 90 / 92
Une méthode des faisceaux dynamique pour résoudre(SDPT )
Remarques :
Le nombre de contraintes peut être grand
Mais, nous sommes intéressés uniquement par le sous ensemble de Tpour lequel les contraintes sont actives à l'optimum.
On ne connait pas cet ensemble à l'avance
Approche dynamique :
Au cours de l'algorithme, ajouter et supprimer dynamiquement lescontraintes : en fait les éléments de T dans le but d'identi�er lescontraintes "importantes".
Amélie Lambert (Cnam) PMA - SDP MPRO 91 / 92
Une méthode des faisceaux dynamique pour résoudre(SDPT )
On considère un sous-ensemble T ⊆ T et on travaille avec lafonction :
gT (β) = maxX∈F
LT (X , β).
On démarre avec T = ∅ et après la première évaluation on separe lesinégalités violées et on les ajoute à l'ensemble T .
On continue à mettre cet ensemble à jour pendant l'exécution del'algorithme, à chaque itération en :
I supprimant les contraintes dont les multiplicateurs sont su�samentproches de 0 ;
I ajoutant les nouvelles inégalités violées.
Amélie Lambert (Cnam) PMA - SDP MPRO 92 / 92