Kvadratno programiranje
description
Transcript of Kvadratno programiranje
MA INSKI FAKULTET, UNIVERZITET U BEOGRADU
Seminarski radMetodi optimizacije
Beograd - Decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 1
Metodi Optimizacije
Sadr aj:Kvadratno programiranje (QP).......................................................2 Primena KKT uslova......................................................................4 Primer 1- QP...................................................................................9 Specijalni slu aj............................................................................13 Primer 2 - QP................................................................................14 Kvazi - Njutnov metod (SQP)......................................................18 Izvo enje problema kvadratnog programiranja..........................19 Kvazi - Njutnova aproksimacija Hessian matrice.......................23 Primer SQP...................................................................................25 Primer QP (Matlab)......................................................................29 Literatura.......................................................................................31
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 2
Metodi Optimizacije
Kvadratno programiranje (QP) je posebna vrsta matemati ke optimizacije problema. To je problem optimizacije (minimiziranje ili maksimiziranje) kvadratne funkcije sa vi e promenljivih uz postojanje linearnih ograni enja ovih promenljivih. Pri re avanju problema kvadratnog programiranja funkcija cilja je kvadratna jedna ina dok su ograni enja linearna. Takav slu aj je veoma est u realnim problemima, ali i problemi nelinearnog programiranja zahtevaju re avanje kvadratnih jedna ina kao podproblema u svojim algoritmima. Op ti problem kvadratnog programiranja definisan je kao:
1 T min q ( x ) ! c x x Hx 2T
Ograni enja:
NT x ! eAT x e bxu0y y y y y y yBr. indeksa
c n- dimenzioni vektor konstantnih velicina x = n - dimenzioni vektor nepoznatih b = m - dimenzioni vektor konstantnih velicina e = p - dimenzioni vektor konstantnih velicina H = n n - simetricna matrica A = n m konstantna matrica N = n p - konstantna matrica Goran Stan evi Dimitrije VasoviIme i PrezimeDatum
1191/10 1059/10
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 3
Metodi Optimizacije
1. H je simetri na matrica jer se svaka kvadratna forma mo e izraziti preko simetri ne matrice. 2.
q( x) ! Hx c, 2 q( x) ! H
3. Ako je H pozitivno definitna matrica (svi glavni minori su pozitivni) f (x) je strogo konveksna funkcija, pa je problem konveksnog programiranja i KKT uslovi su potrebni i dovoljni za globalni minimum. 4. Ako je H pozitivno semidefinitna matrica (svi simetri ni minori su nenegativni), f (x) je konveksna funkcija i va i isto kao pod ta kom 3. 5. Ako je H negativno definitna (f je strogo konkavna) i dopustivi skup je ograni en tada se svi globalni (i lokalni) minimumi posti u u ekstremnim ta kama dopustivog skupa . S obzirom da su kandidati za globalne minimume ekstremne ta ke, dovoljno je pretra iti kona an skup ekstremnih ta aka i na i one sa najmanjom vredno u funkcije cilja. Kod primera malih dimenzija to je jednostavnije nego re avanje sistema jedna ina i nejedna ina koji proisti u iz KKT uslova. Sli no se mo e postupiti u slu aju da je H negativno semidefinitna. 6. Ako H nije definitna kandidati za lokalne minimume se tra e preko KKT uslova, koji su potrebni ali ne i dovoljni za optimalnost.
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 4
Metodi Optimizacije
Primena KKT uslova
I na in:
g i ( x) ! aiT x bi e 0, i ! 1,..., m
hi ( x) ! xi e 0, i ! 1,..., nKKT uslovi:
q ( x) P1gi ( x) P2hi ( x) ! 0i !1 i !1
m
n
Sledi da je:
Hx c Pi ai P2 ( ei ) ! 0i !1 i !1
m
n
Hx c AT P1 P2 ! 0P1 g ( x ) ! 0 P1 (a T x b ) ! 0 P2 h( x) ! 0 P2 x ! 0
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 5
Metodi Optimizacije
Uz uslov:
P1 u 0, P2 u 0Potrebno je transformisati ograni enja u oblik koji omogu ava re avanje problema Simplex metodom.
aiT x b e 0 aiT x b s ! 0Pri emu je:
su0U op tem obliku promenljiva s mo e se zapisati kaon
s j ! b j aij xii !1
x ! 0ili kao:
Pi (aiT x bi ) ! Pi ( si ) ! 0 P T s ! 0Uz uslov:
Pi u 0, si u 0, i ! 1,..., mBr. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 6
Metodi Optimizacije
KKT uslovi u izmenjenom obliku: Ax s ! b
Hx AT P1 P2 ! cT P1T s ! 0, P2 x ! 0
P1 u 0, P2 u 0, x u 0, s u 0xL ! c Hx Au \ Nv ! 0 xx
AT x s b ! 0
NT x e ! 0
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 7
Metodi Optimizacije
H T A NT
A 0( mvm) 0( pvm )
I ( n) 0( mv n) 0( pvn )
0( nvm) I ( m) 0( pvm )
N 0( mv p ) 0( pv p )
x u N c \ 0( mv p ) ! b s e 0( pv p ) y z
I(n) i I(m) su n n i m m matrice, dok su 0, nula matrice Jednostavnije se prethodna matri na jedna ina mo e zapisati kao: gde su: BX = D
H B ! AT NT
A 0( mvm ) 0 ( pvm )
I(n) 0( mvn ) 0 ( pvn )
0( nvm ) I (m) 0 ( pvm )
N 0( mv p ) 0 ( pv p )
N 0( mv p ) 0 ( pv p )
( n m p )v(2 n 2 m 2 p )
x u \ X ! s y z (2 n 2 m 2 p )
c D!b e (nm p )
Za re avanje ovakvog problema koristi se Vulfov(Wolfe) algoritam.Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 8
Metodi Optimizacije
Uvo enje novih oznaka:
O M ! T A
A s b P ,q ! , w ! , z ! 1 H c x P2
KKT uslovi u novim oznakama:
s O P AT 2 sT
A P1 b x ! c H
T P P2 1 ! 0 sT P1 P2 x ! 0 x
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 9
Metodi Optimizacije
Primer 1:Minimizovati funkciju:
min f ( x) ! ( x1 3) 2 ( x2 3) 2Uz ograni enja:
x1 x2 e 4
x1 3x2 ! 1 x1 , x2 u 0Funkcija cilja moze se napisati u obliku:2 f ( x) ! x12 6 x1 x2 6 x2 18
Na osnovu funkcije cilja i ograni enja mogu se definisati odgovaraju e matrice:
2 0 6 1 1 H ! , c ! 6 , A ! 1 , b ! ?4 A, N ! 3 , e ! ?1A 0 2
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 10
Metodi Optimizacije
Pa su matrice B, X i D:
2 0 B!1 1
0 2 1
1 1 1 0
3 0
1 0 1 0 3 3 0 0 1 0 0 0 0 0 0 0
0
0
1
X ! ?x1Uz uslove:
x2
u1 \1 \ 2
s1
y1
z1 A
T
D ! ?6 6 4 1A
T
X i X n m i ! 0; i ! 1...(n m)X i u 0; i ! 1...(2n 2m 2 p )
Kori enjem Vulfovog algoritma dobija se optimalno resenje. Iz gornjih uslova se zaklju uje da X1X4=0, X2X5=0, X3X6=0 odakle sledi da X1 i X4, X2 i X5 kao i X3 i X6 ne mogu istovremeno biti bazi ne promenljive.
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 11
Metodi Optimizacije
X1
X2
X3
X4
X5
X6
X7
X8
Y1
Y2
Y3
Y4
D
Inicijalna tabela Y1 Y2 Y3 Y4 2 0 1 1 -4 0 2 1 -3 0 1 1 0 0 -2 -1 0 0 0 1 0 -1 0 0 1 0 0 1 0 -1 1 -3 0 0 2 -1 3 0 0 -2 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 6 6 4 1
Prva iteracija Y1 Y2 Y3 X1 0 0 0 1 0 6 2 4 -3 -12 1 1 0 0 -2 -1 0 0 0 1 0 -1 0 0 1 0 0 1 0 -1 1 -3 0 0 2 -1 3 0 0 -2 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 -2 0 -1 1 4 4 6 3 1
Druga iteracija X2 Y2 Y3 X1 0 0 0 1 0 1 0 0 0 01/6 2/3 -2/3 1/2 -1/6 1/3 2/3 -1/2
0 -1 0 0 1
0 0 1 0 -1
1/6-10/3
-1/6 2/3 -1/2
1/6 -2/3 1/2
10/3 -1/3
-2/3 1/2
0 1 0 0 0
0 0 1 0 0
-1/3 2/3 1/3 0
2/3 14/3 1/3
3
0
1
4
-4
2
0
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 12
Metodi Optimizacije
Tre a iteracija X2 Y2 X8 X1 0 0 0 1 0 1 0 0 0 0 0 4 -1 0 -4 0 -3 1 0 3 0 -1 0 0 1 1/4 -5 3/2 3/4 5 0 0 -1 0 0 0 0 1 0 0 0 3 -1 0 -2 0 1 0 0 0 1/4 -1/4 3/4 -1 -5 3 3/2 1/2 1/2 3/4 1/4 7/4 6 2
etvrta iteracija X2 X3 X8 X1 0 0 0 1 0 1 0 0 0 0 0 1 0 0 00 -3/4 1/4 0 0 -1/4 0 1/4 1/4 3/4
-1/4 -5/4
0
0
0
0 0 -1 0 0
0 0 1 0 0
0 1/4 -1/4 3/4 3/4 1/4 -5/4 -1/4 3/4 -1/4 1/4 1/4 1/4 5/4 0 0 3/4 1/4 13/4 1 1 1 10
Zaklju uje se da je optimalno re enje kori enjem Simplex metode:
13 3 3 3 ; X2 ! ; X3 ! ; X 4 ! ; 4 4 4 4 X 5 ! 0; X 6 ! 0; X 7 ! 0; X1 !
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 13
Metodi Optimizacije
Optimalno re enje postavljenog problema kvadratnog programiranja:
13 3 3 ; x2 ! ; u1 ! ; \1 ! 0; \ 2 ! 0 4 4 4 5 5 s1 ! 0; y1 ! 0; z1 ! ; v1 ! y1 z1 ! 4 4 x1 !
13 3 41 f( , )! 4 4 8Specijalni slu aj:Za razliku od prvog primera u kom postoje 2 ogranicenja ( jednakost i nejednakost) cest slucaj u praksi je da nema ogranicenja u vidu jednakosti. Matricna jedna ina se u ovom slucaju mo e zapisati kao: gde su: BX = D
2 H B! A
A 0mvm
In 0mvn
0 nvm Im ( n m)v(2 n 2 m)
x u X ! \ s (2 n 2 m )Br. indeksa
c D! b ( n m )Datum
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 14
Metodi Optimizacije
Primer 2:Minimizovati funkciju:
min f ( x) ! x12 Uz ograni enja:
3 2 x2 x1 x2 2
x1 x2 u 6 x1 , x2 u 0Funkcija cilja moze se napisati u obliku pronalazenja maksimuma:
max f ( x) ! x12
3 2 x2 x1 x2 2
Na osnovu funkcije cilja i ograni enja mogu se definisati odgovaraju e matrice:
1 0 , c ! 1 , A ! 1 , b ! ?6 A H ! 0 3 1 1 2
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 15
Metodi Optimizacije
U ovom slucaju nemamo X1X2 deo pa su u matrici H na njihovim mestima nule. Pa su matrice B, X i D:
2 0 1 1 0 0 B ! 0 3 1 0 1 0 1 1 0 0 0 1
X ! ?x1Uz uslove:
x2
u1 \1 \ 2
s1 A
T
D ! ?1 1 6
A
T
X i X n m i ! 0; i ! 1...(n m)X i u 0; i ! 1...(2 n 2m)
Posle sredjivanja dobijaju se jednacine:
2 x1 u1 \1 ! 1 3 x2 u1 \ 2 ! 1 x1 x2 s1 ! 6Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 16
Metodi Optimizacije
X1
X2
U1
Z1
Z2
S1
Y1
Y2
Y3
D
Inicijalna tabela Y1 Y2 Y3 2 0 1 -3 0 3 1 -4 -1 -1 0 0 -1 0 0 0 0 -1 0 0 0 0 -1 1 1 0 0 0 0 1 0 0 0 0 1 0 1 1 6
Prva iteracija Y1 X2 Y3 2 0 1 -3 0 1 0 0-1 -1/3 1/3
-1 0 0 1
0 -1/3 1/3 -1/3
0 0 -1 1
1 0 0 0
0 1/3 -1/3 -1/3
0 0 1 0
1 1/3 17/3
2/3
Druga iteracija X1 X2 Y3 1 0 00
0 1 00
-1/2 -1/3 5/6 -5/6
-1/2 0 1/2
0 -1/3 1/3
0 0 -11
1/2 0 1/2 3/2
0 1/3 -1/3 4/3
0 0 10
1/2 1/3 31/6
-1/2 -1/3
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 17
Metodi Optimizacije
Tre a iteracija X1 X2 X3 1 0 0 0 0 1 0 0 0 0 1 01/10 1/5 3/5
0 18/5 -1/5 -2/5 -1/5 1/5 2/5 12/5 2/5 -6/5 -3/5 -2/5 6/5 31/51/5 -3/5 -1/5 -1/5 0
0
0
1
1
1
Zaklju uje se da je optimalno re enje kori enjem Simplex metode:
X1 !
18 12 ; X2 ! ; 5 5
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 18
Metodi Optimizacije
Kvazi - Njutnov metod (sa ograni enjima, SQP)
Kvazi - Njutnov metod se smatra najefikasnijim , najpouzdanijim i op te primenljivim , daleko je superiorniji od drugih metoda. U oblasti in enjerskog dizajna ova metoda se preporu uje kao aplikacija za naj iru upotrebu . Problem kvadratnog programiranja mo e se blago izmeniti da uklju i informaciju krivine za Lagran evu funkciju, u kvadratnoj funkciji cilja. Po to je prili no te ko i dosadno ra unati izvode drugog reda Lagran eve funkcije, oni se aproksimiraju koriste i samo informacije o izvodima prvog reda. Kod Kvazi - Njutnovog metoda bez ograni enja koriste se gradijenti funkcije cilja za dve ta ke da bi se aproksimirala Hessian matrica funcije cilja. Kod Kvazi - Njutnovog metoda sa ograni enjima koristi se gradijent Lagran eve funkcije za dve ta ke da bi se a urirala aproksimacija Hessian matrice Lagran eve funkcije.To se naziva Kvazi - Njutnov metod. Naziva se i Sekvencijalno kvadratno programiranje (Sequential quadratic programming, SQP) ili Rekurzivno kvadratno programiranje (Recursive quadratic programming, RQP). Ideja re avanja Kvazi - Njutnovom metodom je prili no jednostavna i direktna, ali i veoma efektivna .
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 19
Metodi Optimizacije
Izvo enje problema kvadratnog programiranjaPostoji nekoliko na ina izvo enja problema kvadratnog programiranja (QP) koji je potrebno re iti za svaku iteraciju optimizacije. Nije potrebno detaljno razumeti izvo enje QP problema, da bi se koristio Kvazi - Njutnov metod. Uobi ajeno je izvoditi QP problem uzimaju i u obzir samo jednakost ograni enih problema optimizacije minimizovati f ( x) sa ograni enjima hi ( x) ! 0; i ! 1.... p Prvi korak derivacije QP problema je da se napi u potrebni KKT uslovi za prethodno definisan problem, zatim se re avaju rezultuju e nelinearne jedna ine Njutnovom metodom. Svaka iteracija Njutnove metode mo e biti protuma ena kao ekvivalent re enja QP problema. U narednim izvo enjima smatra emo da su sve funkcije dva puta diferencijabilne i gradijenti svih ograni enja su linearno nezavisni. Lagran eva funkcija za prethodno dat problem optimizacije jep
L( x, v) ! f ( x) vi hi ( x) ! f ( x) v h( x)i !1
gde je vi Lagran ev mno itelj za i-to ograni enje jednakosti hi ( x ) ! 0; Potrebni KKT uslovi daju
L( x, v ) ! 0 ,
p
f ( x) vi hi ( x) ! 0i !1
hi ( x) ! 0; i ! 1.... pBr. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 20
Metodi Optimizacije
Ovo su nelinearne jedna ine pa se mogu re iti Njutn - Rafsonovom metodom. Prethodne jedna ine se predstavljaju kao
F ( y) ! 0gde su F i y
L F ! h ( n pv1)
x F ! v ( n pv1)
y(k) je dato kao re enje sistema linearnih jedna ina
F T ( y ( k ) ) (y ( k ) ! F ( y ( k ) )gde je F Jakobian matrica za nelinearne jedna ine ija i-ta kolina je gradijent funkcije Fi(y) dimenzija (n p) v (n p) Zamenom definicija F i y dobijamo 2 L N T N 0 (k )
(L h
(k )
(L ! h
(k )
2 L je m v n Hessian matrica Lagran eve funkcije, N je n v p matrica ija jei-ta kolona gradijent ograni enja hi , (x ( k ) ! x ( k 1) x ( k ) ,
(v ( k ) ! v ( k 1) v ( k ) .
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 21
Metodi Optimizacije
Prethodna jedna ina se mo e napisati u druga ijem obliku ako prvu vrstu napi emo kao
2 L( k ) (x ( k ) N ( k ) (v ( k ) ! L( k )zamenom (v ( k ) i L( k ) dobija se
2 L( k ) (x( k ) N ( k ) (v( k 1) v( k ) ) ! f ( x ( k ) ) N ( k ) v( k )ili jednostavnije
2 L( k ) (x ( k ) N ( k )v ( k 1) ! f ( x ( k ) )iz prethodnih jedna ina dobijamo
2 L N T N 0
(k )
(x ( k ) ( k 1) v
(k )
f ! h
(k )
Njutn - Rafsonovom iterativnom procedurom se nastavlja re avanje potrebnih KKT uslova dok kriterijum zaustavljanja ne bude zadovoljen. Prethodna jedna ina je re enje pojedinih QP problema definisanih za k-tu iteraciju minimizovati uz linearna ograni enja:
f T (x 0.5(xT 2 L(x
hi n( i )T (x ! 0;gde jeBr. indeksa
i ! 1...... p
n ( i ) gradijent funkcije hi .Goran Stan evi Dimitrije VasoviIme i PrezimeDatum
1191/10 1059/10
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 22
Metodi Optimizacije
Lagran eva funkcija za ovaj problem izgleda ovako
L ! f (x 0.5(x L(x vi ( hi n(i ) (x)T T i !1
2
p
T
KKT uslovi (ako je
(x nepoznata promenljiva) daju
L ! 0;T
f 2 L(x Nv ! 0
hi n( i ) (x ! 0;
i ! 1...... p
Kao u Njutnovoj metodi za bezuslovne probleme, re enje (x se tretira kao pravac pretra ivanja. Definisanjem pravca pretra ivanja d kao (x i uklju ivanjem ograni enja nejednakosti, QP problem se defini e kao minimizovati uz ograni enja:
f ! cT d 0.5d T Hd
n(i ) d ! ei ;a( i )T
T
i ! 1...... p
d e bi ;
i ! 1......m
gde je c gradijent funkcije cilja a H je Hessian matrica 2 L .
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 23
Metodi Optimizacije
Kvazi - Njutnova aproksimacija Hessian matriceKao kod Kvazi - Njutnove metode za bezuslovne probleme, mo emo aproksimirati Hessian matricu Lagran eve funkcije za probleme sa ograni enjima. Pretpostavljamo da postoji aproksimativna Hessian matrica H ( k ) za k-tu iteraciju i elimo da na emo H ( k 1) . Mo e se iskoristiti BFGS formula za direktno a uriranje Hessian matrice. Va no je napomenuti da a urirana Hessian matica treba da bude pozitivno definisana jer tada QP problem ostaje striktno konveksan. Prema tome ostaje jedinstven pravac pretra ivanja. Kori enjem standardne BFGS formule mo e se dobiti jedini na ili neodre ena Hessian matrica. Da bi se izbegao taj problem koristi se modifikovana BFGS formula . Pre nego to dobijemo kona nu formulu potrebno je izra unati nekoliko posrednih skalara i vektora. Vektor promene dizajna ( E k ! korak):
s(k ) ! E k d (k )Vektor:
z (k ) ! H (k )s(k )Razlika u gradijentima Lagran eve funkcije u dve ta ke:
y ( k ) ! L( x ( k 1) , u ( k ) , v( k ) ) L( x ( k ) , u ( k ) , v ( k ) )Skalar:
\1 ! s ( k ) y ( k )
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 24
Metodi Optimizacije
Skalar:
\2 ! s(k ) z (k )Skalar:
U !1Skalar:
ako je
\1 u 0.2\ 2 , u protivnom U ! 0.8\ 2 / (\1 \ 2 )
w( k ) ! U y ( k ) (1 U ) z ( k )Skalar:
\ 3 ! s ( k ) w( k )
nv n
korekciona matrica:
D ( k ) ! (1 / \3 ) w( k ) w( k )
T
nv n
korekciona matrica:
E ( k ) ! (1 / \ 2 ) z ( k ) z ( k )
T
Sa prethodnom definicijom matrica D ( k ) i E ( k ) , Hessian matrica se a urira ovako:
H ( k 1) ! H ( k ) D ( k ) E ( k )Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 25
Metodi Optimizacije
Primer SQP:Izvr iti dve iteracije SQP algoritma minimizovati uz ograni enja:
f ( x) ! x12 x2 2 3 x1 x2
1 1 g1 ( x) ! x12 x2 2 1.0 e 0 6 6
g 2 ( x ) ! x1 e 0
g3 ( x) ! x2 e 0Po etna ta ka je (1,1), R0 ! 10, K ! 0.5, I1 ! I 2 ! 0.001
Re enje:Prva iteracija SQP algoritma je ista kao kod CSD algoritma. Rezultati prve iteracije su:
d (0) ! (1,1);
E 0 ! 0.5, x (1) ! (1.5,1.5) u (0) ! (0,0,0); R1 ! 10, H (0) ! I .
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 26
Metodi Optimizacije
Druga iteracija: za ta ku x ! (1.5,1.5) funkcija cilja i funkcije ograni enja i njihovi gradijenti su:(1)
f ! 6.75; f ! (1.5, 1.5) g1 ! 0.25; g1 ! (0.5,0.5) g 2 ! 1.5; g 2 ! (1,0) g 3 ! 1.5; g 3 ! (0, 1)defini u se vektori
s (0) ! E 0 d (0) ! (0.5,0.5) z (0) ! H (0) s (0) ! (0.5,0.5)Po to je u f .(0)
! (0,0,0) , gradijent Lagran a L je gradijent funkcije cilja
Vektor y (0) se ra una:
y (0) ! f ( x (1) ) f ( x (0) ) ! ( 0.5, 0.5)Skalari
\1 i \ 2 :
\1 ! s (0) y (0) ! 0.5
\ 2 ! s (0) z (0) ! 0.5
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 27
Metodi Optimizacije
po to je
\1
0.2\ 2 :
U ! 0.8(0.5) / (0.5 0.5) ! 0.4w(0) ! 0.4( 0.5, 0.5) (1 0.4) / (0.5,0.5) ! (0.1,0.1)
\ 3 ! ( 0.5, 0.5) (0.1,0.1) ! 0.1Korekcione matrice:(0)
D
0.1 0.1 ! ; 0.1 0.1
E
(0)
0.5 0.5 ! 0.5 0.5
Kona no a urirana Hessian matrica je(0)
H
1 ! 0
0 0.1 0.1 0.5 0.5 0.6 0.4 ! 1 0.1 0.1 0.5 0.5 0.4 0.6
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 28
Metodi Optimizacije
Sa a uriranom Hessian matricom i ostalim podacima koji su prethodno izra unati, QP problem je definisan kao: minimizovati
1 f ! 1.5d1 1.5d 2 (0.6d12 0.8d1d 2 0.6d2 2 ) 2sa ograni enjima
0.5d1 0.5d 2 e 0.25, d1 e 1.5, d 2 e 1.5,QP problem je striktno konveksan i ima jedinstveno re enje. Kori enjem KKT uslova re enje je
d (1) ! (0.25,0.25),
u (1) ! (2.9,0,0)
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 29
Metodi Optimizacije
Primer QP (Matlab)Na i vrednost x koji minimizuje
sa ograni enjimax1 + x2 2 x1 + 2x2 2 2x1 + x2 3 0 x1, 0 x2.
u matri nom obliku
gde su
1. Unose se koeficijenti matrica:H = [1 -1; -1 2]; f = [-2; -6]; A = [1 1; -1 2; 2 1]; b = [2; 2; 3]; lb = zeros(2,1);
2. Setovanje algoritma:opts = optimset('Algorithm','active-set','Display','off');Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 30
Metodi Optimizacije
3. Poziva se quadprog:[x,fval,exitflag,output,lambda] = ... quadprog(H,f,A,b,[],[],lb,[],[],opts);
4. Ispituje se krajnja ta ka, vrednost funkcije i exit flag:x,fval,exitflag x = 0.6667 1.3333 fval = -8.2222 exitflag = 1
Vrednost exitflag = 1, zna i da je rezultat lokalni minimum. Po to je H pozitivna odre ena matrica, problem je konveksan pa je minimum globalni minumum. Vidi se da je H pozitivna odre ena matrica po to su sve njene sopstvene vrednosti pozitivne:
eig(H) ans = 0.3820 2.6180
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011
MA INSKI FAKULTET U BEOGRADU
Predmet:
Seminarski rad Strana 31
Metodi Optimizacije
Literatura:[1] Jasbir S. Arora, Introduction to Optimum Design, Elsavier Inc. 2004 [2] Vera Kova evi - Vuj i , Nelinearno programiranje (predavanja) [3] http://en.wikipedia.org/wiki/Quadratic_programming [4] http://www.mathworks.com/help/toolbox/optim/ug/quadprog.html
Br. indeksa
1191/10 1059/10
Goran Stan evi Dimitrije Vasovi
Ime i Prezime
Datum
Ocena
Pregledao
decembar 2011