BAB II TINJAUAN PUSTAKA
2.1.3 Pendekatan optimisasi kuhn-tucker
(2.5)
Untuk memiliki nilai minimum lokal, kita memerlukan matriks Hessian untuk memiliki sebuah property yang disebut dengan positive definiteness.
Khususnya, untuk fungsi kuadrat, matriks hessian H adalah konstan. Untuk fungsi obyektif yang rata, kondisi yang diperlukan untuk minimum pada masalah optimisasi tanpa pembatas adalah ( ) ( ) Kondisi yang cukup untuk minimum adalah ( ) dan ( ) .
Notasi singkat ( ) merepresentasikan kondisi positive definiteness untuk matriks Hessian dari derivatives parsial. Ini menunjukkan bahwa kondisi untuk positive definiteness adalah ekivalen:
Positive definiteness dari Hessian 1.
2. memiliki spectrum positif (kumpulan nilai eigen)
3. (Cholesky) factor dari tersebut dengan elemen diagonal dari
4. Semua pengganda dalam eliminasi Gaussin tanpa pivot (deretan susunan kolom) adalah positif.
5. Setiap anggota lebih kecil dari adalah positif.
2.1.3 Pendekatan optimisasi Kuhn-Tucker
Pada bagian ini ada beberapa teori dari Gill, Muray dan Wright. Dalam papernya, Kuhn and Tucker membentuk kondisi untuk titik optimal dibatasi oleh fungsi nonlinier 𝑓. Kondisi ini yang disebut Kuhn-Tucker disajikan untuk berbagai bentuk masalah optimisasi yang terus menerus dibatasi.
Teknik tradisional menggunakan pengali lagrange (Lagrange multiplier) untuk menangani masalah ini masih sangat kuat, secara teoritis pendekatan yang
paling banyak digunakan dalam praktek, baik dalam metode analitik dan maupun numerik
1. Pembatas persamaan linier
Mendefinisikan masalah pembatas persamaan linier (Linear Equality constraints Problem - LEP) :
Minimum F(x) x ∈
Subject untuk ̂ ̂
a. Kondisi Optimisasi
Untuk setiap kasus yang ada dibawah ini, tujuannya adalah untuk mengkarakteristikkan langkah yang ada saat ini dan kemudian untuk menyimpulkan beberapa kondisi yang diperlukan dan kemudian beberapa kondisi yang minimum lokal. Mulai dengan jenis yang paling sederhana dari kendala linear dan iterasi. Karena setiap langkah p dari x hingga x + p harus memenuhi ̂ p = 0, langkah p harus menjadi elemen dari ruang kosong (inti) dari matriks ̂.
Biarkan basis untuk ruang kosong dari ̂ dibentuk oleh kolom dari matriks Z.
Pemeriksaan deret Taylor tentang titik optimal yang diusulkan mengungkapkan bahwa harus memiliki g( ) = 0. Vektor g( ) disebut gradient yang diproyeksikan pada . Titik gradien yang diproyeksikan hilang disebut titik stasioner terbatas. Juga mendefinisikan matriks Hessian yang di proyeksikan G( )Z. Pada titik seperti ini mudah untuk menunjukkan bahwa vector gradient harus merupakan kombinasi linear dari baris ̂ , ada vector sedemikian rupa .
g( ) =∑ ̂i = ̂T (2.6) dimana adalah vector dari Lagrange multipliers. Dengan cara yang sama
dengan kasus yang tidak dibatasi, kita dapat memperoleh kondisi optimalitas orde kedua. Perhatikan bahwa kondisi analog dengan kasus yang tanpa kendala, kecuali bahwa proyeksi gradient dan proyeksi Hessian dilibatkan.
LEP - kondisi yang diperlukan untuk minimum
( ) (2.7)
( ) ̂ (2.8)
( ) (2.9)
Kedua dan ketiga dari kondisi ini adalah ekivalen, dan bersama keempat menjadi cukup jika memperkuat yang terakhir menjadi ketidaksamaan yang tepat, seperti:
( ) (2.9)
2. Pembatas ketidaksamaan linier
Menetapkan masalah pembatas ketidaksamaan linier (Linear Inequality constrained Problem – LIP):
minimum F(x) ∈
subject untuk
Kita perlu membedakan antara pembatas yang tepat dan yang tidak tepat.
Kita anggap bahwa titik ̂ adalah layak. Pembatas ̂ dikatakan aktif (binding) jika ̂ , dan tidak aktif jika ̂ pembatas di katakan jika itu aktif atau tidak aktif. Jika ̅ , pembatas dikatakan melanggar ̅. Kendala aktif memiliki arti khusus karena membatasi gangguan pada titik yang layak.
Dapat mendefinisikan dua kategori gangguan yang layak berhubungan dengan pembatas ketidaksetaraan. Pertama, jika
aiT p = 0 (2.10)
maka arah p diistilahkan sebagai gangguan yang mengikat dengan memperhatikan batasan, karena batasan ini tetap aktif di semua titik ̂ + αp. Sebuah langkah yang mengikat dikatakan tetap pada kendala jika
aiT p > 0 (2.11) maka p disebut gangguan yang tidak mengikat yang berhubungan dengan pembatas. Karena kendala ini akan menjadi tidak aktif pada titik yang terganggu ̂ + αp , dengan asumsi bahwa α > , seperti langkah positif sepanjang gangguan yang tidak mengikat dikatakan bergerak keluar dari pembatas. Untuk menentukan apakah titik layak x* juga optimal untuk LIP, kita harus mengidentifikasi pembatas aktif. Biarkan baris t dari matriks ̂ berisi koefisien dari kendala aktif di x*, dengan konvensi yang sama untuk vector ̂ sehingga ̂ ̂sekali lagi biarkan Z menjadi matriks yang kolomnya membentuk basis untuk himpunan vektor orthogonal ke baris ̂ .
Dengan mempertimbangkan ekspansi seri taylor untuk ƒ tentang x* selama gangguan mengikat p = ZpZ , memperoleh
ZTg(x*) = 0 (2.12)
ini ekivalen dengan
g(x*) = ̂T * (2.13)
untuk memastikan bahwa gangguan tidak mengikat tidak menuju arah penurunan (arah untuk fungsi obyektif menurun), maka perlu memaksakan kondisi bahwa semua lagrange multipliers adalah tidak negatif. selanjutnya, kita memperoleh kondisi orde kedua yang diperlukan dengan cara yang mirip dengan LEP, di mana Hessian yang diproyeksikan ZTG(x*)Z harus bersifat semi definite. dalam ringkasan ini, memiliki kondisi yang diperlukan:
LIP --- kondisi yang diperlukan untuk minimum
̂ ̂ (2.14)
( ) (2.15)
( ) ̂ (2.16)
(2.17)
( ) (2.18)
Adapun untuk kasus kendala terbatas, yang kedua dan ketiga dari kondisi ini sebenarnya ekivalen. Algoritma untuk LIP lebih rumit dari pada untuk LEP, karena set kendala yang aktif pada solusi (mungkin set kosong) umumnya tidak diketahui. Kondisi yang memadai juga dapat diberikan untuk LIP, tetapi komplikasi lagrange multipliers nol berarti bahwa kita harus secara eksplisit merumuskan set alternatif dari kondisi yang cukup.
LIP --- kondisi untuk minimum
̂ ̂ (2.19)
( ) (2.20)
( ) ̂ (2.21)
(2.22)
( ) (2.23)
yang kedua dan ketiga dari kedua kondisi ini ekivalen.
Ketika lagrange multipliers nol ada, kondisi yang cukup termasuk pembatas tambahan pada matriks Hessian untuk memastikan bahwa F menampilkan kelengkungan positif sepanjang gangguan yang mengikat untuk semua pembatas dengan lagrange multipliers positif, tetapi mungkin mengikat atau tidak mengikat untuk pembatas dengan lagrange multipliers nol. Misalkan Ȃ+
berisi koefisien dari batasan aktif dengan lagrange multipliers positif dan biarkan Z+ menjadi matriks yang kolomnya menjurai ruang nol Ȃ+. Dalam hal ini, kondisi yang cukup untuk x* menjadi minimum lokal yang kuat dari LIP adalah sebagai berikut.
LIP ___ kondisi alternatif untuk yang minimum
̂ ̂ (2.24)
( ) (2.25)
( ) ̂ (2.26)
(2.27)
( ) (2.28)
yang kedua dan ketiga dari kedua kondisi ini adalah ekivalen.
3. Kendala kesetaraan nonlinier
Mendefinisikan masalah nonlinier yang dibatasi (Nonlinear Equality-constrained Problem-NEP):
Minimum ( ) ∈
subject untuk ̂( )
Berbeda dengan kasus LEP, di mana semua pembatas tertentu saja yang linier, pada umumnya tidak ada arah kelayakan sehingga ̂( ) untuk semua cukup kecil. Untuk mempertahankan kelayakan, harus bergerak searah busur. seperti busur yang ditentukan oleh persamaan ( ) dengan ( ) Kemudian, adalah bersinggungan dengan busur di . kondisi dasar yang diperlukan untuk optimalitas adalah
̂ ( ) (2.29) ini ekivalen dengan
̂ =0 (2.30) ̂ adalah matriks jacobian dari pembatas, ditentukan oleh
= (2.31)
vektor yang ortogonal terhadap deret jacobian pada bukanlah kondisi yang cukup untuk bersinggungan dengan busur yang layak. Untuk mengilustrasikan ide ini, pertimbangkan dua pembatas
̂ ( ) ( ) + –1 (2.32) ̂ ( ) ( ) + –1 (2.33)
Titik asal adalah satu-satunya titik yang layak, sehingga tidak ada busur yang layak. Tetapi setiap vektor dari bentuk ( ) memenuhi kondisi orthogonalitas jacobian. Kita membutuhkan kondisi yang lebih kuat pada fungsi kendala untuk memastikan bahwa p bersinggungan dengan busur yang layak.
Asumsi lebih lanjut seperti itu disebut sebagai kualifikasi pembatas, dan dapat mempunyai banyak bentuk. Satu kualifikasi pembatas praktis adalah bahwa gradien kendala pada x* bebas linear. Ini ekivalen dengan pernyataan bahwa matriks  (x *) memiliki peringkat baris penuh.
untuk x* menjadi optimal, F stasioner harus sepanjang busur yang layak adalah:
( ( )) (2.34) Dimana
Âᵀ p = (2.35)
Jika Z (x*) adalah matriks yang kolomnya dari basis untuk ruang null Â, yaitu himpunan vektor orthogonal ke deretan Â, maka kita harus
Z(x*)ᵀg(x*) = 0 (2.36)
Kondisi analog ini dengan kondisi dalam kasus yang dibatasi secara linier, kecuali matriks Z tidak lagi konstan. Vektor Z (x*)T g (x*) diistilahkan dengan gradien F yang diproyeksikan pada x*. Seperti sebelumnya kondisi bahwa gradien yang diproyeksikan adalah nol pada x*, ekivalen dengan kondisi bahwa g(x*) harus merupakan kombinasi linear dari baris Â(x*)
g(x*) = Â(x*)Tλ* (2.37) untuk beberapa t-vektor dari lagrange multipliers.
mendefinisikan fungsi lagrangian sebagai
L(x,λ) = F(x) – λTĉ(x) (2.38) Kondisi yang diperlukan untuk optimalitas x* kemudian dapat dinyatakan sebagai x* adalah titik stasioner dari Lagrangian ketika λ = λ*. Untuk kondisi yang diperlukan urutan kedua kita mendefinisikan Hessian of the Lagrangian
( ) ( ) ∑ ( ) (2.39)
pTW(x*,λ*)p≥ (2.40) setara dengan
( ) ( *) ( ) (2.41)
Hessian yang diproyeksikan dari fungsi lagrangian.
NEP – kondisi yang diperlukan untuk minimum
̂( *) (2.42)
( ) ( ) (2.43)
( *) ̂( *) * (2.44)
( ) ( *) ( ) (2.45)
Yang kedua dan ketiga dari kondisi ini adalah ekivalen, dan mempertajam ketimpangan pada Hessian lagrangian yang diproyeksikan dalam persamaan terakhir pada kondisi yang cukup untuk kendala minimum:
( ) ( *) ( ) (2.46
4. Kendala Ketidaksetaraan Nonlinier Mendefinisikan masalahnya :
minimum F(x) ∈
Subject untuk ̂( ) , i = 1,...,m.
Seperti dalam kasus linier (LIP), kita perlu mengidentifikasi pembatas yang aktif.
Hanya pembatas ini yang membatasi gangguan layak di x*. Sekali lagi kita akan menganggap kualifikasi batasan berlaku. Kondisi yang diberikan ada di bawah ini.
NIP —kondisi yang diperlukan untuk minimum
( ) ̂( ) (2.47)
( )Tg( )=0 (2.48)
g( ) = ̂( )T (2.49)
i = 1,...,t (2.50)
Z( )TW( ) ( )≥ (2.51)
Lagrange multiplier nol menyebabkan masalah dalam menyatakan kondisi yang cukup untuk NIP, seperti dalam kasus LIP. Kita nyatakan satu set kondisi pertama yang cukup untuk NIP yang mana NIP tersebut terhindar dari masalah dengan mengasumsikan semua lagrange multiplier adalah positif:
NIP - kondisi minimum
( )> 0 with ̂ ( ) = 0 (2.52)
( ) ( ) = 0 (2.53)
g( ) = ̂( ) (2.54)
> 0, i= , …,t (2.55)
( ) ( ) ( ) > 0 (2.56)
Ketika lagrange multiplier nol ada, kondisi yang mencukupi termasuk pembatasan tambahan pada matrik Hessian dari fungsi lagrangian untuk memastikan bahwa F menampilkan kelengkungan positif di sepanjang busur layak yang mengikat atau tidak mengikat untuk pembatas dengan lagrange multiplier nol, tetapi ada yang mengikat atau tidak mengikat untuk pembatas dengan lagrange multiplier nol. ̂ ( ) berisi koefisien dari pembatas aktif dengan lagrange multiplier positif dan ( ) menjadi matrik yang kolomnya kosong ̂ ( ). Pada kasus ini, kondisi yang cukup menjadi paling minimum NIP adalah sebagai berikut:
NIP – kondisi alternatif untuk minimum
( ) ̂( ) (2.57)
( ) ( ) (2.58)
( ) ̂( ) (2.59)
(2.60)
( ) ( ) ( ) (2.61)