PENGEMBANGAN PENCARIAN GARIS
(LINE SEARCH) UNTUK METODE
SUBGRADIEN
TESIS
Oleh
MEILINDA SIAHAAN 097021076/MT
PENGEMBANGAN PENCARIAN GARIS
(LINE SEARCH) UNTUK METODE
SUBGRADIEN
T E S I S
Diajukan Sebagai Salah Satu Syarat
untuk Memperoleh Gelar Magister Sains dalam Program Studi Magister Matematika pada Fakultas Matematika dan Ilmu Pengetahuan Alam
Universitas Sumatera Utara
Oleh
MEILINDA SIAHAAN 097021076/MT
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA
Judul Tesis : PENGEMBANGAN PENCARIAN GARIS
(LINE SEARCH) UNTUK METODE
SUBGRADIEN Nama Mahasiswa : Meilinda Siahaan Nomor Pokok : 097021076
Program Studi : Matematika
Menyetujui, Komisi Pembimbing
(Prof. Dr. Tulus, M.Si) (Dr. Sutarman, M.Sc)
Ketua Anggota
Ketua Program Studi Dekan Fakultas MIPA
Telah diuji pada
Tanggal 19 Januari 2012
PANITIA PENGUJI TESIS
Ketua : Prof. Dr. Tulus, M.Si Anggota : 1. Dr. Sutarman, M.Sc
ABSTRAK
Optimisasi merupakan masalah memaksimalkan atau meminimalkan suatu fungsi tertentu dengan kendala atau tanpa kendala. Metode subgradien adalah algo-ritma yang sederhana untuk meminimasi fungsi konveks non-diferensial. Tahap-an dalam metode ini adalah menentukTahap-an step-size (ukuran langkah) dan step-length (panjang langkah) yaitu pemilihan step-size dan step-length yang tepat akan memberikan solusi yang lebih efisien. Salah satu kekurangan dari metode subgradien adalah proses yang tergolong lambat dalam menentukan urutan step-length untuk memperbaharui iterasi secara berturut-turut. Disini akan dibahas tentang pengembangan algoritma pemrograman nonlinier untuk permasalahan-permasalahan yang dikelompokkan oleh himpunan skalar besar dari kendala linier dan pangkat signifikan dalam fungsi tujuan nonlinier.
ABSTRACT
Optimization is a problem to maximize or minimize a certain function with cons-traints or without conscons-traints. The subgradient method is a simple algorithm for minimizing a nondifferentiable convex. Steps in this method are to determine step-size and step-length which the proper selection of step-size and step-length will provide more efficient solutions. One of the main drawbacks of the subgra-dient method is the process far slower to determine the sequence of step-lengths to update successive iterates. Here will be discussed about the development of algo-rithms for nonlinear programming problems are classified by the set of constraints linear scalar and rank significantly in the nonlinear objective function.
KATA PENGANTAR
Dengan segala kerendahan hati dan penuh sukacita, penulis mengucapkan puji syukur ke hadirat Tuhan Yang Maha Kuasa atas segala anugrah dan berkat-Nya yang telah diberikan, sehingga penulis dapat menyelesaikan tesis dengan judul: PENGEMBANGAN PENCARIAN GARIS (LINE SEARCH) UNTUK METO-DE SUBGRADIEN. Tesis ini merupakan salah satu syarat untuk menyelesaikan studi pada Program Studi Magister Matematika Universitas Sumatera Utara.
Pada kesempatan ini, penulis menyampaikan ucapan terima kasih dan peng-hargaan yang sebesar-besarnya kepada:
Prof. Dr. dr. Syahril Pasaribu, DTM&H, MSc(CTM). Sp.A(K)selaku Rektor Universitas Sumatera Utara.
Dr. Sutarman, M.Sc selaku Dekan Fakultas Matematika dan Ilmu Penge-tahuan Alam Universitas Sumatera Utara yang telah memberikan kesempatan kepada penulis untuk mengikuti Program Studi Magister Matematika di Univer-sitas Sumatera Utara serta selaku Pembimbing Kedua yang juga telah banyak memberikan bimbingan kepada penulis dalam penulisan tesis ini.
Prof. Dr. Herman MawengkangKetua Program Studi Magister Matematika pada Fakultas Matematika Dan Ilmu Pengetahuan Alam Universitas Sumatera Utara dan juga selaku komisi pembanding tesis ini, yang telah dengan penuh kesabaran memotivasi dan membimbing penulis hingga selesainya tesis ini.
Dr. Saib Suwilo, M.Scselaku Sekretaris Program Studi Magister Matematika pada Fakultas Matematika Dan Ilmu Pengetahuan Alam Universitas Sumatera Utara yang telah banyak memberikan motivasi belajar selama masa perkuliahan.
Drs. Sawaluddin, M.IT selaku anggota komisi pembanding yang telah mem-berikan masukan dalam perbaikan dan kesempurnaan tesis ini.
Seluruh Staf Pengajar pada Program Studi Magister Matematika Universitas Sumatera Utara yang telah banyak memberikan ilmu pengetahuan selama masa perkuliahan.
Saudari Misiani, S.Si selaku Staf Administrasi Program Studi Magister Ma-tematika Universitas Sumatera Utara yang telah banyak memberikan pelayanan yang baik kepada penulis selama mengikuti perkuliahan.
Seluruh rekan-rekan Mahasiswa angkatan 2009/2010pada Program Studi Magister Matematika Universitas Sumatera Utara yang telah memberikan bantu-an moril dbantu-an dorongbantu-an kepada penulis.
Secara khusus penulis menyampaikan terimakasih dan sayang yang men-dalam kepada orang tua penulis, Ayahanda Agustinus Siahaan dan Ibunda
Lus Editha Pardede, serta untuk abang, kakak dan adik-adik tersayang,Johan F. Siahaan, Netty K. Siahaan, Febriandi SiahaandanHendra P. Siahaan
yang senantiasa memberikan dukungan dan mendoakan keberhasilan penulis dalam menyelesaikan pendidikan ini.
Penulis juga mengucapkan terimakasih kepada Trisnawati Sitompul dan
Grup Golden Generation serta seluruh pihak yang tidak dapat penulis se-butkan satu persatu, penulis berterimakasih atas semua doa, semangat, dan ban-tuan yang diberikan, semoga Tuhan Yang Maha Kuasa membalaskan segala ke-baikan yang telah diberikan, Amin. Penulis menyadari tesis ini masih jauh dari sempurna, namun demikian penulis berharapan semoga tesis ini bermanfaat bagi pembaca dan pihak-pihak yang memerlukannya. Sekian dan terimakasih.
Medan, 19 Januari 2012 Penulis,
RIWAYAT HIDUP
DAFTAR ISI
Halaman
ABSTRAK i
ABSTRACT ii
KATA PENGANTAR iii
RIWAYAT HIDUP v
DAFTAR ISI vi
BAB 1 PENDAHULUAN 1
1.1 Latar Belakang 1
1.2 Perumusan Masalah 2
1.3 Tujuan Penelitian 2
1.4 Manfaat Penelitian 2
1.5 Metode Penelitian 2
BAB 2 KAJIAN PUSTAKA 4
BAB 3 LANDASAN TEORI 7
3.1 Fungsi Kontinu 7
3.2 Fungsi Tak Mulus 7
3.3 Derivatif Fungsi Tak Mulus 8
3.4 Pengertian Subgradien 9
3.5 Metode Subgradien 10
3.5.1 Aturan Dasar 11
3.5.2 Aturan Step-Size 11
3.5.4 Algoritma Metode Subgradien 13
BAB 4 PEMBAHASAN 14
4.1 Metode Dasar 15
4.1.1 Solusi Basic; Penyesuaian Bentuk Dasar 15
4.1.2 Variabel Superbasic 16
4.1.3 Metode Derivatif 18
4.2 Rangkuman 20
4.3 Implementasi 22
4.3.1 Ringkasan Prosedur 22
4.3.2 Proses Tiap Interasi 25
BAB 5 KESIMPULAN 26
5.1 Kesimpulan 26
ABSTRAK
Optimisasi merupakan masalah memaksimalkan atau meminimalkan suatu fungsi tertentu dengan kendala atau tanpa kendala. Metode subgradien adalah algo-ritma yang sederhana untuk meminimasi fungsi konveks non-diferensial. Tahap-an dalam metode ini adalah menentukTahap-an step-size (ukuran langkah) dan step-length (panjang langkah) yaitu pemilihan step-size dan step-length yang tepat akan memberikan solusi yang lebih efisien. Salah satu kekurangan dari metode subgradien adalah proses yang tergolong lambat dalam menentukan urutan step-length untuk memperbaharui iterasi secara berturut-turut. Disini akan dibahas tentang pengembangan algoritma pemrograman nonlinier untuk permasalahan-permasalahan yang dikelompokkan oleh himpunan skalar besar dari kendala linier dan pangkat signifikan dalam fungsi tujuan nonlinier.
ABSTRACT
Optimization is a problem to maximize or minimize a certain function with cons-traints or without conscons-traints. The subgradient method is a simple algorithm for minimizing a nondifferentiable convex. Steps in this method are to determine step-size and step-length which the proper selection of step-size and step-length will provide more efficient solutions. One of the main drawbacks of the subgra-dient method is the process far slower to determine the sequence of step-lengths to update successive iterates. Here will be discussed about the development of algo-rithms for nonlinear programming problems are classified by the set of constraints linear scalar and rank significantly in the nonlinear objective function.
BAB 1 PENDAHULUAN
1.1 Latar Belakang
Dalam masalah optimisasi, strategi pencarian garis (line search) adalah salah satu pembuktian dasar iteratif untuk menemukan lokal minimumx∗ dari fungsi objek-tif f : Rn → R. Pembuktian pencarian garis (line search) yaitu menemukan
arah dari fungsi objektif f yang akan dikurangi dan menghitung ukuran langkah yang akan menentukan seberapa jauhxharus bergerak dari arah tersebut. Untuk menentukan arah yang dicari, ada beberapa metode yang sudah ditemukan, seper-ti metode Newton, metodeCutting Plane, metodeInterior-Point, metode Gradien dan beberapa metode lainnya. Metode gradien adalah salah satu metode yang mampu menyelesaikan masalah optimisasi nonlinier. Pada perkembangan selan-jutnya terdapat metode subgradien yang merupakan pengembangan dari metode gradien itu sendiri. (Luenberger, 1984)
Metode subgradien merupakan metode yang digunakan untuk memecahkan masalah optimisasi fungsi konveks non-diferensial. Metode ini pertama sekali dikembangkan oleh Shor di Uni Soviet pada tahun 1970. Metode ini mirip seperti metode gradien biasa pada fungsi diferensial, tetapi memiliki beberapa penge-cualian khusus. Seperti contoh, metode subgradien menggunakan beberapa lang-kah yang dapat diselesaikan dengan cepat, daripada perhitungan aproksimasi pen-carian garis pada metode gradien. (Boyd dan Mutapcic, 2007)
Metode subgradien ini lebih sederhana dan dapat diaplikasikan untuk ma-salah yang lebih bervariasi dibandingkan dengan metode Newton dan metode
interior-point. Metode ini juga mampu mengatasi masalah dengan adanya kendala. Tidak seperti metode gradien, metode subgradien ini bukan merupakan metode
interior-2
pointsehingga bisa digunakan untuk menyelesaikan masalah yang lebih rumit lagi. Untuk mengembangkan algoritma terdistribusi yang sederhana dilakukan dengan menggabungkan metode subgradien dengan teknik dekomposisi primal maupun dual. (Beltran dan Heredia, 2005)
1.2 Perumusan Masalah
Salah satu kelemahan metode subgradien dasar adalah proses yang dilakukan un-tuk menenun-tukan urutan step-length (jarak yang dilalui sepanjang waktu) dalam memperbaharui iterasi secara berturut-turut yang tergolong lama. Oleh sebab itu dilakukanlah pengembangan metode ini untuk memperoleh hasil yang lebih baik.
1.3 Tujuan Penelitian
Adapun yang menjadi tujuan dari penelitian ini adalah melakukan pengembangan
tentang pencarian garis (search line) dengan metode subgradien untuk memper-oleh hasil yang lebih baik yang digunakan untuk menyelesaikan masalah optimisasi non-diferensial seperti masalah dual Lagrange.
1.4 Manfaat Penelitian
Penelitian ini bermanfaat untuk memperkaya literatur tentang pencarian garis (search line) dengan metode subgradien.
1.5 Metode Penelitian
3
1. Menjelaskan dengan singkat pengertian pencarian garis dan metode subgra-dien.
2. Menganalisastep-length yang efektif untuk metode subgradien.
3. Membuat beberapa contoh untuk membandingkan efisiensi dari metode sub-gradien dasar dengan metode baru.
BAB 2
KAJIAN PUSTAKA
Optimisasi ialah suatu proses untuk mencapai hasil yang ideal atau optimal (nilai efektif yang dapat dicapai). Dalam disiplin matematika optimisasi merujuk pada studi permasalahan yang mencoba untuk mencari nilai minimal atau maximal dari suatu fungsi riil. Konsep optimisasi pada saat ini sudah menjadi dasar dari prinsip analsis masalah kompleks. (Luenberger, 2005)
Bentuk umum dari masalah pemrograman matematika adalah sebagai ber-ikut:
Minimize f(x)
Kendala hi(x) = 0 i= 1,2, . . . , m
gj(x)≤0 j = 1,2, . . . , r
x∈S
dimanax adalah pdimensi vektor yang tidak diketahui, hdan g nilai fungsi dari variabel x, dan S adalah himpunan dari subset ruang dimensip. Fungsi f meru-pakan fungsi objektif dari permasalahan dan persamaan maupun pertidaksamaan merupakan kendala yang ada.
Ada banyak permasalahan yang dicakup dalam masalah optimisasi, salah satunya adalah strategi pencarian garis (line search). Dalam menemukan solusi dari pencarian garis (line search), sudah banyak metode yang ditemukan. Bebe-rapa diantaranya adalah metode interior-point, metode Newton, metode cutting-plane, dan metode subgradien.
lini-5
yang besar sehingga hasil yang diperoleh membutuhkan waktu yang cukup lama. (Mitchell, 2005)
Metodecutting-planemerupakan metode yang digunakan utuk memecahkan masalah optimisasi konveks. Metode ini diperkenalkan oleh Cheney dan Goldstein (1959) dan Kelley (1959) secara terpisah. Metode ini dibuat untuk menemukan nilai minimum dari fungsi konveks f(x). Tetapi pada pemakaiannya, metode ini juga memberikan hasil yang lambat dan tidak stabil terutama pada kasus optimum.
Metode subgradien merupakan pengembangan dari metode gradien. Meto-de subgradien adalah metoMeto-de yang mampu menyelesaikan permasalahan dalam optimisasi non-diferensial seperti masalah dual Lagrange. Dalam perkembangan metode subgradien, Beltran dan Heredia (2004) menggabungkan metode cutting-plane dengan metode subgradien untuk memaksimasi fungsi dual dalam masalah
multiplier Langrange yang dinamakan metode subgradien radar. Permasalahan yang akan diselesaikan adalah masalah primal (P) yaitu:
Minimize f(x)
Kendala h(x) = 0
x∈D
dimanaf(x) : Rn→R, h(x) : Rn→Rm, danDmerupakan himpunan tak kosong
dalam Rn.
Sebagaimana biasanya, permasalahan dual (Lagrange) (D) dari (P) adalah sebagai berikut:
Untuk lebih mempermudah, defenisikan fungsi dual sebagai berikut:
6
Sehingga permasalahan diekspresikan menjadi:
max
λ∈Rmq(λ)
Metodecutting-plane tidak seperti metode subgradien, metode ini mengam-bil keuntungan dari informasi awal yang dikembangkan tiap waktu dalam me-minimisasi L(x, λ). Sedangkan metode subgradien mengambil keuntungan dari arah subgradien yang dikembangkan tiap waktu dalam meminimasi L(x, λ). Se-hingga perpaduan dari kedua metode itu menghasilkan penyelesaian yang lebih baik. Metode sugradien radar ini menggunakan informasi yang sama pada me-tode cutting-plane tetapi dari cara yang berbeda. Metode subgradien radar ini membagi permasalahan kedalam tiga kasus yaitu step-length radar, sifat positif dan negatif, dan sifat ketidaknegatifan.
Metode subgradien dengan pendekatan proyeksi gradien dipakai oleh Duchi dkk (2008) untuk menyelesaikan persoalan pembelajaran Gaussian Markov Ran-dom Fieldsberdimensi besar. Mereka memperlihatkan bahwa dengan pendekatan proyeksi gradien ini dapat meningkatkan kinerja metode subgradien untuk per-soalan berskala besar.
Nesterov (2012) mengajukan metode subgradien yang didasarkan pada pe-mutakhiran rekursif dari produk matriks/vektor dan nilai fungsi simetris untuk menyelesaikan persoalan optimisasi berskala besar.
BAB 3
LANDASAN TEORI
Pada bab ini akan dikemukakan beberapa konsep dan teori yang berhubungan dengan permasalahan optimisasi dalam pencarian garis (line search) dengan meto-de subgradien. Fungsi-fungsi berikut ini merupakan fungsi yang relevansi meto-dengan konsep dalam pencarian garis yakni:
3.1 Fungsi Kontinu
Definisi 3.1.1 Fungsi Kontinu: Misal f adalah fungsi yang didefinisikan pada himpunan D ⊂ Rn. Fungsi f dikatakan kontinu pada x0 ∈ D jika limx→x0f(x)
ada dan
lim
x→x0
f(x) =f(x0)
yang untuk selanjutnyaf dikatakan kontinu pada himpunanDjikaf kontinu pada setiap titik di D. Jika tidak memenuhi persyaratan fungsi kontinu, maka f disebut fungsi diskontinu.
3.2 Fungsi Tak Mulus
8
Fungsi tak mulus merupakan fungsi dengan diskontinu gradien yang di-bangun secara bertahap dalam teori dan aplikasi pemrograman matematika. Se-jauh ini teori pemrograman matematika mempertimbangkan kenyataan dasar dari analisis konveks untuk klasifikasi fungsi konveks, termasuk salah satunya adalah fungsi tak mulus dimana kegunaannya telah menjadi hal yang biasa dalam peng-gunaan gradien. (Shor, 1985)
Misalkankadalah bilangan integer tak negatif. Fungsi f dikatakan kelasCk
jika derivatif f′, f′′, , f(k) ada dan kontinu (kekontinuan otomatis berlaku untuk
semua derivatif seandainya tidak ada f(k)). Fungsi f dikatakan kelas C∞ , atau mulus jika mempunyai derivatif untuk semua orde. Kelas C0 terdiri atas semua
fungsi kontinu. Sedangkan kelas C1 terdiri atas semua fungsi diferensial dimana
derivatifnya kontinu atau disebut juga kekontinuan. Jadi, fungsi C1 sebenarnya
fungsi yang derivatifnya ada dan merupakan kelasC0.
3.3 Derivatif Fungsi Tak Mulus
Persamaan derivatif memiliki peranan yang semakin bertambah penting dalam beberapa aplikasi yakni dalam optimisasi, variasi kalkulus, persamaan diferen-sial, mekanik, dan teori kontrol. Oleh sebab itu akan diperkenalkan persamaan derivatif dari fungsi tak mulus f(.) pada interval [a, b]. Dalam hal ini menggu-nakan interval [0,1]. (kamyad, 2011)
Lemma 3.3.1 Misalkanh(.)∈C[0,1]danR1
0 η(x)h(x)dx= 0untuk semuaη(.)∈
C[0,1]. Diperoleh h(x) = 0 untuk semua x∈C[0,1].
Teorema 3.3.2 Misalkanf(.), g(.)∈C[0,1]danR1
0(v
′(x)f(x) +v(x)g(x))dx= 0
untuk sembarang v(.)∈C1[0,1], dimana v(0) = v(1) = 0. Maka diperoleh f(.)∈
9
optimal dari permasalahan fungsional optimisasi:
Minimize J(g(.)) = Pn
Sehingga fungsi tak mulus dapat didefinisikan sebagai berikut.
Definisi 3.3.1 Misalkan f(.) fungsi tak mulus kontinu dari interval [0,1] dan g∗(.) solusi optimal dari masalah fungsional optimisasi:
Minimize J(g(.)) =Pn
Definisi 3.4.1 Subdiferensial dari fungsi konveks f :Rn →Rpadax∈Rnadalah
himpunan ∂cf(x) dari vektor ξ∈Rn sehingga
∂cf(x) ={ξ ∈Rn|f(y)≥f(x) +ξT(y−x),∀y∈Rn}
10
Andaikan f : X → R adalah fungsi konveks dimana X ⊆ Rn adalah
him-punan konveks. Untuk kasus diferensiabel, f gradien ∇f(x′) ∈ Rn pada x′ ∈ X dimana yang menentukan perkiraan global f adalah f(x)≥f(x′) +∇f(x′)T(x− x′),∀x ∈ X. Sedangkan untuk kasus non-diferensiabel, f masih dapat mem-bangun perkiraan global f yaitu vektor g ∈Rn yang merupakan subgradien dari
f pada x′ ∈ X jikaf(x)≥f(x′) +gT(x−x′),∀x∈X.
3.5 Metode Subgradien
Metode subgradien adalah sebuah algoritma yang iteratif untuk memecahkan masalah optimisasi fungsi konveks non-diferensial. metode ini pertama sekali diperkenalkan oleh Shor, dkk pada tahun 1960 dan 1970. Metode ini lebih lam-ban dilam-bandingkan metode Newton pada saat meminimasi dua kali secara kontinu fungsi konveks diferensial. tetapi fungsi Newton gagal dalam menghadapi masalah non-diferensial yang rumit.
Dalam beberapa tahun, metodeinterior-pointdisarankan untuk meminimasi masalah konveks. Tetapi untuk meminimasi masalah konveks dengan dimensi yang cukup besar, metode subgradien lebih cocok digunakan karena metode ini membutuhkan penyimpanan yang sedikit.
Metode ini mirip dengan metode gradien biasa untuk fungsi diferensial, tetapi memiliki beberapa pengecualian yaitu:
1. Metode subgradien berlaku untuk non-diferensialf.
2. Step-length tidak dipilih berdasarkan pencarian garis (line search) seperti pada subgradien biasa. Pada beberapa kasus, step-length dapat lebih cepat diproses.
3. Tidak seperti metode gradien biasa, metode subgradien bukanlah metode
11
3.5.1 Aturan Dasar
Andaikan f :Rn→R adalah konveks. Untuk meminimasif, metode subgradien
menggunakan iterasi berikut:
x(k+1) =xk−αkg(k)
dimana xk adalah iterasi ke k, g(k) adalah subgradien f pada xk, dan ak > 0
adalah step-size ke k. Jadi pada setiap iterasi metode subgradien, akan diambil langkah berdasarkan subgradien negatif.
Diketahui bahwa subgradienf pada xadalah vektor sembarangg yang me-menuhi pertidaksamaan f(y)≥f(x) +gT(y−x) untuk semuay. Karenaf dapat
didiferensialkan, pilihan yang mungkin untuk g(k) adalah ∇f(x(k)), dan metode
subgradien kemudian direduksi ke metode gradien.
Karena metode subgradien bukan metodedescent, sehingga memungkinkan memantau nilai terbaik yang ditemukan sejauh ini yaitu fungsi nilai terkecil. Pada tiap langkah, ditetapkan
fbestk = min{fbestk−1, f(x(k))}
dan himpunan i(bestk) = k jika f(x(k)) = f(k)
best yaitu jika x(k) adalah nilai terbaik
yang ditemukan sejauh ini. Kemudian ada
fbest(k) = min{f(x(1)), . . . , f(x(k))}
dimana fbest(k) adalah nilai objektif terbaik yang ditemukan pada iterasi k.
3.5.2 Aturan Step-Size
12
1. Step-size konstan. αk =α adalah konstan yang positif, independen darik.
2. Step-length konstan. αk = γ/kg(k)k
2 dimana γ > 0. Ini berarti bahwa
kx(k+1)−x(k)k 2 =γ.
3. Square summable but not summmable, yaitu untuk sembarang step-size me-menuhi
4. Nonsummable diminishing, yaitu untuk sembarang step-size memenuhi
αk= 0, lim
5. Nonsummable diminishing step-lengths, yaituαk =γk/kg(k)k
2 dimana
Ada banyak hasil dari konvergen metode subgradien. Untuk step-size konstan danstep-lengthkonstan, algoritma subgradien dijamin konvergen dalam beberapa kisaran optimal yaitu
dimana f∗ menunjukkan nilai optimal permasalahan, yaitu f∗ = inf
xf(x).
Bi-langan ǫ adalah fungsi dari parameter step-sizeh.
13
3.5.4 Algoritma Metode Subgradien
Langkah 1 : Berikan inisial vektor x1.
Langkah 2 : Hitung f(xn), dan didapat vektorgn ∈∂f(xn). Langkah 3 : Pilih step-size αn >0.
Langkah 4 : Tentukan xn+1 =xn−αngn.
BAB 4 PEMBAHASAN
Tesis ini menjabarkan tentang pengembangan algoritma pemrograman nonlinier untuk permasalahan-permasalahan yang dikelompokkan oleh himpunan skalar be-sar dari kendala linier dan pangkat signifikan dalam fungsi tujuan nonlinier. Telah menjadi pengalaman bahwa banyak permasalahan pemrograman linier yang lebih luas karena diusahakan untuk memperkirakan sejumlah linearisasi, yang mana ini merupakan dasar dari program nonlinier. Hal ini juga tampak bahwa kebanyakan masalah di kehidupan nyata hanya sebagian kecil yang fungsi tujuannya memiliki variabel nonlinier. Karena itu permasalahan ini akan dibuat dalam bentuk umum berikut:
Minimize f(x) =f(xN) +cTx (1)
Kendala Ax=b, (2)
l ≤x≤u (3)
dimana matriks A berukuran m×n, m ≤ n. x dibagi kedalam bagian linier xL
dan bagian nonlinier xN:
x=
xN xL
Komponen-komponen xN akan disebut Variabel Nonlinier. Selanjutnya A
dan c berlaku untuk semua variabel x. Dalam beberapa kasus, bagian dari cTx
melibatkanxN mungkin termasuk dalamf(xN); dalam kasus lain,cmungkin nol.
Diasumsikan bahwa fungsi f(xN) dapat diturunkan secara kontinu dalam wilayah
layak, dengan gradien
15
Penelitian ini dilakukan atas dorongan dari beberapa kekurangan dalam al-goritma Murtagh dan Sargent (1969, 1973) serta Goldfarb (1969), khususnya keti-ka diapliketi-kasiketi-kan dalam sistem bersketi-kala besar. Algoritma yang dihasilketi-kan terketi-kait metode reduced-gradient oleh Wolfe (1962) dan metode variable-reduction oleh McCormick (1970). Hal ini juga menarik banyak metode optimisasi tak berken-dala dan yang berkenberken-dala linier oleh Gill and Murray (1972, 1974).
Pada dasarnya algoritma merupakan perpanjangan dari metode simpleks (Dantzig, 1963). Untuk menggunakan beberapa terminologi terkait, dapat digam-barkan sebagai perluasan yang memungkinkan lebih darimvariabel menjadibasic. Karena berhubungan dekat dengan pemrograman linier (LP), sehingga hal ini da-pat dimasukkan dalam banyak implementasi dari LP terbaru. Hasilnya adalah se-buah program komputer yang memiliki banyak kemampuan kode LP yang efisien dan juga mampu menangani istilah nonlinier dengan prosedur quasi-Newton.
Istilah x dan F(x) dalam permasalahan linear dan nonlinear merupakan hal yang penting, sehingga untuk mempermudah, notasiF(x) dan∇F(x) diubah dalam bentuk sederhana yaituf(x) dang(x). Dengan sedikit pengecualian, dapat digunakan huruf besar untuk matriks, huruf kecil untuk vektor dan huruf Yunani untuk skalar. Kuantitas ε >0 menunjukkan ketelitian floating-point dalam arit-matik.
4.1 Metode Dasar
4.1.1 Solusi Basic; Penyesuaian Bentuk Dasar
Sebelum menuju ke permasalahan nonlinier, perlu diperkenalkan beberapa latar belakang program linier. Terutama persamaan (1)-(3) dengan f(xN) = 0
16
kendala A, dan hasil dari metode simpleks yaitu kolom B akan diganti satu per satu.
Selanjutnya ini diasumsikan dalam bentuk umumAdanxmengandung ma-triks identitas lengkap dan masing-masing merupakan himpunan slack variabel lengkap. (Persamaan umum dan pertidaksamaan kendala diakomodasi dengan meletakkan batas atas dan batas bawah yang sesuai pada slack.) Ada banyak alasan praktis untuk mempertahankan bentuk umum disini. Secara lengkap akan dibutuhkan banyak penjelasan dalam implementasi, tapi dengan sangat ringkas, faktorisasi segitiga yang jarang dari B dapat dijelaskan dengan lebih mudah jika kolom (bukan baris) dari B diubah. Selanjutnya, sangat mudah untuk mengam-bil keuntungan dari satuan vektor-vektor yang terkait dengan slack, setiap kaliB
terfaktorisasi ulang.
4.1.2 Variabel Superbasic
Salah satu kebaikan dari konsep solusi basic adalah penekanan yang diberikan sedemikian pada batas atas dan bawah l ≤ x ≤ u. Hal ini menyesatkan bila menganggap ini sebagai kendala yang jarang, lebih penting lagi jika diperlakukan secara langsung untuk mengeliminasi sebagian besar variabel. Bagaimanapun metode simpleks bebas memusatkan perhatian pada transformasi (faktorisasi)
hanya pada B, daripada untuk seluruh A. (Jika B besar dan jarang, ini cukup bermasalah.)
17
MatriksB adalah bujur sangkar dan nonsingular seperti dalam metode sim-pleks,S adalah matriksm×s dengan 0≤s≤n−m, danN adalah kolom tersisa matriks A. Variabel-variabel terhubung xB, xS, xN berturut-turut disebut basic, superbasicdannonbasic. Basicdansuperbasicmerupakan bebas dan bervariasi an-tara batas-batasnya. Nama ini dipilih untuk memperlihatkan peransuperbasic se-bagai penggerak, sehingga dapat bergerak kearah manapun (sebaiknya mengubah nilai tujuan), dan basicdiharuskan berubah dengan pasti untuk mempertahankan kelayakan sehubungan dengan kendala Ax = b. Sehingga proses ini diharapkan menghasilkan solusi yang lebih mendekatibasicyang dikonfirmasi dengan teorema berikut:
Teorema 4.1.1 Andaikan sebuah program nonlinier memiliki t variabel yang ter-jadi secara nonlinier (baik tujuan maupun kendala). Solusi optimal ada dimana jumlah variabel superbasic s memenuhi s ≤t.
Pembuktian (berdasarkan Jain, 1976). Andaikan variabel nonlinier tetap pada nilai optimalnya. Permasalahannya sekarang adalah program linier untuk solusi
18
4.1.3 Metode Derivatif
Diasumsikan bahwaf(x) dapat dijabarkan dalam deret Taylor dengan aturan sisa kedua:
f(x+ ∆x) =f(x) +g(x)T∆x+ 1 2∆x
TG(x+γ∆x)∆x (5)
dimana 0≤γ ≤1, dan G(x+γ∆x) adalah matriks Hessian dari turunan parsial kedua yang dievaluasi pada beberapa titik antara x dan x+ ∆x. Selanjutnya G
adalah matriks konstan jikaf(x) fungsi kuadrat.
Diandaikan ∆xandg(x) sesuai dengan pembagian dari A. Jika f(x) benar-benar fungsi kuadrat, maka didapatkan titik stasioner padax+ ∆x dengan mem-butuhkan dua sifat dari langkah ∆x:
Sifat 1
yaitu sisa langkah pada permukaan diberikan dengan mempertemukan kendala-kendala aktif.
yaitu gradien pada x+ ∆x (diberikan pada sisi kiri persamaan (7)) adalah orto-gonal ke permukaan dari kendala-kendala aktif dan oleh karena itu dapat ditun-jukkan sebagai sebuah kombinasi dari kendala aktif normal.
19
Persamaan (7) lebih sederhana jika dikali dengan matriks
"
Awalnya persamaan diatas memberi persamaan perkiraan pengali Lagrange dalam kendala umum, yaitu:
Selanjutnya, jika k∆xSk= 0(dimana berarti x stasioner) didapat
BTµ=gB (13)
dalam kasus µ sejalan dengan menilai vektor π dalam metode simpleks. (Mulai kini solusi persamaan (13) dinotasikan dengan π.) Selanjutnya dari persamaan (7) didapat
dan ketika k∆xSk= 0, persamaan ini diturunkan menjadi
20
dimana sejalan dengan vektor pengurangan biaya pada pemrograman linier.
Hasil ketiga dari persamaan (7), mengikuti perkalian matriks sebelumnya pada persamaan (11), yang menunjukkan langkah tepat berikut:
[ −WT I 0 ]G
dien turunan, dari persamaan (16) memberikan sebuah langkah Newton dalam variabel-variabel ∆xS. Selanjutnya khk = 0 menjadi kondisi penting untuk titik stasioner pada himpunan kendala aktif, dimana jika turunan Hessian nonsingular, ini menunjukkan bahwak∆xSk= 0.
4.2 Rangkuman
Gill dan Murray (1974) telah menemukan kelas algoritma dimana arah pencarian-nya sepanjang permukaan kendala aktif yang ditandai sebagai jangkauan matriks
Z yang ortogonal terhadap matriks kendala normal. Sehingga, jika ˆAx= ˆb meru-pakan himpunan darin−skendala aktif,Z merupakan matriksn×ssedemikian hingga
ˆ
AZ = 0 (19)
21
Dalam notasi Gill dan Murray (1974), langkah-langkah utama yang harus dilakukan pada setiap iterasi adalah sebagai berikut. (Akan dihasilkan turunan layak arah p.)
a) Hitung pengurangan gradien gA=ZTg.
b) Bentuk beberapa pendekatan pada pengurangan Hessian, yaitu
GA=XTg.
c) Didapatkan solusi perkiraan dari sistem persamaan
ZTGZpA =−ZTg. (20)
Dengan menyelesaikan sistem
GApA =−gA.
d) Hitung arah pencarian p=ZpA.
e) Lakukan pencarian untuk memperoleh pendekatan a∗, dimana
f(x+α∗
p) = min
α, x+αp f easiblef(x+αp)
Selain memiliki pangkat kolom penuh, persamaan (19) adalah (secara al-jabar) kendala satu-satunya Z sehingga Z dapat memenuhi beberapa kondisi. Z
khusus yang sesuai dengan prosedur ditunjukkan dalam formula berikut
Z =
Ini merupakan representasi mudah yang akan mengacu pada penjelasan tu-juan bahasan berikutnya, tetapi disini ditekankan bahwa secara komputasi ini bekerja hanya pada S dan faktorisasi (LU) segitiga B. Matriks Z itu sendiri tidak pernah dihitung.
Untuk banyak alasan, Gill dan Murray (1974) menganjurkan Z dengan kolom-kolomnya orthonormal (ZTZ = I). Keuntungan utamanya adalah
22
sampai (d) diatas, dalam persamaan (20)). Pendekatan ini telah diimplemen-tasikan dalam program yang dipaparkan Gill, Murray dan Picken (1976), dima-na Z eksplisit dalam matriks penuh. Ekstensi besar kendala linier jarang akan mungkin melalui faktorisasi LDV (Gill, Murray dan Saunders, 1975) dari matriks [ B S ]:
[ B S ] = [ L 0 ]DV
dimana L matriks segitiga, D diagonal dan D1/2V adalah orthonormal, dengan
L dan V disimpan dalam bentuk produk. Bagaimanapun jika S memiliki lebih dari 1 atau 2 kolom, faktorisasinya akan selalu lebih padat daripada faktorisasi LU dari B. Jadi atas dasar efisiensi, akan dilanjutkan Z dalam persamaan (21). Pada saat bersamaan, (dari hasil yang tak diharapkan B−1) disadari bahwa B
harus dalam kondisi yang memungkinkan.
4.3 Implementasi
4.3.1 Ringkasan Prosedur
Garis besar algoritma optimisasi diberikan disini, beberapa hal-hal penting dari implementasi akan dibahas selanjutnya.
Diasumsikan sebagai berikut:
(a) Vektor layakx memenuhi [ B S N ]x=b, l≤x≤u.
(b) Nilai fungsi memenuhif(x) dan gradien vektorg(x) = [ gB gS gN ]T.
(c) Jumlah variabel superbasic, s (0≤s ≤n−m).
(d) Faktorisasi LU, dari m×m matriks dasar B.
(e) Faktorisasi RTR, dari pendekatan quasi-Newton untuk s×s matriksZTGZ.
(Perhatikan bahwaG, Z dan ZTGZ tidak pernah benar-benar dihitung.)
23
(h) Konvergensi positif terkecil memenuhi toleransi TOLRG dan TOLDJ.
Langkah 1. (Uji konvergensi dalam subruang saat ini). Jika khk > TOLRG
lanjut ke langkah 3.
Langkah 2. (”PRICE”, yaitu estimasi perkalian Lagrange, tambah satu
super-basic).
(a) Hitung λ =gN −NTπ.
(b) Pilih λq1 < −TOLDJ(λq2 > +TOLDJ), elemen terbesar dari λ yang
sesuai dengan variabel batas terendah (tertinggi). Jika tidak, STOP; kondisi Kuhn-Tucker memenuhi solusi optimal.
(c) Selain itu,
(i) Pilih q=q1 atauq =q2 yang sesuai |λq|= max(|λq1|,|λq2|)
(ii) Tambah αq sebagai kolom baru dari S;
(iii) Tambah λq sebagai elemen baru dari h;
(iv) Tambah kolom baru yang sesuaiR.
(d) Kurangi s dengan 1.
Langkah 3. (Hitung arah dari pencarian, p=Zps).
(a) Selesaikan RTR ps =−h. (b) Selesaikan LU pB =−Sps.
(c) Set p= pB
pS
0
.
Langkah 4. (Uji rasio ”CHUZR”).
(a) Cari αmax = 0, step-length, nilai terbesar dari x+αp adalah layak.
(b) Jika αmax = 0 lanjut ke langkah 7.
24
(a) Cari α, yang beraproksimasi pada λ∗, dimana
F(x+α∗
(c) ModifikasiRuntuk mencerminkan beberapa rekursi variabel-metrik pa-da RTR, menggunakan α, ps dan perubahan dalam turunan gradien, h−h.
(d) Susun h=h.
(e) Jika α < αmax lanjut ke langkah 1. Tidak ada kendala baru yang ditemukan sehingga tetap dalam subruang saat ini.
Langkah 7 (Ganti basis jika diperlukan; hapus satusuperbasic). Disiniα < αmax
dan beberapa p (0< p≤m+s) adalah variabel yang sesuai dengan kolom ke pdari [ B S ] yang telah mencapai batasnya.
(a) Jika variabel basic mencapai batasnya (0< p≤m), (i) Pertukarkan masing-masing kolomp dan q dari
h B
dimanaq dipilih untuk menjaga B nonsingular (Ini membutuhkan vektorπp yang memenuhiUTLTπp =ep);
(ii) Modifikasi L, U, R dan π untuk mencerminkan perubahan dalam
B;
25
(b) Selain itu, jika variabel superbasicmencapai batasnya (m < p≤m+s). Makaq =p−m.
(c) Buatlah variabel ke q dalam nonbasic S pada batas yang tepat, sede-mikian:
(i) Hapus kolom ke q dari
h S
(ii) Kembalikan bentuk segitigaR.
(d) Kurangi s dengan 1 dan lanjut ke langkah 1.
4.3.2 Proses Tiap Interasi
Proses yang terlibat dalam satu lintasan melalui prosedur di atas kurang lebih sama dengan:
(a) Satu iterasi dari revisi metode simpleks pada program linier dimensi m×n, ditambah
(b) Satu iterasi dari algoritma quasi-Newton pada masalah optimisasi tak ber-kendala dari dimensi s.
Perhatikan bahwa operasi PRICE (langkah 2) dilakukan hanya pada saat khk cukup kecil, yang berarti rata-rata sekitar sekali setiap 5 iterasi. Ini adalah frekuensi yang khas dalam sistem LP yang menggunakan multiple pricing. Pro-ses tambahan yang dilibatkan dalam langkah quasi-Newton diimbangi oleh fakta bahwa perubahan dasar (langkah 7(a)) hanya terjadi sesekali, sehingga pertum-buhan tak kosong dalam faktor-faktor LU dari B adalah minimal. Jadi, jika s
BAB 5 KESIMPULAN
5.1 Kesimpulan
DAFTAR PUSTAKA
Abadie, J. 1970. Application of The GRG Algorithm to Optimal Control Problems.
J. Abadie, ed., Integer and nonlinear programming North-Holland, Amster-dam: Hal. 191-211.
Anam, Syaiful. 2009. Penggunaan Metode Backtracking Line Search pada Algorit-ma Conjugate Gradient untuk Optimisasi Non Linier Tanpa Kendala.Jurnal Matematika BSS: Vol. 260, no. 1, hal. 1-6.
Bartels, R.H. dan Golub, G.H. 1969. The Simplex Method of Linear Programming Using LU Decomposition. Communications of ACM: Vol. 12, hal. 266-268.
Beltran, C. dan Heredia, F. J. 2005. An effective Line Search for the Subgradient Method. Journal of Optimization Theory and Applications: Vol.125, no.1, hal. 1-18.
Boyd, Stephen dan Mutapcic, Almir. 2007. Subgradient Method.Note for EE364b, Stanford University: Hal. 1-27.
Broyden, C.G. 1972. Quasi-Newton methods.W. Murray, ed., Numerical methods for unconstrained optimization. Academic Press, New York: Hal. 87-106.
Buckley, A. 1975. An Alternate Implementation of Goldfarb’s Minimization Algo-rithm. Mathematical Programming: Vol. 8, hal. 207-231.
Dantzig, G.B. 1963. Linear Programming and Extensions. Princeton University Press, NJ.
Duchi, J., Gould, S. dan Koller, D. 2008. Projected Subgradient Methods for Learn-ing parse Gaussians. Proceeding of Conference on Uncertainty in Artificial Intelligence, UAI: Hal. 145-152.
Duchi, J., Hazan, E. dan Singer, Y. 2011. Adaptive Subgradient Methods for On-line Learning and Stochastic Optimization.Journal of Machine Learning Re-search: Vol. 12, hal. 2121-2159.
Fletcher, R. 1972. Minimizing General Functions Subject to Linear Constraints.
F.A. Lootsma, ed., .Numerical methods for nonlinear optimization Academic Press, London dan New York: Hal. 279-296.
Fletcher, R. dan Powell, M.J.D. 1963. A Rapidly Convergent Descent Method for Minimization. Computer Journal:. Vol. 6, hal. 163-168.
Fletcher, R. dan Reeves, C.M. 1964. Function Minimization by Conjugate Gra-dients.Computer Journal: Vol. 7, hal. 149-154.
28
Gill, P.E. dan Murray, W. 1973. Quasi-Newton Methods for Linearly Constrained.
Optimization Report NAC National Physical Laboratory, Teddington: Vol. 32.
Gill, P.E. dan Murray, W. 1974. Newton-Type Methods for Unconstrained and Linearly Constrained Optimization. Mathematical Programming: Vol. 7, hal. 311-350.
Gill, P.E. dan Murray, W. 1974. Safeguarded Steplength Algorithms for Opti-mization Using Descent Methods.Report NAC National Physical Laboratory, Teddington: Vol. 37.
Gill, P.E. and Murray, W. 1974.Numerical Methods for Constrained Optimization. Academic Press, London.
Gill, P.E., Murray, W., dan Picken, S.M. The Implementation of Two Modified Newton Algorithms for Linearly Constrained Optimization. to appear.
Gill, P.E., Murray, W. dan Pitfield, R.A. 1972. The Implementation of Two Revised Quasi-Newton Algorithms for Unconstrained Optimization.Report NAC Na-tional Physical Laboratory, Teddington: Vol. 11.
Gill, P.E., Murray, W. dan Saunders, M.A. 1975. Methods for Computing and Modifying The LDV Factors of a Matrix.Mathematics of Computation: Vol. 29, hal. 1051-1077.
Goldfarb, D. 1969. Extension of Davidon’s Variable Metric Method to Maximiza-tion Under Linear Inequality and Equality Constraints. S I A M Journal of Applied Mathematics: Vol. 17, hal. 739-764.
Goldfarb, D. 1975. On The Bartels-Golub Decomposition for Linear Programming Bases. AERE Report C.S.S Harwell, England: Vol. 18.
Jain, A., Lasdon, L.S., dan Saunders, M.A. 1976. An in-Core Nonlinear Mathemati-cal Programming System for Large Sparse Nonlinear Programs. ORSA/TIMS Joint National Meeting. Miami, Florida.
Kamyad, A. V., Skandari, M. H. N., dan Erfanian, H. R. 2011. A New Definition for Generelized First Derivative of Nonsmooth Functions.Journal of Apllied Mathematics Scientific Research: Vol 2, hal. 1252-1257.
Luenberger, D. G dan Ye, Yinyu. 1984. Linear and Nonlinear Programming. Addison-Wesley, USA, edisi ketiga.
McCormick, G.P. 1970. The Variable-Reduction Method for Nonlinear Program-ming. Management Science: Vol. 17, no. 3, hal. 146-160.
McCormick, G.P. 1970. A second order method for the linearly constrained non-linear programming problem. J.B. Rosen, O.L. Mangasarian and K. Ritter, eds., Nonlinear programming Academic Press, New York: Hal. 207-243.
29
Mor, Jorge J. dan Thuente, David J. 1994. Line Search Algorithms with Gua-ranteed Sufficient Decrease. Journal of ACM Transactions on Mathematical Software: Vol. 20, no. 3, hal. 286-307.
Murtagh, B.A. dan Sargent, R.W.H. 1969. A Constrained Minimization Method With Quadratic Convergence.R. Fletcher, ed., Optimization Academic Press, New York: Hal. 215-246.
Nedic, Angelia dan Bertsekas, Dimitri. 2001. Incremental Subgradient Methods for Nondifferentiable Optimization.Optimization Theory LIDS-P: Vol 2460, hal. 1-36.
Nesterov, Y. 2012. Subgradient Methods for Huge-Scale Optimization Problem.
CORE Discussion Paper. Catholic University of Louvain, Belgium: No.2, hal. 1-20.
Rockafellar, Terry. 1991. Subgradients and Variational Analysis. 57th Meeting of the Indian Mathematical Society: Vol. 57, hal. 1-19.
Rockafellar, Terry. 1994. Nonsmooth Optimization. Mathematical Programming, University of Michigan Press: Hal 248-258.
Sargent, R.W.H. 1974. Reduced-Gradient and Projection Methods for Nonlinear Programming. P.E. Gill and W. Murray, eds., Numerical methods for con-strained optimization Academic Press, London. Hal. 149-174.
Sargent, R.W. dan Murtagh, B.A. 1973. Projection Methods for Nonlinear Pro-gramming. Mathematical Programming: Vol. 4, hal. 245-268.
Shi, Zhen-Jun. 2004. Convergence of Line Search Methods for Unconstrained Opti-mization. Journal of Mathematics and Computation: Vol. 157, hal. 393-405.
Shi, Zhen-Jun dan Zhang, Xiang-Sun. 2005. From Line Search Method to Trust Region Method. Journal of International Symposium on OR and Its Appli-cations: Vol. 12, hal. 156-170.
Shor, N. Z. 1985.Minimization Methods for Non-differentiable Functions. Springer Series in Computation mathematics. Springer.
Wolfe, P. 1959. The Simplex Method for Quadratic Programming. Econometrica: Vol. 27, hal. 382-398.
Wolfe, P. 1962. The Reduced Gradient Method. Unpublished Manuscript, The RAND Corporation.
Wolfe, P. 1967. Methods of Nonlinear Programming. J. Abadie, ed., Nonlinear programming. North-Holland, Amsterdam: Hal. 97-131.
