Metode Conjugate gradient dengan Pendekatan Quasi Newton

METODE CONJUGATE GRADIENT DENGAN

PENDEKATAN QUASI NEWTON

TESIS

Oleh MIZAN 097021001/MT

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA

METODE CONJUGATE GRADIENT DENGAN

PENDEKATAN QUASI NEWTON

T E S I S

Diajukan Sebagai Salah Satu Syarat

untuk Memperoleh Gelar Magister Sains dalam Program Studi Magister Matematika pada Fakultas Matematika dan Ilmu Pengetahuan Alam

Universitas Sumatera Utara

Oleh MIZAN 097021001/MT

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA

MEDAN 2011

Judul Tesis : METODE CONJUGATE GRADIENT DENGAN PENDEKATAN QUASI NEWTON

Nama Mahasiswa : Mizan Nomor Pokok : 097021001 Program Studi : Matematika

Menyetujui, Komisi Pembimbing

(Prof. Dr. Tulus, M.Si) (Dr. Saib Suwilo, M.Sc)

Ketua Anggota

Ketua Program Studi Dekan

(Prof. Dr. Herman Mawengkang) (Dr. Sutarman, M.Sc.)

Telah diuji pada : 16 Juni 2011

PANITIA PENGUJI TESIS

Ketua : Prof. Dr Tulus, M.Si Anggota : 1. Dr. Saib Suwilo, MSc

2. Prof. Dr. Herman Mawengkang 3. Dra. Mardiningsih M.Si

ABSTRAK

Metode Conjugate Gradient merupakan teknik iterasi dalam penyelesaian perihal sistem persamaan linier dengan menggunakan matriks koefisien simetris

definite positif. Penyelusuran garis merupakan bahagian terpenting dalam opti-misasi untuk menentukan arah p yang dicari. Kekonvergenan Metode Conjugate gradient merupakan teknik iterasi untuk penyelesaian persamaan linier definite

positif simetris. Penyelesaian himpunan persamaan linier dengan matriks simetris merupakan ekivalen dengan fungsi kuadratik minimisasi. Nilai fungsi dangradient

dari model ini pada p sama dengan 0. Metode Quasi-Newton dengan menggu-nakan skema beda hingga merupakan suatu pendekatan untuk menyatakan arah yang dicari tanpa kehilangan kekonvergenanConjugate gradient.

ABSTRACT

Conjugate gradient Method is an iteration technique in solving about the li-nier equation using the positive definite symmetric coefficient matrix. Line track-ing is an important part of optimization to determine the direction of p. The convergence of conjugate gradientt method is an iteration method to solve the symmetric positive definite linier equation. The solving of linier equation by sym-metric matrix is equivalent to the minimum quadratic function. Function and

gradient value of this model on p is equal to 0. Quasi Newton Method using the different scheme as an approach to determine the direction without eliminate the convergence of conjugate gradient.

Keyword: Conjugate Gradient Method, Quasi-Newton Method¯

KATA PENGANTAR

Segala Puji bagi Allah yang Maha Pengasih lagi Maha Penyayang atas segala rahmat dan karunia-Nya penulis dapat menyelesaikan tesis ini tepat pada waktu-nya. Tesis ini berjudul: Metode Conjugate gradient dengan Pendekatan Quasi Newton. Tesis ini merupakan persyaratan tugas akhir pada Program studi Magister Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Sumatera Utara.

Dalam menyelesaikan tesis ini penulis banyak mendapat dukungan dari berbagai pihak, oleh karena itu pada kesempatan ini penulis mengucapkan teri-ma kasih dan penghargaan yang setinggi-tingginya serta apresiasi yang sebesar-besarnya kepada:

Prof. Dr. dr. Syahril Pasaribu, DTMH, M.Sc (CTM)&, Sp.A(K)selaku Rektor Universitas Sumatera Utara.

Dr. Sutarman, M.ScDekan Fakultas Matematika dan Ilmu Pengetahuan Alam Universistas Sumatera Utara.

Prof. Dr. Herman Mawengkangselaku Ketua Program Studi Magister Mate-matika FMIPA Universitas Sumatera Utara yang telah banyak memberikan ban-tuan dalam penulisan tesis ini.

Dr. Saib Suwilo, M.Scselaku Sekretaris Program Studi Magister Matematika FMIPA Universitas Sumatera Utara.

Prof. Dr. Tulus, M.Si selaku Ketua Komisi Pembimbing yang telah meluang-kan waktu beliau memberimeluang-kan bimbingan dan pengarahan dalam menyusun tesis ini.

Dr. Saib Suwilo, M.Sc selaku anggota komisi pembimbing yang telah mem-berikan bimbingan dan pengarahan dalam menyusun tesis ini.

Prof. Dr. Herman Mawengkang selaku anggota penguji yang telah mem-berikan koreksi, masukan dan motivasi untuk perbaikan dan kesempurnaan tesis ini.

Dra. Mardiningsih, M.Si yang telah banyak memberikan koreksi, masukan dan motivasi untuk perbaikan dan kesempurnaan tesis ini.

Fakhrur Rozi, SST. selaku pimpinan pengelola dana IMHERE. Politeknik Negeri Lhokseumawe.

Seluruh Staf Pengajarpada Program Studi Magister Matematika FMIPA Uni-versitas Sumatera Utara yang telah banyak memberikan Ilmu yang bermanfaat bagi penulis selama masa perkuliahan dan juga kepada sdri. Misiani, S.Si, staf ad-ministrasi Program Studi Magister Matematika yang telah memberikan pelayanan yang baik kepada penulis.

Ucapan yang teristimewa penulis persembahkan kepada kedua orang tua, Bapak Tengku Abdullah Wujudi (alm) dan Ibu Semah dan Bapak Mertua Abdul Halim, Ibu Mertua Nurhayati (alm).

Secara khusus terima kasih diperuntukkan kepada Istri tercinta Sri Nir-wana dan anak-anak tersayang Alfinnura Simehate, Mukhlas Naufal dan Ramzi Muayadtullah bin Mizan dan kepada seluruh keluarga.

Semoga tesis ini dapat memberi manfaat bagi pembaca dan pihak-pihak lain yang memerlukannya. Penulis sadar atas segala kekurangan dalam tesis ini.

Medan, 16 Juni 2011 Penulis,

Mizan

RIWAYAT HIDUP

DAFTAR ISI

Halaman

ABSTRAK i

ABSTRACT ii

KATA PENGANTAR iii

RIWAYAT HIDUP v

DAFTAR ISI vi

BAB 1 PENDAHULUAN 1

1.1 Latar Belakang 1

1.2 Perumusan Masalah 3

1.3 Tujuan Penelitian 3

1.4 Kontribusi Penelitian 3

1.5 Metode Penelitian 4

BAB 2 TINJAUAN PUSTAKA 5

BAB 3 LANDASAN TEORI 7

3.1 Pencarian Garis (Line Searches) 7

3.2 Metode Conjugate Gradient 8

3.3 Metode Arah Conjugate untuk Persoalan Quadratik 8

3.4 Metode Quasi - Newton 12

3.5 Kesalahan (error) dari AlgoritmaConjugate Gradient 18

BAB 4 PEMBAHASAN 20

4.1 Algoritma LS-BFGS 22

4.2 Algoritma dan Implementasinya 28

4.2.1 Algoritma 28

4.2.2 Implementasi 30

BAB 5 KESIMPULAN DAN SARAN 32

5.1 Kesimpulan 32

ABSTRAK

Metode Conjugate Gradient merupakan teknik iterasi dalam penyelesaian perihal sistem persamaan linier dengan menggunakan matriks koefisien simetris

definite positif. Penyelusuran garis merupakan bahagian terpenting dalam opti-misasi untuk menentukan arah p yang dicari. Kekonvergenan Metode Conjugate gradient merupakan teknik iterasi untuk penyelesaian persamaan linier definite

positif simetris. Penyelesaian himpunan persamaan linier dengan matriks simetris merupakan ekivalen dengan fungsi kuadratik minimisasi. Nilai fungsi dangradient

dari model ini pada p sama dengan 0. Metode Quasi-Newton dengan menggu-nakan skema beda hingga merupakan suatu pendekatan untuk menyatakan arah yang dicari tanpa kehilangan kekonvergenanConjugate gradient.

Kata kunci: ¯Metode Conjugate gradient, Metode Quasi-Newton

ABSTRACT

Conjugate gradient Method is an iteration technique in solving about the li-nier equation using the positive definite symmetric coefficient matrix. Line track-ing is an important part of optimization to determine the direction of p. The convergence of conjugate gradientt method is an iteration method to solve the symmetric positive definite linier equation. The solving of linier equation by sym-metric matrix is equivalent to the minimum quadratic function. Function and

gradient value of this model on p is equal to 0. Quasi Newton Method using the different scheme as an approach to determine the direction without eliminate the convergence of conjugate gradient.

BAB 1 PENDAHULUAN

1.1 Latar Belakang

Metode Conjugate Gradient (CG) dapat dipakai untuk menyelesaikan sis-tem persamaan linear dengan matriks koefisiendefinite positif simetris. Penyele-saian Sistem Linier yang dimaksud dapat ditulis sebagai

Ax=b;A_∈Rn×n;x_∈Rn;b_∈Rn (1.1)

Di sini A merupakan suatu matriks simetris definite positif. Asumsikan bahwa

x0 solusi awal dari persamaan (1.1). Metode Conjugate Gradient pada mulanya menghitung sisa awal r0 =b−Ax0 dan membangun solusi pendekatan x1, x2, . . . sedemikian hingga sisa vektor ri = b ₋ Axi; i = 0,1, . . . dapat ditulis dalam bentuk :

ri =Pi(A)r0

dimanaPi pada ruang polynomial berderajatiyang memenuhi hubungan Pi(0) = 1; (Bouyouli et al, 2008).

Laju konvergen dari Metode Conjugate Gradient didefinisikan pada ruang Hilbert. Hasil sebelumnya pada Rn _{untuk laju kekonvergenan pada sublinear}

dan superlinear, diperlukan bermacam-macam kondisi yang tak dapat diperinci dengan luas oleh operator linear.

Operator Differential Elliptic yang menghasilkan penafsiran yang relevan dan saling bertautan dipakai. Penafsiran yang dimaksud mencakup matriks ber-ukuran besar pada masalah nilai batas diskrit (Axelsson dan Karaston, 2001).

Modifikasi formula Conjugate Gradient yang berbentuk βM LS

k merupakan

dasar dari formula Liu-Storey (LS) pada Metode Conjugate Gradient nonlinear, dengan pembuktian oleh Wolfe-Powell pada pencarian garis dan penyederhanaan-nya menggunakan parameterσ _∈(0,1

2). Metode ini merupakan metode baru yang mewarisi sifat Global Convergence (Wei, Kai-Rong, 2010).

2

Pengembangan versi yang berbeda dari MetodeConjugate Gradientdengan perhatian khusus dari sifat Global Convergence.

Metode Conjugate Gradientterdiri dari algoritma Optimasi tak berkendala yang mempunyai karakterisasi. Suatu ketentuan yang harus diingat adalah sifat kekonvergenan. Strong Local dan Global Convergence (Harger dan Zhang, 2005).

Persoalan tak terbatas pada arah pencarian bila matriksHessitak berhing-ga atau mendekati Singular. Suatu algoritma baru yang dapat diusulkan pada matriks Hessi Singular secara natural dan teori yang ekuivalen. Keterampilan ini dapat dilakukan oleh matriks eksplisit yang dimodifikasi yang dapat dengan mudah beradaptasi untuk ditiru. Modifikasiimplicityang digunakan oleh metode daerah layak (Trust-Region Method).

Modifikasi algoritmaConjugate Gradientyang melengkapi strategi pada sua-tu robus merupakan cara yang efisien unsua-tuk pembuktian varian baru. Hasil nu-merik dibuktikan dengan melakukan keefektifan pendekatan ini pada hasil dari suatu Metode Pencarian Garis (Line Search Method). Untuk optimisasi Non Convex tak berkendala berskala besar (Zhou, Griffin dan Akrotirianakis).

Studi tentang sifat Global Convergence dari Class Broyden lebih terbatas daripada Metode Quasi- Newton, bila digunakan fungsi Objective Convex. Di asumsikan memenuhi Pencarian Garis suatu kondisi standar yang sangat kurang dan pendekatan awal Hessi beberapa matriksdefinite positif.

Dengan memperlihatkan konvergensi super linier global untuk metode DFP. Hal ini menyamaratakan Powell yang sudah dikenal baik untuk metode BFGS. Kemampuan analisa yang diberikan ke dalam sifat dari algoritma ini khusus di-tunjukkan DFP yang dipunyai dan yang disukaiSelf-Correctingyang dimiliki oleh BFGS (Byrd, Nocedal dan Yuan, (1987)).

Pengusulan pada suatu algoritma yang baru terjadi untuk persoalan sub-jek minimisasi pada nonlinear memeriksa pada Constrain yang sama. Keduanya menjaga pendekatan pada Project dari Hessi dan Langrangian, Onto (Linearisasi)

manifold dari Constrain aktif pada setiap iterasi.

3

(1984), Barisan dari projected pendekatanHessi yang konvergen (Wright, 1986).

Studi tentang prosedur non-monoton Line-Search, yang merupakan kombi-nasi dengan keluargaNon-Quasi Newtondi bawah keseragamanConvexity asumsi pada fungsi objektif, global dan Super Linear Convergence dari keluarga non-Quasi-Newton dengan pengusulan non-monoton Pencarian Garis adalah pembuk-tian yang sesuai kondisi (Liu, 2010).

Suatu Metode Hybrid Direct Search-Quasi Newton untuk persoalan Invers nonlinear dari Electrical Impedance Tomography (EIT) pada 2D domain yang dimiliki metode Interior Path. Finite Element Method (FEM) digunakan untuk menyelesaikan problem forward EIT memandang scalar potensial dan memiliki nilai kepadatan yang mutakhir. Pendekatan perubahan adalah penggunaan pada solusi Problem Invers pengetahuan pendahuluan Inhomogenitas pada daerah asal (domain) digunakan (Guliashki Vassil, 2008).

1.2 Perumusan Masalah

Metode Conjugate Gradient merupakan algoritma minimisasi yang efisien dengan turunan kedua, dengan pendekatan Quasi-Newton untuk pencarian arah tanpa kehilangan kekonvergenan. Metode Conjugate Gradient didasari pada al-goritma BFGS ( Broyden-Fletcher-Goldfarb-Shanno)

1.3 Tujuan Penelitian

1. Menentukan laju kekonvergenan dari suatu fungsi tak linier

2. Menentukan besar pembulatan kesalahan (round-off errors) dari fungsi tak linier

1.4 Kontribusi Penelitian

1. Pada pengembangan untuk Analisa mekanik

2. Pengembangan Analisa Vektor dan Tensor 3. Pengembangan Optimisasi Numerik

4

1.5 Metode Penelitian

Penelitian ini dilakukan dengan Metode tinjauan pustaka dengan langkah-langkah sebagai berikut,

1. Analisa GeneralisasiConjugate Gradientdengan menggunakan pendekatan beda hingga dengan rumus berikut ini

Uk= 1

γg T

k (∇f(xk+γkgk)−gk)

Selanjutnya menghitung Vk dan Wk dengan menggunakan relasi berikut ini

Hkdk−1 ≈ 1

tk−1

(gk₋gk−1)

2. AnalisisSuccessive Affine Reductionpada kasus dua dimensi (Zk =_{△xk,_△gk_}) dinilai dengan LS Algoritma.

BAB 2

TINJAUAN PUSTAKA

Metode Conjugate Gradient dan Metode Quasi-Newton adalah ekivalen untuk suatu fungsi objek kuadratik bila ada garis pencarian yang digunakan. Metode

Conjugate Gradient dan Quasi-Newton hanya digunakan pada turunan pertama dan turunan kedua dari suatu fungsi (Fallgren Mikael, 2006).

Metode Quasi-Newton adalah Metoda iterasi untuk penyelesaian suatu persoalan minimum yang tidak menggunakan kendala pada persamaan berikut ini

minimisasix∈Rnf(x), ((P)) dimanaf suatu fungsi yang sudah disederhanakan, fungsi convex denganGradient

∇f(x) yang ada dari persoalan fungsi kuadratik adalah f(x),

f(x) = 1 2x

T_Hx+cT_x

Dalam hal ini matriks Hessi H mempunyai m nilai karakteristik yang real. Me-tode Conjugate Gradient akan menentukan penyelesaian pada titik m sebagian besar iterasi dengan m kelompok yang real dan nilai karakteristik. Metode Con-jugate Gradientakan mendekati penyelesaian persoalan pada iterasi kem(Fallgren Mikael, 2006).

Metode Conjugate Gradient suatu algoritma minimisasi yang efisien menggu-nakan informasi turunan kedua tanpa menggumenggu-nakan penghematan matriks oleh pendekatan beda hingga. Dengan menunjukan skema beda hingga dapat meng-gunakan pendekatan Metode Quasi-Newton untuk menentukan suatu arah yang dicari tanpa kehilangan kekonvergenan. Metode Conjugate Gradient merupakan dasar pada pendekatan BFGS yang membandingkan dengan Metode yang ada dari clas yang sama (Koko, 1991).

Telah diselidiki sifat algoritma LS-BFGS yang awalnya adalah algoritma LS dan algoritma SAR.

Algoritma LS di atas berhubungan dengan waktu CPU secara relatif lebih cepat dan menguntungkan fungsi optimisasi, untuk algoritma SAR mempunyai hasil yang baik, tetapi memerlukan beberapa fungsi/Gradient untuk menghitung tan-pa menggunakan bentuk algoritma LS.

6

BAB 3

LANDASAN TEORI

3.1 Pencarian Garis (Line Searches)

Untuk penentuan s∗ _{dalam penyelesaian persamaan 3.1 harus dapat suatu}

global konvergen dari suatu algoritma optimisasi. Sifat ini berhubungan dengan sifat yang paling populer yang dikembangkan oleh kondisi wolfe (wolfe condition). Definisi 3.1:

Suatu pencarian garis yang mana pilih s∗ _{pada minimisasi φ(s) = F(xk+spk)}

dikatakan dari perfect (sempurna) atau exact.

Definisi 3.2 :

Tidak Kuat (Weak) atau Tidak Tepat (InExact) pencarian garis adalah yang mana satu yang di temui dari beberapa nilai s. Sehingga F(xk+spk)₋F(xk) adalah negative dan loncatan jauh dari nol.

Pencarian garis bagian yang penting pada Optimisasi jika arah p yang dicari

Search Directiondan jika ditulis :

ϕ(s) =F(xk+sp), (3.1)

dengan menggunakan expansi Deret Taylor

ϕ(s) =F(xk) +sT_p∇F(xk) + s 2

2P

T

∇2F(xk)P +O(s3_kp_k3) dan juga dϕ_ds =pT_{∇F(xk) +sp}T_∇2

F(xk)p+O(s2 kp_k3). Tetapi _∇F(xk+sp) =_∇F(xk) +s_∇2_{F(xk)P +O(s}2

kp_k2) juga dϕ_ds =PT_∇F(xk+sp).

Persamaan (3.1) disederhanakan dengan konvergen awal darixksepanjang Search

Direction p adalah

dϕ dS =p

T

∇F(xk).

8

3.2 Metode Conjugate Gradient

Metode Conjugate Gradientadalah suatu teknik iterasi untuk menyelesaikan per-soalan sistem persamaan Linier Ax = b. dimana A suatu matriks koefesien simetris dan definite positif :

A_∈Rn×n

∀x_∈Rn, x₆= 0

AT =A xTAx >0

Pada tahun 1982 Steihang Trout, menyatakan minimisasi tidak terkendala dari suatu fungsi disederhanakan pada variable merupakan salah satu persoalan yang banyak dari suatu persoalan yang sangat penting dalam matematika program-ming. Karena fungsi mulus Lokal minimal terjadi pada titik stationar yaitu gra-dient sama dengan nol.

Algoritma effectif digunakan sebagai dasar pada metode- Newton atau beberapa variasi yang disukai Metode -Newton untuk menentukan gradient sama dengan nol. Untuk memperluas daerah konvergen metode membutuhkan modifikasi. Di-mana ada dua pokok pendekatan pencapaian global konvergen. Sebagian besar modifikasi dengan menggunakan pendekatan pencarian garis, dimana arah P di-hitung. Untuk pencarian suatu pendekatan lokal minimum sepanjang garis yang didefinisikan oleh arah P. Suatu pendekatan yang menarik adalah dasar obser-vasi metode Quasi-Newton. Model fungsi dengan pendekatan kuadratik sekeliling rangkaian iterasi. Keakuratan kuadratik hanya pada suatu tetangga (neighbor-hood) dari rangkaian iterasi dan iterasi yang baru. Sekarang memilih pendekatan minimum dari kuadratik konstan menjadi suatu daerah yang diyakini pemben-tukannya.

3.3 Metode Arah Conjugate untuk Persoalan Quadratik

Persoalan solusi suatu himpunan persamaan linier dengan matriks simetrik defi-nitepositif adalah ekivalen dengan persoalan minimisasi fungsi kuadratik, dengan mempertimbangkan persoalan penentuan x_∈Rn _{yang memenuhi}

9

dimanaA_∈Rn×n_,b∈Rn_{danAmatriks simetrikdefinitepositif. Solusi persoalan}

ini juga merupakan solusi persoalan optimisasi (P) dengan rumus berikut ini

lim

Dengan mempertimbangkan titik ¯x sedemikian hingga

∇f(¯x) =δ(¯x) =Ax¯₋b= 0. (3.3)

Persamaan (3.2) membuktikan kondisi optimisasi untuk persoalan (3.1)

Lemma 3.1 Andaikan A matriks simetris definite positif , jika x¯ solusi per-samaan (3.1) maka penyelesaian (3.2 ) sebagai pedoman.

Bukti : Andaikan δ(¯x) = ¯r ₆= 0 dan hitung f di titik ¯x₋αr¯, dimana α_∈RT

untuk bilangan kecil dari α diperoleh

f(¯x₋αr¯)< f(¯x),

kontradiksi solusinya ¯x pada persamaan (3.1 ). Solusi ¯x dari metode arah conju-gatepada persamaan (3.1) menyarankan pada suatu barisan sederhana persoalan optimisasi.

Andaikan A suatu matriks diagonal dengan elemen diagonal sama dengan (λ1, λ2, . . . , λn) dimana λ1 ≥ λ2 ≥ . . . λn > 0, maka order pada penentuan nilai minimum darif diselesaikan suatu barisan dari persoalan optimisasi dimensi satu (Pi):

Setiap persoalan (Pi) mempunyai solusi xi = bi

λi, i = 1,2, . . . , n dan solusi ini kombinasi dari constitute dari solusi (P).

Algoritma ( 1,1 ) ( metode Arah Conjugate Sederhana )

10

1. Pilih sembarangxi _∈Rn_{, Set k= 1.}

2. SetPk =ek, ek vektor. 3. Tentukan αk>0, sehingga

f(xi+αkpk) = lim

α>0f(xk+αpk).

4. Subsitusi xk+αkpk untuk xi+1, naik k by one. Jika k _≤ n, then the go to step 2, untuk yang lain stop.

Minimisasi pada langkah 3 sangat berperan pada relasi g(xk+αkpk)T_pk=O

ditulis sebagai

X

[λi[(xk)i+αk(pk)i]−bi](pk)i = 0

karena pk =ek diperoleh αk=₋(xk)i+ _λbii. jika (xk+1) asumsi nilai bk

λk dan karena pk =ek akan diperoleh

λk =₋(xk)i+ bi λi.

Jika (xk+1)k asumsi nilai _λbk_k, tambahan lagi ; skala perhitungan ke k langkah xk+1 fungsi f minimum pada ruang bagian dibangun oleh vector-vektor e1, e2, . . . , ek dan melalui titikx1

℘k =_{x_{∈ ℜ}n; x=xi+

k

X

i=1

γ1ei, γi ∈ ℜ, i= 1,2,3, . . . k}. (3.4)

Sifat dapat ditunjukkan jika dibuktikangradient δk+1 memenuhi

g_kT+1pi =g

T

k+1ei = 0,∀i ≤k. (3.5) Pada bagian akhir akan mempertimbangkan hitungangradientpada titikx1, x2, . . . , xn diperoleh xk+1 sebagai berikut

11

untuk menentukanδk+1 digunakan rumus berikut ini

δk+1 =

dengan demikian rumus (3.5) merupakan pegangan.

Solusi pada problem (p) terletak pada bagian garis tegak lurus pada ruang Pk

dan melalui titikxk+1

Pn−k ={x∈ ℜn:x=xk+1 +

n

X

i

ei, γi _{∈ ℜ}, i=k+ 1, . . . , n_}. (3.6)

Hal ini disebabkan ℘n−k adalah ruang bagian dari ℜn dan setiap iterasi dari

Al-goritma (1.1) menurunkan dimensi statis pada n iterasi. Solusi pada problem (p) akan ditentukan.

Jika A merupakan matriks diagonal akan diperoleh

pT_i APj =eT_i = 0,_{∀ 6}=i, i, j = 1,2,3, . . . , n. (3.7)

BilaAbukan matriks diagonal, himpunan vektor_{ek_}n

1 tidak merupakan jaminan konvergen pada bilangan berhingga dari iterasi. Jika kita dapat transformasi matriks A oleh matriksnon singular S pada matriks diagonal

nonsingular Aˆ=STAS, (3.8)

Pada ruang variabel ˆx dapat digunakan algoritma (1.1) untuk menentukan mini-mum dari ˆf pada suatu bilangan berhingga dari Iterasi. Penggunaan pendekatan pada suatu matriks definite positif A sembarang mempunyai suatu kelemahan. Dalam hal ini harus diketahui salah satu matriks S atau vektor _{pi_}n

1 sehingga

pi =S−1_ei.

Hubungan (3.6) dengan Ruang Variabel ˆx menjadi

PT

i Apj = 0;∀i6=j;i, j = 1,2,3, . . . , n. (3.9)

12

3.4 Metode Quasi - Newton

Turunan metode Kuadratik dari fungsi objek pada rangkaian iterasi Xk adalah sebagai berikut:

mk(p) =fk+_∇fkTp+ 1

2pTBkp. (3.10) DimanaBkmatriks simetrikdefinitepositif yang akan diperbaiki atau disesuaikan setiap iterasi. Nilai fungsi dan gradient dari model ini pada p = 0 menandingi penyajian darifk dan_∇fk, Minimisasipk dari model kuadratikconvex, yang akan ditulis dalam bentuk explicit

pk =₋B−1

k ∇fk, (3.11)

dengan menggunakan arah pencarian dan iterasi baru, yaitu

xk+1 =xk+αkpk, (3.12)

langkah selanjutnya memilihαk yang memenuhi kondisi Wolfe.

Sebagai pengganti pada penghitungan Bk yang baru pada setiap iterasi Davi-don mengusulkan penyelesaian dengan cara yang sederhana untuk pengukuran kelengkungan yang terjadi selama ini. Andaikan dibangun iterasi baru xk+1dan ingin membuat model kuadratik baru dari bentuk

mk+1(p) =fk+1+∇fk+1Tp+ 1 2p

T_Bk

+1p.

Suatu kebijaksanaan yang perlu gradient dari mk+1 akan menandingi gradient dari fungsi objekf pada dua iterasi yang lambatxk dan xk+1. Karena _∇mk+1(0) adalah persis_∇fk+1, yang kedua kondisi ini otomatis memenuhi. Kondisi pertama ditulis dalam bentuk matematik

∇mk+1(₋αkpk) =_∇fk+1−αkBkk+ 1pk =∇fk.

Dengan menyusun, diperoleh

Bk+1αkpk =∇fk+1− ∇fk. (3.13)

Dengan menggunakan definisi vektor

13

persamaan (3.12) menjadi

Bk+1sk =yk. (3.15)

Penggantian sk dan perubahan gradientyk, persamaan garis potong memerlukan matriks simetrik definite positif Bk+1 memetakan sk kedalam yk. Hal ini akan mungkin hanya jika sk dan yk membuat kondisi kelengkungan

sT_kyk >0, (3.16)

bilaf betul-betul cembung (strongly convex) , persamaan (3.16) akan memenuhi dua titik xk dan xk+1.

Berdasarkan kondisi Wolfe pada arah pencarian ini membuktikan bentuk per-samaan (3.16) dan kondisiWolfe

∇f_kTsk _≥C2∇f_kTsk dan oleh karena y_kTsk≥(C2−1)αk∇f_kTpk. (3.17)

Karena C2 < 1 dan pk adalah arah yang layak (decent direction) dengan istilah kanan positif dan kondisi kelengkungan pada persamaan (3.16).

Penentuan Bk+1 secara tunggal dapat membebani penambahan kondisi di antara semua matriks simetris yang memenuhi persamaan garis potong (secent) , Bk+1 tertutup pada rangkaian matriks Bk.

min

B kB−Bkk (3.17(a))

dengan kendala

B =BT, Bsk =yk (3.18)

dimana sk dan yk memenuhi persamaan (3.16) dan Bk matriks simetris dan defi-nitepositif. Perbedaan matriks norm (norm) diberikan kenaikan pada perbedaan Metode Quasi-Newton.

Norm menandakan penyelesaian dari persoalan minimisasi (3.17 ) dan diberikan kenaikan pada sekala invariant optimisasi metode adalahnorm bobot Frobenius

kA_{kW ≡}W

1/2

AW1/2

F , (3.19)

dimana _k•kF didefinisikan oleh _kC_k2_F =

n

P

i=1

n

P

j=1

C2

ij.

14

sk. Kenyataan, dapat diasumsikanW =G−_k1 dimana ¯Gk rata-rata Hessi didefini-sikan oleh

Norm persamaan (3.19) adalah nondimensional, dimana suatu sifat yang diper-lukan, karena tidak menginginkan penyelesaian dari persamaan (3.17 ) tak bebas pada satuan persoalan. Dengan bobot matriks ini dan Norm ini penyelesaian tunggal dari persamaan (3.17) adalah

(DFP)Bk+1 = (I−ρkyksT_k)Bk(I−ρksky_kT) +ρkykyT_k, (3.22)

k . SehinggaHk+1 dapat di tulis dalam bentuk (DFP) Hk+1 =Hk−

Untuk persamaan garis potong (secent) (Bk+1sk =yk) di tulis

Hk+1yk =sk

Matriks bobot W adalah matriks memenuhi W sk = yk sehingga solusi tunggal

Hk+1 pada persamaan (3.24(a)) adalah

15

dimanaρkdidefinisikan pada persamaan (3.22) dan menggunakan Shermen - Mor-rison - Woodbury formula diperoleh

(BFGS)Bk+1 =Bk−

BksksT kBk sT

kBksk

+ yky

T k yT

ksk

. (3.27)

Algoritma ( BFGS )

Dimulai dengan titik X0 konvergen toleransi ε > 0, pendekatan Invers Hessi H0;

k _←0

while _k∇fk_k> ε;

dihitungsearch direction

Pk =₋Hk_∇fk; (3.28)

Set Xk+1 =Xk+αkPk dimana dari arah pencarian Prosedur memenuhi kondisi Wolfe.

Definisikan sk =xk+1−xk dan yk=∇fk+1− ∇fk;

Hitung Hk+1 dengan rata-rata dari penyelesaian (Hk+1);

k_←k+ 1; end(while).

Metode SR 1 ( Symmetric - rank 1 )

Bentuk umum dari simetris- rank 1 dapat di tulis dalam bentuk

Bk+1 =Bk+σvvT,

dimana σ pada +1 atau ₋1 dan σ dan v memilih Bk+1 memenuhi persamaan

Secant;

yk =Bk+1sk.Substitusi kedalam persamaan (3.15) sehingga diperoleh

yk =Bksk+ [σvTsk]vϑ=δ(yk₋Bksk) untuk skalar δ.

Substitusi bentuk v ke dalam persamaan (3.28)

(3.29)

diperoleh

(yk₋Bksk) =σδ2 [sT

k(yk−Bksk)](yk−Bksk), (3.30)

16

dengan memilih parameter δ dan σ sehingga

α= Sign[sTk(yk−Bksk)], δ=_±|sT_k(yk₋Bksk)_|−1/2

.

Ditunjukkan hanya simetris-rank 1 diperbarui formulasi yang memenuhi per-samaan secantadalah

(SR-1)Bk+1 =Bk+

(yk₋Bksk)(yk₋Bksk)T

(yk₋Bksk)T sk . (3.31)

Dengan menggunakan formula Sherman-Morrison diperoleh formula yang diper-barui untuk Invers Hessi pendekatan Hk yaitu

(SR-1)Hk+1 =Hk+

(sk₋Hkyk)(sk₋Hkyk)

(yk₋Hksk)T yk . (3.32)

Algoritma (SR 1 TRUST - REGION METHODE)

Dimulai dengan titik x0 Pendekatan Awal Hessi B0, jari-jari trust Region ∆0, konvergen toleransi ε >0, parameterη_∈(0,10−3_{) dan r}

∈(0,1);

K _←0;

While_k∇fk_k> ε;

Menghitung sk dengan penyelesaian sub soal

min

T_{Bks subject to}

ks_{k ≤}∆k; (3.33)

kBkSk) ( predicted reduction );

if ared/pred> η

xk+1 =xk+Sk;

else

17

end (if)

if ared/pred>0,75 if _ksk_{k ≤}0,8∆k

∆k+1 = ∆k;

else

∆k+1 = 2∆k;

end (if)

else if 0,1_≤ared/pred_≤0,75

∆k+1 = ∆k;

else

∆k+1 = 0,5∆k;

end (if)

if ( 3.32 ) holds

Gunakan persamaan ( 3.31 ) untuk menghitung Bk+1 ( jika kejadian

xk+1 =xk )

else

Bk+1 ←Bk;

end (if)

k _←k+ 1; end (while).

Andaikan f : Rn _{→ R. adalah fungsi kuadratik Strongly Convex f(x) = b}T_x+

1 2x

T_{Axdi manaAmatriks simetrisdefinitepositif. Maka untuk titik Awalx}

0 dan matriks simetris awalH0, konvergen pada minimisasi pada step ken.

Buktikan (sk₋Hkyk)T_{yk6= 0;∀k.}

Dengan kata lain, jika pada step ke-n dilakukan. Jika Search Direction p bebas

18

linear maka Hn=A−1

Analisa konvergen dari metode SR-1. Andaikan iterasi xk yang di bangun oleh algoritma.

Andaikan memenuhi kondisi .

1. Barisan dari iterasi bukan akhir , tetapi tersisa menutupi Convex set D ( menutupi convex set D ) yang mana fungsi f adalah terdiferensial continue

ke dua dan f mempunyai titik tetap tunggal x∗_;

2. Hessian_∇2_f(x∗_{)definitepositif dan ∇}2_f(x∗_{)continue Lipschits pada}

Neigh-borhood dari x∗_;

3. Barisan dari matriks_{Bk_} berbatas pada Norm;

4. Kondisi (4.24) diperoleh pada setiap iterasi, dimanar_∈(0,1).

Maka lim

k→∞xk =x

∗ _{dan diperoleh}

lim

k→∞

kxk+n+1 −x∗k kxk₋x∗_k = 0.

3.5 Kesalahan (error) dari Algoritma Conjugate Gradient

Pendekatan kreatif diusulkan oleh Hestenes dan Stiefel pada 1952 . Membangun metode ArahConjugateyang mana menghitung arahpkhanya pada basis sebelum arah dan rangkaian gradientdengan menggunakan persamaan berikut ini

pk =₋rk+βkpk−1 =−gk+βpk−1

dimana βk koefesien tak bebas dari rangkaian data iterasi sebelumnya, karena pk

dan pk−1 asumsi menjadiconjugate

P_kTApk−1 =−r_kTpk−1+βkpT_k−1Apk−1 = 0

βk dapat dihitung dengan formula

βk = r

T kApk−1

pT

k−1Apk−1

. (3.34)

Dengan asumsi P1 =−g1.

19

1. Memilih sembarangx1 ∈ ℜn. Himpunanp1 =−r1 =−g1 dan k = 1.

2. Menentukanαk yang mana f minimum pada garis

Lk ={x∈ ℜn :=xk+αpk, x∈ ℜ}αk = lainnya, hitung βk+1 dengan menggunakan

βk+1= 4. Membalik k ke nilai 1 dan ke langkah 2.

Alternatif untuk formulaβk pertama amatick ck =rT

kpk =rTk(−rk+βkpk−1) =− krkk2. (3.36)

gunakan relasi persamaan (3.34) dan

krk_k2 = (rk+αkApk)Tr_kT+1 =rTk+1rk−ckβk+1

Teorema 3.2 Andaikan titik xk dibangun oleh algoritma Conjugate Gradient, bukan titik minimum dari f. Maka

Span_{r1, r2, . . . , rk+1}=k(r1, k) (3.37)

Span_{p1, p2, . . . , pk+1}=k(r1, k) (3.38)

pT_kApi = 0; i= 1,2,3, . . . , k₋1 (3.39)

r_kTri = 0; i= 1,2,3, . . . , k₋1 (3.40)

BAB 4 PEMBAHASAN

Untuk pembahasan Bab 4 menggunakan definisi dasar, teorema, dan algoritma yang terdapat dalam Bab 3. Kosentrasi ditujukan pada persoalan minimisasi tak berkendala berbentuk

minf(x), x_∈Rn ((P)) dengan f merupakan dua kali fungsi yang dapat dideferensialkan secara kontinu. Bila demensi (P) besar, metode Conjugate Gradient secara khusus mempergu-nakan sifat-sifatnya. Metode klasikConjugate Gradient bertujuan menyelesaikan (P) dengan menggunakan urutan pencarian garis (line search)

xx+1 =xk+tkdk, k = 1,2, . . .

dengantkadalah langkah yang panjang dan arah pencariandkberasal dari bentuk persamaan berikut ini

dk =₋gk+βkdk−1

dengan gk =_∇f(xk). Terdapat banyak formula untuk menghitung koefesien βk; Liu dan Storey mengusulkan suatu metode Conjugate Gradient baru, di mana arah pencarian berasal dari bentuk persamaan berikut ini

dk =₋αkgk+βkdk−1, αk >0, (4.1)

dengan mempertimbangkan pengaruh pencarian garis yang tidak tepat. Ditulis pendekatan Newton dari f(xk+1), yaitu :

F(xk+tkdk) =f(xk) + (gT_kdk)tk+1 2(d

T

kHkdk)t

2

k, k ≥2,

dimana Hk =_∇2_{f(xk) adalah Hessi darif dixk. JikaHk definite positif, maka} min

tk>0

F(xk+tkdk)₋f(xk)_≤F(xk+dk)₋f(xk). (4.2)

Akhirnya, untuk membuktikan pencarian garis, Liu dan Storey (1991) mengaju-kan (αk, βk) pada (4.1) sebagai minimisasi dari ruas kanan persamaan (4.2) yaitu dari fungsi

Φ( , β) =f(xk+dk)₋f(xk) = (g_kTdk)tk+ 1 2(d

T

kHkdk)t

2

21

Dengan menghitung langsung koefesienαk danβk dari pencarian arah akan dike-tahui dengan Liu dan Storey (1991) telah menunjukan bahwa algoritma Conjugate Gradient secara global konvergen dalam kondisi pencarian garis

F(xk+tkdk)₋f(xk)_≤σ1tk∇f(xk)Tdk,0< σ1 < 1

2 (4.8) |∇f(xk+tkdk)Tdk_{| ≤ −}σ2∇f(xk)Tdk,0< σ1 < σ2 <1, (4.9) jika diasumsikan level himpunanL=_{x_|f(x)_≤f(x0)_}adalah melambung. Kon-disi yang paling utama dari teorema kovergensinya adalah

uk >0, vk >0, (4.10) Pada tulisan ini dibahas Conjugate Gradient dari Liu dan Storey (1991) sebagai algoritma LS. Untuk menghindari penghitungan dan penyimpanan dari Hk, Liu dan Storey menawarkan perhitungan pendekatan uk, vk dan wk dengan menggu-nakan beberapa bentuk dari pendekatan yang berbeda

uk= 1

22

diperoleh dari teorema nilai rata-rata.

Karena kondisi (4.10) harus dipenuhi,Hk harus definite positip. Telah diketahui hal ini memungkinkan, karena secara umum hanya beberapa neighborhood dari suatu lokal minimum. Sebagai tambahan, jika fungsi evaluasi berharga waktu lebih baik mengevaluasinya sejarang mungkin. Tulisan ini mengusulkan perhi-tungan uk, vk dan wk dengan menggunakan formula pendekatan BFGS sehingga (4.10) dan menghilangkan evaluasi gradient tambahan. Pada bagian selanjutnya akan diturunkan algoritma LS dengan menggunakan pendekatan BFGS.

4.1 Algoritma LS-BFGS

Karena algoritma LS menggunakan pendekatan BFGS dimana limit memori BFGS algoritma adalah global konvergen jika fungsi k kontinu di deferensial ke-2 dan Hessi berbatasuniform. Dengan memisalkanZk−1 adalah rentangan dari−gk dan dk−1 dan Qk−1 adalah −gk dan dk−1. Misalnya Zk−1 = rentang{−gk, dk−1} danQk−1 = (−gkdk−1). Metoda LS merupakan metoda- Newton yang berdimensi dua, artinya metode ini menggunakan arah baru pada titikxk, dan arah Newton dibatasi dari f keZk−1. SebenarnyaZk−1 merupakan Hessi dari f di titik terbaru aliranya adalah

˜

Hk=QT

k−1, HkQk−1, (4.17)

dimanaHk=_∇2_{f(xk); dan gradientnya adalah ˜gk=Q}T

k−1gk. Akhirnya arah yang terbaru diberikan oleh

dk =₋(Qk₁H˜−1

k QTk−1gk, (4.18) atau dalam bentuk perluasan dk =αkgk+βkdk−1, dimana

_αk

βk

=₋H˜_k−1gk˜ (4.19) Hal yang menarik dari analisis Liu dan Storey adalah analisa ini dapat meng-gantikan matriks ˜Hk yang diberikan dengan menggunakan teknik- teknik Quasi-Newton.

Seluruh kuantitas ( vektor dan matriks ) dalam mengubah ruangZkakan ditandai dengan diletakkannya tanda _∼ terhadap rumus yang belum ditransformasikan. Matriks ˜Hk yang dikemukakan dengan formula (4.17) berasal dari bentuk berikut ini

˜

23

dan kondisi (4.11) dapat ditulis berbentuk

0< ukvk/(4rk)_≤ukvk₋w2k = det ˜Hk.

Selanjutnya pada setiap iterasi ke-k pada (4.11) diberikan suatu batas dari bawah untuk ditentukan kondisi (4.10)₋(4.11). Dalam hal ini dapat dipastikan ˜Hkadalah

definitepositif. Sebelum matriksdefinitepositif meletakkanHk pada (4.18) perlu mengetahui sesuai tidaknya algoritma konvergensi.

Akibat 1. Andaikan level himpunan L dari f dibatasi ( bounded ) dan kondisi pencarian garis (4.8)₋(4.9). Misalkan

˜

Hk =₋uk_wk −_vkwk

adalah matriks 2_×2 yang memenuhi (4.10)-(4.12) dan Qk−1 = (−gkdk−1). Maka ada type algoritma LS dengan pencarian arah diberikan oleh

dk =₋(Qk−1H˜_k−1QT_k)gk (4.20)

adalah konvergen.

Bukti. Karena Liu dan Storey (1991) menggunakan besaran kuantitas uk, vk dan

wk tanpa menggantinya dengan (4.5)₋(4.7) konsekuensinya menjadi valid. Dicatat juga bahwa, jika ˜Hk memenuhi (4.11 ) makawk<√ukvk dan karena itu

gT

kdk <0.

Akibat 1 dapat juga menggunakan (4.18) atau (4.19) dengan matriks definite

poisitif lainnya memenuhi (4.10)-(4.12) bukan ˜Hkyang dikemukakan pada formula (4.17). Karena ˆHk adalah Hessi yang di reduksi, dapat mengganti pendekatan Hessi yang di reduksi dengan menggunakan formula BPGS yang diperbaiki.

Misalkan ∆xk=xk+1−xk dan ∆gk =gk+1−gk dengan ∆xT_k∆gk>0. Formula koreksi BFGS yang diperbaiki membangun suatu pendekatan pada ma-triks Hessi dari f yang didefinisikan oleh

Hk+1 =UBF GS(∆xk,∆gk, Hk) (4.21)

yang ekuivalen dengan

Hk+1 =Hk+

∆gk∆gT k

∆xT k∆gk

− Hk∆xk∆x

T k

∆xT

kHk∆xk

. (4.22)

24

Disini akan dipergunakan fungsi perbaikan dengan (4.21), yang diperkenalkan oleh Dennes dan More. Untuk menuliskan (4.22), menggunakan argumen yang sesuai, seperti dalam metode Nazareth‘s. Skema umum untuk memutakhirkan ˆHk pada masing-masing iterasi adalah sebagai berikut:

i. ¯Hk =QT

kHkQk proyeksi dari Hk diatas Zk = span{−gk+1, dk}. ii. ∆˜xk=QT

k∆xk,∆˜gk =QTk∆gk.

iii. Jika ∆˜xT

k∆˜gk>0 maka gunakan formula BFGS yang diperbaiki

ˆ

Hk+1 =UBF GS(∆˜xk,∆˜gk,Hk¯ ).

iv. Mengembangkan pendekatan terhadap seluruh ruang Rn.

Pada skema ini, titik-titik krusial adalah ( iii ) dan ( iv ). Hubungan ∆˜xk∆˜gk >0 perlu untuk memastikan bahwa ˜Hk+1 adalah definite positif. Pencarian garis (4.8)-(4.9) tidak hanya akan menjamin bahwa ∆˜xk∆˜gk >0. Sehingga pengguna dapat menemukan relasi diantara pencarian garis (4.8)₋(4.9) dan hasil kali dalam ∆˜xk∆˜gk. Teorema di bawah ini memberikan hubungan yang dimaksud.

Teorema 4.1 Jika di dalam pencarian garis kondisi diberhentikan pada (4.8) ₋ (4.9), ∆˜xk∆˜gk >0 jika dan hanya jika Dapat diperhatikan jika ∆xT

k∆gk >0 menyatakan secara tidak langsungdTk∆gk >

0. Istilah persoalan dalam formula (4.24) merupakan ruas pertama pada sisi kanan. Akan tetapi dari (4.8)₋(4.9) diketahui bahwa

25

Terpenuhi. Jika gT

k+1∆gk >0 maka

∆˜xTk∆˜gk≥ tk[σ2(gTkdk)(gkTgk) +kd2k 2

(σ2−1)g_kTdk]. Dengan menggunakan σ2(gT

kdk) sebagai vektor, hal itu akan mengikuti

∆˜xT_k∆ ˜gk> tkσ2(g_kTdk)[gT_k∆gk) + (σ2−1)kd2k 2

/σ2 >0.

Dengan cara yang sama, dapat ditentukan bahwa jikagT

k∆gk <0 maka

∆˜xT_k∆gk >₋tkσ2(g_kTdk)[g_kT∆gk) +_kd2k 2

/σ2 >0.

Jika diperoleh ∆˜xT

k∆ ˜gk >0,

(g_kTdk)(g_kT∆gk) + (dT_kdk)dT_k∆gk >0.

Jika gT

kdk >0, dapat digunakan rumus g_kT∆gk>_{− k}d2k

Pertidaksamaan (4.23) menunjukan bahwa hubungan antara parameter pencarian garis σ2 dan hasil kali dalam ∆˜xT_k∆˜gk. Semakin besar nilaiσ2 akan menurunkan interval yang diketahui dengan formula (4.23) karena ∆˜xT

k∆˜gk>0. Jika pencarian

garis yang tepat digunakan untuk menentukan panjang langkah tk, ∆xT

k∆gk> 0

mengimplikasikan ∆˜xT

k∆˜gk >0.

Jika ∆˜xT

k∆˜gk > 0 dengan ¯Hk = QTkHkQk proyeksi Hessi Hk ke dalam Zk. Di

sini akan menghitung ˜Hk+1 menggunakan formula BFGS yang diperoleh pada (4.22). Untuk memperluas pendekatan Hessi ini sampai keseluruh ruangRn, harus menetapkan ¯Qk = (pkqk), orthonormalizedbentuk dari Qk dengan

26

dimana

sk =

kgk_k2₋ (g T kdk)2

kgk_k2

1/2

. (4.25)

Perlu digarisbawahi bahwa sifat utama ¯Qkadalah ¯QkQ¯T

kz =zuntuk setiapz ∈Zk.

Sehingga

(In₋Qk¯ Q¯T_k)gk+1 = 0, (In−Qk¯ Q¯T_k)dk = 0. Kolom dari (In₋Qk¯ Q¯T

k)T membangun Z

1

k dan

Hk+1 =QkH˜_k−1QT_k + (In−Qk¯ Q¯T_k), (4.26)

memberikan perluasan dari invers Hessi H−1

k keseluruh ruang Rn. Maka arah

pencarian baru akan diketahui dengan

dk+1 =−Hk+1gk+1 =−(QkH˜_k−1QT_k)gk+1.

Formula (4.26) hanya digunakan untuk menghitung proyeksi ¯Hk dari Hessi Hk

kedalam subruang (supspace) atas Zk = rentang_{−gk+1, dk}. Dan akan didekati dengan formula

¯

Hk= (QT_kQk−1) ˜Hk(QTkQk−1)T +QkTQk−(QTkQk¯ −1)(qTkQk¯ −1)T, (4.27)

matriks 2_×2 digunakan sebagai pendekatan awal untuk Hessi pada formula BFGS yang diperbaikai. ¯Hk dapat dihitung lebih efesien menggunakan hasil kali vektor

gk+1, dk, gk dan dk−1.

Algoritma LS, BFGS

0. k _←0, d0 ← −g0.

Line search (4.8)-(4.9): x1 =x0+t0d0

Q0 = (−g1d0); ˜←I2

1. If_kgk+1k< ǫ, then STOP otherwise k ←k+ 1.

2. Ifk > n then go to 7.

3. dk =₋αkgk+βkdk−1

27

Untuk mendapatkan ˜H−1

k , dapat menggunakan pendekatan invers Hessi yang

dire-duksi darif, tetapi, untuk ini harus mendapatkan kebalikan kondisi teorema kon-vergensi dari Liu dan Storey (1991)

Akibat 2 Misalkan ˜Hk =_wkuk¯_¯ wk_vk¯¯ Adalah matriks 2_×2 sedemikian hingga

i. ˜Hk adalah definitepositif,

ii. 1₋ w¯2k

Menurut kondisi pencarian garis (4.8)₋(4.9), untuk setiap algoritma tipe LS yang lain dengan arah pencarian diketahui, akan diberikan oleh

dk=₋(Qk−1HkQ˜ T_k)gk, (4.28)

sehingga konvergen.

Formula BFGS yang diperbaiki pada (4.22) akan digantikan dengan

˜

yang membangun invers pendekatan Hessi.

Untuk menghitung pendekatan baru dari ˜Hk pada langkah 5 dari algoritma LS-BFGS, perlu menghitung 10 Inner products dan 7 Inner products terbaik. Jika kdk−1k

2

,_kgk_k2 dan sk (diberikan oleh (4.25)) dihitung dengan iterasi sebelum-nya . Algoritma SAR membutuhkan jumlah operasi yang sama basebelum-nyaksebelum-nya untuk

28

menghitung ˜Hk.

Versi yang paling ekonomis untuk menghitung αk dan βk dengan metode LS de-ngan menggunakan (4.13) dan (4.16) dan untuk menghitung gradient memerlukan perhitungan 6 Inner products.

Algoritma LS-BFGS (atau algoritma SAR) lebih menguntungkan jika dihitung ∇f (atau f) dengan menggunakan waktu lebih daripada menghitung 6 Inner products.

4.2 Algoritma dan Implementasinya

Setelah diuji algoritma baru yang dikemukakan pada bagian 2, pada bagian ini akan dibahas algoritma LS yang dikemukakan oleh Hu dan Storey dan algo-ritma SAR pada Nazareth. Dalam hal ini akan digunakan jenis pencarian yang diberikan oleh Gilbert dan Nocedal dengan langkah awal

t0 = min{2,2(f(xk)−f∗)/g_KTdk},

dimanaf∗ _{adalah perkiraan nilai fungsi optimal untuk semua pengujian masalah}

akan ditetapkan f∗ _{= 0, karena nilai fungsi optimal harus nonnegatif parameter}

pencarian garis pada (4.8)₋(4.9) adalah

σ1 = 0,0001 dan σ2 = 0,1

Pada semua kasus, kondisi akan dihentikan bila

kgk_k<10−5

max(1,_kxk_k).

Barisan_{rk_}diperlukan untuk menguji kekonvorgenan global yang diberikan oleh

rk _≡1010

untukk_≥1. Barisan_{γk_}yang digunakan pada skemafinite difference

(4.13) adalah

γk = 4_kgk_k−11010

.

Pilihan ini merupakan pilihan yang terbaik untuk persoalan dengan skala besar dan dapat berpengaruh pada algoritma LS untuk persoalan berdimensi rendah. Di samping itu, ada nilai yang sangat kecil pada numeratorγk yang dapat menye-babkan kesulitan numeris persoalan berdimensi besar.

29

Pada bagian ini dibahas penggunaan algoritma yang digunakan dalam pen-gujian secara detil, yakni dalam perhitungan koefesienαk dan βk pada pencarian arah (4.1) adalah

LS: Algoritma Generalized Conjugate Gradient dari Liu dan Storey, menggu-nakan (4.13) dan (4.16), pada tulisan Hu dan Storey persyaratan penyim-panan: 6n.

SAR: Algoritma SAR dari Nazareth kasus dimensi dua zk =_{∆xk,∆gk_}) pengu-langan kembali dilakukan dengan algoritma LS, yakni H0 dihitung dengan (4.13)-(4.16), persyaratan penyimpanan : 6n

LSB: Algoritma LS-BFGS yang dikemukakan pada bagian 2. Dikerjakan ulang dengan algoritma LS seperti algoritma SAR. Persyaratan penyimpanan: 6n

algoritma menurut line search.

Pencarian garis (line search) (4.8)₋(4.9) dilakukan jika kondisi

f(xk+dk)₋f(x0)≤βgT_kdk, β′ = 0,0001, (4.29)

dan

dT_k∇f(xk+dk)_≥βg_kTdk; β = 0,9 (4.30)

tidak dipenuhi.

Hubungan versi pada bilangan di ujung dari nama algoritma, yaitu LS 1 adalah algoritma natural LS dan LS 2 adalah algoritma LS dengan satuan / unit langkah strategi panjang (4.29)₋(4.30).

30

4.2.2 Implementasi

Dari algoritma 4.2.1 akan menghasilkan suatu implementasi seperti di bawah ini, yang akan memenuhi syarat untuk pencarian pada MetodeConjugateGradient dan MetodeQuasi-Newton.

1. Untuk perluasan fungsibealedimanaf(x) =

n/2

2. Untuk perluasan fungsi Mieledan Control dimanaf(x) =

n/4 3. Untuk perluasan fungsi penalti 1 dimana

f(x) = 10−5Pn

4. Untuk perluasan fungsi penalti 2 dimana

f(x) =

5. Perluasan fungsi Rosenbrock

f(x) = 6. Untuk perluasan fungsi trigonometri

f(x) =

dimanaaij =δij, bij =iδijadalah delta kronecker, denganx0

= (1/n, . . . ,1/n)T

7. Untuk perluasan fungsi Brown dimana

31

8. Untuk perluasan fungsi Powel dimana

f(x) =

9. Untuk perluasan fungsi tridiagonal dimana

f(x) = Pn

10. Untuk perluasan fungsi wood dimana

f(x) =

Berdasarkan implementasi beberapa fungsi khusus di atas akan diperoleh hasil awal x0 yang pada umumnya digunakan untuk penyelesaian pada Metode

Conjugate Gradient dan MetodeQuasi-Newton.

BAB 5

KESIMPULAN DAN SARAN

5.1 Kesimpulan

Dengan menggunakan sepuluh masalah dalam bentuk fungsi untuk melakukan uji kekonvergenan dengan algoritma SAR, LS, LSBG6S dapat disimpulkan bahwa:

• Penggunaan algoritma LS lebih baik dalam hal penghitungan waktu (CPU time) jika dipengaruhi banyaknya iterasi yang ada (NI).

• Penggunaan algoritma SAR akan lebih baik dibandingkan algoritma LS dalam penghitungan NF/NG tetapi dengan memerlukan lebih banyak per-bandingan NF/NG-nya.

DAFTAR PUSTAKA

Axelsson, O. dan Karatson, J. 2001. On The Rate of Convergence of The Conju-gate Gradient Method For Linear Operators in Hilbert Space. Toernooiveid 6525ED Nijmegen The Netherland.

Biggs-Michael, Bartholomew. 2008. NonLinier Optimization With Engineering Aplications. Springer Science + Business Media, LLC.

Bouyouli, R., Meurant, G., Smoch, L., dan Sadok, H. 2008. New Results on The Convergence of The Gradient Method. Linear Algebra Appl : Vol. 02 1-12. Byrd, Richard H., Nocedall, Jorge dan Yuan, Ya-Xiang. 1987. Global Convergence

of A Class of Quasi-Newton Methods On Convex Problems. Jurnal SIAM NUMERANAL Vol. 24 No. 5 hal, 49-65.

Fallgren, Mikail. 2006. On The Robustness of Conjugate-Gradient Methods and Quasi-Newton Methods. Department of Mathematics Royal Institute of Tech-nology.

Guliashki, Vassil. 2008. A Hybrid Direct Search-Quasi-Newton Method for the In-verse EIT Problem. CYBERNETICS AND INFORMATION TECHNOLO-GIES, Volume 8, No. 2, hal 40-50.

Hager, William W. dan Zhang, Hongchao. 2005.A Survey of Nonlinear Conjugate Gradient Method. Natural Science Foundation Under Grant No. 0203270. Koko, Jonas. 1991. A Conjugate Gradien Method With Quasi-Newton

Approxima-tion. Mathematics Subject Classfication GSK10, 49M07.

Liu, Hong-Wei. 2010. Global Convergence of The Non-Quasi-Newton Method with Non-Monotone Line Search for Unconstrained Optimization Problem. ORSC & APORC, 270-275.

Liu, Y. dan Storey, C. 1991.Efficient Generalized Conjugate Gradient Algorithms, Part 1: Theory. Journal Of Optimization Theory and Applications: Vol. 69, No. 1, hal 139-152.

Pytlak, Radoslaw. 2009. Conjugate Gradient Algorithms In Noncomvex Optimiza-tion. Springer Varlage Berlin Heidelberg.

Wei, Cao dan Kai-Rong, Wang. 2010. Global Convergence of A New Conjugate Gradient Method for Modified Liu-Storey Formula. Journal of East China Normal University. No. 1. Article ID: 1000-5641(2010)01-0044-08.

Wright, Stephen J. 1986. Convergence of Projected Hessian Approximations in Quasi-Newton Methods for the Nonlinear Programming Problem.IMA Jour-nal of Numerical AJour-nalyis, 463-474.

Zhou, Wenwen, Griffin, Joshua D. dan Akrotirianakis, Ioannis G. 2009.A Globally Convergent Modified Conjugate-Gradient Line-Search Algoritm With Inertia Controlling. SAS Institute Inc., 100 SAS Campus Drive, Cary, NC 27513, USA. (http://www.optimization-online.org/DB HTML/2009/09/2406.html) hal 1-21