METODE KONJUGAT GRADIEN HIBRID BARU: METODE
HS-CD DAN METODE LS-DY UNTUK MENYELESAIKAN
MASALAH OPTIMASI TAK BERKENDALA
T MURDANI SAPUTRA
SEKOLAH PASCASARJANA INSTITUT PERTANIAN BOGOR
PERNYATAAN MENGENAI TESIS DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA*
Dengan ini saya menyatakan bahwa tesis berjudul Metode Konjugat Gradien Hibrid Baru: Metode HS-CD dan Metode LS-DY untuk Menyelesaikan Masalah Optimasi Tak Berkendala adalah benar karya saya dengan arahan dari komisi pembimbing dan belum diajukan dalam bentuk apapun kepada perguruan tinggi manapun. Sumber informasi yang berasal atau dikutip dari karya yang diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks dan dicantumkan dalam Daftar Pustaka di bagian akhir tesis ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut Pertanian Bogor.
Bogor, September 2015
T Murdani Saputra
RINGKASAN
T MURDANI SAPUTRA. Metode Konjugat Gradien Hibrid Baru: Metode HS-CD dan Metode LS-DY untuk Menyelesaikan Masalah Optimasi Tak Berkendala. Dibimbing oleh BIB PARUHUM SILALAHI dan SUGI GURITMAN.
Dalam kehidupan sehari-hari sering kita menjumpai kegiatan yang menyangkut masalah optimasi. Optimasi bertujuan untuk mencari penyelesaian terbaik dari suatu masalah. Masalah optimasi dapat diselesaikan menggunakan metode analitik dan metode numerik. Untuk masalah optimasi suatu fungsi objektif tak linear skala besar, lebih efisien digunakan metode numerik. Terdapat beberapa metode numerik yang dapat digunakan untuk menyelesaikan optimasi fungsi tak linear skala besar, salah satu metode tersebut adalah metode konjugat gradien.
Metode konjugat gradien diperkenalkan oleh Hestenes dan Stiefel (HS) pada tahun 1952. Pada awalnya metode ini digunakan untuk menyelesaikan sistem persamaan linear. Setelah itu pada tahun 1964, Fletcher dan Reeves memperluas metode tersebut untuk menyelesaikan sistem persamaan tak linear skala besar. Metode dari Fletcher dan Reeves dikembangkan lagi oleh para peneliti dengan mengusulkan metode-metode baru. Metode-metode baru tersebut diantara lain yaitu metode PRP, metode CD, metode LS dan metode DY. Metode-metode yang telah diusulkan pada penelitian sebelumnya memliki kelebihan dan kekurangan pada waktu proses komputasi dan sifat-sifat kekonvergenan global. Oleh karena itu para peneliti mengusulkan metode baru dengan menggabungkan kelebihan-kelebihan dari metode-metode yang diusulkan sebelumnya.
Penelitian ini mengusulkan metode-metode konjugat gradien hibrid baru kemudian membuktikan berlakunya sifat-sifat kekonvergenan metode-metode yang diusulkan. Selanjutnya membandingkan hasil numerik dari metode-metode yang diusulkan dengan metode-metode pada penelitian sebelumnya yaitu metode NH1, NH2 dan NH3.
Dalam penelitian ini kami mengusulkan dua metode konjugat gradien hibrid yang kami beri nama metode NH4 dan NH5. Kedua metode baru yang diusulkan berdasarkan ide dari metode NH2 dan NH3. Metode-metode baru yang diusulkan memenuhi sifat-sifat kekonvergenan global menggunakan kondisi Wolfe serta memenuhi kondisi descent. Hasil numerik menunjukkan bahwa metode baru efisien dalam menyelesaikan semua fungsi tak linear yang diujikan serta metode baru kompetitif dengan metode NH1, NH2, dan NH3.
SUMMARY
T MURDANI SAPUTRA. New Hybrid Conjugate Gradient Method: HS-CD Method and LS-DY Method for Solving Unconstrained Optimization Problems. Supervised by BIB PARUHUM SILALAHI and SUGI GURITMAN.
In daily life we often encounter activities deal with optimization problem. The goal of optimization is to find the best solutions of a problem. For large-scale non linear optimization problems, it will be more efficient by solving the problem using numerical methods. There are several numerical methods for solving large-scale non linear optimization problems, one of them is conjugate gradient method.
Conjugate gradient method was proposed by Hestenes and Stiefel (HS) in 1952. At the begining this method is used to solve linear equation systems. After that in 1964, Fletcher and Reeves extend this method to solve large-scale nonlinear equation system. Then the method of Fletcher and Reeves is developed by the researchers to propose new methods. These new methods namely, the PRP method, the CD method, the LS method and the DY method. The proposed methods have advantages and disadvantages in computing processing time and global convergence properties. Therefore, the researchers have been proposing a new method by combining the advantages of the existing methods.
This research proposes new hybrid conjugate gradient methods then prove global convergence properties of the proposed methods. Then this research also compare the numerical results of the proposed methods with the existing methods namely, NH1, NH2, and NH3 methods.
In this research, we proposed two hybrid conjugate gradient methods, namely the NH4 method and the NH5 method. Both of these method is based on the idea of NH2 and NH3 methods. Both methods have proved satisfying global convergence properties by using Wolfe conditions and satisfying descent condition. Numerical results show that the new methods are efficient for solving all of tested nonlinear functions and the new methods are competitive with NH1, NH2 and NH3 methods.
© Hak Cipta Milik IPB, Tahun 2015
Hak Cipta Dilindungi Undang-Undang
Tesis
sebagai salah satu syarat untuk memperoleh gelar Magister Sains
pada
Program Studi Matematika Terapan
METODE KONJUGAT GRADIEN HIBRID BARU: METODE
HS-CD DAN METODE LS-DY UNTUK MENYELESAIKAN
MASALAH OPTIMASI TAK BERKENDALA
SEKOLAH PASCASARJANA INSTITUT PERTANIAN BOGOR
BOGOR 2015
Judul Tesis : Metode Konjugat Gradien Hibrid Baru: Metode HS-CD dan Metode LS-DY untuk Menyelesaikan Masalah Optimasi Tak Berkendala
Nama : T Murdani Saputra NIM : G551130121
Disetujui oleh Komisi Pembimbing
Dr Ir Bib Paruhum Silalahi, MKom Ketua
Dr Sugi Guritman Anggota
Diketahui oleh
Ketua Program Studi Matematika Terapan
Dr Jaharuddin, MS
Dekan Sekolah Pascasarjana
Dr Ir Dahrul Syah, MScAgr
PRAKATA
Puji dan syukur penulis panjatkan kepada Allah subhanahu wa ta’ala atas segala karunia-Nya sehingga karya ilmiah ini berhasil diselesaikan. Tema yang dipilih dalam penelitian yang dilaksanakan sejak bulan Desember 2014 ini ialah teori optimasi, dengan judul Metode Konjugat Gradien Hibrid Baru: Metode HS-CD dan Metode LS-DY untuk Menyelesaikan Masalah Optimasi Tak Berkendala. Penulisan tesis ini merupakan salah satu syarat memperoleh gelar Magister Sains pada program studi Matematika Terapan Sekolah Pascasarjana Institut Pertanian Bogor. Penulis juga menyampaikan terima kasih kepada:
1. Alm. Bapak Teuku Umar dan Ibu Nuraini selaku orang tua penulis. 2. Dr Ir Bib Paruhum Silalahi, Mkom selaku Ketua Komisi Pembimbing. 3. Dr Sugi Guritman selaku Anggota Komisi Pembimbing.
4. Dr Toni Bakhtiar, MSc selaku Penguji Luar Komisi Pembimbing dan Ketua Departemen Matematika.
5. Dr Jaharuddin, MS selaku Ketua Program Studi S2 Matematika Terapan. 6. Direktorat Jendral Pendidikan Tinggi (DIKTI) sebagai sponsor Beasiswa
Pendidikan Pascasarjana dalam Negeri (BPP-DN).
7. Seluruh keluarga yang selalu memberi dorongan dan doa untuk keberhasilan studi penulis.
8. Seluruh mahasiswa Departemen Matematika khususnya teman-teman angkatan tahun 2013 di Program Studi S2 Matematika Terapan.
9. Sahabat-sahabat yang tidak dapat disebutkan satu persatu yang telah banyak membantu penulis dalam penyelesaian tesis ini.
Semoga semua bantuan, bimbingan dan motivasi yang telah diberikan kepada penulis senantiasa mendapatkan balasan dari Allah subhanahu wa ta’ala.
Akhirnya, semoga penulisan tesis ini dapat memperkaya pengalaman belajar dan wawasan kita semua.
Bogor, September 2015
DAFTAR ISI
DAFTAR TABEL vi
DAFTAR GAMBAR vi
DAFTAR LAMPIRAN vi
1 PENDAHULUAN 1
Latar Belakang 1
Tujuan Penelitian 2
2 TINJAUAN PUSTAKA 2
Optimasi Matematik 2
Himpunan Konveks 2
Fungsi Konveks 2
Norm Vektor Euclid 3
Vektor Gradien 3
Minimum Global dan Minimum Lokal 3
Himpunan Terbatas 3
Kontinuitas Fungsi Lipschitz 4
Konvergen Global 4
Limit Inferior 4
Iterasi dan Running Time 4
3 METODE PENELITIAN 4
4 HASIL DAN PEMBAHASAN 5
Metode Konjugat Gradien 5
Metode Konjugat Gradien Hibrid Zhang dan Zhou 6
Metode Konjugat Gradien Hibrid Zhou, Zhu, Fan dan Qing 7
Metode Konjugat Gradien Hibrid Baru 7
Analisis Kekonvergenan Global Metode Konjugat Gradien Hibrid Baru 9
Hasil Numerik 17
5 SIMPULAN 21
DAFTAR PUSTAKA 21
DAFTAR TABEL
1 Hasil iterasi dari metode konjugat gradien hibrid 17 2 Hasil running time dari metode konjugat gradien hibrid 18
DAFTAR GAMBAR
1 Hasil profil jumlah iterasi metode NH1, NH2, NH3, NH4 dan NH5 20 2 Hasil profil jumlah running time metode NH1, NH2, NH3, NH4 dan NH5 20
DAFTAR LAMPIRAN
1
PENDAHULUAN
Latar Belakang
2
Tujuan Penelitian
Berdasarkan uraian latar belakang di atas, tujuan yang akan dicapai pada penelitian ini adalah sebagai berikut:
1. Mengusulkan metode konjugat gradien hibrid baru.
2. Membuktikan berlakunya sifat-sifat kekonvergenan global metode konjugat gradien hibrid baru.
3. Membandingkan hasil numerik metode konjugat gradien hibrid baru dengan metode NH1, NH2 dan NH3.
2
TINJAUAN PUSTAKA
Optimasi Matematik Definisi 2.1
Optimasi matematik adalah suatu proses formulasi masalah dan penentuan solusi dari suatu masalah optimasi berkendala dengan bentuk umum:
min , = [ , , … , ]� ℝ dengan kendala
, = , , … , ℎ = , = , , … , dengan , , dan ℎ adalah fungsi dari .
Komponen-komponen dari = [ , , … , ]� dinamakan variabel keputusan, adalah fungsi objektif, menyatakan fungsi kendala pertaksamaan, ℎ adalah fungsi-fungsi kendala persamaan. Vektor optimum yang menjadi solusi dari masalah dinyatakan dengan ∗ dan nilai optimumnya adalah ∗ . Jika tidak ada kendala maka masalah dinamakan masalah minimasi tanpa kendala. (Snyman 2005)
Himpunan Konveks Definisi 2.2
Sebuah himpunan X adalah konveks jika untuk semua , � memenuhi
2 1
1
xx x X untuk semua 0 1. (2.2) Jika kondisi di atas tidak terpenuhi maka himpunan X tidak konveks. (Snyman 2005)
Fungsi Konveks Definisi 2.3
Misalkan : ℝ → ℝ ,
1. Fungsi f dikatakan konveks pada himpunan konveks C jika
+ − + − , (2.3)
untuk setiap , di C dan untuk setiap dengan .
2. Fungsi f dikatakan konveks sempurna pada himpunan konveks C jika
3 untuk setiap , di C dengan ≠ dan untuk setiap dengan < < . (Snyman 2005)
Norm Vektor Euclid Definisi 2.4
Untuk vektor × , norma Euclid dari x didefinisikan sebagai:
‖ ‖ = ∑ ⁄ = √ � , (2.5) di mana ℝ × (Luenberger dan Ye 2008).
Vektor Gradien
Untuk fungsi � yang terdapat di setiap titik yang merupakan vektor dari turunan parsial orde pertama disebut vektor gradien yaitu :
=
( �� ��
�� ��
⋮ �� ��� )
(Snyman 2005).
Minimum Global dan Minimum Lokal Definisi 2.5
1. Titik ∗ adalah minimum global dari f pada D jika ∗ ∀ �� ⊆ ℝ 2. Titik ∗ adalah minimum lokal jika terdapat > sehingga
> ∗ untuksetiap { |‖ − ∗‖ < }, dengan ‖∙‖ menyatakan norma Euclid.
(Snyman 2005)
Himpunan Terbatas Definisi 2.6
Diberikan himpunan tak kosong S ⊂ℝ
1. Himpunan S dikatakan terbatas di atas (bounded above) jika terdapat suatu bilangan u ℝ sedemikian hingga � untuk semua �. Setiap bilangan u seperti ini disebut dengan batas atas (upper bound) dari S.
2. Himpunan S dikatakan terbatas di bawah (bounded below) jika terdapat suatu bilangan w ℝ sedemikian hingga untuk semua �. Setiap bilangan w seperti ini disebut dengan batas bawah (lower bound) dari S. 3. Suatu himpunan dikatakan terbatas (bounded) jika terbatas di atas dan
terbatas di bawah. Jika tidak, maka dikatakan tidak terbatas (unbounded). (Bartle 2011)
4
Kontinuitas Fungsi Lipschitz Definisi 2.7
�: � ⊂ ℝ → ℝ adalah kontinu H ̈lder pada D jika ada konstanta dan , ] sehingga untuk semua , �,
pF y F x y x . (2.7)
Jika p = 1, maka F disebut kontinu Lipschitz pada D dan adalah konstanta Lipschitz. (Sun dan Yuan 2006).
Konvergen Global Definisi 2.8
Suatu model algoritme dikatakan konvergen, jika akumulasi titik-titik dari setiap barisan iterasi {xn} dikonstruksi oleh algoritma dalam P yang merupakan
himpunan solusi optimal (Argyros 2008).
Limit Inferior Definisi 2.9
Limit inferior dari sebuah barisan { }xn yang dinotasikan sebagai berikut
lim inf
n
n x (2.8)
adalah definisi dari supremum semua bilangan dengan mengikuti sifat: Ada bilangan bulat N sedemikian sehingga xn untuk semua n N. (Thomson et al. 2007).
Iterasi dan Running Time Definisi 2.10 (Iterasi)
Iterasi adalah sifat tertentu dari algoritme atau program komputer di mana satu urutan atau lebih dari langkah algoritme yang dilakukan pada loop program (Chapman 2008).
Definisi 2.11 (Running Time)
Running time dari suatu algoritme didefinisikan sebagai ukuran operasi primitife atau tahapan proses yang dieksekusi (Cormen et al. 1990).
3
METODE PENELITIAN
5 menggunakan bahasa pemograman serta dibandingkan hasil numerik metode baru dengan metode NH1, NH2 dan NH3.
4
HASIL DAN PEMBAHASAN
Metode Konjugat Gradien
Pada pembahasan ini akan dijelaskan cara mendapatkan metode konjugat gradien hibrid baru. Metode baru dalam penelitian ini diusulkan berdasarkan ide dari penelitian Zhang dan Zhou (2008) dan Zhou et al (2011). Pada bab pendahuluan telah dijelaskan bahwa metode konjugat gradien merupakan salah satu metode numerik untuk menyelesaikan optimasi fungsi tak linear skala besar. Metode konjugat gradien pertama kali diperkenalkan oleh Hestenes dan Stiefel pada tahun 1952 untuk menyelesaikan sistem persamaan linear, berikut masalah optimasi tanpa kendala:
min f( ),x x n (4.1) dengan : ℝ → ℝ merupakan fungsi turunan kontinu dan g(x) merupakan gradien pada fungsi f.
Persamaan (4.1) secara iteratif pada metode konjugat gradien dapat diselesaikan dengan menggunakan bentuk:
1 , 0,1, 2,...
k k k k k
x x d (4.2) dengan adalah proses iteratif, merupakan ukuran langkah dan � merupakan pencarian arah.
Ukuran langkah diperoleh menggunakan beberapa bentuk line search
yaitu exact atau inexact line search dan bentuknya sebagai berikut:
0
( ) min ( )
k k k k k k
f x d f x d , (4.3) dan
( ) ( )
( )
T
k k k k k k k
T T
k k k k k k
f x d f x g d g x d d g d
, (4.4) dengan < < � < (Nocedal dan Wright 1999).
( ) ( )
( )
T
k k k k k k k
T T
k k k k k k
f x d f x g d
g x d d g d
, (4.5) dengan < < � < (Nocedal dan Wright 1999).
Persamaan (4.3) merupakan bentuk dari exact line search dan pertidaksamaan (4.4), (4.5) merupakan bentuk inexact line search. Bentuk inexact line search di atas merupakan kondisi Armijo dan Curvature. Namun untuk (4.4) dikenal dengan kondisi Wolfe sedangkan (4.5) kondisi strong Wolfe. Ukuran langkah dalam penelitian ini menggunakan kondisi Wolfe (4.4).
Pencarian arah � pada metode konjugat gradien ini menggunakan aturan sebagai berikut:
1
, untuk 0
, untuk 0
k k
k k k
k
k
g d
6
dengan � adalah gradien di , dan merupakan parameter sehingga mengurangi kelinearan metode konjugat gradien dalam kasus ketika adalah fungsi kuadratik strictly convex dan pencarian garisnya adalah exact. Berikut beberapa metode konjugat gradien yang terkenal:
1
1 1
T
HS k k
k T
k k
g y
d y , Hestenes dan Stiefel (1952)
2 2 1 k FR k k g g
, Fletcher dan Reeves (1964)
1 2 1 T
PRP k k
k
k
g y
g , Polak – Ribiere dan Polyak (1964)
2
1 1
k CD
k T
k k
g
d g , Fletcher (1987)
1
1 1
T
LS k k
k T
k k
g y
d g , Liu dan Storey (1991)
2 1 1 k DY k T k k g
d y , Dai dan Yuan (1999)
dengan yk1 gk gk1 dan ‖∙‖ merupakan norma vektor Euclid. Lemma 4.1 (Kondisi descent)
Misalkan f adalah fungsi monoton dan ukuran langkah > . Jika ∗ adalah solusi optimal, maka ada parameter ∗ , ) sehingga, untuk semua ∗ , ∗), pencarian arah � didefinisikan oleh persamaan (4.6) memenuhi kondisi descent
0
T
k k
g d (4.7)
(Pillo dan Giannessi 1999).
Metode Konjugat Gradien Hibrid Zhang dan Zhou
Zhang dan Zhou (2008) mengusulkan dua metode konjugat gradien hibrid baru, yaitu metode NH1 dan NH2. Metode NH1 merupakan metode yang diusulkan berdasarkan ide dari metode hibrid PRP-FR atau metode H1 (Touati-Ahmed dan Storey 1990) dan modifikasi dari metode FR atau MFR (Zhang et al. 2006), sedangkan untuk metode NH2 diusulkan berdasarkan ide dari metode hibrid HS-DY atau metode H2 (Dai dan Yuan 2001) dan modifikasi dari metode HS-DY atau MDY (Zhang 2006). Adapun bentuk metode-metode tersebut sebagai berikut:
1
max 0, min ,
H PRP FR
k k k
, 4.8)
2
max 0, min ,
H HS DY
k k k
, (4.9)
MFR: 1 21 21 1
1 1 1 k T T
FR k k FR k k FR
k k k k k k k k
k k
g d
d g d g
g
g d
g d
7
MDY: 21 1
1 2 1
1 1 1 T T
DY k k D Y k k D Y
k k k k k k k k k
k k
g d
g d g
g
g d
d g
g
d . (4.11) Metode NH1 dan NH2 diperoleh dengan menggantikan parameter ��(4.10) dengan parameter � (4.8) dan parameter �� (4.11) dengan parameter � (4.9), adapun metode NH1 dan NH2 sebagai berikut:
NH1: 1 1 1
1 2
1
1
T
H k k H
k k k k k
k
g d
d g d
g
. (4.12)
NH2: 2 1 2
1 2
1
1
T
H k k H
k k k k k
k
g d
d g d
g
. (4.13) Metode MFR, MDY, NH1 dan NH2 memenuhi �kT� = −‖� ‖ yang menunjukkan metode-metode tersebut merupakan metode sufficient descent. Zhang dan Zhou (2008) menunjukkan bahwa metode NH1 dan NH2 pada proses komputasi sangat efisien dan memenuhi kekdonvergenan global.
Metode Konjugat Gradien Hibrid Zhou, Zhu, Fan dan Qing
Zhou et al. (2011) mengusulkan bentuk ketiga dari metode konjugat gradien hibrid yaitu metode NH3 serta mengusulkan dua metode baru yaitu metode hibrid LS-CD atau metode H3, dan modifikasi dari metode CD atau MCD. Metode NH3 diusulkan berdasarkan ide yang dikemukakan oleh Zhang dan Zhou (2008). Adapun metode H3, MCD dan NH3 sebagai berikut:
3
max 0, min ,
H LS CD
k k k
. (4.14)
MCD: 1 1
1 2 2 1
1 1 1 T T
CD k k CD k k CD
k k k k k k k k k
k k
g d g d
d g d g g d
g g
, (4.15) di mana persamaan (4.14) merupakan paramater metode H3 dan persamaan (4.15) merupakan metode MCD. Metode NH3 diperoleh dengan menggantikan bentuk parameter kCD(4.15) dengan parameter
3
H
k (4.14) sehingga diperoleh:
NH3: 3 1 3
1 2
1
1
T
H k k H
k k k k k
k
g d
d g d
g
. (4.16) Metode MCD dan NH3 yang diusulkan oleh Zhou et al. (2011) memenuhi
sufficient descent yaitu �kT� = −‖� ‖ dan menunjukkan hasil yang efisien dalam proses komputasi serta memenuhi sifat kekonvergenan global.
Metode Konjugat Gradien Hibrid Baru
8
NH3. Berdasarkan ide dari penelitian-penelitian tersebut maka dalam penelitian ini diusulkan modifikasi metode gradien hibrid baru yaitu metode H4, H5, NH4 dan NH5. Adapun modifikasi metodenya sebagai berikut:
4
max 0, min ,
H HS CD
k k k
, (4.17)
5
max 0, min ,
H LS DY
k k k
, (4.18) di mana metode H4 merupakan metode hibrid HS-CD dan metode H5 merupakan metode hibrid LS-DY.
Berdasarkan metode MCD (4.15) dan metode MDY (4.11), maka metode NH4 dan NH5 diperoleh sebagai berikut:
NH4: 4 1 4
1 2
1
1
T
H k k H
k k k k k
k
g d
d g d
g
, (4.19)
NH5: 5 1 5
1 2
1
1
T
H k k H
k k k k k
k
g d
d g d
g
, (4.20) di mana metode NH4 diperoleh dengan menggantikan CD
k pada metode MCD digantikan dengan metode H4 sedangkan metode NH5 menggantikan bentuk DY pada metode DY dengan metode H5. Adapun algoritme metode NH4 dan metode NH5 sebagai berikut:
Algoritme 4.1 Metode NH4
Langkah 0: Diberikan titik awal ℝ , < , < < dan < � < . Tetapkan � = −� , ≔ .
Langkah 1: Jika ‖� ‖ < , berhenti; pergi ke Langkah berikutnya.
Langkah 2: Hitung ukuran langkah menggunakan kondisi Wolfe (4.4). Langkah 3: Misalkan + = + � . Jika ‖� + ‖ < , maka stop. Langkah 4: Hitung pencarian arah � (4.19).
Langkah 5: Beri nilai = + , dan pergi ke Langkah 2. Algoritme 4.2 Metode NH5
Langkah 0: Diberikan titik awal ℝ , < , < < dan < � < . Tetapkan � = −� , ≔ .
Langkah 1: Jika ‖� ‖ < , berhenti; pergi ke Langkah berikutnya.
Langkah 2: Hitung ukuran langkah menggunakan kondisi Wolfe (4.4). Langkah 3: Misalkan + = + � . Jika ‖� + ‖ < , maka stop. Langkah 4: Hitung pencarian arah � (4.20).
9 Analisis Kekonvergenan Global Metode Konjugat Gradien Hibrid Baru Asumsi A
Untuk menganalisis kekonvergenan metode NH4 dan NH5 diperlukan beberapa asumsi dasar, berikut asumsinya:
1. Fungsi terbatas di bawah level set Ω = { ℝ : � } terbatas; adalah titik awal.
2. Gradien dari fungsi objektif memenuhi kontinu Lipschitz, yaitu terdapat konstanta � > sedemikian sehingga untuk semua , Ω berlaku‖g − g ‖ �‖ − ‖.
Berdasarkan asumsi 1 dan 2 pada fungsi , maka asumsi di atas diperlukan untuk pembuktian lemma berikut ini:
Lemma 4.2 (kondisi Zoutendijk)
Andaikan asumsi A berlaku. Berdasarkan bentuk + = + � dan persamaan (4.6), dimana � merupakan arah descent dan merupakan ukuran langkah yang ditentukan dengan menggunakan kondisi Wolfe(4.4), maka:
2 2 0
( )
Tk kk k
g d
d
. (4.21) Bukti
Dari kondisi Wolfe persamaan (4.4)
d gTk k d g xTk ( k kdk), dimana gk g x( k), maka
( ) ( )
T T
k k k k k k
d g x d g x d (4.22) d g xkT ( k)d g xTk ( k)d g xTk
k kdk
d g xTk ( k)
1
d g xkT ( k)dkT(g
xk kdk
g x( k))
k k k
( k) k g x d g x d . (4.23) Dengan menggunakan kontinu Lipschitz, maka persamaan (4.23) diperoleh
1
d g xTk ( k) L xk kdk xk dk L kdk dk
2
k k
L
d (4.24)
1
d g xTk ( k) Lk dk 2
1
2( ) Tk k
k
k
L
d g x d
. Karena gk g x( k), maka
2
1
T
k k
k
k
L
d g d
. (4.25) Dengan menggunakan kondisi Wolfe (4.4)
f
xk kdk
f
xk kg dkT k
Tk k k k k k k
10
Disubstitusi persamaan (4.25) ke persamaan (4.26), diperoleh
21
,
T
k k T
k k k k k k
k f f L d g
x x d g d
d
(4.27) sehingga dapat disimpulkan
2
1 2
T
k k
k k k k
k
f x f x d C g d
d
(4.28)
di mana C1 (1 ) 0
L
. Sekarang,
untuk k 0
2 0 0
0 0 0 0 1 2
0
T
f f C
g d
x x d
d
. Karena x1 x0 0d0
2 0 0 0 1 0 1 2 Tf x f x C g d
d
. Untuk k 1
2 1 1
1 2 1 2
1
T
f x f x C g d
d
. Untuk k 2
2 2 2
2 3 1 2
2
T
f x f x C g d
d
.
Untuk k n 1
2
1 1
1 1 2
1 T n n n n n
f f C
g d
x x
d
.
Dijumlahkan semua pertidaksamaan di atas dan diperoleh
2 1
0 1 2
0 T n k k k k n
f f C
g dx x
d
, (4.29) karena f terbatas di bawah di mana n maka diperoleh
2 *
0 1 2
0 k T k k k
f f C
g dx
d
, (4.30)
di mana
*
lim ( k)
k
f f
x . (4.31)
Jadi diperoleh bahwa
2 2 0 T k k k k
g dd
11 Lemma 4.3 (Kondisi Descent)
Misalkan + = + � dihasilkan oleh algoritme 4.1, maka pencarian arah � (4.19) memenuhi kondisi descent
2
, 0
T
k k k k
d g g (4.32) Bukti:
Misalkan H 4
k k
, 1
2
(1 )
Tk k
k k
k
d g
g
dan d0 g0
0 0 0 0
T T
g d g g g0 2 (4.33)
berlaku untuk k = 0. Untuk k 1, diperoleh
1
k k k k
k
d g d . (4.34) Untuk H4
k k
1
1 2
(1 )
Tk k
k k k k k
k
g d
d g d
g
1
1 (1 2 )
Tk k
k k k k
k
g d
d g
g
. (4.35) Kalikan kedua ruas persamaan (4.35) dengan T
k
g , sehingga
1
1 (1 2 )
T
T T k k T
k k k k k k k k
k
g d
g d g d g g g
2 1 2
1 2
T
T T k k
k k k k k k k k
k
g d g d g d g g
g
(4.36)
2
T
k k k
g d g . (4.37) Dari persamaan (4.37) diperoleh bahwa untuk semua arah pencarian � menurun. ∎
Lemma 4.4 (Kondisi Descent)
Misalkan + = + � dihasilkan oleh algoritme 4.2, maka pencarian arah � (4.20) memenuhi kondisi descent
2
, 0
T
k k k k
d g g (4.38) Bukti:
Misalkan H 5
k k
, 1
2
(1 )
d g
g
T k k
k k
k
dan d0 g0
0 0 0 0
T T
g d g g g0 2 (4.39)
berlaku untuk k = 0. Untuk k 1, diperoleh
1
dk kgk k dk . (4.40) Untuk H5
12
1
1 2
(1 )
g d
d g d
g
T k k
k k k k k
k
1
1 (1 2 )
d g d g
g
T k k
k k k k
k
. (4.41) Kalikan kedua ruas persamaan (4.41) dengan T
k
g , sehingga
1
1 (1 2 )
g d
g d g d g g g
T
T T k k T
k k k k k k k k
k
2 1 2
1 2
g d g g d g
g
T
T k k
k k k k k k
k
(4.42)
2
T
k k k
g d g . (4.43) Dari persamaan (4.43) diperoleh bahwa untuk semua arah pencarian � menurun. ∎
Teorema 4.1 (Konvergen Global Metode NH4)
Misalkan asumsi A berlaku dan { }, � dihasilkan dari metode NH4. Jika ukuran langkah ditentukan dengan kondisi Wolfe(4.4) maka:
lim inf 0.
k
k g (4.44) Bukti:
Dengan menggunakan pembuktian kontradiksi. Andaikan (4.44) tidak terpenuhi, maka ada konstanta 0 yang mana
, 0.
k k
g (4.45)
Misalkan 4 1
2
1
T
H k k
k k
k
h g d
g
dan
2 2
4 1
H T
k gkdk hk gk gk . (4.46) Dengan mengkuadratkan kedua ruas dari bentuk (4.19), sehingga
dk 2 kH4dk1hkgk 2
kH4 2 dk1 22hkkH4dTk1gk hk2 gk 2. (4.47) Substitusi bentuk (4.47), diperoleh
4
2 1 22
2 2
2 2H
k dk hk hk gk gk hk gk
kH4
2 dk1 22hk gk 2hk2 gk 2. (4.48) Bagi kedua ruas persamaan (4.48) dengan
g dTk k
2 dan substitusi2
T
k k k
g d g , sehingga
2 2 2 2
2 1
4
2 2 2
2
k H k k k k
k T
T T T
k k
k k k k k k
h h
d d g
g d
g d g d g d
13
Karena 4
0kH kCD dan
2 2 1 k CD k k g g , sehingga
2 2 2 2
2 1
2 2 2
2
k CD k k k k
k T
T T T
k k
k k k k k k
h h
d d g
g d
g d g d g d
(4.50)
2
2 2 2 2
1
2 2 2
1 2
k k k k k
T
T T
k k
k k k k k
h h
g d g
g d
g g d g d
2 1 2 4 2 1 12 1 1
k
k k k k h h d g g
2 2 14 2 2
1
1 1
k k
k k k
h
d
g g g
2 1 4 2 1 1
k
k k d g g (4.51)
2 1 2 2 1 1 1 k
T k k k d g g d
. (4.52) Akan diselesaikan persamaan (4.52) sebagai berikut:
Dari persamaan (4.6) untuk k 0, d0 g0 dan digunakan persamaan (4.32), diperoleh
2
0 0 0 0 0
T T
g d g g g . (4.53)
Untuk k 1
2 2
1 0
2
0 0 1
1 1
2 2
( )
1
T T
d d
d g d g g 1 2 2 0 1 1 g g 1 2 0 1
k i
g
, untuk k 2
2 2
2 1
2
1 1 2
2 2 2 2 ( ) 1 T T d d
d g d g
g 2 2 2 0 2 1 1 1 1
g g g
2 2 0
1
k i
g
14
untuk k n
2
2 2 2
1 1 2 1 ( ) 1 n n T
n n n
n n T g d d g
g d d
1 2 2 0 2 2 2
1 1 1
1
n
g g g g
2
0
1
n
k k
g , sehingga,
2 2 2 0 1 n k n n n T k
d g g d. (4.54) Dari persamaan (4.45), diperoleh
2 2 0 1 1 n k k n
g (4.55) 2 2 0 1 1 n k k n
g
2 2 2 1 n T n n n d g d
2 2 2 1 n n n T n g d d
22 2
0 0 1
n n
n n
n T
k k k
g d
d
2 2 2 0 0 1 1 n n n Tk k k
g d
d
.
Dari pertidaksamaan terakhir di atas dapat disimpulkan bahwa 4 2 2 0 0 1 1 k
i k k k
g d, (4.56)
kontradiksi dengan persamaan (4.21). ∎
Teorema 4.2 (Konvergen Global Metode NH5)
Misalkan asumsi A berlaku dan { }, � dihasilkan dari metode NH5. Jika ukuran langkah ditentukan dengan kondisi Wolfe(4.4) maka:
lim inf 0.
k
k g (4.57) Bukti:
15
, 0.
k k
g (4.58)
Misalkan 5 1
2
1
T
H k k
k k
k
h g d
g
dan
2 2
5 1
H T
k g dk k hk gk gk . (4.59) Dengan mengkuadratkan kedua ruas dari bentuk (4.20), sehingga
2
2 5
1
H
k k k hk k
d d g
5 2 1 2 2 5 1 2 2H H T
k dk hk k dk gk hk gk , (4.60)
substitusi persamaan (4.59) ke persamaan (4.60), diperoleh
5
2 2
2 2
2 21 2
H
k dk hk hk gk gk hk gk
5 2 d 1 22 g 2 2 g 2H
k k hk k hk k . (4.61)
Bagi kedua ruas dengan
g dTk k
2 dan substitusi T 2k k k
g d g , sehingga
2 2 2 2
2 1
5
2 2 2
2
k H k k k k
k T
T T T
k k
k k k k k k
h h
d d g
g d
g d g d g d
. (4.62)
Karena 5
0kH kDY dan
2
1 1 1 1
T k
DY k k
k T T
k k k k
g g d
d y g d , sehingga
2 2 2 2
2 1
2 2 2
2
k DY k k k k
k T
T T T
k k
k k k k k k
h h
d d g
g d
g d g d g d
(4.63)
2 2 2 2
1 2 2 1 1 2 T
k k k
k k k
T T T T
k k k k k k k k
h h
d g
g d
g d g d g d g d
2 1 2 4 2 1 12 1 1
k
k k k k h h d g g
2 2 14 2 2
1
1 1
k k
k k k
h
d
g g g
2 1 4 2 1 1
k
k k
d
g g (4.64)
2 1 2 2 1 1 1 k
T k k k d g g d
. (4.65) Akan diselesaikan persamaan (4.65) sebagai berikut:
Dari persamaan (4.6) untuk k 0, d0 g0 dan persamaan (4.38), diperoleh
2
0 0 0 0 0
T T
g d g g g . (4.66)
16
2 2 1 0 20 0 1
1 1
2 2
( )
1
T T
d d
d g d g g 1 2 2 0 1 1 g g 1 2 0 1
k i
g
, untuk k 2
2 2
2 1
2
1 1 2
2 2 2 2 ( ) 1 T T d d
d g d g
g 2 2 2 0 2 1 1 1 1
g g g
2 2 0
1
k i
g
, untuk k n
2
2 2 2
1 1 2 1 ( ) 1 n n T
n n n
n n T g d d g
g d d
1 2 2 0 2 2 2
1 1 1
1
n
g g g g
2
0
1
n
k k
g , sehingga diperoleh
2 2 2 0 1 n k n n n T k
d g g d. (4.67) Dari persamaan (4.58), diperoleh
2 2 0 1 1 n k k n
g (4.68) 2 2 0 1 1 n k k n
g
2 2 2 1 n T n n n d g d17
22 2
0 0 1
n n
n n
n T
k k k
g d
d
2 2 20 0
1 1
n n
n T
k k k
g d
d
.
Dari pertidaksamaan terakhir di atas dapat disimpulkan bahwa
4 2 2
0 0
1 1
k
i k k k
gd
, (4.69) kontradiksi dengan persamaan (4.21). ∎
Hasil Numerik
Pada pembahasan ini akan dilakukan perbandingan hasil numerik antara metode konjugat gradien hibrid yaitu metode NH1, NH2, NH3, dengan metode hibrid baru (NH4 dan NH5). Algoritme NH1, NH2, NH3, dan metode hibrid baru (NH4 dan NH5) telah dijelaskan pada pembahasan sebelumnya. Perbandingan metode-metode tersebut akan dilakukan dengan menggunakan fungsi-fungsi tak linear tak berkendala pada jurnal Andrei (2008). Fungsi yang digunakan merupakan fungsi artificial. Fungsi artificial merupakan fungsi yang digunakan untuk melihat perilaku algoritme dalam situasi yang berbeda seperti panjang narroy valleys, fungsi unimodal, dan fungsi dengan sejumlah besar optimal lokal yang signifikan (Andrei 2008). Fungsi yang akan diujikan dalam penelitian ini ada 13 fungsi tak linear (Lampiran 1).
[image:29.595.107.510.566.750.2]Ada beberapa paramater yang digunakan untuk mencari hasil numerik, diantaranya yaitu: batas toleransi perhentian , konstanta pada kondisi Wolfe yaitu konstanta , dan ukuran langkah . Untuk batas toleransi dipakai = − , konstanta = 0.3, = 0.8 dan untuk ukuran langkah diperoleh dengan menggunakan kondisi Wolfe. Semua parameter digunakan pada algoritme 4.1, 4.2, 4.3, 4.4 dan 4.5. Algoritme ditulis dalam bahasa program. Hasil iterasi dan running time disajikan pada Tabel 1 dan 2 berikut:
Tabel 1 Hasil iterasi dari metode konjugat gradien hibrid
Fungsi Dimensi NH1 NH2 NH3 NH4 NH5
Rosenbrock
10 195 249 179 254 184
100 1006 1016 1043 962 1010 1000 8526 8695 8548 8282 8771
White & Holst 10 228 279 259 261 272
50 1021 1000 968 962 1024
Quadratic Penalty (QP1)
100 15 16 15 15 16
1000 8 12 8 8 8
SINCOS
50 17 20 17 18 17
100 24 19 24 17 16
18
Beale 2 25 31 25 38 38
5 239 159 131 231 231
Tridiagonal 1
50 10 9 10 9 10
100 9 9 9 9 9
1000 7 7 7 7 7
Hager 50 13 12 13 12 12
100 16 15 16 15 15
Freudenstein & Roth
50 19 14 19 14 14
100 14 14 14 14 14
Powell 4 22 18 22 18 20
100 22 22 22 24 23
Wood 4 22 19 22 20 20
Tridiagonal 2
50 7 7 7 7 7
100 6 6 6 6 6
1000 4 4 4 4 4
Himmelblau
50 14 15 14 15 10
100 14 14 14 14 14
1000 12 13 12 12 13
Maratos 50 190 193 188 160 188
[image:30.595.51.491.83.790.2]1000 194 182 205 162 178
Tabel 2 Hasil running time dari metode konjugat gradien hibrid
Fungsi Dimensi NH1 NH2 NH3 NH4 NH5
Rosenbrock
10 0.5059 0.4928 0.3677 0.4846 0.4355 100 2.2064 2.3523 2.3039 2.2378 2.2159 1000 61.8401 49.9178 48.3147 48.1698 55.9225 White &
Host
10 0.4784 0.5697 0.5479 0.6003 0.6627 50 2.6718 2.3866 2.4005 2.4171 2.6939 Quadratic
Penalty QP1
100 0.2020 0.2313 0.2173 0.1980 0.2221 1000 1.2456 1.7764 1.2274 1.2235 1.2282 SINCOS
50 0.1627 0.1843 0.1477 0.1691 0.1675 100 0.3731 0.3576 0.3968 0.3202 0.2708 1000 6.4374 4.7629 6.4625 5.7778 4.7851
Beale 2 0.1256 0.1881 0.1599 0.1751 0.1895
5 0.7751 0.5236 0.3867 0.7020 0.6775 Tridiagonal 1
50 0.1064 0.0948 0.1173 0.1017 0.1073 100 0.1684 0.1680 0.1621 0.1655 0.1643 1000 1.8216 1.8522 1.8415 1.8486 1.8046
Hager 50 0.1382 0.1266 0.1276 0.1287 0.1186
19
Freudenstei-n & Roth
50 0.2915 0.2244 0.2994 0.2363 0.2372 100 0.5288 0.5172 0.4994 0.5070 0.5253
Powell 4 0.0836 0.3233 0.3012 0.2878 0.2957
100 0.7215 0.7505 0.7590 0.8080 0.8001
Wood 4 0.1110 0.0812 0.0860 0.0808 0.0842
Tridiagonal 2
50 0.0692 0.0713 0.0669 0.0747 0.0871 100 0.0967 0.1025 0.1011 0.0998 0.0966 1000 0.7242 0.7448 0.7199 0.7288 0.7350 Himmelblau
50 0.1290 0.1254 0.1352 0.1345 0.0994 100 0.1969 0.2048 0.2099 0.2043 0.2069 1000 2.1447 2.3184 2.1463 2.1457 2.3253
Maratos 50 1.3843 1.3585 1.3100 1.1502 1.4129
1000 30.0175 28.9140 31.4673 25.2619 27.4839 Hasil numerik pada Tabel 1 dan 2 merupakan hasil percobaan yang diselesaikan dengan algoritme NH1, NH2, NH3, dan metode hibrid baru (NH4 dan NH5). Hasil numerik digabungkan menggunakan hasil profil yang dijelaskan dalam Dolan dan More (2002). Hasil profil diilustrasikan pada Gambar 1 dan 2. Gambar 1 dan 2 masing-masing merupakan hasil profil iterasi dan running time. Adapun hasil pada Gambar 1 dan 2 diperoleh dengan cara berikut sebagai berikut:
,s
,s
,s
min : s
p p
p
a r
a S ,
dengan �, merupakan hasil ratio dimana � = { , , … , } dan � = { , , , , } serta ��,� merupakan hasil iterasi dan running time. Secara keseluruhan hasil profil dapat diperoleh dengan cara berikut:
2 ,s
1
: log
( )
s
p p
size p P r
n
20
Hasil profil iterasi pada Gambar 1 menunjukkan bahwa metode hibrid baru tidak lebih baik dari metode NH2 dan NH3, akan tetapi metode hibrid baru lebih baik dibandingkan metode NH1. Pada Gambar 2 hasil profil running time
menunjukkan hasil yang sebaliknya yaitu metode hibrid baru menunjukkan hasil yang baik dibandingkan dengan metode NH2 dan NH3, namun tidak lebih baik dengan metode NH1. Meskipun metode hibrid baru tidak lebih baik dari metode NH1, NH2 dan NH3 akan tetapi metode hibrid baru dapat bersaing dengan metode NH1, NH2 dan NH3. Berdasarkan hasil profil Gambar 1 dan 2 menunjukkan bahwa metode-metode yang diujikan dalam penelitian ini effisien dalam menyelesaikan semua fungsi uji yang diberikan.
[image:32.595.43.470.47.620.2]Gambar 1 Hasil profil jumlah iterasi metode NH1, NH2, NH3, NH4, dan NH5
21
5
SIMPULAN
Metode konjugat gradien merupakan metode yang bersifat iteratif dan metode ini dapat digunakan untuk mencari masalah optimasi tanpa kendala pada kasus skala besar. Dalam penelitian ini diusulkan metode konjugat gradien hibrid baru yaitu metode HS-CD (NH4) dan metode LS-DY (NH5). Metode-metode baru yang diusulkan memenuhi sifat-sifat kekonvergenan global dengan menggunakan kondisi Wolfe serta memenuhi kondisi descent untuk setiap metodenya. Hasil numerik menunjukkan bahwa metode baru effisien dalam menyelesaikan semua fungsi tak linear yang diberikan dan metode baru dapat bersaing dengan metode NH1, NH2 dan NH3.
DAFTAR PUSTAKA
Argyros IK. 2008. Convergence and Applications of Newton-type Iterations. New York: Springer.
Andrei N. 2008. An Unconstrained Optimization Test Function Collection.
Advanced Modelling and Optimization, 10(1): 147-161.
Bartle RG, Sherbert DR. 2011. Introduction to Real Analysis. USA: Jhon Wiley & Sons.
Bazara MS, Sherali HD, Shetty CM. 2006. Nonlinear Programming: Theory and Algorithms. USA: Wiley-Interescience.
Chapman SJ. 2008. Matlab Programming for Engineers. 4th ed. Ontario (CA): Thomson Learning.
Cormen TH, Leiserson CE, Rivest RL, Stein C. 2009. Introduction to Algorithms: Third Edition. England: The MIT Press.
Dai YH, Yuan Y. 1999. A Nonlinear Conjugate Gradient Method with a Strong Global Convergence Property. SIAM Journal on Optimization, 10: 177-182. Dai YH, Yuan Y. 2001. An Efficient Hybrid Conjugate Gradient Method for
Unconstrained Optimization. Annal of Operation Research, 103: 33-47. Dolan JED, Morѐ JJ. 2002. Benchmarking Optimization Sofware with Performance
Profil. Mathematical Programming. 912(2): 201-213.doi: 10.1007/s101070100263.
Fletcher R. Reeves C. 1964. Function Minimazation by Conjugate Gradient. The Computer Journal, 7: 149-154.
Fletcher R, 1987. Practical Methods of Optimization, Unconstrained Optimization. New York: Wiley.
Hestenes MR, Stiefel EL. 1952. Methods of Conjugate Gradients for Solving Linear System. Journal of Research of the National Bureau of Standards, 49(6): 409-432.
Liu YL, Storey CS. 1991. Efficient Generalized Conjugate Gradient Algorithms, Part 1: Theory. Journal ofOptimization Theory and Applications, 69(1): 129-137.
Luenberger DG, Ye Y. 2008. Linear and Nonlinear Programming: Third Edition. New York: Spinger Science + Business Media.
22
Polak B, Ribiere G. 1969. Note Surla Convergence des Méthodes de Directions Conjuguées. Francaise Imformat Recherche Opertionelle, 16: 35–43.
Polyak BT. 1969. The Conjugate Gradient Method in Extreme Problems, USSR Computational Mathematics and Mathematical Physics, 9(4): 94-112. Snyman JA. 2005. Practical Mathematical Optimization: An Introduction to Basic
Optimization Theory and classical and New Gradient-Based Algorithms. New York: Spinger Science + Business Media.
Sun W, Yuan YX. 2006. Optimization Theory and Methods: Nonlinear Programing. New York: Spinger Science + Business Media.
Thomson BS, Bruckner JB, Bruckner AM. 2007. Elementary Real Analysis. USA: Prentice-Hall, Inc.
Touati-Ahmed D, Storey C. 1990. Efficient Hybrid Conjugate Gradient Techniques: Journal of Optimization Theory and Applications, 64(2): 379-397.
Zhang L. 2006. Nonlinear Conjugate Gradient Methods for Optimization Problems. [Disertasi]. Changsa (CN): College of Mathematics and Econometrics, Hunan University.
Zhang L, Zhou W. 2008. Two Descent Hybrid Conjugate Method for Optimization.
Journal of Computational and Applied Mathematics, 216: 251-264.doi: 10.1016/j.cam.2007.04.028.
Zhang L, Zhou W, Li D. 2006. Global convergence of a modified Fletcher-Reeves conjugate method with Armijo-type line search, Numerische Mathematik, 104: 561–572.doi: 10.1007/s00211-006-0028-z.
23 LAMPIRAN
Lampiran 1 Fungsi-fungsi tak linear yang digunakan dalam pengujian algoritme metode konjugat gradien hibrid untuk mencari hasil iterasi dan running time.
1. Extended Rosenbrock function
2
2 2 2
2 2 1 2 1 0
1
( ) ( ) (1 ) , 1.2,1,..., 1.2,1 . 100.
n
i i i
i
f x c x x x x c
2. Extended White & Holst function
2
3 2 2
2 2 1 2 1 0
1
( ) ( ) (1 ) , 1.2,1,..., 1.2,1 . 100.
n i i i i
f x c x x x x c
3. Extended quadratic penalty QP1 function
1
2 2 2 2
0
1 1
( ) ( 2) ( 0.5) , 1,1,...,1,1 .
n i
n i i i
f x x x x
4. SINCOS function
2
2 2 2 2 2 2 2
2 1 2 2 1 2 2 1 2
1
0
( ) ( ) sin cos ,
3, 0.1,..., 3, 0.1 .
n i i i i i ii
f x x x x x x x
x
5. Extended Beale function
2
2 2 2
2 1 2 2 1 2
1
3 2
2 1 2 0
( ) (1.5 (1 )) (2.25 (1 ))
(2.625 (1 )) , 1, 0.8,...,1, 0.8 .
n i i i ii
i i
f x x x x x
x x x
6. Extended Tridiagonal 1 function
2
2 4
2 1 2 2 1 2 0
1
( ) ( 3) ( 1) , 2, 2,..., 2, 2 .
n i i i i i
f x x x x x x
7. Hager function
0 1
( ) (exp( ) ), 1,1,...,1,1 .
n i i i
f x x ix x
8. Extended Freudenstein & Roth function
2
2
2 1 2 2 2
1
2
2 1 2 2 2 0
( ) ( 13 ((5 ) 2) )
( 29 (( 1) 14) ) , 0.5, 2,..., 0.5, 2 .
n i i i ii
i i i i
f x x x x x
24
9. Extended Powell function
4
2 2 4
4 3 4 3 4 1 4 4 2 4 1
1
4
4 3 4 0
( ) ( 10 ) 5 ( ) ( 2 )
10( ) , 3, 1, 0,1,..., 3, 1, 0 ,1 .
n i i i i i ii
i i
f x x x x x x x
x x x
10. Extended Wood function
4
2 2 2 2 2 2
4 3 4 2 4 3 4 1 4 4 1
1
2 2
4 2 4 4 2 4
0
( ) 100( ) ( 1) 90 ( ) (1 )
10.1 1 1 19.8 1 1 ,
3, 1, 3, 1,..., 3, 1, 3, 1 .
n i i i i i ii
i i i i
f x x x x x x x
x x x x
x
11. Extended Tridiagonal 2function
1
2
1 1 0
1
( ) ( 1) ( 1)( 1), 1,1,...,1,1 . c 0.1.
n i i i i i
f x x x c x x x
12. Extended Himmelblau function
2
2 2 2
2 1 2 2 1 2 0
1
( ) ( 11) ( 7), 1,1,...,1,1 .
n
i i i i
i
f x x x x x x
13. Extended Maratos function
2
2
2 2 2
2 1 2 1 2 0
1
( ) 1 , 1,1,...,1,1 . c 100
n i i i i
25
