NILAI SOLUSI PENDEKATAN SISTEM LINEAR SKALA BESAR MENGGUNAKAN GMRES. Universiti Teknikal Malaysia Melaka

MENGGUNAKAN GMRES

Ismail bin Mohd1, Mustafa bin Mamat2, Yosza bin Dasril3, Fudziah Ismail4 dan Farikhin5 1, 2

Jabatan Matematika, Fakulti Sains dan Teknologi, Universiti Malaysia Terengganu 3

Jabatan Industrial Electrics, Faculty of Electrics & Comp Engineering, Universiti Teknikal Malaysia Melaka

4

Jabatan Matematika, Fakulti Sains, Universiti Putra Malaysia 5

Jurusan Matematika, FMIPA UNDIP Semarang Indonesia, e-mail : farikhin2@yahoo.com

Abstract. Many engineering process require the solution of linear system of the form A =x b, where A is a n ×n nonsingular real matrix, b ∈Rn , and vector x is solution of the linear system. There are two methods for solving large scale linear system which are full orthogonalization method (FOM) and Generalized minimal residual (GMRES). GMRES is most popular method to solve large scale linear equations. In this paper, we proven that GMRES preserved the magnitude of approximations solution of linear system.

Keywords: Linear System, GMRES, Krylov Subspace and Algorithm Arnoldi.

1. PENDAHULUAN

Sistem linear A =x b banyak digunakan untuk mencari solusi pendekatan dalam bidang sains dan rekayasa. Solusi sistem linear skala besar dapat menggunakan ruang bagian Krylov. Golan [3] membahas tentang ruang bagian Krylov. Secara garis besar, metode berdasarkan ruang bagian Krylov dikelompokkan dalam dua metode. Metode pertama disebut Full Orthogonalization Method (FOM). Metode kedua disebut Generalized Minimal Residual (GMRES). Metode pertama diusulkan pertama kali oleh Saad, sedangkan metode kedua diusulkan pertama kali oleh Saad dan Schultz ([1],[2],[7]). Metode GMRES merupakan metode iterative yang populer untuk menyelesaikan sistem linear skala besar. Berbagai varian dari metode GMRES memperlihatkan peningkatan kinerja GMRES dalam hal kecepatan komputasi dan penggunaan memori. Kecepatan komputasi metode GMRES dibahas secara detail oleh Essai, Ayachour, Najafi dan Zareamoghaddam, dan Roube & Sadkane ([1], [2], [7], [6]).

Dalam tulisan ini diperlihatkan bahwa

(inner product) tidak mempengaruhi nilai solusi pendekatan yang dihasilkan.

2. RUANG BAGIAN KRYLOV

Diberikan A matriks n ×n yang entri-entrinya bilangan real dan v ∈Rn. Ruang bagian yang dibangun oleh vektor-vektor

{

v,Av,A2v,...,Am−1v

}

dinamakan ruang bagian Krylov (Krylov subspace). Untuk penyerdahanaan, ruang bagian

{

v,Av,A2v,...,Am−1v

}

ditulis dengan

) , (A v

K_m . Bila dicermati, ruang bagian Krylov K_m(A,v) adalah koleksi vektor

n R

x∈ sedemikian sehingga x= p(A)v, dengan p(x) polinomial berderejat kurang dari atau sama dengan m−1. Dimensi ruang Krylov K_m(A,v) dapat dikatakan sebagai ukuran sejauh mana vektor v terhadap vektor-vektor eigen matriks A (Ayachour, 2003).

Beberapa sifat ruang bagian Krylov disajikan seperti di bawah ini. Untuk bukti lengkapnya dapat dilihat dalam [3] dan [7]. • Ruang K_m(A,v) invarian terhadap

• Dimensi K_m(A,v) sama dengan m jika dan hanya jika derajat polinomial minimal untuk matriks A lebih besar

1 − m .

Hubungan antara ruang Krylov dengan sistem persamaan linear dijelaskan dalam teorema berikut.

Teorema 1

Diberikan sistem persamaan linear tak homogen A =x b, dengan A∈Rm×m matriks non-singular dan derajat polinomial minimalnya sama dengan m. Jika z solusi A =x b maka z∈K_m(A,b) Bukti

Menurut Teorema Cayley-Hamilton, didapat θ = + + + + + − − ₋ m m m m m m I a A a A a A a A 1 2 2 1 1 ... ⇔ + + + − + − =θ − − 1 1 2 1 1 ... a I a A A a Am m _{m m m} ⇔

(

m m _{m m}

)

m I a A a A a A 1 1 1 ₁ 2 ... −₁ − − − + + + − = Diketahui z = A−1b maka

(

A b a A b a b

)

a z m m _m m 1 2 1 1 ... 1 − − − + + + − = sehingga z∈K_m(A,b). ■ Teorema 2

Diketahui K_m(A,v) ruang bagian Krylov maka terdapat kumpulan vektor

{

v1,v2,...,v_m

}

yang merupakan basis

) , (A v K_m . Bukti

Tanpa mengurangi umumnya persoalan dapat dianggap v1 = 1.

Dibentuk vektor-vektor seperti pada proses Gram-Schimdt sebagai berikut.

• v =1 v1, • 2 2 2 w w v = , dengan 1 1 1 1 2 Av Av ,v v w = −< > • 3 3 3 w w v = , dengan 2 2 2 1 1 1 2 3 Av Av ,v v Av ,v v w = −< > −< >
• m m m w w v = , dengan j j j m j m m Av Av v v w = − Σ < > − = − , 1 1 1 .

Koleksi vektor

{

v1,v2,...,v_m

}

saling asing

dan v_j = 1 untuk j=1,2,3,...,m. Perhatikan vektor

{

v₁,v₂,...,v_m

}

, diperoleh hubungan • v =₁ p₀(A)v₁, dengan p₀(x)=1, • v =₂ p₁(A)v₁, dengan p₁(x) polinomial berderajat 1, • v =₃ p₂(A)v₁, dengan p₂(x) polinomial berderajat 2,
• v_m = p_m−1(A)v₁, dengan p_m−1(x) polinomial berderajat m−1. Jika x∈Km(A,v1) maka x= p(A)v1,

untuk suatu polinomial p(x) dan derajat

1 )

(x ≤ m−

p . Oleh karena itu,

∈

x K_m(A,v) dapat ditulis sebagai kombinasi linear dari

{

v1,v2,...,v_m

}

. Jadi

{

v1,v2,...,v_m

}

merentang ruang Km(A,v). Perhatikan kembali rekontruksi kumpulan vektor

{

v₁,v₂,...,v_m

}

dalam teorema 2. Proses mencari vektor-vektor

m v v

v₁, ₂,...,dan dinamakan algoritma Arnoldi. Algoritma Arnoldi. ([4], [5]) 1. Inisialisasi. Dipilih vektor v₁ = 1. 2. Proses iterasi. Untuk j = 1, 2, 3, ..., m dihitung h_i,j = Av_i,v_j , i = 1, 2, 3, ..., j. _{i j i} j i j j Av h v w _, 1

∑

= − = , h_j+1,j = w_j , dan j j j j h w v , 1 1 + + = .

Dibentuk matriks Hessenberg m× m                   = + − − − m m m m m m m m m m m h h h h h h h h h h H , 1 , 1 , , 3 1 , 3 2 , 3 , 2 1 , 2 2 , 2 1 , 2

   ,

dengan entri-entri di bawah diagonal utama matriks H_m sama dengan nol. Dibentuk juga matriks V_{m =}

[

v₁,v₂,,v_m

]

berukuran n ×m. Hubungan antara matriks m

H dan V_m ditulis dalam teorema berikut.

Teorema 3

Misalkan H_m dan V_m dua matriks seperti dalam uraian sebelumnya. Jika m

m w H H   =    , dengan w=

(

h1,1,h2,1,,hm,1

)

, maka: (a). H_m =V_mTAV_m, (b). AV_k =V_k+1H_k, (c). V_kTV_k =I_k, dengan I_k matriks identitas.

Untuk bukti lengkap Teorema 3, dapat dilihat dalam referensi ([1], [3], [5]]

3. METODE GMRES

Diberikan sistem linear skala besar

b x

A = , dengan x dan b vektor yang termuat dalam Rn. Misalkan x₀ vektor inisial dan x= x₀ +z, dengan z ∈Rn. Sistem linear berubah menjadi A =z r₀, dengan r₀ =b −Ax₀ residual vektor. Berdasarkan ruang bagian Krylov, beberapa metode dibuat untuk mencari solusi pendekatan sistem linear A =z r₀. Saad dan Schultz mengusulkan suatu metode untuk menyelesaikan sistem linear

0

r z

A = . Metode ini dinamakan Generalized Minimal Residual (GMRES) ([1],[2], [5]). Metode GMRES adalah metode untuk mencari vektor

) , ( 0 m o m x K A r x ∈ + , dengan x A b x A b r A K x x m m − = − + ∈0 ( ,0) min . Algoritma GMRES.

1. Pilih input x , m dan ε . Kemudian ₀ hitung r₀ =b −Ax₀. 2. Hitung α = r_{0 2} dan α 0 1 r v = .

3. Konstruksikan basis ortonomal seperti pada algoritma Arnoldi yang menggunakan hasil kali dalam (inner product) _, _. 4. Hitung 2 1 min e H y y _m R y m = _m α − ∈ dengan e₁ =(1,0,0...,0)∈Rm+1, o m m m V y x x = + , dan m m b Ax r = − . 5. Jika 2 0 2 r r_m

≤ ε , maka proses berhenti dan x adalah solusi pendekatan _m yang dicari.

Jika tidak, maka x =₀ x_m dan

m

r

r =₀ . Kemudian kembali ke 2. Pada umumnya, norm yang digunakan pada algoritma Arnoldi atau GMRES menggunakan definisi

2 2 2 2 1 2 x x ... xn x = + + + x ∈Rn.

Definisi suatu norm matriks erat hubungannya dengan jumlah iterasi untuk mencari solusi pendekatan. Algoritma GMRES dimodifikasi untuk meningkatkan kinerjanya, dengan cara mengganti norm

2

x dengan norm x _D = xTDx, dengan

                  = − − n n n n d d d d D , 1 , 1 2 , 2 1 , 1 

i = 1, 2, 3, ..., n.

Norma x _D = xTDx digunakan untuk membuat koleksi vektor ortonormal seperti dalam algoritma Arnoldi.

Pembatasan d_i,i >0 dimaksudkan agar definisi hasilkali dalam x y yTDx

D =

, well-defined ([1], [2], [[5]).

Lebih lanjut, Essai memberikan syarat untuk pemilihan entri diagonal utama matriks D harus memenuhi

2 , 2 2 , 2 2 1 , 1 d dnn d n= + ++ _dan

( )

2 0 0 , r r

d_ii = i (Essai, 1998). Najafi & Zareamoghaddam memodifikasi algoritma GMRES dengan cara memilih entri diagonal utama matriks D yang berbeda. Entri-entri ini diambil 0.5<d_i,i <1.5 secara random [5].

Teorema 4

Diketahui

{

v₁,v₂,...,v_m

}

vektor-vektor yang dihasilkan dari proses algoritma Arnoldi yang menggunakan hasilkali dalam

x D y y

x, _D = T . Jika hasilkali dalam x E y y x, _E = T , dengan E =αD, maka m m x x = ~ _{, di mana} m x ~ solusi pendekatan yang menggunakan x,y _E = yTEx. Bukti Misalkan

{

v1,v2,,vm

}

vektor-vektor

yang dihasilkan dari proses algoritma Arnoldi yang menggunakan hasilkali dalam x,y _E = yTEx. Karena E =αD, E v v v 0 0 1 = , dan D v v v 0 0 1 = maka v1 = α v1 dan 1 1 w w = α . Oleh karena itu,

m V~ =

[

v1v2vm

]

=

[

v v v_m

]

α α α 1 2 1 1 1 _ = V_m α 1 _{, (1)} dan E j i j i Av v h~_, = , = vjT(αD)vi = _      α α         α i T j v D v ) ( = v_jTDv_i = D j i v v A , = h_i,j . (2) Jika H~_m matriks Hessenberg yang terkait dengan hasilkali dalam _, _{E dan}

= j i h~_, h_i,j, maka H~_m = H_m, sehingga         = m m H w H _~ ~ ~ =         m H w = H_m. (3)

Dari hasil (1), (2) dan (3) diperoleh

m m m x V y x ~ ~ ~ 0+ = = x₀ +

(

1 V_m

)

(

α y_m

)

α = x . _m ■

Teorema 4 memperlihatkan bahwa perubahan penggunaan hasilkali dalam (inner product) tidak mempengaruhi solusi pendekatan yang dihasilkan.

4. KESIMPULAN

Perubahan norma yang digunakan dalam metode GMRES tidak mempengaruhi nilai solusi pendekatan yang dihasilkan. Oleh karenanya, untuk meningkatkan kinerja metode GMRES dapat dimungkinkan dengan memodifikasi nilai-nilai diagonal utama matriks D yang digunakan dalam penghitungan proses Arnoldi.

5. UCAPAN TERIMA KASIH

Penulis mengucapkan terima kasih kepada Universiti Malaysia Terengganu (UMT) Malaysia yang telah memberikan bantuan finansial penelitian ini melalui Skim Kewangan Siswazah (Postgraduate Financial Scheme) 2008.

6. DAFTAR PUSTAKA

[1] Ayachour, E. H. (2003), A Fast Implementation for GMRES Method, Journal of Computation and Applied, Vol. 159 : 269 – 283.

[2] Essai, A. (1998), Weighted FOM and GMRES for Solving Nonsymmetric Linear System, Numerical Method, Vol. 18 : 277 – 292.

[3] Golan, J. S. (2007), The Linear Algebra, Springer, Netherland.

[4] Heoyuni , M. and Sadok, H. (1998), On a Variable Smoothing Procedure for Krylov Subspace Methods, Linear Algebra and Its Applications Vol. 268 : 131 – 149.

[5] Najafi, H. S. and Zareamoghaddam (2007), A New Computational GMRES Methods, Applied Mathematics and Computation, Article in Press.

[6] Roube, M. and Sadkane, M. (2006), Exact and Inexact Breakdown in the Block GMRES, Linear Algebra and Its Applications Vol.419 : 265 – 285. [7] Saad, Y. (1992), Numerical Methods

for Large Eigenvalue Problems, Manchester University Press (monograph series), UK.