Metode Bayesian

BAB 2 TINJAUAN PUSTAKA

2.2 Metode Bayesian

Metode Bayesian diperkenalkan dan dikembangkan pertama kali oleh Thomas Bayes. Dalam implementasinya, metode Bayesian banyak digunakan untuk analisis model statistik yang kompleks (Carlin dan Chib, 1995) seperti model hirarki ini (Raudenbush dan Bryk, 2002). Metode ini mempunyai cara pandang yang berbeda dengan metode statistik klasik. Perbedaan mendasar antara keduanya yaitu metode statistik klasik menganggap parameter dalam model bernilai tetap/tunggal. Sementara metode Bayesian memandang seluruh parameter yang tidak diketahui dalam model sebagai suatu variabel random yang dikarakteristikkan oleh distribusi prior parameter tersebut (Ntzoufras, 2009).

11

Bayes, yang memadukan secara formal distribusi prior dan informasi data (fungsi

likelihood) menjadi distribusi posterior. Box dan Tiao (1973) dalam bukunya

memaparkan jika Y adalah variabel random yang mengikuti pola distribusi tertentu dengan fungsi densitas (PDF), 𝑓(𝐲|𝛉), dengan 𝛉 adalah vektor parameter berukuran d atau 𝛉 = (𝜃₁ 𝜃₂ … 𝜃_𝑑)𝑇 dan 𝐲 = (𝑦1 𝑦₂ … 𝑦_𝑛)𝑇 adalah vektor sampel berukuran n yang berdistribusi identik dan independen, maka joint

distribution dari 𝛉 dan 𝐲 dapat dituliskan dalam bentuk persamaan (2.4):

𝑓(𝐲, 𝛉) = 𝑓(𝐲|𝛉)𝑓(𝛉) = 𝑓(𝛉|𝐲)𝑓(𝐲). (2.4)

Berdasarkan teorema Bayes, distribusi posterior dari 𝛉, 𝑓(𝛉|𝐲), dapat diturunkan dari persamaan (2.4) sehingga menjadi,

𝑓(𝛉|𝐲) =^{𝑓(𝐲|𝛉)𝑓(𝛉)}

𝑓(𝐲) ^{, (2.5)}

Dengan 𝑓(𝐲|𝛉) adalah fungsi likelihood data yang berisi informasi sampel data dan dapat ditulis, 𝑓(𝐲|𝛉) = ∏^𝑛_𝑖=1𝑓(𝑦_𝑖|𝛉). Sedangkan 𝑓(𝛉) adalah fungsi distribusi

prior dari parameter 𝛉 dan 𝑓(𝐲) adalah fungsi konstanta densitas, di mana:

𝑓(𝐲) = {

∫ ⋯ ∫ 𝑓(𝐲|𝛉)𝑓(𝛉) 𝑑𝜃₁… 𝑑𝜃_𝑑, jika 𝛉 kontinu ∑ 𝑓(𝐲|𝛉)𝑓(𝛉) , jika 𝛉 diskrit.

Sehingga persamaan (2.5) dapat dinyatakan dalam bentuk proporsional sebagai berikut:

𝑓(𝛉|𝐲) ∝ 𝑓(𝐲|𝛉)𝑓(𝛉), (2.6)

atau juga biasa ditulis, Posterior  Likelihood x Prior.

Berdasarkan persamaan (2.6) terlihat bahwa distribusi posterior dari 𝛉 diperoleh dari prior 𝛉 yang di-update dengan menggunakan informasi data sampel yang terdapat dalam likelihood data. Oleh karena itu, Box dan Tiao (1973) menyatakan bahwa metode Bayesian didasarkan pada distribusi posterior yang merupakan kombinasi antara distribusi prior dan data observasi yang digunakan untuk membangun fungsi likelihood.

2.2.1 Distribusi Prior

Penentuan prior merupakan bagian yang sangat penting dalam metode Bayesian karena mempengaruhi distribusi posterior. Oleh karena itu distribusi prior

12

harus dilakukan dengan teliti dan tepat. Terdapat beberapa jenis distribusi prior yang dikenal dalam metode Bayesian, yaitu:

1. Conjugate prior dan non conjugate prior, yaitu prior ditentukan sesuai dengan pola likelihood data (Box dan Tiao, 1973).

2. Proper prior atau improper prior (Jeffreys prior), yaitu prior yang terkait dengan pemberian bobot atau densitas di setiap titik sehingga terdistribusi secara uniform atau tidak (Ntzoufras, 2009).

3. Informative prior atau non informative prior, yaitu prior yang berkaitan dengan ketersediaan pengetahuan atau informasi sebelumnya mengenai pola distribusi data (Box dan Tiao, 1973).

4. Pseudo prior, yaitu prior ditentukan berdasarkan hasil elaborasi dari metode klasik. Misalnya prior ditentukan berdasarkan hasil dari estimasi parameter model regresi dengan Ordinary Least Squares/OLS (Carlin dan Chib, 1995).

2.2.2 Markov Chain Monte Carlo (MCMC)

Pada penggunaan metode Bayesian, ada kalanya dihadapkan pada kondisi di mana penentuan distribusi posterior sulit dilakukan karena melibatkan persamaan integral yang sangat kompleks. Misalnya pada model yang kompleks seperti model hirarki dengan banyak parameter, maka untuk mendapatkan distribusi posterior parameter diperlukan proses integral dengan dimensi yang besar dan waktu yang cukup lama. Salah satu solusi untuk mengatasi masalah ini adalah dengan pendekatan numerik, yaitu MCMC (Carlin dan Chib, 1995). Pendekatan MCMC sangat efektif untuk mengurangi beban komputasi dalam menyelesaikan persamaan integrasi yang kompleks. Selain itu, metode ini memungkinkan proses simulasi dengan mengambil sampel random dari model stokastik yang sangat rumit.

Ide dasar dari MCMC yakni membangkitkan data sampel dari distribusi

posterior sesuai proses markov chain dengan menggunakan simulasi Monte Carlo

secara iteratif sehingga diperoleh kondisi yang konvergen terhadap posterior (Ntzoufras, 2009). Kondisi seperti tersebut merupakan kondisi stasioner atau equilibrum. Selanjutnya, sampel parameter dalam markov chain diambil setelah kondisi stasioner tercapai sehingga sampel yang terambil dijamin merupakan sampel dari distribusi posterior dari parameter tersebut.

13

Iriawan (2000) berpendapat bahwa terdapat dua kemudahan yang diperoleh dari penggunaan metode MCMC pada analisis Bayesian. Pertama, metode MCMC dapat menyederhanakan bentuk integral yang kompleks dengan dimensi besar menjadi bentuk integral yang sederhana dengan satu dimensi. Kedua, estimasi densitas data dapat diketahui dengan cara membangkitkan suatu rantai markov yang berurutan sebanyak M. Langkah-langkah mendapatan posterior dengan menggunakan MCMC adalah sebagai berikut (Congdon, 2007):

1. Menentukan initial value (nilai awal) untuk tiap parameter model dengan memperhatikan karakteristik datanya.

2. Membangkitkan C sampel {𝛉⁽¹⁾, 𝛉⁽²⁾, … , 𝛉^(𝑃)} dari distribusi posterior 𝑓(𝛉|𝒚) secara full conditional.

3. Memonitor konvergensi algoritma, jika kondisi konvergensi tidak tercapai, maka sampel perlu dibangkitkan lebih banyak.

4. Menentukan dan membuang B sampel pertama (burn in period) untuk menghindari pengaruh nilai awal.

5. Mengambil sejumlah M-B sampel dari distribusi posterior yaitu {𝛉^(𝐵+1), 𝛉^(𝐵+2), … , 𝛉^(𝑃)}.

6. Membuat plot distribusi posterior.

7. Mendapatkan ringkasan distribusi prior (rata-rata, median, standar deviasi, kuantil, dan korelasi).

2.2.3 Gibbs Sampling

Implementasi metode MCMC untuk analisis Bayesian memerlukan algoritma sampling yang tepat untuk mendapatkan sampel dari suatu distribusi. Algoritma yang sering digunakan sebagai pembangkit variabel random dalam MCMC adalah Gibbs

Sampling (Gelman dkk, 2014). Gibbs sampling dapat didefinisikan sebagai suatu

teknik simulasi untuk membangkitkan variabel random dari suatu fungsi distribusi tertentu tanpa harus menghitung fungsi densitasnya (Casella dan George, 1992).

Gibbs sampler merupakan generator yang sangat efisien sehingga sering

digunakan sebagai generator variabel random pada analisis data yang menggunakan MCMC. Proses ini dilakukan dengan mengambil sampel dengan cara

14

membangkitkan rangkaian gibbs variabel random berdasarkan sifat-sifat dasar proses Markov Chain. Dalam menjalankan program yang menggunakan rantai

markov dilakukan pada kondisi bersyarat penuh. Ini merupakan salah satu

kelebihan dari Gibbs sampling karena variabel random tersebut dibangkitkan dengan menggunakan konsep distribusi unidimensional yang terstruktur sebagai distribusi full conditional. Gibbs sampling sangat berguna dalam mengestimasi suatu parameter dalam suatu model kompleks yang mempunyai tingkat kerumitan dalam proses integritasi yang kompleks pula dan sulit diselesaikan secara analitis. Ntzoufras (2009) menjelaskan algoritma Gibbs Sampling sebagai berikut, 1. Tetapkan nilai awal parameter 𝛉 pada t = 0, sehingga 𝛉⁽⁰⁾= (𝜃₁⁽⁰⁾ … 𝜃_𝑑⁽⁰⁾)^𝑇. 2. Untuk t = 1, … , M, ulangi langkah:

a. Tentukan θ = θ^(t-1).

b. Untuk s = 1, 2, … , d, update θs dari 𝜃_𝑠 ~ 𝑓(𝜃_𝑠|𝛉_\𝑠, 𝐲).

c. Tentukan θ^(t) = θ dan gunakan untuk membangkitkan iterasi ke t+1. Berikut adalah proses sampling untuk mendapatkan nilai θ^(t),

𝜃₁^(𝑡) dari 𝑓 (𝜃₁|𝜃₂^(𝑡−1), 𝜃₃^(𝑡−1), … , 𝜃_𝑑^(𝑡−1), 𝐲), 𝜃₂^(𝑡) dari 𝑓 (𝜃₂|𝜃₁^(𝑡), 𝜃₃^(𝑡−1), … , 𝜃_𝑑^(𝑡−1), 𝐲),

𝜃_𝑠^(𝑡) dari 𝑓 (𝜃_𝑠|𝜃₁^(𝑡), 𝜃₂^(𝑡−1), … , 𝜃_𝑠−1^(𝑡), 𝜃_𝑠+1^(𝑡−1), … , 𝜃_𝑑^(𝑡−1), 𝐲),

𝜃_𝑑^(𝑡) dari 𝑓 (𝜃_𝑑|𝜃₁^(𝑡), 𝜃₂^(𝑡), … , 𝜃_𝑑−1^(𝑡−1), 𝐲).

Pembangkitan nilai dari 𝑓(𝜃_𝑠|𝛉_\𝑠, 𝐲) = 𝑓 (𝜃_𝑠|𝜃₁^(𝑡), 𝜃₂^(𝑡−1), … , 𝜃_𝑠−1^(𝑡), 𝜃_𝑠+1^(𝑡−1), … , 𝜃_𝑑^(𝑡−1), 𝐲). adalah relatif mudah karena merupakan distribusi univariat dan dapat ditulis sebagai, 𝑓(𝜃_𝑠|𝛉_\𝑠, 𝐲) ∝ 𝑓(𝛉|𝐲), di mana semua variabel lain kecuali θj adalah

konstan. Algoritma Gibbs Sampling dijelaskan dengan lebih sederhana melalui diagram alur pada Gambar 2.2 (Ismartini, 2013).

15

Gambar 2.2 Diagram Alur Algoritma Gibbs Sampling