BAB II TINJAUAN PUSTAKA
2.7. Analisis Bayesian
Metode Bayesian ditemukan oleh seorang ilmuwan bernama Thomas Bayes (1702-1761), yang menemukan perlakuan matematika untuk masalah non trivial dari inferensi Bayesian, yang digunakan untuk penyelesaian kasus khusus yang kemudian dikenal dengan nama Teorema Bayesian.
Berbeda dengan teori statistika klasik (frequentist), analisis bayesian memperlakukan semua parameter yang tidak diketahui sebagai variabel random dan memiliki distribusi (Boldstad, 2007). Teorema Bayesian didasarkan pada distribusi posterior yang merupakan perpaduan antara distribusi prior (informasi masa lalu sebelum dilakukan observasi) dan data observasi yang digunakan untuk menyusun fungsi likelihood (Box dan Tiao, 1973). Hubungan distribusi posterior dengan distribusi prior dan likelihood dapat dituliskan sebagai berikut :
Pada teorema Bayes, apabila terdapat parameter θ yang diberikan oleh data observasi y, maka distribusi probabilitas untuk posterior θ pada data y akan proporsional dengan perkalian anatara distribusi prior θ dan fungsi likelihood θ yang diberikan oleh data y. Secara matematis dapat ditulis sebagai berikut :
( | ) ( ) ( | ) ( ) f x f f x f x θ θ θ = (2.19) atau ( | ) ( | ) ( ) f θ x ∝ f x θ f θ (2.20)
Dimana f(θ|y) merupakan distribusi posterior yang proporsional dengan perkalian antara fungsi likelihood f(x|θ) dan distribusi prior f(θ).
Spesifikasi dari disribusi prior sangat penting dalam metode Bayesian karena prior tersebut mempengaruhi bentuk posterior yang digunakan sebagai alat pengambilan keputusan. Bila informasi prior tersedia, maka informasi untuk distribusi prior akan terangkum didalamnya. Namun biasanya informasi prior tidak tersedia. Pada kasus ini, perlu penetapan prior yang tidak akan mempengaruhi distribusi posterior dan “biarkan data berbicara sendiri”. Distribusi tersebut biasa dikenal dengan sebutan prior sekawan (conjugate) yang parameterisasi distribusi priornya tergolong sebagai non-informative prior atau prior samar-samar.
2.7.1. Distribusi Prior
Distribusi prior merupakan informasi yang terdahulu mengenai parameter (Box dan Tiao, 1973). Berikut beberapa macam distribusi prior dalam metode Bayesian :
1. Proper prior atau improper prior (Ntzoufras, 2009)
Penentuan prior yang didasarkan pada cara permberian bobot atau densitas untuk setiap titik disepanjang domain parameter berdistribusi Uniform.
2. Informative prior atau non informative prior (Box dan Tiao, 1973)
Penentuan prior yang didasarkan pada ketersediaan pengetahuan atau informasi sebelumnya mengenai pola distribusi data yang diperoleh dari penelitian sebelumnya.
Penentuan conjugate prior didasarkan pada pola likelihood dari datanya. 4. Pseudo prior (Carlin dan Chip, 1995)
Penentuan prior dengan nilai yang disetarakan dengan hasil elaborasi cara frequentist.
2.7.2. Likelihood Pada Model Mixture
Fungsi likelihood distribusi mixture berbeda dengan fungsi likelihood distribusi univariat biasa (McLachlan dan Basford, 1988). Jika terdapat data pengamatan sebanyak n yang terdekomposisi ke dalam k kelompok data (subpopulasi) yang masing-masing mempunyai distribusi maka fungsi likelihood model mixture tersusun dari beberapa likelihood data di setiap subpopulasi menurut distribusi masing-masing.
Berdasarkan model mixture pada persamaan (2.17), fungsi likelihood model mixture adalah: 1 ( | ) n mix mix i i l f x θ = =
∏
1 2 1 2 1 2 1 1 2 2 1 1 1 ( | ) ( | ) k ( | )k k n n n mix i i k i k i i i l π f x θ π f x θ π f x θ = = = =∏
+∏
+ +∏
(2.21)dengan syarat persamaan (2.20) adalah n1+n2+ ...+ nk = n dan k adalah banyaknya komponen mixture.
2.7.3. Markov Chain Monte Carlo (MCMC)
Menurut Carlin (1992), pendekatan MCMC sangat efektif untuk mengurangi beban komputasi dalam menyelesaikan persamaan integrasi yang kompleks dan metode ini memungkinkan proses simulasi dengan mengambil sampel acak dari model stokastik yang sangat rumit.
Ide dasar dari MCMC adalah membangkitkan data sampel dari distribusi posterior sesuai proses markov chain dengan menggunakan simulasi monte carlo secara iteratif sehingga diperoleh kondisi yang konvergen terhadap posterior (Ntzoufras, 2009). Kondisi tersebut dinamakan kondisi stasioner atau equilibrum. Selanjutnya, sampel parameter dalam markov chain diambil setelah kondisi
stasioner (equilibrum) tercapai. Dengan demikian sampel yang terambil dijamin merupakan sampel dari distribusi posterior dari parameter tersebut.
2.7.4. Gibbs Sampling
Gibbs Sampling didefinisikan sebagai suatu teknik simulasi untuk membangkitkan variabel random dari suatu fungsi distribusi tertentu tanpa harus menghitung fungsi densitasnya. Proses Gibbs Sampling dilakukan dengan mengambil sampel dengan cara membangkitkan rangkaian gibbs variabel random berdasarkan sifat-sifat dasar proses Markov Chain. Hal ini merupakan kelebihan dari Gibbs Sampling karena variabel random tersebut dibangkitkan dengan menggunakan konsep distribusi unidimensional yang terstruktur sebagai distribusi full conditional. Gibbs Sampling sangat berguna dalam mengestimasi suatu parameter dalam suatu model yang kompleks yang mempunyai tingkat kerumitan dalam proses integritasi yang kompleks pula dan sulit diselesaikan secara analitis.
2.7.5. Metropolis–Hastings
Metropolis penyusunan markov chain dengan menggunakann algoritma Metropolis – Hastings dijelaskan oleh Gamerman (1997) sebagai berikut. Dimisalkan terdapat probabilitas transisi Kernel P(X,Y) yang memenuhi persamaan berikut:
( ) (
X P X Y,) ( ) (
Y P Y X,)
,(
X Y,)
π =π ∀ (2.22)
Selanjutnya probabilitas transisi Kernel P(X,Y) terdiri dari 2 kom ponen, yaitu: q(x,y) dan α(x,y) sehingga P X Y
(
,) ( ) ( )
=q x y, α x y, untuk X Y≠ , dimana q(x,y) menotasikan densitas dari X yang akan diajukan untuk mendapatkan markov chain berikutnya dan α(x,y) menotasikan probabilitas penerimaan untuk pergerakan dari X ke Y yang dinyatakan sebagai berikut:(
,)
min( ) (( ) (
,))
, Y q Y X X Y X q X Y π α π = (2.23)Jika titik kandidat Y diterima sebagai sampel, maka state berikutnya menjadiXt+1 =Y; sedangkan jika titik kandidiat Y ditolak sebagai sampel, maka markov chain tidak berubah sehingga Xt+1 = Xt. (Gamerman, 1997) :
Dengan demikian probabilitas transisi Kernel P(X,Y) tidak selalu menghangatkan semua transisi dari X ke Y karena ada kemungkinan penolakan transisi dari X ke Y. Probabilitas terjadinya penolakan transisi dari X ke Y dinyatakan sebagai berikut:
(
,) ( )
1( ) ( )
, ,P X Y r x ∞ q x y α x y d y
−∞
= = −
∫
(2.24)2.7.6. Reversible Jump MCMC
Pada umumnya penggunaan algoritma MCMC pada proses inferensi bayesian terbatas hanya kasus dimana dimensi vektor parameter model bersifat tetap. Hal ini akan menjadi tidak berlaku pada kondisi dimana dimensi vektor parameter model tidak tetap. Oleh karena itu Green (1995) mengembangkan algoritma Metropolis Hasting untuk mengatasi permasalahan tersebut yang kemudian disebut dengan Reversible Jump Markov Chain Monte Carlo (RJMCMC).
Pada pemodelan mixture dengan banyak komponen penyusun mixture yang tidak diketahui. Richardson dan Green (1997) memanfaatkan algoritma ini untuk mendapatkan model mixture yang tepat bagi data yang terindikasi bersifat multimodal. Algoritma ini memanfaatkan proses birth/death dan split/merge dalam aplikasinya.
Richardson dan Green (1997) menjelaskan proses RJMCMC ini ke dalam enam tipe pergerakan, yaitu :
1. updating ω 4. updating hyperparameter β
2. updating θ 5. split/merge komponen-komponen mixture 3. updating z 6. birth/death dari komponen kosong
proses sampai dengan langkah ke-4 tidak mengubah dimensi vektor parameter model yang terdiri dari (β, θ, k, ω, z). Sedangkan langkah 5 dan 6 mengubah banyaknya komponen penyusun mixture k satu per satu.
Pergerakan split/merge adalah pilihan random antara split (k → k+1) atau merge (k+1 → k). Adapun pergerakan dalam proses birth/death merupakan pilihan random antara birth (k → k+1) atau death (k+1 → k).