BAB 2 TINJAUAN PUSTAKA
2.2 Teorema Bayesian
Teorema Bayesian pertama kali ditemukan oleh Thomas Bayes. Setelah kematiannya, Richard Price menemukan hasil penelitiannya mengenai bagaimana
inverse probability dapat digunakan untuk menghitung peluang terjadinya suatu
peristiwa dari peristiwa yang merupakan akibat dari terjadinya peristiwa tersebut. Metode ini kemudian diadopsi oleh Laplace pada abad ke-19. Selanjutnya pada abad ke-20, teorema ini dikembangkan menjadi metode lengkap inferensi statistik oleh De Finetti, Jeffreys, Savage, dan Lindley.
Hajarisman (2013) menyatakan bahwa statistik Bayes berbeda dengan teori statistik klasik karena seluruh parameter yang tidak diketahui dipandang sebagai suatu variabel acak. Teorema Bayesian didasarkan pada distribusi
posterior yang merupakan perpaduan antara distribusi prior (informasi masa lalu
sebelum dilakukan observasi) dan data observasi yang digunakan untuk menyusun fungsi Likelihood (Box dan Tiao, 1973). Hubungan distribusi posterior dengan distribusi prior dan Likelihood dapat ditulis sebagai berikut:
Distribusi posterior ∝ likelihood × distribusi prior
data observasi y, maka distribusi probabilitas untuk posterior θ pada data y akan proporsional dengan perkalian antara distribusi prior θ dan fungsi Likelihood θ
yang diberikan oleh data y atau secara matematis dapat ditulis sebagai berikut:
𝑓 𝜃 𝑦 =𝑓 𝑦
𝜃 𝑓 𝜃
𝑓 𝑦 (2.6)
𝑓 𝜃 𝑦 ∝𝑓 𝑦 𝜃 𝑓 𝜃 (2.7) dimana 𝑓 𝜃 𝑦 merupakan distribusi posterior yang proporsional dengan perkalian antara fungsi likelihood𝑓 𝑦 𝜃 dan distribusi prior𝑓 𝜃 .
Fungsi likelihood𝑙 𝑦 𝜃 memodifikasi pengetahuan tentang prior θ dan dapat dikatakan sebagai perwujudan dari informasi tentang θ yang berasal dari data. Fungsi likelihood merupakan fungsi dari 𝑓 𝑌 𝜃 yang diakui sebagai fungsi dari θ untuk Y tetap (Box dan Tiao, 1973). Prinsip dari likelihood adalah dengan sampel yang diberikan, untuk setiap dua model peluang 𝑓 𝑌 𝜃 yang memiliki fungsi likelihood yang sama, akan menghasilkan inferensia θ yang sama.
Distribusi posterior mewakili informasi prior maupun data pengamatan, yang masing-masing dinyatakan oleh distribusi prior 𝑓 𝜃 dan fungsi likelihood -nya. Fungsi likelihood merepresentasikan kondisi data sedangkan penentuan distribusi prior lebih kepada subjektivitas peneliti. Hajarisman (2013) menekankan bahwa spesifikasi distribusi prior dalam inferensi Bayes adalah sangat penting karena distribusi prior ini akan mempengaruhi inferensi mengenai distribusi posterior-nya. Box dan Tiao (1973) menyatakan bahwa distribusi prior
bisa diperoleh dari informasi yang terdahulu (sebelumnya) mengenai parameter yang ditaksir.
Terdapat macam-macam prior diantaranya adalah :
1. Conjugate dan Non-Conjugate Prior
Conjugate prior adalah prior yang dikaitkan dengan pola model
likelihood dari datanya. Suatu prior dikatakan sebagai suatu prior yang
bersifat conjugate untuk keluarga dari sebaran apabila sebaran prior dan
posterior-nya berasal keluarga yang sama. Artinya bahwa bentuk dari sebaran
posterior mempunyai bentuk sebaran yang sama sebagai sebaran prior.
Sebaliknya, apabila suatu prior dikatakan sebagai suatu prior yang bersifat
posterior-nya bukan berasal keluarga yang sama.
2. Informative dan Non-Informative Prior
Prior dikatakan informative ataupun non-informative dilihat dari
sudah diketahui pola atau frekuensi dari data observasi atau belum. Banyak peneliti menggunakan sebaran prior yang noninformative karena sebaran tersebut dianggap lebih objektif. Namun demikian, prior yang bersifat
noninformative ini tidak sepenuhnya dapat menggambarkan total kekeliruan
atau error dari parameter yang sedang diamati. Dalam beberapa kasus, prior
yang noninformative dapat membawa pada sebaran posterior yang bersifat
improper, artinya fungsi kepekatan peluang yang tidak dapat diintergralkan,
yang pada akhirnya tidak dapat membuat inferensi berdasarkan pada sebaran
posterior yang bersifat improper.
3. Proper dan Improper Prior
Distribusi prior dikatakan improper apabila fungsi yang digunakan sebagai “densitas peluang prior” memiliki integral yang infinit (tidak dapat diselesaikan). Istilah improper di sini maksudnya adalah bahwa sebarannya tidak terintegrasi pada satu. Dengan kata lain suatu sebaran prior 𝑓 𝜃 disebut improper apabila 𝑓 𝜃 𝑑𝜃=∞. Prior yang bersifat improper sering juga digunakan dalam inferensi Bayes, karena prior semacam ini biasanya dapat menghasilkan prior yang bersifat noninformative dan sebaran posterior yang bersifat proper. Namun dalam beberapa kasus, sebaran prior yang improper
ini dapat membawa pada sebaran posterior yang improper. Apabila suatu sebaran prior yang improper menghasilkan sebaran posterior yang improper, maka inferensi Bayes berdasarkan sebaran posterior yang improper ini menjadi tidak valid.
4. Pseudo-prior
Prior terkait dengan pemberian nilainya yang disetarakan dengan
hasil elaborasi dari frekuentis.
Proses penentuan distribusi posterior dari fungsi likelihood dan distribusi
prior melibatkan proses analitik ataupun integral numerik yang rumit dan sulit
penggunaan MCMC. Melalui metode MCMC dimungkinkan untuk membangkitkan sampel dari sembarang fungsi kepekatan posterior 𝑓 𝜃 𝑦 untuk kemudian digunakan untuk menghitung nilai harapan dari besaran posterior yang akan dikaji. Satu hal yang penting dalam penggunaan MCMC adalah jika algoritma simulasi diimplementasikan dengan benar, maka rantai Markov akan konvergen ke distribusi sasaran 𝑓 𝜃 𝑦 (Hajarisman, 2013). Salah satu algoritma yang dikembangkan untuk proses numerik dalam metode MCMC ini adalah algoritma Gibbs penarikan sampel.
Proses diagnostik yang perlu dilakukan sehubungan dengan pemodelan dengan MCMC menyangkut dua hal, yaitu diagnostik konvergensi rantai Markov serta diagnostik untuk mengevaluasi kecocokan model. Pemeriksaan konvergensi dapat dilakukan melalui pendekatan visual melalui trace plot sampel dengan indeks iterasi. Trace ini mendeskripsikan tentang apakah rantai sudah mencapai kekonvergenan terhadap suatu sebaran yang stasioner atau belum. Apabila belum mencapai kekonvergenan, bisasanya periode burn-in perlu diperpanjang. Suatu rantai Markov dikatakan sudah mencapai stasioner apabila sebaran dari titik-titik tidak berubah sepanjang rantai Markovnya. Konsep kestasioneran di sini dapat dilihat dari trace plot apabila rata- rata dan ragamnya relatif konstan. Density plot
dan autocorrelation plot juga menunjukkan konvergensi apabila hasil density
menunjukkan pola yang smooth dan plot autokorelasi menurun.
Salah satu ukuran kecocokan model yang dapat digunakan dalam mengevaluasi kecocokan model Bayes adalah deviance information criterion
(DIC). Menurut Ntzoufras (2009), kriteria ini didefinisikan sebagai:
𝐷𝐼𝐶 𝑐 = 2𝐷 𝜽!,𝑐 −𝐷 𝜽!,𝑐 = 𝐷 𝜽!,𝑐 +2𝑝! (2.8) dimana 𝐷 𝜽!,𝑐 adalah devians yang dinyatakan dengan:
𝐷 𝜽!,𝑐 = −2log𝑙 𝒚𝜽!,𝑐 (2.9) dan 𝐷 𝜽!,𝑐 adalah posterior mean. Sementara itu, 𝑝!dapat diinterpretasikan sebagai jumlah parameter efektif untuk model c yang dinyatakan sebagai:
𝑝! =2𝐷 𝜽!,𝑐 −𝐷 𝜽!,𝑐 (2.10) dan 𝜽! adalah posterior mean dari parameter pada model c. Adapun nilai DIC yang semakin kecil mengindikasikan model yang lebih cocok untuk digunakan.