65}'l:
1693. 139{
,IilL\TIJfi
H
r!
tJitulhil
t(\y)
,Yf
KONSTRUKSI SELANG KEPERCAYAAN KURVA .
REGRESI NONPARAMETRIK DENGAN PENDEKATAN
ESTIMATOR KERNEL
I GustiAyu Made Srinadi
Yi
f
(r)=l
TINGKAT PENGETAHUAN SISWA SMA
TERHADAP NARKOBA DI KODYA DENPASAR
Ni Made
Asih
OPTIMALISASI PENJUALAN MATERIAL PASIR
MENGGI'NAKA.ilI METODE ARIMA DAN SIMPLEKS
Gusti Made Teja Saputra, Ni Ketut Tari Tastrawati, I G A Srinadi
INFERENSI BERBASIS SIMULASI
lWayan Sumariaya
umg
rsnerpo
it
rncr{ ){
m{ped
torp f,or Ftl=l;l<
PERHITUNGAN HARGA OPSI BARRIER MENGGUNAKAN SIMULASI MONTE CARLO Komang Dharmawan,
lPutu
Eka Nila KencanaFdtorU'=
hteturn 0;
"UTT.ERBITIqNOIEH
.lthusmillErumnrrrn
Fmurm* MmunnKA DAru hllu Perucnnsum Aum Uuurnsras Uonveun
J
URNAL
M
ATEMATIKA
VOLUME 1 NOMOR 2 TAHUN 2010
DAFTAR ISI
KONSTRUKSI SELANG KEPERCAYAAN KURVA REGRESI
NONPARAMETRIK DENGAN PENDEKATAN ESTIMATOR KERNEL
I Gusti Ayu Made Srinadi 38
TINGKAT PENGETAHUAN SISWA SMA TERHADAP NARKOBA DI KODYA DENPASAR
Ni Made Asih 50
OPTIMALISASI PENJUALAN MATERIAL PASIR MENGGUNAKAN METODE ARIMA DAN SIMPLEKS
Gusti Made Teja Saputra, Ni Ketut Tari Tastrawati, dan I G A M Srinadi 71
INFERENSI BERBASIS SIMULASI
I Wayan Sumarjaya 81
PENENTUAN HARGA OPSI BARRIER MENGGUNAKAN SIMULASI MONTE CARLO
Komang Dharmawan dan I Putu Eka Nila Kencana 91
Jurnal Matematika, Vol.1, No. 2, 2010, 81–90
INFERENSI BERBASIS SIMULASI
I WAYAN SUMARJAYA
Jurusan Matematika Fakultas MIPA Universitas Udayana
Email: [email protected]
ABSTRAK
Dalam inferensi Bayes penghitungan integral pada distribusi posteriormemegang peranan penting. Metode penghitungan integral ini dapat dilakukan antara lain metode pengintegralan analitik eksak, pendekatan analitik asimtotik, metode numerik konven-sional, dan simulasi biasa. Keempat metode ini sangat sulit dilakukaan atau bisa dikatakan tidak mungkin apabila dimensi parameter meningkat. Salah satu metode untuk memec-ahkan masalah ini adalah metode Markov Chain Monte Carlo (MCMC) yang merupakan sekumpulan algoritma untuk melakukan simulasi dari densitas yang tidak memiliki ben-tuk standar. Beberapa algoritma penting seperti Metropolis-Hastings, Gibbs sampler, dan perluasannya dibahas dalam artikel ini.
Kata kunci: Markov Chain Monte Carlo, algoritma Metropolis-Hastings, Gibbs sampler
1
PENDAHULUAN
Dalam inferensi Bayes, inferensi biasanya dilakukan pada distribusi posterior yang meru-pakan hasil kalilikelihooddanprior. Terdapat setidaknya tiga masalah pengintegralan pent-ing dalam inferensi Bayes. Sebelum membahas masalah ini, misalkan𝑥adalah data, 𝑓(𝜃)
adalah distribusiprior, dan𝑓(𝑥|𝜃)adalahlikelihood. Inferensi Bayes didasarkan pada infor-masi pada distribusi posterior𝑓(𝜃|𝑥)yang diperoleh dari
𝑓(𝜃|𝑥) = 𝑓(𝑥|𝜃)𝑓(𝜃)
∫ 𝑓(𝑥|𝜃)𝑓(𝜃)d𝜃
∝𝑓(𝑥|𝜃)𝑓(𝜃). (1)
Selain masalah penormalan (normalization) pada (1), masalah inferensi yang lain adalah menghitung distribusi posterior marginal
𝑓(𝜃|𝑥) =∫ 𝑍
𝑓(𝜃, 𝑧|𝑦)d𝑧 (2) dengan(𝜃, 𝑧) ∈𝛩×𝑍. Selanjutnya, dari persamaan (2) ringkasan data berbentuk nilai tengah
E(𝜃|𝑥)yaitu
E(𝜃|𝑥) =∫ 𝜃𝑓(𝜃|𝑥)d𝜃. (3) atau variansvar(𝜃|𝑥)juga melibatkan pengintegralan. Ketiga permasalahan tersebut yakni penormalan, pemarginalan, dan penghitungan nilai ekspektasi adalah masalah penting dalam
inferensi Bayes yang kesemuanya melibatkan masalah penghitungan integral (lihat Brooks, 1998; Andrieuet al., 2003). Menurut Green (2001) secara umum ada empat cara yang dapat digunakan dalam komputasi Bayes pada permasalahan pada (1)–(3) yaitu integral analitik eksak, pendekatan analitik asimtotik, metode numerik konvensional, dan simulasi biasa. Na-mun, masing-masing metode tersebut memiliki kelemahan. Integrasi analitik eksak hanya dapat dilakukan apabila prioryang digunakan adalah priorsekawan (conjugate prior) se-hingga terbatas pada kasus-kasus sederhana dan sering kali tidak sesuai dengan kenyataan. Selanjutnya, pendekatan analitik asimtotik seperti hampiran Lindley dan Laplace sulit dihi-tung sebagaimana dimensi parameter meningkat (lihat Smith, 1991) dan bisa jadi tidak dapat dihandalkan (lihat Smith, 1991). Metode ketiga yaitu metode numerik konvensional biasanya hanya efektif pada dimensi rendah (lihat Green, 2001)). Metode terakhir adalah simulasi bi-asa (ordinary static simulation) yang dapat dilakukan dengan memfaktorkan distribusi.
2
INFERENSI BAYES
Inferensi Bayes atau kemungkinan (likelihood) terintegrasi (lihat Smith, 1991) dilakukan den-gan menentukan model peluang𝑓(𝑥|𝜃), disebut pula untuk realisasi data𝑥bersama dengan distribusi peluangaprioriatauprior𝑓(𝜃)untuk parameter yang tidak diketahui𝜃. Selanjut-nya, inferensi statistika berdasarkan pada distribusia posterioriatauposterioruntuk param-eter yang tidak diketahui bersyarat atau diketahui pada data amatan dengan Teorema Bayes
𝑓(𝜃|𝑥) = 𝑓(𝑥|𝜃)𝑓(𝜃)
∫ 𝑓(𝑥|𝜃)𝑓(𝜃)d𝜃
∝ 𝑓(𝑥|𝜃)𝑓(𝜃). (4)
Bentuk 4 menyatakan bahwa distribusi posteriorproporsional denganpriordikalikan likeli-hood. Integral berbentuk
∫ 𝑓(𝑥|𝜃)𝑓(𝜃)d𝜃 (5)
disebut konstanta penormalan (normalizing constant). Sebelum era komputasi modern, in-ferensi Bayes biasanya menggunakan distribusipriorsekawan.
Contoh 1. Misalkan likelihood𝑓(𝑥|𝜃) = 𝑁(𝜃, 𝜎2) dengan 𝜎2 diketahui. Misalkan pula
distribusiprior𝑓(𝜃) =𝑁(𝜇, 𝜏). Distribusiposterior𝑓(𝜃|𝑥)adalah𝑁(𝜇1, 𝜏12)dengan
𝜇1 = 𝜏
−2𝜇+𝜎−2𝑥
𝜏−2+𝜎−2 (6)
dan𝜏−1 =𝜏−1+𝜎−1. Suku-suku𝜏−1dan𝜎−2kebalikan dari varians (reciprocal of variance) yang disebut presisi. Jadi presisiposterioradalah jumlah presisipriordan presisilikelihood.
Contoh 2. Misalkan𝑥1,…, 𝑥𝑛 adalah sampel acak dari distribusiExp(𝜃)denganlikelihood
𝑓(𝐱|𝜃) =𝜃𝑛exp
(
−𝜃
𝑛
∑
𝑖=1
𝑥𝑖
)
I Wayan Sumarjaya 83
dan distribusiprior𝜃∼ Gam(𝛼, 𝛽). Selanjutnya diperoleh distribusiposterior
𝑓(𝜃|𝑥) ∝𝜃𝑛exp
( −𝜃 𝑛 ∑ 𝑖=1 𝑥𝑖 )
𝜃𝛼−1exp(−𝛽𝜃) ∝𝜃𝛼+𝑛−1exp
[ − ( 𝛽+ 𝑛 ∑ 𝑖=1 𝑥𝑖 ) 𝜃 ] . (8)
Pemakaianpriorsekawan seperti pada Contoh 1 dan 2 pada tidaklah realistis dalam anal-isis yang sesungguhnya.
Salah satu contoh penggunaan distribusi prioryang tidak sekawan adalah pada analisis sintasan. Contoh berikut diadaptasi dari Green (2001).
Contoh 3.Misalkan𝑥1,…, 𝑥𝑛adalah sampel acak tersensor dari distribusi Wei(𝛿, 𝜈)dengan
likelihood
𝑓(𝑥|𝛿, 𝜈) =𝜈𝑛𝛿𝑛𝜈∏
𝑈
𝑥𝜈−1
𝑖 exp(−𝛿
𝜈∑𝑥𝜈
𝑖) (9)
dengan∏𝑈 menyatakan perkalian amatan tidak tersensor. Jikaprioryang digunakan adalah
distribusi Gamma pada𝛿dan𝜈 diperoleh
𝑓(𝛿, 𝜈) ∝ 𝛿𝛼−1exp(−𝛽𝛿)𝜈𝛾−1exp(−𝜖𝜈) (10) dan diperoleh distribusiposterior
𝑓(𝛿, 𝜈|𝑥) ∝𝜈𝑛𝛿𝑛𝜈∏
𝑈
𝑥𝜈
𝑖 exp(−𝛿
𝜈∑𝑥𝜈 𝑖)𝛿
𝛼−1×
exp(−𝛽𝛿)𝜈𝛾−1exp(−𝜖𝜈) (11) yang merupakan bentuk distribusi yang tidak standar. Untuk melakukan inferensi pada dis-tribusiposteriorpada (11), katakanlah nilai tengah E(𝛿) dengan asumsi 𝜈 diketahui, diper-lukan penghitungan integral berbentuk
E(𝛿|𝑥) =∫ 𝛿𝜈𝑛𝛿𝑛𝜈∏
𝑈
𝑥𝜈𝑖 exp(−𝛿𝜈∑𝑥𝜈𝑖)𝛿𝛼−1×
exp(−𝛽𝛿)𝜈𝛾−1exp(−𝜖𝜈). (12) Metode-metode yang telah ditinjau Green (2001) jelas sangatlah sulit untuk diterapkan se-hingga salah satu upaya untuk melakukan inferensi pada (11) adalah dengan melakukan pengambilan sampel melalui simulasi. Salah satu metode simulasi yang populer digunakan adalah metode simulasi Monte Carlo. Lebih spesifik lagi, untuk kasus simulasi pada bentuk fungsi densitas peluang yang tidak standar metode simulasi yang digunakan adalah kumpulan algoritma yang dikenal dengan adalah metode Markov Chain Monte Carlo (MCMC).
3
METODE MARKOV CHAIN MONTE CARLO
3.1
Metode Monte Carlo Biasa
Sebelum membahas metode MCMC akan dibahas terlebih dahulu metode Monte Carlo biasa. Misalkan diberikan fungsi densitas (bisa tidak ternormalkan)𝜋(𝑥) dan akan dihitung nilai harapan
E𝜋[𝑓(𝑋)] =∫
Pengintegralan pada (13) bisa berbentuk rumit dan di sini bisa berdimensi tinggi. Metode Monte Carlo dapat menyelesaikan permasalahan ini dengan langkah-langkah berikut:
1. Simulasikan sampel saling bebas dan berdistribusi identik𝑥1,…, 𝑥𝑛∼𝜋(𝑥), 2. EstimasiE𝜋[𝑓(𝑋)] ≈𝑓̄𝑛= (1∕𝑛)∑𝑛𝑖=1𝑓(𝑥𝑖).
Estimasi pada langkah 2 algoritma di atas yaitu 𝑓̄𝑛 bersifat takbias dan berdasarkan hukum bilangan besar akan konvergen hampir pasti (almost surely) keE𝜋[𝑓(𝑋)](lihat Andrieuet al.,
2003; Gamerman and Lopes, 2006; Robert and Casella, 2010). Lebih lanjut menurut (Robert and Casella, 2010) varians (13) dapat diestimasi menggunakan
𝑣𝑛= 1
𝑚2
𝑛
∑
𝑖=1
[𝑓(𝑥𝑖) −𝑓̄𝑛] (14)
dan apabila𝑛besar, yakni𝑛→∞,
̄
𝑓𝑛− E𝜋[𝑓(𝑋)]
√
𝑣𝑛 ≈𝑁(0,1). (15)
Sebagai contoh penghitungan fungsi distribusi normal standar 𝛷(𝑡) dengan metode Monte Carlo adalah
̂
𝛷(𝑡) = 1
𝑛
𝑛
∑
𝑖=1
𝐼𝑥
𝑖≤𝑡 (16)
dengan varians𝛷(𝑡)(1 −𝛷(𝑡))∕𝑛. (Robert and Casella, 2010, Bab 3). Catatan langkah 1 pada algoritma di atas tidak selalu dimungkinkan untuk dilakukan simulasi langsung. Apabila hal ini terjadi algoritma lain yang dapat digunakan adalah rejection sampling dan importance sampling.
3.1.1
Rejection sampling
Konseprejection samplingadalah mengambil sampel dari densitas𝑔(𝑥)yang mudah disim-ulasikan (disebut distribusi proposal) dan cari𝑐 <∞sedemikian hingga𝑓(𝑥)≤𝑐𝑔(𝑥)untuk semua𝑥∈. Langkah selanjutnya adalah sebagai berikut (lihat Andrieuet al., 2003; Robert and Casella, 2010):
1. Ambil sampel𝑥𝑖∼𝑔(𝑥)dan𝑢∼Unif[0,1],
2. Terima𝑥𝑖jika
𝑢 < 𝑓(𝑥𝑖) 𝑐𝑔(𝑥𝑖)
3. Jika tidak ulangi ke langkah 1.
Sebagai contoh mengambil sampel dari𝑁(0,1)menggunakan distribusi proposal Laplace(𝛽)
diperoleh
𝑓(𝑥)
𝑔(𝑥|𝛽) ≤
√
2
𝜋𝛽
−1exp(𝛽2∕2) (17)
I Wayan Sumarjaya 85
Metoderejection samplingmemiliki kelemahan yaitu bahwa tidak selalu dimungkinkan untuk menemukan batas𝑓(𝑥)∕𝑔(𝑥)dengan𝑐 yang layak (Andrieuet al., 2003) atau metode ini membangkitkan simulasi yang tidak berguna saat penolakan (Robert and Casella, 2010). Metodeimportance samplingpada bagian selanjutnya bisa digunakan untuk mengatasi masalah ini.
3.1.2
Importance sampling
Metodeimportance samplingberasal dari manipulasi integral
E𝜋[𝑓(𝑋)] =∫
𝑓(𝑥)𝜋(𝑥)d𝑥 (18)
menjadi
E𝜋[𝑓(𝑋)] = ∫
𝑓(𝑥)𝜋(𝑥)
𝑔(𝑥)𝑔(𝑥)d𝑥. (19)
Kuantitas𝜋(𝑥)∕𝑔(𝑥) = 𝑤(𝑥) disebut importance weight. Selanjutnya dengan membangk-itkan sampel𝑥1,…, 𝑥𝑛 dari distribusi𝑔(𝑥)dapat dihitung
E𝜋[𝑓(𝑋)] ≈ 1
𝑛
𝑛
∑
𝑖=1
𝑓(𝑥𝑖)𝑤(𝑥𝑖)
𝑤(𝑥𝑖) . (20)
Sebagaimana dimensi meningkat menemukan𝑔(𝑥)akan semakin sulit (lihat Andrieuet al., 2003; Gamerman and Lopes, 2006). Dengan demikian diperlukan metode lain yang bisa mengatasi permasalahan pada metoderejection samplingdanimportance sampling. Metode ini memanfaatkan sifat-sifat rantai Markov (Markov chain) dan menggunakan metode Monte Carlo. Kumpulan algoritma yang memanfaatkan sifat-sifat ini disebut Markov Chain Monte Carlo (MCMC).
3.2
Rantai Markov
Sebelum membicarakan metode MCMC berikut ini akan dibicarakan konsep rantai Markov yang relevan. Teori rantai Markov tingkat lanjut dapat dibaca pada buku Meyn and Tweedie (1993) atau Robert and Casella (2010).
Misalkan diberikan ruang keadaan (state space) = {1,2,…, 𝑛}. Rantai Markov adalah proses stokastik yang didefinisikan oleh barisan peubah acak 𝑋𝑖 ∈ untuk 𝑖 = 1,2,…
sedemikian hingga
Pr(𝑋𝑡+1 =𝑥𝑡+1|𝑋1 =𝑥1,…, 𝑋𝑡 =𝑥𝑡) = Pr(𝑋𝑡+1 =𝑥𝑡+1|𝑋𝑡 =𝑥𝑡). (21) Dengan kata lain peluang bahwa suatu kejadian masa depan hanya tergantung pada kejadian masa kini dan tidak tergantung pada kejadian-kejadian sebelumnya. Sifat ini sering dise-butmemoryless. Pada metode MCMC rantai Markov yang diperlukan adalah rantai Markov waktu homogen (time-homogenous Markov chains) yaitu rantai Markov yang bebas dari𝑡dan dinyatakan sebagai
Menurut Richey (2010) terdapat dua sifat penting rantai Markov yang diperlukan dalam metode MCMC yaitu sifat tak tereduksi (irreducible) dan tak berkala (aperiodic). Sifat tak tereduksi artinya semua keadaan (state) berkomunikasi atau dengan kata lain hanya terda-pat satu kelas (lihat Ross, 2010). Sifat tak berkala artinya untuk semua keadaan 𝑖 dan 𝑗
hanya memiliki periode satu (lihat Richey, 2010) atau bisa juga dikatakan rantai tidak terje-bak dalam siklus (lihat Andrieu et al., 2003). Suatu rantai Markov yang memiliki sifat tak tereduksi dan tak berkala memiliki distribusi tunggal dengan bentuk𝜋 = (𝜋1,…, 𝜋𝑛)pada dengan sifat
𝜋 =𝜋𝐏. (23)
Rantai Markov yang memenuhi sifat (23) disebut stabil pada distribusi𝜋 atau𝜋 adalah dis-tribusi stabil untuk rantai Markov (lihat Richey, 2010). Lebih lanjut jika𝜋 adalah distribusi stabil untuk rantai Markov yang tak tereduksi dan tak berkala, maka rantai Markov dapat digunakan untuk mengambil sampel dari 𝜋. Pada teori MCMC, langkah yang dilakukan adalah kebalikannya. Diberikan distribusi𝜋(dalam hal ini biasanya adalah distribusi poste-rior), lalu cari rantai Markov yang tak tereduksi dan tak berkala yang stabil pada𝜋. Salah satu algoritma untuk mengatasi permasalahan ini adalah algoritma Metropolis-Hastings.
3.3
Algoritma Metropolis-Hastings
Algoritma Metropolis-Hastings (M-H) merupakan salah satu algoritma untuk mencari Markov yang tak tereduksi dan tak berkala dan diberi nama setelah Metropoliset al.(1953) dan Hast-ings (1970). Secara garis besar algoritma ini dapat dijelaskan sebagai berikut. Misalkan𝑓
adalah densitas target,𝑞(𝑦|𝑥)adalah densitas proposal atau instrumental yang mudah disim-ulasikan, secara eksplisit tersedia, atau simetrik. Syarat umum yang diperlukan adalah rasio
𝑓(𝑦)∕𝑞(𝑦|𝑥)harus diketahui sampai suatu konstanta tertentu yang bebas dari 𝑥. Algoritma ini adalah sebagai berikut (lihat Gamerman and Lopes, 2006; Robert and Casella, 2010): Diberikan𝑥(𝑡)
1. Bangkitkan𝑌𝑡∼ 𝑞(𝑦|𝑥(𝑡)).
2. Ambil
𝑋(𝑡+1)=
{
𝑌𝑡, dengan peluang𝛼(𝑥(𝑡), 𝑌
𝑡),
𝑥𝑡, dengan peluang1 −𝛼(𝑥(𝑡), 𝑌
𝑡),
(24)
dengan
𝛼(𝑥, 𝑦) = min
{
𝑓(𝑦)𝑞(𝑥|𝑦)
𝑓(𝑥)𝑞(𝑦|𝑥),1
}
. (25)
Kuantitas𝛼(𝑥, 𝑦) disebut peluang penerimaan M-H (lihat Robert and Casella, 2010). Sifat-sifat lanjutan algoritma M-H dapat dilihat misalnya pada artikel Diaconis and Saloff-Coste (1998) dan Diaconis (2008).
I Wayan Sumarjaya 87
3.3.1
Algoritma Metropolis simetrik
Algoritma M-H dengan proposal simetrik, yakni𝑞(𝑦|𝑥) = 𝑞(𝑥|𝑦)memiliki peluang peneri-maan M-H
𝛼(𝑥, 𝑦) = min
{
𝑓(𝑦)
𝑓(𝑥),1
}
(26)
seperti yang diusulkan Metropoliset al.(1953).
3.3.2
Algoritma langkah acak Metropolis simetrik
Distribusi proposal pada algoritma ini berbentuk𝑞(𝑥|𝑦) = 𝑞(|𝑦−𝑥|). Algoritma ini adalah sebagai berikut (lihat Robert and Casella, 2010):
Diberikan𝑥(𝑡)
1. Bangkitkan𝑌𝑡 ∼𝑞(|𝑦−𝑥(𝑡)|).
2. Ambil
𝑋(𝑡+1) =
⎧ ⎪ ⎨ ⎪ ⎩
𝑌𝑡, dengan peluang min
{
𝑓(𝑌𝑡)
𝑓(𝑥(𝑡)),1
}
,
𝑥(𝑡), lainnya,
(27)
3.3.3
Independence sampler
Padaindependence sampler distribusi proposal tidak tergantung pada 𝑥, artinya 𝑞(𝑦|𝑥) =
𝑞(𝑦). Algoritma ini dapat dijabarkan sebagai berikut (lihat Robert and Casella, 2010): Diberikan𝑥(𝑡)
1. Bangkitkan𝑌𝑡 ∼𝑞(𝑦).
2. Ambil
𝑋(𝑡+1) =
⎧ ⎪ ⎨ ⎪ ⎩
𝑌𝑡, dengan peluang min
{
𝑓(𝑌𝑡)𝑞(𝑥(𝑡))
𝑓(𝑥(𝑡))𝑞(𝑌
𝑡)
,1
}
,
𝑥(𝑡), lainnya,
(28)
3.3.4
Algorithma Langevin
Difusi Langevin𝐿𝑡didefinisikan oleh persamaan diferensial stokastik
d𝐿𝑡= d𝐵𝑡+ 1
2∇ log𝑓(𝐿𝑡)d𝑡 (29)
dengan 𝐵𝑡 adalah gerak Brown. Selanjutnya, algoritma Langevin mengganti (29) dengan pendiskretan langkah acak
𝑥(𝑡+1) = 𝑥(𝑡)+ 𝜎
2
2 ∇ log𝑓(𝑥
(𝑡)) +𝜎𝜀
𝑡 (30)
3.4
Gibbs Sampling
Algoritma Gibbssamplingpertama kali muncul dalam konteks restorasi citra (restoration of images) dalam Geman and Geman (1984). Namun, aplikasi dalm konteks statistika muncul dalam artikel Gelfand and Smith (1990). Tutorial tentang Gibbs sampling dapat dilihat dalam Casella and George (1992).
Misalkan untuk beberapa 𝑝 > 1 peubah acak 𝐗 ∈ dapat dituliskan sebagai 𝐗 = (𝑋1,…, 𝑋𝑝)dengan masing-masing 𝑋 adalah dimensi tunggal atau dimensi banyak. Mis-alkan pula simulasi dari densitas bersyarat tunggal 𝑓1,…, 𝑓𝑝 dimungkinkan, dengan kata lain,
𝑋𝑖|𝑥1, 𝑥2,…, 𝑥𝑖−1, 𝑥𝑖+1,…, 𝑥𝑝 ∼𝑓𝑖(𝑥𝑖|𝑥1, 𝑥2,…, 𝑥𝑖−1, 𝑥𝑖+1,…, 𝑥𝑝) (31) untuk setiap 𝑖 = 1,…, 𝑝. Algoritma Gibbs sampling atau Gibbs sampler adalah sebagai berikut (lihat Robert and Casella, 2010):
Diberikan𝑥(𝑡) = (𝑥1(𝑡),…, 𝑥(𝑝𝑡)), bangkitkan
1. 𝑋1(𝑡+1)∼ 𝑓1(𝑥1|𝑥(2𝑡),…, 𝑥(𝑝𝑡))
2. 𝑋(𝑡+1)
2 ∼ 𝑓2(𝑥1|𝑥 (𝑡+1) 1 ,…, 𝑥
(𝑡)
𝑝 )
⋮
𝑝. 𝑋(𝑡+1)
𝑝 ∼ 𝑓𝑝(𝑥1|𝑥 (𝑡+1) 1 ,…, 𝑥
(𝑡)
𝑝−1)
(32)
Contoh 4. Misalkan𝑥1,…, 𝑥𝑛adalah sampel acak dari𝑁(𝜇, 𝜎2). Misalkan pulaprioruntuk
𝜇 ∼𝑁(𝛿, 𝛾−1)dan kuadrat presisi𝜎−2 ∼Gam(𝛾, 𝜓). Selanjutnya diperolehposteriorbersama
(li-hat juga Green, 2001)
𝑓(𝜇, 𝜎−2) ∝ (𝜎−2)𝛾+𝑛∕2−1exp
[
−𝜓
𝜎2 −
𝛾(𝜇−𝛿)
2 −
∑
(𝑥𝑖−𝜇)2
2𝜎2
]
. (33)
Distribusi bersyarat penuh (full conditional) diberikan oleh
𝜇|𝜎, 𝑥∼ 𝑁
(
𝜎−2∑𝑥𝑖+𝛾𝛿 𝜎−2𝑛+𝛾 ,
1
𝜎−2𝑛+𝛾
)
,
𝜎−2|𝜇, 𝑥∼ Gam(𝛼+𝑛∕2, 𝛽+∑(𝑥𝑖−𝜇)2∕2).
4
PERLUASAN MCMC
Algoritma MCMC masih merupakan area riset aktif dalam dua dekade terakhir. Green (1995) mengembangkan algoritma M-H pada situasi yang lebih luas. Propp and Wilson (1996) men-gusulkan simulasi eksak dari distribusi target menggunakancoupling from the past, disingkat CFTP. Meskipun, terdapat banyak kritik terutama pada implementasi dimensi rendah tanpa simetri (lihat Green, 2001).
Metode lain yang sedang aktif diteliti adalah metode Monte Carlo berurut (sequential Monte Carlo) disingkat SMC dan filter partikel (particle filters), lihat misalnya Andrieuet al.
I Wayan Sumarjaya 89
5
MEMONITOR KONVERGENSI
Memonitor kekonvergenan simulasi merupakan isu penting dalam inferensi berbasis simulasi. Untuk aplikasi sederhana 100 sampel bebas cukup untuk mengambil informasi dari distribusi
posteriortertentu (lihat Gelmanet al., 2004). Tentu saja untuk beberapa distribusiposterior, misalkan untuk menaikkan akurasi dari 5% menjadi 1% jumlah simulasi yang diperlukan adalah 2500 (lihat Gelmanet al., 2004). Isu-isu dalam memonitor kekonvergenan simulasi MCMC dapat dilihat pada Kasset al.(1998) atau Gelmanet al.(2004).
6
SIMPULAN
Metode MCMC merupakan sekumpulan algoritma untuk melakukan pengambilan sampel pada distribusi yang berbentuk tidak standar pada dimensi tinggi.
DAFTAR PUSTAKA
Andrieu, C., de Freitas, N., Doucet, A., and Jordan, M. I. 2003. An Introduction to MCMC for Machine Learning. Machine Learning,50: 5–43.
Andrieu, C., Doucet, A., and Robert, C. P. 2004. Computational Advances for and from Bayesian Analysis. Statistical Science,19: 118–127.
Brooks, S. P. 1998. Markov Chain Monte Carlo Method and Its Application.The Statistician,
47: 69–100.
Casella, G. and George, E. I. 1992. Explaining the Gibbs Sampler.The American Statistician,
46: 167–174.
Diaconis, P. 2008. The Markov Chain Monte Carlo Revolution. Bulletin of the American Mathematical Society,46(2): 179–205.
Diaconis, P. and Saloff-Coste, L. 1998. What Do We Know about the Metropolis Algorithm?
Journal of Computer and System Sciences,57: 20–36.
Gamerman, D. and Lopes, H. F. 2006. Markov Chain Monte Carlo: Stochastic Simulation for Bayesian Inference. Second edition. Chapman & Hall/CRC, Boca Raton.
Gelfand, A. E. and Smith, A. F. M. 1990. Sampling-Based Approach to Calculating Marginal Densities. Journal of the American Statistical Association,85(410): 398–409.
Gelman, A., Carlin, J. B., Stern, H. S., and Rubin, D. B. 2004. Bayesian Data Analysis. Second edition. Chapman & Hall/CRC, Boca Raton.
Geman, S. and Geman, D. 1984. Stochasti Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images. IEEE Transactions on Pattern Analysis and Machine Intelligence,
PAMI-6: 721–741.
Green, P. J. 2001. Complex Stochastic Systems, chapter A Primer on Markov Chain Monte Monte Carlo. Chapman & Hall/CRC, Boca Raton, pp. 1–62.
Hastings, W. K. 1970. Monte Carlo Sampling Methods using Markov Chains and Their Application. Biometrika, (1): 97–108.
Kass, R. E., Carlin, B. P., Gelman, A., and Neal, R. M. 1998. Markov Chain Monte Carlo in Practice: A Roundtable Discussion. The American Statistician,52(2): 93–100.
Metropolis, N., Rosenbluth, A. W., Rosenbluth, M. N., Teller, A. H., and Teller, E. 1953. Equation of State Calculations by Fast Computing Machines.Journal of Chemical Physics,
21(6): 1087–1092.
Meyn, S. P. and Tweedie, R. L. 1993. Markov Chains and Stochastic Stability. First edition. Springer-Verlag, London. Availabe at probability.ca/MT.
Propp, J. G. and Wilson, D. B. 1996. Exact sampling with coupled Markov chains and Ap-plications to Statistical Mehanics. Random Structures and Algorithms,9: 223–252. Richey, M. 2010. The Evolution of Markov Chain Monte Carlo Methods. The American
Mathematical Monthly,117(5): 383–413.
Robert, C. P. and Casella, G. 2010. Monte Carlo Statistical Methods. Second edition. Springer, New York.
Ross, S. M. 2010. Introduction to Probability Models. Tenth edition. Academic Press, Burlington, MA.
