KONSTRUKSI SELANG KEPERCAYAAN KURVA . REGRESI NONPARAMETRIK DENGAN PENDEKATAN ESTIMATOR KERNEL. I GustiAyu Made Srinadi

(1)

65}'l:

1693.

139{

,IilL\TIJfi

H

r!

tJitulhil

t(\y)

,Yf

KONSTRUKSI SELANG KEPERCAYAAN KURVA

.

REGRESI NONPARAMETRIK DENGAN PENDEKATAN ESTIMATOR KERNEL

I

GustiAyu

Made Srinadi

Yi

f

(r)=l

TINGKAT PENGETAHUAN SISWA SMA TERHADAP NARKOBA DI KODYA DENPASAR

Ni Made

Asih

OPTIMALISASI PENJUALAN MATERIAL PASIR MENGGI'NAKA.ilI METODE ARIMA DAN SIMPLEKS

Gusti Made Teja Saputra, Ni Ketut Tari Tastrawati, I G A Srinadi

INFERENSI BERBASIS SIMULASI lWayan Sumariaya umg

rsnerpo

it rncr{

) {

m{ped

torp f,or _Ft

l=l;l<

PERHITUNGAN HARGA OPSI BARRIER MENGGUNAKAN SIMULASI MONTE CARLO Komang Dharmawan,

lPutu

Eka Nila Kencana

FdtorU'=

h

teturn 0;

"UTT.ERBITIqNOIEH

.lthusmillErumnrrrn

Fmurm* MmunnKA DAru hllu Perucnnsum Aum

Uuurnsras Uonveun

(2)

J

URNAL

M

ATEMATIKA

VOLUME 1 NOMOR 2 TAHUN 2010

DAFTAR ISI

KONSTRUKSI SELANG KEPERCAYAAN KURVA REGRESI

NONPARAMETRIK DENGAN PENDEKATAN ESTIMATOR KERNEL

I Gusti Ayu Made Srinadi 38

TINGKAT PENGETAHUAN SISWA SMA TERHADAP NARKOBA DI KODYA DENPASAR

Ni Made Asih 50

OPTIMALISASI PENJUALAN MATERIAL PASIR MENGGUNAKAN METODE ARIMA DAN SIMPLEKS

Gusti Made Teja Saputra, Ni Ketut Tari Tastrawati, dan I G A M Srinadi 71

INFERENSI BERBASIS SIMULASI

I Wayan Sumarjaya 81

PENENTUAN HARGA OPSI BARRIER MENGGUNAKAN SIMULASI MONTE CARLO

Komang Dharmawan dan I Putu Eka Nila Kencana 91

(3)

Jurnal Matematika, Vol.1, No. 2, 2010, 81–90

INFERENSI BERBASIS SIMULASI

I WAYAN SUMARJAYA

Jurusan Matematika Fakultas MIPA Universitas Udayana

Email: [email protected]

ABSTRAK

Dalam inferensi Bayes penghitungan integral pada distribusi posterior memegang peranan penting. Metode penghitungan integral ini dapat dilakukan antara lain metode pengintegralan analitik eksak, pendekatan analitik asimtotik, metode numerik konven-sional, dan simulasi biasa. Keempat metode ini sangat sulit dilakukaan atau bisa dikatakan tidak mungkin apabila dimensi parameter meningkat. Salah satu metode untuk memec-ahkan masalah ini adalah metode Markov Chain Monte Carlo (MCMC) yang merupakan sekumpulan algoritma untuk melakukan simulasi dari densitas yang tidak memiliki ben-tuk standar. Beberapa algoritma penting seperti Metropolis-Hastings, Gibbs sampler, dan perluasannya dibahas dalam artikel ini.

Kata kunci: Markov Chain Monte Carlo, algoritma Metropolis-Hastings, Gibbs sampler

1 PENDAHULUAN

Dalam inferensi Bayes, inferensi biasanya dilakukan pada distribusi posterior yang meru-pakan hasil kali likelihood dan prior . Terdapat setidaknya tiga masalah pengintegralan pent-ing dalam inferensi Bayes. Sebelum membahas masalah ini, misalkan 𝑥 adalah data, 𝑓 (𝜃) adalah distribusi prior , dan 𝑓 (𝑥|𝜃) adalah likelihood. Inferensi Bayes didasarkan pada infor-masi pada distribusi posterior 𝑓 (𝜃|𝑥) yang diperoleh dari

𝑓(𝜃|𝑥) = 𝑓(𝑥|𝜃)𝑓(𝜃) ∫ 𝑓 (𝑥|𝜃)𝑓(𝜃) d𝜃

∝ 𝑓 (𝑥|𝜃)𝑓(𝜃). (1) Selain masalah penormalan (normalization) pada (1), masalah inferensi yang lain adalah menghitung distribusi posterior marginal

𝑓(𝜃|𝑥) = ∫𝑍

𝑓(𝜃, 𝑧|𝑦) d𝑧 (2) dengan (𝜃, 𝑧) ∈ 𝛩×𝑍. Selanjutnya, dari persamaan (2) ringkasan data berbentuk nilai tengah E(𝜃|𝑥) yaitu

E(𝜃|𝑥) =

∫ 𝜃𝑓(𝜃|𝑥) d𝜃. (3) atau varians var(𝜃|𝑥) juga melibatkan pengintegralan. Ketiga permasalahan tersebut yakni penormalan, pemarginalan, dan penghitungan nilai ekspektasi adalah masalah penting dalam

(4)

inferensi Bayes yang kesemuanya melibatkan masalah penghitungan integral (lihat Brooks, 1998; Andrieu et al., 2003). Menurut Green (2001) secara umum ada empat cara yang dapat digunakan dalam komputasi Bayes pada permasalahan pada (1)–(3) yaitu integral analitik eksak, pendekatan analitik asimtotik, metode numerik konvensional, dan simulasi biasa. Na-mun, masing-masing metode tersebut memiliki kelemahan. Integrasi analitik eksak hanya dapat dilakukan apabila prior yang digunakan adalah prior sekawan (conjugate prior) se-hingga terbatas pada kasus-kasus sederhana dan sering kali tidak sesuai dengan kenyataan. Selanjutnya, pendekatan analitik asimtotik seperti hampiran Lindley dan Laplace sulit dihi-tung sebagaimana dimensi parameter meningkat (lihat Smith, 1991) dan bisa jadi tidak dapat dihandalkan (lihat Smith, 1991). Metode ketiga yaitu metode numerik konvensional biasanya hanya efektif pada dimensi rendah (lihat Green, 2001)). Metode terakhir adalah simulasi bi-asa (ordinary static simulation) yang dapat dilakukan dengan memfaktorkan distribusi.

2 INFERENSI BAYES

Inferensi Bayes atau kemungkinan (likelihood) terintegrasi (lihat Smith, 1991) dilakukan den-gan menentukan model peluang 𝑓 (𝑥|𝜃), disebut pula untuk realisasi data 𝑥 bersama dengan distribusi peluang apriori atau prior 𝑓 (𝜃) untuk parameter yang tidak diketahui 𝜃. Selanjut-nya, inferensi statistika berdasarkan pada distribusi a posteriori atau posterior untuk param-eter yang tidak diketahui bersyarat atau diketahui pada data amatan dengan Teorema Bayes

𝑓(𝜃|𝑥) = 𝑓(𝑥|𝜃)𝑓(𝜃) ∫ 𝑓 (𝑥|𝜃)𝑓(𝜃) d𝜃

∝ 𝑓 (𝑥|𝜃)𝑓(𝜃). (4) Bentuk 4 menyatakan bahwa distribusi posterior proporsional dengan prior dikalikan

likeli-hood. Integral berbentuk

∫ 𝑓(𝑥|𝜃)𝑓(𝜃) d𝜃 (5) disebut konstanta penormalan (normalizing constant). Sebelum era komputasi modern, in-ferensi Bayes biasanya menggunakan distribusi prior sekawan.

Contoh 1. Misalkan likelihood 𝑓 (𝑥|𝜃) = 𝑁(𝜃, 𝜎2_{) dengan 𝜎}2 _{diketahui. Misalkan pula}

distribusi prior 𝑓 (𝜃) = 𝑁 (𝜇, 𝜏). Distribusi posterior 𝑓 (𝜃|𝑥) adalah 𝑁(𝜇₁, 𝜏₁2) dengan

𝜇₁ = 𝜏

−2_𝜇_{+ 𝜎}−2_𝑥

𝜏−2_{+ 𝜎}−2 (6)

dan 𝜏−1 _{= 𝜏}−1_{+ 𝜎}−1_{. Suku-suku 𝜏}−1_{dan 𝜎}−2_{kebalikan dari varians (reciprocal of variance)}

yang disebut presisi. Jadi presisi posterior adalah jumlah presisi prior dan presisi likelihood .

Contoh 2. Misalkan 𝑥₁,… , 𝑥_𝑛 adalah sampel acak dari distribusi Exp(𝜃) dengan likelihood

𝑓(𝐱|𝜃) = 𝜃𝑛_exp ( −𝜃 𝑛 ∑ 𝑖=1 𝑥_𝑖 ) (7)

(5)

I Wayan Sumarjaya 83 dan distribusi prior 𝜃 ∼ Gam(𝛼, 𝛽). Selanjutnya diperoleh distribusi posterior

𝑓(𝜃|𝑥) ∝ 𝜃𝑛_exp ( −𝜃 𝑛 ∑ 𝑖=1 𝑥_𝑖 ) 𝜃𝛼−1exp(−𝛽𝜃) ∝ 𝜃𝛼+𝑛−1exp [ − ( 𝛽+ 𝑛 ∑ 𝑖=1 𝑥_𝑖 ) 𝜃 ] . (8)

Pemakaian prior sekawan seperti pada Contoh 1 dan 2 pada tidaklah realistis dalam anal-isis yang sesungguhnya.

Salah satu contoh penggunaan distribusi prior yang tidak sekawan adalah pada analisis sintasan. Contoh berikut diadaptasi dari Green (2001).

Contoh 3. Misalkan 𝑥₁,… , 𝑥_𝑛adalah sampel acak tersensor dari distribusi Wei(𝛿, 𝜈) dengan

likelihood

𝑓(𝑥|𝛿, 𝜈) = 𝜈𝑛𝛿𝑛𝜈∏

𝑈

𝑥𝜈_𝑖−1exp(−𝛿𝜈∑𝑥𝜈_𝑖) (9) dengan∏_𝑈 menyatakan perkalian amatan tidak tersensor. Jika prior yang digunakan adalah distribusi Gamma pada 𝛿 dan 𝜈 diperoleh

𝑓(𝛿, 𝜈) ∝ 𝛿𝛼−1_{exp(−𝛽𝛿)𝜈}𝛾−1_{exp(−𝜖𝜈)}

(10) dan diperoleh distribusi posterior

𝑓(𝛿, 𝜈|𝑥) ∝ 𝜈𝑛𝛿𝑛𝜈∏ 𝑈 𝑥𝜈 𝑖 exp(−𝛿 𝜈∑_𝑥𝜈 𝑖)𝛿 𝛼−1_× exp(−𝛽𝛿)𝜈𝛾−1exp(−𝜖𝜈) (11) yang merupakan bentuk distribusi yang tidak standar. Untuk melakukan inferensi pada dis-tribusi posterior pada (11), katakanlah nilai tengah E(𝛿) dengan asumsi 𝜈 diketahui, diper-lukan penghitungan integral berbentuk

E(𝛿|𝑥) = ∫ 𝛿𝜈 𝑛_𝛿𝑛𝜈∏ 𝑈 𝑥𝜈_𝑖 exp(−𝛿𝜈∑_𝑥𝜈 𝑖)𝛿 𝛼−1_× exp(−𝛽𝛿)𝜈𝛾−1exp(−𝜖𝜈). (12) Metode-metode yang telah ditinjau Green (2001) jelas sangatlah sulit untuk diterapkan se-hingga salah satu upaya untuk melakukan inferensi pada (11) adalah dengan melakukan pengambilan sampel melalui simulasi. Salah satu metode simulasi yang populer digunakan adalah metode simulasi Monte Carlo. Lebih spesifik lagi, untuk kasus simulasi pada bentuk fungsi densitas peluang yang tidak standar metode simulasi yang digunakan adalah kumpulan algoritma yang dikenal dengan adalah metode Markov Chain Monte Carlo (MCMC).

3 METODE MARKOV CHAIN MONTE CARLO

3.1 Metode Monte Carlo Biasa

Sebelum membahas metode MCMC akan dibahas terlebih dahulu metode Monte Carlo biasa. Misalkan diberikan fungsi densitas (bisa tidak ternormalkan) 𝜋(𝑥) dan akan dihitung nilai harapan

E_𝜋[𝑓 (𝑋)] =

(6)

Pengintegralan pada (13) bisa berbentuk rumit dan di sini bisa berdimensi tinggi. Metode Monte Carlo dapat menyelesaikan permasalahan ini dengan langkah-langkah berikut:

1. Simulasikan sampel saling bebas dan berdistribusi identik 𝑥₁,… , 𝑥_𝑛∼ 𝜋(𝑥), 2. Estimasi E_𝜋[𝑓 (𝑋)] ≈ ̄𝑓_𝑛= (1∕𝑛)∑𝑛_𝑖₌₁𝑓(𝑥_𝑖).

Estimasi pada langkah 2 algoritma di atas yaitu ̄𝑓_𝑛 bersifat takbias dan berdasarkan hukum bilangan besar akan konvergen hampir pasti (almost surely) ke E_𝜋[𝑓 (𝑋)] (lihat Andrieu et al., 2003; Gamerman and Lopes, 2006; Robert and Casella, 2010). Lebih lanjut menurut (Robert and Casella, 2010) varians (13) dapat diestimasi menggunakan

𝑣_𝑛= 1 𝑚2 𝑛 ∑ 𝑖=1 [𝑓 (𝑥_𝑖) − ̄𝑓_𝑛] (14) dan apabila 𝑛 besar, yakni 𝑛 → ∞,

̄

𝑓_𝑛− E_𝜋[𝑓 (𝑋)] √

𝑣_𝑛 ≈ 𝑁(0, 1). (15)

Sebagai contoh penghitungan fungsi distribusi normal standar 𝛷(𝑡) dengan metode Monte Carlo adalah ̂ 𝛷(𝑡) = 1 𝑛 𝑛 ∑ 𝑖=1 𝐼_𝑥 𝑖≤𝑡 (16)

dengan varians 𝛷(𝑡)(1 − 𝛷(𝑡))∕𝑛. (Robert and Casella, 2010, Bab 3). Catatan langkah 1 pada algoritma di atas tidak selalu dimungkinkan untuk dilakukan simulasi langsung. Apabila hal ini terjadi algoritma lain yang dapat digunakan adalah rejection sampling dan importance

sampling.

3.1.1 Rejection sampling

Konsep rejection sampling adalah mengambil sampel dari densitas 𝑔(𝑥) yang mudah disim-ulasikan (disebut distribusi proposal) dan cari 𝑐 < ∞ sedemikian hingga 𝑓 (𝑥) ≤ 𝑐𝑔(𝑥) untuk semua 𝑥 ∈. Langkah selanjutnya adalah sebagai berikut (lihat Andrieu et al., 2003; Robert and Casella, 2010):

1. Ambil sampel 𝑥_𝑖∼ 𝑔(𝑥) dan 𝑢 ∼ Unif[0, 1], 2. Terima 𝑥𝑖jika

𝑢 < 𝑓(𝑥𝑖) 𝑐𝑔(𝑥_𝑖) 3. Jika tidak ulangi ke langkah 1.

Sebagai contoh mengambil sampel dari 𝑁 (0, 1) menggunakan distribusi proposal Laplace(𝛽) diperoleh 𝑓(𝑥) 𝑔(𝑥|𝛽) ≤ √ 2 𝜋𝛽 −1_exp(𝛽2_∕2) (17) dan batas minimum diperoleh untuk 𝛽 = 1.

(7)

I Wayan Sumarjaya 85 Metode rejection sampling memiliki kelemahan yaitu bahwa tidak selalu dimungkinkan untuk menemukan batas 𝑓 (𝑥)∕𝑔(𝑥) dengan 𝑐 yang layak (Andrieu et al., 2003) atau metode ini membangkitkan simulasi yang tidak berguna saat penolakan (Robert and Casella, 2010). Metode importance sampling pada bagian selanjutnya bisa digunakan untuk mengatasi masalah ini.

3.1.2 Importance sampling

Metode importance sampling berasal dari manipulasi integral E_𝜋[𝑓 (𝑋)] = ∫_𝑓(𝑥)𝜋(𝑥) d𝑥 (18) menjadi E_𝜋[𝑓 (𝑋)] = ∫_𝑓(𝑥) 𝜋(𝑥) 𝑔(𝑥)𝑔(𝑥) d𝑥. (19) Kuantitas 𝜋(𝑥)∕𝑔(𝑥) = 𝑤(𝑥) disebut importance weight. Selanjutnya dengan membangk-itkan sampel 𝑥₁,… , 𝑥_𝑛 dari distribusi 𝑔(𝑥) dapat dihitung

E_𝜋[𝑓 (𝑋)] ≈ 1 𝑛 𝑛 ∑ 𝑖=1 𝑓(𝑥𝑖)𝑤(𝑥𝑖) 𝑤(𝑥_𝑖) . (20) Sebagaimana dimensi meningkat menemukan 𝑔(𝑥) akan semakin sulit (lihat Andrieu et al., 2003; Gamerman and Lopes, 2006). Dengan demikian diperlukan metode lain yang bisa mengatasi permasalahan pada metode rejection sampling dan importance sampling. Metode ini memanfaatkan sifat-sifat rantai Markov (Markov chain) dan menggunakan metode Monte Carlo. Kumpulan algoritma yang memanfaatkan sifat-sifat ini disebut Markov Chain Monte Carlo (MCMC).

3.2 Rantai Markov

Sebelum membicarakan metode MCMC berikut ini akan dibicarakan konsep rantai Markov yang relevan. Teori rantai Markov tingkat lanjut dapat dibaca pada buku Meyn and Tweedie (1993) atau Robert and Casella (2010).

Misalkan diberikan ruang keadaan (state space) = {1, 2, … , 𝑛}. Rantai Markov adalah proses stokastik yang didefinisikan oleh barisan peubah acak 𝑋_𝑖 ∈ _{ untuk 𝑖 = 1, 2, …} sedemikian hingga

Pr(𝑋_𝑡₊₁ = 𝑥_𝑡₊₁|𝑋₁ = 𝑥₁,… , 𝑋_𝑡 = 𝑥_𝑡) = Pr(𝑋_𝑡₊₁ = 𝑥_𝑡₊₁|𝑋_𝑡 = 𝑥_𝑡). (21) Dengan kata lain peluang bahwa suatu kejadian masa depan hanya tergantung pada kejadian masa kini dan tidak tergantung pada kejadian-kejadian sebelumnya. Sifat ini sering dise-but memoryless. Pada metode MCMC rantai Markov yang diperlukan adalah rantai Markov waktu homogen (time-homogenous Markov chains) yaitu rantai Markov yang bebas dari 𝑡 dan dinyatakan sebagai

Pr(𝑋𝑡+1 = 𝑗|𝑋𝑡 = 𝑖) = 𝑝𝑖𝑗. (22)

Selanjutnya distribusi bersyarat 𝑋𝑡+1|𝑋𝑡disebut distribusi peluang transisi (transition

proba-bility distribution). Kemudian masing-masing peluang transisi 𝑝_𝑖𝑗 membentuk matriks tran-sisi 𝐏 = (𝑝_𝑖𝑗) dengan elemen-elemen yang didefinisikan oleh (22) dan memenuhi∑_𝑗𝑝_𝑖𝑗 = 1.

(8)

Menurut Richey (2010) terdapat dua sifat penting rantai Markov yang diperlukan dalam metode MCMC yaitu sifat tak tereduksi (irreducible) dan tak berkala (aperiodic). Sifat tak tereduksi artinya semua keadaan (state) berkomunikasi atau dengan kata lain hanya terda-pat satu kelas (lihat Ross, 2010). Sifat tak berkala artinya untuk semua keadaan 𝑖 dan 𝑗 hanya memiliki periode satu (lihat Richey, 2010) atau bisa juga dikatakan rantai tidak terje-bak dalam siklus (lihat Andrieu et al., 2003). Suatu rantai Markov yang memiliki sifat tak tereduksi dan tak berkala memiliki distribusi tunggal dengan bentuk 𝜋 = (𝜋₁,… , 𝜋_𝑛) pada dengan sifat

𝜋 = 𝜋𝐏. (23)

Rantai Markov yang memenuhi sifat (23) disebut stabil pada distribusi 𝜋 atau 𝜋 adalah dis-tribusi stabil untuk rantai Markov (lihat Richey, 2010). Lebih lanjut jika 𝜋 adalah disdis-tribusi stabil untuk rantai Markov yang tak tereduksi dan tak berkala, maka rantai Markov dapat digunakan untuk mengambil sampel dari 𝜋. Pada teori MCMC, langkah yang dilakukan adalah kebalikannya. Diberikan distribusi 𝜋 (dalam hal ini biasanya adalah distribusi

poste-rior), lalu cari rantai Markov yang tak tereduksi dan tak berkala yang stabil pada 𝜋. Salah satu algoritma untuk mengatasi permasalahan ini adalah algoritma Metropolis-Hastings.

3.3 Algoritma Metropolis-Hastings

Algoritma Metropolis-Hastings (M-H) merupakan salah satu algoritma untuk mencari Markov yang tak tereduksi dan tak berkala dan diberi nama setelah Metropolis et al. (1953) dan Hast-ings (1970). Secara garis besar algoritma ini dapat dijelaskan sebagai berikut. Misalkan 𝑓 adalah densitas target, 𝑞(𝑦|𝑥) adalah densitas proposal atau instrumental yang mudah disim-ulasikan, secara eksplisit tersedia, atau simetrik. Syarat umum yang diperlukan adalah rasio

𝑓(𝑦)∕𝑞(𝑦|𝑥) harus diketahui sampai suatu konstanta tertentu yang bebas dari 𝑥. Algoritma ini adalah sebagai berikut (lihat Gamerman and Lopes, 2006; Robert and Casella, 2010): Diberikan 𝑥(𝑡) 1. Bangkitkan 𝑌_𝑡∼ 𝑞(𝑦|𝑥(𝑡)_). 2. Ambil 𝑋(𝑡+1)= { 𝑌_𝑡, dengan peluang 𝛼(𝑥(𝑡)_{, 𝑌} 𝑡), 𝑥_𝑡, dengan peluang 1 − 𝛼(𝑥(𝑡)_{, 𝑌} 𝑡), (24) dengan 𝛼(𝑥, 𝑦) = min { 𝑓(𝑦)𝑞(𝑥|𝑦) 𝑓(𝑥)𝑞(𝑦|𝑥),1 } . (25)

Kuantitas 𝛼(𝑥, 𝑦) disebut peluang penerimaan M-H (lihat Robert and Casella, 2010). Sifat-sifat lanjutan algoritma M-H dapat dilihat misalnya pada artikel Diaconis and Saloff-Coste (1998) dan Diaconis (2008).

Terdapat beberapa cara dalam memilih densitas proposal misalnya algoritma Metropo-lis simetrik (symmetric MetropoMetropo-lis algorithm), langkah acak MetropoMetropo-lis simetrik (symmetric

(9)

3.3.1 Algoritma Metropolis simetrik

Algoritma M-H dengan proposal simetrik, yakni 𝑞(𝑦|𝑥) = 𝑞(𝑥|𝑦) memiliki peluang peneri-maan M-H 𝛼(𝑥, 𝑦) = min { 𝑓(𝑦) 𝑓(𝑥),1 } (26) seperti yang diusulkan Metropolis et al. (1953).

3.3.2 Algoritma langkah acak Metropolis simetrik

Distribusi proposal pada algoritma ini berbentuk 𝑞(𝑥|𝑦) = 𝑞(|𝑦 − 𝑥|). Algoritma ini adalah sebagai berikut (lihat Robert and Casella, 2010):

Diberikan 𝑥(𝑡) 1. Bangkitkan 𝑌𝑡 ∼ 𝑞(|𝑦 − 𝑥(𝑡)|). 2. Ambil 𝑋(𝑡+1)= ⎧ ⎪ ⎨ ⎪ ⎩

𝑌_𝑡, dengan peluang min { _𝑓 (𝑌_𝑡) 𝑓(𝑥(𝑡)₎,1 } , 𝑥(𝑡), lainnya, (27)

3.3.3 Independence sampler

Pada independence sampler distribusi proposal tidak tergantung pada 𝑥, artinya 𝑞(𝑦|𝑥) =

𝑞(𝑦). Algoritma ini dapat dijabarkan sebagai berikut (lihat Robert and Casella, 2010): Diberikan 𝑥(𝑡) 1. Bangkitkan 𝑌_𝑡 ∼ 𝑞(𝑦). 2. Ambil 𝑋(𝑡+1) = ⎧ ⎪ ⎨ ⎪ ⎩

𝑌_𝑡, dengan peluang min {_𝑓 (𝑌_𝑡)𝑞(𝑥(𝑡)₎ 𝑓(𝑥(𝑡)_)𝑞(𝑌 𝑡) ,1 } , 𝑥(𝑡)_, _lainnya, (28)

3.3.4 Algorithma Langevin

Difusi Langevin 𝐿𝑡didefinisikan oleh persamaan diferensial stokastik

d𝐿_𝑡= d𝐵_𝑡+ 1

2∇ log 𝑓 (𝐿𝑡) d𝑡 (29) dengan 𝐵𝑡 adalah gerak Brown. Selanjutnya, algoritma Langevin mengganti (29) dengan

pendiskretan langkah acak

𝑥(𝑡+1)= 𝑥(𝑡)+ 𝜎

2

2 ∇ log 𝑓 (𝑥

(𝑡)_{) + 𝜎𝜀}

𝑡 (30)

(10)

3.4 Gibbs Sampling

Algoritma Gibbs sampling pertama kali muncul dalam konteks restorasi citra (restoration of

images) dalam Geman and Geman (1984). Namun, aplikasi dalm konteks statistika muncul dalam artikel Gelfand and Smith (1990). Tutorial tentang Gibbs sampling dapat dilihat dalam Casella and George (1992).

Misalkan untuk beberapa 𝑝 > 1 peubah acak 𝐗 ∈  dapat dituliskan sebagai 𝐗 = (𝑋₁,… , 𝑋_𝑝) dengan masing-masing 𝑋 adalah dimensi tunggal atau dimensi banyak. Mis-alkan pula simulasi dari densitas bersyarat tunggal 𝑓₁,… , 𝑓_𝑝 dimungkinkan, dengan kata lain,

𝑋_𝑖|𝑥₁, 𝑥₂,… , 𝑥_𝑖₋₁, 𝑥_𝑖₊₁,… , 𝑥_𝑝 ∼ 𝑓_𝑖(𝑥_𝑖|𝑥₁, 𝑥₂,… , 𝑥_𝑖₋₁, 𝑥_𝑖₊₁,… , 𝑥_𝑝) (31) untuk setiap 𝑖 = 1, … , 𝑝. Algoritma Gibbs sampling atau Gibbs sampler adalah sebagai berikut (lihat Robert and Casella, 2010):

Diberikan 𝑥(𝑡)= (𝑥(𝑡)₁ ,… , 𝑥(𝑡) 𝑝 ), bangkitkan 1. 𝑋₁(𝑡+1)∼ 𝑓₁(𝑥₁|𝑥(𝑡)₂ ,… , 𝑥(𝑡)_𝑝 ) 2. 𝑋₂(𝑡+1)∼ 𝑓₂(𝑥₁|𝑥(𝑡+1)₁ ,… , 𝑥(𝑡)_𝑝 ) ⋮ 𝑝. 𝑋_𝑝(𝑡+1)∼ 𝑓_𝑝(𝑥₁|𝑥(𝑡+1)₁ ,… , 𝑥(𝑡)_𝑝₋₁) (32)

Contoh 4. Misalkan 𝑥₁,… , 𝑥_𝑛adalah sampel acak dari 𝑁 (𝜇, 𝜎2). Misalkan pula prior untuk

𝜇 ∼ 𝑁(𝛿, 𝛾−1_{) dan kuadrat presisi 𝜎}−2 _{∼ Gam(𝛾, 𝜓). Selanjutnya diperoleh posterior bersama}

(li-hat juga Green, 2001)

𝑓(𝜇, 𝜎−2) ∝ (𝜎−2)𝛾+𝑛∕2−1_exp [ −𝜓 𝜎2 − 𝛾(𝜇 − 𝛿) 2 − ∑ (𝑥_𝑖− 𝜇)2 2𝜎2 ] . (33) Distribusi bersyarat penuh (full conditional) diberikan oleh

𝜇|𝜎, 𝑥 ∼ 𝑁 (_𝜎−2∑_𝑥 𝑖+ 𝛾𝛿 𝜎−2_𝑛_{+ 𝛾} , 1 𝜎−2_𝑛_{+ 𝛾} ) , 𝜎−2|𝜇, 𝑥 ∼ Gam(𝛼 + 𝑛∕2, 𝛽 +∑(𝑥_𝑖− 𝜇)2∕2).

4 PERLUASAN MCMC

Algoritma MCMC masih merupakan area riset aktif dalam dua dekade terakhir. Green (1995) mengembangkan algoritma M-H pada situasi yang lebih luas. Propp and Wilson (1996) men-gusulkan simulasi eksak dari distribusi target menggunakan coupling from the past, disingkat CFTP. Meskipun, terdapat banyak kritik terutama pada implementasi dimensi rendah tanpa simetri (lihat Green, 2001).

Metode lain yang sedang aktif diteliti adalah metode Monte Carlo berurut (sequential

Monte Carlo) disingkat SMC dan filter partikel (particle filters), lihat misalnya Andrieu et al. (2003) dan Andrieu et al. (2004).

(11)

5 MEMONITOR KONVERGENSI

Memonitor kekonvergenan simulasi merupakan isu penting dalam inferensi berbasis simulasi. Untuk aplikasi sederhana 100 sampel bebas cukup untuk mengambil informasi dari distribusi

posteriortertentu (lihat Gelman et al., 2004). Tentu saja untuk beberapa distribusi posterior , misalkan untuk menaikkan akurasi dari 5% menjadi 1% jumlah simulasi yang diperlukan adalah 2500 (lihat Gelman et al., 2004). Isu-isu dalam memonitor kekonvergenan simulasi MCMC dapat dilihat pada Kass et al. (1998) atau Gelman et al. (2004).

6 SIMPULAN

Metode MCMC merupakan sekumpulan algoritma untuk melakukan pengambilan sampel pada distribusi yang berbentuk tidak standar pada dimensi tinggi.

DAFTAR PUSTAKA

Andrieu, C., de Freitas, N., Doucet, A., and Jordan, M. I. 2003. An Introduction to MCMC for Machine Learning. Machine Learning, 50: 5–43.

Andrieu, C., Doucet, A., and Robert, C. P. 2004. Computational Advances for and from Bayesian Analysis. Statistical Science, 19: 118–127.

Brooks, S. P. 1998. Markov Chain Monte Carlo Method and Its Application. The Statistician,

47: 69–100.

Casella, G. and George, E. I. 1992. Explaining the Gibbs Sampler. The American Statistician,

46: 167–174.

Diaconis, P. 2008. The Markov Chain Monte Carlo Revolution. Bulletin of the American

Mathematical Society, 46(2): 179–205.

Diaconis, P. and Saloff-Coste, L. 1998. What Do We Know about the Metropolis Algorithm?

Journal of Computer and System Sciences, 57: 20–36.

Gamerman, D. and Lopes, H. F. 2006. Markov Chain Monte Carlo: Stochastic Simulation

for Bayesian Inference. Second edition. Chapman & Hall/CRC, Boca Raton.

Gelfand, A. E. and Smith, A. F. M. 1990. Sampling-Based Approach to Calculating Marginal Densities. Journal of the American Statistical Association, 85(410): 398–409.

Gelman, A., Carlin, J. B., Stern, H. S., and Rubin, D. B. 2004. Bayesian Data Analysis. Second edition. Chapman & Hall/CRC, Boca Raton.

Geman, S. and Geman, D. 1984. Stochasti Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images. IEEE Transactions on Pattern Analysis and Machine Intelligence,

PAMI-6: 721–741.

Green, P. J. 1995. Reversible Jump Markov Chain Monte Carlo Computation and Bayesian Model Determination. Biometrika, 82(4): 711–732.

(12)

Green, P. J. 2001. Complex Stochastic Systems, chapter A Primer on Markov Chain Monte Monte Carlo. Chapman & Hall/CRC, Boca Raton, pp. 1–62.

Hastings, W. K. 1970. Monte Carlo Sampling Methods using Markov Chains and Their Application. Biometrika, (1): 97–108.

Kass, R. E., Carlin, B. P., Gelman, A., and Neal, R. M. 1998. Markov Chain Monte Carlo in Practice: A Roundtable Discussion. The American Statistician, 52(2): 93–100.

Metropolis, N., Rosenbluth, A. W., Rosenbluth, M. N., Teller, A. H., and Teller, E. 1953. Equation of State Calculations by Fast Computing Machines. Journal of Chemical Physics,

21(6): 1087–1092.

Meyn, S. P. and Tweedie, R. L. 1993. Markov Chains and Stochastic Stability. First edition. Springer-Verlag, London. Availabe at probability.ca/MT.

Propp, J. G. and Wilson, D. B. 1996. Exact sampling with coupled Markov chains and Ap-plications to Statistical Mehanics. Random Structures and Algorithms, 9: 223–252. Richey, M. 2010. The Evolution of Markov Chain Monte Carlo Methods. The American

Mathematical Monthly, 117(5): 383–413.

Robert, C. P. and Casella, G. 2010. Monte Carlo Statistical Methods. Second edition. Springer, New York.

Ross, S. M. 2010. Introduction to Probability Models. Tenth edition. Academic Press, Burlington, MA.

Smith, A. F. M. 1991. Bayesian Computational Methods. Philosophical Transactions of The