Statistika Matematika II

(1)

Konsep Dasar Bayesian Prosedur Bayesian Fungsi Keputusan dan Fungsi Kerugian Prior Konjugat dan Prior Non-Informatif Gibbs Sampler Metode Bayesian Modern Bayes Empirik

Statistika Matematika II

Nanda Arista Rizki, M.Si.

Jurusan Matematika

Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Mulawarman

(2)

Konsep Dasar Bayesian Prosedur Bayesian Fungsi Keputusan dan Fungsi Kerugian Prior Konjugat dan Prior Non-Informatif Gibbs Sampler Metode Bayesian Modern Bayes Empirik

Referensi:

Hogg, R.V., McKean, J.W., dan Craig, A.T. (2013). Introduction to Mathematical Statistics, Edisi ke tujuh. New York: Pearson. Penilaian: tugas, UAS, dan kehadiran (min. 80%).

(3)

Konsep Dasar Bayesian

Prosedur Bayesian Fungsi Keputusan dan Fungsi Kerugian Prior Konjugat dan Prior Non-Informatif Gibbs Sampler Metode Bayesian Modern Bayes Empirik

Konsep Monte Carlo

Mengulang Kembali

Misalkan A1dan A2masing-masing adalah kejadian tertentu. Jika A1dan A2

adalah kejadian yang saling lepas, maka

P(A1∪ A2) = P(A1) + P(A2)

Namun jika A1⊂ A2, maka

(4)

Konsep Monte Carlo

Peluang Bersyarat

Misalkan jumlah semua mahasiswa/i UNMUL yang sedang mengambil mata kuliah StatMat II adalah 15 pria dan 25 wanita. Diketahui bahwa terdapat 20 mahasiswi yang mengenakan jilbab. Jika dilakukan penyebutan nama yang ada pada absensi kelas secara acak, maka

1. peluang bahwa seseorang mahasiswa/i akan terpanggil adalah ...

2. peluang bahwa mahasiswa/i dengan nomor urut pertama yang

terpanggil adalah ...

3. peluang bahwa yang terpanggil mengenakan jilbab adalah ...

4. peluang yang terpanggil mengenakan jilbab, jika penyebutan nama

(5)

Konsep Monte Carlo

Konsep Peluang Bersyarat

Peluang bersyarat dari kejadian A jika kejadian B sudah terjadi adalah

P(A|B) = P(A ∩ B)

P(B) , (1)

jika P(B) > 0.

(6)

Konsep Monte Carlo

Perhatikan persamaan berikut:

P(A ∩ B) = P(A)P(B|A). (2)

Jika A = A1 ∩ A2 dan B = A3, maka ruas kanan persamaan (2) menjadi

P(A1∩ A2)P(A3|A1∩ A2).

Karena P(A1∩ A2) = P(A1)P(A2|A1), maka persamaan (2) bisa ditulis ulang

menjadi:

(7)

Konsep Monte Carlo

Soal Latihan

Misalkan Ω = {1, 2, 3, 4, 5, 6}. Diketahui Kejadian-kejadian berikut:

A={1, 2, 3, 4, 5} B={2, 4, 6} C={1, 2, 3, 4} D={2, 3, 4}. Maka A ∩ B = · · · Berarti P(A|B) = · · · P(C|B) = · · · P(D|B) = · · · .

(8)

Konsep Monte Carlo

Soal Latihan

(9)

Konsep Monte Carlo

Soal Latihan

(10)

Konsep Monte Carlo

Hukum Peluang Total

Misalkan A1, A2, A3merupakan partisi dari ruang sampel Ω atau dapat ditulis

sebagai

A1∪ A2∪ A3= Ω,

dan P(Ai) > 0, i = 1, 2, 3.

Kemudian ada kejadian lain, katakanlah B,

B= B ∩ (A1∪ A2∪ A3)

= (B ∩ A1) ∪ (B ∩ A2) ∪ (B ∩ A3),

(11)

Konsep Monte Carlo

Karena B ∩ Ai, i = 1, 2, 3 adalah kejadian saling lepas, maka

P(B) = P(B ∩ A1) + P(B ∩ A2) + P(B ∩ A3).

Selanjutnya untuk setiap i = 1, 2, 3; P(B ∩ Ai) = P(Ai)P(B|Ai). Sehingga

P(B) =P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3)

=

3

X

i=1

(12)

Konsep Monte Carlo

Teorema Bayes

P(Aj|B) =

P(Aj∩ B)

P(B) , j= 1, 2, . . . , k.

Dengan menggunakan hukum peluang total, maka

P(Aj|B) = P(Aj∩ B) P(B) = P(Aj)P(B|Aj) Pk j=1P(Aj)P(B|Aj) . (4)

(13)

Konsep Monte Carlo

Dua Kejadian Yang Saling Bebas

Misalkan diketahui suatu kejadian A namun tidak mengubah nilai peluang kejadian B, dengan P(A) > 0,

P(B|A) = P(B).

Maka dalam kasus ini, kejadian A dan B saling bebas. Sehingga menghasilkan aturan perkalian berikut:

P(A ∩ B) = P(A)P(B|A) = P(A)P(B). (5)

Sebaliknya ketika P(B) > 0, maka

P(A|B) = P(A ∩ B)

P(B) =

P(A)P(B)

(14)

Konsep Monte Carlo

Dengan kata lain, jika P(A) > 0 dan P(B) > 0, serta berlaku: P(A ∩ B) = P(A)P(B),

maka kejadian A dan kejadian B saling bebas.

Bagaimana jika P(A) = 0 atau P(B) = 0? Maka ruas kanan bernilai 0.

(15)

Konsep Monte Carlo

maka kejadian A dan kejadian B saling bebas. Bagaimana jika P(A) = 0 atau P(B) = 0?

Maka ruas kanan bernilai 0.

(16)

Konsep Monte Carlo

maka kejadian A dan kejadian B saling bebas. Bagaimana jika P(A) = 0 atau P(B) = 0? Maka ruas kanan bernilai 0.

(17)

Konsep Monte Carlo

Soal Latihan

1. Misalkan Aj, j = 1, 2, 3, 4, 5 merupakan partisi dari ruang sampel Ω

dengan P(Aj) =₁₅j dan P(B|Aj) =5−j₁₅ , j = 1, 2, 3, 4, 5. Tentukan

(18)

Konsep Monte Carlo

Soal Latihan

2. Misalkan disediakan 10 cangkir kopi dan 2 diantaranya mengandung

’sinida’. Untuk mendapatkan secangkir kopi yang mengandung ’sinida’, dilakukan pengujian di Laboratorium Stastistika Kimia dengan cara mengambil dan menguji satu per satu secara acak tanpa pengembalian. Berapakah peluang diperoleh 2 cangkir kopi ’sinida’ pada dua

pengujian yang pertama?

Misalkan S1dan S2masing-masing adalah kejadian diperoleh ’sinida’

pada pengujian pertama dan kedua.

Maka P(S1) = · · ·

P(S2|S1) = · · ·

(19)

Konsep Monte Carlo

Soal Latihan

2. Misalkan disediakan 10 cangkir kopi dan 2 diantaranya mengandung

’sinida’. Untuk mendapatkan secangkir kopi yang mengandung ’sinida’, dilakukan pengujian di Laboratorium Stastistika Kimia dengan cara mengambil dan menguji satu per satu secara acak tanpa pengembalian. Berapakah peluang diperoleh 2 cangkir kopi ’sinida’ pada dua

pengujian yang pertama?

Misalkan S1dan S2masing-masing adalah kejadian diperoleh ’sinida’

pada pengujian pertama dan kedua.

Maka P(S1) = · · ·

P(S2|S1) = · · ·

(20)

Konsep Monte Carlo

Soal Latihan

3. Ayu dan Ting Ting secara bersamaan menembak sasaran tertentu.

Peluang tembakan Ayu mengenai sasaran adalah 0, 7; sedangkan peluang tembakan Ting Ting (bebas dari tembakan Ayu) mengenai sasaran adalah 0, 4. Jika sebuah tembakan mengenai sasaran, berapa peluang bahwa itu tembakan Ayu?

Misalkan A= kejadian Ayu menembak sasaran, T= kejadian Ting Ting menembak sasaran, K=kejadian tembakan mengenai (kena) sasaran. Maka,

P(A|K) = P(A ∩ K)

(21)

Konsep Monte Carlo

Soal Latihan

3. Ayu dan Ting Ting secara bersamaan menembak sasaran tertentu.

Peluang tembakan Ayu mengenai sasaran adalah 0, 7; sedangkan peluang tembakan Ting Ting (bebas dari tembakan Ayu) mengenai sasaran adalah 0, 4. Jika sebuah tembakan mengenai sasaran, berapa peluang bahwa itu tembakan Ayu?

Misalkan A= kejadian Ayu menembak sasaran, T= kejadian Ting Ting menembak sasaran, K=kejadian tembakan mengenai (kena) sasaran. Maka,

P(A|K) = P(A ∩ K)

(22)

Konsep Monte Carlo

4. Direktur perusahaan mengundang para karyawan yang memiliki

setidaknya satu anak laki-laki (L) ke acara syukuran khitanan. Seorang karyawan memiliki dua anak. Berapa peluang bahwa kedua anak karyawan adalah laki-laki, jika karyawan tersebut diundang ke acara syukuran?

Misalkan L kejadian memiliki anak laki-laki; LK kejadian memiliki dua anak laki-laki; dan U kejadian diundang ke acara syukuran. Jadi,

P(LK|U) =P(LK ∩ U) P(U) =P({{LL} ∩ {LL, LL c_{, L}c_L}}) P({LL, LLc_{, L}c_L}) = · · ·

(23)

Konsep Monte Carlo

4. Direktur perusahaan mengundang para karyawan yang memiliki

setidaknya satu anak laki-laki (L) ke acara syukuran khitanan. Seorang karyawan memiliki dua anak. Berapa peluang bahwa kedua anak karyawan adalah laki-laki, jika karyawan tersebut diundang ke acara syukuran?

Misalkan L kejadian memiliki anak laki-laki; LK kejadian memiliki dua anak laki-laki; dan U kejadian diundang ke acara syukuran. Jadi,

P(LK|U) =P(LK ∩ U) P(U) =P({{LL} ∩ {LL, LL c_{, L}c_L}}) P({LL, LLc_{, L}c_L}) = · · ·

(24)

Konsep Monte Carlo

Studi Kasus Bayesian

Misalkan dihadapkan dua parameter yaitu θ1dan θ2. Perhatian terfokus pada

θ1yang mengandung θ2, namun θ2 merupakan suatu peubah acak. Apakah

(25)

Konsep Monte Carlo

Mengenang Kembali Konsep Monte Carlo

Membangkitkan pengamatan-pengamatan sampel dari suatu distribusi spesi-fik disebut pembangkitan Monte Carlo. Teknik pembangkitan ini untuk me-nyimulasikan proses-proses yang sulit dan meneliti sifat-sifat sampel tersebut.

(26)

Konsep Monte Carlo

Sebagai contoh, misalkan X adalah peubah acak yang bernilai 1 jika nilai angka sebuah dadu yang muncul adalah 1 atau 2. Namun jika tidak, maka X bernilai 0.

Perhatikan bahwa µ(X) = 1/3. (Kenapa?)

Jika U ∼ Uniform(0, 1), maka X dapat dinyatakan sebagai

X=

1, jika 0 < U ≤ 1/3

(27)

Konsep Monte Carlo

Sintaks Octave

n=10; u=unifrnd(n); x=zeros(n,1);

for i=1:n if (u(i)<=1/3) x(i)=1; x

(28)

Konsep Monte Carlo

Tabel:Contoh Hasil Output

ui 0.4743 0.7891 0.555 0.9693 0.0299

xi 0 0 0 0 1

ui 0.8425 0.6012 0.1009 0.0545 0.4677

xi 0 0 1 1 0

Berdasarkan pengamatan dari sampel-sampel acak berdistribusi X, bahwa

(29)

Prosedur Bayesian

Fungsi Keputusan dan Fungsi Kerugian Prior Konjugat dan Prior Non-Informatif Gibbs Sampler Metode Bayesian Modern Bayes Empirik

Distribusi Prior dan Distribusi Posterior

Prosedur Bayesian

Properti Fungsi Gamma

Γ(z) = ∞ Z 0 xz−1e−xdxjika z ∈ C, Re(z) ≥ 0 Γ(n) = (n − 1)! jika n ∈ Z, n ≥ 1 ∞ Z 0 xne−axdx= Γ(n + 1) an+1 jika n > −1, a > 0.

(30)

Prosedur Bayesian

Intuisi Bayesian

Perhatikan kembali distribusi Poisson berikut:

P(X = x|θ) = e−θθx

x! , x= 1, 2, . . .

E(X) = θ, σ2_{(X) = θ.}

(31)

Prosedur Bayesian

Misalkan suatu sampel berasal dari distribusi Poisson. Lalu berdasarkan pe-nilaian subjektif, bahwa parameternya ada dua kemungkinan, yaitu θ = 2 atau θ = 3, dengan peluang prior:

P(Θ = 2) = 1

3, P(Θ = 3) =

2 3.

Namun ternyata ketika diambil sampel acak berukuran n = 2, diperoleh

(32)

Prosedur Bayesian

Diberikan dua pengamatan tersebut, maka peluang posterior bahwa Θ = 2 adalah P(Θ = 2|x1= 4, x2= 2) = P(Θ = 2 dan {x1= 4, x2= 2}) P(x1= 4, x2= 2) = 1 3 e−224 4! e−222 2! 1 3 e−2₂4 4! e−2₂2 2! + 2 3 e−3₃4 4! e−3₃2 2! = 0, 245.

Lalu peluang posterior bahwa Θ = 3, jika diberikan dua pengamatan terse-but adalah

P(Θ = 3|x1 = 4, x2= 2) = 1 − P(Θ = 2|x1= 4, x2 = 2)

= 1 − 0, 245 = 0, 755.

(33)

Prosedur Bayesian

Diberikan dua pengamatan tersebut, maka peluang posterior bahwa Θ = 2 adalah P(Θ = 2|x1= 4, x2= 2) = P(Θ = 2 dan {x1= 4, x2= 2}) P(x1= 4, x2= 2) = 1 3 e−224 4! e−222 2! 1 3 e−2₂4 4! e−2₂2 2! + 2 3 e−3₃4 4! e−3₃2 2! = 0, 245.

Lalu peluang posterior bahwa Θ = 3, jika diberikan dua pengamatan terse-but adalah

P(Θ = 3|x1 = 4, x2= 2) = 1 − P(Θ = 2|x1= 4, x2= 2)

= 1 − 0, 245 = 0, 755.

(34)

Prosedur Bayesian

P(Θ = 2|x1 = 4, x2 = 2) > P(Θ = 2|x1 = 4, x2 = 2), maka berdasarkan

dua pengamatan tersebut maka parameter Θ lebih mendekati nilai 3 dibanding

(35)

Prosedur Bayesian

Mengenal lebih dekat lagi

Misalkan X1, X2, . . . , Xn iid

∼ Bernoulli (θ). Maka, MLE untuk θ adalah b

θ = · · · .

Namun, estimator apa yang cocok jika parameter θ juga berdistribusi terten-tu?

Misalkan

θ ∼ Beta(α, β)

(36)

Prosedur Bayesian

Mengenal lebih dekat lagi

Misalkan X1, X2, . . . , Xn iid

∼ Bernoulli (θ). Maka, MLE untuk θ adalah b

θ = · · · .

Namun, estimator apa yang cocok jika parameter θ juga berdistribusi terten-tu? Misalkan

θ ∼ Beta(α, β)

(37)

Prosedur Bayesian

Secara umum dapat ditulis sebagai berikut: X|θ ∼ f (x|θ)

Θ ∼ h(θ).

Misalkan θ adalah nilai yang mungkin dari peubah acak Θ. Maka fungsi peluang h(θ) disebut fungsi peluang prior dari Θ.

Misalkan X1, X2. . . , Xnadalah sampel acak dari distribusi X diberikan

(ber-syarat) Θ = θ dengan fungsi peluang f (x|θ). Fungsi peluang bersama untuk

X = (X2, X2, . . . , Xn) diberikan Θ = θ dapat ditulis menjadi

L(x|θ) = f (x1|θ)f (x2|θ) · · · f (xn|θ).

Maka fungsi peluang bersama dari X dan Θ adalah g(x, θ) = L(x|θ)h(θ).

(38)

Prosedur Bayesian

Secara umum dapat ditulis sebagai berikut: X|θ ∼ f (x|θ)

Θ ∼ h(θ).

Misalkan θ adalah nilai yang mungkin dari peubah acak Θ. Maka fungsi peluang h(θ) disebut fungsi peluang prior dari Θ.

Misalkan X1, X2. . . , Xnadalah sampel acak dari distribusi X diberikan

(ber-syarat) Θ = θ dengan fungsi peluang f (x|θ). Fungsi peluang bersama untuk

X = (X2, X2, . . . , Xn) diberikan Θ = θ dapat ditulis menjadi

L(x|θ) = f (x1|θ)f (x2|θ) · · · f (xn|θ).

Maka fungsi peluang bersama dari X dan Θ adalah g(x, θ) = L(x|θ)h(θ).

(39)

Prosedur Bayesian

Jika Θ adalah peubah acak kontinu, maka fungsi peluang bersama dari X adalah

g1(x) =

Z ∞

−∞

g(x, θ)dθ. (6)

Fungsi peluang bersyarat dari Θ diberikan X adalah

k(θ|x) = g(x, θ)

g1(x)

=L(x|θ)h(θ)

g1(x)

. Fungsi k(θ|x) disebut fungsi peluang posterior.

Distribusi prior mengambarkan keyakinan subjektif dari Θ sebelum sampel digunakan, sementara distribusi posterior adalah distribusi bersyarat dari Θ setelah sampel digunakan.

(40)

Prosedur Bayesian

k(θ|x) = L(x|θ)h(θ)

g1(x)

k(θ|x) ∝ L(x|θ)h(θ).

Seandainya terdapat statistik cukup Y = u(X) untuk parameter sedemikian sehingga L(x|θ) = g[u(X)|θ]H(x), maka

k(θ|x) ∝g[u(X)|θ]h(θ).

Selanjutnya jika statistik cukup Y ada, maka

k(θ|y) ∝ g[y|θ]h(θ). (7)

Dalam kasus statistik cukup Y, fungsi g1(y) dapat digunakan untuk

menyata-kan fungsi peluang marginal dari Y:

g1(y) =

Z ∞

−∞

(41)

Prosedur Bayesian

k(θ|x) = L(x|θ)h(θ)

g1(x)

k(θ|x) ∝ L(x|θ)h(θ).

Seandainya terdapat statistik cukup Y = u(X) untuk parameter sedemikian sehingga L(x|θ) = g[u(X)|θ]H(x), maka

k(θ|x) ∝g[u(X)|θ]h(θ). Selanjutnya jika statistik cukup Y ada, maka

k(θ|y) ∝ g[y|θ]h(θ). (7)

Dalam kasus statistik cukup Y, fungsi g1(y) dapat digunakan untuk

menyata-kan fungsi peluang marginal dari Y:

g1(y) =

Z ∞

−∞

(42)

Prosedur Bayesian

Latihan Soal

1. Misalkan X|θ ∼ Binomial (20, θ). Peluang prior untuk Θ adalah

P(θ = 0, 3) = 2/3 dan P(θ = 0, 5) = 1/3. Jika x = 9, tentukan peluang posterior untuk θ = 0, 3 dan θ = 0, 5!

(43)

Prosedur Bayesian

Latihan Soal

2. Misalkan X1, X2, . . . , Xn|λ iid

∼ Poisson(λ), dengan Λ ∼ Gamma(α, β).

a. Tentukan distribusi posterior dari Λ b. Hitung mean dan variansi dari posterior.

(44)

Prosedur Bayesian

Latihan Soal

Jawab: Perhatikan bahwa Y = n P i=1 Xi|λ ∼ Poisson(nλ).

a. Fungsi peluang massa marginal Y adalah

g1(y) = Z ∞ 0 (nλ)y_e−nλ y! 1 Γ(α)βαλ α−1_e−λ/β_dλ = n y y!Γ(α)βα Z ∞ 0 λ(y+α)−1e−β/(nβ+1)λ _dλ = n y y!Γ(α)βαΓ(y + α) _β nβ + 1 y+α .

(45)

Prosedur Bayesian

Latihan Soal

Sehingga k(λ|y) = L(y|λ)h(λ) g1(y) = λ (y+α)−1_e− λ β/(nβ+1) Γ(y + α)_nβ+1β y+α ∼ Gamma y+ α, β nβ + 1 .

(46)

Prosedur Bayesian

Latihan Soal

b. Karena λ|y ∼ Gamma (y + α,_nβ+1β ) maka

E(λ|y) = (y + α) β nβ + 1 = β nβ + 1y+ 1 nβ + 1(αβ) Var(λ|y) = (y + α) β 2 (nβ + 1)2.

(47)

Konsep Dasar Bayesian Prosedur Bayesian

Fungsi Keputusan dan Fungsi Kerugian

Prior Konjugat dan Prior Non-Informatif Gibbs Sampler Metode Bayesian Modern Bayes Empirik

Fungsi Keputusan dan Fungsi Kerugian

Misalkan δ adalah sejumlah fungsi untuk memilih sedemikian sehingga δ(x) adalah nilai θ yang diprediksi (nilai eksperimental dari peubah acak Θ), ketika nilai x yang dihitung dan pdf bersyarat k(θ|x) diketahui.

(48)

Misalkan Θ adalah peubah acak kontinu, maka suatu estimator Bayes adalah fungsi keputusan δ yang meminimalkan

E{L[Θ, δ(x)]|X = x} =

Z ∞

−∞

L[θ, δ(x)]k(θ|x)dθ, dengan L adalah fungsi kerugian. Artinya,

δ(x) = arg min

Z ∞

−∞

(49)

Peubah acak terkait δ(X) disebut estimator Bayes dari θ. Ada dua fungsi

kerugian yang biasa digunakan, yaitu [θ − δ(x)]2_{dan |θ − δ(x)|.}

Jika fungsi kerugian dinyatakan dengan L[θ, δ(x)] = [θ − δ(x)]2_{, maka}

esti-masi Bayesnya adalah δ(x) = E(Θ|x). Perhatikan bahwa E[(W − b)2_{] (jika}

ada) menjadi minimum ketika b = E(W).

Jika fungsi kerugian dinyatakan sebagai L[θ, δ(x)] = |θ −δ(x)|, maka median dari distribusi Θ bersyarat X = x menjadi solusi Bayes.

Namun jika L[θ, δ(x)] = a(ˆθ − θ)−+ b(ˆθ − θ)+_{, maka estimator Bayesnya}

adalah kuantil ke a

(50)

adalah kuantil ke a

(51)

adalah kuantil ke a

(52)

(53)

Untuk fungsi kerugian L, estimator Bayes dari l(θ) adalah fungsi keputusan δ yang meminimumkan

E{L[l(Θ), δ(x)]|X = x} =

Z ∞

−∞

L[l(θ), δ(x)]k(θ|x)dθ.

Ekspektasi bersyarat dari fungsi kerugian diberikan X = x dinotasikan seba-gai Z ∞ −∞ Z ∞ −∞ L[θ, δ(x)]k(θ|x)dθ g1(x)dx = Z ∞ −∞ Z ∞ −∞ L[θ, δ(x)]L(x|θ)dx h(θ)dθ.

(54)

Contoh Soal

Pandang model distribusi berikut: Xi|θ

iid

∼ Binomial(1, θ), untuk i = 1, 2, . . . , n

Θ ∼ Beta(α, β),

dengan α dan β diketahui. Maka pdf priornya

h(θ) =

( _Γ(α+β)

Γ(α)Γ(β)θ

α−1_{(1 − θ)}β−1_; _{0 < θ < 1}

0; lainnya,

dengan α dan β konstanta positif.

Ingat, estimator untuk distribusi prior ini

adalah bθ = α/(α + β). Selanjutnya dicari fungsi keputusan δ yang menjadi

(55)

Contoh Soal

Pandang model distribusi berikut: Xi|θ

iid

Θ ∼ Beta(α, β),

dengan α dan β diketahui. Maka pdf priornya

h(θ) =

( _Γ(α+β)

Γ(α)Γ(β)θ

α−1_{(1 − θ)}β−1_; _{0 < θ < 1}

0; lainnya,

dengan α dan β konstanta positif. Ingat, estimator untuk distribusi prior ini

adalah bθ = α/(α + β). Selanjutnya dicari fungsi keputusan δ yang menjadi

(56)

Perhatikan bahwa statistik cukupnya adalah Y =

n

P

i=1

Xi|θ yang berdistribusi

Binomial(n, θ). Fungsi peluang bersyarat Y diberikan Θ = θ adalah g(y|θ) =

n

yθ

y_{(1 − θ)}n−y_; _y_{= 0, 1, . . . , n}

(57)

Berdasarkan hukum Bayes (jika statistik cukup Y ada): k(θ|y) ∝ g[y|θ]h(θ), maka k(θ|y) ∝ θy(1 − θ)n−yθα−1(1 − θ)β−1, 0 < θ < 1. Sehingga k(θ|y) = Γ(n + α + β) Γ(α + y)Γ(n + β − y)θ α+y−1_{(1 − θ)}β+n−y−1_{, 0 < θ < 1,} dengan y = 0, 1, . . . , n.

Oleh karena itu, distribusi untuk posterior adalah Beta(α + y, β + n − y). Selanjutnya, pilih fungsi kerugian error kuadrat,

L[θ, δ(y)] = [θ − δ(y)]2_{. Maka estimator Bayes dari θ adalah mean dari pdf}

Beta,

δ(y) = α + y

(58)

Berdasarkan hukum Bayes (jika statistik cukup Y ada): k(θ|y) ∝ g[y|θ]h(θ), maka k(θ|y) ∝ θy(1 − θ)n−yθα−1(1 − θ)β−1, 0 < θ < 1. Sehingga k(θ|y) = Γ(n + α + β) Γ(α + y)Γ(n + β − y)θ α+y−1_{(1 − θ)}β+n−y−1_{, 0 < θ < 1,}

dengan y = 0, 1, . . . , n. Oleh karena itu, distribusi untuk posterior adalah Beta(α + y, β + n − y). Selanjutnya, pilih fungsi kerugian error kuadrat,

L[θ, δ(y)] = [θ − δ(y)]2_{. Maka estimator Bayes dari θ adalah mean dari pdf}

Beta,

δ(y) = α + y

(59)

Estimator Bayes tersebut dapat ditulis menjadi δ(y) = n α + β + n y n+ _{α + β} α + β + n _α α + β,

yang merupakan rata-rata terboboti dari maksimum likelihood yang menges-timasi parameter distribusi Binomial dan estimator prior yang berdistribusi Beta. Untuk n yang besar maka estimator Bayes mendekati nilai MLE θ, sehingga δ(Y) merupakan estimator yang konsisten.

Perhatikan bahwa α dan β seharusnya dipilih sedemikian sehingga tidak ha-nya mean prior α/(α + β) yang diinginkan, tetapi juga penjumlahan α + β mengindikasikan nilai opini prior tergantung pada ukuran sampel n. Misal-kan opini prior bahwa ukuran sampelnya 20, maka α + β = 20. Jadi, jika

(60)

Estimator Bayes tersebut dapat ditulis menjadi δ(y) = n α + β + n y n+ _{α + β} α + β + n _α α + β,

yang merupakan rata-rata terboboti dari maksimum likelihood yang menges-timasi parameter distribusi Binomial dan estimator prior yang berdistribusi Beta. Untuk n yang besar maka estimator Bayes mendekati nilai MLE θ, sehingga δ(Y) merupakan estimator yang konsisten.

Perhatikan bahwa α dan β seharusnya dipilih sedemikian sehingga tidak ha-nya mean prior α/(α + β) yang diinginkan, tetapi juga penjumlahan α + β mengindikasikan nilai opini prior tergantung pada ukuran sampel n. Misal-kan opini prior bahwa ukuran sampelnya 20, maka α + β = 20. Jadi, jika

(61)

Contoh Soal

Pandang model berikut: Xi|θ

iid

∼ N(θ, σ2_{), (σ}2_diketahui)

Θ ∼ N(θ0, σ02), (θ0dan σ20diketahui).

a. Tentukan distribusi posterior dari Θ

(62)

Misalkan Y = ¯Xadalah statistik cukup, maka

Y|θ ∼ N(θ, σ2 /n), (σ2diketahui) Θ ∼ N(θ0, σ20), (θ0dan σ20diketahui). Lalu k(θ|y) ∝ g[y|θ]h(θ) ∝√ 1 2πσ/√n 1 √ 2πσ0 exp −(y − θ) 2 2(σ2_/n) − (θ − θ0)2 2σ0 ∝ exp      − θ −yσ 2 0+ θ0(σ2/n) σ2 0+ (σ2/n) 2 2(σ2/n)σ₀2 [σ2 0+ (σ2/n)]      .

(63)

TUGAS 1

Misalkan X1, X2, . . . , Xn|λ iid

a. Tentukan distribusi posterior dari Λ

(64)

Konsep Dasar Bayesian Prosedur Bayesian Fungsi Keputusan dan Fungsi Kerugian

Prior Konjugat dan Prior Non-Informatif

Gibbs Sampler Metode Bayesian Modern Bayes Empirik

Prior Konjugat Prior Non-Informatif

Fungsi Peluang Bersama (Marginal)

Misalkan X0= (X1, X2, . . . , Xn) menyatakan sampel acak dengan fungsi

like-lihood L(x|θ) dan peluang prior h(θ). Maka, fungsi peluang bersama dari X adalah

g1(x)=

Z ∞

−∞

L(x|θ)h(θ)dθ,

yang dikenal juga sebagai distribusi prediktif dari X, karena mengandung

(65)

Prior Konjugat

Prior Non-Informatif

Definisi Keluarga Distribusi Konjugat

Definisi

Distribusi prior dan posterior disebut distribusi konjugat jika fungsi peluang posterior memiliki keluarga distribusi yang sama dengan prior. Lalu priornya disebut prior konjugat.

(66)

Prior Konjugat

Contoh Keluarga Distribusi Konjugat

1. Misalkan X1, X2, . . . , Xn|λ iid

Selanjutnya Y =Pn

i=1Xi|λ ∼ Poisson(nλ). Sehingga diperoleh

k(λ|y) ∼ Gamma y+ α, β nβ + 1 .

(67)

Prior Konjugat

Contoh Keluarga Distribusi Konjugat

2. Pandang model berikut:

Xi|θ iid ∼ N(θ, σ2 ), (σ2diketahui) Θ ∼ N(θ0, σ02), (θ0dan σ20diketahui). Maka Y = ¯X|θ ∼ N(θ, σ2 /n), (σ2diketahui)

(68)

Prior Konjugat

Contoh Keluarga Distribusi Konjugat

3. Pandang model distribusi berikut:

Xi|θ iid

Θ ∼ Beta(α, β), dengan α dan β diketahui.

Lalu Y = n P i=1 Xi|θ ∼ Binomial(n, θ). Sehingga k(θ|y) ∼ Beta (α + y, β + n − y) .

(69)

Prior Konjugat

Secara intuisi, bahwa prior konjugat (secara transparan) menunjukkan bagai-mana fungsi likelihood memperbaharui distribusi prior.

(70)

Prior Konjugat

Prior Non-Informatif

Pandang kembali model distribusi berikut: Xi|θ

iid

Thomas Bayes (1763) mencoba nilai α = β = 1, maka diperoleh h(θ) = 1 untuk 0 < θ < 1. Artinya beliau mengatakan bahwa tidak punya banyak pengetahuan tentang θ. Lalu diperoleh

δ(y) = _n α + β + n y n+ _{α + β} α + β + n _α α + β = n 2 + n y n + 2 2 + n 1 2.

Sehingga terjadi penyusutan karena estimator y/n ditarik ke arah rata-rata prior 1/2.

(71)

Prior Konjugat

Prior Non-Informatif

iid

Thomas Bayes (1763) mencoba nilai α = β = 1, maka diperoleh h(θ) = 1 untuk 0 < θ < 1. Artinya beliau mengatakan bahwa tidak punya banyak pengetahuan tentang θ. Lalu diperoleh δ(y) = _n α + β + n y n+ _{α + β} α + β + n _α α + β = n 2 + n y n + 2 2 + n 1 2.

(72)

Prior Konjugat

Prior Non-Informatif

iid

Thomas Bayes (1763) mencoba nilai α = β = 1, maka diperoleh h(θ) = 1 untuk 0 < θ < 1. Artinya beliau mengatakan bahwa tidak punya banyak pengetahuan tentang θ. Lalu diperoleh

δ(y) = _n α + β + n y n+ _{α + β} α + β + n _α α + β = n 2 + n y n + 2 2 + n 1 2.

(73)

Prior Konjugat

Lalu Haldane (1948) mencoba prior Beta jika α = β = 0, maka penyu-sutan estimator akan berkurang ke MLE y/n. Dan tentu saja fungsi peluang Beta(0,0) bukanlah suatu fungsi peluang.

Kemudian diambillah

h(θ) ∝ 1

θ(1 − θ), 0 < θ < 1.

Ketika prior digunakan, lalu dikombinasikan dengan likelihood diperoleh fung-si peluang posterior yang proper. Sehingga dipadukan dengan konstanta po-sitif, menghasilkan fungsi peluang posterior berikut.

f(θ|y) ∝ θy−1(1 − θ)n−y−1, n > y > 0.

(74)

Prior Konjugat

Lalu Haldane (1948) mencoba prior Beta jika α = β = 0, maka penyu-sutan estimator akan berkurang ke MLE y/n. Dan tentu saja fungsi peluang Beta(0,0) bukanlah suatu fungsi peluang. Kemudian diambillah

h(θ) ∝ 1

θ(1 − θ), 0 < θ < 1.

Ketika prior digunakan, lalu dikombinasikan dengan likelihood diperoleh fung-si peluang posterior yang proper. Sehingga dipadukan dengan konstanta po-sitif, menghasilkan fungsi peluang posterior berikut.

f(θ|y) ∝ θy−1(1 − θ)n−y−1, n > y > 0.

(75)

Prior Konjugat

Definisi Improper

Definisi

Misalkan X0 = (X1, X2, . . . , Xn) sampel acak dari suatu distribusi dengan

fungsi peluang f (x|θ). Suatu prior h(θ) ≥ 0 dikatakan improper jika bukan suatu fungsi peluang, namun membuat k(θ|x) ∝ L(x|θ)h(θ) proper.

(76)

Prior Konjugat

Prior Non-Informatif

Suatu prior dapat dikatakan prior non-informatif jika θ memiliki kesempat-an ykesempat-ang sama (secara uniform) untuk semua kemungkinkesempat-an. Praktisnya, prior

(77)

Prior Konjugat

Misalkan distribusi N(θ1, θ2) dengan θ1, θ2 > 0 tidak diketahui.

Lalu prior

informatif untuk θ1adalah

h1(θ1) = 1, −∞ < θ1< ∞.

Jelas ini bukan fungsi peluang. Kemudian prior improper untuk θ2adalah

h2(θ2) = c2/θ2, 0 < θ2< ∞.

Dalam hal ini, −∞ < log θ2 < ∞.

Selanjutnya jika diasumsikan bahwa kedua parameter tersebut saling bebas, maka prior bersama juga improper:

(78)

Prior Konjugat

Misalkan distribusi N(θ1, θ2) dengan θ1, θ2 > 0 tidak diketahui. Lalu prior

h1(θ1) = 1, −∞ < θ1< ∞.

h2(θ2) = c2/θ2, 0 < θ2< ∞.

(79)

Prior Konjugat

Misalkan distribusi N(θ1, θ2) dengan θ1, θ2 > 0 tidak diketahui. Lalu prior

h1(θ1) = 1, −∞ < θ1< ∞.

h2(θ2) = c2/θ2, 0 < θ2< ∞.

(80)

Gibbs Sampler Metode Bayesian Modern Bayes Empirik Prior Konjugat Prior Non-Informatif

TUGAS 2

1. Tunjukkan bahwa X1, X2, . . . , Xn|θ iid ∼ Eksponensial(θ)

Θ ∼ Gamma(α, β), (α dan β diketahui), adalah keluarga distribusi konjugat!

(81)

Prior Konjugat

TUGAS 2

2. Tentukan distribusi posterior, jika diketahui model Bayesian berikut.

X1, X2, . . . , Xn|θ iid

∼ Bernoulli(θ), 0 < θ < 1 Θ ∼ h(θ) = 1.

(82)

Prior Konjugat

INFO TUGAS

Kumpulkan TUGAS 1 dan TUGAS 2, paling lambat tanggal 27 November 2017 jam 09.10.

(83)

Konsep Dasar Bayesian Prosedur Bayesian Fungsi Keputusan dan Fungsi Kerugian Prior Konjugat dan Prior Non-Informatif

Gibbs Sampler

Metode Bayesian Modern Bayes Empirik

Pendahuluan Gibbs Sampler

Integrasi menggunakan Monte Carlo

Misalkan ingin menghitung

1

R

0

x dx. Dalam hal ini, yang dihitung adalah luas dibawa kurva y = x ketika dibatasi x = 0 dan x = 1.

Sintaks Octave

% integrasi Monte Carlo clc; clear all; N=10000; x1=0; x2=1;

y1=0; y2=1;

x=unifrnd(x1,x2,N,1); y=unifrnd(y1,y2,N,1);

(84)

Gibbs Sampler

Sintaks Octave (Lanjutan)

for i=1:N

if y(i)<x(i) hitung di bawah kurva(i)=1; endif;

endfor;

peluang luas=sum(hitung di bawah kurva)/N; luas di bawah kurva=peluang luas*(x2-x1)*(y2-y1); luas di bawah kurva

(85)

Gibbs Sampler

Metode Bayesian Modern Bayes Empirik Pendahuluan Gibbs Sampler

Contoh ke 2:

2

R

−2

x

2

dx

Sintaks Octave

% integrasi Monte Carlo (2) close all; clc; clear all; N=10000; x1=-2; x2=2;

y1=0; y2=max(x1ˆ2,x2ˆ2); x=unifrnd(x1,x2,N,1); y=unifrnd(y1,y2,N,1);

hitung di bawah kurva=zeros(N,1); for i=1:N

if y(i)<x(i)*x(i) hitung di bawah kurva(i)=1; endif;

(86)

Gibbs Sampler

Sintaks Octave (Lanjutan)

peluang luas=sum(hitung di bawah kurva)/N; luas di bawah kurva=peluang luas*(x2-x1)*(y2-y1); luas di bawah kurva

xxx=x1:0.01:x2; yyy=xxx.ˆ2;

plot(x,y,’b.’,xxx,yyy,’r-’,’linewidth’,2);

title(’Integrasi Monte Carlo pada kurva y=xˆ2’); xlabel(’x’); ylabel(’y’);

(87)

Gibbs Sampler

(88)

Gibbs Sampler

Tabel:Simulasi Integrasi Menggunakan Teknik Monte Carlo

N b R a f(x)dx 100 1000 10000 100000 f(x) = x 0,4700 0,4890 0,5074 0,4982 1/2 f(x) = x2 _4,4800 _5,4240 _5,2976 _5,3794 _16/3 Ket: a= 0, b = 1 a= −2, b = 2.

(89)

Gibbs Sampler

Integrasi Monte Carlo

Misalkan g adalah fungsi tertutup dan terbatas pada interval [a, b]. Maka

b Z a g(x)dx = (b − a) b Z a g(x) 1 b− adx= (b − a)E[g(x)],

dengan X ∼ U(a, b). Selanjutnya menggunakan teknik Monte Carlo:

1 bangkitkan sampel acak X₁, X₂, . . . , X_ndari U(a, b)

2 _{hitung Y}_i_{= (b − a)g(X}_i_{) untuk i = 1, 2, . . . , n}

3 hitung ¯Y yang merupakan estimator tak bias dari

b

R

a

(90)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Model Bayesian

Teknik integrasi memainkan peranan penting dalam inferensi Bayesian. Tek-nik Monte Carlo dapat digunakan untuk integrasi dalam inferensi Bayesian.

(91)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Misalkan sampel acak berasal dari distribusi N(θ, σ2), dengan parameter σ2

diketahui. Misalkan juga Y = ¯Xadalah suatu statistik cukup. Lalu pandang

model Bayes berikut:

Y|θ ∼ N(θ, σ2_/n)

Θ ∼ h(θ) ∝1

b

exp{−(θ−a)_b }

(1 + exp{−(θ−a)_b })2, −∞ < θ < ∞,

(92)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Karena prior Θ berdistribusi Logistik, maka fungsi peluang posteriornya yaitu

k(θ|y) = 1 √ 2πσ/√nexp n −1 2 (y−θ)2 σ2_/n o b−1e−(θ−a)/b/(1 + e−[(θ−a)/b])2 ∞ R −∞ 1 √ 2πσ/√nexp n −1 2 (y−θ)2 σ2_/n o b−1e−(θ−a)/b/(1 + e−[(θ−a)/b]₎2_dθ .

Selanjutnya dengan asumsi kerugian error kuadrat, maka estimator Bayes adalah mean dari distribusi posterior.

Namun perhitungannya melibatkan dua integral, yangtidak dapat

(93)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Solusinya? Teknik Integrasi Monte Carlo?

Karena fungsi likelihood f (y|θ) juga merupakan fungsi dari θ maka dapat dimisalkan bahwa w(θ) = f (y|θ) = √ 1 2πσ/√nexp −1 2 (y − θ)2 σ2_/n .

Sehingga diperoleh estimator Bayes

δ(y) = R∞ −∞θw(θ)b−1e−(θ−a)/b/(1 + e−[(θ−a)/b]) 2_dθ R∞ −∞w(θ)b−1e−(θ−a)/b/(1 + e−[(θ−a)/b])2dθ = E[Θw(Θ)] E[w(Θ)] .

(94)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Langkah selanjutnya adalah mengestimasi menggunakan Monte Carlo. Hal

ini dilakukan dengan cara membangkitkan Θ1, Θ2, . . ., Θm dari distribusi

Logistik yang berfungsi peluang h(θ).

Lalu gunakan metode transformasi invers. Adapun invers dari fungsi kumu-latif Logistik, yaitu:

a+ b log

_u

1 − u

, 0 < u < 1.

Kemudian dibentuk peubah acak baru,

Tm= m−1 m P i=1 Θiw(Θi) m−1 m P i=1 w(Θi) .

(95)

Gibbs Sampler

Metode Bayesian Modern Bayes Empirik Pendahuluan Gibbs Sampler δ(y) = E[Θw(Θ)] E[w(Θ)] , Tm= 1 m m P i=1 Θiw(Θi) 1 m m P i=1 w(Θi)

Dengan hukum lemah dari bilangan besar dan Teorema Slutsky, bahwa

Tm

P

→ δ(y).

Dengan menggunakan bootstrap, maka dapat diperoleh interval kepercayaan untuk E[Θw(Θ)]/E[w(Θ)].

(96)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Teorema

Misalkan dibangkitkan peubah acak dengan mengikuti algoritma berikut:

1. bangkitkan Y ∼ fY(y)

2. bangkitkan X ∼ fX|Y(x|Y).

Maka X memiliki fungsi peluang, yaitu fX(x).

Bukti: Untuk menghindari kesalahpahaman, misalkan T adalah peubah acak yang dibangkitkan oleh algoritma tersebut. Maka akan dibuktikan bahwa T

(97)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Teorema

Misalkan dibangkitkan peubah acak dengan mengikuti algoritma berikut:

1. bangkitkan Y ∼ fY(y)

2. bangkitkan X ∼ fX|Y(x|Y).

Maka X memiliki fungsi peluang, yaitu fX(x).

Bukti: Untuk menghindari kesalahpahaman, misalkan T adalah peubah acak yang dibangkitkan oleh algoritma tersebut. Maka akan dibuktikan bahwa T

(98)

Gibbs Sampler

Metode Bayesian Modern Bayes Empirik Pendahuluan Gibbs Sampler Bukti Teorema ∀t ∈ R, P(T ≤ t) = E[F_X|Y(t)] = ∞ Z −∞   t Z −∞ fX|Y(x|y)dx  fY(y)dy = t Z −∞   ∞ Z −∞

fX|Y(x|y)fY(y)dy

 dx = t Z −∞   ∞ Z −∞ fX,Y(x, y)dy  dx = t Z −∞ fX(x)dx.

(99)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Ketika ingin menentukan nilai E[W(X)] untuk beberapa fungsi W(x),

di-mana E[W2_{(X)] < ∞. Maka dapat dibangkitkan pasangan secara bebas}

(Y1, X1), (Y2, X2), . . ., (Ym, Xm), dengan Yiberasal dari fY(y) dan Xiberasal

dari fX|Y(x|Y).

Lalu dengan menggunakan hukum lemah dari bilangan besar,

¯ W = 1 m m X i=1 W(Xi) P → ∞ Z −∞ W(x)fX(x)dx = E[W(X)].

(100)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Dengan Teorema Limit Pusat, √

m( ¯W− E[W(X)])→ N(0, σD 2

W), dimana σ

2

W = Var(W(X)),

atau diperoleh interval kepercayaan untuk E[W(x)] yaitu ¯ w± z_α/2√sW m, dimana s2_W= (m − 1)−1 m P i=1 (wi− ¯w)2.

(101)

Gibbs Sampler

Soal Latihan

Diketahui: fX(x) = 2e−x(1 − e−x), 0 < x < ∞

0, untuk x yang lainnya

fY(y) =

2e−2y, 0 < y < ∞

0, untuk y yang lainnya

fX|Y(x|y) =

e−(x−y), y< x < ∞

0, untuk kondisi lainnya

Misalkan cara membangkitkan peubah acaknya, mengikuti algoritma:

1. Bangkitkan Y ∼ fY(y)

2. Bangkitkan X ∼ fX|Y(x|Y)

F−1_Y (u) = · · · F−1_X|Y(u) = · · ·

(102)

Gibbs Sampler

Soal Latihan

fY(y) =

2e−2y, 0 < y < ∞

fX|Y(x|y) =

e−(x−y), y< x < ∞

F−1_Y (u) = · · · F−1_X|Y(u) = · · ·

(103)

Gibbs Sampler

Soal Latihan

fY(y) =

2e−2y, 0 < y < ∞

fX|Y(x|y) =

e−(x−y), y< x < ∞

F−1_Y (u) = · · · F−1_X|Y(u) = · · ·

(104)

Gibbs Sampler

Metode Bayesian Modern Bayes Empirik Pendahuluan Gibbs Sampler FY(t) = Z t 0 fY(y)dy = · · · FX|Y(t) = Z t y fX|Y(x|y)dx = · · · F_Y−1(u) = · · · F_X|Y−1(u) = · · · .

(105)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Algoritma sebelumnyalah yang memotivasi untuk menggunakan algoritma lainnya yang disebut Gibbs Sampler.

Misalkanpasangan peubah acak(X, Y) memiliki fungsi peluang bersama

f(x, y).Tujuannya adalah membangkitkan peubah-peubah acakyang iid,

(106)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Algoritma Gibbs Sampler

Misalkan m dan X0 masing-masing menyatakan bilangan bulat positif dan

nilai inisial (yang diberikan). Maka untuk i = 1, 2, . . . , m,

1. Bangkitkan Yi|Xi−1∼ f (y|x)

(107)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Algoritma Gibbs Sampler (Lanjutan)

Maka untuk i → ∞ Yi D →Y ∼ fY(y) Xi D →X ∼ fX(x) dan untuk m → ∞ 1 m m X i=1 W(Xi) P → E[W(X)].

(108)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Perhatikan bahwa untuk menghitung pasangan (Xk+1, Yk+1) hanya

memer-lukan pasangan (Xk, Yk), tanpa pasangan-pasangan dari 1 sampai ke k − 1.

(109)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Soal Latihan

Misalkan (X, Y) memiliki fungsi peluang yang merupakan campuran dari diskrit dan kontinu berikut

f(x, y) = 1 Γ(α) 1 x!y α+x−1_e−2y_, _{α > 0; y > 0; x = 0, 1, 2, . . .} 0, kondisi lainnya. Maka f(y|x) ∝ · · · f(x|y) ∝ · · ·

(110)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Maka algoritma Gibbs Samplernya adalah, untuk i = 1, 2, . . . , m,

1. Bangkitkan Yi|Xi−1∼ Γ(α + Xi−1, 2)

2. Bangkitkan Xi|Yi∼ Poi(Yi).

Sehingga dengan membesarnya nilai m dan n > m, ¯ Y = 1 n− m n X i=m+1 Yi P → E(Y) ¯ X= 1 n− m n X i=m+1 Xi P → E(X).

(111)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Dalam hal ini, dapat dibuktikan bahwa

Y ∼ Γ(α, 1)

X∼ Binomial Negatif(α, 1/2).

Dapat dibuktikan juga nilai ekspektasi untuk X dan Y adalah E(Y) = E(X) = α.

(112)

Gibbs Sampler

Metode Bayesian Modern Bayes Empirik Pendahuluan Gibbs Sampler Sintaks R gibbser2 = function(alpha,m,n){ x0 = 1 yc = rep(0,m+n) xc = c(x0,rep(0,m+n-1)) for(i in 2:(m+n)){ yc[i] = rgamma(1,alpha+xc[i-1],2) xc[i] = rpois(1,yc[i]) } y1=yc[1:m] y2=yc[(m+1):(m+n)] x1=xc[1:m] x2=xc[(m+1):(m+n)] list(y1 = y1,y2=y2,x1=x1,x2=x2) }

(113)

Gibbs Sampler

Metode Bayesian Modern Bayes Empirik Pendahuluan Gibbs Sampler Sintaks R (Lanjutan) library(stats) n<-10000; alpha<-8; coba simulasi<-gibbser2(alpha,5000,n); y topi<-mean(coba simulasi$y2) x topi<-mean(coba simulasi$x2) sigma2 y<-var(coba simulasi$y2) sigma2 x<-var(coba simulasi$x2)

ba y<-mean(coba simulasi$y2)+1.64*sd(coba simulasi$y2)/sqrt(n) bb y<-mean(coba simulasi$y2)-1.64*sd(coba simulasi$y2)/sqrt(n) ba x<-mean(coba simulasi$x2)+1.64*sd(coba simulasi$x2)/sqrt(n) bb x<-mean(coba simulasi$x2)-1.64*sd(coba simulasi$x2)/sqrt(n) dibuat tabel y<-data.frame(alpha,y topi,sigma2 y,bb y,ba y) dibuat tabel x<-data.frame(alpha,x topi,sigma2 x,bb x,ba x)

(114)

Gibbs Sampler

Pendahuluan

Gibbs Sampler

Tabel:Interval Kepercayaan 99% untuk Peubah Acak X dan Y

Parameter Estimasi sampel Variansi sampel Interval kepercayaan

E(Y) = α = 8 ¯y= 7.908535 s2(y) = 7.693978 (7.854168, 7.962901) E(X) = α = 8 ¯x= 7.8694 s2(x) = 15.86193 (7.791339, 7.947461) E(Y) = α = 10 ¯y= 9.990611 s2_{(y) = 9.735782} _{(9.929455, 10.05177)} E(X) = α = 10 ¯x= 10.0196 s2_{(x) = 19.58697} _{(9.932856, 10.10634)} E(Y) = α = 30 ¯y= 30.06515 s2(y) = 30.20128 (29.95743, 30.17286) E(X) = α = 30 ¯x= 30.0674 s2(x) = 58.79374 (29.91711, 30.21769)

(115)

Gibbs Sampler

Pendahuluan

Gibbs Sampler