Lecture 4: Rantai Markov Diskrit (Bag. II)

(1)

Pengantar Proses Stokastik

Bab 3: Rantai Markov Diskrit

Atina Ahdika, S.Si, M.Si

Statistika FMIPA Universitas Islam Indonesia

(2)

Rantai Markov

Misalkan sebuah proses stokastik{Xt} dengant= 0,1,2, . . ..

Nilai yang mungkin dari Xt adalah hingga atau terhitung

Memiliki peluang transisi atau peluang berpindahnya keadaan ”i” (pada waktut) ke keadaan ”j” (pada waktut+ 1) adalah

Pij yaitu

P(Xt+1=j|Xt =i,Xt−1 =it−1, . . . ,X1 =i1,X0 =i0) =Pij

Distribusi bersyarat Xt+1 diberikan keadaan-keadaan lampau

X0,X1, . . . ,Xt−1 dan keadaan sekarangXt, hanya bergantung

pada keadaan sekarang (Sifat Markov)

(3)

Matriks Peluang Transisi

Pij adalah peluang bahwa proses akan berada di keadaanj dari

keadaani

Pij ≥0, i,j ≥0;

∞

X

j=0

Pij = 1, i = 0,1, . . .

Perhatikan

P(Xt+1 =j|Xt =i,Xt−1 =it−1, . . . ,X1 =i1,X0 =i0)

=P(Xt+1 =j|Xt =i)

(4)

(5)

(6)

Contoh 1

Jika hari ini hujan, peluang besok hujan adalahα. Jika hari ini tidak hujan, peluang besok hujan adalahβ.

Misal: ’0’ : hujan ’1’ : tidak hujan

Maka matriks peluang transisinya adalah

P =

α 1−α β 1−β

(7)

Contoh 2

Dalam suatu hari, Gary bisa ceria (C), biasa saja (B), atau murung (M). Jika hari ini ceria, maka dia akan C,B, atauM

besok dengan peluang masing-masing 0.5,0.4,0.1. Jika dia merasa

biasa saja hari ini, maka dia akanC,B, atauM besok dengan

peluang masing-masing 0.3,0.4,0.3. Jika dia merasa murung hari

ini, maka dia akanC,B, atau M besok dengan peluang

(8)

Misalkan keadaan 0 =C, keadaan 1 =B, dan keadaan 2 =M, maka matriks peluang transisinya adalah

P =





0.5 0.4 0.1 0.3 0.4 0.3 0.2 0.3 0.5



(9)

Contoh 3

Keadaan pada suatu hari:

Jika dua hari terakhir hujan, peluang besok hujan 0.7 Jika hari ini hujan dan kemarin tidak hujan, peluang besok hujan 0.5

Jika hari ini tidak hujan dan kemarin hujan, peluang besok hujan 0.4

(10)

(11)

Matriks Stokastik

Perhatikan matriks-matriks berikut:

(12)

Matriks-matriks tersebut memiliki sifat-sifat berikut: Memiliki jumlah baris dan kolom sama, atau matriks bujursangkar

Jumlah unsur-unsur di setiap baris adalah satu

Tidak selalu memiliki jumlah unsur-unsur di setiap kolom sama dengan satu

Nilai setiap unsurnya diantara nol dan satu

(13)

Contoh 4

Suatu rantai Markov dengan keadaan-keadaan ’0,1,2’ mempunyai

matriks peluang transisi

P =





0.1 0.2 0.7 0.9 0.1 0 0.1 0.8 0.1





danP(X0= 0) = 0.3,P(X0 = 1) = 0.4,P(X0 = 2) = 0.3. Hitung

(14)

Penyelesaian:

P(X0 = 0,X1= 1,X2= 2)

=P(X2 = 2|X1= 1,X0 = 0)P(X1 = 1,X0= 0)

=P(X2 = 2|X1= 1,X0 = 0)P(X1 = 1|X0 = 0)P(X0= 0)

=P(X2 = 2|X1= 1)P(X1 = 1|X0= 0)P(X0 = 0)

(15)

Contoh 5

Suatu rantai Markov dengan keadaan-keadaan ’0,1,2’

P =





0.7 0.2 0.1 0 0.6 0.4 0.5 0 0.5





(16)

Penyelesaian:

a.

P(X2= 1,X3= 1|X1 = 0)

=P(X3 = 1|X2 = 1)P(X2 = 1|X1 = 0)

= 0.6(0.2) = 0.12

b.

P(X1= 1,X2= 1|X0 = 0)

=P(X2 = 1|X1 = 1)P(X1 = 1|X0 = 0)

(17)

Contoh 6

Suatu matriks stokastik dengan keadaan-keadaan ’0,1,2’

(18)

Penyelesaian:

E(X2|X1 = 2) = 2

X

x2=0

x2P(X2 =x2|X1 = 2)

= 0 + (1)P(X2 = 1|X1= 2) + (2)P(X2 = 2|X1= 2)

(19)

Matriks Stokastik

n

-langkah

Pandang matriks stokastik satu-langkah:

P =

0.3 0.7 0.5 0.5

(20)

Ingat kembali matriks stokastik satu-langkah

Pij =P(Xt+1=j|Xt =i)

Kita dapat menentukan matriks stokastik dua-langkah yaitu

P_ij2 =P(Xt+2=j|Xt =i)

Dalam kasus ini

P2 =

P₀₀2 P₀₁2 P2

10 P112

(21)

Kita bisa menggunakanlaw of total probability yaitu

P₀₀2 =P(Xt+2= 0|Xt = 0)

=P(Xt+2= 0,Xt+1 = 0|Xt = 0) +P(Xt+2= 0,Xt+1 = 1|Xt = 0)

=P(Xt+2= 0|Xt+1= 0,Xt = 0)P(Xt+1= 0|Xt = 0)

+P(Xt+2= 0|Xt+1= 1,Xt = 0)P(Xt+1 = 1|Xt = 0)

=P(Xt+2= 0|Xt+1= 0)P(Xt+1 = 0|Xt = 0)

+P(Xt+2= 0|Xt+1= 1)P(Xt+1= 1|Xt = 0)

=P00P00+P10P01

(22)

Penyelesaian tersebut berlaku pula untukP2

01,P102 danP112 . Atau

sama saja dengan mengalikan dua matriksP yaitu

(23)

Jadi, untuk contoh di atas

P₀₀2 =P00P00+P01P10

= 0.3(0.3) + 0.7(0.5) = 0.44

atau, matriks stokastik dua-langkahnya adalah

(24)

Chapman-Komogorov Equations

MisalkanPn

ij menyatakan peluang bahwa proses pada keadaani

akan berada pada keadaanj setelah n-transisi,

(25)

Persamaan Chapman-Kolmogorov memberikan metode untuk

menghitung peluang transisin+m-langkah, yaitu

P_ijn+m=

∞

X

k=0

P_iknP_kjm untuk semuan,m≥0,semuai,j

Pn

ikPkjm menyatakan peluang bahwa proses bermula pada keadaani

akan berpindah ke keadaanj dalamn+m transisi melalui keadaan

(26)

(27)

Contoh 7

Misalkan pada Contoh 1 diketahuiα= 0.7 dan β = 0.4, maka

(28)

(29)

Contoh 8

(30)

P2 =

(31)

Peluang bahwa Kamis hujan adalah:

P00.00P00.00+P00.01P01.10=P 2

00.00+P 2 00.10

(32)

Peluang Transisi Tak Bersyarat

Peluang transisiPn

ij yang sudah kita hitung di atas merupakan

peluang bersyarat. Jika kita ingin menghitung peluang transisi tak bersyaratnya yaituP(Xn=j), maka kita bisa menggunakan law of

total probability yaitu

(33)

Sebagai contoh, berdasarkan Contoh 7, jikaα0= 0.4, α1 = 0.6,

maka peluang (tak bersyarat) bahwa akan hujan empat hari setelah kita mempunyai data perubahan cuaca adalah

P(X4= 0) =P(X4= 0|X0= 0)P(X0= 0) +P(X4= 0|X0= 1)P(X0= 1) =P4

00α0+P104 α1 = 0.4P4

00+ 0.6P104

(34)

Kebebasan dalam Matriks Stokastik

Misalkan

P =

0.4 0.6 0.4 0.6

Maka,

P(Xt = 0|Xt−1= 0) =P(Xt = 0|Xt−1 = 1)

= 0.4

Kemudian, denganlaw of total probability

P(Xt = 0) =P(Xt = 0|Xt−1 = 0)P(Xt−1 = 0)

(35)

Dengan kata lain

P(Xt = 0|Xt−₁ = 0) = 0.4 =P(X_t = 0)

(36)

Contoh-contoh Lain

1. Jika pada waktut, Vanes mengajukan klaim asuransi, maka

Vanes akan mengajukan klaim pada waktu t+ 1 dengan

peluang α; jika Vanes tidak mengajukan klaim asuransi saat

ini maka di masa depan Vanes akan mengajukan klaim

asuransi dengan peluang β. Matriks peluang transisinya

adalah

Keadaan:

’0’ : tidak mengajukan klaim ’1’ : mengajukan klaim

(37)

2. Percobaan-percobaan dilakukan secara berurutan. Jika dalam dua percobaan terakhir SUKSES, maka peluang GAGAL pada

percobaan berikut adalah 0.8. Dalam keadaan YANG LAIN,

(38)

(39)

3. Tim sepakbola IKS UII akan memainkan tujuh rangkaian pertandingan. Hasil setiap pertandingan saling bebas. Setiap

pertandingan akan dimenangkan oleh tim A dengan peluangα

dan oleh tim B dengan peluang 1−α. Misalkan keadaan

suatu sistem direpresentasikan oleh pasangan (a,b) di manaa

menyatakan banyak pertandingan yang dimenangkan oleh A

danb adalah banyak pertandingan yang dimenangkan B.

Bentuklah Rantai Markov untuk masalah tersebut.

Catatan: a+b≤7 dan rangkaian pertandingan akan berakhir

(40)

(41)

Latihan 1

1. Laila adalah mahasiswa tingkat akhir di Farmasi UII. Dia

tinggal tidak jauh dari kampus, cukup berjalan kaki saja dari tempat kos ke kampus dan sebaliknya. Akhir-akhir ini hujan datang hampir setiap hari. Mau tidak mau, Laila

menggunakan payung dalam perjalanan kos-kampus atau kampus-kos. Jika hari hujan dan payung ada di tempat Laila berada, maka Laila akan menggunakan payung tersebut. Jika hari tidak hujan, Laila selalu lupa untuk membawa payung.

Misalkan θadalah peluang hujan setiap kali Laila akan

(42)

(43)

(44)

4. Sebuah Rantai Markov{Xn,n ≥0} dengan keadaan-keadaan

0,1,2 mempunyai matriks peluang transisi sebagai berikut:

(45)

5. Seorang SPG berjuang untuk menjual suatu produk sebanyak

i = 0,1,2 buah. Proses jumlah produk yang terjual {Xn}

membentuk Rantai Markov dengan matriks peluang transisi sebagai berikut:

P =





0 1/2 1/2

1/2 0 1/2

1/2 1/2 0





(46)

Kelas Keadaan

Keadaanj dikatakan ”dapat diakses” dari keadaani jikaPn ij >0

untuk suatun≥0.

i →j

Perhatikan bahwa hal ini mengakibatkan keadaanj dapat diakses

dari keadaani jika dan hanya jika, dimulai pada keadaani, proses

akan pernah masuk ke keadaanj. Dua keadaani danj yang dapat

diakses satu sama lain dikatakan dapat berkomunikasi.

(47)

Contoh:

P =

0.7 0.3

1 0

Apakah keadaan ’1’ bisa berkomunikasi dengan dirinya sendiri? Solusi:

P11= 0

P₁₁2 =P10P01+P11P11= 1(0.3) + 0 = 0.3>0

(48)

Jenis keadaan:

1 Keadaan i berkomunikasi dengan keadaani untuk semua

i ≥0

2 Jika keadaan i berkomunikasi dengan keadaan j, maka

keadaan j berkomunikasi dengan keadaan i

3 Jika keadaan i berkomunikasi dengan keadaan j dan keadaan

j berkomunikasi dengan keadaank, maka keadaan i

berkomunikasi dengan keadaan k.

Dua keadaan yang saling berkomunikasi dikatakan berada dalam

kelas yang sama. Rantai Markov dikatakan tidak dapat direduksi

(49)

(50)

a. 0↔1

P01= 0

P012 =P00P01+P01P11+P02P21

= 0 + 0 + 0.3(0.4) = 0.12>0

∴0→1

P10= 0.5>0

(51)

b. 1↔2

P12= 0.5>0

P21= 0.4>0

Jadi, 1↔2

c. 2↔3

P23= 0.6>0

P32= 0

P₃₂2 =P30P02+P31P12+P32P22+P33P32

(52)

Karena 0↔1, 1↔2 , dan 2↔3, maka masing-masing keadaan saling berkomunikasi sehingga kelas keadaannya adalah{0,1,2,3}

(53)

Tentukan kelas keadaan dari matriks peluang transisi berikut

P =





1 0 0

1/2 1/4 1/4 1/4 1/4 1/2



(54)

Solusi:

Kelas keadaannya: {0}dan{1,2}. Keadaan {0} bersifat

(55)

Keadaan Recurrent dan Transient

Untuk setiap keadaani, misalkan fi peluang bahwa dimulai dari

keadaani proses akan pernah kembali ke keadaan i. Keadaan i

dikatakanrecurrent jikafi = 1 dan dikatakantransient jikafi <1.

Jika keadaan i recurrent, maka proses akan terus kembali ke

keadaan i dengan peluang satu. Dengan definisi Rantai

Markov, proses akan dimulai lagi ketika kembali ke keadaani,

dan seterusnya, sehingga keadaan i akan dikunjungi lagi. Jika

keadaan i recurrent maka dimulai dari keadaani maka proses

akan kembali ke keadaan i terus dan terus sebanyak tak

(56)

Misalkan keadaan i transient. Setiap kali proses kembali ke

keadaan i terdapat kemungkinan (peluang yang positif)

sebesar 1−fi bahwa proses tidak pernah kembali ke keadaan

i. Dengan demikian, dimulai dari keadaani, peluang bahwa

proses berada di i sebanyak tepat n periode/kali adalah

fn−₁

i (1−fi),n≥1. Jika keadaan i transient maka , dimulai

dari keadaan i, banyak periode/kali bahwa proses akan berada

di keadaan i adalah peubah acak geometri dengan parameter

(57)

Keadaani recurrent jika dan hanya jika, dimulai dari keadaan i,

maka banyak periode/kali yang diharapkan (expected number of

(58)

Misalkan

In menyatakan banyak periode/kali bahwa proses

berada dalam keadaani, dan

(59)

Proposisi

Keadaani adalah

Recurrent jika

∞

P

n=1

Pn ii =∞

Transient jika

∞

P

n=1

(60)

Misalkan Rantai Markov yang terdiri atas keadaan-keadaan 0,1,2,3 mempunyai matriks peluang transisi

P =

(61)

Solusi:

Semua keadaan saling berkomunikasi dan semua keadaan bersifat

(62)

Matriks peluang transisi

(63)

Solusi:

Rantai Markov tersebut terdiri atas tiga kelas yaitu{0,1},{2,3},

dan{4}. Sifat-sifatnya:

Kelas{0,1} dan{2,3} bersifatrecurrent

(64)

Limit Peluang Transisi

Misalkan matriks peluang transisi pada Rantai Markov adalah

P =

0.5 0.5 0.7 0.3

Maka matriks peluang transisi 4 dan 8 langkahnya adalah

(65)

Perhatikan bahwa matriksP8 _{hampir identik dengan matriks}_P4_.

Selain itu, setiap baris dariP8 memiliki unsur yang identik. Pada kenyataannya, sepertinyaPn

ij konvergen ke suatu nilai, untuk

n→ ∞, yang sama untuk semua i. Dengan kata lain, terdapat

limit peluang bahwa proses akan berada di keadaanj setelah

(66)

(67)

Jika keadaani recurrent, maka keadaan tersebut akan dikatakan

positive recurrent jika, dimulai dari keadaani, waktu harapan

hingga proses kembali kei adalah hingga. Pada Rantai Markov

yang memiliki keadaan hingga, semua keadaanrecurrent adalah

(68)

Teorema

Untuk Rantai Markov yang ergodik dan tidak dapat direduksi,

lim

n→∞P

n ij

ada dan saling bebas darii. Misalkan

πj = lim

n→∞P

n

ij, j ≥0,

makaπj adalah solusi nonnegatif tunggal dari

πj =

∞

X

i=0

(69)

Catatan:

Misalkan n→ ∞ dan asumsikan kita bisa menambahkan limit

di dalam persamaan, maka

πj =

∞

X

(70)

Limit peluang πj adalah peluang jangka panjang (long-run

proportion of time) bahwa suatu proses akan berada di keadaan j.

Jika Rantai Markov tidak dapat direduksi, maka terdapat solusi untuk πj = lim

hanya jika Rantai Markov bersifat positive recurrent. Jika solusinya ada, maka solusi tersebut tunggal dan πj adalah

proporsi jangka panjang bahwa Rantai Markov berada dalam

keadaan j. Jika Rantai Markov aperiodik, maka πj adalah

(71)

Jika hari ini hujan, peluang besok hujan adalahα. Jika hari ini tidak hujan, peluang besok hujan adalahβ.

P =

α 1−α β 1−β

dan kita mempunyai persamaan-persamaan

π0 =απ0+βπ1

(72)

Maka diperoleh peluang hujan dan tidak hujan dalam jangka panjang adalah

π0 = β

1 +β−α

dan

π1 =

1−α

(73)

Misalkan keadaan mood Gary disajikan dalam matriks peluang transisi

P =





0.5 0.4 0.1 0.3 0.4 0.3 0.2 0.3 0.5





(74)

Kita mempunyai persamaan:

π0= 0.5π0+ 0.3π1+ 0.2π2 π1= 0.4π0+ 0.4π1+ 0.3π2 π2= 0.1π0+ 0.3π1+ 0.5π2 π0+π1+π2= 1

dan diperoleh solusinya yaitu

π0=

21

62, π1 =

23

62, π2 =

(75)

Latihan 2

6. Tentukan kelas keadaan dan sifat-sifat dari matriks-matriks peluang transisi berikut

a. 0.25 0.25 0.25 0.25

(76)

7. Percobaan-percobaan dilakukan secara berurutan. Jika dalam dua percobaan terakhir SUKSES, maka peluang SUKSES

pada percobaan berikut adalah 0.8. Dalam keadaan YANG

LAIN, peluang SUKSES adalah 0.5. Hitung peluang

(77)

Pustaka

Ross, Sheldon M. 2007. Introduction to Probability Models;

9th Edition. New York: Academic Press.

Syuhada, Khreshna I.A. Materi Kuliah: MA4181 Pengantar

Proses Stokastik. Departemen Matematika ITB, Bandung.

Taylor, Howard M. dan Samuel Karlin. 1975. A First Course

in Stochastic Processes; Second Edition. New York: Academic Press.