Lecture 3: Rantai Markov Diskrit (Bag. I)

Pengantar Proses Stokastik

Bab 3: Rantai Markov Diskrit

Atina Ahdika, S.Si, M.Si

Statistika FMIPA Universitas Islam Indonesia

Rantai Markov

Misalkan sebuah proses stokastik{Xt} dengant= 0,1,2, . . ..

Nilai yang mungkin dari Xt adalah hingga atau terhitung

Memiliki peluang transisi atau peluang berpindahnya keadaan ”i” (pada waktut) ke keadaan ”j” (pada waktut+ 1) adalah

Pij yaitu

P(Xt+1=j|Xt =i,Xt−1 =it−1, . . . ,X1 =i1,X0 =i0) =Pij

Distribusi bersyarat Xt+1 diberikan keadaan-keadaan lampau

X0,X1, . . . ,Xt−1 dan keadaan sekarangXt, hanya bergantung

pada keadaan sekarang (Sifat Markov)

Matriks Peluang Transisi

Pij adalah peluang bahwa proses akan berada di keadaanj dari

keadaani

Pij ≥0, i,j ≥0;

∞

X

j=0

Pij = 1, i = 0,1, . . .

Perhatikan

P(Xt+1 =j|Xt =i,Xt−1 =it−1, . . . ,X1 =i1,X0 =i0) =P(Xt+1 =j|Xt =i)

Contoh 1

Jika hari ini hujan, peluang besok hujan adalahα. Jika hari ini tidak hujan, peluang besok hujan adalahβ.

Misal: ’0’ : hujan ’1’ : tidak hujan

Maka matriks peluang transisinya adalah

P =

α 1−α β 1−β

Contoh 2

Dalam suatu hari, Gary bisa ceria (C), biasa saja (B), atau murung (M). Jika hari ini ceria, maka dia akan C,B, atauM

besok dengan peluang masing-masing 0.5,0.4,0.1. Jika dia merasa biasa saja hari ini, maka dia akanC,B, atauM besok dengan peluang masing-masing 0.3,0.4,0.3. Jika dia merasa murung hari ini, maka dia akanC,B, atau M besok dengan peluang

Misalkan keadaan 0 =C, keadaan 1 =B, dan keadaan 2 =M, maka matriks peluang transisinya adalah

P =





0.5 0.4 0.1 0.3 0.4 0.3 0.2 0.3 0.5



Contoh 3

Keadaan pada suatu hari:

Jika dua hari terakhir hujan, peluang besok hujan 0.7 Jika hari ini hujan dan kemarin tidak hujan, peluang besok hujan 0.5

Jika hari ini tidak hujan dan kemarin hujan, peluang besok hujan 0.4

Misal: ’0’ : hujan ’1’ : tidak hujan

Maka matriks peluang transisinya adalah

Matriks-matriks tersebut memiliki sifat-sifat berikut: Memiliki jumlah baris dan kolom sama, atau matriks bujursangkar

Jumlah unsur-unsur di setiap baris adalah satu

Tidak selalu memiliki jumlah unsur-unsur di setiap kolom sama dengan satu

Nilai setiap unsurnya diantara nol dan satu

Contoh 4

Suatu rantai Markov dengan keadaan-keadaan ’0,1,2’ mempunyai matriks peluang transisi

P =





0.1 0.2 0.7 0.9 0.1 0 0.1 0.8 0.1





danP(X0= 0) = 0.3,P(X0 = 1) = 0.4,P(X0 = 2) = 0.3. Hitung

Penyelesaian:

P(X0 = 0,X1= 1,X2= 2)

=P(X2 = 2|X1= 1,X0 = 0)P(X1 = 1,X0= 0)

=P(X2 = 2|X1= 1,X0 = 0)P(X1 = 1|X0 = 0)P(X0= 0) =P(X2 = 2|X1= 1)P(X1 = 1|X0= 0)P(X0 = 0)

Contoh 5

Suatu rantai Markov dengan keadaan-keadaan ’0,1,2’

P =





0.7 0.2 0.1 0 0.6 0.4 0.5 0 0.5





Penyelesaian: a.

P(X2= 1,X3= 1|X1 = 0)

=P(X3 = 1|X2 = 1)P(X2 = 1|X1 = 0) = 0.6(0.2) = 0.12

b.

P(X1= 1,X2= 1|X0 = 0)

Contoh 6

Suatu matriks stokastik dengan keadaan-keadaan ’0,1,2’

Penyelesaian:

E(X2|X1 = 2) = 2

X

x2=0

x2P(X2 =x2|X1 = 2)

Matriks Stokastik

n

-langkah

Pandang matriks stokastik satu-langkah:

P =

0.3 0.7 0.5 0.5

Ingat kembali matriks stokastik satu-langkah

Pij =P(Xt+1=j|Xt =i)

Kita dapat menentukan matriks stokastik dua-langkah yaitu

P_ij2 =P(Xt+2=j|Xt =i)

Dalam kasus ini

P2 =

P₀₀2 P₀₁2 P2

10 P112

Kita bisa menggunakanlaw of total probability yaitu

P₀₀2 =P(Xt+2= 0|Xt = 0)

=P(Xt+2= 0,Xt+1 = 0|Xt = 0) +P(Xt+2= 0,Xt+1 = 1|Xt = 0)

=P(Xt+2= 0|Xt+1= 0,Xt = 0)P(Xt+1= 0|Xt = 0)

+P(Xt+2= 0|Xt+1= 1,Xt = 0)P(Xt+1 = 1|Xt = 0)

=P(Xt+2= 0|Xt+1= 0)P(Xt+1 = 0|Xt = 0)

+P(Xt+2= 0|Xt+1= 1)P(Xt+1= 1|Xt = 0)

Penyelesaian tersebut berlaku pula untukP2

01,P102 danP112 . Atau sama saja dengan mengalikan dua matriksP yaitu

Jadi, untuk contoh di atas

P₀₀2 =P00P00+P01P10

= 0.3(0.3) + 0.7(0.5) = 0.44 atau, matriks stokastik dua-langkahnya adalah

Chapman-Komogorov Equations

MisalkanPn

ij menyatakan peluang bahwa proses pada keadaani

akan berada pada keadaanj setelah n-transisi,

Persamaan Chapman-Kolmogorov memberikan metode untuk menghitung peluang transisin+m-langkah, yaitu

P_ijn+m= ∞

X

k=0

P_iknP_kjm untuk semuan,m≥0,semuai,j

Pn

ikPkjm menyatakan peluang bahwa proses bermula pada keadaani

akan berpindah ke keadaanj dalamn+m transisi melalui keadaan

Contoh 7

Contoh 8

P2 =

Peluang bahwa Kamis hujan adalah:

P00.00P00.00+P00.01P01.10=P 2

Peluang Transisi Tak Bersyarat

Peluang transisiPn

ij yang sudah kita hitung di atas merupakan

peluang bersyarat. Jika kita ingin menghitung peluang transisi tak bersyaratnya yaituP(Xn=j), maka kita bisa menggunakan law of

Sebagai contoh, berdasarkan Contoh 7, jikaα0= 0.4, α1 = 0.6, maka peluang (tak bersyarat) bahwa akan hujan empat hari setelah kita mempunyai data perubahan cuaca adalah

P(X4= 0) =P(X4= 0|X0= 0)P(X0= 0) +P(X4= 0|X0= 1)P(X0= 1)

=P4

00α0+P104 α1

= 0.4P4

00+ 0.6P104

Kebebasan dalam Matriks Stokastik

Misalkan

P =

0.4 0.6 0.4 0.6

Maka,

P(Xt = 0|Xt−1= 0) =P(Xt = 0|Xt−1 = 1) = 0.4

Kemudian, denganlaw of total probability

Dengan kata lain

Contoh-contoh Lain

1. Jika pada waktut, Vanes mengajukan klaim asuransi, maka Vanes akan mengajukan klaim pada waktu t+ 1 dengan peluang α; jika Vanes tidak mengajukan klaim asuransi saat ini maka di masa depan Vanes akan mengajukan klaim asuransi dengan peluang β. Matriks peluang transisinya adalah

Keadaan:

’0’ : tidak mengajukan klaim ’1’ : mengajukan klaim

P =

1−β β 1−α α

3. Tim sepakbola IKS UII akan memainkan tujuh rangkaian pertandingan. Hasil setiap pertandingan saling bebas. Setiap pertandingan akan dimenangkan oleh tim A dengan peluangα dan oleh tim B dengan peluang 1−α. Misalkan keadaan suatu sistem direpresentasikan oleh pasangan (a,b) di manaa

menyatakan banyak pertandingan yang dimenangkan oleh A danb adalah banyak pertandingan yang dimenangkan B. Bentuklah Rantai Markov untuk masalah tersebut.

Latihan 1

1. Laila adalah mahasiswa tingkat akhir di Farmasi UII. Dia tinggal tidak jauh dari kampus, cukup berjalan kaki saja dari tempat kos ke kampus dan sebaliknya. Akhir-akhir ini hujan datang hampir setiap hari. Mau tidak mau, Laila

4. Sebuah Rantai Markov{Xn,n ≥0} dengan keadaan-keadaan

0,1,2 mempunyai matriks peluang transisi sebagai berikut:

5. Seorang SPG berjuang untuk menjual suatu produk sebanyak

i = 0,1,2 buah. Proses jumlah produk yang terjual {Xn}

membentuk Rantai Markov dengan matriks peluang transisi sebagai berikut:

P =





0 1/2 1/2 1/2 0 1/2 1/2 1/2 0





a. HitungP(Xn= 0|X0= 0) untukn= 0,1,2

Ross, Sheldon M. 2007. Introduction to Probability Models; 9th Edition. New York: Academic Press.

Syuhada, Khreshna I.A. Materi Kuliah: MA4181 Pengantar Proses Stokastik. Departemen Matematika ITB, Bandung. Taylor, Howard M. dan Samuel Karlin. 1975. A First Course in Stochastic Processes; Second Edition. New York: Academic Press.