Penelitian Operasional II Rantai Markov RANTAI MARKOV

4. RANTAI MARKOV

4.1 PENDAHULUAN

Dalam masalah pengambilan suatu keputusan, seringkali kita diperhadapkan dengan suatu ketidakpastian. Permasalahan ini dapat dimodelkan secara matematis asalkan ketikdakpastian tersebut memiliki pola yang teratur sehingga dapat dinyatakan sebagai sebuah model probabilistik.

4.2 PROSES STOKASTIK

Suatu proses stokastik dapat didefinisikan sebagai kumpulan peubah acak berindex {Xt}, dimana index t bergerak sepanjang himpunan T yanag diberikan.

Seringkali T merupakan himpunan bilangan bulat tak negatif dan X_t mewakili suatu karakteristik yang terukur pada waktu t.

Contoh 4.1:

X_t : Dapat menyatakan tingkat inventori dalam tiap minggu (atau bulan) dari suatu produk, atau dapat pula menyatakan jumlah permintaan dari produk tersebut tiap minggu (atau bulan).

Jika T adalah himpunan yang dapat dihitung (countable set) maka proses stokastik tersebut dikatakan sebagai ‘Proses stokastik dengan waktu diskrit’, misalnya {Xt, t=0,1,…}.

Jika T adalah suatu interval pada garis real, maka proses stokastik tersebut dikatakan sebagai ‘proses stokastik dengan waktu kontinu’, misalnya {Xt, t ≥ 0}.

Index T seringkali menyatakan waktu, karena itu X_t disebut sebagai keadaan (state) dari proses pada saat t.

Secara ringkas proses stokastitik dapat didefinisikan sebagai berikut : Definisi 4.2:

Proses Stokastik merupakan serangkaian random variabel yang berubah terhadap waktu pengamatan. { X(t) , t ∈ T}

dimana : X(t) = state (keadaan) yang acak t = waktu (saat pengamatan) Contoh 4.3:

Sebuah toko kamera memiliki stok dari suatu model kamera tertentu yang dapat dipesan mingguan. Misalkan: D1, D2,… mewakili permintaan kamera tersebut selama minggu ke-1, ke-2,… dan asumsikan bahwa D_i independen dan probabilitas distribusinya diketahui, misalnya X0 adalah jumlah kamera yang ada

pada keadaan awal (merupakan maksimum level inventori), X1 adalah jumlah kamera pada akhir minggu I, X₂ adalah jumlah kamera pada akhir minggu II, dst.

Asumsikan X₀ = 3. Minggu malam toko tersebut melakukan pemesanan kamera dan akan dikirimkan pada hari Senin. Toko ini menggunakan kebijakan (s,S^*) yaitu jika jumlah kamera yang ada pada akhir minggu kurang dari s=1 (tidak ada stok kamera) maka toko akan memesan S=3. Pada kondisi lain toko tidak melakukan pemesanan (jika stok kamera ada, toko tidak memesan). Diasumsikan bahwa penjualan akan rugi jika permintaan melebihi persediaan yang ada.

Kasus ini merupakan proses stokastik {Xt} dengan t = 0,1,… state yang ada pada kasus ini adalah 0,1,2,3 yang mewakili jumlah kamera yang mungkin ada pada akhir minggu. Peubah acak X_t bukan merupakan peubah bebas dan dapat dinyatakan secara iteratif sebagai berikut :

X_t+1 =





≥

−

<

−

+ +

1 X } 0 ), D X max{(

1 X } 0 ), D 3 max{(

t 1

t t

t 1

t

4.3 RANTAI MARKOV

Suatu proses stokastik {X_t} dikatakan memiliki sifat markov jika :

P{X_t+1 = j  X0 = k₀, X₁ = k₁, … X_t-1 = k_t-1, X_t = I} = P{X_t+1 = j  Xt = i}

Untuk t = 0,1, … dan untuk tiap i, j, k0, k1, …., kt-1.

Sifat markov ini dikatakan sebagai berikut :

‘Bahwa probabilitas bersyarat dari kejadian di masa mendatang, jika diketahui kejadian dimasa lalu dan kondisi saat ini Xt = i, adalah tidak tergantung pada masa lalu dan hanya tergantung pada kondisi dari proses saat ini’

Probabilitas bersyarat P{Xt+1 = j | Xt = i} dikatakan sebagai probabilitas transisi.

Jika untuk setiap i dan j :

P{X_t+1 = j | Xt = i} = P{X₁ = j | X0 = i}, untuk semua t = 0, 1, …..

maka probabilitas transisi (1 langkah) dikatakan stasioner, (probabilitas transisi tidak berubah terhadap waktu) dinotasikan dengan pij.

Jika untuk setian i dan j :

P{X_t+1 = j | Xt = i} = P{X_n = j | X0 = i}, untuk semua t = 0, 1, …..

Probabilitas bersyarat ini dinotasikan dengan pij(n)

dan disebut sebagai probabilitas transisi n-langkah.

p_ij⁽ⁿ⁾ : probabilitas bersyarat dimana peubah acak X, dimulai dari state i, akan berapa pada state j setelah tepat n langkah (unit waktu).

karena pij(n)

adalah probabilitas bersyarat maka harus memenuhi sifat-sifat : pij(n) ≥ 0 ∀ i dan j, n = 0,1,2,… (sifat ketidaknegatifan)

∑

= m

1 j

) n (

pij = 1 ∀ i dan j n = 0,1,2,… (jumlahan dari probabilitas = 1)

Matriks transisi n langkah :

state 0 1 … M

0 p00(n)

p01(n)

… p0m(n)

P⁽ⁿ⁾= 1 p₁₀⁽ⁿ⁾ p₁₁⁽ⁿ⁾ … p_1m⁽ⁿ⁾ .

. .

. . .

. . .

. . .

. . . M p_m0⁽ⁿ⁾ p_m1⁽ⁿ⁾ … p_mm⁽ⁿ⁾ Definisi 4.4 : Rantai Markov

Suatu proses stokastik {Xt, t = 0,1,..} dikatakan merupakan suatu rantai markov dengan state terbatas (finite state markov chain) jika memiliki sifat-sifat sebagai berikut :

(1) Memiliki jumlah state yang terbatas (2) Memiliki sifat markov

(3) Probabilitas transisinya stasioner

(4) Memiliki himpunan probabilitas awal P{X₀ = i} ∀ i Contoh 4.5:

Dari contoh 4.3, {X_t} merupakan proses stokastik dengan

X_t : Jumlah kamera yang mungkin ada pada akhir minggu ke-t (sebelum pesanan diterima)

Tentukan probabilitas trasnsisi 1 langkahnya !

















=

33 32 31 30

23 22 21 20

13 12 11 10

03 02 01 00

p p p p

p p p p

p p p p

p p p p P

Asumsikan D_t memiliki distribusi Poisson dengan parameter λ = 1.

Penyelesaian :

Xt+1 =





≥

−

<

−

+ +

1 X } 0 ), D X max{(

1 X } 0 ), D 3 max{(

t 1

t t

t 1

t

Xt =





≥

−

<

−

−

−

−

1 X } 0 ), D X max{(

1 X } 0 ), D 3 max{(

1 t t

1 t

1 t t

Di dapat P =

















368 . 0 368 . 0 184 . 0 080 . 0

0 368 . 0 368 . 0 264 . 0

0 0

368 . 0 632 . 0

368 . 0 368 . 0 184 . 0 080 . 0

Contoh 4.6:

Model dari kondisi suatu stok barang tertentu. Pada akhir suatu hari tertentu kondisi sutau stok dicatat. Jika stok meningkat hari ini maka probabilitas bahwa stok esok hari meningkat adalah 0.7. Jika stok hari ini menurun maka probabilitas bahwa stok esok hari meningkat adalah 0.5

Model ini merupakan rantai markov dimana : State 0 = stok meningkat dan

State 1 = stok menurun Maka matriks transisinya adalah :

P = 



 





5 . 0 5 . 0

3 . 0 7 . 0

Jika model ini dikembangkan menjadi : bahwa kondisi stok esok berubah atau tidak tergantung pada hari ini dan kemarin maka kemungkinan-kemungkinan yang ada adalah sebagai berikut :

- Jika dalam 2 hari terakhir stok meningkat, besok akan meningkat dengan probabilitas 0.9

- Jika hari ini meningkat, kemarin menurun, besok akan meningkat dengan probabilitas 0.6

- Jika hari ini menurun, kemarin meningkat, besok akan meningkat dengan probabilitas 0.5

- Jika dalam 2 hari terakhir stok menurun, besok akan meningkat dengan probabilitas 0.3

Model ini juga merupakan rantai markov dengan :

State 0 : stok hari ini meningkat kemarin meningkat State 1 : stok hari ini meningkat kemarin menurun State 2 : stok hari ini menurun kemarin meningkat State 3 : stok hari ini menurun kemarin menurun Matriks transisi : P_ij = P(X_t = j | X_t-1 = i)

P =

















7 . 0 0 3 . 0 0

5 . 0 0 5 . 0 0

0 4 . 0 0 6 . 0

0 1 . 0 0 9 . 0

Contoh 4.7: Kasus Perjudian

Seorang pemain memiliki uang 1$, dalam tiap permainan peluang untuk menang sebesar 1$ adalah p dan peluang untuk kalah sebesar 1$ adalah 1-p. Permainan ini berakhir bila pemain dapat mengumpulkan $3 atau bangkrut.

Kasus ini merupakan rantai markov dengan {X_t} mewakili keberuntungan dari pemain , yaitu: 0, 1$ ,2$ ,3$.

Matriks probabilitas transisinya adalah :

P =

















−

−

1 0 0 0

p 0 p 1 0

0 p 0 p 1

0 0 0 1

4.4 PERSAMAAN CHAPMAN-KOLMOGOROV

Persamaan Chapman-Kolmogorov memberikan cara untuk menghitung peluang perpindahan (Probabilitas transisi) n-langkah yaitu :

Persamaan ini menunjukkan bahwa dari state i ke state j dalam n langkah, proses akan berada pada state k setelah tepat v ( < n) langkah. Jadi p_ik^(v) p_kj^(n-v) merupakan probabilitas bersyarat, mulai dari state i, lalu ke state k setelah v langkah dan kemudikan ke state j dalan n-v langkah, maka :

Jika v = 1 maka :

Jika v = n - 1

Ini merupakan probabilitas transisi 1 langkah rekursif.

n m u dan n , j , i M

o k

v) (n pkj (v) pik (n)

Pij ∑ ∀ ≤ ≤

=

⋅ −

=

k M

o k

v) (n pkj (v) pik (n)

Pij ∑ ∀

=

⋅ −

=

n , j , i M

o k

1) (n pkj pik (n)

Pij ∑ ∀

=

⋅ −

=

∑= ⋅ ∀

= M

o k

n , j , kj i 1) p - (n pik (n)

Pij

Untuk n = 2 maka

Karena pij(2)

adalah elemen dari matriks P⁽²⁾ maka dengan mengalikan matriks probabilitas transisi 1 langkah dengan dirinya sendiri di dapat :

P⁽²⁾ = P. P = P² Secara umum :

P⁽ⁿ⁾ = P. P…P = Pⁿ = P. P^n-1

= P^n-1 P Contoh 4.8

Dari matriks transisi pada contoh 4.5 didapat :

P⁽²⁾ = P² =

















368 . 0 368 . 0 184 . 0 080 . 0

0 368 . 0 368 . 0 264 . 0

0 0

368 . 0 632 . 0

368 . 0 368 . 0 184 . 0 080 . 0

















368 . 0 368 . 0 184 . 0 080 . 0

0 368 . 0 368 . 0 264 . 0

0 0

368 . 0 632 . 0

368 . 0 368 . 0 184 . 0 080 . 0

=

















165 . 0 300 . 0 286 . 0 249 . 0

087 . 0 233 . 0 319 . 0 351 . 0

233 . 0 233 . 0 252 . 0 283 . 0

165 . 0 300 . 0 286 . 0 249 . 0

Arti :

p₁₀⁽²⁾ : Stok kamera pada akhir minggu adalah 1, probabilitas bahwa 2 minggu kemudian tidak ada stok kamera adalah 0.283

p₂₃⁽²⁾ : Stok kamera pada akhir minggu adalah 2, probabilitas bahwa 2 minggu kemudian stok kamera menjadi 3 adalah 0.097

P⁽⁴⁾ = P⁴ = P⁽²⁾ P⁽²⁾

=

















165 . 0 300 . 0 286 . 0 249 . 0

087 . 0 233 . 0 319 . 0 351 . 0

233 . 0 233 . 0 252 . 0 283 . 0

165 . 0 300 . 0 286 . 0 249 . 0

















165 . 0 300 . 0 286 . 0 249 . 0

087 . 0 233 . 0 319 . 0 351 . 0

233 . 0 233 . 0 252 . 0 283 . 0

165 . 0 300 . 0 286 . 0 249 . 0

=

















164 . 0 261 . 0 286 . 0 289 . 0

177 . 0 263 . 0 283 . 0 284 . 0

166 . 0 268 . 0 285 . 0 282 . 0

164 . 0 261 . 0 286 . 0 289 . 0

∑= ⋅ ∀

= M

o k

n , j , kj i ik p (2) p

Pij

Arti :

p₁₀⁽⁴⁾ : Stok kamera pada akhir minggu adalah 1, probabilitas bahwa 4 minggu kemudian tidak ada stok kamera adalah 0.282

p23(4)

: Stok kamera pada akhir minggu adalah 2, probabilitas bahwa 4 minggu kemudian stok kamera menjadi 3 adalah 0.171

Probabilitas transisi n langkah pij(n)

= P{Xn = j | X0 = i} merupakan probabilitas bersyarat. Jika dicari probabilitas tak bersyarat P(Xn = j), maka harus diketahui distribusi probabilitas dari state awal, misalnya Q_x0 (i) , dimana :

Q_x0(i) = P (X₀ = i) ∀ I = 0,1,2,…,M Maka P(Xn = j) = Qx0(0) poj(n)

+ Qx0(1) p1j(n)

+ … + Qx0(M) pMj(n)

Contoh 4.9

Dari contoh 4.5 asumsikan bahwa stok awal =3 kamera, jadi : Qx0 (0) = Qx0 (1) = Qx0 (2) = 0;

Q_x0 (3) = 1

Diketahui bahwa probabilitas bersyarat bahwa terdapat 3 kamera setelah 2 minggu dari awal inventori adalah 0.165, maka probabilitas tak bersyaratnya adalah :

P(X2 = 3) = Qx0 (3). P33(2)

= 1 x 0.165

= 0.165

Misal diberikan bahwa Q_x0 (i) = 0.25 ∀ I = 0,1,2,3 maka P(X2 = 3) = Qx0 (0) p03(2)

+ Qx0 (1) p13(2)

+ Qx0 (2) p23(2)

+ Qx0 (3) p33(2)

= 0.25 (0.165) + 0.25 (0.233) + 0.25(0.097) + 0.25(0.165)

= 0.165 Catatan 4.10

Kedua nilai tersebut di atas sama, ini hanya kebetulan saja.

4.5 KLASIFIKASI STATE DALAM RANTAI MARKOV

Berikut ini merupakan beberapa difinisi yang berkaitan dengan state-state dari Rantai Markov.

1. Dapat dicapai (Accessible)

State j dikatakan dapat dicapai (accessible) dari state i jika pij(n)

> 0 untuk beberapa n > 0. State j dapat dicapai (accessible) dari state i berarti bahwa sistem bisa mencapai state j jika berangkat dari state i.

2. Berkomunikasi (Communicate)

jika state j dapat dicapai dari state i, dan state i dapat dicapai dari state j, maka state i dan j dikatakan berkomuniasi (communicate) .

Secara umum :

a. setiap state berkomunikasi dengan dirinya sendiri. Karena : p_ii⁽⁰⁾ = P{X₀ = i | X0 = i} = 1).

b. Jika state i berkomunikasi dengan state j, maka state j berkomunikasi dengan state i.

c. Jika state i berkomunikasi dengan state j dan state j berkomunikasi dengan state k, maka state i berkomunikasi dengan state k.

Dari ketiga sifat ini, maka suatu state mungkin dipartisi menjadi kelas-kelas yang saling asing (disjoint classes) dengan states yang saling berkomunikasi dikatakan berada dalam satu kelas.

3. Tak dapat direduksi (Irreducible)

Rantai markov dikatakan irreducible jika hanya mempunyai satu kelas saja, jadi semua keadaan saling berkomunikasi.

4. Absorbing

Suatau state i dikatakan sebagai state yang absorbing jika probabilitas transisi satu langkah pii = 1. Jadi sekali sistem memasuki state i maka sistem akan tetap selamanya berada di statei tersebut.

5. Recurrent dan Transient

• State ⁱ dikatakan recurrent jika dan hanya jika :

∑

^∞

=

∞

=

1 n

) n (

pii

mulai dari state i, setelah keluar dari state i sistem pasti akan dapat kembali lagi ke state i (karena pasti maka nilai peluangnya adalah 1 sehingga

∑

^∞

=

∞

=

1 n

) n (

pii )

• State ⁱ dikatakan transient jika dan hanya jika :

∑

^∞

=

∞

<

1 n

) n (

pii

Relevansi :

• Jika state i recurrent , maka di mulai dari state i, sistem akan kembali lagi dan kembali lagi ke state i berulang-ulang sampai tak berhingga kali.

• Sebaliknya jika state i transient , sekali saja sistem memasuki state i maka terdapat suatu peluang positif yang akan membawa sistem ini untuk tidak pernah lagi memasuki state i.

• Jika state i recurrent dan state i berkomunikasi dengan state j, maka state j juga bersifat recurrent.

• Semua state dalam suatu rantai markov dengan state yang bersifat irreducible terbatas adalah recurrent berarti juga seluruh state dalam proses berkomunikasi.

6. Periode

Periode dari state i didefinisikan sebagai bilangan bulat t (t > 1) sedemikian hingga p_ii⁽ⁿ⁾ = 0 untuk seluruh n yang bukan kelipatan t (t, 2t, 3t, …) dan t adalah bilangan bulat terbesar dengan sifat ini

Contoh 4.11

Pada contoh 4.7, misalkan p = ½

P =

















1 0 0 0

2 / 1 0 2 / 1 0

0 2 / 1 0 2 / 1

0 0 0 1

P² =

















1 0 0 0

2 / 1 4 / 1 0 4 / 1

4 / 1 0 4 / 1 2 / 1

0 0 0 1

P³ =

















1 0 0 0

* 0

*

*

*

* 0

*

0 0 0 1

P⁴ =

















1 0 0 0

*

* 0

*

* 0

*

*

0 0 0 1

Terlihat bahwa p11 = p22 = 0 untuk seluruh n, pada saat n = 1,3,5,… berarti periode t (bukan n) adalah 2.

Artinya : proses tersebut dapat masuk ke state 1 hanya pada saat 2,4,…

7. Aperiodik

Jika terdapat 2 bilangan berurutan, s dan (s+1) sedemikian hingga proses dapat berada pada state i pada saat s dan (s+1), state i dikatakan memiliki periode 1 dan disebut sebagai aperiodik state.

8. Positif Recurrent

Jika state i recurrent, maka state i dikatakan positif recurrent

Jika dimulai dari state i, waktu harapan sampai proses kembali lagi ke state i adalah terbatas.

9. Null Recurrent

Jika state i recurrent tetapi tidak positif recurrent maka state i adalah Null Recurrent.

10. Ergodic

Jika suatu state bersifat positif recurrent dan aperiodik maka state tersebut disebut ergodic.

4.9 WAKTU LINTASAN PERTAMA (FIRST PASSAGE TIME)

Waktu yang dibutuhkan oleh suatu proses untuk menuju state j dari state i untuk pertama kali disebut sebagai waktu lintasan pertama (first passage time, fpt).

Jika j=1, waktu lintasan pertama ini merupakan jumlah transisi hingga proses kembali ke state mula-mula yaitu i. Dalam hal ini waktu lintasan pertama disebut sebagai waktu recurrence untuk state i.

Contoh 4.12

Dari contoh 4.5 (level inventori). Diketahui X₀ = 3 (inventori awal).

Andaikan : X₁ = 2, X₂ = 1, X₃ =0, X₄ = 3 dan X₅ = 1.

Dalam hal ini FPT dari state 3 ke state 1 adalah 2 minggu, FPT dari state 3 ke state 0 adalah 3 minggu dan waktu recurrent adalah 4 minggu.

Secara umum first passage time merupakan perubah acak dan memiliki distribusi probabilitas yang bersesuaian dengan mereka. Distribusi probabilitas ini tergantung pada peluang transisi dari proses.

Misalkan : Fij(n)

: merupakan probabilitas bahwa first passage time dari state i ke state j sama dengan n.

Dapat ditunjukkan bahwa probabilitas ini memenuhi hubungan rekursif sebagai berikut :

Jadi probabilitas dari suatu first passage time dari state i ke state j dalam langkah n dapat dihitung secara rekursif dari probabilitas transisi satu langkah.

Contoh 4.13:

Dari contoh 4.5 : f30(1)

= 0.080 f30(2)

= 0.249 - (0.080) (0.080) = 0.243

untuk i dan j yang tetap, f_ij⁽ⁿ⁾ merupakan bilangan nonnegatif sedemikian hingga :

∑

^∞

=

≤

1 n

) n (

ij 1

f

sayangnya, jumlahan ini sangatlah mungkin kurang dari 1, yang berarti bahwa suatu proses yang diawali dari state i tidak pernah mencapai state j.

Jika jumlahan = 1, f_ij⁽ⁿ⁾ (untuk n = 1 , 2,…) dapat dianggap sebagai distribusi probabilitas untuk peubah acak, FPT.

Menghitung, f_ij⁽ⁿ⁾ untuk seluruh n mungkin sulit, relatif lebih sederhana untuk menghitung FPT harapan dari state i ke state j.

Diberikan nilai harapan µij yang didefinisiakan sebagai berikut :









=

<

∞

=

∑ ∑

∑

∞

=

∞

=

∞

=

1

n n 1

) n ( ij )

n ( ij

1 n

) n ( ij ij

1 f

jika f

n

1 f jika µ

∑

⁻

=

− −

= ^{n 1}

1 k

k) (n jj (k) ij (n)

ij (n)

ij p f .p

f

Bila

∑

^∞

=

=

1 n

) n (

ij 1

f maka µij memenuhi persamaan berikut secara unik.

µij = 1 +

∑

≠j k

kj

pikµ

jika i = j, µii disebut recurrent time harapan.

Contoh 4.14:

Dari contoh 4.5. Persamaan di atas dapat digunakan untuk menghitung waktu harapan hingga kamera habis. Asumsikan proses dimulai dengan persediaan kamera = 3 lintasan waktu pertama harapan, µ30 dapat dicapai karena seluruh state recurrent, maka :

µ30 = 1 + p₃₁ µ10 + p₃₂ µ20 + p₃₃ µ30

µ20 = 1 + p₂₁ µ10 + p₂₂ µ20 + p₂₃ µ30

µ10 = 1 + p₁₁µ10 + p₁₂µ20 + p₁₃µ30 atau µ30 = 1 + 0.184 µ10 + 0.368 µ20 + 0.368 µ30

µ20 = 1 + 0.368 µ10 + 0.368 µ20

µ10 = 1 + 0.368 µ10

Di dapat : µ10 = 1,58 minggu µ20 = 2,51 minggu µ30 = 3,50 minggu Waktu yang dibutuhkan agar kamera kehabisan stok adalah 3,5 minggu.

4.5 RANTAI MARKOV DALAM JANGKA PANJANG (Long Run Properties of Markov Chain)

4.5.1 Probabilitas pada keadaan stabil (steady state probabilities)

Untuk rantai markov yang irreducible ergodic dapat ditunjukkan bahwa :

) n ( nlim pij

∞

→

 ada dan independen terhadap i.

Selanjutnya

) n ( nlim pij

∞

→

 = πj

dimana πj secara unik memenuhi persamaan-persamaan steady state berikut : πj > 0

πj =

∑

= M

0 i

ij ip

π untuk j = 0,1,2,…, M

∑

= M =

0 j

j 1

π

πj disebut sebagai probabilitas pada keadaan stabil dari rantai markov dan memiliki hubungan resiprokal terhadap waktu recurrent harapan.

πj =

jj

1

µ untuk j = 0,1,…, M

! Steady state probability artinya adalah : bahwa probabilitas bahwa untuk mendapatkan proses dalam suatu state tertentu, katakan j, setelah sejumlah besar transisi cenderung menuju nilai πj . Independen dari distribusi probabilitas awal yang telah didefinisikan terhadap states tersebut.

! πj dapat juga diinterpretasikan sebagai probabilitas stasioner.

Contoh 4.15 Dari contoh 4.5

π0 = π0 p₀₀ + π1 p₁₀ +π2 p₂₀ +π3 p₃₀ π1 = π0 p01 + π1 p11 +π2 p21 +π3 p31

π2 = π0 p02 + π1 p12 +π2 p22 +π3 p32

π3 = π0 p03 + π1 p13 +π2 p23 +π3 p33

1 = π0 + π1 + π2 + π3

substitutikan nilai p_ij ke dalam persamaan di atas, didapat : π0 = (0.080) π0 + (0.632) π1 + (0.264) π2 + (0.080) π3

π1 = (0.184)π0 + (0.368) π1 + (0.368) π2 + (0.184) π3

π2 = (0.368)π0 + (0.368) π2 + (0.368) π3

π3 = (0.368)π0 + (0.368) π3

1 = π0 + π1 + π2 + π3

di dapat :

π0 = 0.285 µ00 = 1/ π0 = 3.51 minggu π1 = 0.285 µ11 = 1/ π1 = 3.51 minggu π2 = 0.264 µ22 = 1/ π2 = 3.79 minggu π3 = 0.166 µ33 = 1/ π3 = 6.02 minggu Catatan 4.16

Pada steady state probabilitas berlaku :

! Jika i dan j merupakan states yang recurrent dengan kelas-kelas yang berbeda maka :

p_ij⁽ⁿ⁾ = 0 untuk setiap n

! Jika j merupakan state yang transient maka pij(n)

= 0

Berarti bahwa probabilitas untuk mendapatkan suatu proses dalam suatu state yang transient setelah sejumlah besar transisi cenderung menuju ke nol.

4.5.2 Biaya rata-rata harapan/unit waktu

Untuk suatu rantai markov yang irreducible dengan recurent state positif, suatu rantai dengan state terbatas, berlaku :

j N

1 k

) k ( n ij

n

N p

lim 1 =π



 





∑

→ =



dimana πj memenuhi persamaan-persamaan stedy state. Andaikan bahwa suatu biaya (atau fungsi penalti lainnya) C(Xt) terjadi ketika proses berada di state Xt

pada saat t, untuk t = 0,1,2,…

Catatan 4.17

C(X_t) adalah peubah acak dengan nilai C(0), C(1), …, C(N) dan fungsi C(X_t) independen terhadap t.