BAB II TEORI DASAR. 2.1 Proses Stokastik Rantai Markov

BAB II

TEORI DASAR

2.1 Proses Stokastik Rantai Markov

Proses stokastik merupakan suatu cara untuk mempelajari hubungan yang dinamis dari suatu runtunan peristiwa atau proses yang kejadiannya bersifat tidak pasti. Dalam memodelkan perubahan dari suatu sistem yang mengandung ketidakpastian seperti pergerakan harga saham, banyaknya klaim yang datang ke suatu perusahaan asuransi, keadaan cuaca, dan lain sebagainya, proses stokastik banyak digunakan.

Secara formal, Ross [1] mendefinisikan proses stokastik sebagai barisan peubah acak {V(t), t∈T} yang diberi indeks dengan urutan oleh parameter t dimana nilai t berubah-ubah sesuai dengan himpunan indeks T. Dengan demikian, untuk setiap t elemen dari T, V(t) adalah suatu peubah acak. Nilai dari peubah acak V(t) disebut keadaan pada saat t. Himpunan T adalah himpunan indeks yang membangun suatu ruang, yaitu ruang parameter. Himpunan T bisa berupa himpunan terbilang (terhitung) baik terhingga maupun tak terhingga, misalnya T = {1,2,3,4,5,……}, atau tak terbilang (berupa selang atau interval), misalkan T = [t0 , tn].

Semua nilai peubah acak V(t) yang mungkin terjadi membentuk sebuah himpunan keadaan S. Himpunan S membangun suatu ruang, yaitu ruang keadaan. Disini, V(t) ∈ S untuk setiap t ∈ T. Seperti T, himpunan S juga bisa berupa himpunan

yang terbilang baik hingga atau tak hingga, atau tak terbilang. Selanjutnya, himpunan yang terbilang kita sebut sebagai himpunan diskrit dan himpunan yang tak terbilang sebagai himpunan kontinu.

Proses stokastik pada dasarnya dikelompokkan berdasarkan sifat ruang parameter T, sifat ruang keadaan S, dan hubungan ketergantungan diantara peubah acak-peubah acak V(t). Berdasarkan sifat ruang parameter T, proses stokastik digolongkan menjadi proses stokastik diskrit dan proses stokastik kontinu. Seringkali jika T diskrit, untuk membedakan kita lebih baik menuliskan Vt

daripada V(t). Sementara itu, jika T kontinu, kita dapat menuliskan sebagai V(t). Berdasarkan sifat ruang keadaan S, proses stokastik digolongkan menjadi proses stokastik dengan ruang keadaan disrit dan proses stokastik dengan ruang keadaan kontinu. Berdasarkan hubungan ketergantungan diantara peubah acak-peubah acak V(t), proses stokastik dapat dibagi kedalam beberapa tipe klasik diantaranya proses stasioner, proses renewal, martingales, point process, dan proses Markov. Sebagai contoh, salah satu proses stokastik dengan ruang parameter diskrit dan ruang keadaan diskrit adalah banyaknya pengunjung yang datang ke suatu pertokoan pada hari ke-t. Contoh proses stokastik dengan ruang parameter kontinu dan ruang keadaan kontinu adalah selang waktu antar kedatangan pengunjung ke suatu pertokoan pada waktu t sembarang.

Sebelumnya membahas mengenai rantai Markov, perlu dijelaskan proses Markov terlebih dahulu. Menurut Karlin dan Taylor [2], proses Markov adalah sebuah proses dengan sifat, diberikan nilai V(t), nilai V(t+1) tidak tergantung pada nilai V(u) untuk setiap u < t. Secara formal sebuah proses dikatakan Markov jika memenuhi sifat Markov yaitu,

1 1 1 2 -1 ( , 1) 1 , ( ( 1) (1) , ( 2 ) , , ( 1) , ( ) ) ( ( 1) ( ) ) _{t t} ( ) t t t t t t t v v P V t v V v V v V t v V t v P V t v V t v p ₊ s + + + + = = = − = = = + = = = dengan s = t+1 – t

Inti dari definisi diatas adalah, untuk mempelajari keadaan proses pada satu kurun waktu berikutnya, sebut t+1, kita hanya perlu melihat keadaan proses saat t.

Demikian juga, keadaan yang akan datang hanya bergantung pada keadaan saat ini dan tidak dipengaruhi oleh keadaan sebelumnya. Notasi tersebut menyiratkan bahwa secara umum, peluang transisi juga merupakan fungsi dari selang waktu s. Jika peluang transisi satu langkah tidak bergantung pada variabel waktu, kita sebut rantai Markov tersebut memiliki peluang transisi stasioner. Dalam hal ini, adalah suatu kostanta untuk s yang sama. Secara umum rantai Markov yang biasa kita temui memiliki peluang transisi stasioner.

1 ( , 1) , ( ) t t t t v v p +₊ s

Berdasarkan ruang keadaan dan ruang parameternya, proses Markov dapat dikelompokkan sebagai berikut,

RUANG PARAMETER

DISKRIT KONTINU

Rantai Markov Rantai Markov

DISKRIT Parameter Diskrit Parameter Kontinu

RUANG

KEADAAN

Proses Markov Proses Markov

KONTINU Parameter Diskrit Parameter Kontinu

Jadi, rantai Markov adalah proses Markov dengan ruang keadaan yang diskrit. Dalam rantai Markov, salah satu hal yang menarik adalah kita dapat mempelajari perubahan keadaan pada proses. Untuk rantai Markov dengan ruang parameter diskrit -untuk seterusnya akan disebut sebagai rantai Markov saja-, peluang _Vt+1 berada pada keadaan it+1 bila diberikan berada pada keadaan iV_t t dinamakan

peluang transisi satu langkah dan dinotasikan dengan

1 , t t i i P ₊ . Di sini, 1 1 1 1 1 2 2 1 -1 1 1 , ( , , , , ( ) t t t t t t t t t t t i i ) t P V i V i V i V i V i P V i V i p ₊ + + − + + = = = = = = = = = dimana 1 1 1 , , 1 1 = 1 d a n 0 , 1, 2 , t t t t t n i i i i t t i p ₊ p ₊ i i + + = > = =

∑

(2.1.2) n

Disini it dan it+1 merupakan anggota himpunan bilangan asli karena dalam studi

kasus pada Bab IV yang dibahas adalah jenis-jenis basa nukleotida. Secara teoritis, it dan it+1 bisa berupa anggota dari sembarang himpunan bilangan diskrit

misalnya himpunan bilangan bulat atau 1,n 1, 2,

n

⎧ ₌ ⎫

⎨ ⎬

⎩ ⎭.

2.2 Sifat-Sifat Pada Rantai Markov

Salah satu karakteristik utama suatu rantai Markov adalah peluang-peluang transisinya. Peluang transisi tersebut menggambarkan peluang perpindahan dari satu keadaan ke keadaan lainnya. Dengan kata lain, ia menggambarkan peluang proses berada di satu keadaan bila diketahui keadaan proses pada satu waktu sebelumnya. Secara matematis, peluang transisi tersebut dapat ditulis sebagai berikut,

1

( )

ij t t

p =P V₊ = j V =i

dengan i dan j masing-masing menyatakan keadaan proses saat t dan t+1.

Peluang-peluang transisi tersebut penulisannya dapat dilakukan dalam berbagai cara seperti, 1 2

,

1, 2, ,

j j ij nj

p

p

p

j

n

p

⎧

⎪

⎪

=

_⎨

=

⎪

⎪⎩

atau 11 21 1 12 22 2 1 2 n n n n nn p p p p p p p p p ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ P … … … atau 11 12 1 21 22 2 1 2 n n n n nn p p p p p p p p p ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ P … … … ( )

Akan tetapi, bentuk umum yang dipakai adalah persamaan (c). Hal menguntungkan dengan menuliskan secara persamaan ini adalah dalam penerapan prinsip aljabar linear khusunya perkalian matriks. Dalam aljabar linear dua

( )a

matriks misal A dan B dapat dikalikan jika banyaknya kolom pada matriks

pertama (A) sama dengan banyaknya baris pada matriks kedua (B). Untuk

menyelaraskan aturan perkalian matriks dan persamaan Chapmann-Kolmogorof, maka peluang transisi sebaiknya dituliskan sebagai matriks peluang transisi,

11 12 1 21 22 2 1 2 n n n n nn

p

p

p

p

p

p

p

p

p

⎡

⎤

⎢

⎥

⎢

⎥

=

⎢

⎥

⎢

⎥

⎢

⎥

⎣

⎦

P

…

…

…

Matriks tersebut, seluruh elemennya non-negatif dan jumlah elemen dalam satu baris sama dengan satu yaitu,

0 ij p ≥ dan 1 1 , 1,2, , n ij j p i = = =

∑

n

Persamaan Chapmann-Kolmogorof sendiri akan dipaparkan dalam pembahasan selanjunya.

Selain peluang transisinya, rantai Markov juga ditentukan melalui distribusi peluangnya. Untuk rantai Markov dengan ruang parameter diskrit, distibusi peluang di waktu ke-t atau

π

t adalah

{

:

1, 2, , }

t t k

k

n

π

=

π

=

1 dimana 1 ( ) dan n t t k t k k P V k π π = = =

∑

=

Dengan kata lain, distribusi peluang

π

t menyatakan proporsi dari keadaan proses di waktu t. Perhatikan bahwa, 1 -1 1 1 0 0 1 -1 1 1 0 0 1 -1 1 1 0 0

(

, ,

,

,

)

(

, ,

,

) (

, ,

,

)

t t t t t t t t t t

P V i V

i

V i V

i

P V i V

i

V i V

i

P V

i

V i V

i

− − −

=

=

=

=

=

=

=

=

=

×

=

=

=

Dari definisi proses Markov pada persamaan (2.1.2),

1 -1 1 -1 1 1 0 0

(P V_t i V_{t t−} i_t ) ( P V_t− i_t , , V i V, i )

= = = × = = =

Dengan induksi maka diperoleh 0 0 1 1 2 1 0 0 1 1 0 0 2 2 1 1 1 -1 ( ) ( ) ( ) ( _{t t} t t t t i i i i i i i P V i P V i V i P V i V i P V i V i p p p p₋ − = = × = = × = = × × = = = ) ( )t

Ini menunjukkan bahwa sebuah rantai Markov ditentukan oleh distribusi peluang di awal proses yaitu saat t=0 dan peluang transisinya. Hubungan antara distribusi peluang dengan matriks peluang transisi adalah,

1

_P

0

t t

_P

π

₌

π

−

_×

₌

π

_×

Disini matriks P(t) adalah matriks peluang transisi t langkah dimana

( )

0

( =

t

ij t

p = P V = j V i ) merupakan elemen-elemen dari P(t)_.

Sebelum membahas mengenai matriks peluang transisi t langkah, perhatikan contoh berikut. Misalkan matriks peluang transisi untuk rantai Markov dengan tiga keadaan sebagai berikut,

2 1 2 5 5 5 1 1 1 3 3 3 4 2 1 7 7 7 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ P

Matriks peluang transisi di atas adalah matriks peluang transisi satu langkah. Jadi, misalkan {Vt} adalah rantai Markov dengan matriks peluang transisi P, maka

peluang transisi Vt = 1 bila proses berawal di Vt-1 = 3 yaitu P V( _t = 1 V_t−₁ = )3

adalah 4

7. Pertanyaan berikutnya adalah bagaimana jika yang ingin dicari ialah peluangnya jika diketahui V0 = 3. Dengan kata lain, ingin dicari peluang transisi t

langkah yaitu P V( _t = 1 V₀ = )3 .

Sebelumnya akan dibahas persamaan Chapman-Kolgomorov terlebih dahulu. Persamaan ini menyatakan bahwa peluang transisi dari keadaan i ke j dalam t langkah sama dengan peluang transisi dari i ke seluruh n-keadaan dalam t-m langkah, kemudian dilanjutkan dengan transisi ke keadaan j dari n-keadaan

tersebut dalam m langkah sisa. Dengan memanfaatkan Law of Total Probability dapat dibuktikan bahwa,

( ) ( ) ( ) 0 1 ( ) n t t ij t ik kj k p P V j V i p − p = = = = =

∑

m m

Untuk m = 1 maka diperoleh

n ( ) (( 1) 1) ( 1) 1 t t t ij ij ik kj k p p − + p − = = =

∑

p

P

Tampak bahwa persamaan diatas merupakan perkalian antara baris dan kolom dari dua matriks. Bila P(t) adalah matriks peluang transisi t langkah maka,

( ) ( 1)

P

t

₌

P

t−

_×

Dengan menggunakan induksi diperoleh

( ) 1 = ( ) = x = t t t − × × × × P P P P P P P P

Akibatnya, peluang berada di keadaan i saat ini dan di keadaan j setelah t kurun waktu, tidak lain adalah elemen baris ke-i dan kolom ke-j dari

( )

P

t

P P

P P

t

t

= × × × =

Seringkali, selain perhitungan distribusi peluang di waktu ke-t, perhitungan distribusi peluang setelah proses berjalan lama yaitu πt untuk t → ∞ yang dinamakan distribusi limit juga menarik untuk dipelajari. Konsep ini sangat penting karena dapat memprediksi keadaan sistem setelah ia berjalan lama. Dengan kata lain, dapat dipelajari kelakuan dari sistem setelah ia ’stabil’. Untuk menganalisa kelakuan tersebut, kita memerlukan pengetahuan mendasar tentang klasifikasi dari keadaan suatu rantai makov. Akan tetapi, sebelumnya akan dibahas terlebih dahulu mengenai rantai Markov dengan matriks peluang transisi regular dan bagaimana distribusi limitnya. Misalkan P adalah matriks peluang transisi dari suatu rantai Markov dengan n keadaan yaitu 1, 2,…,n. Matriks P disebut regular jika memenuhi:

(2.2.3)

(2.2.4)

(i) Untuk setiap pasangan keadaan i dan j, selalu ada keadaan k1, k2,…, kt

dimana .

1 1 2 t 0

ik k k k j

p p p >

Perhatikan syarat pertama untuk matriks regular dimana yang merupakan komponen dari elemen-elemen matriks peluang transisi t langkah pada persamaan (2.2.3). Dari syarat tersebut, dapat disimpulkan bahwa untuk suatu matriks peluang transisi regular, maka terdapat t dimana peluang transisi dari satu keadaan ke keadaan lainnya dalam t langkah selalu bernilai positif. Dengan kata lain, maka secara sederhana suatu matriks peluang transisi P dikatakan regular jika memiliki sifat yaitu jika dipangkatkan oleh suatu konstanta positif k maka matriks P

1 1 2 t 0

ik k k k j

p p p >

k _{seluruh elemennya bernilai positif. Matriks peluang transisi yang}

demikian serta rantai Markov yang berkaitan dengannya disebut regular.

Salah satu hal penting yang berkaitan dengan rantai Markov regular yaitu adanya distribusi peluang limit π =( ,π π_{1 2}, ,π_n) dimana πj > 0 untuk j = 1, 2, …, n dan

. Secara formal, untuk matriks peluang transisi regular P, maka terdapat

konvergensi, 1 1 n j j π = =

∑

0 lim ( _t ) _j 0, 1, 2, , t→∞P V = j V = =i π > j= n

Konvergensi ini memiliki arti bahwa untuk jangka waktu yang lama (t → ∞), peluang memperoleh rantai Markov berada pada keadaan j adalah πj tanpa

mempedulikan keadaan awal yaitu saat 0. Berikut ini teorema yang dapat digunakan untuk mencari distribusi limit dari suatu rantai Markov regular,

Teorema 1 Untuk P suatu matriks peluang transisi rantai Markov regular dengan anggota ruang keadaannya 1, 2, …, n, maka distribusi limit

1 2

( , , , _n)

π = π π π adalah solusi unik dari persamaan

1 1, 2, , n j k kj k p j π π = =

∑

= n dan 1 1 n k k

π

= =

∑

(2.2.5) (2.2.6) (2.2.7)

Memeriksa apakah suatu rantai Markov memiliki distribusi limit dengan melihat sifat regular matriks peluang transisinya memang mudah untuk dilakukan. Akan tetapi, dalam beberapa kasus elemen-elemen matriks peluang transisi seluruhnya baru akan bernilai positif untuk t yang sangat besar. Oleh karena itu, apalagi untuk rantai Markov yang memiliki banyak keadaan, cara ini tidak selalu memberikan hasil yang memuaskan. Dalam hal memeriksa apakah suatu rantai Markov memiliki distribusi limit tanpa melihat sifat regularnya, pengetahuan mengenai klasifikasi keadaan suatu rantai makov diperlukan.

Tidak semua rantai Markov merupakan rantai Markov yang regular. Perhatikan beberapa contoh berikut ini. Rantai Markov yang mempunyai matriks peluang transisi berupa matriks identitas sebagai berikut,

1 0 0 0 1 0 0 0 1 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ = P

Dari waktu ke waktu, rantai Markov ini tidak pernah berubah keadaan. Karena Pt = P untuk semua t, maka rantai Markov {Vt} mempunyai distribusi limit, yang

bergantung pada keadaan awal. Sebaliknya, matriks peluang transisi berikut, 0 0 1 0 1 0 1 0 0 ⎡ ⎤ ⎢ ⎥ = ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ P

Rantai Markov ini akan selalu berubah, tidak pernah berada dalam keadaan yang sama untuk dua waktu yang berurutan. Rantai Markov ini bersifat periodik dan tidak mempunyai distribusi limit. Jika t ganjil, maka Pt = P, dan jika t genap, maka Pt adalah matriks identitas berukuran 3 x 3.

Perhatikan matriks peluang transisi berikut ini,

1 1 2 2 0 1 ⎡ ⎤ ⎢ ⎥ = ⎢ ⎥ ⎣ ⎦ P

1 1 1 2 2 0 1 t t t ⎡_{⎛ ⎞ ⎛ ⎞} ⎤ − ⎢⎜ ⎟ ⎜ ⎟ ⎥ = ⎝ ⎠_⎢ ⎝ ⎠ _⎥ ⎢ ⎥ ⎣ ⎦ P

dan limitnya adalah

0 1 lim 0 1 t t→∞ ⎡ ⎤ = ⎢ ⎥ ⎣ ⎦ P

Disini, keadaan 1 adalah transient, yaitu setelah prosesnya dimulai dari keadaan 1 maka terdapat peluang yang positif bahwa keadaanya tidak akan kembali lagi. Suatu keadaan i dikatakan transient jika dan hanya jika, setelah proses yang berawal dari keadaan i, ada kemungkinan bahwa proses tersebut tidak akan kembali ke keadaan i. Sedangkan keadaan i dikatakan reccurent jika dan hanya jika, setelah proses berawal dari keadaan i, peluang untuk kembali ke keadaan i setelah suatu selang interval waktu tertentu sama dengan satu.

Sebelum mendefinisikan keadaan transient dan reccurent secara matematis, terlebih dahulu definisikan t ( , , 1, 2, , -1 ₀

ij t u )

f =P V = j V ≠ j u= t V = i yaitu peluang dimana, dimulai dari keadaan i, proses akan pindah untuk pertama kali ke keadaan j dalam t langkah. Jadi, t ( , , 1, 2, , -1 ₀

ii t u )

f =P V =i V ≠ j u= t V = i merupakan peluang proses pertamakali kembali ke keadaan i dalam t langkah. Selanjutnya, jika proses berawal dari keadaan i, maka peluang ia kembali ke keadaan i suatu waktu adalah

( ) ( ) 0 0 lim T t t ii ii _T ii t t f ∞ f f →∞ = = =

∑

=

∑

Jadi, berdasarkan definisi sebelumnya, jika i reccurent maka fii = 1 yaitu setelah

proses berawal dari keadaan i, maka ia pasti akan kembali ke i dan jika i transient maka fii < 1.

Teorema 2 Ruang keadaan i dikatakan reccurent jika dan hanya jika,

1 t ii t

p

∞ =

= ∞

∑

(2.2.8) (2.2.9)

Dan ruang keadaan i dikatakan transient jika dan hanya jika, 1 t ii t

p

∞ =

< ∞

∑

Bukti Pertama, misalkan keadaan i merupakan transient dimana berdasarkan

definisi fii < 1 dan M yang menyatakan banyaknya proses kembali ke keadaan i.

Disini M berdistribusi geometrik dimana

0 ( ) ( ) , =1,2,k ii P M k V≥ = =i f k dan 0 ₁ ii ii f E M V i f ⎡ ⎤ ⎣ = =⎦ ₋

Tulis I sebagai peubah acak indikator

1 I 1{ _t t V i ∞ = =

∑

= } } 0 t t t V i V V i ⎧ ⎨ ⎩ dengan 1{ 1 (2.2.10) = = ≠

Karena i transient, maka dari definisi diperoleh E⎡_⎣I V₀ = < ∞i⎤_⎦ sehingga

( ) 0 1 1 0 1{ } I t ii t t t p E V i V i E V i ∞ ∞ = = ⎡ ⎤ ⎣ ⎦ ⎡ ⎤ ⎣ ⎦ = = = = = < ∞

∑

∑

Sebaliknya, misalkan ( ) 1 t ii t p ∞ = <∞

∑

maka 0 I 1 1 0 1 ii ii ii ii f E V i f f f ⎡ ⎤ ⎣ = =⎦ ₋ < ⇒ − > ⇒ < ∞

sehingga terbukti bahwa i merupakan transient.

Dua sifat diatas merupakan contoh bagaimana sifat dari peluang transisi dan ruang keadaan akan mempengaruhi rantai Markov yang dibawanya. Beberapa definisi dan klasifikasi dari ruang keadaan dan matriks peluang transisi diperlukan untuk mengetahui berbagai macam kemungkinan mengenai sifat limit rantai Markov yang terkait.

Selanjutnya, akan dibahas konsep komunikasi sebagai berikut. Keadaan j dikatakan dapat dicapai (accessible) dari keadaan i jika terdapat bilangan bulat n ≥ 0 dimana . Dengan kata lain, terdapat peluang positif bahwa dalam berhingga transisi keadaan j dapat dicapai dari keadaan i. Jika keadaan j dapat dicapai dari keadaan i dan keadaan i dapat dicapai dari keadaan j, maka i dan j dikatakan saling berkomunikasi, dan dinotasikan dengan i ↔ j. Jika dua keadaan i dan j tidak saling berkomunikasi, maka

0 n ij p > 0 n ij p = atau n 0 ji p = untuk setiap n ≥ 0.

Konsep komunikasi merupakan suatu relasi ekivalen. Perhatikan bahwa,

(i) Jika i adalah keadaan dari suatu rantai Markov sebarang, jelas bahwa i ↔ i karena (sifat refleksi). p_ii =1

(ii) Jika i ↔ j, maka dari definisi berkomunikasi, j ↔ i karena i dapat dicapai dari j dan j dapat dicapai dari i (sifat simetri).

(iii) Jika i ↔ j dan j ↔ k, maka i ↔ k (sifat transitif)

Bukti (sifat transitif) Misalkan i ↔ j dan misalkan j ↔ k, maka terdapat bilangan

bulat positif n1 dan n2 sehingga dan . Sementara itu, terdapat

bilangan bulat positif m

1 0 n ij p > n2 0 ji p >

1 dan m2 sehingga dan . Maka

dan , atau dengan kata lain i ↔ k.

1 0 m jk p > m2 0 kj p > n m1 1 0 ik p + > 2 2 0 n m ki p + >

Dengan relasi ekivalen tersebut, ruang keadaan suatu rantai Markov dapat dikelompokkan ke dalam kelas-kelas ekivalen. Jika suatu rantai Markov hanya memiliki satu kelas ekivalen, yaitu jika semua keadaannya saling berkomunikasi, maka rantai Markov tersebut disebut tak tereduksi.

Selanjutnya, ada yang disebut sebagai periode rantai Markov. Periode dari keadaan i, dinotasikan dengan d(i), didefinisikan sebagai faktor persekutuan terbesar (FPB) dari semua bilangan bulat m ≥ 1 dengan m 0 (Jika

ii

p ≥ m 0

ii

p = untuk setiap m ≥ 1, didefinisikan d(i) = 0 ). Misalkan rantai Markov dengan matriks peluang transisi sebagai berikut,

0 1 0 1 2 = 0 3 3 1 1 0 2 2 ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ P Jelas bahwa, 0 1 0 0 1 2 1 0 1 2 1 2 1 2 2 1 0 1 2 → → → → → → → → → → → → → → Maka, d(0) = d(1) = d(2) = 2

Rantai Markov yang setiap ruang keadaannya memiliki periode 1 disebut aperiodik. Sebagian besar rantai Markov adalah aperiodik.

Perhatikan suatu keadaan reccurent i, maka untuk Ri yang menyatakan waktu

kembali pertama kali ke i,

0

min{ 0; }

i

R = t≥ V = i

Peluang kembali pertamakali ke i, fiidapat dituliskan sebagai berikut,

0

( ) 1, 2,

t

ii i

f =P R =t V =i t=

Karena i merupakan keadaan yang bersifat reccurent, berlaku fii = 1. Maka, mean

banyaknya transisi yang diperlukan untuk kembali ke keadaan i adalah

0 1 t i i t ii E R V i tf η ∞ = = ⎡_⎣ = ⎤ =_⎦

∑

Setelah mulai di i, selanjutnya secara rata-rata, proses akan berada di i satu kali setiap η_i = ⎡E R V_{⎣ i 0} = ⎤i_⎦ satuan waktu. Teorema limit dasar rantai Markov berikut memperjelas hasil tersebut,

Teorema 3 (Teorema Limit Dasar Rantai Markov)

(i) Jika suatu rantai Markov yang tak tereduksi adalah positif reccurent dan aperiodik, maka terdapat limit peluang

1 1 1 lim t , 1, 2, , ii t _t i ii t p i tf η ∞ →∞ = = = =

∑

n t

(ii) Dibawah kondisi yang sama seperti di (i), lim t lim

ij jj

t→∞ p =t→∞ p untuk j = 1,2,… .

Jika lim t 0 untuk satu i dalam kelas aperiodik reccurent, maka π

jj

t→∞ p > j > 0 untuk

setiap j dalam kelas i. Dalam kasus ini, kelas tersebut dinamakan positif reccurent atau ergodik kuat. Jika setiap πj = 0 dan kelasnya reccurent, maka kelas tersebut

dinamakan null reccurent atau ergodik lemah. Dalam istilah waktu pertama kembali, R_i =min{t≥0;V₀ = , keadaan i disebut positif reccurent jika mean i} banyaknya transisi yang diperlukan untuk kembali berhingga dan disebut null reccurent jika sebaliknya. Selanjutnya akan dilihat tentang peluang stasioner dari teorema berikut ini,

Teorema 4 Jika suatu rantai Markov yang tak tereduksi adalah positif reccurent

dan aperiodik, maka terdapat limit peluang

lim t 0, , 1, 2, ,

ij j

t→∞ p =π > i j= n

dimana bebas dari keadaan i pertama dengan πj untuk j=1,2,…,n dan πj disebut

peluang stasioner untuk suatu rantai Markov (longrun fraction of transition entering j or leaving j).

Definisi 1 (Stasioner) Suatu distribusi peluang Pj, j ≥ 0 dikatakan stasioner untuk

suatu rantai Markov jika

1 1 0 0 1 1 ( ) ( ) ( ) _{j ij} i i P V j ∞ P V j V i P V i ∞ p p = = = =

∑

= = = =

∑

dengan induksi dapat diperoleh,

0 0 1 1 ( ) ( ) ( ) t t t i i P V j ∞ P V j V i P V i ∞ p p = = = =

∑

= = = =

∑

_{j ij}

Dengan kata lain, peluang stasioner adalah peluang dimana untuk suatu t → ∞ maka terjadinya transisi ke suatu keadaan, baik keluar maupun masuk dari suatu keadaan, nilainya relatif tidak berubah. Sehingga, πj itu sendiri merupakan solusi

1 1, 2, , n j k ij i p j π π = =

∑

= n dan 1 1 n i i π = =

∑

Dalam bentuk matriks, persamaan diatas dapat ditulis sebagai, Π = Π P dimana 1 2 n π π π ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ Π = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ (2.2.15) (2.2.16)

2.3 Orde Rantai Markov dan Sifat-Sifatnya

Pandang peluang bersyarat dari suatu rantai Markov pada persamaan (2.1.2). Andaikan peluang keadaan saat t, Vt tidak hanya bergantung kepada Vt-1

melainkan juga bergantung pada Vt-2, Vt-3, dan seterusnya, artinya kita bekerja

dengan rantai Markov yang disebut sebagai rantai Markov berorde lebih dari satu.

Definisi 2 (Orde Rantai Markov) Suatu rantai Markov dikatakan berorde-r atau

Ō(r) jika kemunculan Vt hanya bergantung secara langsung pada r keadaan

sebelumnya yaitu Vt-1, Vt-2, …, Vt-r dan independen dengan keadaan lainnya.

Dengan demikian, untuk suatu Ō(r) berlaku

( 1) 1 1 1 ( 1) ( 1) 0 0 1 1 ( 1) ( 1) ( , , , , , ( , , , ) _{t r t r t t} t t t t t r t r t r t r t t t t t r t r t r t r i i i i P V i V i V i V i V i P V i V i V i V i p_{− − − −} − − − − − − − − − − − − − − − − = = = = = = = = = = = )

Berdasarkan definisi diatas, untuk selanjutnya rantai Markov yang telah umum dikenal seperti pada (2.1.2) dinamakan rantai Markov berorde-1, Ō(1) dan jika setiap keadaannya tidak bergantung satu sama lain atau saling bebas maka dinamakan rantai Markov berorde-0, Ō(0).

Taylor dan Karlin [3] memberi saran mengenai penulisan peluang transisi dan matriks peluang transisi untuk rantai Markov berorde tinggi. Dalam literatur tersebut memang tidak disebutkan secara langsung mengenai orde rantai Markov melainkan hanya diberikan ilustrasi berikut sebagai contoh,

Contoh 1 (Rantai Markov Orde-2) Misalkan cuaca pada suatu hari bergantung

pada keadaan cuaca selama dua hari sebelumnya. Diketahui bahwa jika hari ini dan kemarin cerah, maka besok akan cerah juga dengan peluang 0,8; jika hari ini cerah tapi kemarin hujan, maka besok akan cerah dengan peluang 0,6; jika hari ini hujan tapi kemarin cerah, maka besok akan cerah dengan peluang 0,4; dan jika terjadi baik hari ini maupun kemarin hujan, peluang besok cerah adalah sebesar 0,1. Dengan Vt menyatakan keadaan saat t,

V

_t+1∈S={1 ≡ hujan, 2 ≡ cerah}

peluang transisinya dapat ditulis sebagai berikut,

1 1 1 1 1 1 1 1 1 1 ( , ) ( , , ) t t t t t t t t t t t t t t t t t i i i P V i V i V i P V i V i V i V i p_{− +} + + − − + + − − = = = = = = = = =

dan matriks peluang tansisinya adalah,

111 112 121 122 211 212 221 222 (1,1) (1,2) (2,1) (2,2) 0 0 (1,1) 0,8 0, 2 0 0 0 0 (1,2) 0 0 0, 4 0,6 0 0 (2,1) 0,6 0, 4 0 0 0 0 (2,2) 0 0 0,1 0,9 P P P P P P P P ⎡ ⎤ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ = = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ P

Terdapat elemen-elemen bernilai 0 misalnya pada baris pertama,

1 1 1 1 ( 1, 2 1, 1) ( 2, 2 1, 1) t t t t t t t t P V V V V P V V V V + − + − 0 0 = = = = = = = = = =

karena tidak mungkin proses berada pada dua keadaan yang berbeda dalam satu kurun waktu dimana dalam hal ini Vt =1 dan Vt =2 sekaligus.

Dengan menulis peluang transisinya seperti pada (2.3.2), secara tersirat keadaannya sekarang menjadi (

V

_t−1,

V

_t)∈S*_{={(1,1),(1,2),(2,1),(2,2)} dimana S}*

adalah ruang keadaan baru dimana anggota-anggotanya merupakan pasangan terurut dari anggota ruang keadaan semula. Secara umum berdasarkan (2.3.2), menurut Taylor dan Karlin peluang transisi untuk Ō(r) adalah,

(2.3.2)

( 1) 1 1 1 ( 1) ( 1) 1 1 ( 1) ( 1) 1 1 ( 1) ( 1) ( , , , ) ( , , , , , , ) t r t r t t t t t t t r t r t r t r t t t t t r t r t t t r t r t r t r i i i i P V i V i V i V i P V i V i V i V i V i V i p_{− − − −} − − − − − − − − − − − − − − − − − − − − − − = = = = = = = = = = = = 0 0 0 0 0

Sementara itu, berdasarkan (2.3.4) maka matriks peluang transisinya adalah,

11 11 11 1 11 21 11 2 1 1 1 21 11 21 1 21 21 21 2 2 1 2 1 11 1 1 1 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 n n n n n nn n n n n n nn n n n n p p p p p p p p p p p p p p p = P 1 1 2 1 0 0 0 0 0 0 0 0 0 0 n n nn n nn nn p p p ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦

yaitu sebuah matriks persegi berukuran nr x nrdengan elemen-elemennya,

1 1 1 1 1 1 ( , , , ) ( , , , , , , ) (2.3.4) (2.3.5) ij kl t t t r t r t t t r t t r t r p P V l V k V j V i P V l V k V j V k V j V − − + − − − + − − + − = = = = = = = = = = = = i

Dengan mempertahankan bentuk tersebut, kita dapat melakukan perhitungan seperti mencari matriks peluang transisi t langkah dan distribusi stasioner dengan cara yang serupa dengan Ō(1). Perhatikan bahwa berdasarkan (2.2.3) dan (2.3.4) maka peluang transisi t langkahnya adalah,

1 1 0 1 1 0 1 1 0 1 0 1 1 0 1 1 1 ( , ) ( , , ) ( , ) ( , ) ( , , ) ( , , ) n t t t k n t t t k n t t t t k P V l V j V i P V l V k V j V i P V l V k V i P V k V j V i P V l V k V k V i P V k V j V j V i + + = + = + = = = = = = = = = = = = = = = = 0 = = = = = = = = =

∑

∑

∑

Bila P(t) adalah matriks peluang transisi t langkah maka,

( )t

₌

( 1)t−

_×

P

P

P

dengan menggunakan induksi diperoleh

( ) 1 = ( ) = = t t t − × × × × × P P P P P P P P

Disini, sifat dari matriks peluang transisi t langkah sebagai pangkat t dari matriks peluang transisi satu langkah dipertahankan untuk Ō(r) dengan matriks peluang transisi seperti pada (2.3.5).

Sebagai contoh dari (2.3.3) akan dihitung peluang transisi untuk 2 langkah yaitu

2 2 1 1 ( _{t t t t}, _{t t} P V₊ =i₊ V =i V₋ =i₋ ) ⎤ ⎥ ⎥ ⎥ ⎥ ⎦ . Karena, 2 0,8 0, 2 0 0 0,8 0, 2 0 0 0.64 0.16 0.08 0.12 0 0 0, 4 0,6 0 0 0, 4 0,6 0.24 0.16 0.06 0.54 0,6 0, 4 0 0 0,6 0, 4 0 0 0.48 0.12 0.16 0.24 0 0 0,1 0,9 0 0 0,1 0,9 0.06 0.04 0.09 0.81 = × ⎡ ⎤ ⎡ ⎤ ⎡ ⎢ ⎥ ⎢ ⎥ ⎢ ⎢ ⎥ ⎢ ⎥ ⎢ = = ⎢ ⎥ ⎢ ⎥ ⎢ ⎢ ⎥ ⎢ ⎥ ⎢ ⎣ ⎦ ⎣ ⎦ ⎣ P P P

dengan elemen-elemennya adalah P V( _t+2 =i_t+2,V_t+1=i_t+1 V_t =i V_t, _t−1 =i_t−1) maka peluang transisi 2 langkahnya adalah,

2 2 1 2 1 1 1 (i) ( _t 1 _t 1, _t 1) ( _t 1, _{t t} 1, _t 1) 0.64 0.08 0.72 k P V₊ V V₋ P V₊ V₊ k V V₋ = = = = =

∑

= = = = = + = 2 2 1 2 1 1 1 (ii) ( _t 2 _t 1, _t 1) ( _t 2, _{t t} 1, _t 1) 0.16 0.12 0.28 k P V₊ V V₋ P V₊ V₊ k V V₋ = = = = =

∑

= = = = = + = 2 2 1 2 1 1 1 (iii) ( _t 1 _t 2, _t 1) ( _t 1, _{t t} 2, _t 1) 0.24 0.06 0.3 k P V₊ V V₋ P V₊ V₊ k V V₋ = = = = =

∑

= = = = = + = (2.3.6) (2.3.7)

2 2 1 2 1 1 1 (iv) ( _t 2 _t 2, _t 1) ( _t 2, _{t t} 2, _t 1) 0.16 0.54 0. k P V₊ V V₋ P V₊ V₊ k V V₋ = = = = =

∑

= = = = = + = 70 2 2 1 2 1 1 1 (v) ( _t 1 _t 1, _t 2) ( _t 1, _{t t} 1, _t 2) 0.48 0.16 0.64 k P V₊ V V₋ P V₊ V₊ k V V₋ = = = = =

∑

= = = = = + = 2 2 1 2 1 1 1 (vi) ( _t 2 _t 1, _t 2) ( _t 2, _{t t} 1, _t 2) 0.12 0.24 0. k P V₊ V V₋ P V₊ V₊ k V V₋ = = = = =

∑

= = = = = + = 36 2 2 1 2 1 1 1 (vii) ( _t 1 _t 2, _t 2) ( _t 1, _{t t} 2, _t 2) 0.06 0.09 0.15 k P V₊ V V₋ P V₊ V₊ k V V₋ = = = = =

∑

= = = = = + = 2 2 1 2 1 1 1 (viii) ( 2 2, 2) ( 2, 2, 2) 0.04 0.81 0.85 ⎤ ⎥ ⎥ ⎥ ⎥ ⎦ t t t t t t t k P V₊ V V₋ P V₊ V₊ k V V₋ = = = = =

∑

= = = = = + = Selanjutnya untuk t → ∞, 0,8 0, 2 0 0 0.2727 0.0909 0.0909 0.5455 0 0 0, 4 0,6 0.2727 0.0909 0.0909 0.5455 lim lim 0,6 0, 4 0 0 0.2727 0.0909 0.0909 0.5455 0 0 0,1 0,9 0.2727 0.0909 0.0909 0.5455 t t t→∞ t→∞ ⎡ ⎤ ⎡ ⎢ ⎥ ⎢ ⎢ ⎥ ⎢ = = ⎢ ⎥ ⎢ ⎢ ⎥ ⎢ ⎣ ⎦ ⎣ P dengan 1 1 1 (i) π =P V( _t= =1) P V( _t=1,V_t− = +1) P V( _t=1,V_t− = =2) 0.2727 0.0909 0.3636+ = 2 1 1 (ii) π =P V( _t= =2) P V( _t=2,V_t− = +1) P V( _t=2,V_t− = =2) 0.0909 0.5455 0.6364+ =

Meski secara matematis menjadi lebih mudah, penulisan matriks peluang transisi seperti ini akan menimbulkan kesulitan dalam perhitungan. Untuk matriks berukuran nrx nr, sekurang-kurangnya terdapat (nr-n) x nrelemen bernilai nol dan

hanya nr x n elemen yang menyatakan peluang transisi sebenarnya. Oleh karena itu, bagi Ō(r) diperlukan matriks peluang transisi yang lebih sederhana dan ringkas dari (2.3.5).

Salah satu cara untuk menyederhanakan matriks untuk rantai Markov berorde lebih dari satu adalah dengan hanya memperhatikan elemen yang menyatakan peluang transisi sebenarnya dan menghilangkan sisanya yaitu sebanyak (nr-n) x nr elemen bernilai nol. Cara penulisan seperti ini secara umum akan menghasilkan matriks berukuran nr x n,

11 11 11 12 11 1 11 21 11 22 11 2 1 1 1 2 1 21 11 21 12 21 1 21 21 21 22 21 21 2 1 2 2 2 1 11 1 12 1 1 1 21 1 22 1 1 2 n n n n n n n nn n n n n n n n nn n n n n n n n nn n nn n nn nn p p p p p p p p p p p p p p p p p p p p p p p p p p p ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ = ⎣ P ⎤ n n ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ _⎥⎦ dengan elemen-elemennya 1 1 ( , , , ij kl t t t r t r ) p = P V =l V₋ =k V_{− +} = j V₋ =i .

Berdasarkan (2.3.8), pada Contoh 1 matriks peluang transisinya cukup ditulis,

111 112 121 122 211 212 221 222 0,8 0, 2 0, 4 0,6 0,6 0, 4 0,1 0,9 p p p p p p p p ⎡ ⎤ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ = = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ _{⎥ ⎣} ⎦ ⎣ ⎦ P

Untuk matriks peluang transisi yang telah dimodifikasi seperti pada (2.3.8), perkalian matriks secara biasa tidak dapat dilakukan karena banyaknya kolom matriks tersebut adalah n dan banyaknya baris adalah nr_{. Oleh karena itu,}

diperlukan aturan perkalian matriks yang berbeda. Aturan perkalian yang baru tentunya harus tetap mempertahankan persamaan Chapmann-Kolmogorof karena tujuan mengalikan matriks disini adalah untuk mencari matriks peluang transisi t langkah.

Perhatikan persamaan (2.2.4) dengan t = 2 dan P adalah matriks seperti pada (2.3.8). Di sini yang diinginkan adalah P(2) = P2 = P x P. Berdasarkan (2.3.6)

elemen-elemen dari P2 adalah,

2 1 2 1 1 1 (2) 1 ( _{t t} , _t ) n ( _{t t} , _t ) ( _{t t} , _t k n ijl ijk jkl k P V l V j V i P V l V k V i P V k V j V i p p p + − + + + = = = = = = = = = = = = ⇒ =

∑

∑

1 ) −

Oleh karena itu, langkah-langkah perkaliannya adalah sebagai berikut,

(2.3.9)

(i) Bagi matriks P kedalam n submatriks Anxn sebagai berikut,

1 2 n

A

A

A

⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦

=

P

dengan 1 11 1 12 1 1 11 12 1 1 21 1 22 1 2 21 22 2 1 2 1 2 i i i i i i n i i i i i i n i i i in nn in n in n nn n n

p

p

p

a

a

a

p

p

p

a

a

a

p

p

p

a

a

a

⎡ ⎤ _n n ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢₌ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ⎣ ⎦

=

i

A

_{, i = 1,2,…,n}

(ii) Elemen baris ke-i submatriks ke-j dari P2 adalah perkalian antara baris ke-i submatiks ke-j dari P dengan submatriks ke-i dari P.

(iii) Matriks peluang transisi t langkahnya adalah Pt = P x Pt-1.

Sebagai contoh, dari Contoh 1 maka matriks peluang transisinya adalah,

1 2 0,8 0, 2 0, 4 0,6 0,6 0, 4 0,1 0,9 ⎡ ⎤ ⎢ _{⎥ ⎡ ⎤} ⎢ _{⎥ = ⎢ ⎥} ⎢ _{⎥ ⎣ ⎦} ⎢ ⎥ ⎣ ⎦ A P = A dengan ₁ 0.8 0.2 0.4 0.6 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ A = dan ₂ 0.6 0.4 0.1 0.9 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦

A = . Maka matriks peluang transisi dua

2 0,8 0, 2 0,8 0, 2 0.72 0.28 0, 4 0,6 0, 4 0,6 0.3 0.7 0,6 0, 4 0,6 0, 4 0.54 0.36 0,1 0,9 0,1 0,9 0.15 0.85 = × ⎡ ⎤ ⎡ ⎤ ⎡ ⎢ ⎥ ⎢ ⎥ ⎢ ⎢ ⎥ ⎢ ⎥ ⎢ = = ⎢ ⎥ ⎢ ⎥ ⎢ ⎢ ⎥ ⎢ ⎥ ⎢ ⎣ ⎦ ⎣ ⎦ ⎣ P P P ⎤ ⎥ ⎥ ⎥ ⎥ ⎦ Selanjutnya untuk t → ∞, 0,8 0, 2 0.3636 0.6364 0, 4 0,6 0.3636 0.6364 lim lim 0,6 0, 4 0.3636 0.6364 0,1 0,9 0.3636 0.6364 t t t→∞ t→∞ ⎡ ⎤ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ = = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ P