BAB IV APLIKASI PADA MATRIKS STOKASTIK

BAB IV : APLIKASI PADA MATRIKS STOKASTIK 56

BAB IV

APLIKASI PADA MATRIKS

STOKASTIK

Salah satu aplikasi dari Teori Perron-Frobenius yang paling terkenal adalah penurunan secara aljabar untuk beberapa sifat yang dimiliki oleh matriks stokastik. Penurunan sifat matriks stokastik ini lebih dikhusukan untuk matriks stokastik berdasarkan teori rantai Markov diskrit. Pada bab ini akan difokuskan aplikasi Teori Perron-Frobenius dalam mencari distribusi limit dari rantai Markov tersebut.

4.1 Matriks Stokastik dan Rantai Markov

Matriks persegi nonnegatif disebut stokastik baris, yaitu jika jumlah pada setiap barisnya adalah satu. Secara umum, stokastik baris ini cukup disebut dengan stokastik. Matriks stokastik kolom sendiri didefinisikan serupa, yaitu jika jumlah pada setiap kolomnya adalah satu.. Namun, pada pembahasan tugas akhir ini dibatasi hanya untuk kasus matriks stokastik (baris).

Matriks stokastik berperan penting dalam teori rantai Markov yang merupakan bagian dari proses stokastik. Proses stokastik itu sendiri didefinisikan sebagai barisan peubah acak

{

X t_t, ∈T , yaitu untuk setiap

}

t∈T kita mempunyai

BAB IV : APLIKASI PADA MATRIKS STOKASTIK

peubah acak . Seringkali kita menginterpretasikan indeks t sebagai waktu, karena banyak sekali proses stokatik yang terjadi pada suatu selang waktu. Nilai peubah acak disebut dengan keadaan pada saat t. Himpunan T disebut ruang parameter atau ruang indeks dari proses stokastik dan himpunan semua nilai yang mungkin disebut dengan ruang keadaan (state). Proses stokastik dengan ruang parameter diskrit dan ruang keadaan diskrit ini dikenal dengan rantai Markov. Rantai Markov ini memiliki sifat khusus, yaitu

t X t X t X

(

t+1 = j/ t = it, t−1= it−1,..., 0 = i0

) (

t+1= j/ = it

)

P X S X S X S X S =P X S X_t S

untuk setiap t=0,1, 2...., dengan ruang keadaannya adalah

{

S S₁, ₂,....,S_n

}

. Sifat khusus tersebut menyatakan bahwa prosesnya bersifat memoryless, yaitu peluang kejadian pada periode berikutnya hanya dipengaruhi periode saat ini sedangkan periode sebelumnya tidak memiliki pengaruh apapun.

Rantai Markov dapat dinyatakan dengan menggunakan matriks stokastik. Untuk membuktikan hal tersebut, perhatikan bahwa nilai

adalah peluang berada di state

(

/ 1

)

ij t j t i

p =P X =S X ₋ =S

j

S pada periode ke-t diberikan bahwa pada periode ke-

(

t−1

)

berada di states S_i. Nilai p disebut dengan peluang transisi _ij dari state S_i ke state S pada periode ke-j t. Matriks peluang transisi

merupakan matriks nonnegatif dan jumlah dari elemen pada setiap barisnya pasti bernilai satu, sehingga

( )

( )

× = ⎣⎡

n n t pij t

P ⎤⎦

( )

t

P adalah matriks stokastik. Jika,

peluang transisi tidak bergantung pada waktu (yaitu p_ij

( )

t = p untuk setiap _ij t), maka rantai tersebut dikatakan stasioner atau homogen dan matriks transisinya adalah matriks stokastik konstan P= ⎣ ⎦⎡ ⎤p_ij .

BAB IV : APLIKASI PADA MATRIKS STOKASTIK

Selanjutnya, akan disajikan beberapa teorema yang menunjukkan sifat matriks stokastik. Pada teorema berikut ini diberikan nilai spectral radius untuk matriks stokastik.

Teorema 4.1 Misalkan P_{n n×} adalah matriks stokastik, maka ρ

( )

P =1.

Bukti. Matriks adalah matriks dengan jumlah elemen pada setiap barisnya

adalah satu atau ×

n n

P

1 ∞ =

P atau secara ekivalen, Pe=e, dimana e adalah vektor dengan elemennya bernilai satu. Karena

( )

1, e adalah pasangan karakteristik untuk setiap matriks stokastik dan karena ρ

( )

∗ ≤ ∗ untuk setiap norm matriks, maka 1≤ρ

( )

P ≤ P _∞ =1 ⇒ ρ

( )

P =1

= ⎜

⎝ ⎠

P

.

Lebih jauh lagi, e adalah vektor karakteristik positif yang berkorespondensi dengan . Namun, hal ini bukan berarti bahwa adalah vektor Perron untuk karena bisa tidak tak tereduksi. Sebagai contoh, perhatikan matriks . Matriks tidak tak tereduksi dan bukan vektor Perron untuk P .

( )

1 ρ P = e P P 0.5 0.5 0 1 ⎛ ⎞ ⎟ P e

4.2 Vektor Distribusi Peluang

Vektor distribusi peluang didefinisikan sebagai vektor nonnegatif

(

1 2

)

pT = p p, ,...,p_n dimana 1 1 = =

∑

n j j

p . Untuk Rantai Markov dengan buah state, vektor distribusi peluang langkah ke-k didefinisikan sebagai

n

( )

(

1

( ) ( )

2

( )

)

pT k = p k ,p k ,...,p_n k , k=0,1, 2,..., dimana p_j

( )

k =P X

(

_k =S_j

)

. Dengan kata lain, p k adalah peluang berada di state _j

( )

S setelah buah _j langkah tetapi sebelum langkah ke-(

k 1

BAB IV : APLIKASI PADA MATRIKS STOKASTIK

( )

(

1

( ) ( )

2

( )

)

pT 0 = p 0 ,p 0 ,...,p_n 0 , dimana p_j

( )

0 =P X

(

₀ =S_j

)

, yaitu peluang bahwa rantai dimulai dari state S . _j

Langkah ke- dari distribusi dapat diuraikan dengan menggunakan teori peluang. Kita tahu bahwa

k

(

)

( )

( )

P E∪F =P E +P F jika E dan F kejadian yang saling bebas. Peluang bersyarat E jika diberikan kejadian F adalah

(

\

)

(

) ( )

P E F =P E∩F /P F . Untuk menentukan komponen ke- , yaitu pada j

( )

1 j p T

( )

1 p diberikan T

( )

0 p , tulis

( )

(

)

(

)

(

) (

)

(

(

)

(

)

(

)

( )

1 1 0 1 0 2 0 1 0 1 1 0 2 1 0 1 0 1 0 1 0 1 1 1 .... ... / 0 , untuk setiap 1, 2,..., = = = ⎡ ⎤ = = = _⎣ = ∩ = ∪ = ∪ ∪ = _⎦ ⎡ ⎤ = _⎣ = ∩ = ∪ = ∩ = ∪ ∪ = ∩ = _⎦ ⎡ ⎤ = _⎣ = ∩ = _⎦ ⎡ ⎤ = ⎡_⎣ = ⎤_{⎦ ⎣} = = _⎦ = =

∑

∑

∑

j j j n j j j n j i i n i j i i n i ij i p P X S P X S X S X S X S P X S X S X S X S X S X S P X S X S P X S P X S X S p p j n

)

n

Akibatnya, pT

( )

1 = pT

( )

0 P . Hal ini menunjukkan bahwa distribusi yang

terjadi satu langkah selanjutnya setelah kita mulai dengan . Namun, sifat khusus memoryless pada rantai Markov menyatakan bahwa kejadian pada langkah ke- hanya bergantung kejadian pada langkah ke-

(

. Akibatnya

( )

0 T p k k−1

)

( )

2 =

( )

1 T T

p p P , pT

( )

3 = pT

( )

2 P , dan seterusnya. Dengan melakukan

subtitusi, kita bisa memperoleh

( )

(

)

(

)

2

(

1 2 ... 0 = − = − = = T T T T p k p k P p k P p

)

k P .

Jadi, distribusi pada langkah ke- tersebut ditentukan dari distribusi awal dan matriks transisi dari hasil kali vektor-matriks adalah

k

( )

=

( )

0

T T

BAB IV : APLIKASI PADA MATRIKS STOKASTIK

Misalkan Pk = ⎣⎡p_ij( )k ⎤_⎦ dan jika kita tuliskan

( )

0 i

T T

p = untuk (4.1), maka kita e peroleh p_j

( )

k = p_ij( )k untuk setiap i=1, 2,...,n. Dengan demikian, kita peroleh kesimpulan bahwa elemen ke-

( )

i j dari matriks , adalah peluang transisi dari state ke state

k

P

i

S S dengan tepat langkah. Oleh karena itu, _j biasa disebut dengan matriks transisi langkah ke- k .

k Pk

4.3 Distribusi Limit dari Rantai Markov

Dalam menganalisis limit dari rantai Markov, kita dapat membagi matriks stokastik menjadi dua bagian berdasarkan sifat tereduksinya, yaitu matriks stokastik tak tereduksi dan matriks stokastik tereduksi. Untuk matriks stokastik tak tereduksi, kita bisa melihat kasus dimana ada (yaitu primitif) dan tidak ada (yaitu imprimitif). Begitu pula untuk matriks stokastik tereduksi, kita bisa melihat kasus dimana li ada dan tidak ada.

lim →∞ k k P P lim →∞ k k P P m →∞ k k P lim→∞ k k P

4.3.1 Distribusi Limit dari Matriks Stokastik Tak Tereduksi

Untuk kasus matriks stokastik tak tereduksi, kita bisa membaginya menjadi dua bagian, yaitu matriks primitif dan matriks imprimitif. Jika P adalah matriks primitif, maka kita tahu bahwa nilai dari ada. Vektor Perron untuk adalah , yaitu vektor distribusi seragam. Misalkan lim →∞ k k P P e n/

(

1, 2,...., T n

)

π = π π π adalah vektor Perron untuk PT, maka

(

)

(

)

1 2 1 2 1 2 / lim 0 / π π π π π π π π _π π π π π π →∞ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ = = = = ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ n T T n k T T T k n e n e e e n e P > (4.2)

berdasarkan Teorema 3.19. Oleh karena itu, jika primitif maka distribusi limit peluangnya ada dan diberikan oleh

BAB IV : APLIKASI PADA MATRIKS STOKASTIK lim

( )

lim

( )

0

( )

0 π π →∞ = →∞ = T T k T T k p k k p P p e = T . (4.3)

Selanjutnya, jika adalah matriks imprimitif, kita tahu bahwa terdapat buah nilai karakteristik pada lingkaran spektral dan tidak ada (Definisi 3.18 dan Teorema 3.19). Akibatnya,

P 1 h> lim →∞ k k P

( )

lim T

k→∞p k juga tidak ada.

Dalam statistika, li ini tidak ada disebabkan oleh setiap state pada rantai Markov bersifat periodik, yaitu untu periode lebih besar dari satu, suatu state akan kembali pada state yang sama. Akibatnya, nilai

akan konvergen ke suatu bentuk tertentu untuk k ganjil dan akan konvergen ke suatu bentuk yang berbeda untuk genap. Namun, pada tugas akhir ini pembahasan mengenai bentuk tersebut tidak akan dibahas. Kita akan melihat bentuk limit yang lain dari matriks transisi ini.

m →∞ k k P lim →∞ k k P k lim →∞ k k P

)

Kita tahu bahwa setiap nilai karakteristik pada lingkaran satuan adalah simple berdasarkan Teorema 3.22, artinya P adalah Cesaro Summable

dari Teorema 3.23. Akibatnya jika adalah vektor Perron untuk P

maka terdapat vektor Perron kiri, sebut / e n

(

1, 2,...., T n π = π π π , sehingga

(

)

(

)

1 2 1 1 2 1 2 / lim 0 / π π π π π π π π _π π π π π π − →∞ ⎡ ⎤ ⎢ ⎥ + + + _{= = = =⎢ ⎥>} ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ n T k T n T T T k n e n e e k e n e I P P

yang mempunyai nilai limit yang sama pada (4.2) untuk kasus primitif. Jadi, distribusi peluang langkah ke- mempunyai limit Cesaro yang diberikan oleh

BAB IV : APLIKASI PADA MATRIKS STOKASTIK

( )

( )

(

)

( )

1

( )

0 1 1 lim lim 0 0 π π →∞ − →∞ ⎡ + + + − ⎤ = ⎢ ⎥ ⎣ ⎦ ⎡ + + + ⎤_{= =} ⎢ ⎥ ⎣ ⎦ T T T k k T T k p p p k k p p k I P P T T e

yang memiliki bentuk yang sama dengan kasus primitif pada (4.3). Limit Cesaro ini tidak bergantung pada distribusi awal sama halnya untuk kasus ketika limitnya ada.

Selanjutnya, kita akan menginterpretasikan maksud dari limit Cesaro ini. Caranya adalah dengan memfokuskan pada salah satu state, sebut S . _j Kemudian, kita definisikan sebuah barisan peubah acak

{ }

yang menyatakan jumlah kunjungan ke state

0 k k Z ∞₌ j S . Misal, 0

1, jika rantai dimulai dari

0, lainnya ⎧ = ⎨ ⎩ j state S Z dan untuk i>1,

1, jika rantai berada di setelah langkah ke - 0, lainnya ⎧ = ⎨ ⎩ j i state S i Z

Perhatikan bahwa Z₀+ + +Z₁ .... Z_k−₁ adalah jumlah kunjungan ke state S j

sebelum langkah ke- , maka k

(

Z₀+Z₁+....+Z_k−1

)

/k menyatakan fraksi dari waktu untuk sampai di S sebelum langkah ke- . Nilai ekspetasi _j dari k i Z adalah

[ ]

_i 1.

(

_i 1

)

0.

(

_i 0

)

(

_i 1

)

_j

(

)

E Z = P Z = + P Z = =P Z = = p i .

Karena ekspetasi bersifat linear, maka ekspetasi dari waktu berada di S _j sebelum langkah ke- k adalah

BAB IV : APLIKASI PADA MATRIKS STOKASTIK

[ ] [ ]

[

]

( )

( )

(

)

( )

( )

(

)

0 1 1 0 1 .... 1 .... 0 1 .... 1 p 0 p 1 .... p 1 π − − + + + + + + ⎡ _{⎤ =} ⎢ ⎥ ⎣ ⎦ ⎡ ⎤ + + + − + + + − = _{= ⎢ ⎥} ⎣ ⎦ k k T T T j j j j j E Z E Z E Z Z Z Z E k k p p p k k k k →

Dengan kata lain, fraksi waktu untuk kurun waktu yang cukup lama yang dihabiskan di state S adalah _j π_j, yaitu komponen ke- dari limit Cesaro atau komponen ke- dari vektor Perron kiri .

j j P Ketika lim T

( )

k→∞p k ada, maka

( )

( )

0

( )

1

(

1

)

lim lim T T T T k k p p p k p k k →∞ →∞ ⎡ + + + − ⎤ = _{⎢ ⎥} ⎣ ⎦.

Jadi, interpretasi dari distribusi limit, lim T

( )

k→∞p k , untuk kasus matriks

primitif akan sama halnya dengan interpretasi dari limit Cesaro untuk kasus matriks imprimitif.

Berikut ini adalah ringkasan mengenai sifat-sifat yang dimiliki oleh rantai Markov tak tereduksi.

Teorema 4.2 Misal adalah matriks peluang transisi untuk rantai

Markov tak tereduksi dengan state

P

{

S S1, 2,...,Sn

}

, yaitu adalah matriks

stokastik tak tereduksi berukuran n

P

n

× . Misalkan pula π adalah vektor T

Perron kiri untuk . Pernyataan berikut benar untuk setiap vektor distribusi awal

P

( )

0

T

p .

(a). Matriks transisi langkah ke- adalah k k karena elemen

ke-P

( )

i j ,

dari Pk adalah peluang transisi dari state S ke state _j dalam k langkah.

i

BAB IV : APLIKASI PADA MATRIKS STOKASTIK

(b). Vektor distribusi langkah ke- diberikan oleh k pT

( )

k = pT

( )

0 Pk.

(c). Jika primitif dan jika adalah vektor dengan elemennya bernilai satu maka

P e lim π →∞ = k k P e T dan lim T

( )

T k→∞p k =π .

(d). Jika P imprimitif, maka

1 lim π − →∞ + + + k ₌ T k _k e I P P dan

( )

0

( )

1

(

1

)

lim T T T T k p p p k k π →∞ ⎡ + + + − ⎤ = ⎢ ⎥ ⎣ ⎦ .

(e). Tanpa memperhatikan primitif ataupun imprimitif, elemen ke-, yaitu

P

j π_j, pada π menyatakan fraksi waktu untuk kurun T

waktu yang cukup lama bahwa rantai berada di state S . _j

(f). Vektor π biasa disebut dengan vektor distribusi stasioner untuk T rantai karena vektor distribusi ini tunggal yang memenuhi πT =πT

P .

4.3.2 Distribusi Limit dari Matriks Stokastik Tereduksi

Karena Teorema Perron-Frobenius tidak secara langsung dapat dipakai untuk rantai Markov tereduksi (rantai untuk matriks tereduksi), strateginya adalah dengan melakukan manipulasi untuk matriks tereduksi tersebut.

P

Jika tereduksi maka terdapat matriks permutasi Q dan matriks persegi

dan sehingga P X Z T = ⎢⎡ ⎤_⎥ ⎣ ⎦ X Y Q PQ

0 Z . Untuk mempermudah penulisan,

kita notasikan dengan ~⎡_⎢ ⎤_⎥

⎣ ⎦

X Y

P

0 Z . Jika atau tereduksi, maka

permutasi simetri lainnya bisa diperoleh untuk menghasilkan

BAB IV : APLIKASI PADA MATRIKS STOKASTIK ~ ⎡ ⎤ ⎡ ⎤ _⎢ ⎢ ⎥ _⎢ ⎣ ⎦ _{⎢ ⎥} ⎣ ⎦ R S T X Y 0 U V 0 Z 0 0 W ⎥

⎥ , dimana , , dan adalah matriks

persegi. Dengan mengulang proses yang sama sehingga dihasilkan

R U W 11 12 1 21 22 2 ~ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ … … … k k kk X X X X X X P 0 0 X ,

dimana setiap X_ii tak tereduksi atau X_ii =

[ ]

0_{1 1×} . Jika terdapat baris dengan elemen tak nol hanya terdapat pada blok diagonal, maka permutasikan secara simetris semua baris ke bagian bawah sehingga diperoleh 11 12 1 1, 1 1, 2 1 22 2 2, 1 2, 2 2 , 1 , 2 1, 1 2, 2 ~ + + + + + + + + + + ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ r r r m r r r m rr r r r r rm r r r r mm P P P P P P 0 P P P P P 0 0 P P P P P 0 0 0 P 0 0 0 0 0 0 P 0 0 0 0 0 0 P (4.4)

dimana setiap P₁₁,...,P_rr tak tereduksi atau

[ ]

0_{1 1×} , dan tak tereduksi (setiap bloknya tidak mungkin nol karena setiap barisnya harus berjumlah 1).

1, 1,..., + +

r r mm

P P

Seperti yang telah disebutkan dalam bab sebelumnya pada Definisi 3.9, efek dari permutasi simetri adalah mengubah posisi titik pada atau pada rantai Markov. Ketika state dalam rantai diubah posisinya sehingga memiliki bentuk seperti (4.4), kita sebut dalam bentuk cannonical untuk matriks tereduksi. Ketika dalam bentuk cannonical, subset dari

( )

G P

P P

BAB IV : APLIKASI PADA MATRIKS STOKASTIK

state yang berkorespondensi dengan P_kk untuk 1≤ ≤ disebut dengan k r kelas transien ke- (karena ketika kita keluar dari state tersebut, maka kelas transien ini tidak dapat dimasuki kembali) sedangkan subset dari state yang berkorespondensi dengan

k

, + +

r j r j

P untuk j≥1 disebut dengan kelas ergodik ke- . Setiap kelas ergodik adalah rantai Markov tak tereduksi yang kembali ke state dirinya sendiri yang berada pada rantai tereduksi berukuran besar. Untuk selanjutnya, kita akan mengasumsikan bahwa state dalam rantai tereduksi telah diurutkan atau diubah sehingga dalam bentuk cannonical. Matriks stokastik yang berada dalam bentuk cannonical tersebut akan dinotasikan dengan

j

P P

P.

Pada bab sebelumnya dinyatakan bahwa jika matriks stokastik tak tereduksi mempunya buah nilai karakteristik pada lingkaran satuannya maka buah nilai karakteristik ini adalah akar ke- dan setiap akarnya adalah nilai karakteristik simple untuk . Hal yang sama tidak bisa dikatakan untuk matriks stokastik tereduksi, tetapi dengan bentuk cannonical (4.4) bisa berlaku seperti pada teorema berikut ini.

P

h

h h

P

Teorema 4.3 Nilai karakteristik satuan untuk matriks stokastik

didefinisikan sebagai nilai karakteristik pada lingkaran satuan. Untuk setiap matriks stokastik P_{n n×} , pernyataan berikut benar.

ƒ Setiap nilai karakteristik satuan dari adalah semisimple. P

ƒ Setiap nilai karakteristik satuan mempunyai bentuk untuk suatu .

2k i h/ e π λ=

k< ≤h n

Bukti. Jika tak tereduksi maka hal ini telah dibuktikan pada Teorema

3.22. Jika tereduksi, misalkan terdapat permutasi simetri sehingga P

berada dalam bentuk cannonical seperti pada (4.4) maka

P P

( )

1

BAB IV : APLIKASI PADA MATRIKS STOKASTIK

untuk setiap k=1, 2,...,r. Hal ini berlaku jika P_kk =

[ ]

0_{1 1×}. Perhatikan untuk Pkk

(

1≤ ≤k r tak tereduksi. Karena pasti terdapat blok

)

Pkj,k≠ j

yang mempunyai elemen tak nol, maka P_kke≤e dan dimana adalah vektor dengan elemennya bernilai 1. Jika

≠

kke e

P e

( )

1

ρ P_kk = , maka hal ini akan membuat P_kke=e berdasarkan Teorema 3.20 (kontradiksi). Jadi haruslah

ρ

( )

P_kk <1 untuk setiap k=1, 2,...,r. (4.5) Akibatnya, nilai karakteristik satuan untuk P adalah koleksi atau kumpulan dari nilai karakteristik satuan dari matriks tak tereduksi . Namun, setiap nilai karakteristik dari adalah simple dan merupakan akar semesta (Teorema 3.22). Akibanya, jika

1, 1,..., + +

r r mm

P P P_{r i r i+ +,}

λ adalah nilai karakteristik satuan untuk P maka λ pasti merupakan suatu akar semesta. Walaupun nilai λ bisa muncul lebih dari satu kali karena λ muncul lebih dari satu P_{r i r i+ +,} , hal ini pasti merupakan kasus dimana

( )

( )

ma λ =mg λ . Jadi, λ adalah nilai karakteristik semisimple untuk P.

Untuk mencari bentuk distribusi limit dari rantai Markov tereduksi maka kita asumsikan bahwa P berada dalam bentuk cannonical (4.4). Namun

sebelumnya, kita akan membuktikan terlebih dahulu bahwa setiap matriks stokastik bersifat Cesaro Summable (Teorema 2.28).

Teorema 4.4 Setiap matriks stokastik adalah Cesaro Summable, yaitu

1 .... lim − →∞ + + + k k _k I P P ada.

BAB IV : APLIKASI PADA MATRIKS STOKASTIK

Nilai dari limitnya adalah proyektor G pada N I P sepanjang

(

−

)

.

(

−

)

R I P

Bukti. Bentuk dan interpretasi dari Cesaro Summable untuk matriks

tak tereduksi telah dibuktikan sebelumnya. Jadi, kita hanya perlu membuktikan untuk kasus adalah matriks tereduksi. Misalkan

bentuk cannonical (4.4), dimana

P P 11 12 22 0 ⎛ ⎞ = ⎜ ⎝ ⎠ T T P T ⎟ dan (4.6) 11 1 1, 1 1 11 12 , 1 1, 1 12 , , + + + + ⎛ ⎞ ⎛ ⎞ ⎜ ⎟ ⎜ ⎟ =_{⎜ ⎟ = ⎜ ⎟} ⎜ ⎟ ⎜ ⎟ ⎝ ⎠ ⎝ ⎠ ⎛ ⎞ ⎜ ⎟ = ⎜ ⎟ ⎜ ⎟ ⎝ ⎠ … … … r r m rr r r rm r r mm T P P P P T T P P P P P

Kita tahu dari (4.5) bahwa ρ

( )

P_kk <1 untuk setiap k =1, 2,...,r, sehingga

( )

11 1 ρ T < . Akibatnya, 11 11 1 11 .... lim lim 0 − →∞ →∞ + + + = = k k k _k k I T T T .

Selanjutnya, masing-masing dari adalah matriks stokastik tak tereduksi, maka jika

1, 1,..., + +

r r mm

P P

πT

j adalah vektor Perron kiri untuk P , jj

, maka berdasarkan hasil sebelumnya pada (4.2) kita peroleh

1 + ≤ ≤ r j m 22 1 1 22 .... lim π π + − →∞ ⎛ ⎞ + + + _{⎜ ⎟} =_{⎜ ⎟}= ⎜ ⎟ ⎝ ⎠ T r k k T m e k e I T T E.

Lebih jauh lagi, jelas berdasarkan Teorema 3.19 bahwa ada jika

dan hanya jika masing-masing dari adalah primitif. Dalam hal ini, . 22 lim →∞ k k T 1, 1,..., + + r r mm P P 22 lim →∞ = k k T E

BAB IV : APLIKASI PADA MATRIKS STOKASTIK

Oleh karena itu, semua limitnya (baik untuk limit Cesaro ataupun limit biasa) akan berbentuk

1 .... lim lim − →∞ →∞ ⎛ ⎞ + + + _{= = =} ⎜ ⎟ ⎝ ⎠ k k k _k k 0 Z I P P G 0 E P

)

P

)

(jika ada).

Untuk menentukan bentuk dari Z , kita akan menggunakan fakta bahwa

(karena G adalah proyektor pada ) untuk menuliskan

( )

=

(

− R G N I N I P

(

− .

( )

11 12

(

)

11 12 22 − − ⎛ ⎞⎛ ⎞ − = ⇒ _{⎜ ⎟⎜ ⎟}= ⇒ − = − _{⎝ ⎠} ⎝ ⎠ I T T 0 Z I P G 0 0 I T Z T E 0 I T 0 E

Karena I T− ₁₁ adalah matriks nonsingular ( karena ρ

( )

T₁₁ <1), akibatnya

(

)

1

11 12 −

= −

Z I T T E.

Berikut ini adalah ringkasan mengenai sifat-sifat yang dimiliki oleh rantai Markov tereduksi.

Teorema 4.5 Misalkan state pada rantai Markov tereduksi telah

diurutkan sedemikian rupa sehingga matriks transisi berada dalam bentuk cannonical 11 12 22 ⎛ ⎞ = ⎜ ⎟ ⎝ ⎠ T T P 0 T

seperti pada (4.4) dan (4.6). Misalkan pula πT_j adalah vektor Perron kiri untuk P _jj

(

r+ ≤ ≤1 j m

)

, maka I T nonsingular dan − ₁₁

(

)

1 1 11 12 .... lim − ₋ →∞ ⎛ ⎞ + + + _{= ⎜} − ⎟ ⎜ ⎟ ⎝ ⎠ k k _k I P P 0 I T T E 0 E , dimana 1 π π + ⎛ ⎞ ⎜ ⎟ = ⎜ ⎟ ⎜ ⎟ ⎝ ⎠ T r T m e e E .

BAB IV : APLIKASI PADA MATRIKS STOKASTIK Lebih jauh lagi, lim

→∞

k

k P ada jika dan hanya jika masing-masing dari

adalah primitif. Dalam hal ini, 1, 1,..., r r mm P_{+ +} P

(

)

1 11 12 lim − →∞ ⎛ ₋ ⎞ = ⎜_⎜ ⎟_⎟ ⎝ ⎠ k k 0 I T T E P 0 E .

Berdasarkan Teorema 4.5, kita bisa menyimpulkan bahwa setiap rantai Markov tereduksi pada akhirnya akan terabsorpsi (terperangkap) pada salah satu dari kelas-kelas ergodik, yaitu pada salah satu bagian rantai yang didefinisikan di P_{r j r+ , +j}, untuk suatu j≥1. Jika imprimitif, maka prosesnya akan terus berosilasi kelas ergodik ke- selamanya sedangkan jika , r j r+ +j P j , r j r+ +j

P primitif maka prosesnya akan berakhir pada

steady-state yang didefinisikan oleh vektor Perron dari P_{r j r+ ,+j}.

Tidak banyak yang bisa dikatakan mengenai limit dari matriks stokastik tereduksi ini. Namun, masih terdapat beberapa pertanyaan mengenai kelas ergodik manakah suatu rantai akan berakhir dan berapa lama waktu yang diperlukan untuk mencapainya tersebut. Sampai sejauh ini, jawaban atas pertanyaan tersebut masih bergantung pada state mana rantai dimulai atau kita perlu mengetahui distribusi awalnya.

4.4 Contoh Kasus Perhitungan Distribusi Limit dari Rantai Markov

Untuk mendapatkan gambaran atau deskripsi yang jelas mengenai perhitungan mengenai limit distribusi dari matriks transisi rantai Markov, berikut ini akan diberikan dua contoh kasus, yaitu kasus 1 dimana matriks stokastiknya bersifat tak tereduksi dan kasus 2 dimana matriks stokastiknya bersifat tereduksi. Contoh kasus ini diperoleh dari buku An Introduction to Stochastic Modeling (Taylor and Karlin).

BAB IV : APLIKASI PADA MATRIKS STOKASTIK

4.4.1 Kasus 1 : Matriks Stokastik Tak Tereduksi

Dalam ilmu sosiologi, kelas sosial untuk generasi berikutnya secara berturut-turut dalam suatu keluarga dapat dipandang sebagai rantai Markov. Dalam hal ini, pekerjaan seorang anak diasumsikan hanya bergantung pada pekerjaan ayahnya dan tidak bergantung pada pekerjaan kakeknya. Pekerjaan tersebut membagi kelas sosial masyarakat menjadi tiga kelas, yaitu kelas bawah, kelas menengah, dan kelas atas. Dengan kata lain, pekerjaan ini menentukan sesorang untuk masuk kelas sosial tertentu. Misalkan peluang transisi tersebut diberikan sebagai berikut.

Kelas Bawah Kelas Menengah Kelas Atas Kelas Bawah Kelas Menengah Kelas Atas Pekerjaan Anak 0.40 0.50 0.10 Pekerjaan 0.05 0.70 0.25 Ayah 0.05 0.50 0.45 (4.7)

Sebut matriks transisi pada (4.7) adalah . Berdasarkan matriks transisi diatas bisa kita peroleh

P

( ) {

1, 1/ 5, 7 / 20

}

σ P = . Hal ini jelas bahwa P adalah matriks nonnegatif dengan spectral radius ρ

( )

P =1.

Dengan memisalkan dalam populasi tertentu, kondisi sosial pada kasus ini memiliki distribusi awal seragam, yaitu pT

( ) (

0 = 1/ 3,1/ 3,1/ 3

)

. Jika matriks transisi seperti yang diberikan pada (4.7), maka peluang seorang anak memiliki pekerjaan dengan kelas bawah setelah 3 turunan adalah . Secara keseluruhan, distribusi pada langkah ke-3 adalah

( )

( )

3 1 1 p 3 p 0 0.0879 ⎡ ⎤ =⎡ ⎤ = ⎣ T ⎦ ⎣ T P ⎦

( ) (

)

pT 3 = 0.0879; 0.6227; 0.2894 .

BAB IV : APLIKASI PADA MATRIKS STOKASTIK Karena P primitif, maka lim k dan

k→∞P lim

( )

T

k→∞p k ada. Nilai limit tersebut

ditentukan oleh vektor Perron kiri dari matriks yang bisa diperoleh

dengan menghitung vektor tak nol dan

menormalisasikannya sehingga diperoleh

P

(

T v∈N I−P

)

1 / T T v v π = . Dari persamaan diperoleh bahwa

(

T

)

0 v − = I P vT =

(

0.1104; 0.8971; 0.4278

)

maka dan

(

0.0769; 0.6250; 0.2981

)

πT = 0.0769 0.6250 0.2981 lim 0.0769 0.6250 0.2981 0.0769 0.6250 0.2981 →∞ ⎛ ⎞ ⎜ ⎟ = ⎜ ⎟ ⎜ ⎟ ⎝ ⎠ k k P dan

( ) (

)

lim 0.0769; 0.6250; 0.2981 →∞ = T k p k .

Limit dari distribusi ini bisa diinterpretasikan bahwa setelah kurun waktu yang lama, sebesar 7.69% dari populasi akan berada pada kelas bawah, sebesar 62.50% dari populasi akan berada kelas menengah, dan sisanya sebesar 29.81% dari populasi akan berada pada kelas atas.

4.4.2 Kasus 2 : Matriks Stokastik Tereduksi

Salah satu hal yang mempengaruhi kelajuan suatu populasi adalah usia produktif dari wanita. Perubahan struktur dalam masyarakat seperti peningkatan usia nikah dini, banyaknya janda yang menikah lagi, dan perceraian mempunyai dampak yang cukup signifikan dalam pertumbuhan rata-rata populasi. Untuk melihat kecenderungan pertambahan populasi beberapa tahun kedepan berdasarkan usia produktif wanita berdasarkan statusnya, salah satu model yang dapat dikembangkan adalah dengan membaginya menjadi 7 state. Kita bisa memandang model ini sebagai rantai Markov. Ketujuh state tersebut adalah

E1 : Migrasi

BAB IV : APLIKASI PADA MATRIKS STOKASTIK E3 : Belum Menikah E4 : Menikah E5 : Bercerai E6 : Janda E7 : Meninggal 1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 0 0 0 0 0 0 0.02 0 0.90 0 0 0 0 .08 0.02 0 0.50 0 .4 0 0 0 0 .08 0.03 0 0 0 .6 0 0.20 0.10 0 .07 0.02 0 0 0 .4 0 0.50 0 0 .08 0.01 0 0 0 .4 0 0 0.50 0 .09 0 0 0 0 0 0 1 = E E E E E E E E E E E E E E P (4.8)

Berdasarkan matriks transisi (4.8), kita bisa perhatikan bahwa state untuk migrasi dan meninggal merupakan state terabsorpsi. Dengan menggunakan Progrma Matlab, kita permutasikan matriks P sehingga P

berada dalam bentuk canonical seperti berikut ini.

2 3 4 5 6 1 7 2 3 4 5 6 1 7 0 0.90 0 0 0 0.02 0 .08 0 0.50 0.40 0 0 0.02 0 .08 0 0 0.60 0 .2 0 0.10 0.03 0 .07 0 0 0.40 0 .5 0 0 0.02 0 .08 0 0 0.40 0 0.50 0.01 0 .09 0 0 0 0 0 1 0 0 0 0 0 0 0 1 = E E E E E E E E E E E E E E P

Selanjutnya, matriks dalam bentuk cannoncial tersebut kita cari nilai limitnya berdasarkan Teorema 4.5 dengan menggunakan program Matlab, yaitu

BAB IV : APLIKASI PADA MATRIKS STOKASTIK ( )1 11 12 0 0 0 0 0 0.236 0.76 0 0 0 0 0 0.240 0.76 0 0 0 0 0 0.250 0.75 lim 0 0 0 0 0 0.240 0.76 0 0 0 0 0 0.220 0.78 0 0 0 0 0 1 0 0 0 0 0 0 0 1 − →∞ ⎛ ⎞ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎛ − ⎞ ⎜ ⎟ =⎜_{⎜ ⎟ ⎜⎟}= _⎟ ⎝ ⎠ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎝ ⎠ k k 0 I T T I P 0 I 4 0 0 0 0

Berdasarkan hasil tersebut, bisa kita perhatikan bahwa untuk periode yang cukup lama, setiap wanita akan terperangkap dalam state terabsorpsi. Dalam hal ini, state terabsorpsi tersebut adalah migrasi dan meninggal. Sebelum memasuki state terabsorpsi, setiap wanita akan berada pada status masa pertumbuhan, belum menikah, menikah, bercerai, atau janda yang disebut dengan state transien. Peluang transisi setiap wanita untuk terperangkap di suatu state terabsorpsi masih bergantung pada state awalnya seperti yang terlihat pada (4.8). Namun, peluang seseorang meninggal lebih besar dibandingkan peluang seseorang melakukan migrasi setelah jangka waktu yang cukup lama.