Materi Teori Peluang

adalah suatu keluarga peubah acak Xt atau X(t), di mana t  T dengan T = {1, 2, 3, …} untuk t diskret dan T = {0,} untuk t kontinu.

Contoh

Pada percobaan pelemparan mata uang berkali – kali

X1 adalah peubah acak yang berhubungan dengan pelemparan

pertama

X2 adalah peubah acak yang berhubungan dengan pelemparan kedua

Xn adalah peubah acak yang berhubungan dengan pelemparan ke-n

X1 sampai Xn ini disebut keluarga peubah acak yang dapat juga disebut

proses stokastik.

  

 Contoh

 Perhatikan banyaknya kelahiran di suatu

tempat pada suatu hari. Bila X_t adalah

banyaknya kelahiran pada (0,t) dengan t 

Definisi

 Proses Markov adalah proses stokastik yang

mempunyai sifat bahwa jika nilai Xt telah diketahui,

maka Xs di mana s > t tidak dipengaruhi oleh Xu di

mana u < t.

 Definisi tersebut memiliki arti bahwa fenomena masa datang hanya dipengaruhi oleh fenomena masa sekarang dan tidak dipengaruhi oleh masa lalu.

 Rantai Markov dengan waktu diskret (Diskret Time Markov Chain) adalah suatu proses markov dengan waktu diskret dan Xt memiliki nilai diskret.

Secara matematis Proses Markov dapat dinyatakan sebagai berikut:

P(Xn+1=j| X1 = i1, X2=i2, …, Xn=in) = P(Xn+1 =j|Xn = in)

Xn = j artinya rantai markov pada waktu n

berada pada state j.

Peluang Xn+1 berada pada state j jika Xn

Peluang ini juga dinamakan peluang transisi satu langkah (one-step transition probability) dan secara matematis dapat dinyatakan

sebagai berikut

 P(X_n+1=j|X_n=i).

Bila peluang transisi satu langkah bebas terhadap peubah waktu n, maka rantai

Secara umum, peluang transisi diatur dalam

suatu matriks yang dinamakan matriks peluang transisi.

Baris ke – i+1 dari P adalah sebaran peluang dari

nilai Xn+1 dibawah kondisi Xn= i.

Jika banyaknya state terhingga maka P adalah

matriks kuadrat terhingga

Nilai P_ij memenuhi kondisi

P_ij  0 untuk semua i dan j dan

untuk i = 0, 1, 2, …





j ij

Jika matriks peluang transisi P dan sebaran peluang X0 diketahui, maka perilaku dari rantai markov dapat

diketahui.

Pernyataan ini akan ditunjukkan dalam penjelasan berikut:

Misalkan diketahui matriks peluang transisi dan P(X0=i) = pi, maka kita dapat mencari P(X0=i0, X1=i1, X2 = i2, …, Xn=in)

Berdasar definisi peluang bersyarat kita dapatkan P(X0=i0, X1=i1, X2 = i2, …, Xn=in)

Berdasar definisi rantai markov kita dapatkan P(X₀=i₀, X₁=i₁, X₂ = i₂, …, X_n=i_n)

= P(X_n=i_n| X_n-1=i_n-1)  P(X₀=i₀, X₁=i₁, X₂ = i₂, …, X_n-1=i_n-1)

= P(X₀=i₀, X₁=i₁, X₂ = i₂, …, X_n-1=i_n-1) Melalui induksi akan kita dapatkan

P(X₀=i₀, X₁=i₁, X₂ = i₂, …, X_n=i_n) = i i i in in in in

P P

P

p _,

1 1

, 2 1

0

Analisis dari rantai markov berpusat pada perhitungan peluang kemungkinan realisasi proses yang mungkin.

Perhitungan ini berpusat pada matriks peluang transisi n langkah P(n) = .

melambangkan peluang proses pindah dari state i ke state j dalam n langkah.

Secara formal dapat dinyatakan sebagai

=P(Xm+n=j|Xm=i).

Matriks Peluang Transisi Rantai Markov

) (n ij

P

) (n ij

P

) (n ij

Sifat Markov memungkinkan kita menyatakan dalam theorema berikut

Theorema

Peluang transisi n langkah dari rantai markov memenuhi

Di mana

Dari teori matriks, maka persamaan dalam teorema ini adalah rumus untuk perkalian matriks, sehingga

P(n) = PP(n-1). Dengan mengiterasikan rumus ini kita

dapatkan

Matriks Peluang Transisi Reguler

Misalkan P (matriks peluang transisi) mempunyai sifat jika dipangkatkan k, Pk

mempunyai elemen yang semuanya positif, maka P dikatakan reguler

Rantai Markov yang reguler memiliki limiting probability distribution  = (_0, ₁, …, _N); di mana _j>0 dan =1 dan sebaran ini bebas dari state awal

THE LONG RUN BEHAVIOR OF MARKOV CHAIN



j j

Untuk matriks peluang transisi yang regular , j = 0, 1, …, N

Contoh Rantai Markov regular dengan matriks peluang transisi

Contoh numerik dapat ditunjukkan, misalkan rantai markov memiliki matriks peluang transisi

Beberapa pangkat pertama dari P adalah

Limiting distribution-nya adalah b/(a+b) = 0.5282 dan a/(a+b) = 0.4718.

Untuk semua matriks peluang transisi

dengan state 0, 1, 2, …,N yang memenuhi dua kondisi berikut adalah regular

 Untuk setiap pasang state i,j, terdapat path

(jalur) k₁, k₂, …, k_r di mana P_ik1P_k1k2 ... P_krj>0

Theorema

Misalkan P adalah matriks peluang transisi suatu rantai markov regular dengan state 0, 1, 2, …, N, maka limiting probability

distribution =(₀, ₁, ₂, …,_N) adalah solusi unik dari sistem persamaan berikut

Bila diketahui rantai markov dengan matriks peluang transisi

01 2

Carilah limiting probability distributionnya!

=P

Sehingga kita memiliki persamaan, yaitu

Jawab

Solusi dari sistem persamaan di samping adalah