Pengantar Proses Stokastik
Bab 6: Rantai Markov Waktu Kontinu
Atina Ahdika, S.Si, M.Si
Statistika FMIPA Universitas Islam Indonesia
2015
Pendahuluan
Pada bab ini, kita akan belajar mengenai rantai markov waktu kontinu yang analog dengan rantai markov diskrit yang telah dibahas sebelumnya. Rantai markov waktu kontinu juga memiliki sifat Markov, yaitu diberikan keadaan sekarang, maka keadaan pada masa yang akan datang saling bebas dengan keadaan pada masa lampau.
Salah satu contoh dari rantai markov waktu kontinu telah kita temui sebelumnya, yaitu proses Poisson. Misalkan banyaknya kedatangan sampai
waktu t (yaitu Nt) adalah keadaan dari suatu proses pada waktu t, maka
proses Poisson merupakan rantai Markov waktu kontinu dengan keadaan-keadaan 0, 1, 2, . . . di mana keadaan selalu bertambah dari keadaan n ke keadaan n + 1, n ≥ 0. Proses demikian dikenal dengan istilah proses kelahiran murni karena ketika sebuah transisi terjadi, maka keadaan akan selalu bertambah satu.
Lebih jauh lagi, model Eksponensial yang dapat berpindah hanya dari keadaan n baik ke keadaan n − 1 maupun ke keadaan n + 1 dalam satu kali transisi dinamakan model kelahiran-kematian. Untuk model
tersebut, transisi dari keadaan n ke keadaan n + 1 dianggap sebagai proses kelahiran, sedangkan transisi dari keadaan n ke keadaan n − 1 dianggap sebagai proses kematian.
Model kelahiran dan kematian secara luas banyak diaplikasikan pada studi tentang sistem biologi dan studi tentang sistem antrian di mana keadaan yang ada merepresentasikan banyaknya nasabah dalam sistem.
Rantai Markov Waktu Kontinu
Misalkan suatu proses stokastik waktu kontinu {Xt, t ≥ 0} bernilai
bilangan bulat tak negatif. Sesuai analogi dengan definisi rantai Markov
waktu diskrit, suatu proses {Xt, t ≥ 0} adalah rantai Markov waktu
kontinu (RMWK) jika untuk semua s, t ≥ 0 dan bilangan bulat tak negatif i , j , xu, 0 ≤ u < s
P(Xt+s = j |Xs = i , Xu= xu, 0 ≤ u < s)
= P(Xt+s = j |Xs = i )
Dengan kata lain, sebuah RMWK adalah suatu proses stokastik yang
memiliki sifat Markov yaitu peluang bersyarat dari keadaan Xt+s diberikan
keadaan sekarang Xs dan keadaan pada masa lampau Xu, 0 ≤ u < s,
hanya bergantung pada keadaan pada masa sekarang dan saling bebas dengan keadaan pada masa lampau.
Sebagai tambahan, jika
P(Xt+s = j |Xs = i )
saling bebas dari s, maka RMWK dikatakan memiliki peluang transisi homogen atau stasioner.
Semua rantai Markov pada materi ini akan diasumsikan memiliki peluang transisi stasioner.
Misalkan sebuah RMWK masuk ke keadaan i pada suatu waktu, misalkan, waktu 0, dan misalkan proses tersebut tidak meninggalkan keadaan i (tidak terjadi transisi) selama 10 menit ke depan. Berapa peluang bahwa proses tidak akan meninggalkan keadaan i selama 5 menit selanjutnya? Karena proses berada di keadaan i pada waktu 10, maka berdasarkan sifat Markov, peluang bahwa proses akan tetap berada di keadaan i selama interval [10, 15] merupakan peluang (tak bersyarat) bahwa proses tetap
berada di keadaan i selama minimal 5 menit. Misalkan Ti menyatakan
lamanya waktu proses berada di keadaan i sebelum berpindah ke keadaan lain, maka
P(Ti > 15|Ti > 10) = P(Ti > 5)
atau secara umum,
P(Ti > s + t|Ti > s) = P(Ti > t)
Perhatikan proses Markov (stasioner) dengan ruang parameter kontinu (parameternya biasanya adalah waktu). Transisi dari satu keadaan ke keadaan lain dapat terjadi dalam waktu yang singkat.
Berdasarkan sifat Markov, waktu yang dihabiskan dalam sebuah sistem diberikan sebarang keadaan bersifat memoryless; distribusi dari waktu yang tersisa bergantung semata-mata hanya pada keadaan namun tidak pada lamanya waktu yang telah dihabiskan di keadaan tersebut.
Sebuah proses Markov Xt ditentukan oleh matriks generator atau
matriks laju transisi. qi ,j = lim
∆t→0
P(Xt+∆t = j |Xt= i )
∆t , i 6= j
Peluang per satuan waktu bahwa sistem melakukan transisi dari keadaan i ke keadaan j
laju transisi atau intensitas transisi Total laju transisi keadaan i adalah
qi =
X
j 6=i
qi ,j, umur suatu keadaan ∼ Eksp(qi)
Matriks Laju Transisi
Matriks laju transisi dituliskan sebagai berikut
Q = q0,0 q0,1 · · · q1,0 q1,1 · · · .. . ... . .. = −q0 q0,1 · · · q1,0 −q1 · · · .. . ... . ..
Jumlah tiap baris adalah nol.
Laju Transisi dan Peluang Transisi
Kaitan antara laju transisi dengan peluang transisi adalah sebagai berikut pi ,j = lim ∆t→0P(Xt+∆t = j |Xt+∆t 6= i , Xt = i ) = lim ∆t→0 P(Xt+∆t = j , Xt+∆t 6= i |Xt= i ) P(Xt+∆t 6= i |Xt= i ) = qi ,j P j qi ,j i 6= j 0 i = j
Jika dituliskan dalam bentuk matriks peluang transisi, maka P = 0 q0,1 P j 6=i qi ,j q0,2 P j 6=i qi ,j · · · q1,0 P j 6=i qi ,j 0 q1,2 P j 6=i qi ,j · .. . ... ... . ..
Total jumlah per baris adalah satu.
Peluang Keadaan
Vektor peluang keadaan πi(t) = P(Xt = i ) sekarang adalah fungsi yang
bergantung waktu, yaitu d
dtπ(t) = π(t) · Q
dengan π(t) = (π0(t) π1(t) π2(t) · · · )
Berdasarkan sistem persamaan diferensial, misalkan π(t) = CeQt, maka
d dtπ(t) = d dt(Ce Qt) = QCeQt = Qπ(t)
Misalkan nilai awal C = π(0), maka solusi formal untuk vektor peluang keadaan yang bergantung waktu adalah
π(t) = π(0)eQt
Global Balance Conditions
Solusi stasioner π = lim
t→∞π(t) tidak tergantung waktu, dengan demikian
π · Q = 0
Kondisi kesetimbangan tersebut memperlihatkan kesetimbangan antara peluang kejadian masuk dan kejadian keluar dari i .
π · Q = (π0 π1 π2 · · · ) −q0 q0,1 q0,2 · · · q1,0 −q1 q1,2 · · · .. . ... ... . .. = 0 −q0π0+ q1,0π1+ q2,0π2+ . . . = 0 q0,1π0− q1π1+ q2,1π2+ . . . = 0 .. . Jika bagian yang negatif dipindah ruas ke kanan, maka
q1,0π1+ q2,0π2+ . . . = q0π0
q0,1π0+ q2,1π2+ . . . = q1π1
.. .
Secara umum, kita peroleh persamaan kesetimbangan tersebut yaitu Untuk baris ke-j
qjπj = X i 6=j πiqi ,j X i 6=j qj ,iπj = X i 6=j πiqi ,j
atau dengan kata lain
X i 6=j πjqj ,i = X i 6=j πiqi ,j
Proses Kelahiran-Kematian
Perhatikan sebuah sistem di mana keadaan di setiap waktu direpresentasikan oleh banyaknya orang yang berada dalam sistem tersebut. Misalkan setiap kali ada i orang dalam sistem, maka
kedatangan baru masuk ke dalam sistem dengan laju eksponensial sebesar λi
orang meninggalkan sistem dengan laju eksponensial sebesar µi
Dengan kata lain, setiap kali ada i orang di dalam sistem, maka waktu
sampai kedatangan berikutnya berdistribusi eksponensial dengan mean λ1
i
dan saling bebas dengan waktu sampai keberangkatan berikutnya di mana
keberangkatan tersebut berdistribusi eksponensial dengan mean µ1
i. Sistem
seperti ini disebut proses kelahiran-kematian. Parameter {λi}∞i =0 dan
{µi}∞i =1 secara berturut-turut adalah laju kedatangan (kelahiran) dan laju
Dengan demikian, sebuah proses kelahiran-kematian merupakan RMWK dengan keadaan {0, 1, . . .} di mana transisi dari keadaan i hanya bisa berpindah ke keadaan j = i + 1 atau j = i − 1.
qi ,j = λi jika j = i + 1 µi jika j = i − 1 0 lainnya
Atau jika digambarkan
Matriks untuk Q adalah Q = −λ0 λ0 0 0 . . . µ1 −(λ1+ µ1) λ1 0 . . . 0 µ2 −(λ2+ µ2) λ2 . . . 0 0 µ3 −(λ3+ µ3) . . . .. . ... ... ... . ..
Dengan menggunakan hubungan di atas, maka diperoleh matriks P sebagai berikut P = 0 1 0 0 . . . µ1 λ1+µ1 0 λ1 λ1+µ1 0 . . . 0 µ2 λ2+µ2 0 λ2 λ2+µ2 . . . 0 0 µ3 λ3+µ3 0 . . . .. . ... ... ... . ..
Dengan demikian, diperoleh hubungan antara laju transisi dengan peluang transisinya secara umum adalah:
P01= 1 Pi ,i +1= λi λi+ µi , i > 0 Pi ,i −1= µi λi+ µi , i > 0
Peluang Kesetimbangan Proses Kelahiran-Kematian
Untuk menyelesaikan kasus di atas, kita akan menggunakan global balance condition pada keadaan-keadaan 0, 1, . . . , k. Berdasarkan kesetimbangan proses masuk dan keluar, maka
λkπk = µk+1πk+1, k = 0, 1, 2, . . .
Selanjutnya kita peroleh bentuk rekursif
πk+1 =
λk
µk+1
πk
Berdasarkan persamaan rekursif di atas, kita bisa menuliskan semua
peluang keadaan dalam bentuk π0 yaitu
πk = λk−1λk−2. . . λ0 µkµk−1. . . µ1 π0 = Πk−1i =0 λi µi +1 π0
Ingat!
Peluang keadaan memiliki sifat
∞
P
k=0
πk = 1. Dengan menggunakan sifat
tersebut, kita peroleh
∞ X k=0 πk = π0+ ∞ X k=1 Πk−1i =0 λi µi +1 π0 1 = π0 " 1 + ∞ X k=1 Πk−1i =0 λi µi +1 # π0 = 1 1 + ∞ P k=1 Πk−1i =0 λi µi +1
Contoh
1. Misalkan suatu proses kelahiran dan kematian memiliki konstan birth
rate λ = 2 dan konstan death rate µ = 3. Tentukan nilai π0 dan πk
pada model tersebut dengan menggunakan analisis persamaan kesetimbangan!
Solusi:
Dengan menggunakan persamaan kesetimbangan diperoleh 2π0= 3π1 ⇒ π1 = 2 3π0 2π1= 3π2 ⇒ π2 = 2 3π1 = 2 3 2 π0 .. . 2πk−1= 3πk ⇒ πk = 2 3 k π0
Selanjutnya, gunakan sifat ∞ P k=0 πk = 1 ∞ X k=0 πk = ∞ X k=0 2 3 k π0 1 = π0+ π0 ∞ X k=1 2 3 k 1 = π0 " 1 + ∞ X k=1 2 3 k# π0 = 1 1 + ∞ P k=1 2 3 k = 1 1 + 2 = 1 3
Substitusikan nilai π0 ke dalam persamaan πk sehingga diperoleh
2k
2. Misalkan di sebuah Bank terdapat tiga orang teller dan dua buah kursi tunggu. Misalkan setiap nasabah datang dengan laju λ dan waktu layanan di setiap teller adalah sebesar µ. Hitunglah peluang bahwa tidak ada nasabah yang datang ke Bank jika diketahui λ = 1 dan µ = 2! Tentukan pula peluang terdapat 4 nasabah di dalam Bank!
Solusi:
Jadi, prosesnya dapat digambarkan dalam diagram:
Maka λπ0= µπ1 → π1 = λ µπ0 λπ1= 2µπ2 → π2 = λ 2µπ1 = 1 2 λ µ 2 π0 λπ2= 3µπ3 → π3 = λ 3µπ2 = 1 6 λ µ 3 π0 λπ3= 3µπ4 → π4 = λ 3µπ3 = 1 18 λ µ 4 π0 λπ4= 3µπ5 → π5 = λ 3µπ4 = 1 54 λ µ 5 π0
Dengan menggunakan sifat jumlah total peluang maka diperoleh π0+ λ µπ0+ 1 2 λ µ 2 π0+ 1 6 λ µ 3 π0+ 1 18 λ µ 4 π0+ 1 54 λ µ 5 π0 = 1 π0 " 1 +λ µ+ 1 2 λ µ 2 + 1 6 λ µ 3 + 1 18 λ µ 4 + 1 54 λ µ 5# = 1
Diketahui λ = 1 dan µ = 2, maka peluang tidak ada nasabah datang ke Bank adalah π0 1 +1 2+ 1 2. 1 4+ 1 6. 1 8+ 1 18. 1 16 + 1 54. 1 32 = 1 1.6499π0 = 1 π0 = 0.606
Selanjutnya, peluang terdapat empat nasabah di Bank adalah: π4 = 1 54 λ µ 5 π0 = 1 54. 1 32.0.606 = 0.0003507
3. (Model Perbaikan Sebuah Mesin) Di dalam sebuah toko terdapat M mesin dan seorang tukang. Misalkan lamanya waktu untuk
masing-masing mesin bekerja sebelum akhirnya rusak berdistribusi Eksponensial dengan rate λ dan lamanya waktu mesin tersebut diperbaiki oleh tukang berdistribusi Eksponensial dengan rate µ. Berapa peluang bahwa sebanyak n mesin akan tidak digunakan? Berapa rata-rata banyaknya mesin yang tidak digunakan? (Petunjuk: Gunakan persamaan kesetimbangan untuk menyelesaikan masalah tersebut, keadaannya menyatakan banyaknya mesin yang rusak).
Solusi:
Misalkan sistem berada di keadaan n jika sebanyak n mesin tidak digunakan, maka proses tersebut merupakan proses birth and death dengan parameter:
µn= µ n ≥ 1
λn=
(M − n)λ n ≤ M
Proses tersebut dapat digambarkan sebagai berikut:
Dengan menggunakan persamaan kesetimbangan maka, Mλπ0 = µπ1 ⇒ π1 = Mλ µ π0 (M − 1)λπ1 = µπ2 ⇒ π2 = (M − 1)λ µ π1 = (M − 1)Mλ2 µ2 π0 (M − 2)λπ2 = µπ3 ⇒ π3 = (M − 2)λ µ π2 = (M − 2)(M − 1)Mλ3 µ3 π0 .. . (M − n)λπn= µπn+1
Secara umum diperoleh πn yaitu
πn=
(M − n + 1)(M − n + 2) . . . (M − 1)Mλn
µn π0
Selanjutnya gunakan sifat M P n=0 πn= 1 sehingga diperoleh: M X n=0 πn= M X n=0 M! (M − n)! λ µ n π0 1 = π0+ π0 M X n=1 M! (M − n)! λ µ n 1 = π0 " 1 + M X n=1 M! (M − n)! λ µ n# π0 = 1 1 + M P n=1 M! (M−n)! λ µ n
Substitusikan nilai π0 ke dalam persamaan πn dan diperoleh peluang
bahwa sebanyak n mesin tidak digunakan yaitu
πn = M! (M − n)! λ µ n π0= M! (M−n)! λ µ n 1 + M P n=1 M! (M−n)! λ µ n
Selanjutnya, rata-rata banyaknya mesin yang tidak digunakan adalah M X n=0 nπn= M P n=0 n(M−n)!M! λ µ n 1 + M P n=1 M! (M−n)! λ µ n
4. Di dalam suatu kantor kecamatan, terdapat tiga petugas yang melayani proses pembuatan KK (P1, P2, P3). Setiap warga yang akan
mengurus KK harus menyelesaikan urusan kelengkapan administrasi di
P1, kemudian perekapan data di P2, dan terakhir adalah tandatangan
serta menerima berkas KK sementara di P3. Petugas P1 melayani
dengan laju µ = 3, petugas P2 dengan laju µ = 2, dan petugas P3
dengan laju µ = 4. Setiap warga datang ke kantor kecamatan dengan laju λ = 3. Berapa peluang ada n orang di dalam kantor kecamatan?
Pustaka
Ross, Sheldon M. 2007. Introduction to Probability Models; 9th Edition. New York: Academic Press.
Taylor, Howard M. dan Samuel Karlin. 1975. A First Course in Stochastic Processes; Second Edition. New York: Academic Press. Virtamo, J. 38.143 Queueing Theory/ Probability Theory.
