Silabus. Proses Stokastik (MMM 5403) Proses Stokastik. Contoh

(1)

Proses Stokastik

(MMM 5403)

Silabus

Status: Wajib Minat Statistika

Rantai Markov, klasifikasi rantai Markov. Limit rantai Markov dan aplikasinya. Rantai Markov kontinu, contoh-contoh klasik. Proses renewal, variasi dan generalisasinya.

Proses Stokastik

Stokastik (stochastic)

Berasal dari bahasa Yunani

stokhastikos ( ́ ) : able to guess stokhos: target

Studi tentang fenomena random atau proses random

Contoh

1. Banyaknya kecelakaan kendaraan bermotor di suatu kota di suatu waktu tertentu

2. Lama antrian pada suatu tempat pelayanan (kasir di mall, check in di bandara, counter di bank, dst)

3. Nilai stock(saham) pada saat tertentu 4. Kecepatan angin pada lokasi tertentu,

ketinggian tertentu dan saat tertentu 5. Contoh lain ....

(2)

Definisi

Suatu proses stokastik adalah kumpulan variabel random berindeks { : ∈ }pada ruang probabilitas {Ω, ℱ, }yang bernilai . Himpunan sering disebut sebagai state space; adalah himpunan indeks (index set)

Himpunan indeks dapat berupa bilangan bulat ℤ atau bilangan real ℛ. Dalam banyak aplikasi himpunan indeks adalah waktu = { ≥ 0}

Klasifikasi menurut

Berindeks diskrit (waktu diskrit) bila = ℤ

Contoh

# adalah nilai stock(saham) harian, $, %, … ,

indeksnya ' ∈ ℤ₍

Berindeks kontinu (waktu kontinu) bila = ℛ

Contoh

) adalah banyaknya kecelakaan dalam suatu waktu

tertentu { ₎: ≥ 0}

Klasifikasi menurut

multidimensi

Contoh:

Kecepatan angin pada suatu lokasi * di bumi

{ ₊: * ∈ ℛ,_}

dengan lokasi ditentukan oleh lintang, bujur dan ketinggian

Catatan terkait

• Urutan dari indeks menunjukkan

perkembangan, proses atau evolusi dari fenomena random yang menjadi perhatian • Urutan menjadi “hilang” atau lebih sulit

ditentukan untuk indeks yang multidimensi. Proses seperti ini sering dinamakan random fields

(3)

Variabel random

dan

• dapat berupa bilangan random diskrit atau kontinu

• Realisasi proses stokastik { } adalah - ∈ Ω, disebut juga sebagai sample paths

Karakteristik Proses Stokastik

• State space (status) , yang merupakan

kumpulan nilai-nilai yang mungkin dari proses stokastik ₎

• Himpunan indeks , yang sering disebut time parameter

• Distribusi bersama variabel random ₎

Memodelkan Proses Stokastik

Untuk sekumpulan pengamatan _%, _., … , _# , distribusi bersama ₎ adalah

( )0 ≤ x%; )4 ≤ x.; … ; )5 ≤ x6)

Sample Path

#(-)

1 2 3 ...

(4)

Sample Path

)(-) 0

Random Walk

_# # = $+ 9 : # :;% 1 2 3 0 # ' 4 5 6 1 2 -2 -1 :adalah v.r. Bernoulli bernilai +1atau −1

Random Walk

1. Homogen secara spasial (spatially homogeneous),

# = > $ = ? = # = > + @ $ = ? + @

2. Homogen menurut waktu (temporally homogeneous) _# = > _$ = ? =

A(# = > A = ?

3. Mempunyai sifat Markov

A(# = > $, %, … , A = A(# = > A ,

' ≥ 0

Independent Increments

Proses stokastik { , ∈ }dikatakan memiliki “penambahan independen” (independent

increments) bila untuk semua _% < _. < ⋯ < _#, berlaku variabel random

. − % , , − . … # − #E%

yang independen

Untuk proses stokastik waktu diskrit

= 0,1,2, … , : = G − 1, : = :E%,

(5)

Latihan

1. Amatilah suatu proses di sekitar saudara, jelaskan proses tersebut, klasifikasikan , dan distribusi ₎ (sesuai asumsi)

2. Tunjukkan bahwa proses dengan penambahan independen (independent increment process) selalu merupakan proses Markov

Rantai Markov

Definisi

Proses stokastik waktu diskrit _# adalah suatu Rantai Markov (Markov Chain) bila memenuhi # = I $ = J$, % = J%, … , #E% = J#E%

= ( _# = I ∣ _#E% = J_#E%)

Untuk semua ' ≥ 1dan semua

I, J_$, J_%, … , J_#E% ∈

Rantai Homogen

Definisi

Rantai dikatakan homogen bila

#(% = > # = G = % = > $ = G , untuk semua ', G, >

Contoh: Rantai Markov yang Homogen

Tunjukkan bahwa barisan variabel random independen yang mempunyai nilai berhingga adalah suatu Rantai Markov. Dalam kondisi apa rantai tersebut homogen?

Jawab:

Diketahui $, %, … , _#variabel random independen. # = J# $ = J$, … , #E% = J#E%

= ( # = J#, $= J$, … , #E% = J#E%)/ ( $= J$, … , #E%= J#E%)

karena independen,

= # = J# (juga untuk ( _# ∣ _#E%) = ( _# = J_#))

(6)

Matriks Transisi

Matriks transisi M = {N_:O}adalah matriks bujursangkar × | |

N_:O = _#(% = > _# = G Msuatu matriks stokastik, bila

(a) Mempunyai elemen non-negatif, N_:O ≥ 0, untuk semua G, >

(b) Mempunyai jumlah baris 1, ∑ N_O _:O = 1, untuk semua G

Matriks Transisi

Matriks transisi n langkah

M S, S + ' = N_:O(S, S + ')

dengan

N:O S, S + ' = A(# = > A = G Dengan asumsi homegenitas

M S, S + 1 = M

Contoh 1: Matriks Transisi

Diberikan { _#; ' > 0}adalah rantai Markov dengan status 0,1,2dan matriks transisi

3/4 1/4 0 1/4 1/2 1/4

0 3/4 1/4

dan distribusi awal _$ = G = %

,, G = 0,1,2.

Contoh 1: Matriks Transisi (lanjutan)

Hitung 1. N.% 2. N%. 3. . = 2, % = 1 $ = 2 4. ( .= 2, % = 1, $ = 2) 5. ( , = 1, . = 2, % = 1, $ = 2)

(7)

Persamaan Chapman-Kolmogorov

Teorema N_:O S, S + ' + Y = 9 N:+ S, S + ' N+O(S + ', S + ' + Y) + Bukti:

...(di papan tulis)

Persamaan Chapman-Kolmogorov

Sehingga M S, S + ' + Y = M S, S + ' M(S + ', S + ' + Y) Dan M S, S + ' = M# Karena M S, S + ' = M(0, '), M S, S + ' sering ditulis M_#, dan N_:O ' = N_:O(S, S + ')

Persamaan Chapman-Kolmogorov

Fungsi prob _# Z_:(#) = ( _# = G) [(#) _{= Z} :(#): G ∈ Lemma

[(A(#) _{= [}(A)_M_# _;untuk_{S = 0 [}(#) _{= [}($)_M#

Proses random dari rantai Markov ditentukan oleh matriks transisi Mdan nilai probabilitas awal [($)

(Bukti menggunakan Teorema Chapman-Kolmogorov)

Contoh: Transisi 2 Langkah

Matriks transisi 2 langkah dari proses { _#; ' >

0}contoh di depan 3/4 1/4 0 1/4 1/2 1/4 0 3/4 1/4 3/4 1/4 0 1/4 1/2 1/4 0 3/4 1/4 = 5/8 5/16 1/16 5/16 1/2 3/16 3/16 9/16 1/4

(8)

Latihan 1

1. Suatu dadu dilempar berkali-kali. Yang mana dari pernyataan di bawah ini merupakan Rantai Markov?

1) Bilangan (mata dadu) terbesar _#yang muncul pada lemparan ke-'

2) Bilangan __#bernilai 6_dalam'_lemparan

3) Pada saat Y, waktu `_asejak kemunculan 6_terakhir

4) Pada saat Y, waktu b_asampai muncul 6_berikutnya

2. Diberikan { _#: ' ≥ 0}adalah simple random walk

dengan _$ = 0, tunjukkan bahwa _# = | _#|adalah rantai Markov dan tuliskan probabilitas transisi dari rantai ini.

Latihan 2

Suatu sistem komunikasi melakukan transmisi digit 0 dan 1 melalui beberapa tahap. Diberikan { _#; ' ≥ 1}adalah proses digit melewati tahap ke-'dan _$ adalah digit awal. Probabilitas digit tidak berubah ketika melewati suatu tahap adalah c, dan Njika digit berubah, N + c = 1. a. Tuliskan matriks transisi untuk proses ini. b. Tunjukkan bahwa A ₌ 1 2 +12 c − N A 12 −12 c − N A 1 2 −12 c − N A 12 +12 c − N A

Klasifikasi Status

• persistent (recurrent) • transient

• null dan non-null • periodic, aperiodic • ergodik

Persistent dan Transient

Definisi

Status Gdisebut persistent (recurrent) bila

# = G untuk beberapa ' ≥ 1 $ = G = 1

Probabilitas kembali ke status G, untuk suatu proses yang dimulai dari G, adalah 1. Jika probabilitas kurang dari 1 disebut transient

(9)

First Passage Time

Probabilitas kunjungan pertama ke status > diawali

dari status G, dalam ' langkah

q:O '

= % ≠ >, . ≠ >, … , #E% ≠ >, # = > $ = G Probabilitas bahwa rantai pernah mengunjungi >, dimulai dari G

q:O = 9 q:O s #;%

(')

Status > persistent jhjq_OO = 1 (jhj: iff)

Mean recurrent time

Mean recurrent time t_: suatu status G

t_: = u v_: _$ = G

= w9 'q_# ::(') jika G persistent ∞ jika G transient

Null dan Non-Null

Definisi

Status G yang persistent disebut Nullbila t_: = ∞ Status G yang persistent disebut Non-Null

(positif) bila t_: < ∞

Periode

Definisi

Periode suatu status

{ G = gcd ': N:: ' > 0 • Status G Neriodicjika { G > 1 • Status G ?periodicjika { G = 1

• Status G }rgodic jika persistent, non-nulldan aperiodic

(10)

Klasifikasi Rantai

• Communicates (terhubung)

–G terhubung dengan >, ditulis G → >jika rantai pernah berada di >dengan probabilitas bukan nol, atau N_:O S > 0,untuk S ≥ 0

• Intercommunicate (saling terhubung)

–G dan >saling terhubung bila G → >dan > → G atau ditulis G ↔ >

Klasifikasi Rantai

Himpunan status `

• Closed, bila N_:O = 0untuk semua G ∈ `, > ∉ ` – Tidak ada state di luar ` yang dapat dicapai dari `

– Jika hanya terdiri atas satu state dinamakan absorbing

• Gabsorbing jhj N_:: = 1 dan N_:O = 0

• Irreducible, bila G ↔ >untuk semua G, > ∈ ` – Semua status dapat dicapai dari status yang lain

Contoh: Klasifikasi

Diketahui matriks transisi suatu Rantai

= 1/2 0 1/20 1 0 0 1 0 irreducible, . ₌ 1/2 0 1/2₀ ₁ ₀ 1/2 0 1/2 , ₌

Contoh: Klasifikasi (lanjutan)

Secara umum

.# ₌ ._; .#(% ₌ Periodik 2

(11)

Distribusi Stasioner

Definisi

Vektor [dikatakan distribusi stasioner suatu Rantai bila [ = (Z_O: > ∈ ) sedemikian sehingga 1. Z_O ≥ 0untuk semua >, dan ∑ Z_O _O = 1

2. [ = [M, yaitu Z_O = ∑ Z_: _:N_:O, untuk semua > Dikatakan stasioner karena

[M• _{= [M M = [M = [}_,

jadi [M‚ = [untuk semua ' ≥ 0

Persistensi Kunjungan

Teorema

Jika status > persistent, maka untuk setiap status * yang dapat dikunjungi dari status >, q_O+ = 1 Bukti

....

Distribusi Stasioner sebagai suatu Limit

Teorema

Untuk suatu rantai yang irreducible dan ergodic, limit

ZO = lim_#→sN:O(')

ada dan independen terhadap status awal >. Bukti: ....

Menghitung

Menggunakan [ = [Matau [(M − ƒ) = 0...(1)

dan ketentuan bahwa ∑ Z_O _O = 1...(2)

Dapat dicari [ = (Z_O: > ∈ )yang memenuhi (1) dan (2)

Matriks (M − ƒ)mempunyai rank − 1, bersama dengan ∑ Z_O _O = 1, Z_O dapat dicari penyele

(12)

Contoh: distribusi stasioner

Diketahui matriks transisi suatu Rantai sbb.:

= 1/20 2/3 1/30 1/2 1/2 1/2 0

Hitung ., ,, „ untuk ' → ∞?

Contoh: distribusi stasioner

Dapat disusun sistem persamaan linear

[(M − ƒ) = 0dan ∑ Z_O _O = 1 −Z_% +1_{2 Z}_. +1_{2 Z}_, = 0 2 3 Z% − Z. +12 Z, = 0 Z% + Z. + Z, = 1 Diperoleh Z_% = 1/3, Z_. = 10/27, Z_, = 8/27

Contoh: distribusi stasioner (2)

Diberikan Rantai Markov

= 1 − ?_@ _{1 − @ 0 < ?, @ < 1}? Hitung distribusi stasioner rantai di atas!

Inferensi untuk Rantai Markov

Diberikan Rantai Markov dengan Sstatus dan matriks transisi M = N_:O ,dan '_:O,yaitu transisi empiris (data) dari status Gke >, dengan total banyaknya observasi

(_ + 1)

∑AO;%':O = ':⦁dan ∑ 'A:;% :O = '⦁O G, > = 1,2, … , S

Dengan estimasi Maximum Likelihood (distribusi multinomial) diperoleh

N̂:O =':O_': ⦁

(13)

Uji Hipotesis

Menguji apakah data mengikuti model rantai Markov dengan probabilitas transisi M

‰$: M = M$ Digunakan statistik Š = 9 9':⦁ N̂:O − N$:O . N_$:O A O;% A :;% , G, > = 1,2, … , S

Untuk _besar, Šakan berdistribusi . dengan derajad bebas m(S − 1)

Contoh: Uji Hipotesis

Diperoleh data empiris curah hujan dengan status 0=hari kering ; 1=hari hujan sebagai berikut

0 1 total

0 175 49 224

1

total 22348 14596 144368

Apakah data tersebut mengikuti model rantai Markov dengan matriks transisi 1/2 1/2

1/2 1/2 ?

Contoh: Uji Hipotesis

Diperoleh 9 9':⦁ N‹:O − N$:O . N_$:O A O;% A :;% = 86,875

Dengan derajad bebas 2. Diperoleh p-value yang sangat kecil, sehingga ‰_$ ditolak.

Latihan 1

Tiga anak bermain bola dalam formasi lingkaran, tiap anak diberi nama 1,2,3 .Setiap anak

memiliki peluang yang sama untuk melempar ke dua anak yang lain. Carilah matriks transisi

untuk proses Markov ini. Hitung

. = 1 $ = 1 , . = 2 $ = 3 ,

(14)

Latihan 2

Diketahui matriks transisi suatu Rantai sbb.: = 1 0 00 1 0

N% N. N,

dengan ∑N_O = 1. Hitung distribusi limit [.

Latihan 3

Misalkan menurut ahli sosiologi dalam suatu komunitas atau populasi diasumsikan bahwa kelas sosial seseorang dipengaruhi oleh orang tuanya saja dan bukan oleh kakek/neneknya dengan matriks probabilitas transisi:

Dalam jangka panjang, berapa persentase orang yang akan berada di kelas menengah?

Latihan 3 (lanjutan)

Apabila diperoleh data frekuensi empiris dari populasi tersebut sebagai berikut

apakah data empiris mengikuti model yang diajukan oleh ahli sosiologi tersebut? ( = 0,05)