Bab 2 LANDASAN TEORI. 2.1 Pengantar Proses Stokastik

Bab 2

LANDASAN TEORI

Pada bab ini akan diberikan penjelasan singkat mengenai pengantar proses stokastik dan rantai Markov, yang akan digunakan untuk analisis pada bab-bab selanjutnya.

2.1

Pengantar Proses Stokastik

Proses stokastik adalah suatu barisan kejadian yang memenuhi hukum-hukum pelu-ang. Proses stokastik banyak digunakan untuk memodelkan evolusi suatu sistem yang memuat suatu ketidakpastian atau sistem yang dijalankan pada suatu ling-kungan yang tak dapat diduga, dimana model deterministik tidak lagi cocok untuk menganalisis sistem.

Secara formal, proses stokastik X = {X(t), t ∈ T } didefinisikan sebagai suatu barisan peubah acak, yaitu untuk setiap t ∈ T terdapat peubah acak X(t). Sering-kali indeks t diinterpretasikan sebagai waktu, karena banyak seSering-kali proses stokastik yang terjadi pada suatu selang waktu. Nilai peubah acak X(t) dinamakan keadaan pada saat t. Himpunan T disebut ruang parameter atau ruang indeks dari proses stokastik X dan himpunan semua nilai X(t) yang mungkin dinamakan ruang keadaan dari X. Setiap realisasi dari X dinamakan sample path dari X.

Proses-proses stokastik dapat diklasifikasikan berdasarkan jenis ruang parameternya

(diskrit atau kontinu), ruang keadaannya (diskrit atau kontinu), dan kaitan antara peubah-peubah acak yang membentuk proses stokastik tersebut. Yang paling sering dilihat adalah klasifikasi proses-proses stokastik berdasarkan jenis ruang parameter dan ruang keadaannya.

2.2

Rantai Markov

Misalkan proses stokastik {Xn, n = 0, 1, · · · } mempunyai ruang keadaan berupa

himpunan berhingga atau himpunan terbilang. Secara umum, ruang keadaan ini dapat dinotasikan sebagai himpunan {0, 1, · · · }. Jika pada waktu n proses tersebut berada di keadaan i, maka kejadian ini dituliskan sebagai Xn= i . Proses stokastik

dinamakan rantai Markov jika untuk tiap n = 0, 1, 2, · · · , berlaku

P {Xn+1= j|X0 = i0, · · · , Xn−1= in−1, Xn = i} = P {Xn+1 = j|Xn = i} (2.2.1)

untuk semua i0, · · · , in−1, i, j dan semua n ≥ 0 . Untuk selanjutnya, persamaan

(2.2.1) disebut sifat Markov.

2.2.1

Matriks Peluang Transisi

Misalkan proses stokastik {Xn, n = 0, 1, · · · } adalah suatu rantai Markov. Matriks

peluang transisi (satu langkah) dari {Xn, n = 0, 1, · · · }, dinotasikan P, adalah suatu

matriks dengan elemen ke (i, j)nya adalah pij. Jadi,

P =         p00 p01 p02 · · · p10 p11 p12 · · · p20 p21 p22 · · · ... ... ... ...         . (2.2.2)

Elemen-elemen dari matriks P bernilai tak negatif (pij ≥ 0 untuk i, j ≥ 0) dan

jumlah elemen-elemen pada satu baris di matriks peluang transisi ini haruslah sama dengan satu (P∞_j=0pij = 1, i = 0, 1, 2, · · · ). Matriks transisi ini digunakan dalam

menganalisis kelakuan rantai Markov dalam beberapa langkah ke depan dan juga setelah proses berjalan lama (long run behaviour dari rantai Markov).

2.2.2

Persamaan Chapman-Kolmogorov

Misalkan pn

ij menyatakan peluang proses berada pada keadaan i akan berada pada

keadaan j setelah proses mengalami n transisi. Jadi, pn

ij dapat dituliskan

pn

ij = P {Xn+m = j|Xm = i}, m ≥ 0, i, j ≥ 0. (2.2.3)

Dapat dilihat bahwa p1

ij = pij. Selanjutnya, dengan menggunakan law of total

probability, untuk smua n, m ≥ 0, dan semua i, j ≥ 0, pn+m ij =P {Xn+m = j|X0 = i} = ∞ X k=0 P {Xn+m = j|Xn = k, X0 = i}P {Xn = k|X0 = i} = ∞ X k=0 pm_kjpn_ik. (2.2.4)

Persamaan (2.2.4), yang dikenal dengan nama persamaan Chapman-Kolmogorov, akan memberikan suatu metode untuk menghitung peluang transisi dalam n langkah. Misalkan P(n)_{adalah matriks dengan elemen-elemennya merupakan peluang transisi}

dalam n langkah (pn

ij). Dari persamaan (2.2.4) diperoleh

P(n)_{= P}(n−1+1) _{= P}(n−1)_P(1) _{= P}(n−2)_P(1)_P(1) _{= · · · = P}n_.

Dengan kata lain, matriks peluang transisi dalam n langkah dapat diperoleh dengan mengalikan matriks peluang transisi satu langkah P sebanyak n kali.

Suatu rantai Markov yang pada awalnya berada pada keadaan i setelah satu transisi akan berada pada keadaan j dengan peluang yang diberikan oleh suku (i, j) dari matriks P. Secara umum, jika kita definisikan vektor baris

π0 _{= (π}0

dengan π0

i menyatakan peluang rantai Markov berada di keadaan i pada permulaan

proses, maka peluang setelah satu transisi rantai Markov tersebut berada di keadaan

j (dengan notasi π1 j) diberikan oleh π1 j = ∞ X k=0 π0 kpki, i = 0, 1, · · · . Definisikan πn= (πn₁, π₂n, · · · ), n = 1, 2, · · ·

sebagai vektor distribusi peluang dari keadaan rantai Markov setelah n transisi. Dengan menggunakan persamaan Chapman-Kolmogorov di atas diperoleh

πn_{= π}0_Pn_{. (2.2.5)}

2.2.3

Distribusi Peluang Stasioner

Suatu distribusi peluang {πj, j ≥ 0} dikatakan distribusi stasioner dari suatu rantai

Markov dengan matriks peluang transisi P = (pij) jika

πj = ∞

X

i=0

πipij, j ≥ 0. (2.2.6)

Distribusi peluang stasioner {πj, j ≥ 0} merupakan solusi tunggal dari sistem

per-samaan πj = ∞ X i=0 πipij X j πj = 1.

Jika keadaan dari suatu rantai Markov dengan matriks peluang transisi P = (pij)

mempunyai distribusi peluang P {X0 = j}, j ≥ 0, atau dengan kata lain sama

dengan distribusi stasionernya, maka

P {X1 = j} = ∞ X i=0 P {X1 = j|X0 = i}P {X0 = i} = ∞ X k=0 πipij = πj.

Secara induksi, dapat dibuktikan bahwa P {Xn= j} = ∞ X i=0 P {Xn= j|Xn−1 = i}P {Xn−1 = i} = ∞ X k=0 πipij = πj.

Jadi, jika distribusi peluang dari keadaan awal suatu rantai Markov adalah sama dengan distribusi stasionernya, maka Xn akan mempunyai distribusi peluang yang

sama untuk semua n.

2.3

Teori Pengambilan Keputusan Markov

Misalkan suatu sistem dikontrol secara berkala agar tetap dalam kondisi yang baik dengan cara melakukan pemeriksaan. Misalkan pula sistem tersebut diperiksa pada waktu n = 0, 1, 2, · · · dengan jarak antarwaktu pemeriksaan sama. Pada setiap pe-meriksaan, sistem tersebut diklasifikasikan ke dalam suatu keadaan dari sejumlah keadaan yang mungkin kemudian dipilih suatu tindakan tertentu untuk memper-baiki keadaan sistem tersebut.

Misalkan I menyatakan ruang keadaan yang mungkin ditemukan sistem saat pe-meriksaan dan A(i) menyatakan himpunan tindakan yang mungkin bisa diambil pada saat sistem dalam keadaan i, i ∈ I (dalam hal ini, i dan A(i) berhingga). Pengambilan suatu tindakan diatur oleh suatu kebijakan stasioner, sebut R. Su-atu kebijakan staasioner R merupakan suSu-atu perSu-aturan yang menyatakan tindakan apa yang harus dilakukan jika pada waktu pemeriksaan sistem berada dalam suatu keadaan tertentu.

Misalkan tindakan a diambil pada keadaan i, maka akan dimiliki aturan Ri = {a},

a ∈ A(i), artinya jika sistem berada dalam keadaan i maka tindakan a harus

di-lakukan. Sebagai konsekuensi dari pengambilan tindakan tersebut adalah muncul-nya biaya, yaitu ci(a) yang merupakan ekspektasi biaya yang diperlukan apabila

sistem akan berada dalam keadaan j dengan peluang pij(a) dimana

X

j∈I

pij(a) = 1, i ∈ I.

Sistem yang dikontrol ini dinamakan Model Keputusan Markov bila sifat Markov (persamaan (2.2.1)) dipenuhi.

2.3.1

Kebijakan Stasioner

Definisikan Xn sebagai keadaan sistem pada waktu keputusan ke-n, untuk n =

0, 1, 2, · · · . Peluang transisi satu langkah di bawah kebijakan stasioner Ri yang

diberikan adalah

P {Xn+1= j|Xn= i} = pij(Ri).

Jadi, dibawah kebijakan stasioner Ri yang diberikan, proses stokastik {Xn, n =

0, 1, · · · } merupakan rantai Markov dan peluang transisi satu langkah pij(Ri). Rantai

Markov ini akan menimbulkan biaya sebesar ci(Ri) apabila tindakan Ri dilakukan

pada saat keadaan i.

Peluang transisi n langkah dari rantai Markov {Xn, n = 0, 1, · · · } adalah

p(n)_ij (R) = P {Xn = j|X0 = i}, i, j ∈ I, n = 1, 2, 3, · · ·

dengan p(1)_ij (R) = pij(Ri) dan memenuhi

p(n)_ij (R) =X

k∈I

p(n−1)_ik (R)pkj(Rk). (2.3.1)

Setiap kebijakan stasioner biasanya memiliki sifat unichain, yaitu untuk setiap ke-bijakan stasioner R, terdapat suatu keadaan r (mungkin bergantung pada R) yang dapat dicapai dari sebarang keadaan di bawah kebijakan R. Dengan demikian, untuk setiap kebijakan stasioner R

πj(R) = lim m→∞ 1 m m X n=1 p(n)_ij (R) (2.3.2)

Distribusi stasioner {πj, j ∈ I} merupakan solusi tunggal dari sistem persamaan berikut. πj(R) = X k∈I pkj(Rk)πk(R) X j∈I πj(R) = 1. (2.3.3)

2.3.2

Biaya Rata-rata dari Kebijakan Stasioner yang

Digu-nakan

Misalkan Vn(i, R) menyatakan ekspektasi biaya total pada n waktu keputusan

per-tama bila X0 = i (keadaan awalnya adalah i) dan kebijakan R digunakan.

Ekspektasi biaya pada waktu keputusan ke-t dengan X0 = i dan kebijakan R

digu-nakan adalah

X

j∈I

p(t)_ij (R)cj(Rj).

Dengan demikian, Vn(i, R) dapat dituliskan sebagai berikut.

Vn(i, R) = n−1 X t=0 X j∈I p(t)_ij (R)cj(Rj) (2.3.4)

dengan p(0)_ij (R) = 1 untuk j = i dan p(0)_ij (R) = 0 untuk j 6= i. Definisikan fungsi biaya rata-rata, gi(R), sebagai

gi(R) = lim n→∞

1

nVn(i, R), i ∈ I. (2.3.5)

Karena limit di atas ada, maka biaya rata-rata tidak bergantung pada keadaan awal sistem sehingga dapat dituliskan

g(R) menyatakan biaya rata-rata jangka panjang per satuan waktu. g(R) = lim n→∞ 1 nVn(i, R), i ∈ I = lim n→∞ 1 n n−1 X t=0 X j∈I p(t)_ij (R)cj(Rj) =X j∈I cj(Rj) lim n→∞ 1 n n−1 X t=0 p(t)_ij (R) =X j∈I cj(Rj)πj(R). Jadi, g(R) =X j∈I cj(Rj)πj(R). (2.3.6)

Dari persamaan (2.3.6) dapat dilihat bahwa g(R) memiliki hubungan linier dengan

πj(R), artinya, semakin besar peluang suatu sistem berada di keadaan j dengan

kebijakan R digunakan, maka akan semakin besar biaya rata-rata yang harus dikelu-arkan untuk melakukan kebijakan R tersebut.

Jadi, masalah pengambilan keputusan Markov adalah meminimumkan biaya rata-rata jangka panjang per satuan waktu (g(R)) terhadap kendala-kendala yang ada (yaitu sifat-sifat dari distribusi peluang stasioner yang dituliskan pada persamaan (2.3.3).

2.3.3

Program Linier dan Metode Simpleks

Program linier merupakan salah satu alat untuk menyelesaikan masalah optimasi (maksimasi atau minimasi). Perumusan masalah program linier beserta pemeca-hannya secara sistematis baru dimulai pada tahun 1947 ketika George B. Dantzig merancang suatu metode yang dikenal dengan nama metode simpleks untuk keper-luan angkatan udara Amerika Serikat.

Program linier merupakan suatu program matematika yang dapat digunakan un-tuk mengidentifikasi suatu titik ekstrim (maksimum atau minimum) pada suatu

fungsi f (X1, X2, . . .) yang selanjutnya memenuhi suatu himpunan kendala,

misal-nya h(X1, X2, . . .) ≥ 0. Fungsi f dinamakan fungsi tujuan atau fungsi objektif,

sedangkan fungsi g dinamakan kendala. Fungsi f dan fungsi h harus bersifat linier. Suatu solusi dikatakan fisibel apabila solusi tersebut memenuhi himpunan kendala. Suatu solusi dikatakan optimal apabila solusi tersebut fisible dan menghasilkan nilai maksimum atau minimum pada fungsi objektifnya. Suatu masalah optimasi dapat memiliki lebih dari satu solusi yang menghasilkan nilai optimal.

Bentuk baku dari program linier untuk meminimumkan fungsi objektif dapat ditu-liskan sebagai berikut.

min c1x1+ c2x2+ · · · + cnxn terhadap a11x1+ a12x2+ · · · + a1nxn = b1 a21x1+ a22x2+ · · · + a2nxn = b2 ... am1x1+ am2x2+ · · · + amnxn= bm x1 ≥ 0, x2 ≥ 0, · · · , xn≥ 0.

Dalam bentuk vektor, bentuk baku dari program linier dapat dituliskan sebagai berikut.

min cT_x

terhadap Ax = b x ≥ 0.

Metode simpleks merupakan suatu metode yang dapat digunakan dalam menye-lesaikan masalah optimasi. Dalam menyemenye-lesaikan suatu masalah optimasi dengan menggunakan metode simpleks, beberapa kriteria berikut harus terpenuhi.

1. Seluruh pembatas (kendala) berbentuk persamaan (=)

• Jika pembatas bertanda ≤ atau ≥ dapat dijadikan pembatas yang

variabel (dinamakan slack variable). Jika tanda pada pembatas tersebut adalah ≤ maka pembatas tersebut ditambahkan dengan slack S1 > 0 dan

jika pembatas tersebut bertanda ≥ maka pembatas tersebut dikurangkan dengan slack S2 > 0.

Contoh :

X1+ 2X2 ≤ 6 −→ X1+ 2X2+ S1 = 6

X1+ 2X2 ≥ 6 −→ X1+ 2X2− S2 = 6

• Ruas kanan dari persamaan pada suatu pembatas (kendala) dapat

di-jadikan bilangan non negatif jika kedua ruas dikalikan dengan -1.

• Arah ketidaksamaan dapat berubah jika kedua ruas dikalikan dengan -1. • Pembatas (kendala) dengan ketidaksamaan yang ruas kirinya berada dalam

tanda mutlak dapat diubah menjadi dua ketidaksamaan. Contoh :

|a1X1+ a2X2| ≤ b → a1X1+ a2X2 ≤ b atau a1X1+ a2X2 ≥ −b

|a1X1+ a2X2| ≥ b → a1X1+ a2X2 ≥ b atau a1X1+ a2X2 ≤ −b

2. Seluruh variabel merupakan variabel non negatif.

3. Fungsi objektif (fungsi tujuan) berupa maksimum atau minimum. Meskipun demikian, kadang-kadang masih diperlukan perubahan dari satu bentuk ke bentuk lannya (misalnya, dari maksimum ke minimum dan sebaliknya). Solusi yang diperoleh disebut sebagai solusi basis. Jika suatu solusi basis dapat memenuhi pembatas-pembatas (kendala-kendala) non negatif, maka solusi tersebut disebut sebagai solusi basis fisibel. Variabel-variabel yang dinolkan disebut sebagai variabel non basis dan yang lainnya disebut variabel basis. Jumlah iterasi maksimum dalam metode simpleks adalah sama dengan jumlah maksimum solusi basis dalam bentuk standar (bentuk yang memenuhi kriteria-kriteria di atas). Dengan demikian, jumlah iterasi pada metode simpleks ini tidak akan lebih dari :

Cn

m = (n−m)!m!n! dengan n menyatakan jumlah variabel dan m menyatakan jumlah

Berikut ini algoritma simpleks untuk kasus maksimasi.

1. Konversikan masalah optimasi ke dalam bentuk formula yang standar.

2. Cari solusi basis fisibel dengan cara menambahakan slack variabel ke dalam ketidaksamaan (≤/≥) agar menjadi persamaan (=).

3. Jika seluruh variabel non basis pada fungsi objektif memiliki nilai yang positif maka solusi basis fisibel sudah optimal. Jika pada baris fungsi objektif masih terdapat variabel dengan koefisien yang bernilai negatif, pilih salah satu vari-abel yang mempunyai koefisien paling kecil pada baris tersebut. Varivari-abel ini akan masuk status variabel basis, karena itu variabel ini disebut entering

vari-able (EV).

4. Hitung rasio dari ruas kanan (koefisien EV) pada setiap baris pembatas (ken-dala) dimana EV-nya mempunyai koefisien positif. Variabel basis pada baris pembatas (kendala) dengan rasio positif terkecil akan berubah status men-jadi variabel non basis. Variabel ini kemudian disebut sebagai leaving variable (LV).

5. Lakukan operasi baris elementer untuk membuat operasi EVpada baris dengan rasio positif terkecil ini menjadi berharga 1 dan berharga 0 pada baris-baris yang lainnya.

6. Kembali ke langkah 3.

Catatan :

Bila ditemukan lebih dari satu baris yang mempunyai rasio positif terkecil, maka pilihlah sembarang karena tidak akan mempengaruhi hasil perhitungan.

Berikut ini algoritma simpleks untuk kasus minimasi.

1. Ubahlah fungsi objektif dari fungsi minimasi menjadi fungsi maksimasi. 2. Modifikasi langkah ke-3 pada kasus maksimasi di atas menjadi :

yang berharga non positif maka solusi basis fisibel sudah optimal. Jika baris pada fungsi objektif masih terdapat variabel dengan koefisien positif, pilih-lah sapilih-lah satu variabel yang berharga paling positif (paling besar) pada baris fungsi objektif untuk menjadi EV.

Metode simpleks ini memungkinkan dilakukannya analisis sensitivitas pada masalah program linier. Analisis sensitivitas dilakukan untuk mengetahui seberapa sensitif solusi optimal untuk berubah apabila terdapat oerubahan pada nilai input untuk masalah program linier yang akan diselesaikan.

Tinjau kembali masalah program linier pada halaman 36. A, x, dan cT _dapat

dipartisi menjadi :

A=[B,N]

x=(xB,xN), cT=(cTB,cTN)

B menyatakan matriks basis dan N menyatakan matriks non basis. Masalah ini dapat dituliskan dalam bentuk tableau di bawah ini.

xB xN

B N b

cT

B cTN 0

Dengan operasi baris elementer (OBE) diperoleh :

xB xN

I B−1_{N B}−1_b

0 cT

N − cTBB−1N −cTBB−1b

Solusi basis xB kan merupakan solusi optimal jika vektor reduced cost cTN− cTBB−1N

semua elemennya lebih besar atau sama dengan nol.

Analisis sensitivitas bermanfaat untuk menghindari perhitungan ulang apabila ter-jadi perubahan nilai pada input masalah program linier. Untuk mengetahui apakah solusi awal (sebelum ada perubahan) masih optimal atau tidak, cukup melihat

apakah vektor reduced cost cT

N − cTBB−1N semua elemennya masih lebih besar atau

sama dengan nol atau tidak.

2.3.4

Pengambilan Keputusan Markov dengan Pendekatan

Program Linier

Masalah program linier pada pengambilan keputusan Markov adalah meminimumkan biaya rata-rata jangka panjang per satuan waktu (g(R)) terhadap kendala-kendala yang ada (yaitu sifat-sifat dari distribusi peluang stasioner yang dituliskan pada per-samaan (2.3.3)). Dengan demikian, fungsi objektif dari program liniernya adalah biaya rata-rata jangka panjang per satuan waktu (g(R)), sedangkan kendalanya adalah sifat-sifat dari distribusi peluang stasioner yang dituliskan pada persamaan (2.3.3). Masalah program linier ini dapat dituliskan sebagai berikut.

min g(R) =X j∈I cj(Rj)πj(R) terhadap πj(R) = X k∈I pkj(Rk)πk(R) X j∈I πj(R) = 1.

Algoritma pengambilan keputusan Markov dengan pendekatan program linier adalah sebagai berikut.

1. Menyelesaikan masalah program linier dengan metode simpleks. 2. Pilih I0 := {i | X a∈A(i) π∗ i(a) > 0}.

Untuk suatu i ∈ I0, R∗i := a dengan π∗i(a) > 0.

3. Jika I0 = I maka Ri = R∗i.

4. Jika I0 6= I, pilih i bukan ∈ I0 dan suatu action a ∈ A(i) dengan pij(a) > 0

untuk suatu j ∈ I0. Selanjutnya, Ri∗ := a dan I0 := I0∪ {i}. Ulangi langkah