ρ = sehingga momen pertama dan kedua BAB 2 TEORI DASAR 2.1 Random Walk ρi = ε) = q= 1 p. Posisi suku bunga bergerak pada

4

TEORI DASAR

Untuk menentukan interest rate differential, penulis akan membahas terlebih dahulu beberapa teori yang berkaitan dengan proses stokastik. Pergerakan suatu partikel yang bergerak secara acak atau disebut juga mengikuti proses stokastik dibahas dalam teori random walk dan gerak Brown. Sistem dinamik yang digunakan pada pengoptimalan biaya investasi berbentuk persamaan diferensial stokastik sehingga penulis akan membahas solusi persamaan diferensial stokastik sedangkan pendekatan dalam mendapatkan solusi persamaan diferensial biasa orde 2 bisa melalui persamaan Bellman yang diturunkan dari pemrograman dinamik. Penentuan biaya investasi yang optimal menggunakan teori kontrol optimal dengan indeks performansi atau fungsi ongkos berupa linier kuadratik regulator.

2.1

Random Walk

Misalkan suku bunga berada pada sumbu x pada saat t = 0 dapat bergerak naik

atau turun dengan jarak yang sama yaitu sepanjang ε satuan langkah. ρ_i dapat dinyatakan sebagai suku bunga pada langkah ke-i yang bernilai +ε pada saat bergerak naik dan -ε pada saat bergerak turun. Untuk suku bunga yang bergerak naik mempunyai peluang sebesar P (_r ρ ε_i = )= sedangkan peluang suku bunga p, bergerak turun sebesar P (_r ρ_i = − = = − . Posisi suku bunga bergerak pada ε) q 1 p

langkah ke-n yaitu: ( )

1 2 ...

n

n

ρ ρ ρ

ρ

= + + + sehingga momen pertama dan kedua dari ρ_i , untuk i = 1,2,...,n yaitu:

( )

_i

(

)

,

E ρ =εp−εq= p−q ε (2.1)

( )

2

( )

2

( )

2 2

(

)

2 2 2

Berdasarkan sifat dari ρ_i yang saling bebas terhadap satu sama lain, maka persamaan (2.1) dan (2.2) dapat dinyatakan sebagai berikut

(

( )

)

( ) (

)

1 1 n n n i i i i E

ρ

E ρ E ρ p q nε = = ⎛ ⎞ = _{⎜ ⎟}= = − ⎝

∑

⎠

∑

, (2.3)

(

( )

)

2 4 n Var

ρ

= npqε . (2.4)

Definisikan bahwa interval terhadap perubahan waktu adalah t 1

n

Δ = . Dengan

demikian, persamaan (2.3) dan (2.4) menjadi E

(

( )n

)

(

p q

)

t ε

ρ

= − Δ dan

(

)

2 ( ) 4 n Var pq t ε

ρ

=

Δ . Berikut ini adalah ilustrasi pergerakan suku bunga.

q p

0

Gambar 2.1: Ilustrasi pergerakan suku bunga.

Untuk x langkah dapat dinyatakan 1

(

1

)

2

p≈ +xε dan 1

(

1

)

2

q≈ −xε sehingga bentuk variansi di atas dapat dianggap sebesar 4pq≈ dan untuk selang waktunya yang 1 diperkecil sehingga 2 2 0 lim t t ε

ε

_σ

→Δ → Δ = . Melalui bentuk ekspektasi suku bunga yang

telah diketahui sehingga (p q) t

ε _μ

− =

Δ menjadi(p q− )≈σμ ε σ2 =x . Akibatnya,

nilai x dapat ditentukan yaitu x μ₂ σ

= . Dengan demikian, peluang suku bunga (x−1)ε xε _(x+₁₎ε

bergerak naik dan turun masing-masing sebesar 1 1 ₂ 2 p μ ε σ ⎛ ⎞ ≈ _⎜ + _⎟ ⎝ ⎠ dan 2 1 1 . 2 q μ ε σ ⎛ ⎞ ≈ _⎜ − _⎟ ⎝ ⎠

2.2

Gerak Brown (Brownian Motion)

Proses stokastik

{ }

W_t di untuk t∈ ∞ dikatakan gerak Brown (standar) atau [0, ) proses Wiener jika memenuhi kondisi dibawah ini, yaitu:

1. W₀ = 0.

2. W adalah fungsi kontinu. _t

3. Bila 0= < < < < dengan t₀ t₁ t₂ ... t_n W stasioner dan kenaikan dari _t W yaitu _t

1 0 2 1 1 1 2 n n t t t t n t t Y W W Y W W Y W W ₋ = − = − = − maka

a) Y Y Y₁, , ,...,_{2 3} Y saling bebas dan berdistribusi normal. _n b) E Y⎡ ⎤ =_{⎣ ⎦j} 0, untuk setiap j.

c) var

( )

Y_j = −t_j t_j−1, untuk setiap j.

Misalkan W_t adalah sebuah proses wiener sehingga perubahan pada W yaitu Δ , W_t terhadap interval waktu tΔ , memenuhi kondisi berikut:

1. Hubungan antara Δ dan tW_t Δ yaitu ΔW_t =Y_t Δt , dimana Y adalah peubah _t acak yang berdistribusi normal dengan meannya adalah 0 dan standar deviasinya adalah 1. Dengan demikian, E dW

(

t

)

=0 dan

(

)

(

)

2

.

t t

2. Peubah acak Y yang berturut-turut saling bebas sehingga _t E Y Y

[ ]

_{t s} =0untuk

t s≠ . Maka nilai ΔW_t dari untuk setiap 2 interval waktu yang berbeda adalah saling bebas.

Selanjutnya penulis akan membahas beberapa jenis gerak Brown.

2.2.1 Gerak Brown Aritmatik (Arithmatic Brownian)

Gerak Brown standar yang mempunyai ekspektasi perubahan pada W adalah 0 dan volatilitasnya adalah 1. Secara umum perubahan suku bunga dapat dikatakan bahwa

.

t h t Yt ξ

ρ₊ −ρ =μξ σ+ ₊ ξ (2.5)

dimana ρ_T berdistribusi normal dan parameter ξ menyatakan periode pendek dari waktu. Misalkan ξ =T n/ , t=0, dan h=T sehingga persamaan (2.5) menjadi

0 1 1 . n n i T i i i Y T T Y T T n n n ξ ξ ρ ρ μ σ μ σ = = ⎛ ⎞ ⎛ ⎞ − = _⎜⎜ + _⎟⎟= + _{⎜ ⎟} ⎝ ⎠ ⎝ ⎠

∑

∑

(2.6)

Untuk n menuju tak hingga, dengan menggunakan teorema limit pusat suku di sisi kanan akan berdistribusi normal yaitu N(0, )T sehingga persamaan (2.6) dapat dituliskan yaitu

0 .

T T WT

ρ −ρ =μ +σ (2.7)

Dengan demikian, bentuk diferensial dari persamaan (2.7) adalah ,

t t

dρ μ= dt+σdW (2.8)

dimana sukuμ menyatakan penyimpangan perubahan suku bunga dan σ menyatakan volatilitas suku bunga.

2.2.2 Proses Ornstein-Uhlenbeck

Beberapa investor asing yang meyakini bahwa suku bunga domestik cenderung untuk kembali ke nilai yang tetap mengakibatkan perlunya untuk melakukan modifikasi dari proses gerak Brown Aritmatik yaitu proses Ornstein-Uhlenbeck, biasa dikenal dengan mean revesion. Secara garis besar, proses ini menyatakan bahwa jika suku bunga saat itu lebih kecil dari nilai yang ditetapkan maka suku

bunga tersebut akan cenderung untuk naik kembali. Sebaliknya, jika suku bunganya lebih besar dari nilai yang ditetapkan maka suku bunga tersebut akan cenderung untuk turun kembali. Suku bunga tersebut akan menuju ke nilai yang tetap dan biasanya menuju suku bunga internasional. Dengan demikian, persamaan (2.8) dapat dimodifikasi menjadi

.

t t t

dρ =ω ρ ρ⎡_⎣ − ⎤_⎦dt+σdW (2.9)

Persamaan (2.9) menyatakan bahwa jika ρt lebih besar dari ρ maka suku

penyimpangan ω ρ ρ⎡_⎣ − _t⎤_⎦dt menjadi bernilai negatif. Jika ρt lebih kecil dari ρ

maka suku penyimpangan menjadi bernilai positif. Parameter ω menyatakan ukuran kecepatan penyimpangan menuju nilai yang tetap yaitu ρ . Jika ω besar, maka ρt

akan bergerak lebih cepat menuju nilai yang tetap. Dalam hal ini, diharapkan ρt

menuju ρ . σ menyatakan volatilitas dari suku bunga. Untuk lebih jelasnya, dapat dilihat dari gambar (2.2) di bawah ini.

Gambar 2.2: Ilustrasi proses Ornstein-Uhlenbeck.

2.3

Persamaan Diferensial Stokastik

Misalkan suatu sistem dinamik mengikuti persamaan diferensial sebagai berikut ,

t t t t

dengan dW_t =Y dt_t ,dimana Y berdistribusi normal baku. Perhatikan fungsi dengan _t peubah acak: V = V(ρ,t). Dengan memanfaatkan deret Taylor pada V ,diperoleh

2 2 2 2 2 2 2 1 1 ( ) ( ) ... 2 2 V V V V V dV d dt d dt d dt t t t ρ ρ ρ ρ ρ ρ ∂ ∂ ∂ ∂ ∂ = + + + + + ∂ ∂ ∂ ∂ ∂ ∂ (2.11)

Persamaan (2.10) disubstitusikan ke persamaan (2.11), diperoleh

2 2 2 1 ( ) ( ) 2 V V V dV dt dW dt dt dW t μρ σρ μρ σρ ρ ρ ∂ ∂ ∂ = + + + + ∂ ∂ ∂ 2 2 2 2 1 ( ) ( ) ... 2 V V dt dt dW dt t ρ t μρ σρ ∂ ∂ + + + + ∂ ∂ ∂ (2.12)

Selanjutnya dari persamaan (2.12) hanya diambil suku dengan orde dt ≤1 sehingga

2 ( ) ( ) 0. d dtρ = μρdt+σρdW dt =μρ dt +σρdtY dt ≈ (2.13) 2 2 2 2 2 2 3/ 2 2 2 2 (dρ) =(μρdt+σρdW) =μ ρ ( )dt +2μσρ ( )dt Y +σ ρ Y dt( ) ≈σ ρ2 2Y dt2 . (2.14)

Persamaan (2.13) dan (2.14) disubstitusi ke persamaan (2.12) sehingga diperoleh

2 2 2 2 2 1 2 V V V V dV Y dt dW t ρ μρ ρ σ ρ σρ ρ ⎛∂ ∂ ∂ ⎞ ∂ =_⎜ + + _⎟ + ∂ ∂ ∂ ∂ ⎝ ⎠ dengan Y ∼N(0,1). (2.15)

Berikut ini adalah perluasan Lemma Ito untuk mendapatkan solusi dari persamaan diferensial stokastik

,

t t t t

dV =μV dt+σV dW

(2.16) Asumsikan bahwa ( , )f t V mempunyai turunan parsial kedua yang kontinu. Bentuk deret Taylor untuk ( , )f t V adalah

(

, t dt

)

(

, t

)

1

(

, t

)

2

(

, t

)

t f t dt W+ ₊ − f t W = f t W dt+ f t W dW

(

)( )

2

(

)

(

)(

)

2 11 12 22 1 , 2 , , 2 f t Wt dt f t W dtdWt t f t Wt dWt ⎡ ⎤ + _⎣ + + _⎦ +... (2.17)

Untuk penyederhanaan penulisan pada persamaan (2.17), notasi berikut untuk turunan parsial dari f(t,V), yaitu

1 2 1 2 , ( , ) ( , ) , 1, 2. i i v t v V f t V f v v i v _{= =} ∂ = = ∂ (2.18)

( )

(

)

1 2 1 2 , , , , 1, 2. ij i j _{v t v V} f t V f v v i v v _{= =} ∂ ∂ = = ∂ ∂ (2.19) Dengan mengabaikan orde yang tinggi dan mensubstitusikan persamaan (2.18) dan (2.19) ke persamaan (2.17) maka persamaan (2.17) menjadi

(

, _t

)

(

, _s

)

f t W − f s W =

(

)

(

)

(

)

1 22 2 1 , , , , . 2 t t V V V V s s f V W f V W dV f V W dW s t ⎡ ₊ ⎤ _{+ <} ⎢ ⎥ ⎣ ⎦

∫

∫

(2.20) Persamaan (2.16) dapat dibentuk menjadi

[ ]

0 0 0 , 0, . t t t s s V =V +μ

∫

V ds+σ

∫

V dWs t∈ T (2.21)

Misalkan V_t = f t W

(

, _t

)

maka persamaan (2.20) menjadi

(

)

(

)

(

)

0 1 22 2 0 0 1 , , , . 2 t t t s s s s V =V + ⎡_⎢f s W + f s W ds⎤_⎥ + f s W dW ⎣ ⎦

∫

∫

(2.22) Dengan menyamakan ruas kiri dan kanan dari persamaan (2.21) dan (2.22) diperoleh

1 22 1 ( , ) ( , ) ( , ), 2 f t V f t V f t V μ = + (2.23) 2 ( , ) ( , ). f t V f t V σ = (2.24) Dengan mengacu persamaan (2.18) dan (2.19) sehingga persamaan (2.24) dapat dikatakan bahwa 2 22 ( , ) ( , ) f t V f t V σ = . (2.25) Dari persamaan (2.24) dan substitusi dari persamaan (2.25) ke persamaan (2.23) menjadi

2

1 2

Sebagai pendekatan dalam mencari solusi maka bentuk f(t,V) dapat dituliskan sebagai bentuk dari perkalian 2 buah fungsi yaitu f(t,V)=gtlV, sehingga persamaan

(2.26) menjadi

(

2

)

' '

0.5 g_t g_t, l_V l_V.

μ− σ = σ = (2.27) Persamaan (2.27) dapat diselesaikan dengan menggunakan metode separasi variabel,

yaitu ( ) 2 0.5 0 , 0 t _V t V

g =g eμ− σ l =l eσ sehingga f(t,V) dapat nyatakan ( _0.5 2)

0 0

( , ) t V,

f t V =g l eμ− σ +σ dengan V₀ = f(0, 0)=g l_{0 0}. Dengan demikian, solusi

persamaan diferensial stokastik pada persamaan (2.16) yaitu ( _0.5 2)

_{[ ]}

0

( , ) t Wt, 0, .

t t

V = f t W =V eμ− σ +σ t∈ T (2.28)

2.4

Pemrograman Dinamik (Dynamic Programming)

Pemrograman dinamik telah dikembangkan oleh R.E.Bellman pada akhir 1950an. Teknik ini merupakan teknik dasar untuk memecahkan masalah pengoptimalan dinamik yang digunakan oleh investor untuk pengambilan keputusan yang optimal. Permasalahan tersebut dibentuk dari permasalahan umum secara kontinu terhadap waktu sehingga dengan proses rekursif didapatkan persamaan Bellman yang menyatakan hubungan antara besarnnya investasi pada suatu saat dengan return yang didapatkan oleh investor asing.

2.4.1 Permasalahan Umum Antar-waktu (A General Intertemporal

Problem)

Perhatikan berikut ini permasalahan umum optimisasi antarwaktu dibawah ketidakpastian yang dihadapi investor asing. Misalkan vt adalah vektor (n× dari 1)

variabel keadaan Vt (state) pada saat t = 0, 1, …, T+1. Misalkan ut adalah vektor

(k× dari variabel kontrol U1) t pada saat t = 0, …, T. Masalah yang dihadapi adalah

memilih u u₀, ,...,₁ u v_T, ,...,₁ v_T+₁ untuk memaksimumkan sebuah fungsi objektif

0 0 1 1 1

( , , , ,..., _T, _T, _T ),

dimana v0 diberikan dan kendala dari sistem yang menghubungkan variabel kontrol

dan state, dapat dituliskan dalam bentuk implisit, yaitu

0 0 1 1 1

( , , , ,..., _T, _T, _T ) 0.

C v u v u v u v + ≥ (2.30)

Permasalahan ini dapat diselesaikan dengan menggunakan Lagrange dan memaksimumkan fungsi objektif terhadap kendalanya, yaitu

0 0 1 1 1 0 0 1 1 1

M( , , , ,..., _T, _T, _T ) ( , , , ,..., _T, _T, _T ),

J = v u v u v u v ₊ +λC v u v u v u v ₊ (2.31)

dimana λ adalah pengali Lagrange dengan vektor ⎡_⎣

(

T+1

)

n×1⎤_{⎦ . Solusi dari} permasalahan ini dapat dinyatakan sebagai himpunan dari fungsi

0 0( ), ( ),..., 0 1 1 0 T T( ) 0

u =H v u =H v u = H v dan himpunan dari v₁ = w (v ),_{1 0}

2 2 0 T+1 T+1 0

v = w (v ), ..., v = w (v ) . Dengan demikian, kita dapat menentukan nilai optimal dari ut dan vt dari solusi yang bersifat rekursif.

2.4.2 Permasalahan Rekursif

Dari persamaan (2.29) dan (2.30), dapat dituliskan kembali pemilihan

0 1 1 1

( , , ,...,u v u v u v_T, _T, _T+) menjadi

0( ,v u0 0) ( , ) ... ( ,1 v u1 1 T v uT T) W v0( T 1),

θ + θ + + θ + ₊ (2.32)

dimana v0 diberikan. Misalkan himpunan

{

1, , : 1 ( , ),

}

k t t t t t t t t

v₊ v u v₊ ≤c v u u ∈R

sehingga kendala yang dituliskan pada persamaan (2.30) dapat dituliskan ke dalam bentuk persamaan “transisi”

1 0 0 0 2 1 1 1 ( , ) ( , ) v c v u v c v u = = 1 ( , ). T T T T v + =c v u (2.33)

Fungsi θ_t( , ) v u_{t t} disebut juga fungsi return satu periode pada saat t, sedangkan fungsi c v u disebut fungsi transisi pada saat t. Selanjutnya, dengan _t( , ) _{t t} menggunakan Lagrange dari persamaan (2.32) dan (2.33) menjadi

0( ,0 0) 1( 1, ) ...1 T( ,T T) 0( T 1)

+λ₀[ ( ,c v u_{0 0 0}) - ]v₁ +λ₁[ ( , ) -c v u_{1 1 1} v₂] ...+ +λ_T[ ( ,c v u_{T T T}) -v_T+1] , (2.34) dimana λt adalah vektor (n× dari pengali Lagrange untuk t = 0, …,T. dengan 1)

demikian, bentuk turunan orde pertama terhadap masing-masing parameter yang terlibat di persamaan (2.34) adalah

(

,

)

t

(

t, t

)

0, 0,...., , t t t t t t t c v u L v u t T u u u θ ∂ _λ ∂ ∂ _{= + = =} ∂ ∂ ∂ (2.35a)

(

)

₍

₎

1 , , 0, 1,...., , t t t t t t t t t t t v u _c L v u t T v v v θ λ λ₋ ∂ _∂ ∂ _{= + − = =} ∂ ∂ ∂ (2.35b)

(

)

' 0 1 1 1 0, T t t L W v v₊ + λ− ∂ _{= − =} ∂ (2.35c)

(

)

1 , , 0,1,..., , T t t t v ₊ =c v u t= T (2.35d)

Dari persamaan (2.35b) dengan mengubah waktu menjadi maju satu periode, sehingga

(

)

(

)

1 1 1 1 1 1 1 1 1 , , . t t t t t t t t t t v u c v u v v θ λ + + + + + + λ + + + ∂ ∂ = + ∂ ∂ (2.36)

Dengan menggunakan persamaan (2.36) dan (2.35c) secara rekursif untuk menghilangkan unsur λt, t = 0,…,T dan dari persamaan (2.35a) dan (2.35d) sehignga

dapat dinyatakan sebagai berikut:

(

)

(

)

1 1 2 2 3 3 1 1 2 2 3 3 , , t t t t t t t t t t t t t t t t t t t t c v u c c c v u u u v v v v v v θ θ_{+ +} θ_{+ +} θ_{+ +} + + + + + + ⎡ ∂ ⎧ ⎛ ∂ ₊ ∂ ₊∂ ∂ ₊∂ ∂ ₊∂ ⎢ ⎨ ⎜ ∂ ∂ _⎩∂ ∂ _⎢⎣∂ ∂ _⎝∂ ∂

( )

' 0 1 . ... T _T 0, 0,...., 1. T c W v t T v + ⎫ ⎤ ⎞ ⎧ ₊∂ _{⎡ ⎤}⎫ ⎪_{= = −} ⎥ ⎟ ⎨ _{∂ ⎣ ⎦ ⎟}⎬ ⎬ ⎥ ⎩ ⎭⎠ ⎪⎦⎭ (2.37a)

(

)

1 , , 1,...., 1. (2.37b) t t t t v₊ =c v u t= T−

(

)

(

) ( )

' 0 1 , , T T T 0, T T T T T T c v u v u W v u u θ + ∂ ∂ _{+ =} ∂ ∂ (2.37c)

(

)

1 , . T T T T v ₊ =c v u (2.37d)

Berdasarkan persamaan (2.37a)-(2.37d), digunakan strategi rekursif mundur. Misalkan diberikan v , persamaan (2.37d) dapat dibentuk menjadi _T

1 ( ), ( ),

T T T T T T

v + = f v u =l v (2.38)

dimana f v_T( )_T ≡c v u_t[ ,_{T T} =l v_T( )]_T . Selanjutnya dari persamaan (2.37a) dan (2.37b) dengan t = T-1 menjadi

(

)

1

(

1 1

)

(

) ( )

' 1 1 1 0 1 1 1 , , T T T , 0, T T T T T T T T T T T T c v u c v u v u W v u u v v θ − − − − θ − − + − − ∂ ⎧ ⎫ ∂ ∂ ∂ + _⎨ + _⎬= ∂ ∂ _⎩∂ ∂ _⎭ (2.39)

(

)

1 1, 1 . T T T T v =c ₋ v ₋ u ₋ (2.40)

Dari persamaan (2.38) sehingga persamaan (2.40) dapat dinyatakan dalam bentuk:

(

)

1 1 .

T T T

v = f ₋ v ₋ Melalui proses rekursif, persamaan (2.38) menjadi

( )

,

t t t

u =l v t T T= , −1,T −2,..., 0. Dengan demikian, u_t =l v_t

( )

_t ,v_t+1= f v_t

( )

_t

menyelesaikan persamaan (2.39) dan (2.40) yaitu

(

)

1 1 2 2 3 3 1 1 2 2 3 3 , t t t t t t t t t t t t t t t t t t c c c c v u u u v v v v v v θ θ_{+ +} θ_{+ +} θ_{+ +} + + + + + + ⎡ ⎧ ⎛ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ + _⎨ + _⎢ + _⎜ + ∂ ∂ _⎩∂ ∂ _⎢⎣∂ ∂ _⎝∂ ∂

( )

' 0 1 . ... T _T 0, 0,..., 1. (2.41) T c W v t T v + ⎫ ⎤ ⎞ ⎧ ₊∂ _{⎡ ⎤}⎫ ⎪_{= = −} ⎥ ⎟ ⎨ _{∂ ⎣ ⎦ ⎟}⎬ ⎬ ⎥ ⎩ ⎭⎠ ⎪⎦⎭

(

)

1 dan ,v_t+ =c v u_{s s s} , untuk s t t= , +1,...., .T (2.42)

2.4.3 Persamaan Bellman

Definisikan fungsi nilai kekayaan untuk permasalahan satu periode W v₁( ) _T yaitu

(

)

(

)

{

}

1( ) max , 0 1 , (2.43) T T _u T T T T W v = θ v u +W v ₊ terhadap vT+₁ =c v uT

(

T, T

)

yang didapatkan dari persamaan (2.42) dengan v T

diberikan. Dengan menggunakan Lagrange untuk permasalahan diatas, maka dari persamaan (2.41) dapat dinyatakan sebagai berikut

(

)

(

) ( )

' 0 1 , , T T T 0. (2.44) T T T T T T c v u v u W v u u θ + ∂ ∂ + = ∂ ∂

Misalkan dengan melakukan substitusi u_T =l v_T( )_T pada persamaan (2.44) dan substitusi persamaan (2.37d) ke persamaan (2.43) menjadi

[

]

(

[

]

)

1( T) T T, (T T) 0 T T, (T T) .

W v =θ v l v +W c v l v

(2.45) Dengan turunan pertama dari persamaan (2.45) sebagai berikut:

[

]

[

]

(

[

]

)

' ' 1( ) , ( ) , ( ) 0 , ( ) . (2.46) T T T T T T T T T T T T T T T c W v v l v v l v W c v l v v v θ ∂ ∂ = + ∂ ∂

Definisikan bahwa fungsi nilai kekayaan untuk dua periode W2(vT-1) sebagai

(

)

( )

{

}

1 2( 1) max 1 1, 1 1 , (2.47) T T _u T T T T W v θ v u W v − − = − − − +

terhadap v_T =c_T-1(v_T-1,u_T-1), dengan diberikan v_T−1, mengacu pada persamaan (2.44)

menjadi 1

(

)

1

(

1 1

) ( )

' 1 1 1 1 1 , , T T T 0. T T T T T T c v u v u W v u u θ − − − − − − − − ∂ ∂ _{+ =} ∂ ∂ Jika formula (2.46)

digunakan untuk W v₁'( _T), persamaan tersebut menjadi

(

)

(

)

[

]

[

]

(

[

]

)

1 1 1 1 1 1 1 1 ' 0 , , , ( ) , ( ) , ( ) 0. (2.48) T T T T T T T T T T T T T T T T T T T T T T c v u v u u u c v l v v l v W c v l v v v θ θ − − − − − − − − ∂ ∂ _{+ ⋅} ∂ ∂ ⎛∂ ₊∂ ⎞₌ ⎜_{∂ ∂} ⎟ ⎝ ⎠

Persamaan (2.48) dan transisi vT=cT-1(vT-1,uT-1) akan diselesaikan oleh uT-1=lT-1(vT-1),

vT=fT-1(vT-1). Maka turunan pertama dari persamaan (2.47) menjadi

[

]

(

[

]

)

' 1 1 ' 2 1 1 1 1 1 1 1 1 1 1 1 ( _T ) T _T , _T ( _T ) T _{T T} , _T ( _T ) , (2.49) T T c W v v l v W c v l v v v θ _{− −} − − − − − − − − − − ∂ ∂ = + ∂ ∂

atau dengan menggunakan persamaan (2.46) menjadi

[

]

[

]

' 1 1 2 1 1 1 1 1 1 1 1 1 ( _T ) T _T , _T ( _T ) T _T , _T ( _T ) T T c W v v l v v l v v v θ _{− −} − − − − − − − − − ∂ ∂ = + ∂ ∂ (2.50)

dimana vT didapatkan dari vT = fT-1(vT-1)= cT-1[vT-1,lT-1(vT-1)].

Dengan demikian, dari persamaan (2.49) dan (2.50) dapat membentuk pola rekursif dari persamaan-persamaan diatas dengan melakukan iterasi dari persamaan berikut

(

)

(

)

{

}

1( ) max , 1 1 , (2.51) T j j T j _u T j T j T j T j W v θ v u W v − + − = − − − + − +

terhadap vT-j+1 = cT-j(vT-j,uT-j) diberikan. Turunan pertama untuk rekursifnya untuk j=0,1,…,T-1 adalah

(

)

' ' 1( ) , ( ) , ( ) . T j T j j T j T j T j T j j T j T j T j T j T j T j c W v v l v W c v l v v v θ _{− −} + − − − − − − − − − − ∂ ∂ ⎡ ⎤ ⎡ ⎤ = _{⎣ ⎦}+ _{⎣ ⎦} ∂ ∂ (2.52)

Dari penurunan persamaan Bellman yang telah dilakukan melalui pemrograman dinamik, persamaan (2.51) disebut juga persamaan Bellman dengan idenya melalui rekursif mundur begitu juga dengan persamaan (2.52). Persamaan Bellman menyatakan hubungan antara investasi (state) dan return (state yang berhasil). Dengan fungsi return dinyatakan dalam persamaan berikut

(

)

2 1 2 3 1 2 3 1 1 ... ... , t t t t t t t t t θ αθ α θ θ α θ αθ θ α + + + + + + + + Θ = + + + = + + + = + Θ

dimana α adalah discount factor. Menurut [Simon Jaklitsch, Mathias Huber], persamaan Bellman dapat dituliskan sebagai berikut

( )

{

t t

}

{

t 1

(

t 1

)

t

}

.

V ρ =E Θ ρ =ρ =E θ₊ +αV ρ₊ ρ =ρ

2.5

Teori Kontrol Optimal Linier-Kuadratik pada Sistem

Deterministik

Misalkan suatu sistem dinamik sebagai berikut

1 ,

t t t

V+ =AV +BU (2.53)

dengan indeks performansi atau fungsi ongkos yaitu

(

)

1 1 1 , 2 2 N T T T i N N N t t t t t t t i J V S V − V QV U OU = = +

∑

+ (2.54)

dimana Qt matriks definit tak negatif, dan Ot matriks definit positif. ut sebagai

variabel input yang merupakan komponen dari Ut berdimensi r. Dari permasalahan

tersebut, maka akan dicari suatu kontrol optimum ut* selama waktu yang telah

ditetapkan sepanjang [i,N] yang meminimalkan Ji. Anggap bahwa vt adalah

akhir vN bersifat bebas. Sebagai permulaan, misalkan t = N dan dari persamaan (2.54) didapatkan * 1 . 2 T N N N N J = v S v (2.55)

Selanjutnya bentuk dari t menuju N-1 dari persamaan (2.54) dapat dituliskan menjadi 1 1 1 1 1 1 1 1 1 1 . 2 2 2 T T T N N N N N N N N N N J ₋ = v Q v_{− − −} + u O u_{− − −} + v S v (2.56)

Sehingga substitusi dari persamaan (2.53) ke persamaan (2.56) menjadi

(

)

(

)

1 1 1 1 1 1 1 1 1 1 1 1 1 1 . 2 2 2 T T T N N N N N N N N N N N N J ₋ = v Q v_{− − −} + u O u_{− − −} + Av ₋ +Bu ₋ S Av ₋ +Bu ₋ (2.57)

Minimum dari JN-1 dari persamaan (2.57) untuk mendapatkan kontrol optimal dapat

diperoleh melalui

(

)

1 1 1 1 1 0 N _N T _{N N N} . N J Ou B S Av Bu u − − − − − ∂ = = + + ∂ (2.58)

Penyelesaian untuk kontrol optimal dari persamaan (2.58) menghasilkan

(

)

1 * 1 1. T T N N N N u ₋ = − B S B O+ − B S Av ₋ (2.59)

Definisikan Kalman Gain dari persamaan (2.59) sebagai berikut

(

)

1

1 .

T T

N N N

k ₋ =Δ B S B R+ − B S A (2.60)

Maka dari persamaan (2.60) diperoleh kontrol optimal pada persamaan (2.59) yang dituliskan menjadi

*

1 1 1.

N N N

u ₋ = −k ₋v ₋ (2.61)

Dengan mensubstitusikan persamaan (2.61) kedalam (2.57) diperoleh

(

)

(

)

1 * 1 1 1 1 1 1 1 . 2 N T T T N N N N N N N J ₋ = v _{− ⎣}⎡ A Bk− ₋ S A Bk− ₋ +k Ok_{− −} +Q v⎤_{⎦ −} (2.62) Definisikan bahwa

(

)

(

)

1 1 1 1 1 . T _T N N N N N N S ₋ =Δ A Bk− ₋ S A Bk− ₋ +k ₋Ok ₋ +Q (2.63) Persamaan (2.63) disebut dengan persamaan Riccati. Substitusi persamaan (2.63) ke persamaan (2.63) sehingga diperoleh

* 1 1 1 1 1 . 2 T N N N N J ₋ = v ₋S ₋v ₋ (2.64)

Untuk t=N-2 ,seperti persamaan (2.56), indeks performansi dapat dituliskan menjadi

2 2 2 2 2 2 2 1 1 1 1 1 1 . 2 2 2 T T T N N N N N N N N N N J ₋ = v ₋Q ₋ v ₋ + u ₋ O ₋ u ₋ + v ₋S ₋v ₋ (2.65) Jika persamaan (2.64) dan (2.65) mengikuti langkah seperti pada persamaan (2.57) sampai (2.63) maka untuk setiap t = N-1,…,1,0 akan diperoleh sebagai berikut:

(

)

1 1 1 . T T t t t k = B S B O₊ + − B S A₊ (2.66) * . t t t u = −k v (2.67)

(

)

(

)

1 1 . T _T N t t t t t S ₋ = A Bk− S₊ A Bk− +k Ok +Q (2.68) * 1 . 2 T t t t t J = v S v (2.69)

dimana kondisi akhir SN untuk persamaan (2.69) diberikan oleh persamaan (2.55).

2.6

Teori Kontrol Optimal Linier-Kuadratik pada Sistem Stokastik

Suatu sistem dinamik dalam bentuk stokastik dinyatakan sebagai berikut

(

,

)

(

,

)

(

,

)

.

t t t t t t

dV =a t V dt B t V U dt G t V dW+ + (2.70)

dengan diberikan Vto sebagai vektor acak, dimana a(t,v) dan B(t,v) pada persamaan

(2.70) masing-masing adalah vektor dan matriks. Vt untuk setiap t adalah anggota

dari ruang keadaan ℝn, input atau kontrol Ut untuk setiap t berada di dalam

himpunan Uad⊂ ℝp, dan

{

W t tt, ≥ 0

}

adalah variabel acak yang saling bebas dengan

dimensi r. Misalkan ut sebagai variabel input yang merupakan komponen dari Ut dan

vt adalah komponen dari Vt . γ(t,v,u) adalah fungsi dari [t0,T] x ℝn x ℝp dan Γ(v)

adalah fungsi dari ℝn. Permasalahan kontrol adalah untuk mencari proses stokastik

{

u t tt, ≤ 0

}

sehingga 0 ( ) T ( , ,_{t t}) ( _T) , t J U =E⎡_⎢ γ t V U dt+ ΓV ⎤_⎥ ⎣

∫

⎦ (2.71) minimum.

Dengan menggunakan pemrograman dinamik maka sebagai langkah awal untuk penyederhanaan adalah dengan mengkonversikan masalah kontrol stokastik yang diformulasikan diatas ke dalam bentuk masalah kontrol deterministik. Metode solusi tersebut diperbincangkan pada Fleming dan Rischel (1975). Sehubungan dengan persamaan diferensial stokastik pada sistem dV_t = f t V dt G t V dW( , )_t + ( , )_{t t}, dimana didefinisikan ( , )f t v a t v( , ) B t v( , ) ( , )φ t v

Δ

= + mempunyai solusi tunggal

{

V t tt, ≥ ₀

}

dan

( ) ( , ( ))

U t =Δφ t V t .

Dengan mengubah bentuk persamaan diferensial stokastik menjadi deterministik dapat melalui fungsi pembangkit diferensial yang didefinisikan oleh

[

]

2 1 , 1 1 ( , , ) ( , ) ( , ) ( , ) , 2 n n ij i i i i j i j L t v u a t v B t v u t v v v v χ χ χ Δ σ = = ∂ ∂ = + + ∂ ∂ ∂

∑

∑

(2.72) dimana σij adalah komponen ke-ij dari matriks GGT. Menurut Friedman (1964),

persamaan diferensial paarsial parabolik atau lebih dikenal dengan Hamilton- Jacobi- Bellman, yaitu

[

]

min ( , , ) ( , , ) 0, ad u U L t v u t v u t χ _{χ γ} ∈ ∂ _{+ + =} ∂ (2.73)

dengan kondisi akhir ( , )χ T v = Γ( )v mempunyai solusi ( , )χ t v .

Bentuk khusus dari model sistem stokastik pada persamaan (2.70) sebagai berikut: dV_t =AV dt BU dt D t V dW t_{t t} + _{t t} + ( , )_{t t}, ₀ ≤ ≤ (2.74) t T.

Untuk mencocokan model pada persamaan (2.74) dengan model yang umum pada persamaan (2.70), kita nyatakan

a(t,v)=Atv, B(t,v)=Bt, G(t,v)= 1 ( ) . n i i i v D t = ⎛ ⎞ ⎜ ⎟ ⎝

∑

⎠

( , , )t v u v Q v u O uT t T t

γ = + dan Γ( )v =v Q vT f . Untuk menyelesaikan permasalahan

kontrol stokastik maka persamaan (2.73) akan diminimumkan dengan menggunakan persamaan (2.72) sebagai berikut:

( , , )L t v u χ γ+ ( , , )t v u

[

]

2 1 , 1 1 ( , ) ( , ) ( , ) , 2 n n T T ij t t i i i i j i j a t v B t v u t v v Q v u O u v v v χ _σ χ = = ∂ ∂ = + + + + ∂ ∂ ∂

∑

∑

(2.75)

dimana σij adalah elemen dari GGT. Perhatikan berikut ini:

2 , 1 ( , ) ( , ) n T ij i j i j G t v G t v v v χ = ∂ ⎡ ⎤ ⎣ _{⎦ ∂ ∂}

∑

{

''

}

( , ) ( , )T v Tr G t v G t v χ =

{

''

}

( , )T v ( , ) Tr G t v χ G t v = '' 1 1 ( ) ( ) n n T i i v i i i i v D t χ v D t = = ⎧⎛ ⎞⎛ ⎞⎫ = ⎨_{⎜ ⎟⎜ ⎟}⎬ ⎝ ⎠⎝ ⎠ ⎩

∑

∑

⎭ '' 1 ( ) ( ) n T i i v j j i Tr v D t χ D t v = ⎧ ⎫ = _{⎨ ⎬} ⎩

∑

⎭

( )

'' 1 , n i v _ij j i v t χ v = ⎡ ⎤ =

∑

_⎣Δ _⎦

( )

'' , . T v v t χ v = Δ (2.76) Akibatnya, dari persamaan (2.75) dan (2.76) diperoleh

[

]

' 1

( )

'' ( , , ) ( , , ) , . 2 T _{T T T} t t v v t t L t v u χ γ+ t v u = A v B u+ χ + v Δ t χ v v Q v u O u+ + (2.77) Persamaan (2.77) akan diminimumkan terhadap u maka dari persamaan (2.77) diperoleh: ' * 2 0. T t v t B χ + O u = (2.78) Dengan demikian, dari persamaan (2.78) diperoleh kontrol optimal sebagai berikut:

* 1 1 ' . 2 T t t v u _{= −} O B− χ (2.79)

' 1 1 ' 2 0. 2 T T t v t t t v B χ + O − O B− χ = (2.80)

Dari persamaan (2.77) dan (2.80) disubstitusi ke persamaan (2.73) menjadi

( )

' ' ' 1 ' '' 1 1 1 1 , 0. 2 2 4 2 T T T T T T T t v v t v t t t v t v v A A v B O B v Q v v t v t χ _{χ χ χ} − _{χ χ} ∂ _{+ + − + + Δ =} ∂ (2.81) Dengan kondisi akhir

( , )T v v Q vT f .

χ = (2.82)

Mengacu kondisi akhir pada persamaan (2/73) maka pendekatan solusi persamaan (2.81) dan (2.82) dalam bentuk kuadratik

( , )t v v Pv qT _{t t}, χ = + (2.83) ' ( , ) 2 , v t v Pvt χ = (2.84) '' ( , ) 2 . v t v Pt χ = (2.85)

Substitusi persamaan (2.83), (2.84), dan (2.85) ke persamaan (2.81), diperoleh

' T ' T T T t t t t t t q +v P v v A Pv v P A v+ + 1

(

)

, 0, T T T T t t t t t t t v P B O B Pv v Q v v− t P v − + + Δ = (2.86) dan substitusi persamaan (2.82) dan (2.83), diperoleh

.

T T

T T f

v P v q+ =v Q v (2.87) Dengan menyamakan ruas kanan dan kiri maka dari persamaan (2.86) didapatkan

( )

' 1 , 0, T T t t t t t t t t t t t P ₊A P P A PB O B_{+ −} − ₊Q _{+ Δ} t P ₌ (2.88) dan ' 0. t q = (2.89)

Selanjutnya dengan menyamakan ruas kanan dan kiri maka dari persamaan (2.87) didapatkan

PT=Qf dan qT=0. (2.90)

Dengan menggunakan persamaan (2.79), kontrol optimal yang dinyatakan oleh persamaan (2.84) menjadi

* 1

( , ) _{t t}T _{t t},

u t v _{= −}O B Pv−

atau dapat ditulis juga dalam bentuk * ( , ) t t u t v = −k v dimana 1 T t t t t k =O B P− atau T t t t t

B P =O k . Sehingga pada suku P di persamaan (2.88) dapat dituliskan sebagai berikut: 1 . T T t t t t t t t t t t t PB O B P− =PB k =k O k (2.92)

Menggunakan persamaan (2.92), persamaan (2.88) dapat dituliskan sebagai

' T T T

t t t t t t t t t t t

P +A P P A+ −k B P P B k− +k O ktT t t +Qt + Δ

(

t P, t

)

=0, (2.93)

atau persamaan (2.93) dapat dituliskan sebagai berikut:

(

)

(

)

' T

t t t t t t t t t

P + A −B k P P A+ −B k +Δ

(

t P, t

)

+k O ktT t t +Qt =0,