BAB II LANDASAN TEORI. Pada Bab II berikut akan dibahas mengenai dasar-dasar teori yang

(1)

Pada Bab II berikut akan dibahas mengenai dasar-dasar teori yang digunakan dalam penulisan Tugas Akhir ini, yaitu tentang trace matriks, rank matriks, determinan matriks, invers matriks, bentuk linier dan bentuk

kuadratik, beserta diferensiasinya. Kemudian, dibahas pula mengenai vektor random berdistribusi normal. Metode penaksiran parameter menggunakan Metode Maximum Likelihood juga dibahas dalam Tugas Akhir ini disertai dengan pendekatan numerik, yaitu Scoring Algorithm. Selain itu, dibahas juga mengenai definisi faktor fixed dan faktor random, definisi Linear Regression Model (LRM), Generalized Linear Regression Model (GLRM), serta General Linear Mixed Model dengan metode penaksiran masing-masing

parameternya. Pada akhir Bab II dibahas pula mengenai definisi fungsi genap, fungsi ganjil, dan translation- invariant.

(2)

2.1 Matriks 2.1.1 Trace Matriks

Misalkan ^A⁼

{ }

^a^ij suatu matriks persegi berukuran n n× , maka trace dari A didefinisikan sebagai jumlah dari elemen diagonal A dan dinotasikan dengan ^{tr A}

( )

^{, yaitu}tr

( )

A =a11+a22 +…+a_nn. Beberapa sifat dari trace di antaranya adalah sebagai berikut:

1. ^tr

( )

In =n 2. ^tr^⎡_⎣

( )

^k ^{⎤ =}_⎦ ^k

3. ^tr

( )

^k^A ⁼^k^tr

( )

^A

4. ^tr

(

^A⁺^B

)

⁼^tr

( )

^A ⁺^tr

( )

^B

5. ^tr

( )

^A^T ⁼^tr

^{( )}

^A ^(2.1.1.a)

di mana k adalah sembarang skalar, sedangkan A dan B adalah matriks berukuran n n× . Untuk k k₁, ₂, …, k_r adalah sembarang skalar dan

1, 2, , _r

A A … A adalah matriks berukuran n n× maka

( )

1 1

tr tr .

r r

i i i i

i i

k k

= =

⎛ ⎞=

⎜ ⎟

⎝

∑

^A ⎠

∑

^A

(3)

Misalkan ^A⁼

{ }

^a^ij adalah matriks berukuran m n× dan ^B⁼

{ }

^b^ij

adalah matriks berukuran n m× , maka

( )

1 1

tr

m n

ij ji

i j

a b

= =

=

∑∑

AB di mana

1 n

ij ji j

a b

=

∑

AB . Berdasarkan (2.1.1.a) maka

( ) ( )

tr AB =tr B A^T ^T (2.1.1.b)

sehingga dapat diperluas sebagaimana diberikan dalam lemma berikut ini.

Lemma 2.1 Untuk sembarang matriks A berukuran m n× dan matriks B berukuran n m× maka ^tr

( )

^AB ⁼^tr

( )

^BA ^.

Bukti:

( ) ( )

1 1 1 1 1 1

tr tr

m n n m n m

ij ji ij ji ji ij

i j j i j i

a b a b b a

= = = = = =

=

∑∑

=

∑∑

=

∑∑

=

AB BA

Catatan: Berdasarkan (2.1.1.b) dan lemma 2.1, untuk sembarang matriks A berukuran m n× dan matriks B berukuran n m× , maka

( ) ( ) ^{( )} ( )

tr AB =tr B A^T ^T =tr BA =tr A B^T ^T .

Bentuk di atas dapat diperluas untuk trace dari perkalian matriks ABC di mana A matriks berukuran m n× , B matriks berukuran n× , dan p C matriks berukuran p m× sehingga

( ) ( ) ( )

^.

tr ABC =tr CAB =tr BCA (2.1.1.c)

(4)

2.1.2 Rank Matriks

Definisi 2.2 Himpunan bagian W dari ruang vektor V disebut subruang dari V jika W merupakan ruang vektor terhadap penjumlahan dan perkalian skalar yang didefinisikan pada V.

Definisi 2.3 Suatu vektor w disebut kombinasi linier dari vektor-vektor

1 2

v ,v ,…,v_r jika dapat dinyatakan ke dalam bentuk w=k₁v₁+k₂v₂+ +… k_rv_r dengan k k₁, ₂,…,k_r adalah skalar.

Definisi 2.4 Jika S=

{

v , v ,1 2 …, v_r

}

adalah himpunan vektor-vektor tak kosong, maka persamaan vektor

1v1 2v2 _rv_r 0

k +k + +… k =

memiliki paling tidak satu penyelesaian, yaitu:

= = … =

1 0, 2 0, , _r 0.

k k k

Jika ini adalah satu-satunya penyelesaian, maka S disebut himpunan yang bebas linier.

Definisi 2.5 Jika S=

{

v , v ,1 2 …, v_r

}

adalah himpunan vektor dalam ruang vektor ,V maka subruang W dari V yang terdiri dari semua kombinasi linier dari vektor-vektor dalam S disebut ruang yang direntang oleh v ,v ,₁ ₂ …,v_r.

(5)

Vektor-vektor dalam himpunan S =

{

v , v ,1 2 …, v_r

}

merupakan vektor-vektor merentang W, sehingga W dapat dituliskan sebagai

( )

=span

W S atau W =span v ,v , ,v

{

₁ ₂ … r

}

.

Definisi 2.6 Jika ruang vektor V dan S =

{

v , v ,1 2 …, v_r

}

adalah himpunan vektor-vektor dalam V, maka S disebut basis untuk V jika dua syarat berikut ini dipenuhi:

1. S bebas linier 2. S merentang V.

Definisi 2.7 Ruang vektor tidak nol V berdimensi hingga jika V memuat himpunan berhingga vektor-vektor {v ,v ,₁ ₂ …,v_r} yang membentuk basis.

Definisi 2.8 Dimensi ruang vektor V berdimensi hingga, yang dinyatakan dengan ^dim

( )

^V , didefinisikan sebagai banyak vektor dalam suatu basis untuk V.

Definisi 2.9 Untuk matriks A berukuran m n× ,

A

n n

m m mn

a a a

⎡ ⎤

⎢ ⎥

=⎢ ⎥

⎢ ⎥

⎣ ⎦

11 12 1

21 22 2

1 2

(6)

Vektor-vektor

[ ]

1 11 12 1

2 21 22 2

1 2

r r

r

n n

m m m mn

a a a

=

dalam ℜⁿ yang dibentuk dari baris-baris A disebut vektor-vektor baris dari A, dan vektor-vektor

11 12 1

21 22 2

1 2

c , c , , c

n n n

m m mn

a a a

⎡ ⎤ ⎡ ⎤ ⎡ ⎤

⎢ ⎥ ⎢ ⎥ ⎢ ⎥

= = =

⎢ ⎥ ⎢ ⎥ ⎢ ⎥

⎣ ⎦ ⎣ ⎦ ⎣ ⎦

…

dalam ℜ^m yang dibentuk dari kolom-kolom A disebut vektor-vektor kolom dari A.

Definisi 2.10 Jika matriks A berukuran m n× maka subruang dari ℜ, ⁿ yang direntang oleh vektor-vektor baris dari A disebut ruang baris dari A, dan subruang dari ℜ^m yang direntang oleh vektor-vektor kolom disebut ruang kolom dari A.

Definisi 2.11 Dimensi dari ruang baris dan ruang kolom dari suatu matriks A disebut rank dari A.

Definisi 2.12 Matriks A berukuran m n× dikatakan full rank jika

( )

^A

(

^,

)

r =min m n

(7)

2.1.3 Invers Matriks

Misalkan A matriks full rank berukuran n n× . A disebut nonsingular jika terdapat matriks A sedemikian sehingga ⁻¹ A A⁻¹=A A⁻¹ =I .

Catatan: Invers dari suatu matriks bujur sangkar adalah tunggal.

2.1.4 Determinan dan Adjoint Matriks

Definisi 2.13 Suatu permutasi himpunan bilangan bulat

{

^{1, 2,}^…^,n

}

^adalah

suatu susunan bilangan-bilangan bulat ini ke dalam suatu urutan tanpa penghilangan atau pengulangan.

Misalkan

(

j j1, 2,…, j_n

)

menyatakan suatu permutasi umum dari himpunan

{

^{1, 2,}^…^,n

}

^{di mana} j adalah bilangan bulat pertama dalam 1

permutasi, j adalah bilangan bulat yang kedua, dan seterusnya. ₂

Definisi 2.14 Suatu pembalikan dikatakan terjadi dalam suatu permutasi

(

j j1, 2,…, j_n

)

bilamana suatu bilangan bulat yang lebih besar mendahului yang lebih kecil.

Total jumlah pembalikan yang terjadi dalam suatu permutasi dapat diperoleh sebagai berikut:

(8)

1. Cari jumlah bilangan bulat yang lebih kecil dari j dan yang mengikuti ₁

j dalam permutasi tersebut. 1

2. Cari jumlah bilangan bulat yang lebih kecil dari j dan yang mengikuti ₂

j dalam permutasi tersebut. 2

3. Teruskan proses menghitung ini untuk j₃,j₄,…,j_n₋₁.

Total dari jumlah-jumlah ini adalah total jumlah pembalikan dalam permutasi tersebut.

Definisi 2.15 Suatu permutasi disebut genap jika total jumlah pembalikan merupakan suatu bilangan bulat genap dan disebut ganjil jika total jumlah pembalikan merupakan suatu bilangan bulat ganjil.

Misalkan A adalah suatu matriks berukuran n n× , determinan dari matriks A, dinotasikan dengan A atau ^{det A}

( )

, didefinisikan sebagai

1 2

1j 2j nj_n

a a a

=

∑

±

A …

di mana ∑

menunjukkan bahwa suku-suku dijumlahkan atas semua permutasi

(

j j1, 2,…,j_n

)

, dan + serta – dipilih pada setiap suku, tergantung pada apakah permutasi tersebut genap (+) atau ganjil (-).

Beberapa sifat determinan, di antaranya:

(9)

1. A^T = A . 2. kA =kⁿ A . 3. AB = A B . 4. A A^T = A². 5. A⁻¹ =1 A .

untuk sembarang matriks A dan B berukuran n n× serta skalar k.

Misalkan ^A⁼

{ }

^a^ij menyatakan matriks berukuran n n× dan A _ij

menyatakan submatriks dari A berukuran

(

ⁿ^{− ×}¹

) (

ⁿ⁻¹

)

yang didapat dengan menghilangkan baris serta kolom yang mengandung elemen a , yakni baris _ij ke-i dan kolom ke-j. Determinan dari submatriks A disebut minor dari _ij

elemen a , sedangkan _ij

( )

¹ⁱ ^j ij

− + A disebut kofaktor dari a . Misalkan _ij a _ij

menyatakan elemen ke-ij dari matriks berukuran n n× , dan misalkan α_ij menyatakan kofaktor dari a _ij

(

^{i j}^, ⁼^{1, 2,}^…^,ⁿ

)

. Maka, untuk i=1, 2,… , ,n

1 1 1

n

ij ij i i in in

j

a α a α a α

=

∑

= + +

A …

dan untuk j=1, 2,… , ,n

1 1 1

.

n

ij ij j j nj nj

i

aα a α a α

=

∑

= + +

A …

(10)

Catatan: Transpose matriks kofaktor dari A disebut matriks adjoint dan dinotasikan dengan ^adj

( )

^A ^{, yaitu:}

11 1 11 1

1 1

T

n n

n nn n nn

adj

α α α α

⎛ ⎞ ⎛ ⎞

⎜ ⎟ ⎜ ⎟

=⎜ ⎟ =⎜ ⎟

⎜ ⎟ ⎜ ⎟

⎝ ⎠ ⎝ ⎠

A

di mana memenuhi sifat:

1. Aadj

( ) (

A = adjA A

)

= A In.

2. ^adj

( )

^A ⁼ ^{A A}⁻¹ atau ekivalen dengan ^A⁻¹⁼

(

¹ ^A

)

^adj

( )

^{A .} ^(2.1.4.a)

2.2 Notasi Bentuk Linier, Bentuk Kuadratik, dan Definit Positif

Misalkan a⁼

(

a1,^…,a_n

)

^T adalah vektor kolom berdimensi n. Pandang fungsi ^{a x}^T =

∑

ia xⁱ ⁱ , dengan vektor x⁼

(

x1,^…,x_n

)

^Tdi ℜⁿ. Fungsi tersebut merupakan fungsi bentuk linier.

Misalkan matriks A= ⎣ ⎦ berukuran ⎡ ⎤a_ij ^{n n}^× . Pandang fungsi

≠

=

∑

=

∑

² +

∑

, ,

x Ax^T _ij _i _j _i _i _ij _i _j

i j i i j i

a x x a x a x x

dengan vektor x ⁼

(

x1,^…,x_n

)

^Tdi ℜⁿ. Fungsi tersebut merupakan bentuk kuadratik.

(11)

Definisi 2.16 Misalkan x Ax^T merupakan bentuk kuadratik dengan

A= ⎣ ⎦ adalah matriks berukuran ⎡ ⎤a_ij ^{n n}^× dan vektor x⁼

(

x1,^…,x_n

)

^Tdi ℜⁿ. Bentuk kuadratik dikatakan definit positif jika

>0 untuk setiap ≠0

x A x^T , x .

Definisi 2.17 Matriks simetris A disebut matriks definit positif jika x Ax^T adalah bentuk kuadratik definit positif.

Berikut ini adalah lemma mengenai matriks definit positif yang merupakan matriks nonsingular (bukti diberikan pada lampiran 1).

Lemma 2.18 Sembarang matriks definit positif adalah nonsingular.

2.3 Diferensiasi Matriks

2.3.1 Definisi dan Notasi Diferensiasi Matriks

Sebelum membahas lebih jauh mengenai turunan atau diferensiasi pada matriks, ada beberapa hal yang perlu diketahui, di antaranya mengenai definisi, notasi, dan beberapa pendahuluan lainnya. Misalkan c menyatakan sembarang vektor kolom berdimensi m. Neighborhood dari c didefinisikan sebagai sebuah himpunan dengan bentuk umumnya

{

^x^∈ℜ^m^×¹^: ^{x c}^{− <}^r

}

^di

mana r adalah suatu bilangan positif yang disebut radius dari neighborhood.

(12)

Oleh karena itu, neighborhood dari c dengan radius r adalah himpunan semua vektor kolom berdimensi m yang memiliki jarak terhadap c kurang dari r . Definisi tersebut dapat diperluas untuk vektor baris dan matriks.

Neighborhood dari sembarang matriks berukuran m n× adalah sebuah himpunan dengan bentuk umumnya adalah

{

^X^∈ℜ^{m n}^× ^: ^{X C}⁻ ^<^r

}

^.

Misalkan S menyatakan sembarang himpunan vektor kolom berdimensim. Maka, vektor x di S disebut interior point dari S jika ada neighborhood dari x yang semua titiknya berada diS. Hubungan tersebut berlaku pula untuk sembarang matriks berukuran m n× .

Misalkan suatu fungsi f bernilai skalar memiliki domain di sebuah himpunan ℜ^{m n}^× . Nilai fungsi f dari vektor x atau matriks X dinotasikan dengan ^{f x}

( )

^atau ^{f X}

( )

. Misalkan f =

{ }

fs adalah vektor berukuran p× 1 dan F=

{ }

fst adalah matriks berukuran p q× di mana setiap elemennya adalah fungsi yang terdefinisi di himpunan ℜ^{m n}^× . Maka untuk sembarang matriks X , vektor ⎡⎣f1

( ) ( )

X ,f2 X ,…,f_p

( )

X ⎤⎦^T berukuran p× dan matriks 1 dengan elemen ke- st adalah fst

( )

X dapat dinotasikan sebagai ^{f X}

( )

^atau

( )

F X serta dapat dinyatakan sebagai nilai dari f atau F di X .

Misalkan f menyatakan fungsi yang domainnya adalah himpunan S di ℜ . Maka berdasarkan definisi, f dikatakan kontinu di sebuah interior ^m×¹

(13)

point c dari S, jika ^{lim f}_x_→_c

( )

^x ⁼ ^f

( )

^c ^{di mana}^{lim f}_x_→_c

( )

^x berupa skalar

(misalkan: b). Dengan demikian, untuk setiap skalar ε , ada neighborhood N_ε dari c sedemikian sehingga ^f

( )

^x ^{− <}^b ^ε^{di mana} ^x^{− <}^c ^δ ^dengan^δ

adalah radius dari neighborhood N_ε. Sebuah matriks F berukuran p q× yang setiap entri-nya memiliki domain yang sama pada himpunan S di ℜ ^m×¹ dapat dikatakan kontinu di sebuah interior point c dari S jika semua elemen dari F kontinu di c.

Misalkan f menyatakan sebuah fungsi yang terdefinisi di sebuah himpunan S dari vektor x=

(

x x1, 2,…,x_m

)

^T dengan m variabel. Anggap bahwa

S mengandung beberapa interior point dan misalkan c=

(

c c1, 2,…,c_m

)

^T

menyatakan salah satu dari titik-titik tersebut. Misalkan u menyatakan kolom _j ke- j dari I . Pandang limit berikut _m

( ) ^{( )}

0

lim ^j .

t

f t f

→ t

+ −

c u c

Ketika limit tersebut ada, ini disebut turunan parsial first order ke- j dari f di c dan dinotasikan dengan D f cj

( )

atau D f . Notasi _j D menyatakan vektor f baris

(

D f D f1 , 2 ,…,D f_m

)

di mana elemennya adalah turunan parsial first order dari f , sedangkan notasi ^D^f

( )

^c berarti vektor baris

( ) ( ) ( )

(

D f1 c ,D f2 c ,…,D f_m c

)

di mana elemennya adalah turunan parsial first

(14)

order dari f di c. Notasi lainnya adalah ∂f

( )

x ∂xj yang merupakan turunan parsial ke- j dari f di x . Selain itu, ^∂^f

( )

^x ^∂^x^T menyatakan vektor baris

( ) ( ) ( )

(

∂f x ∂ ∂x1, f x ∂x2,…,∂f x ∂x_m

)

di mana elemennya adalah turunan parsial first order dari f di x , sedangkan ^∂^f

( )

^x ^∂^x menyatakan vektor kolom

( ) ( ) ( )

(

^∂^f ^x ^{∂ ∂}^x¹^, ^f ^x ^∂^x²^,^…^,^∂^f ^x ^∂^x^m

)

^T di mana elemennya juga merupakan turunan parsial first order dari f di x .

Fungsi f dengan domain S di ℜ dikatakan continuously ^m×¹

differentiable di interior point c pada S jika D f1

( )

x ,D f2

( )

x ,…,D f_m

( )

x ada dan kontinu di setiap titik x dalam neighborhood dari c. Dengan demikian, jika sebuah fungsi f , dengan domain S di ℜ continuously differentiable di ^m×¹ interior point c dari S maka f kontinu di c.

Anggap bahwa D f1

( )

x ,D f2

( )

x ,…,D f_m

( )

x ada untuk setiap x dalam neighborhood dari c. Ketika turunan parsial first order ke- i dari D f di _j c ada, ini disebut turunan parsial second order ke- ij dari f di c dan

dinotasikan dengan D f cij²

( )

atau dalam bentuk matiks, yaitu ^H^f

( )

^c ^{. Selain}

itu, notasi tersebut dapat juga ditulis sebagai ∂²f

( )

x ∂ ∂x xi j atau pada kasus khusus i= ∂j^, ²f

( )

x ∂xi². Notasi ∂²f

( )

x ∂ ∂x xi j^dan∂²f

( )

x ∂xi² biasanya disingkat menjadi ∂²f ∂ ∂x x_i _j dan ∂²f ∂x_i² . Fungsi f dikatakan continuously

(15)

differentiable dua kali di c jika f dan semua turunan parsial first order continuously differentiable di c.

Misalkan ada vektor kolom ^f ⁼

(

^{f f}¹^, ²^,^…^, ^f^p

)

^T dengan p fungsi, kemudian diturunkan. Domain dari semua fungsi ini adalah himpunan S di

m×1

ℜ . Misalkan S memiliki beberapa interior point dan c menyatakan salah satu titik tersebut. Simbol D_jf digunakan untuk menyatakan vektor kolom berdimensi-p di mana elemen ke-s adalah turunan parsial ke-j dari f_s dan dinotasikan dengan D f . Notasi _j _s Df digunakan untuk menyatakan matriks

p m× di mana elemen ke-sj adalah D f , atau ekivalen dengan matriks p m_j _s × di mana kolom ke-j adalah D_jf . Bentuk-bentuknya adalah sebagai berikut:

1. D_jf c

( )

= ⎣⎡D f_j 1

( )

c ,D f_j 2

( )

c ,…,D f_j _p

( )

c ⎤⎦^T dan

2. Df c

( )

= ⎡⎣D1f c

( )

,D2f c

( )

,…,D_mf c

( )

⎤⎦ di mana setiap m turunan parsial dari setiap p fungsi f f₁, ₂,…,f_p di c ada.

Selain itu, bentuk di atas dapat pula ditulis sebagai berikut. Misalkan

(

x x1, 2, ,x_m

)

^T

=

x … merupakan vektor dengan m variabel. Kemudian tuliskan

( )

^T

∂f x ∂x (atau ∂ ∂f x^T ) untuk matriks p m× di mana elemen ke-sj adalah

( )

s j

f x

∂ x ∂ . Pada konteks ini, ^∂^{f x}

( )

^∂^x^T disebut turunan dari ^{f x}

( )

^terhadap

(16)

x di mana notasi T ^∂^{f x}

( )

^∂^x^T memiliki interpretasi yang sama dengan ^{Df x}

( )

(atau biasa disingkat menjadi Df ).

Anggap bahwa ada matriks F=

{ }

fst berukuran p q× dengan pq fungsi, diturunkan. Domain dari fungsi-fungsi tersebut adalah himpunan S di

m×1

ℜ . Matriks F disebut continuously differentiable di interior point c (pada S) jika semua entri-nya continuously differentiable di c, dan continuously differentiable dua kali di c jika semua entri-nya continuously differentiable dua kali di c.

2.3.2 Diferensiasi Bentuk Linier dan Bentuk Kuadratik

Berikut ini diberikan diferensiasi dari bentuk linier a x^T dan bentuk kuadratik x A x^T yang buktinya dapat dilihat pada lampiran 2.

( )

∂ =

∂

a x a

x

T

(2.3.2.a)

( )

∂ =

∂

a x a

x

T

(2.3.2.b)

( ) ( )

∂ = +

∂ x A x

A A x x

T

T (2.3.2.c)

(17)

2.3.3 Diferensiasi dari Penjumlahan dan Perkalian Matriks

Misalkan F=

{ }

fis menyatakan matriks berukuran p q× dari fungsi- fungsi yang terdefinisi di himpunan S, oleh vektor x=

(

x x1, 2,…,x_m

)

^T dengan

m variabel. Jika F=K di mana K adalah suatu matriks konstanta berukuran p q× , maka di sembarang interior point dari S, ∂ ∂ =F x_j 0 .

Misalkan F=

{ }

fis dan G=

{ }

gis menyatakan matriks-matriks berukuran p q× dari fungsi-fungsi yang terdefinisi di himpunan ^S, oleh vektor x=

(

x x1, 2,…,x_m

)

^T dengan m variabel. Misalkan pula a dan b suatu fungsi konstanta yang kontinu di sembarang interior point dari S. Jika F dan

G continuously differentiable di sembarang interior point dari S maka aF+bG juga continuously differentiable di sembarang interior point tersebut dengan

( )

j j j

a b

x x x

∂ + ∂ ∂

= +

∂ ∂ ∂

F G F G

(2.3.3.a)

(bukti dapat dilihat pada lampiran 3)

sehingga dapat disimpulkan sebagai berikut:

( ) ( )

, ,

j j j j j j j j

a a

x x x x x x x x

∂ + ∂ −

∂ = ∂ = ∂ +∂ = ∂ −∂

∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂

F G F G

F F F G F G

.

(18)

Misalkan F=

{ }

fis dan G=

{ }

gis menyatakan matriks-matriks

berukuran p q× dan q r× dari fungsi-fungsi yang terdefinisi di himpunan S, oleh vektor x=

(

x x1, 2,…,x_m

)

^T dengan m variabel. Jika F dan G continuously differentiable di sembarang interior point dari S maka FG juga continuously differentiable di sembarang interior point tersebut dengan

j j j

x x x

∂ = ∂ + ∂

∂ ∂ ∂

FG G F

F G. (2.3.3.b)

(bukti dapat dilihat pada lampiran 4).

Bentuk di atas dapat diperluas untuk F , G, dan H , yaitu matriks- matriks berukuran p q× , q r× , dan r v× dari fungsi-fungsi yang terdefinisi di himpunan S, oleh vektor x=

(

x x1, 2,…,x_m

)

^T dengan m variabel. Jika F , G, dan H continuously differentiable di sembarang interior point dari S maka

FGH juga continuously differentiable di sembarang interior point tersebut dengan

j j j j

x x x x

∂ = ∂ + ∂ + ∂

∂ ∂ ∂ ∂

FGH H G F

FG F H GH

. (2.3.3.c)

2.3.4 Diferensiasi dari Trace Matriks

(19)

Misalkan F=

{ }

fis menyatakan matriks berukuran p× dari fungsi-p fungsi yang terdefinisi di himpunan S, oleh vektor x=

(

x x1, 2,…,x_m

)

^T dengan

m variabel. Jika F continuously differentiable di sembarang interior point dari S maka ^{tr F}

( )

juga continuously differentiable di sembarang interior point tersebut dengan

( )

₁₁ ₂₂ pp

j j j j j

tr f f f

x x x x tr x

⎛ ⎞

∂ ∂ ∂ ∂ ∂

= + + + = ⎜⎜ ⎟⎟

∂ ∂ ∂ ∂ ⎝∂ ⎠

F F

…

di mana tr

( )

F = f11+ f22+…+ fpp .

Misalkan F=

{ }

fis dan G=

{ }

gis menyatakan matriks-matriks

berukuran p q× dan q p× dari fungsi-fungsi yang terdefinisi di himpunan S, oleh vektor x=

(

x x1, 2,…,x_m

)

^T dengan m variabel. Jika F dan G continuously differentiable di sembarang interior point dari S maka ^{tr FG}

( )

^atau^{tr GF}

( )

juga continuously differentiable di sembarang interior point tersebut dengan

( ) ( )

j j j j

tr tr

x x x x

⎛ ⎞ ⎛ ⎞

∂ ∂ =∂ ∂ = ⎜⎜⎝ ∂∂ ⎟⎟⎠+ ⎜⎜⎝ ∂∂ ⎟⎟⎠

FG GF G F

F G

. (2.3.4.a)

2.3.5 Aturan Rantai

(20)

Aturan rantai dapat membantu dalam melakukan penurunan parsial dari fungsi f yang merupakan komposit dari fungsi g dengan vektor fungsi

h , di mana f memiliki nilai di sembarang titik x yang diberikan oleh formula

( ) ( )

f x = ⎡g⎣h x ⎤⎦.

Misalkan h=

{ }

hi menyatakan vektor berukuran n×1 dari fungsi-fungsi yang terdefinisi di himpunan S, oleh vektor x=

(

x x1, 2,…,x_m

)

^T dengan m

variabel. Misalkan pula g menyatakan sebuah fungsi yang terdefinisi di T oleh vektor y=

(

y y1, 2,…,y_n

)

^T dengan n variabel. Anggap bahwa ^{h x}

( )

^∈^T

untuk setiap x di S. Kemudian, ambil f sebagai fungsi komposit yang terdefinisi di himpunan S di mana ^f

( )

^x ^{= ⎡}^g_⎣^{h x}

( )

^⎤_⎦. Jika h continuously differentiable di sembarang interior point c dari S dan jika g continuously differentiable di ^{h c}

( )

(asumsikan bahwa ^{h c}

( )

adalah interior point dari T) maka f continuously differentiable di c dengan

( ) ( ) ( ) ( ) ( )

1 n

j i j i j

i

D f D g D h g D

=

∑

⎡⎣ ⎤⎦ = ⎡⎣ ⎤⎦

c h c c D h c h c . (2.3.5.a)

Bentuk di atas dapat pula ditulis sebagai berikut:

1 n

i T

j i i j j

f g h g

x = y x x

∂ ∂ ∂ ∂ ∂

= =

∂

∑

∂ ∂ ∂_y ∂^h ^, ^(2.3.5.b)

(21)

di mana ∂ ∂g y_i dan ∂ ∂yg ^T diinterpretasikan memiliki nilai di ^y⁼^{h x}

( )

^.

Persamaan (2.3.5.a) dan (2.3.5.b) dapat dinyatakan sebagai berikut:

( ) ( ) ( ) ( ) ( )

1 n

i i

i

f D g h g

=

∑

⎡⎣ ⎤⎦ = ⎡⎣ ⎤⎦

D c h c D c D h c Dh c

atau

1 n

i

T T T T

i i

f g h g

= y

∂ = ∂ ∂ = ∂ ∂

∂_x

∑

∂ ∂_x ∂_y ∂_x^h ^.

Bentuk-bentuk di atas dapat diperluas dengan mengambil g=

{ }

gs

sebagai vektor berukuran p× dari fungsi-fungsi yang terdefinisi di T oleh y , 1 sedangkan f =

{ }

fs sebagai vektor berukuran p× dari fungsi komposit yang 1 terdefinisi di himpunan S dengan fs

( )

x =gs⎡⎣h x

( )

⎤⎦

(

^s⁼^{1, 2,}^…^,^p

)

^atau

( )

^{= ⎡}_⎣

( )

^⎤_⎦

f x g h x . Jika h continuously differentiable di sembarang interior point c dari S dan g continuously differentiable di ^{h c}

( )

, maka f continuously differentiable di c dengan

( ) ( ) ( ) ( ) ( )

1 n

j i j i j

i

D D D h D

=

∑

⎡⎣ ⎤⎦ = ⎡⎣ ⎤⎦

f c g h c c Dg h c h c (2.3.5.c)

atau

1 n

i T

j i i j j

h

x ₌ y x x

∂ = ∂ ∂ = ∂ ∂

∂^f

∑

∂ ∂^g ∂_y^g ∂^h ^(2.3.5.d)

(22)

di mana ∂ ∂g y_i dan ∂ ∂g y^T diinterpretasikan memiliki nilai di ^y⁼^{h x}

( )

^.

Persamaan (2.3.5.c) dan (2.3.5.d) dapat dinyatakan sebagai berikut:

( ) ( ) ( ) ( ) ( )

1 n

i i

i

D h

=

∑

⎡⎣ ⎤⎦ = ⎡⎣ ⎤⎦

Df c g h c D c Dg h c Dh c

atau

1 n

i

T T T T

i i

h

= y

∂ = ∂ ∂ = ∂ ∂

∂_x^f

∑

∂ ∂^g _x ∂_y^g ∂_x^h ^.

Berikut ini akan disajikan generalisasi dari aturan rantai pada matriks.

Misalkan H=

{ }

his adalah matriks berukuran n r× dari fungsi-fungsi yang terdefinisi di S oleh x di mana g adalah sebuah fungsi yang terdefinisi di himpunan T oleh sebuah matriks Y=

{ }

yis berukuran n r× dengan nr variabel. Misalkan pula ^{H x}

( )

^∈^T untuk setiap x di S dan f merupakan fungsi komposit terdefinisi di S dengan ^f

( )

^x ^{= ⎡}^g_⎣^{H x}

( )

^⎤_⎦^.

Anggap bahwa elemen-elemen dari H dan Y masing-masing disusun ke dalam bentuk vektor kolom h dan y . Kemudian, untuk tujuan penurunan,

g diinterpretasikan kembali sebagai fungsi dari y . Jika h atau H

continuously differentiable di sembarang interior point c dari S dan jika g continuously differentiable di ^{h c}

( )

^atau^{H c}

( )

(asumsikan bahwa ^{H c}

( )

(23)

adalah interior point dari T ) maka f continuously differentiable di x=c, yakni:

1 1

n r

is

i s

j is j

f g h

x ₌ ₌ y x

∂ ∂ ∂

∂ =

∑∑

∂ ∂

atau dapat ditulis kembali sebagai

T

j j

f g

x tr x

⎡ ⎤

∂ = ⎢⎛⎜∂ ⎞⎟ ∂ ⎥

∂ ⎢⎣⎝∂ ⎠ ∂ ⎥⎦ H

Y (2.3.5.e)

di mana ∂ ∂g y_is dan ∂ ∂Yg diinterpretasikan memiliki nilai di ^Y⁼^{H x}

( )

^.

2.3.6 Diferensiasi Parsial Pertama dari Determinan, Invers, dan Adjoint Matriks

Misalkan ^X⁼

{ }

^x^ij menyatakan sebuah matriks berukuran m m×

dengan m variabel “independen” (di mana ² m≥2), kemudian anggap bahwa nilai dari X terdiri dari bilangan-bilangan di ℜ^{m m}^× . Misalkan ξ_ij menyatakan kofaktor dari x . Maka _ij ^f

( )

^X ⁼^det

( )

^X ^di^ℜ^{m m}^× continuously differentiable di setiap X dengan

( )

det

ij

xij ξ

∂ =

∂

X . (2.3.6.a)

(24)

Untuk melihat hal tersebut, susun kembali elemen-elemen dari X ke dalam bentuk vektor kolom x berdimensi m , dan misalkan f sebagai fungsi ² dari x . Oleh karena penjumlahan serta perkalian dari fungsi yang

continuously differentiable adalah continuously differentiable, berdasarkan definisi determinan maka f continuously differentiable. Bentuk ^{det X}

( )

^dapat

dijabarkan sebagai ^det

( )

^X =

∑

^mt₌₁xitξit^{di mana}^{ξ ξ}ⁱ¹^, ⁱ²^,^…^,^ξ^im berupa konstanta sehingga didapat

( )

1

det ^m _it

it ij

ij t ij

x

x ξ x ξ

=

∂ = ∂ =

∂ ^X

∑

∂ ^.

Hasil (2.3.6.a) mengindikasikan bahwa turunan dari ^{det X}

( )

^terhadap

X adalah matriks kofaktor dari X atau ekivalen dengan

( ) ( )

det T

∂ adj

= ⎡⎣ ⎤⎦

∂

X X

X .

Selanjutnya, akan diturunkan determinan dari matriks F=

{ }

fis

berukuran p× dari fungsi-fungsi yang terdefinisi di himpunan p S, oleh vektor x=

(

x x1, 2,…,x_m

)

^T dengan m variabel. Maka, fungsi yang diturunkan adalah fungsi h dari x yang terdefinisi di himpunan S dengan

( )

^det

( )

h x = ⎡⎣F x ⎤⎦. Untuk menurunkan h, diperkenalkan fungsi g dari matriks

{ }

yis

=

Y berukuran p× dengan p p² variabel, terdefinisi di ℜ^{p p}^× , dengan

(25)

( )

^det

( )

g Y = Y . Untuk menyatakan h sebagai komposit dari g dan F , yaitu

( ) ( )

h x = ⎡g⎣F x ⎤⎦ telah jelas bahwa g continuously differentiable di setiap Y

dengan ^∂^g ^{= ⎡}_⎣^adj

( )

^⎤_⎦^T

∂ Y

Y .

Berdasarkan aturan rantai (2.3.5.e), jika F continuously differentiable di interior point c dari S, maka h continuously differentiable di x=c, yaitu:

( ) ( )

det

j j

tr adj

x x

⎡ ⎤

∂ ∂

= ⎢ ⎥

∂ ⎢⎣ ∂ ⎥⎦

F F

F . (2.3.6.b)

Oleh karena itu, jika F nonsingular dan continuously differentiable di c, maka berdasarkan (2.1.4.a) didapat

( )

1

det

j j

x tr x

⎛ − ⎞

∂ ∂

= ⎜⎜ ⎟⎟

∂ ⎝ ∂ ⎠

F F

F F . (2.3.6.c)

Sekarang anggap bahwa S adalah himpunan semua nilai x di mana

( )

det⎡⎣F x ⎤⎦>0. Misalkan l adalah sebuah fungsi dari x (di S) yang

didefinisikan sebagai ^l

( )

^x ⁼^{log det}^⎡_⎣^{F x}

( )

^⎤_⎦. Untuk tujuan penurunan, misalkan g menyatakan fungsi dari sebuah variabel y yang didefinisikan sebagai

( )

^log

g y = y (untuk y> ). Kemudian, nyatakan 0 l sebagai komposit dari g dan h sedemikian sehingga ^l

( )

^x ^{= ⎡}^{g h}_⎣

( )

^x ^⎤_⎦. Diketahui dari kalkulus satu

(26)

variabel bahwa untuk y> , g continuously differentiable di setiap titik di 0 domain-nya dengan logy 1

y y

∂ =

∂ .

Menggunakan aturan rantai dan berdasarkan (2.3.6.b) serta (2.3.6.c) didapat bahwa jika F continuously differentiable di interior point c dari S (di mana h continuously differentiable di c), maka l continuously differentiable di x=c dengan

( ) ( ) ( )

¹

log det 1 det 1

j j j j

tr adj tr

x x x x

⎛ ⎞ ⎛ − ⎞

∂ ∂ ∂ ∂

= = ⎜⎜ ⎟⎟= ⎜⎜ ⎟⎟

∂ ∂ ⎝ ∂ ⎠ ⎝ ∂ ⎠

F F F F

F F

F F . (2.3.6.d)

Selanjutnya, diketahui bahwa FF⁻¹=I . Maka berdasarkan (2.3.3.b), di ^x⁼^c didapat

1

j j j

x x x

− −

∂ + ∂ = ∂ =

∂ ∂ ∂

F F I

F F 0

dengan demikian

1

j j

x x

− −

∂ = −∂

∂ ∂

F F

F F .

Dengan mengalikan kedua ruas dengan F didapat ⁻¹

1

1 1

j j

x x

− − −

∂ ∂

∂ = − ∂

F F

F F . (2.3.6.e)

(27)

Oleh karena ^adj

( )

^F ⁼ ^{F F}⁻¹, berdasarkan (2.3.6.c) didapat pula

( )

1 ¹

1 1 1 1 1 1 1 1

.

j j j

j j j j

adj

x x x

tr tr

x x x x

− −

− − − − − − − −

∂

∂ = + ∂

∂ ∂ ∂

⎡ ⎤

⎛ ∂ ⎞ ⎛ ∂ ⎞ ⎛ ∂ ⎞ ∂

= ⎜⎜⎝ ∂ ⎟⎟⎠ + ⎜⎜⎝− ∂ ⎟⎟⎠= ⎢⎢⎣ ⎜⎜⎝ ∂ ⎟⎟⎠ − ∂ ⎥⎥⎦ F

F F

F F F F

F F F F F F F F F F F

2.3.7 Diferensiasi Parsial Kedua dari Determinan dan Invers Matriks

Misalkan F=

{ }

fis menyatakan matriks berukuran p× dari fungsi-p fungsi yang terdefinisi di himpunan S, oleh vektor x=

(

x x1, 2,…,x_m

)

^T dengan

m variabel. Anggap bahwa ^{F x}

( )

nonsingular untuk setiap x di S, dan notasikan c sembarang interior point dari S di mana F continuously differentiable dua kali sehingga F continuously differentiable di c. Pada kenyataannya F continuously differentiable di setiap titik dalam neighborhood N dari c.

Dari SubBab 2.3.6 diketahui bahwa ^{det F}

( )

^danF continuously ⁻¹ differentiable di setiap titik di N di mana untuk x∈N

( )

1

det

j j

x tr x

⎛ − ⎞

∂ ∂ = ⎜⎜⎝ ∂∂ ⎟⎟⎠

F F

F F dan

1

1 1

j j

x x

− − −

∂ ∂

∂ = − ∂

F F

(28)

di mana ∂ ∂F x_j continuously differentiable di x=c sehingga ∂^det

( )

F ∂xj dan

1

xj

∂F− ∂ continuously differentiable di c.

Dengan demikian, ^{det F}

( )

^danF continuously differentiable dua kali ⁻¹ di x=c, yaitu sebagai berikut:

( )

1 1 1

2

1 1

det ⁱ ^j ⁱ ^j

i j

tr tr tr

x x x x

x x

tr x x

− − −

− −

⎡ ⎛ ∂ ⎞ ⎛ ∂ ⎞ ⎛ ∂ ⎞⎤

+

⎢ ⎜⎜ ∂ ∂ ⎟⎟ ⎜ ∂ ⎟ ⎜⎜ ∂ ⎟⎟⎥

⎢ ⎥

∂∂ ∂ = ⎢⎢ ⎝⎛ ∂ ⎠ ∂ ⎞ ⎝ ⎠ ⎝ ⎠⎥⎥

− ⎜ ⎟

⎢ ⎜⎝ ∂ ∂ ⎟⎠ ⎥

⎣ ⎦

F F F

F F F F

F F

(2.3.7.a)

2 1

1 1 1 1 1

1 1 1

i j i j i j

j i

x x x x x x

x x

− − − − − −

− − −

∂ = − ∂ + ∂ ∂

∂ ∂ ∂ ∂ ∂ ∂

∂ ∂

+ ∂ ∂

F F F F

F F F F F

F F

F F F

(2.3.7.b)

(bukti diberikan pada lampiran 5).

Sekarang anggap bahwa ^det^⎡_⎣^{F x}

( )

^⎤_⎦^>⁰ untuk setiap x di S. Berdasarkan hasil sebelumnya, ^{log det F}

( )

continuously differentiable di setiap titik di N dan (untuk x∈N )

( )

1

log det

j j

x tr x

⎛ − ⎞

∂ ∂

= ⎜⎜ ⎟⎟

∂ ⎝ ∂ ⎠

F F

F

(29)

Oleh karena F dan ⁻¹ ∂ ∂F x_j continuously differentiable di c, maka

( )

log det x_j

∂ F ∂ juga continuously differentiable di c. Dengan demikian,

( )

log det F continuously differentiable dua kali di x=c, yakni:

( )

2

1 1 1

log det

i j i j i j

tr tr

x x x x x x

− − −

⎛ ⎞ ⎛ ⎞

∂ ∂ ∂ = ⎜⎜⎝ ∂ ∂∂ ⎟⎟⎠− ⎜⎜⎝ ∂∂ ∂∂ ⎟⎟⎠

F F F F

F F F (2.3.7.c)

(bukti diberikan pada lampiran 5).

2.4 Vektor Random Normal

Variabel random X dikatakan berdistribusi normal dengan probability density function (pdf)-nya adalah sebagai berikut:

( ) ( )

²

2

1 exp ,

2 2

X

f x x μ x

σ π σ

⎡ − ⎤

= ⎢− ⎥ −∞ < < ∞

⎢ ⎥

⎣ ⎦

di mana mean μ dan variansi σ²_.

Penulisan fX

( )

x selanjutnya disederhanakan menjadi ^{f x}

( )

. X berdistribusi Normal biasanya direpresentasikan sebagai

(

²

)

~ ,

X N μ σ

di mana

( ) ( )

E X xf x dx

μ ^∞

= =

∫

−∞

(30)

( )

²

( ) ( )

²

2 E X x f x dx

σ μ ^∞ μ

⎡ ⎤ −∞

= ⎣ − ⎦=

∫

−

Vektor random X =

(

X X1, 2,…,X_n

)

^T∈ℜⁿ berdistribusi normal jika pdf- nya adalah sebagai berikut:

( ) ( )

2 1 2

( )

¹

( )

1 1

exp 2 2

T

f n m m

π

⎧ − ⎫

= ⎨− − ∑ − ⎬

⎩ ⎭

X ∑ X x X

x

x x x (2.4.a)

di mana

( )

m_X =E X adalah vektor mean dari vektor random X ,

( )( )

^T

E⎡ m m ⎤

∑ =^X ⎣ x− ^X x− ^X ⎦ adalah matriks kovarians, dan

dim

n= X adalah dimensi dari vektor random X .

X berdistribusi normal biasanya dinyatakan sebagai

( )

~N m_X,∑_X

X (2.4.b)

di mana

1

2

1 2

n

X

n X

X m X m

m E

X m

⎛ ⎞

⎜ ⎟

= ⎜ ⎟= ⎜ ⎟

⎜ ⎟

⎜ ⎟ ⎜ ⎟

⎝ ⎠ ⎝ ⎠

X

dan