4.3 Sampling dari distribusi normal dan estimasi likelihood maksimum

Hardwiyanto Utomo

060545

4.3 Sampling dari distribusi normal dan estimasi likelihood maksimum

Likelihood normal multivariat

Kita asumsikan vektor X X1, 2,...,X dengan n p×1 merepresentasikan sampel acak dari populasi

normal multivariat dengan rata-rata µ dan kovarian matrik ∑ . Karena X X₁, ₂,...,X satu sama _n lain independen dan berdistribusi N_p

(

µ,∑

)

, fungsi kepadatan bersama dari semua observasi merupakan produk dari kepadatan normal marginal, yaitu

( )

( ) ( ) 1 ' / 2 / 2 _{1/ 2} 1 1 2 kepadatan bersama 1 dari , ,..., _{2 | |} j j n x x p j n e π − − − ∑ − =       =     ∑  

∏

_ _ µ µ X X X (4-11)

( )

( ) 1( ) 1 ' / 2 / 2 _{/ 2} 1 2 | | n i i j x x np _n e π − = −∑ − ∑ − = ∑ µ µ

Saat nilai kuantitatif dari observasi tersedia, dan disubtitusi ke x pada (4-11). Hasil yang _j diperlihatkan, diperhatikan sebagai fungsi dari µ dan ∑ untuk himpunan yang ditetapkan dari observasi x x1, 2,...,x disebut likelihood. Pada bab ini kita akan banyak menggunakan trace dari n

suatu matrik kuadrat.

Akibat 4.9. Diberikan A matrik k k× dan x vector k×1. a. x Ax' =tr

(

x Ax'

)

=tr

(

Ax x '

)

b.

( )

1 k i i tr λ = =

∑

A , dimana λ_iadalah nilai eigen dari A.

Proof. Untuk (a) pertama kita tuliskan 'x Ax sebagai skalar, sehingga x Ax' =tr( 'x Ax kita ) punya bahwa tr(CB)=tr(BC untuk setiap matrik B dan C dengan ) m k× dank m× . Diagonal

elemen dari BC adalah 1 k ij ji j b c =

∑

, sehingga 1 1 ( ) m k ij ji i j tr b c = =   =    

∑ ∑

diagonal elemen dari CB adalah 1 m ij ji i b c =

∑

, sehingga kita punya

1 1 1 1 ( ) ( ) k m m k ij ji ij ji j i i j tr b c b c tr = = = =     =  =  =   _{ }

∑ ∑

∑ ∑

CB BC . Kita misalkan x adalah B dengan m = 1 dan '

Ax adalah C, maka x Ax' =tr

(

x Ax'

)

=tr

(

Ax x . '

)

Untuk (b), misalkan A=P BP , dimana ' PP'=I dan B adalah matrik diagonal dengan entri-entrinya adalah λ λ₁, ₂,...,λ_k. Kita juga punya

( )

(

'

)

(

'

)

( )

1 2 ... k tr A =tr P BP =tr BPP =tr B = + + +λ λ λ

Eksponen dari kepadatan bersama pada (4-11), dapat disederhanakan.

(

) (

)

(

) (

)

(

)(

)

1 1 1 ' ' ' j j j j j j x x tr x x tr x x − − −   − ∑ _{− =  −} ∑ _{− }   = _∑ _{− − } µ µ µ µ µ µ (4-12) Selanjutnya

(

) (

1

)

1

(

)(

)

1 1 ' ' n n j j j j i i x − x tr − x x = =   − ∑ _{− = }∑ _{− − }

∑

µ µ

∑

µ µ

(

)(

)

1 1 ' n j j i tr − x x =    = _∑ _{ − − }   

∑

µ µ  (4-13)

Karena trace dari jumlah matrik sama dengan jumlah trace dari matrik tersebut, sehingga kita dapat menambah atau mengurangi dengan x pada bentuk

(

x_j−µ

)

maka akan memberikan

(

)(

)

(

)(

)

(

)(

)

1 1 ' ' ' n n j j j j i i x x x x x x x x x x n x x = = − + − − + − = − − + − −

∑

µ µ

∑

µ µ (4-14)

Karena cross-product dari,

(

)

(

)

1 ' n j i x x x = − −

∑

µ dan

(

)

(

)

1 ' n j i x x x = − −

∑

µ adalah keduanya matrik nol, kita punya bentuk fungsi kepadatan bersama suatu sampel acak yang berasal dari populasi yang berdistribusi normal multivariat yaitu:

( )

( )( ) ( )( ) 1 1 ' ' / 2 / 2 _{/ 2} 1 ( , ) 2 | | n j j i tr x x x x n x x np _n L e π − =    − ∑ _ − − + − − _  _{ }  ∑  ∑ ₌ ∑ µ µ µ (4-16)

Fungsi di atas lebih dikenal dengan nama fungsi likelihood (ini setelah dimasukkan nilai-nilai dari x x₁, ₂,...,x ). _n

Estimasi

µ

dan

∑

untuk maksimum likelihood

Akibat 4.10. Diberikan matrik B terbatas positif dan simetri p×pdan b > 0 skalar. ( 1 )_{/ 2}

_{( )}

1 1 2 | | | | tr pb _bp be b b e − ∑ ₋ ≤ ∑ B B Untuk setiap p p×

∑ terbatas positif, dengan memegang kesamaan tersebut hanya untuk

(

1/ 2b

)

∑₌ B .

Estimasi µ dan ∑ untuk maksimum likelihood dinotasikan ˆµ dan ˆ∑ merupakan nilai

maksimum dari fungsi L

(

µ,∑

)

pada (4-16). ˆµ dan ∑ akan tergantung pada nilai ˆ

1, 2,..., n

x x x yang melewati ringkasan statistik x dan S.

Akibat 4.11. X X1, 2,...,X adalah sampel acak yang berasal dari populasi normal dengan rata-n

rata µ dan kovarian ∑ . Maka

(

)(

)

(

)

1 1 1 ˆ dan ' n j j j n S n = n − = ∑₌

∑

_{− − =} µ X X X X X

adalah estimator dari µ dan ∑ untuk maksimum likelihood. Nilai observasi mereka, x dan

(

)(

)

1 (1/ ) ' n j j j n x x x x = − −

∑

, dikatakan estimasi untuk µ dan ∑ pada maksimum likelihood.

Proof. Pada persamaan likelihood (4-16) kita punya bagian dari faktor perkalian 1

2 - yaitu:

(

)(

)

(

)

(

)

1 1 1 ' ' n j j i tr − x x x x n x − x =    ∑ _{− − + −} ∑ ₋      

∑

 µ µ

Dari akibat 4.1,∑ terbatas positif, jadi jarak −1

(

x−µ

)

'∑−1

(

x−µ

)

>0kecuali untuk µ=x. Sehingga fungsi likelihood menjadi maksimum saat µˆ =xsehingga kita tinggal memaksimumkan

( )

( )( ) 1 1 ' / 2 / 2 / 2 1 ˆ ( , ) 2 | | n j j i tr x x x x np n L e π − =    − ∑ _{ − − +}_  _{ }  ∑  ∑ ₌ ∑ µ

terhadap∑ . Dengan menggunakan akibat 4.10 dimana b = n/2 dan −1 1 ( )( ) ', n i i i x x x x = =

∑

− − B

hasil maksimumnya saat

( )

1 ˆ _1/ n _{( )( ) '} i i i n x x x x = ∑₌

∑

_{− − dibentuk.}

Estimator pada maksimum likelihood adalah sebuah jumlah acak. Estimator ini didapat dengan menggantikan pengamatanx x₁, ₂,...,x_nyang merupakan ekspresi untuk ˆµ dan ˆ∑ dengan

vektor acak X X1, 2,...,X . n

Kita nyatakan estimator dari maksimum likelihood X sebagai vektor acak dan estimator dari maksimum likelihood ˆ∑ sebagai vektor matrik. Estimasi maksimum likelihood merupakan nilai terpilih yang diberikan oleh suatu data. Dari penjelasan di atas kita dapatan maksimum dari fungsi likelihood adalah

( )

( )

/ 2 / 2 / 2 1 1 ˆ ˆ , ˆ | | 2 np np n L e π − ∑ ₌ ∑ µ (4-18) Statistik cukup

Diberikan X X1, 2,...,X sampel acak dari populasi normal multivariat dengan µ dan kovarian ∑ . n

Maka

4.4 DISTRIBUSI SAMPLING DARI

X

dan

S

[

1 2 n

]

pn p2 p1 2n 22 21 1n 12 11 X X X X X X X X X X X X X K K M K K =               =

X matriks dengan ordo p x n , diketahui x dan S statistic cukup univariate

Merupakan sampel random dari populasi normal dengan mean µdank kovarians matriks ∑ • Untuk distibusi normal univariat

Bukti :

X berdistribusi normal univariat dengan mean µ dan variansi σ2 . 2 2_σ t 2 1 t (t) M_x =eµ+ n X , ,

X1 K sampel random dari populasi normal univariat dengan mean µ dan variansi 2 σ . n , ... 1,2, i (t) M 2 2_σ t 2 1 t = = µ+ xi e n x n t             = = ∑ i xi n x (t) M M (t) M n 2 1 2 2 2         = _etn+ t n σ µ n 2 1 2 2         = _et + t n σ µ

Jadi X berdistribusi normal dengan mean µ dan variansi

n

2 σ X normal dengan mean µ= mean populasi dan variansi

2 1_σ

n = ukuran sampel populasi variansi

• Untuk disribusi normal multivariate Bukti :

(

_,

∑

)

~

X

N

_p

µ

t t 2 1 t

(t)

M

∑ ′ + ′

=

µ x

e

n X , X ,

X1 2K sampel random dari distribusi normal p variat dengan mean µ dan kovarians ∑ . n ..., 1,2, i (t) M 2t t 1 t = = ′µ+ ′∑ xi e

∑

= = n i i X x 1 n 1 (t) M (t) M n xi ∑ = x n n t             = Mx_i n n t

e

_















=

∑ ′ + + ′

2 n t t 2 1 µ t t

e

2t n 1 _′ ∑ + ′

=

µ

Jadi X berdistribusi normal dengan mean µ dan variansi ∑

n

1

• Untuk variansi sampel dari populasi normal univariat

( )

(

)

2 1 2 2 2 1 1

∑

= − = − n j j x x S n σ σ berdistribusi

( )

2 1S

n− berdistribusi identik dengan σ2

(

z₁2+K+z_n−12

)

=

( )

σ z₁ 2+K+

(

σ z_n−1

)

2_.

X ~ Np

(

µ,∑

)

X ~       _∑ n Np 1 , µ

Dimana zi ~ Np

(

µ,∑

)

atau

( )

2 i~ 0,

z σ

σ N

• Untuk populasi normal multivariate Bila zj ~ Np

(

µ,∑

)

j = 1, … ,n ′

∑

= j n j j z z 1

berdistribusi Wishart dengan derajat bebas n-1 diberi notasi W

1. Sifat – sifat distribusi Wishart

1. Densitas wishart tidak ada bila n ≤p

Bila ada harganya untuk matriks definit positif A adalah :

(

)

( ) ( ) ( ) ( )

_{( )}

∏

= − − − − − − −       − ∑ ∑ = ∑ p i n p p n p A tr p n n i n e A W 1 2 1 4 1 1 2 1 1 -2 1 1 2 1 1 2 1 2 A / π 2. A1 ~ Wm1

(

A1|∑

)

(

_{A |}∑

)

W ~ A2 m2 2 . A1 dan A2 independen A1 + A2 ~ Wm1 + Wm2

(

A1+A2|∑

)

3. A ~ Wm

(

A|∑

)

(

.|C C

)

W ~ C A C ′ m ∑ ′

4.5 DISTRIBUSI

X

dan

S

UNTUK SAMPEL BESAR

Teorema Limit Pusat

Teorema n 2

1,X , ,X

X K _{Sampel random dari distribusi dengan mean} µdan kovariansi ∑ maka n

(

X−µ

)

berdistribusi

mendekati N_p

( )

0,∑ . Untuk n besar

Bila X mendekati normal dengan mean µdan kovarian matriks ∑ n 1 maka

(

₋µ

) (

′∑− −µ

)

X X 1 n mendekati χ2p