PROSES INFERENSI PADA MODEL LOGIT. Oleh: Agus Rusgiyono Program Studi Statistika FMIPA UNDIP. 1 n

PROSES INFERENSI PADA MODEL LOGIT Oleh: Agus Rusgiyono

Program Studi Statistika FMIPA UNDIP

Abstracts

Let

{

Y₁,Y₂,Y₃,_L,Y_n

}

represent the response on a nominal random variable of Bernoulli distribution, with P

[

Y_j =1

]

=p , P

[

Y_j =0

]

=1−p where pis a parameter with unknown value. Problems of estimating used smallest square methods in linier regression model can overcome with used maximum likelihood method in logistic regression..

Suppose ln( ( ))

(

)

ln( )

(

)

ln(1 ) 1 1 p Y n p Y p L n j j n j j n =

∑

+ −

∑

− = = is

maksimum likelihood estimstors of pˆ. In case can be obtained from first condition, ln(Ln(p)) to be

maximum at point p= pˆthen be obtained

∑

= = = n j j Y n Y p 1 1 ˆ and

that is unbiased estimator because E(Y ) p n 1 ) pˆ ( E n 1 j j = =

∑

=

To be test hipothesis that p=p₀, with a large sample size used fact that

[ ]

0,1 ) 1 ( ) ˆ ( 0 0 0 _N p p p p n _≅ − −

Keywords : Estimator, unbiased estimator, test statistic

1. PENDAHULUAN

Diketahui

{

Y₁,Y₂,Y₃,_L,Y_n

}

adalah sampel acak dari distribusi Bernoulli, dengan dua nilai yang mungkin bagi Y yaitu 0 atau 1. Misalkan P

[

Y_j =1

]

=p dan

]

[

Y 0 1 p

P _j = = − dengan p sebuah nilai yang tidak diketahui.

Sebagai ilustrasi , pandang kejadian jenis kelamin anak sapi yang dilahirkan jantan atau betina. Untuk meyakinkan bahwa probabilitas jenis kelamin anak-anak sapi yang dilahirkan jantan atau betina tidak sama, artinya p=p₀ ≠0,5 Maka untuk setiap kelahiran ke j dikaitkan dengan nilai Y_j =1 jika anak sapi yang lahir adalah betina dan Y_j =0 bila anak sapi lahir jantan.

Untuk mengetahui besarnya probabilitas nilai P

[

Y_j =1

]

=p terhadap berbagai nilai dari variabel penjelas X_i,i=1,2,3,_K,k maka penggunaan metode kuadrat terkecil pada model regresi linier biasa menimbulkan suatu masalah baik mengenai daerah hasil dari nilai variabel respon Y yang dapat diluar {0,1} ataupun asumsi kenormalan galat dan varian yang harus konstan. Sehingga diperlukan fungsi yang menghubungkan varibel respon dengan variabel penjelas yakni

k , 3 , 2 , 1 i X b a ) X ( p 1 ) X ( p log = + _{i i} = _K −

j

Y ini berdistribusi Bernoulli dengan parameter p dengan fungsi densitas _i

probabilitasnya _⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ − − = i i i i i i p 1 p log y exp ) p 1 ( ) p , y ( f . ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ − _i i p 1 p

disebut odds ratio dari p, menyatakan peluang terjadinya Y=1 dibanding peristiwa Y=0.

Penaksiran parameter p_i ini menggunakan metode maksimum likelihhod

∑ − ∑ − = = = = = − = − =

∏

∏

n j j n j j j j Y n Y n j Y Y n j j n n p p p p p Y f p Y f p Y f p Y f p Y f p L 1 1 ) 1 ( ) 1 ( ) ( ) ( ) ( ). ( ). ( ) ( 1 1 1 3 2 1 K

bila p = p₀merupakan probabilitas bersama dari

{

Y₁,Y₂,Y₃,_L,Y_n

}

.

2. PENAKSIR MAKSIMUM LIKELIHOOD UNTUK PROPORSI p

Sebuah fungsi probabilitas terkait masalah yang tersebut pada sub bab pendahuluan di atas dapat didefinisikan sebagai:

[

]

0 1 1 ) 1 ( ) ( 0 0 1 0 0 0 = − = = − = = = − y jika p y jika p p p y Y P p y f y y j

Fungsi likelihood dalam kasus ini didefinisikan sebagai ;

∑ − ∑ = − = = = − = − = = =

∏

∏

n 1 j j n 1 j j j j Y n Y n 1 j Y 1 Y n 1 j j n 3 2 1 n ) p 1 ( p ) p 1 ( p ) p Y ( f ) p Y ( f ) p Y ( f ). p Y ( f ). p Y ( f ) p ( L _K

penaksir maksimum likelihood pˆ dalam kasus ini dapat diperoleh dari syarat pertama untuk memaksimalkan ln(Ln(p)) di titik p = , sehingga didapat : pˆ

⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ − − − = − ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ − − ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ = =

∑

∑

= = p Y p Y n p Y n p Y p d p Ln d n j j n j j ˆ 1 1 ˆ ˆ 1 1 ˆ 1 ˆ )) ˆ ( ln( 0 1 1 jadi

∑

= = = n j j Y n Y p 1 1 ˆ

Perhatikan bahwa ini adalah estimator tak bias [3] karena :

0 1 ) ( 1 ) ˆ ( E Y p n p E n j j = =

∑

=

lebih dari itu dari teorema limit pusat didapat :

[ ]

∑

= ≅ − = − n j j p N Y n p p n 1 2 0 0 0 ( ) 0, 1 ) ˆ

( σ , berlaku untuk n besar

dimana :

[

]

) 1 ( ) 1 ( ) ( ) 1 ( ) ( ) ( 0 0 0 2 0 0 2 0 2 0 2 0 p p p p p p p Y E Y Var _{j j} − = − − + − = − = = σ

jadi untuk ukuran sampel besar berlaku :

[ ]

0,1 ) 1 ( ) ˆ ( 0 0 0 _N p p p p n ≅ − −

Hasil ini dapat digunakan untuk menguji hipotesis tentang p ₀

Dalam hal ini dibawah hipotesis null bahwa probabilitas kelahiran sapi jantan dan betina sama , p = 0,5 didapat : ₀

[ ]

0,1

5 , 0 5 , 0 ) 5 , 0 ˆ ( ) 5 , 0 ˆ ( 2 N x p n p n − = − ≅ , sehingga : ) 5 , 0 ˆ (

2 n p− adalah statistic uji normal standard dari uji hipotesis null tentang

0 p =0,5

Sebuah alasan formal bagi penaksiran maksimum likelihood didasarkan pada fakta bahwa 0<x<1 dan x>1, ln(x) < x – 1. Hall ini diilustrasikan dalam gambar sbb :

Gambar 1. Fungsi ln(x)≤ x−1

Pertidaksamaan , ln(x) < x – 1 terpenuhi dengan baik untuk x≠1, dan ln(1) = 1 – 1 = 0 Konsekuensinya : 1 ) ( ) ( ) ( ) ( ln 0 0 − ≤ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ p Y f p Y f p Y f p Y f j j j j

Dengan mengambil nilai harapan matematisnya diperoleh :

[

] [

]

[

]

[

]

0 1 1 1 ) 1 ( 1 1 1 0 ) 0 ( ) 0 ( 1 ) 1 ( ) 1 ( 1 ) ( ) ( ) ( ) ( ln 0 0 0 0 0 0 0 0 = − − + = − − − − + = − = + = = − ≤ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ p p p p p p p p Y P p f p f Y P p f p f p Y f p Y f E p Y f p Y f E j j j j j j selanjutnya didapat :

Jadi E

[

ln(L_n(p))

]

adalah maksimal untuk p = p₀dan dalam hal ini dapat ditunjukkan bahwa nilai maksimum ini adalah tunggal.

3. PENAKSIRAN MAKSIMUM LIKELIHOOD BAGI MODEL LOGIT

Misalkan

(

Y₁,X₁

)

,,_K,

(

Y_n1,X_n

)

adalah sample acak dari distribusi logit bersyarat :

[

]

[

]

) exp( 1 ) exp( 0 ) exp( 1 1 1 0 0 0 0 0 0 j j j j j j j X X X Y P X X Y P β α β α β α − − + − − = = − − + = =

dimana α₀dan β₀adalah nilai parameter yang ditaksir. Model ini disebut model logit karena

[

Y_j 1X_j

]

F( _{0 0}X_j) P = = α +β dimana ) exp( 1 1 ) ( x x F − + =

adalah fungsi distribusi dari distribusi logistik (logit) fungsi probabilitas bersyarat yang terkandung adalah :

0 ) ( 1 1 ) ( )) ( 1 ( ) ( ) , , ( 0 0 0 0 1 0 0 0 0 0 0 = + − = = + = + − + = − y jika X F y jika X F X F X F X y f j j y j y j j β α β α β α β α β α

sekarang fungsi log likelihood bersyarat adalah :

∑

= = n j j j X Y f Ln 1 )) , , ( ln( )) , ( ln( α β α β

∑

∑

= = + − + + = n j j j n j j j F X Y F X Y 1 1 )) ( ln( ) 1 ( )) ( ln( α β α β

∑

∑

= = − − + − − − − + − = n j j j n j j j X Y X Y 1 1 )) exp( 1 ln( ) 1 ( )) exp( 1 ln( α β α β

∑

= − − − + n j j j X Y 1 )) ln(exp( ) 1 ( α β

=

∑

∑

= = − − + − + − − n j j n j j j X X Y 1 1 )) exp( 1 ln( ) )( 1 ( α β α β sehingga diperoleh :

[

]

[

]

0 1 ) exp( 1 ) exp( ) exp( 1 1 1 ) , , 0 ( ) , , 1 ( 1 ) , , 0 ( ) , , 0 ( ) , , 0 ( ) , , 1 ( ) , , 1 ( ) , , 1 ( 1 0 ) , , 0 ( ) , , 0 ( 1 ) , , 1 ( ) , , 1 ( 1 ) , , ( ) , , ( ) , , ( ) , , ( ln 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 = − − − + − − + − − + = − + = − + = − = + = = − ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ ≤ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ j j j j j j j j j j j j j j j j j j j j j j j j j j j j j X X X X f X f X f X f X f X f X f X f X Y P X f X f X Y P X f X f X X Y f X Y f E X X Y f X Y f E β α β α β α β α β α β α β α β α β α β α β α β α β α β α β α β α β α β α β α Jadi ; ] , )) , ( ln( [ ] , )) , ( ln( [ Ln X₁ X_n E Ln _{0 0} X₁ X_n E α β _K ≤ α β _K

selanjutnya hasil ini memberikan arah dalam menaksir α₀ dan β₀dengan memaksimalkan ln(Ln(α ,β)) untuk nilai αdan β:

β α β α β α , )) , ( ln( max )) ˆ , ˆ ( ln(Ln = Ln

syarat pertama bagi nilai maksimum adalah :

∑

∑

= = + − − − − + − − = ∂ ∂ = n j j j n j j X X Y Ln 1 1 1 exp( ˆ ˆ ) ) ˆ ˆ exp( ) 1 ( ˆ )) ˆ , ˆ ( ln( 0 β α β α α β α

∑

∑

= = + − − − − + − − = ∂ ∂ = n j j j j j n j j X X X X Y Ln 1 1 1 exp( ˆ ˆ ) ) ˆ ˆ exp( ) 1 ( ˆ )) ˆ , ˆ ( ln( 0 β α β α β β α

jika _ˆ2 α

σ dan _ˆ2 β

σ sebagai penaksir konsisten dari masinng-masing 2 α

σ dan 2 β

σ telah dihitung secara numeris , akan didapat untuk berikutnya :

(

)

_{( )}

1 , 0 ˆ ˆ ₀ N n ≅ − α σ α α dan

(

)

( )

0,1 ˆ ˆ 0 _N n ≅ − β σ β β

Hasil ini dapat digunakan untuk menguji apakah α₀ dan β₀ berbeda secara statistic dengan 0 apa tidak.

Misalkan ingin diuji hipotesis null β₀=0 .

Hipotesis ini tidak mengakibatkan probabilitas bersyarat P

[

Y_j =1X_j

]

tidak bergantung pada X maka dibawah penerimaan hipotesis null _j β₀=0 akan diperoleh :

( )

0,1 ˆ ˆ ˆ n _N t = ≅ β β _σ β

Statistik σˆ dinamakan nilai t yang dibangkitkan karena ini digunakan pada jalan _β yang sama sebagaimana nilai t dalam regresi linier.

Misal pada daerah kritis 5% pada uji dua sisi berdasarkan distribusi normal diperoleh 1,96 , maka dalam hal ini criteria penolakan H null : β₀=0 pada tingkat signifikansi 5% adalah σˆ_β >1,96

5. KESIMPULAN

1. Misalkan

(

Y₁,X₁

)

,,_K,

(

Y_n1,X_n

)

adalah sample acak dari distribusi logit bersyarat :

[

]

[

]

) exp( 1 ) exp( 0 ) exp( 1 1 1 0 0 0 0 0 0 j j j j j j j X X X Y P X X Y P β α β α β α − − + − − = = − − + = =

dimana α₀dan β₀adalah nilai parameter yang ditaksir maka dalam menaksir α₀ dan β₀ dilakukan dengan memaksimalkan ln(Ln(α,β)) untuk nilai αdan β dimana β α β α β α , )) , ( ln( max )) ˆ , ˆ ( ln(Ln = Ln _dan

∑

= = n j j j X Y f Ln 1 )) , , ( ln( )) , ( ln( α β α β

2. Jika ukuran sample n cukup besar ;

(

α_ˆ α

)

_N

( )

_0,σ2

jika σˆ_α2 dan σˆ_β2 sebagai penaksir konsisten dari masing-masing σ_α2 dan σ_β2 telah dihitung secara numeris , akan didapat untuk berikutnya :

(

)

_{( )}

1 , 0 ˆ ˆ ₀ N n − _≅ α σ α α dan

(

)

( )

0,1 ˆ ˆ 0 _N n − _≅ β σ β β

Hasil ini dapat digunakan untuk menguji apakah α₀ dan β₀ berbeda secara statistik dengan 0 apa tidak.

DAFTAR PUSTAKA:

1. Mood,Alexander; Introduction to The Theory of Statistics ; McGraw-Hill; 1974

2. Bierens,Herman J; The Logit Model : Estimation, Testing and Interpretation, http://econ.La.psu.edu/-hbierens/ML-logit.pdf

3. Rusgiyono,A., Reduksi Bias melalui Nonparametrik Boostrap,Thesis Magister Matematika ITB, 1998