Proses inferensi pada model logit Agus Rusgiyono. Abstracts

Proses inferensi pada model logit

Agus Rusgiyono

Abstracts

Let



Y1,Y2,Y3,,Yn



represent the response on a nominal random variable of Bernoulli

distribution, with P



Y_j 1



p , P



Y_j 0



1p where pis a parameter with unknown value. Problems of estimating used smallest square methods in linier regression model can overcome with used maximum likelihood method in logistic regression..

Suppose ln( ( ))





ln( )





ln(1 ) 1 1 p Y n p Y p L n j j n j j n 



 



   is

maksimum likelihood estimstors of pˆ. In case can be obtained from first condition, ln(Ln(p)) to

be maximum at point p  pˆthen be obtained



   n j j Y n Y p 1 1 ˆ and

that is unbiased estimator because E(Y ) p n 1 ) pˆ ( E n 1 j j  

_



To be test hipothesis that pp₀, with a large sample size used fact that

 

0,1 ) 1 ( ) ˆ ( 0 0 0 N p p p p n _  

Keyword : Estimator, unbiased estimator, test statistic 1. Pendahuluan

Diketahui



Y₁,Y₂,Y₃,,Y_n



adalah sampel acak dari distribusi Bernoulli, dengan dua nilai yang mungkin bagi Y yaitu 0 atau 1. Misalkan P



Y_j 1



p dan





Y 0 1 p

P _j    dengan p sebuah nilai yang tidak diketahui.

Sebagai ilustrasi , pandang kejadian jenis kelamin anak sapi yang dilahirkan jantan atau betina. Untuk meyakinkan bahwa probabilitas jenis kelamin anak-anak sapi yang dilahirkan jantan atau betina tidak sama, artinya pp₀ 0,5 Maka untuk setiap kelahiran ke j dikaitkan dengan nilai Yj 1 jika anak sapi yang lahir adalah betina dan

0



j

Y bila anak sapi lahir jantan.

Untuk mengetahui besarnya probabilitas nilai P



Y_j 1



p terhadap berbagai nilai dari variabel penjelas X_i,i1,2,3,,k maka penggunaan metode kuadrat terkecil pada model regresi linier biasa menimbulkan suatu masalah baik mengenai daerah hasil dari nilai variabel respon Y yang dapat diluar {0,1} ataupun asumsi kenormalan galat dan

varian yang harus konstan. Sehingga diperlukan fungsi yang menghubungkan varibel respon dengan variabel penjelas yakni a b X i 1,2,3, k

) X ( p 1 ) X ( p log   _{i i}    j

Y ini berdistribusi Bernoulli dengan parameter p dengan fungsi densitas _i

probabilitasnya _               i i i i i i p 1 p log y exp ) p 1 ( ) p , y ( f .        _i i p 1 p

disebut odds ratio dari p, menyatakan peluang terjadinya Y=1 dibanding

peristiwa Y=0.

Penaksiran parameter p ini menggunakan metode maximum likelihhod _i

            





n j j n j j j j Y n Y n j Y Y n j j n n p p p p p Y f p Y f p Y f p Y f p Y f p L 1 1 ) 1 ( ) 1 ( ) ( ) ( ) ( ). ( ). ( ) ( 1 1 1 3 2 1 

bila p p0merupakan probabilitas bersama dari



Y1,Y2,Y3,,Yn



.

3. Penaksir maksimum Likelihood untuk proporsi p

Sebuah fungsi probabilitas terkait masalah yang tersebut pada sub bab pendahuluan di atas dapat didefinisikan sebagai:





0 1 1 ) 1 ( ) ( 0 0 1 0 0 0          y jika p y jika p p p y Y P p y f j y y

Fungsi likelihood dalam kasus ini didefinisikan sebagai ;

             





n 1 j j n 1 j j j j Y n Y n 1 j Y 1 Y n 1 j j n 3 2 1 n ) p 1 ( p ) p 1 ( p ) p Y ( f ) p Y ( f ) p Y ( f ). p Y ( f ). p Y ( f ) p ( L 

merupakan probabilitas bersama dari



Y1,Y2,Y3,,Yn



., bila p  p0

Dasar pemikiran taksiran maximum likelihood sekarang adalah memilih p sedemikian hingga probabilitas dari sampel yang diambil maksimal.

Karena memaximalkan Ln( p)equivalent dengan memaximalkan





ln( )





ln(1 ) )) ( ln( 1 1 p Y n p Y p L n j j n j j n 



 



  

penaksir maksimum likelihood pˆ dalam kasus ini dapat diperoleh dari syarat pertama untuk memaximalkan ln(Ln(p)) di titik p pˆ , sehingga didapat :

                          





  p Y p Y n p Y n p Y p d p Ln d n j j n j j _ˆ 1 1 ˆ ˆ 1 1 ˆ 1 ˆ )) ˆ ( ln( 0 1 1 jadi



   n j j Y n Y p 1 1 ˆ

Perhatikan bahwa ini adalah estimator tak bias (Agus Rusgiyono, 1998) karena :

0 1 ) ( 1 ) ˆ ( E Y p n p E n j j  





lebih dari itu dari teorema limit pusat didapat :

 



     n j j p N Y n p p n 1 2 0 0 0 ( ) 0, 1 ) ˆ

(  , berlaku untuk n besar

dimana :





) 1 ( ) 1 ( ) ( ) 1 ( ) ( ) ( 0 0 0 2 0 0 2 0 2 0 2 0 p p p p p p p Y E Y Var _{j j}           

jadi untuk ukuran sampel besar berlaku :

 

0,1 ) 1 ( ) ˆ ( 0 0 0 N p p p p n _  

Hasil ini dapat digunakan untuk menguji hipotesis tentang p 0

Dalam hal ini dibawah hipotesis null bahwa probabilitas kelahiran sapi jantan dan betina

sama , p = 0,5 didapat : ₀

 

0,1 5 , 0 5 , 0 ) 5 , 0 ˆ ( ) 5 , 0 ˆ ( 2 N x p n p n     , sehingga : ) 5 , 0 ˆ (

Sebuah alasan formal bagi penaksiran maksimum likelihood didasarkan pada fakta bahwa 0<x<1 dan x>1, ln(x) < x – 1. Hall ini diilustrasikan dalam gambar sbb :

1 )

ln(x  x

Pertidaksamaan , ln(x) < x – 1 terpenuhi dengan baik untuk x1, dan ln(1) = 1 – 1 = 0 Konsekwensinya : 1 ) ( ) ( ) ( ) ( ln 0 0           p Y f p Y f p Y f p Y f j j j j

Dengan mengambil nilai harapan matematisnya diperoleh :



 











0 1 1 1 ) 1 ( 1 1 1 0 ) 0 ( ) 0 ( 1 ) 1 ( ) 1 ( 1 ) ( ) ( ) ( ) ( ln 0 0 0 0 0 0 0 0                           p p p p p p p p Y P p f p f Y P p f p f p Y f p Y f E p Y f p Y f E j j j j j j selanjutnya didapat :



 



0 ) ( ) ( ln( )) ( ln( )) ( ln( 0 0            p Y f p Y f E p Y f E p Y f E j j j j



ln(L (p))

 

Eln(L (p0))



E n  n

Jadi E



ln(L_n(p))



adalah maximal untuk p  p₀dan dalam hal ini dapat ditunjukkan bahwa nilai maximum ini adalah tunggal.

4. Penaksiran maximum likelihood bagi model logit

Misalkan



Y₁,X₁



,,,



Y_n1,X_n



adalah sample acak dari distribusi logit bersyarat :









) exp( 1 ) exp( 0 ) exp( 1 1 1 0 0 0 0 0 0 j j j j j j j X X X Y P X X Y P                  

dimana ₀dan ₀adalah nilai parameter yang ditaksir. Model ini disebut model logit karena



Y_j 1X_j



F( _{0 0}X_j) P     dimana ) exp( 1 1 ) ( x x F   

adalah fungsi distribusi dari distribusi logistik (logit)

fungsi probabilitas bersyarat yang terkandung adalah :

0 ) ( 1 1 ) ( )) ( 1 ( ) ( ) , , ( 0 0 0 0 1 0 0 0 0 0 0             y jika X F y jika X F X F X F X y f j j y j y j j          

sekarang fungsi log likelihood bersyarat adalah :



  n j j j X Y f Ln 1 )) , , ( ln( )) , ( ln(    





       n j j j n j j j F X Y F X Y 1 1 )) ( ln( ) 1 ( )) ( ln(    





            n j j j n j j j X Y X Y 1 1 )) exp( 1 ln( ) 1 ( )) exp( 1 ln(    



     n j j j X Y 1 )) ln(exp( ) 1 (   =





         n j j n j j j X X Y 1 1 )) exp( 1 ln( ) )( 1 (     sehingga diperoleh :









0 1 ) exp( 1 ) exp( ) exp( 1 1 1 ) , , 0 ( ) , , 1 ( 1 ) , , 0 ( ) , , 0 ( ) , , 0 ( ) , , 1 ( ) , , 1 ( ) , , 1 ( 1 0 ) , , 0 ( ) , , 0 ( 1 ) , , 1 ( ) , , 1 ( 1 ) , , ( ) , , ( ) , , ( ) , , ( ln 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0                                                  j j j j j j j j j j j j j j j j j j j j j j j j j j j j j X X X X f X f X f X f X f X f X f X f X Y P X f X f X Y P X f X f X X Y f X Y f E X X Y f X Y f E                                       Jadi ; ] , )) , ( ln( [ ] , )) , ( ln( [ Ln X₁ X_n E Ln _{0 0} X₁ X_n E       

selanjutnya hasil ini memberikan arah dalam menaksir 0 dan 0dengan memaximalkan

ln(Ln(,)) untuk nilai  dan :

      , )) , ( ln( max )) ˆ , ˆ ( ln(Ln  Ln

syarat pertama bagi nilai maximum adalah :





              n j j j n j j X X Y Ln 1 1 1 exp( ˆ ˆ ) ) ˆ ˆ exp( ) 1 ( ˆ )) ˆ , ˆ ( ln( 0       





              n j _j j j j n j j X X X X Y Ln 1 1 1 exp( ˆ ˆ ) ) ˆ ˆ exp( ) 1 ( ˆ )) ˆ , ˆ ( ln( 0       

penaksir maximum likelihood diperoleh dari pemecahan secara numeric yang dapat dikerjakan dengan cepat melalui software ekonometri.

5. Asimtotis normal dan pembangkitan nilai statistic uji t Telah ditunjukkan bahwa jika ukuran sample n cukup besar ;





 

2

0 0,

ˆ  _

 N

n   dan n



ˆ₀



 N

 

0,_2

jika ˆ_2 dan ˆ_2 sebagai penaksir konsisten dari masinng-masing _2 dan _2 telah dihitung secara numeris , akan didapat untuk berikutnya :





_{ }

1 , 0 ˆ ˆ ₀ N n       dan





 

0,1 ˆ ˆ 0 N n      

Hasil ini dapat digunakan untuk menguji apakah ₀ dan ₀ berbeda secara statistic dengan 0 apa tidak.

Misalkan ingin diuji hipotesis null ₀=0 .

Hipotesis ini tidak mengakibatkan probabilitas bersyarat P



Yj 1Xj



tidak bergantung

pada X maka dibawah penerimaan hipotesis null _j ₀=0 akan diperoleh :

 

0,1 ˆ ˆ ˆ n N t     _ 

Statistik ˆ_dinamakan nilai t yang dibangkitkan karena ini digunakan pada jalan yang sama sebagaimana nilai t dalam regresi linier.

Misal pada daerah kritis 5% pada uji dua sisi berdasarkan distribusi normal diperoleh 1,96 , maka dalam hal ini criteria penolakan H null : ₀=0 pada tingkat signifikansi 5% adalah ˆ_ 1,96

6. Kesimpulan

1. misalkan



Y₁,X₁



,,,



Y_n1,X_n



adalah sample acak dari distribusi logit bersyarat :









) exp( 1 ) exp( 0 ) exp( 1 1 1 0 0 0 0 0 0 j j j j j j j X X X Y P X X Y P                  

dalam menaksir 0 dan 0 dilakukan dengan memaximalkan ln(Ln(,)) untuk nilai  dan  dimana       , )) , ( ln( max )) ˆ , ˆ ( ln(Ln  Ln dan



  n j j j X Y f Ln 1 )) , , ( ln( )) , ( ln(    

2. jika ukuran sample n cukup besar ;





 

2 0 0, ˆ  _  N n   dan n



ˆ₀



 N

 

0,_2 jika _ˆ2   dan _ˆ2 

 sebagai penaksir konsisten dari masing-masing 2



 dan 2



 telah dihitung secara numeris , akan didapat untuk berikutnya :





_{ }

1 , 0 ˆ ˆ ₀ N n       dan





 

0,1 ˆ ˆ 0 N n      

Hasil ini dapat digunakan untuk menguji apakah ₀ dan ₀ berbeda secara statistic dengan 0 apa tidak.

Daftar Pustaka :

1. Mood,Alexander ; Introduction to the theory of statistics ; McGraw-Hill; 1974 2. Bierens,Herman J; The logit model : estimation,Testing and

Interpretation,http://econ.La.psu.edu/-hbierens/ML-logit.pdf

3. Rusgiyono,Agus : Reduksi bias melalui non parametrik boostrap,Thesis magister matematika ITB, 1998