INFERENSI STATISTIK DARI DISTRIBUSI NORMAL DENGAN METODE BAYES UNTUK NON-INFORMATIF PRIOR. Abstract

95 INFERENSI STATISTIK DARI DISTRIBUSI NORMAL DENGAN METODE

BAYES UNTUK NON-INFORMATIF PRIOR

Alan Prahutama¹, Sugito², Agus Rusgiyono²

1Mahasiswa Program S-2 Statistika ITS Surabaya

2Staf Pengajar Program Studi Statistika FMIPA UNDIP

Abstract

One of the method that can be used in statistical inference is Bayesian method. It combine sample distribution and prior distribution to get a posterior distribution. In this paper, sample distribution used is univariate normal distribution. Prior distribution used is non-informative prior.

Determination technique of non-informative prior use Jefrrey’s method from univariate normal distribution. After got the posterior distribution, find the marginal distribution of mean and variance. So that will get the parameter estimation of interval for mean and variance. Hypothesis testing for mean and variance can find from parameter estimation of formed interval.

Keywords: Bayesian method, non-informatif prior, Jeffrey’s method, Parameter Estimation of Interval, Hypothesis test

1. Pendahuluan

Metode statistik dibedakan menjadi dua yaitu statistik deskriptif dan statistik inferensi. Statistik deskriptif adalah metode-metode yang berkaitan dengan pengumpulan dan penyajian suatu gugus data sehingga memberikan informasi yang berguna. Sedangkan statistik inferensi adalah metode-metode yang berhubungan dengan analisis sebagian data untuk kemudian sampai pada peramalan atau penarikan kesimpulan mengenai keseluruhan data^[6]. Inferensi statistik dapat dibedakan menjadi dua yaitu estimasi parameter dan uji hipotesis. Estimasi parameter dibedakan menjadi dua yaitu estimasi parameter titik dan estimasi parameter berupa interval. Inferensi statistik dapat dicari dengan metode klasik dan metode bayes^[5].

Pada teori estimasi dapat dilakukan dengan dua metode yaitu metode klasik dan metode bayes. Metode klasik sepenuhnya mengandalkan proses inferensi pada data sampel yang diambil dari populasi, sedangkan metode bayes disamping memanfaatkan data sampel yang diperoleh dari populasi juga memperhitungkan suatu distribusi awal yang disebut distribusi prior. Salah satu teknik yang digunakan dalam metode klasik adalah metode maksimum likelihood^[3].

Metode klasik memandang parameter sebagai besaran tetap yang tidak diketahui harganya, dan inferensi didasarkan hanya pada informasi dalam sampel. Metode Bayes memandang parameter sebagai variabel yang menggambarkan pengetahuan awal tentang parameter sebelum pengamatan dilakukan dan dinyatakan dalam suatu distribusi yang disebut dengan distribusi prior. Sedangkan Penentuan parameter distribusi prior yang tidak didasarkan pada data yang ada disebut non-informatif prior. Setelah pengamatan dilakukan, informasi dalam distribusi prior dikombinasikan dengan informasi dengan data sampel melalui teorema Bayes, dan hasilnya dinyatakan dalam bentuk distribusi yang disebut distribusi posterior yang selanjutnya menjadi dasar untuk inferensi di dalam metode Bayes^[2].

Langkah-langkah yang dilakukan adalah mencari distribusi non-informatif prior dari distribusi normal kemudian digabungkan dengan informasi sampel melalui teorema

96 bayes sehingga dihasilkan distribusi posterior^[1]. Selanjutnya bisa dicari distribusi posterior marginal untuk tiap parameter dari distribusi posterior yang terbentuk. Sehingga bisa didapatkan estimasi interval untuk tiap parameter yang nantinya bisa ditentukan juga uji hipotesis untuk tiap parameter^[4].

Dalam tulisan ini distribusi sampel yang digunakan adalah distibusi normal dan distribusi prior yang digunakan adalah non-informatif prior. Teknik penentuan non-informatif prior menggunakan metode Jefrrey’s dari distribusi normal univariat.

2. Inferensi Statistik Distribusi Normal Menggunakan Metode Bayes untuk Non-Informatif Prior

Distribusi Normal sebagai Distribusi Sampel

Jika sebuah variabel random X dikatakan mengikuti distribusi normal dengan parameter mean  dan variansi ² dapat dilambangkan dengan ^X~N

 

^{,σ2 , maka}

memiliki fungsi kepadatan peluang dalam bentuk:

 











 



 



 





2 2

2 exp 1 2 , 1

; 





 

 ⁱ

i

x x f

untuk x_i , dimana  dan 0 .

Likelihood dari Distribusi Normal

JikaX₁,X₂,...,X_nadalah sampel random berdistribusi normal dengan densitas



xi ^;,2



f , maka fungsi likelihoodnya didefinisikan dengan:

  _  





ⁿ

i

x

i

f L

1

2

2

; ,

,   



   

_



 



 







 n

i i

n x

1

2 2

2 2 /

2 exp 1

2 

  Metode Jeffrey’s

Salah satu bentuk pendekatan dari non-informatif prior adalah dengan menggunakan metode Jeffrey’s. Metode ini menyatakan bahwa distribusi prior f

 

 merupakan akar kuadrat dari informasi Fisher yang dinyatakan dalam:

 



 

I

 

 ¹²

f 

dimana I

 

 merupakan nilai harapan informasi Fisher

   



 







 

 ²log ₂ ;



 E_ ^{f x} I

Jika 



₁,...,p



^tadalah vektor, digunakan

 

^



^detI

 

^



¹²

f 

dimana I

 

 adalah matriks informasi Fisher



p p



dengan indeks

 

i, j maka

97

   

















 

 



 _  log ;

2

x f E

I

j i

ij dengan i = 1, 2, …, p ; j = 1, 2, …, p

Non-Informatif Prior dari Distribusi Normal

Distribusi non-informatif prior f

 

 dimana ^



^,2



, diasumsikan bahwa  dan ² adalah independen sehingga ^f

 

^{  f}

 

^{ f}

 

^2

Menentukan distribusi non-informatif prior ^f

 

^2

 











 



 



 





2 2

2 exp 1 2 , 1

; 





 

 ^X

X f



²



²

^

₂

^

²

log 2 2 2 1 2log , 1

;

log 

 





    X ^

X

f

Jika u² maka

   

u u X

u X

f log 2

2 2 1 2log , 1

; log

 2



    ^

   

2 2

2 2 1 ,

; log

u X u du

u X f

d    

   

6 2

4 2

2

2 1 ,

; log







 



 X

du

u X f d

  ^{ }

_



 



 

 ² ₂

2 log ; ,

du

u X f E d

I 

2 4

1

 

 

^{2 I}

 

^2

f 

2

1



Sedangkan nilai non-informatif prior untuk f

 

 c(konstan) diperoleh^[3]

 

¹₂

  f

3. Pembahasan Distribusi Posterior

Setelah mencari fungsi likelihood dan menentukan distribusi prior dari distribusi normal maka dapat dicari distribusi posteriornya sebagai berikut:

    ^{ }

  ^{ }



 











 

0

2 2

2 2

2

, , ,

 















 



d d f L

f x L

f

98

     

   

^{ }

 



 



 



 



  



 







 



 





 



 







 

 

 



2 1 2

1 2 2

2 exp 1 2

2 1 2 2

1

2

1

2 2

2 1 2 2

n s

n n

x

n n

n

i i n n

 

 





 

^{ }

     

_



 



 



 



 



 



 



 



  



 











 

 







 



 

n

i i n

n

n x s

n n

1

2 2

2 1 2 2 1

1 2 2

1

2 exp 1 2

1 2

1

2 

 



Distribusi Posterior Marginal untuk ²

Jika ^f



^{,2 x}



dan merupakan distribusi posterior yang sudah terbentuk maka distribusi posterior marginal untuk ²adalah:

 

^{ x f}



^{  x}



^d

f



^





 ²

2 ,

 

^{ }

   

^{ }

^{ }

_



 



 



 



 



 



 



 



  ^{  }





 



 

2 1 2

2 1 2 2 1

1 2

2 exp 1 2

1 2

1

 ⁿ  ^s

n s

n ⁿ

n

;

Jadi nilai distribusi posterior marginal untuk ²yang terbentuk ^f

 

^{2 x} adalah distribusi Invers Gamma dengan nilai

 

2

1

 n

 dan

 

2 1s² n

 

  ^{   }

_



 



  

2 , 1 2

~ 1

2

2 n n s

IG x f 

Interval Kepercayaan untuk ²

Menurut^[7], jika X ~ InversGamma

 

k, maka ¹_X ^~Gamma

 

^k,1_ . Berdasar M.D Anderson Cancer Center, maka distribusi posterior dapat ditulis dalam bentuk distribusi gamma sebagai

 

 

^_^









2

2 1

, 2 2

~ 1 1

s n Gamma n



 







 ⁿ

i

i x

x

1

2 2

2 1

  berdistribusi Chi-Square dengan derajat bebas n1, kemudian akan disusun interval kepercayaan untuk variansi

 

^2 .Interval konfidensi



1



100%untuk

2 adalah:

 

 

 



¹



1 ²

2 1

2

2 2

2 1 1

2







 













n x x n

x x

n

i i n

i i



  



99 Distribusi Marginal untuk 

Jika ^f



^{,2 x}



merupakan distribusi posterior yang sudah terbentuk maka distribusi marginal untuk  _adalah

   

²

0 2

2

, 







d x f

x

f



^





   

   

 

 1 1

2 1

2 2 1

1 1 2 1

,1 2

1























 

 



 



 



 







n

s n

x n n n

n s





Jika nilai

 

n s t x

 maka ^f

 

^{x ~t}

^

^n1

^

Interval Kepercayaan untuk 

Interval konfidensi



1



100% untuk  adalah



terima H₀ ₀



1 P

 

_

 



  



 



 1   1 1

2 2

n t t n t P



¹

 

¹



2 2











 t_ n t t_ n



1

   

1



2 2



 







 t n

n s n x

t_  _



1

   

1



2 2













 t n

n x s

n t n s



 



1

 

1



2 2



















 t n

n x s n

t n

x s _  _



1

 

1



2 2













 t n

n x s n

t n

x s _  _



1

 

1



2 2













 t n

n x s n

t n

x s _  _

Estimator Distribusi Normal Menggunakan Metode Maximum Likelihood Estimator (MLE)

Misal X₁,X₂,...,X_n merupakan sampel random dari distribusi normal dengan mean

 dan variansi ². Dengan menggunakan metode maksimum likelihood dapat dicari estimator titik untuk  dan ². ^Xi ^{~ N}



^,2



, maka fungsi densitasnya adalah:

 











 



 



 





2 2

2 exp 1 2 , 1

; 





 

 ⁱ

i

x x f

100 Fungsi Likelihood:

  _  



 ⁿ

i

xi

f L

1

2

2 ; ,

,  



 

















 



 



  

 ⁿ

i

xi 1

2 2

/ 2 1

2 exp 1

2 

 

   



 

_^







_^

 

 ^{2 1/2} _{2 1} ^{2 2 1/2} ₂ ²

2 exp 1 2

2 ....

exp 1

2 

 

 

 x x_n

  ^{ }

_



 



 







 n

i i

n x

1

2 2

2 2 /

2 exp 1

2 

  Log Likelihood:

 



^{, 2}



logL  l

    











 ⁿ

i

xi

n n

1

2 2

2

2 log 1

2 2

2log 

 





 

l ˆ 0



x n x

n

i i 





1

ˆ 1





 

l ˆ² 0



 







 ⁿ

i

i x

n 1 x

2 1 2

ˆ

Uji Hipotesis Distribusi Normal untuk Parameter Mean  dan Varian ² Tidak Diketahui dengan Generilized Likelihood Ratio Test (GLRT)

Misal X₁,X₂,...,X_n merupakan sampel random dari distribusi normal dengan mean

 dan variansi ²keduanya tidak diketahui. Sehingga bisa ditentukan uji hipotesisnya dengan uji rasio likelihood (GLRT).

Misal ditentukan uji hipotesis untuk  adalah

0 0 :  H

0 1: 

H

Penyelesainnya:



^{, 2}



~ N 

X_i , maka fungsi densitasnya adalah:

 











 



 



 





2 2

2 exp 1 2 , 1

; 





 

 ⁱ

i

x x f

Densitas bersama dari X₁,X₂,...,X_n adalah:

  

1 ²

 

²



2 2

1,x ,...,x_n;, f x ,;, ....f x_n;, x

f 

   



 

_^







_^

 

 ^{2 1/2} _{2 1} ^{2 2 1/2} ₂ ²

2 exp 1 2

2 ....

exp 1

2 

 

 

 x x_n

  ^{ }

_



 



 







 n

i i

n x

1

2 2

2 2 /

2 exp 1

2 

 

101 Telah diperoleh dari estimator maksimum likelihood bahwa:

x

^ˆ dan

  





 ⁿ

i

xi

n 1 2 1 2

ˆ 



Untuk ₀ maka:

0 0

_  dan

  



  ⁿ 

i

xi

n 1

2 0

2 1

0 



       

 

_^



















 



 



 

 





 











n

i i n

i n i

n

i i n

n

x n x

x x x

n x x

x x f

1

2 1

2 2

1

2 2

2 / 2

1 1

2 1 exp

2 ,

; ,..., max ,





 

   

 _ _^

 



 











exp 2 2 1

2

1

2 2

/ n

x n x

n n

i i

 n

   



1 2 ²



2 2

1 0 2

1

,

; ,..., max ,

,

; ,..., max ,

,..., ,



 



 



n n

n

x x x f

x x x f x

x x







 

   

   

 _ _^

 



 







 



 

 _















exp 2 2 1

exp 2 2 1

2

1

2 2

/

2

1

2 0 2

/

x n n x

x n n

n n

i i n

n n

i i n







 

 

2

1

2 1

2 0

n

n

i i n

i i

x x x

































^

   

 

2

1

2 1

2 0 2

n

n

i i n

i i

x x

x n x x





































^

 

 

2

1

2 2

1 0

n

n

i

i x

x x n



 















 







 

    

2

1

2 2

0

1 1 1 1

n

n

i

i x

n x n

x n



 













 



 







102

 

2 2

1 1 1

n

n t





 





 



Dengan

/

0

n s t x

 dan

    



 

 ⁿ

i

i x

n x s

1

2

1 1 Untuk

   



1 2 ²



2 2

1 0 2

1

,

; ,..., max ,

,

; ,..., max ,

,..., ,



 



 



n n

n

x x x f

x x x f x

x x







 

 

2 2

1 1 1

n

n t





 





 



Tolak H₀ jika 



x₁,x₂,...,x_n



k



n



^{t k}

n

 



 





 

 2 2

1 1 1



¹¹



^{2 1}

1 t k

n 

  dengan k₁ k^2n c

t²  dengan c



k₁ 1



n1



Sehingga GLRT:

  {

, 2

1 , 2 0

1, ,..., ^{T c}

lainnya n yang

x x

x  ^



Dengan c ditentukan dari:



^{T c}



^

P ²

 



F _ c



 P _{1, n 1}

Karena  ⁰ ~ _1

 t_n

n s

T x 

maka GLRT dapat dinyatakan dengan:

Tolak H₀ jika  ⁰  _1 tn

n s x 

atau  ⁰  _1 tn

n s x  Misal ditentukan uji hipotesis untuk ² adalah

2 0 2

0 : 

H

2 0 2 1: 

H dengan ₀² 0

Untuk ₀ maka:

x

₀

 dan ² ₀²

0 

_ 

      ^{ }















 



 







 

2 0 1

2

2 2 0 2 2 /

2 1

0 , ,..., ; , 2 exp 2

max

 





 

n

i n i

n n

x x x

x x f

Untuk  maka:

x

 dan _² S²

103

      ^{ }















 



 







 

2 1

2

2 2 2 2 /

2

1, ,..., ; , 2 exp 2

max

S x x S

x x x f

n

i n i

n

n   



dimana ^{S2 1}_n

 

^{xi x}



²

   

 

   

   

_



 







 













 

 

 

2 2 2 2

2 /

2 0 2 2 2

0 2 /

2 2

1

2 2

1 0 2

1

exp 2 2

exp 2 2

,

; ,..., max ,

,

; ,..., max ,

,..., ,

S S nS

nS

x x x f

x x x f x

x x

n n n n

n n

n



 





 



 

















 



 

 



 







nS n S

n

2 0 2 2

2 0 2

2 exp 1



 Tolak H₀ jika ^

 

^x_~ ^k

k nS n

S

n















 



 

 



 



 ^

2 0 2 2

2 0 2

2 exp 1





atau nS c

2 0 2

 ^dengan c

 

2 k₂ n Sehingga GLRT:

  {

⁰²

2

, 1

, 2 0

1

, ,...,

^c

nS

lainnya n yang

x x

x 

^{ }



Dengan c ditentukan dari:

 ^_^

 



nS c

P 2

0 2

Karena _{2  }² ₁

0 2

~ _n

ns 

 maka GLRT dapat dinyatakan dengan:

Tolak H₀ jika ²



1



2 2 0

2  n

ns



 atau ²



1



2 2 1

0

2  

 n

ns

 



Sehingga terdapat hubungan yang kuat antara uji hipotesis dan interval konfidensi. Secara umum dapat dikatakan bahwa interval konvidensi berkorespondensi dengan uji hipotesis dan sebaliknya. Sehingga akan menghasilkan interval kepercayaan untuk , yaitu



1

 

1



2 2











 t n

n x s n

t n

x s _  _

Interval kepercayaan untuk ²:

 

 

 



1



1 ²

2 1

2

2 2

2 1 1

2







 













n x x n

x x

n

i i n

i i



  



4. Kesimpulan

104 Penentuan inferensi statistik dari distribusi normal dengan parameter mean ( ) dan varian ( ) dengan keduanya tidak diketahui menggunakan metode bayes yang dibandingkan terhadap metode maksimum likelihood dalam kasus ini ternyata memberikan uji hipotesis yang sama.

DAFTAR PUSTAKA

1. Albert, J., Bayesian Computation with R Second Edition, Springer Scince, USA, 2009.

2. Bolstad, W.M., Introduction to Bayesian Statistics Second Edition, A John Wiley &

Sons Inc, America, 2007.

3. Box, G.E.P and Tiao, G.C., Bayesian Inference In Statistical Analysis, Addision- Wesley Publishing Company, Inc, Philippines, 1973.

4. Pollard, W.E., Bayesian Statistics for Evaluation Research, Sage Publication, Inc:

California, 1986.

5. Walpole, R. E dan Myers, R. H., Ilmu Peluang dan Statistika untuk Insinyur dan Ilmuwan, Terbitan Kedua, ITB, Bandung, 1986.

6. Walpole, R. E., Pengantar Statistika Edisi ke-3, PT Gramedia Pustaka Utama, Jakarta, 1993.

7. _______, M.D. Anderson Cancer Center, Parameter Solver, Version 2.3 User’s Guide, University of Texas. Department of Biostatistics and Applied Mathematics.

URL: http://biostatistics.mdanderson.org/SoftwareDownload/, (diakses pada tanggal 10 Maret 2010).