BAB IX ESTIMASI TITIK
Teorema 10.2.1 Kriteria Faktorisasi
10.4 KELENGKAPAN DAN KELAS EKSPONENSIAL Definisi .1
= [ ( | )]
= ( ) (teorema 5.4.1)
= ( ) (persamaan 9.3.1)
Var(T) = Var[ ( | )] + [ ar( | )] (teorema 5.4.3) Var[ ( | )]
= Var(T*)
Jika dan hanya jika [ ar( | )] = 0, yang mana terjadi jika dan hanya jika ar( | ) = 0 dengan probabilitas 1 atau ekivalen dengan T= ( | ) = T*.
10.4 KELENGKAPAN DAN KELAS EKSPONENSIAL Definisi 10.4.1
Terkadang ditunjukkan dengan tidak adanya estimator unbias nontrivial dari nol.
Maksudnya 2 fungsi berbeda dari T tidak dapat memiliki nilai ekspektasi yang sama. Sebagai contoh :
[ ( )] ( ) dan [ ( )] ( ), maka [ ( ) ( )]
( ) ( ) ( ) ( )
dengan probabilitas 1, jika keluarga pdf lengkap. Untuk keadaan ini estimator unbias tunggal.
Rao-Blackwell.
, … , memiliki pdf bersama ( ) dan =( , … , ) statistik kecukupan bersama untuk . Jika T estimator unbias dari ( ) dan jika T*= ( | ), maka
1. T* estimator unbias dari ( ) 2. T* fungsi dari S
3. Var (T*) Var (T) untuk semua dan
Var (T*) Var (T) untuk beberapa kecuali jika T*=T dengan probablitas 1.
Kelengkapan.
Sebuah keluarga dari pdf { ( ) }, disebut lengkap jika [ ( )]
untuk semua maka ( ) dengan probabilitas 1 untuk semua .
Syarat keluarga pdf statistika kecukupan lengkap :
1. Fungsi unbias dari statistik kecukupan harus tunggal 2. Ada UMVUE oleh teorema Rao-Blackwell.
Statistik kecukupan dengan pdf yang anggota keluarganya lengkap disebut statistik kecukupan lengkap.
Teorema 10.4.1
Bukti:
Fungsi dan estimator unbias ( ) pasti sama dengan T* dengan probabilitas 1. Jika T order statistik dengan estimator unbias ( ), maka dari teorema Rao-Blackwell ( | ) juga unbias untuk ( ) dan fungsi , jadi dengan ketunggalan, T*= ( | ) dengan probabilitas 1.
Selanjutnya, Var (T*) Var (T) untuk semua . Dengan begitu T* adalah UMVUE dari ( ) Contoh 10.4.1
Diberikan , … , sampel acak dari distribusi Poisson, ( ), Pdf : ( ) ∏( ∑
)
dengan kriteria faktorisasi, ∑ merupakan statistik kecukupan.
( ) dengan , sehingga fungsi ( )
[ ( )] ∑ ( ) ( )
∑ ( )
Karena , agar [ ( )] untuk setiap koefisien ( )
harus nol. Jika ( )
maka ( ) . Dengan kelengkapan, ̅ fungsi tunggal dan unbias untuk ( ̅) maka dari teorema 10.4.1 jelas bahwa ̅ adalah UMVUE dari .
Lehmann-Scheffe. , … , memiliki pdf bersama ( ) dan statistik kecukupan lengkap untuk . Jika T*= *( ) merupakan statistik unbias untuk ( ) dan fungsi , maka T* adalah UMVUE dari ( )
Definisi 10.4.2
( ) anggota dari REC ( ) atau REC sederhana.
Contoh 10.4.2
Suatu distribusi Bernoulli, ( )
( ) ( ) ( ) { [
]} { } Dari definisi diperoleh : REC( ) dengan ( ) [
] ( ) Teorema 10.4.2
Contoh 10.4.3
Pada contoh 10.4.2, ( ). Untuk sampel acak n, ( ) dan
∑ merupakan statistik kecukupan lengkap untuk . Maka UMVUE dengan Var( ) ( )
Coba ̅( ̅)
[ ̅( ̅)] ( ̅) ( ̅ ) { | } Kelas Eksponensial.
Suatu pdf dikatakan Regular Exponential Class (REC) jika dapat dinyatakan dalam bentuk
( ) ( ) ( ) [∑ ( ) ( )] (10.4.1) Dan nol untuk yang lain, dimana ( ) vektor dari parameter tidak diketahui-k, jika parameter ruang dalam bentuk
( dan ), dan jika memenuhi:
1. Himpunan { ( ) } tidak bergantung pada 2. Fungsi ( ) nontrivial, independen, kontinu dari
3a. Untuk variabel acak kontinu, turunan ( ) tidak bergantung secara linear pada atas
3b. Untuk variabel acak diskrit, ( ) nontrivial pada atas , dan tidak ada fungsi linear yang lain.
∑ ( )
∑ ( )
Jika , … , sampel acak dari anggota REC( ) maka
Merupakan statistik kecukupan lengkap minimum untuk .
[ ̅( ̅)] ( ̅) [ ( ̅) ( ̅)]
[ ̅( ̅)] ( ( ̅) [ ̅( ̅)] ( ) [ ̅( ̅)] ( ) ( ) [ ̅( ̅)] ( ) ( )
[ ̅( ̅) (
)] ( ) [ ̅( ̅
( ) ] ( ) UMVUE dari ( ) adalah ̅( ̅) dimana
Contoh 10.4.4
Jika ( ), maka
( )
√ [ ( )
]
√ [
]
Untuk sampel acak , ∑ dan ∑ adalah lengkap bersama dan statistik kecukupan dari dan . Karena MLE fungsi satu-satu dari dan maka bisa digunakan pada statistik kecukupan lengkap bersama ini.
Teorema 10.4.3
Teorema 10.4.4
Definisi 10.4.3
Jika T suatu estimator CRLB ada untuk ( ), maka statistik kecukupan tunggal ada dan T fungsi statistik kecukupan. Sebaliknya, jika statistik kecukupan tunggal ada dan CRLB ada maka ada suatu estimator CRLB untuk beberapa ( ).
Jika CRLB ada, maka ada suatu estimator CRLB untuk beberapa ( ) jika dan hanya jika pdf anggota REC. Selanjutnya, estimator CRLB dari ( ) menjadi ( ̂), dimana ̂ merupakan MLE dari .
Suatu pdf dikatakan anggota Range-Dependent Exponential Class (RDEC)( ) jika memenuhi kondisi 2 dan 3a atau 3b dari definisi 10.4.2 untuk dan jika dalam bentuk
( ) ( ) ( ) [∑ ( ) ( )]
(10.4.2)
Keadaan khusus meliputi
1. Keadaan satu parameter, dimana ( ) ( ) ( ) dengan { | ( ) ( )}
2. Keadaan dua parameter, dimana ( ) ( ) ( ) dengan { | ( ) ( )}
Teorema 10.4.5
Contoh 10.4.5
Diberikan pdf ( ) { ( ) , fungsi turun untuk
( ) , fungsi naik untuk dari teorema 10.4.5 didapat
[ ( ) ( )]
[ ( ) ( )] adalah statistik kecukupan tunggal untuk . Teorema 10.4.6
Diberikan , … , sampel acak dari anggota RDEC( ).
1. Jika , maka , dan dimana
∑ ( ) adalah kecukupan bersama untuk ( )
2. Keadaan dua parameter, dan merupakan kecukupan bersama untuk ( )
3. Keadaan satu parameter, dan merupakan kecukupan bersama untuk .
Jika ( ) naik dan ( ) turun, maka
[ ( ) ( )] statistik kecukupan tunggal untuk . Jika ( ) turun dan ( ) naik, maka
[ ( ) ( )] statistik kecukupan tunggal untuk .
Diberikan , … , sampel acak dari anggota RDEC
1. Jika dan batas bawah konstan, ( ) , maka dan
∑ ( ) adalah kecukupan bersama untuk dan . Jika batas atas konstan, ( ) , maka dan ∑ ( ) adalah kecukupan bersama untuk dan .
2. Keadaan satu parameter, jika ( ) tidak bergantung pada maka kecukupan untuk , dan jika ( ) tidak bergantung pada maka kecukupan untuk .
Contoh 10.4.6
Distribusi eksponensial dengan 2 parameter, ( ) ( ) ( ) ( ) ( ) ( ) [ ( )] ; ( ) ( ) ( ) ; Jika , … , sampel acak
dari teorema 10.4.6 bahwa dan ∑ adalah statistik kecukupan untuk ( ). ( ) bukan fungsi parameter, jadi tidak terlibat.
Jika diketahui, , maka
( ) ( ) [ ( )] ; ( ) ( ) [ ( )] ; ( ) ( ) ;
;
kecukupan untuk .
Konsisten dengan hasil sebelumnya, dimana didapat estimator atas yang lebih baik dari estimator atas statistik lain seperti ̅.
Teorema 10.4.7
Bukti :
Untuk keadaan diskrit, dinotasikan ( ) ( ) dan ( | ) adalah pdf dari , , dan pdf bersyarat terhadap . Nilai ekspektasi relative terhadap distribusi .
[ ( ) ( | )] ( ) ∑ ( | ) ( ) ( ) ∑ ( )
( ) ( )
Karena statistik kecukupan lengkap, ( | ) ( ) yang meannya dan adalah stokastik independen.
Dengan cara yang sama untuk kasus kontinu Basu.
Andaikan , … , mempunyai pdf bersama ( , … , ); . Dimisalkan =( , … , ) dimana , … , adalah kecukupan bersama untuk , dan statistik lain. Jika distribusi tidak memuat , maka dan stokastik independen.
Contoh 10.4.9
Diberikan sampel acak berukuran n dari distribusi Normal, ( ) dan MLE, ̂ ̅ dan ̂ ∑( ̅) . Mudah untuk membuktikan bahwa ̅ statistik kecukupan lengkap untuk . Untuk menetapkan nilai dari , dari persamaan 8.3.15 maka
( )
( ) substitusikan persamaan 8.2.7 yaitu ∑( ̅)
ke persamaan diatas ( )
( ) ∑( ̅)
( ) ∑( ̅) ( )
̂ ( )
̂
( ) yang tidak bergantung pada . ̅ dan ̂ variabel acak independen.
̅ dan ̂ statistik kecukupan dan kelengkapan bersama untuk dan . Jumlah dari bentuk ( ̅)
̂ adalah distribusi independen terhadap dan , jadi jumlah ( ̅)
̂ stokastik independen terhadap ̅ dan ̂
RINGKASAN :
Pada bab ini dijelaskan mengenai konsep “kecukupan dan kelengkapan”. Jika statistik adalah kecukupan, maka memuat semua “informasi” dalam data terhadap parameter yang tidak diketahui dari distribusi. Jika sebuah statistik adalah kecukupan dan MLE tunggal ada, maka MLE adalah fungsi statistik kecukupan. Statistik kecukupan juga penting dalam konstruksi UMVUE. Jika statistik lengkap sebaik kecukupan untuk sebuah parameter, dan jika estimator unbias dari parameter ada, maka UMVUE ada dan merupakan fungsi statistik kecukupan lengkap. Kadang sulit untuk dibuktikan kelengkapan secara langsung dari definisi, tetapi sebuah kelas khusus dari pdf, kelas eksponensial, memberikan cara tepat untuk memperkenalkan statistik kecukupan lengkap.
SOAL-SOAL LATIHAN
1. Diberikan adalah sampel acak berdistribusi Poisson, ( ) Tunjukkan bahwa ∑ adalah statistik kecukupan untuk ! (Petunjuk : Gunakan persamaan 10.2.1)
Penyelesaian :
Pdf dari distribusi Poisson yaitu : ( )
Sedangkan pdf bersama untuk distribusi Poisson yaitu : ( ) ∏ ∑ ∏
Diketahui bahwa ∑ maka diperoleh
Sedangkan 0 untuk yang lainnya. Karena pdf tersebut tidak bergantung pada maka menurut persamaan 10.2.1 bahwa ∑ adalah statistik kecukupan untuk
Karena dapat dinyatakan dalam bentuk faktorisasi maka ∑ adalah statistik kecukupan untuk .
Sedangkan 0 untuk yang lainnya. Karena pdf tersebut tidak bergantung pada maka menurut
Karena dapat dinyatakan dalam bentuk faktorisasi maka ∑ adalah statistik kecukupan untuk .
4. Diberikan adalah sampel acak berdistribusi Normal, ( ).
a. Tentukan kecukupan statistik tunggal untuk dengan diketahui.
b. Tentukan kecukupan statistik tunggal untuk dengan diketahui.
Penyelesaian :
Ketika diketahui maka dengan menggunakan kriteria faktorisasi didapatkan sebagai berikut :
Karena dapat dinyatakan dalam bentuk faktorisasi maka ̅ adalah statistik kecukupan untuk
Akan ditunjukkan bahwa ∑ ( ) adalah statistik kecukupan untuk .
Ketika diketahui maka dengan menggunakan kriteria faktorisasi didapatkan sebagai berikut :
( ∑̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅ ( ) ) |
∑ ( )
| dan ( ) ( )
Karena dapat dinyatakan dalam bentuk faktorisasi maka ∑̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅adalah statistik ( ) kecukupan untuk
5. Pada contoh soal no 2 di atas, tentukan estimator dari dengan ∑ dan bandingkan dengan MLE pada p.
Penyelesaian :
Untuk distribusi geometrik, pdf diberikan oleh
( ) { ( ) Fungsi Likelihoodnya
( ) ∏( ( ) )
( ) ( ) ( ) ( )
( )
( ) ( ) ( )
( )
Jadi estimator dari dengan ∑ yaitu
6. Misalkan, sampel acak n dari Distribusi Weibull, ( ).
a. Cari statistik kecukupan untuk dengan diketahui, . b. Jika tidak diketahui, cari statistik kecukupan tunggal untuk ?
Penyelesaian:
( )
( ) ( )
a. statistik kecukupan untuk dengan diketahui, ( ) [ ( ) ]
[ ( ) ] [ ( ) ] [ (∑ ) ] [ (∑
) ] [ ∑
] ∑ ( ) [ ]
Dan ( ) Maka dengan kriteria faktorisasi, ∑ merupakan statistik kecukupan untuk .
b. statistik kecukupan tunggal untuk
( ) [ ( ) ] Karena [ (∑ ) ] [ ∑ ] ∑ ( ) [ ]
Dan ( ) Maka dengan kriteria faktorisasi, ∑ merupakan statistik kecukupan tunggal untuk . Dan hanya terjadi jika n=1
7. Misalkan sampel acak dari Distribusi Eksponensial 2 parameter, ( ).
Tunjukkan dan ̅ kecukupan bersama untuk . Penyelesaian:
Distribusi eksponensial dengan 2 parameter, ( ) ( ) ( ) ( ) ( ) ( ) [ ( )] ; ( ) ( ) ( ) ; Jika , … , sampel acak
dari teorema 10.4.6 bahwa dan ∑ adalah statistik kecukupan bersama untuk ( ).
( ) bukan fungsi parameter, jadi tidak terlibat.
8. Misalkan sampel acak dari Distribusi Beta, ( ). Cari statistik kecukupan bersama untuk .
Penyelesaian:
( ) ( ) ( ) ( )
( ) Untuk sampel acak ,
∏
∏( )
Adalah lengkap bersama dan statistik kecukupan dari . Karena MLE fungsi satu-satu dari maka bisa digunakan pada statistik kecukupan lengkap bersama.
9. Misalkan sampel acak dari Distribusi Bernoulli, ( ); . a. Cari UMVUE dari ( ) ( )
b. Cari UMVUE dari . Penyelesaian:
( ).
Untuk sampel acak n, ( ) dan ∑ merupakan statistik kecukupan lengkap untuk .
a. UMVUE dari Var( ) ( ) Menggunakan ̅( ̅)
[ ̅( ̅)] ( ̅) ( ̅ ) [ ̅( ̅)] ( ̅) [ ( ̅) ( ̅)]
[ ̅( ̅)] ( ( ̅)
[ ̅( ̅)] ( ) [ ̅( ̅)] ( ) ( ) [ ̅( ̅)] ( ) ( )
[ ̅( ̅) (
)] ( ) [ ̅( ̅
( ) ] ( ) UMVUE dari ( ) adalah ̅( ̅) dimana
b. UMVUE dari
Menggunakan ̅( ̅)
[ ̅( ̅)] ( ̅) ( ̅ ) [ ̅( ̅)] ( ̅) [ ( ̅) ( ̅)]
[ ̅( ̅)] ( ( ̅)
[ ̅( ̅)] ( ) [ ̅( ̅)] ( ) ( ) [ ̅( ̅)] ( ) ( )
[ ̅( ̅) (
)] ( ) [ ̅( ̅
( ) ] ( ) [ ̅( ̅
( ) ] [ ̅( ̅
( ) ] UMVUE dari adalah [ ̅( ̅
( ) ]
10. Misalkan sampel acak dari Distribusi Poisson, ( ); . Cari UMVUE dari [ ] .
Penyelesaian:
pdf ( ) ∏( ∑
)
dengan kriteria faktorisasi, ∑ merupakan statistik kecukupan.
( ) sehingga fungsi ( )
[ ( )] ∑ ( ) ( )
∑ ( )
Karena , agar [ ( )] untuk setiap koefisien ( )
harus nol. Jika ( )
maka ( ) . Dengan kelengkapan, ̅ fungsi tunggal dan unbias untuk ( ̅) maka dari teorema 10.4.1 jelas bahwa ̅ adalah UMVUE dari .
BAB XI