611.01.010 Pengantar Statistika Matematika II
Bab 4: Metode Evaluasi EstimatorAtina Ahdika, S.Si, M.Si
Statistika FMIPA Universitas Islam Indonesia
Ukuran Kebaikan Estimator
Penggunaan metode estimasi yang berbeda dapat menghasilkan estimator yang sama maupun berbeda Dari hasil estimator yang berbeda, bagaimana cara memilih estimator terbaik?
Penaksir Takbias
Definisi
Sebuah estimator dikatakan memiliki sifat takbias jika E (ˆθ) = θ
Catatan:
Jika suatu penaksir ˆθ bersifat bias, maka selisih nilai ekspektasi dan nilai θ tidak nol, atau
E (ˆθ − θ) 6= 0
Contoh 1
Misalkan Xi ∼ Bernoulli (θ), apakah ˆθ merupakan penaksir takbias
Dengan menggunakan metode maksimum likelihood, telah diperoleh bahwa ˆθ = ¯X , maka
E (ˆθMLE) = E ( ¯X ) = E X1+ X2+ . . . + Xn n = 1 n (E (X1) + E (X2) + . . . + E (Xn)) = 1 n(nθ) = θ
Jadi, ˆθ = ¯X merupakan penaksir takbias untuk θ.
Contoh 2
Buktikan bahwa estimator ˆσ2= S2 =
n P i =1 (Xi− ¯X )2 n−1 adalah estimator takbias untuk σ2.
Akan dibuktikan bahwa E (ˆσ2) = σ2, maka E (ˆσ2) = E (S2) = E n P i =1 (Xi − ¯X )2 n − 1 E (ˆσ2) = 1 n − 1E " n X i =1 (Xi− ¯X )2 # (n − 1)E (ˆσ2) = E " n X i =1 Xi2− 2 ¯X Xi+ ¯X2 # (n − 1)E (ˆσ2) = E " n X i =1 Xi2 # − E " n X i =1 2 ¯X Xi # + E " n X i =1 ¯ X2 # (n − 1)E (ˆσ2) = E " n X i =1 Xi2 # − E " 2 ¯X n X i =1 Xi # + E " ¯ X2 n X i =1 1 #
(n − 1)E (ˆσ2) = E " n X i =1 Xi2 # − 2nE¯ X2 + nE ¯X2 (n − 1)E (ˆσ2) = nEXi2 − nE ¯X2 n − 1 n E (ˆσ 2) = EX2 i − E ¯X2 (1) Selanjutnya kita akan mencari EX¯2
Misalkan Y = ¯X , maka E¯ X2 = E (Y2) = Var (Y ) + E (Y )2 = Var 1 n n X i =1 Xi ! + µ2 = 1 n2Var n X i =1 Xi ! + µ2 = 1 n2 n X i =1 Var (Xi) + µ2 = 1 n2 nσ 2 + µ2 = 1 nσ 2+ µ2
Kembali ke persamaan (1) n − 1 n E (ˆσ 2) = EX2 i − E ¯X2 n − 1 n E (ˆσ 2) = Var (X i) + [E (Xi)]2− E ¯ X2 n − 1 n E (ˆσ 2) =σ2+ µ2 − 1 nσ 2+ µ2 n − 1 n E (ˆσ 2) = σ2− 1 nσ 2 E ˆσ2 = σ2 Jadi, ˆσ2 = S2 = n P i =1 (Xi− ¯X )2
n−1 adalah estimator takbias untuk σ 2.
Kesalahan Kuadrat Rata-rata (Mean Square Error )
DefinisiKesalahan kuadrat rata-rata (MSE) dari estimator ˆθ = T (−→x ) = T dari parameter θ adalah fungsi θ yang didefinisikan dengan
MSET(θ) = E (T − θ)2. MSET(θ) = E (T − θ)2 = E (T − µT + µT − θ)2 = E ((T − µT) + (µT − θ))2 = E (T − µT)2+ 2(T − µT)(µT − θ) + (µT − θ)2 = E (T − µT)2+ (E (T ) − θ)2 = Var (T ) + b2T dengan bT adalah bias T .
Jadi, MSE mempunyai dua komponen, variansi yang mengukur variabilitas estimator (precision) dan bias yang mengukur akurasi (accuracy ) dari estimator. Jadi untuk estimator takbias, kita mempunyai
Contoh 3
Misalkan X1, X2, . . . , Xn i.i.d N(µ, σ2). ˆµ = ¯X dan ˆσ2 = S2
keduanya adalah estimator takbias dari µ dan σ2. Karena E (ˆµ) = E ( ¯X ) = µ
dan
E (ˆσ2) = E (S2) = σ2 maka MSE dari kedua estimator adalah
MSE µ, MSEµ= E X − µ¯ 2 = Var ( ¯X ) = Var X1+ X2+ . . . + Xn n = 1 n2Var n X i =1 Xi ! = 1 n2(nσ 2) = σ2 n
MSE S2, S2 = 1 n − 1 n X i =1 (Xi − ¯X )2 (n − 1)S2 = n X i =1 (Xi − ¯X )2 n − 1 σ2 S 2 = 1 σ2 n X i =1 (Xi − ¯X )2 ∼ χ2(n−1) (n − 1)S2 = σ2· χ2(n−1) Var(n − 1)S2 = Var h σ2· χ2(n−1)i (n − 1)2Var (S2) = σ42(n − 1) Var (S2) = 2σ 4 n − 1
Maka MSES2 = ES2− σ2 2 = Var (S2) = 2σ 4 n − 1
Contoh 4
Estimator alternatif untuk σ2 adalah estimator maksimum likelihood ˆσ2= 1n
n
P
i =1
(Xi − ¯X )2= n−1n S2. Dengan mudah dapat
dilihat bahwa E (ˆσ2) = E n − 1 n S 2 = n − 1 n σ 2 sehingga ˆσ2= 1n n P i =1
(Xi − ¯X )2 adalah estimator bias untuk σ2.
Variansi ˆσ2 dapat dihitung sebagai Var ˆσ2 = Var n − 1 n S 2 = n − 1 n 2 Var (S2) = 2(n − 1)σ 4 n2
Oleh karena itu, MSEˆσ2 = E ˆσ2− σ2 2 = Var ˆσ2 + b2 ˆ σ2 = Var ˆσ2 + E ˆσ2− σ22 = 2(n − 1)σ 4 n2 + n − 1 n σ 2− σ2 2 = 2n − 1 n2 σ4 Jadi kita mempunyai
MSEσˆ2 = 2n − 1 n2 σ4 < 2 n − 1 σ4 = MSES2
Estimator Takbias Terbaik
Pada contoh sebelumnya, menunjukkan bahwa Bias = 0 tidak menjamin MSE lebih kecil
MSE adalah fungsi dari parameter, sehingga tidak ada estimator ”terbaik” untuk θ
Salah satu cara untuk mengatasi tidak adanya estimator ”terbaik” adalah melalui pembatasan kelas estimator, salah satu pembatasan yang akan kita bahas adalah melalui kelas takbias
Definisi
Misalkan X1, X2, . . . , Xn adalah sampel acak berukuran n dari
f (x ; θ). Sebuah estimator T∗ dari τ (θ) disebut sebagai estimator takbias variansi minimum seragam atau uniformly minimum variance unbiased estimator (UMVUE) dari τ (θ) jika
1 T∗ adalah estimator takbias dari τ (θ)
2 Untuk sebarang estimator takbias lain T dari τ (θ),
Var (T∗) ≤ Var (T ) untuk semua θ ∈ Ω
Masalah baru yang dihadapi adalah estimator tak bias jumlahnya bisa tak hingga. Untuk itu, untuk menentukan estimator UMVUE diperlukan penanganan yang menyeluruh, salah satunya melalui batas bawah Cramer-Rao. Jika kita menemukan estimator T∗ sedemikian sehingga Var (T∗) sama dengan nilai batas bawah tersebut, maka kita mendapatkan estimator UMVUE.
Definisi
Jika T adalah estimator takbias dari τ (θ), maka batas bawah Cramer-Rao atau Cramer-Rao Lower Bound (CRLB), berdasarkan pada sebuah sampel acak, adalah
Var (T ) ≥ [τ
0(θ)]2
n E∂θ∂ ln f (X ; θ)2
Contoh 5
Misalkan Xi ∼ Eksp(θ). Estimator takbiasnya adalah ˆθ = ¯X .
Karena ln f (x ; θ) = ln 1 θe −x θ = −x θ − ln θ ∂ ∂θln f (x ; θ) = x θ2 − 1 θ = x − θ θ2
Maka E ∂ ∂θln f (X ; θ) 2 = E X − θ θ2 2 = E (X − θ) 2 θ4 = Var (X ) θ4 = θ2 θ4 = 1 θ2
Dalam hal ini τ (θ) = θ, maka τ0(θ) = 1, sehingga CRLB untuk τ (θ) adalah [τ0(θ)]2 n E∂ ∂θln f (X ; θ) 2 = 1 n 1 θ2 = θ2 n Karena Var ( ¯X ) = Var
X1+X2+...+Xn n = n12(nθ2) = θ2 n dan Var ( ¯X )
sama dengan CRLB, maka ˆθ = ¯X adalah estimator UMVUE untuk θ.
Contoh 6
Contoh 7
Misalkan X ∼ N(θ, σ2
0). Buktikan bahwa ¯X adalah UMVUE dari θ.