Pengantar Statistika Matematika II

(1)

atinaahdika.com

Pengantar Statistika Matematika II

Metode Evaluasi Estimator

Atina Ahdika, S.Si., M.Si. Prodi Statistika FMIPA Universitas Islam Indonesia

(2)

Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik

Ukuran Kebaikan Estimator

Penggunaan metode estimasi yang berbeda dapat menghasilkan estimator yang sama maupun berbeda Dari hasil estimator yang berbeda, bagaimana cara memilih estimator terbaik?

(3)

Penaksir Takbias

Definisi

Sebuah estimator dikatakan memiliki sifat takbias jika E(ˆθ) = θ

Catatan:

Jika suatu penaksir ˆθ bersifat bias, maka selisih nilai ekspektasi dan nilai θ tidak nol, atau

(4)

Contoh 1

Misalkan Xi ∼ Bernoulli(θ), apakah ˆθ merupakan

(5)

Dengan menggunakan metode maksimum likelihood, telah diperoleh bahwa ˆθ = ¯X, maka

E(ˆθM LE) = E( ¯X) = E

X1+ X2+ . . . + Xn

n

= 1

n(E(X1) + E(X2) + . . . + E(Xn)) = 1

n(nθ) = θ

(6)

Contoh 2

Buktikan bahwa estimator ˆσ2 _{= S}2 ₌

n

P

i=1

(Xi− ¯X)2

n−1 adalah

(7)

Akan dibuktikan bahwa E(ˆσ2_{) = σ}2_{, maka}

E(ˆσ2) = E(S2) = E     n P i=1 (Xi− ¯X)2 n − 1     E(ˆσ2) = 1 n − 1E " _n X i=1 (Xi− ¯X)2 # (n − 1)E(ˆσ2) = E " _n X i=1 X_i2− 2 ¯XXi+ ¯X2 # (n − 1)E(ˆσ2) = E " _n X i=1 X_i2 # − E " _n X i=1 2 ¯XXi # + E " _n X i=1 ¯ X2 #

(8)

Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik (n − 1)E(ˆσ2) = E " _n X i=1 X_i2 # − E " 2 ¯X n X i=1 Xi # + E " ¯ X2 n X i=1 1 # (n − 1)E(ˆσ2) = E " _n X i=1 X_i2 # − 2nE_¯ X2 + nE ¯X2 (n − 1)E(ˆσ2) = nEX2 i − nE ¯X2 n − 1 n E(ˆσ 2_{) = E}_X2 i − E ¯X2 (1) Selanjutnya kita akan mencari E_¯

(9)

Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik Misalkan Y = ¯X, maka

EX¯2 = E(Y2) = V ar(Y ) + (E(Y ))2 = V ar 1 n n X i=1 Xi ! + µ2 = 1 n2V ar n X i=1 Xi ! + µ2 = 1 n2 n X i=1 V ar(Xi) + µ2 = 1 n2 nσ 2_{+ µ}2 = 1 nσ 2_{+ µ}2

(10)

Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik Kembali ke persamaan (1) n − 1 n E(ˆσ 2_{) = E}_X2 i − E ¯X2 n − 1 n E(ˆσ 2_{) = V ar(X} i) + [E(Xi)]2− E _¯ X2 n − 1 n E(ˆσ 2_{) =}_σ2_{+ µ}2₋ 1 nσ 2_{+ µ}2 n − 1 n E(ˆσ 2_{) = σ}2₋ 1 nσ 2 E ˆσ2 = σ2 Jadi, ˆσ2= S2= n P i=1 (Xi− ¯X)2

n−1 adalah estimator takbias untuk

(11)

Kesalahan Kuadrat Rata-rata (Mean Square

Error )

Definisi

Kesalahan kuadrat rata-rata (MSE) dari estimator ˆ

θ = T (−→x ) = T dari parameter θ adalah fungsi θ yang didefinisikan dengan M SET(θ) = E(T − θ)2.

M SET(θ) = E(T − θ)2 = E(T − µT + µT − θ)2 = E((T − µT) + (µT − θ))2 = E (T − µT)2+ 2(T − µT)(µT − θ) + (µT − θ)2 = E(T − µT)2+ (E(T ) − θ)2 = V ar(T ) + b2_T dengan bT adalah bias T .

(12)

Jadi, MSE mempunyai dua komponen, variansi yang mengukur variabilitas estimator (precision) dan bias yang mengukur akurasi (accuracy) dari estimator. Jadi untuk estimator takbias, kita mempunyai

(13)

Contoh 3

Misalkan X1, X2, . . . , Xn i.i.d N (µ, σ2). ˆµ = ¯X dan

ˆ

σ2= S2 keduanya adalah estimator takbias dari µ dan σ2. Karena

E(ˆµ) = E( ¯X) = µ dan

E(ˆσ2) = E(S2) = σ2 maka MSE dari kedua estimator adalah

(14)

Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik MSE µ, M SEµ= E X − µ¯ 2 = V ar( ¯X) = V ar X1+ X2+ . . . + Xn n = 1 n2V ar n X i=1 Xi ! = 1 n2(nσ 2_{) =} σ2 n

(15)

Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik MSE S2, S2 = 1 n − 1 n X i=1 (Xi− ¯X)2 (n − 1)S2 = n X i=1 (Xi− ¯X)2 n − 1 σ2 S 2 ₌ 1 σ2 n X i=1 (Xi− ¯X)2 ∼ χ2(n−1) (n − 1)S2 = σ2· χ2 (n−1) V ar(n − 1)S2 = V ar h σ2· χ2_(n−1)i (n − 1)2V ar(S2) = σ42(n − 1) V ar(S2) = 2σ 4 n − 1

(16)

Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik Maka M SE_S2 = ES2− σ2 2 = V ar(S2) = 2σ 4 n − 1

(17)

Contoh 4

Estimator alternatif untuk σ2 adalah estimator maksimum likelihood ˆσ2 = 1_n

n

P

i=1

(Xi− ¯X)2= n−1_n S2. Dengan mudah

dapat dilihat bahwa

E(ˆσ2) = E n − 1 n S 2 = n − 1 n σ 2 sehingga ˆσ2 = 1_n n P i=1

(Xi− ¯X)2 adalah estimator bias untuk

(18)

Variansi ˆσ2 dapat dihitung sebagai V ar ˆσ2 = V ar n − 1 n S 2 = n − 1 n 2 V ar(S2) = 2(n − 1)σ 4 n2

(19)

Oleh karena itu,

M SEσˆ2 = E ˆσ2− σ2 2 = V ar ˆσ2 + b2 ˆ σ2 = V ar ˆσ2 + (E(ˆσ2) − σ2)2 = 2(n − 1)σ 4 n2 + n − 1 n σ 2_{− σ}2 2 = 2n − 1 n2 σ4 Jadi kita mempunyai

M SEσˆ2 = 2n − 1 n2 σ4< 2 n − 1 σ4= M SES2

(20)

Estimator Takbias Terbaik

Pada contoh sebelumnya, menunjukkan bahwa Bias = 0 tidak menjamin MSE lebih kecil

MSE adalah fungsi dari parameter, sehingga tidak ada estimator "terbaik" untuk θ

Salah satu cara untuk mengatasi tidak adanya estimator "terbaik" adalah melalui pembatasan kelas estimator, salah satu pembatasan yang akan kita bahas adalah melalui kelas takbias

(21)

Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik Definisi

Misalkan X1, X2, . . . , Xn adalah sampel acak berukuran n

dari f (x; θ). Sebuah estimator T∗ dari τ (θ) disebut sebagai estimator takbias variansi minimum seragam atau uniformly minimum variance unbiased estimator (UMVUE) dari τ (θ) jika

1 T∗ adalah estimator takbias dari τ (θ)

2 Untuk sebarang estimator takbias lain T dari τ (θ),

(22)

Masalah baru yang dihadapi adalah estimator tak bias jumlahnya bisa tak hingga. Untuk itu, untuk menentukan estimator UMVUE diperlukan penanganan yang

menyeluruh, salah satunya melalui batas bawah Cramer-Rao. Jika kita menemukan estimator T∗ sedemikian sehingga V ar(T∗) sama dengan nilai batas bawah tersebut, maka kita mendapatkan estimator UMVUE.

(23)

Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik Definisi

Jika T adalah estimator takbias dari τ (θ), maka batas bawah Cramer-Rao atau Cramer-Rao Lower Bound (CRLB), berdasarkan pada sebuah sampel acak, adalah

V ar(T ) ≥ [τ

0_(θ)]2

n E_∂

∂θln f (X; θ)

(24)

Contoh 5

Misalkan Xi ∼ Eksp(θ). Estimator takbiasnya adalah

ˆ θ = ¯X. Karena ln f (x; θ) = ln 1 θe −x θ = −x θ − ln θ ∂ ∂θ ln f (x; θ) = x θ2 − 1 θ = x − θ θ2

(25)

Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik Maka E ∂ ∂θln f (X; θ) 2 = E X − θ θ2 2 = E (X − θ) 2 θ4 = V ar(X) θ4 = θ2 θ4 = 1 θ2

Dalam hal ini τ (θ) = θ, maka τ0(θ) = 1, sehingga CRLB untuk τ (θ) adalah [τ0(θ)]2 n E_∂θ∂ ln f (X; θ)2 = 1 n 1 θ2 = θ2 n Karena V ar( ¯X) = V ar X1+X2+...+Xn n = 1 n2(nθ2) = θ2 n

dan V ar( ¯X) sama dengan CRLB, maka ˆθ = ¯X adalah estimator UMVUE untuk θ.

(26)

Contoh 6

Misalkan X ∼ P OI(θ). Buktikan ¯X adalah UMVUE dari θ.

(27)

Contoh 7

Misalkan X ∼ N (θ, σ₀2). Buktikan bahwa ¯X adalah UMVUE dari θ.