Diktat Kuliah
STATISTIKA MATEMATIKA
Adi Setiawan
Universitas Kristen Satya Wacana
Salatiga
Contents
1 Pendahuluan 1 1.1 Sifat Kecukupan . . . 1 1.2 Sifat Kelengkapan . . . 7 1.3 Sifat Ketakbiasan . . . 11 1.4 Keluarga Eksponensial . . . 13 2 Estimasi Titik 19 2.1 Metode yang digunakan bila tersedia statistik cukup yang lengkap 21 2.2 Metode yang digunakan bila tidak tersedia statistik cukup lengkap 22 2.3 Kriteria Pemilihan Estimator : Prinsip MLE . . . 282.4 Estimator Momen . . . 31
2.5 Kriteria Pemilihan Estimator : Pendekatan Teori Keputusan . . . 33
2.6 Sifat-sifat Optimal secara Asimptotik dari Estimator . . . 40
3 Pengujian Hipotesis 46 3.1 Konsep Umum dari Pengujian Hipotesis Neyman-Pearson . . . 46
3.2 Pengujian Hipotesis Sederhana Melawan Alternatif Sederhana . . . 49
3.3 Uji UMP untuk Pengujian Hipotesis Komposit . . . 58
3.4 Uji UMPU untuk Pengujian Hipotesis Komposit . . . 70
3.5 Pengujian Parameter dari Distribusi Normal . . . 73
3.5.1 Uji Tentang Variansi . . . 73
3.5.2 Uji Tentang mean . . . 75
3.6 Perbandingan Parameter Dua Distribusi Normal . . . 77
3.6.1 Perbandingan Variansi Dua Densitas Normal . . . 77
3.6.2 Perbandingan Mean Dua Densitas Normal . . . 79
3.7 Uji Likelihood Ratio . . . 80
4 Daerah Kepercayaan 91 4.1 Interval Kepercayaan . . . 91
4.2 Interval Kepercayaan Bila Muncul Parameter Nuisans . . . 98
4.3 Interval Kepercayaan dan Interval Kepercayaan Pendekatan . . . . 101
Chapter 1
Pendahuluan
Dalam bab ini terlebih dahulu akan dibahas tentang ruang parameter (pa-rameter space), statistik cukup (sufficient statistics), sifat kelengkapan (com-pleteness), sifat ketakbiasan (unbiasedness) dan keluarga eksponensial (ex-ponential family).
1.1
Sifat Kecukupan
Misalkan X suatu variable random dengan fungsi kepadatan probabilitas f (x, θ) diketahui tetapi tergantung pada suatu vektor konstan berdimensi r yaitu θ = (θ1, θ2, . . . , θr)t yang dinamakan parameter. Ruang parame-ter Ω adalah himpunan semua nilai yang mungkin dari θ. Dalam hal ini Ω ⊂ Rr dengan r ≤ 1. Misalkan X
1, X2, . . . , Xn sampel random ukuran n dari f (x; θ) yaitu n variabel random yang saling bebas dan masing-masing mempunyai fungsi kepadatan probabilitas f (x; θ). Masalah mendasar dalam statistika adalah membuat inferensi tentang parameter θ seperti melakukan estimasi θ, menguji hipotesis tentang θ dan lain lain. Dalam melakukan hal di atas , konsep tentang kecukupan memainkan peranan penting dalam mem-bimbing kita untuk meringkas data tetapi tanpa kehilangan informasi yang dibawa dalam data tentang parameter θ. Di samping sifat kecukupan juga akan dibahas tentang konsep kelengkapan (completeness), sifat ketakbiasan (unbiasedness) dan sifat ketakbiasan variansi minimum (minimum variance unbiasedness).
Misalkan Tj : Rn 7→ R untuk j = 1, 2, . . . , m dan Tj tidak tergantung pada θ atau sebarang kuantitas yang tidak diketahui. Vektor
dinamakan statistik dimensi m, dengan T1 = T1(X1, X2, . . . , Xn), T2 = T2(X1, X2, . . . , Xn),
dan Tm = Tm(X1, X2, . . . , Xn). Sebelum didefinisikan sifat kecukupan, ter-lebih dahulu diberikan contoh-contoh berikut ini.
Contoh 1.1
Misalkan variabel random X berdistribusi seragam pada (α, β). Bila diambil θ1 = α, θ2 = β maka diperoleh θ = (θ1, θ2)t sehingga ruang parameternya adalah Ω ={(θ1, θ2)t|θ1, θ2 ∈ R2, θ1 ≤ θ2} dan fungsi kepadatan probabilitas dari variabel random X adalah
f (x; θ) = 1 θ2− θ1
(1.1.1) untuk θ1 < x < θ2. Jika α diketahui dan β = θ maka ruang parameternya adalah Ω = (α,∞) dan fungsi kepadatan probabilitas daria variable random X adalah f (x; θ) = 1 θ− α (1.1.2) untuk θ1 < x < θ2 atau f (x; θ) = 1 θ− αIA(x) (1.1.3)
dengan A = (α, θ) dan IA(x) = 1 untuk x ∈ A and IA(x) = 0 untuk x ∈ A merupakan fungsi indikator.
Jika β diketahui dan α = θ maka ruang parameternya Ω = (−∞, β) dan fungsi kepadatan probabilitas dari variable random X adalah
f (x; θ) = 1 β− θ (1.1.4) untuk θ < x < β atau f (x; θ) = 1 β− θIA(x) (1.1.5) dengan A = (θ, β). Contoh 1.2
Misalkan variabel random X berdistribusi N (µ, σ2). Bila dipilih θ1 = µ, θ2 = σ2 maka θ = (θ1, θ2)t sehingga
dan fungsi kepadatan probabilitas dari variabel random X adalah f (x; θ) = √ 1 2πθ2 exph− (x− θ1) 2 2θ2 i (1.1.6)
Jika diketahui dan dipilih µ = θ maka Ω = R dan fungsi kepadatan proba-bilitas dari variabel random X adalah
f (x; θ) = √ 1 2πσ2 exp h −(x− θ) 2 2σ2 i (1.1.7)
sedangkan jika µ diketahui dan dipilih σ2 = θ maka Ω = {θ ∈ R|θ > 0} dan fungsi kepadatan probabilitas dari variabel random X adalah
f (x; θ) = √1 2πθexp h − (x− µ) 2 2θ i . (1.1.8) Contoh 1.3
Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi identik (independent and identically distribution) yaitu Binom(1, θ). Hal itu berarti fungsi probabilitas dari Xi adalah
f (xi; θ) = θxi(1− θ)1−xiIA(xi) (1.1.9) untuk i = 1, 2, . . . , n, A ={0, 1} dan θ ∈ Ω = (0, 1). Misalkan T =Pni=1Xi. Karena Xi berdistribusi Binom(1, θ) maka T berdistribusi Binom(n, θ) se-hingga fungsi probabilitas dari T adalah
fT(t; θ) = n t θt(1− θ)1−tIB(t) (1.1.10) dengan B = {0, 1, . . . , n}.
Misalkan dianggap bahwa percobaan Binomial telah dilakukan dan nilai pengamatan dari Xi adalah xi untuk i = 1, 2, . . . , n. Masalah yang dihadapi adalah bagaimana membuat inferensi tentang θ berdasarkan pada xi untuk i = 1, 2, . . . , n. Apabila kita memberi tanda 1 untuk ’sukses’ maka akan muncul pertanyaan tentang : dapatkah dilakukan inferensi tentang θ bila diketahui banyaknya sukses yang terjadi. Bila banyaknya sukses yang terjadi adalah t atau T = t untuk t = 0, 1, 2, . . . , n maka akan ditentukan berapa probabilitas setiap satu kemungkinan dari
n
t
terjadinya t ’sukses’. P (X1 = x1, . . . , Xn= xn|T = t) = P (X1 = x1, . . . , Xn = xn) P (T = t) = ( P (X1=x1,...,Xn=xn) P (T =t) jika x1+ x2+ . . . + xn = t
0 jika yang lain.
Hal ini berarti
P (X1 = x1, . . . , Xn = xn|T = t) = θx1(1− θ)1−x1. . . θxn(1− θ)1−xn n t θt(1− θ)1−t = θ Pn i=1xi(1− θ)n−Pni=1xi n t θt(1− θ)1−t = 1 n t
jika x1 + x2 + . . . + xn = t dan bernilai 0 untuk yang lain, sehingga untuk semua x1, x2, . . . , xn dengan xi = 0 atau 1 untuk i = 1, 2, . . . , n dan untuk Pn
i=1xi = t berlaku sifat
P (X1 = x1, . . . , Xn = xn|T = t) = 1 n t
tidak bergantung pada θ. Oleh karena itu total banyaknya sukses t menye-diakan semua informasi tentang θ.
Contoh 1.3 memotivasi definisi statistik cukup berikut ini. Definisi 1.1
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f (x, θ) dan
θ = (θ1, θ2, . . . , θr)t ∈ Ω ⊆ Rr. Misalkan T = (T1, T2, . . . , Tm)t dengan
untuk j = 1, 2, . . . , m statistik. Statistik T dinamakan statistik cukup dimensi-m untuk keluarga F = {f(x; θ)|θ ∈ Ω} atau untuk parameter θ jika distribusi bersyarat (X1, X2, . . . , Xn)t diberikan T = t tidak bergantung pada θ untuk semua nilai t.
Dengan menggunakan teorema berikut ini, identifikasi statistik cukup dengan mudah dapat dilakukan.
Teorema 1.1 (Teorema Faktorisasi Fisher-Neyman)
Misalkan variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f (x; θ) dan θ = (θ1, θ2, . . . , θr)t ∈ Ω ⊆ Rr. Statistik dimensi-m
T = (T1(X1, X2, . . . , Xn), T2(X1, X2, . . . , Xn), . . . , Tm(X1, X2, . . . , Xn))t merupakan statistik cukup untuk θ jika dan hanya jika fungsi kepadatan probabilitas bersama dari dapat difaktorkan sebagai
f (x1, x2, . . . , xn) = g[x1, x2, . . . , xn; θ]h(x1, x2, . . . , xn)
dengan g tergantung pada θ hanya melalui T dan h tidak tergantung pada θ. Akibat 1.1
Misalkan φ : Rm 7→ Rm fungsi terukur dan tidak tergantung pada θ serta fungsi korespondensi satu-satu sehingga φ−1 ada. Jika statistik cukup untuk θ maka φ(T) juga merupakan statistik cukup untuk θ dan juga merupakan statistik cukup untuk ψ(θ) dengan φ : Rr 7→ Rr merupakan fungsi terukur dan korespondensi satu-satu.
Contoh 1.4
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dari U (θ1, θ2). Fungsi kepadatan probabilitas dari Xi adalah
f (xi; θ) = 1 θ2− θ1
kepadatan probabilitas bersamanya adalah f (x1, x2, . . . , xn; θ) = n Y i=1 1 θ2− θ1 I(θ1,θ2)(xi), f (x1, x2, . . . , xn; θ) = 1 (θ2− θ1)n θ1 < X(1) < X(n) < θ2, f (x1, x2, . . . , xn; θ) = 1 (θ2− θ1)n I[θ1,∞)(X(1))I(−∞,θ2)(X(n)), f (x1, x2, . . . , xn; θ) = 1 (θ2− θ1)n g1(X(1), θ)g2(X(n), θ), dengan g1(X(1), θ) = I[θ1,∞)(X(1)) dan g2(X(n), θ) = I[θ1,∞)(X(1))I(−∞,θ2)(X(n)).
Akibatnya dengan menggunakan Teorema Faktorisasi Fisher-Neyman diper-oleh (X(1), X(n)) merupakan statistik cukup untuk θ. Khususnya jika θ1 = α diketahui dan θ2 = θ maka X(1) merupakan statistik cukup untuk θ. Dengan cara yang sama jika θ2 = β diketahui dan maka X(n) merupakan statistik cukup untuk θ.
Contoh 1.5
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dari N (µ, σ2). Bila x = (x
1, x2, . . . , xn)t, µ = θ1, σ2 = θ2 dan θ = (θ1, θ2)t maka fungsi kepadatan probabilitas dari Xi adalah
f (xi; θ) = 1 √ 2πθ2 exph− (xi− θ1) 2 2θ2 i
sehingga fungsi kepadatan probabilitas bersamanya adalah
f (xi; θ) = 1 (√2πθ2)n exph− 1 2θ2 n X i=1 (xi− θ1)2 i . Tetapi, karena n X i=1 (xi− θ1)2 = n X i=1 h (xi− ¯x) + (¯x − θ1)]2 = n X i=1 (xi− ¯x)2+ n(¯x− θ1)2
maka fungsi kepadatan probabilitasnya menjadi
f (xi; θ) = 1 (√2πθ2)n exph− 1 2θ2 n X i=1 (xi− ¯x)2− n 2θ2 (¯x− θ1)2 i
sehingga ( ¯X,Pni=1(Xi− ¯X)2)t merupakan statistik cukup untuk θ. Pada sisi lain fungsi kepadatan probabilitasnya dapat dinyatakan sebagai
f (xi; θ) = 1 (√2πθ2)n exp− nθ 2 1 2θ2 expθ1 θ2 n X i=1 xi− 1 2θ2 n X i=1 x2i.
Hal itu berarti, jika θ2 = σ2 diketahui dan θ1 = θ maka Pn
i=1Xi merupakan statistik cukup untuk θ. Di samping itu, jika θ1 = µ diketahui dan θ2 = θ maka Pni=1X2
i merupakan statistik cukup untuk θ. Demikian juga, dengan menggunakan Akibat Teorema Faktorisasi Fisher-Neyman ( ¯X, S2)t meru-pakan statistik cukup untuk θ. Jika θ1 = µ diketahui maka n1 Pni=1(xi − µ)2 merupakan statistik cukup untuk θ2 = θ.
Pada contoh-contoh di atas, dimensi dari statistik cukup sama dengan dimensi parameternya. Jika X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi identik dari distribusi Cauchy dengan parameter θ = (µ, σ2) dan fungsi kepadatan probabilitas
f (x; µ, σ2) = 1 π
σ σ2+ (x− µ)2
untuk −∞ < x < ∞ maka tidak ada statistik cukup yang dimensinya lebih kecil dari statistik cukup (X1, X2, . . . , Xn)t.
Jika m adalah bilangan bulat terkecil sehingga T = (T1, T2, . . . , Tm)t dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , m merupakan statis-tik cukup untuk θ = θ1, . . . , θr)t maka T dinamakan statistik cukup minimal untuk θ.
1.2
Sifat Kelengkapan
Misalkan X vektor random berdimensi k dengan fungsi kepadatan probabil-itas f (x; θ) dan θ ∈ Ω ⊆ Rr. Misalkan g : Rk 7→ R fungsi terukur sehingga g(X) merupakan variabel random. Dianggap bahwa Eθ[g(X)] ada untuk se-mua θ∈ Ω dan F = {f(x; θ)|θ ∈ Ω}.
Definisi 1.2
Keluarga F dikatakan lengkap (complete) jika untuk setiap g, Eθ[g(X)] = 0
untuk semua θ ∈ Ω menyebabkan bahwa g(X) = 0 kecuali mungkin pada N sehingga Pθ[X ∈ N] = 0 untuk semua θ ∈ Ω.
Contoh 1.6 Misalkan F ={f(x; θ)|f(x; θ) = n x θx(1−θ)n−xI A(x), θ∈ (0, 1)} dengan A ={0, 1, 2, . . . , n}. Karena E[g(X)] = n X i=1 g(x)θx(1− θ)n−x = (1− θ)n n X x=0 g(x) n x ρx dengan ρ = θ
1−θ maka E[g(X)] = 0 untuk semua θ ∈ (0, 1) akan ekuivalen dengan n X x=0 g(x) n x ρx = 0
untuk setiap ρ ∈ (0, ∞). Akibatnya untuk lebih dari n nilai-nilai dari ρ berlaku untuk x = 0, 1, 2, . . . , n yang ekuivalen dengan
g(x) n x = 0
untuk x = 0, 1, 2, . . . , n. Hal itu berarti bahwa keluarga distribusi binomial F merupakan keluarga yang lengkap.
Contoh 1.7 Misalkan F ={f(x; θ)|f(x; θ) = e−θx θ x! IA(x), θ∈ (0, ∞)} dengan A = {0, 1, 2, 3, . . .}. Karena E[g(X)] = ∞ X x=0 g(x)e−θ x! = e −θ ∞ X x=0 g(x) x! θ x= 0
dengan θ ∈ (0, θ) maka g(x) = 0 untuk . hal ini ekuivalen dengan g(x) = 0 untuk x = 0, 1, 2, . . . , n. Akibatnya keluarga distribusi Poisson F merupakan keluarga yang lengkap.
Contoh 1.8 Misalkan
F ={f(x; θ)|f(x; θ) = 1
Karena E[g(X)] = 0 untuk semua θ = (α,∞) maka Raθg(x)dx = 0 untuk semua θ > α sehingga g(x) = 0 kecuali mungkin untuk himpunan N se-hingga P [X ∈ N] untuk semua θ ∈ Ω dengan X adalah variabel random yang mempunyai fungsi kepadatan probabilitas f (x; θ. Hal yang sama juga benar jika f (x; θ) adalah U (θ, β).
Contoh 1.9
Misalkan X1, . . . , Xnvariabel random saling bebas dan berdistribusi N (µ, σ2). Jika σ diketahui dan µ = θ maka keluarga distribusi normal
F = {f(x; θ)|f(x; θ) = √ 1 2πσ2 exp h −(x− θ) 2 2σ2 i , θ∈ R}
merupakan keluarga yang lengkap. Sedangkan jika µ diketahui dan σ2 = θ maka keluarga distribusi normal
F ={f(x; θ)|f(x; θ) = √1 2πθexp h − (x− µ) 2 2θ i , θ∈ (0, ∞)}
tidak lengkap. Karena g(x) = x− µ maka
E[g(X)] = E[X− µ] = 0
untuk semua θ ∈ (0, ∞) sedangkan g(x) = 0 berlaku hanya untuk x = µ. Akhirnya, jika µ dan σ2 tidak diketahui maka dapat ditunjukkan bahwa keluarga distribusi normal
F ={f(x; µ, σ2)|f(x; µ, σ2) = √ 1 2πσ2 exp h − (x− µ) 2 2σ2 i , µ∈ R, σ ∈ (0, ∞)}
lengkap atau statistik cukup juga merupakan statistik cukup untuk (µ, σ2) yang lengkap.
Teorema 1.2
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f (x; θ) dengan θ ∈ Ω ⊆ Rr dan
T = (T1, T2, . . . , Tm)t
dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , m adalah statistik cukup untuk θ. Misalkan V = (V1, V2, . . . , Vm)t dengan Vj = Vj(X1, X2, . . . , Xn)
untuk j = 1, 2, . . . , m sebarang statistik lain yang tidak tergantung pada T. Misalkan g(x; θ) fungsi kepadatan probabilitas dari T dan dianggap bahwa himpunan S sehingga g(x; θ) positif adalah sama untuk semua θ ∈ Ω. Dis-tribusi dari V tidak tergantung pada θ.
Teorema 1.3 (Teorema Basu)
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f (x; θ) dengan θ ∈ Ω ⊆ Rr dan T = (T1, T2, . . . , Tm)t dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , m adalah statistik cukup untuk θ. Misalkan g(x; θ) fungsi kepadatan probabili-tas dari T dan G ={g(x; θ)|θ ∈ Ω} lengkap. Misalkan V = (V1, V2, . . . , Vm)t dengan Vj = Vj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , m adalah statistik lain. Jika distribusi dari tidak tergantung pada θ maka V dan T saling bebas. Contoh 1.10
Misalkan X1, . . . , Xnvariabel random saling bebas dan berdistribusi N (µ, σ2) dengan σ2 diketahui. Statistik ¯X merupakan statistik cukup untuk µ dan S2 = Pni=1(Xi− ¯X)2
n suatu statistik. Perhatikan bahwa n X i=1 (Xi− ¯X)2 = n X i=1 [(Xi− µ) + (µ − ¯X))2 n X i=1 (Xi− ¯X)2 = n X i=1 [(Xi− µ)2+ (µ− ¯X)2 + 2(µ− ¯X)(Xi− µ)] n X i=1 (Xi− ¯X)2 = n X i=1 (Xi− µ)2+ n(µ− ¯X)2+ 2(µ− ¯X) n X i=1 (Xi− µ) n X i=1 (Xi− ¯X)2 = n X i=1 (Xi− µ)2+ n(µ− ¯X)2+ 2(µ− ¯X)n( ¯X− µ) n X i=1 (Xi− ¯X)2 = n X i=1 (Xi− µ)2+ n(µ− ¯X)2− 2n(µ − ¯X)n(µ− ¯X) n X i=1 (Xi− ¯X)2 = n X i=1 (Xi− µ)2− n(µ − ¯X)2 n X i=1 (Xi− ¯X)2 = n X i=1 (Xi− µ)2− n( ¯X− µ)2.
Karena Xi − µ ∼ N(0, σ2) untuk j = 1, 2, . . . , n dan ¯X ∼ N(µ,σ
2
n) sehingga berakibat maka distribusi dari S2 tidak bergantung pada µ. Dengan meng-gunakan Teorema Basu diperoleh bahwa ¯X dan S2 saling bebas.
1.3
Sifat Ketakbiasan
Definisi 1.3
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f (x; θ) dengan θ ∈ Ω ⊆ R dan T = (T1, . . . , Tm)t dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , m adalah statistik cukup untuk θ. Statistik U adalah statistik tak bias untuk θ jika Eθ[U ] = θ untuk setiap θ ∈ Ω.
Teorema 1.4 (Teorema Rao-Blackwell)
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f (x; θ) dengan θ ∈ Ω ⊆ R dan
T = (T1, . . . , Tm)t
dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , m adalah statistik cukup untuk θ. Misalkan U (X1, X2, . . . , Xn) statistik tak bias untuk θ yang bukan fungsi dari T saja. Jika φ(t) = Eθ[U|T = t] maka
1. variabel random φ(T) merupakan fungsi statistik cukup T. 2. φ(T) merupakan statistik tak bias untuk θ.
3. Varθ(φ(T)) < Varθ(U ) dengan θ ∈ Ω asalkan Eθ[U2] <∞.
Teorema berikut ini menyatakan sifat ketunggalan dari statistik cukup. Teorema 1.5 (Teorema Ketunggalan Lehman-Scheffe)
Misalkan X1, X2, . . . , Xn variabel random dengan fungsi kepadatan proba-bilitas f (x; θ) dengan θ ∈ Ω ⊆ R dan F = {f(x; θ)|θ ∈ Ω}. Misalkan T = (T1, . . . , Tm)t dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , m adalah statistik cukup untuk θ dan g(x; θ) adalah fungsi kepadatan proba-bilitasnya. Misalkan G = {g(x; θ)|θ ∈ Ω} lengkap. Jika U = U(T ) statistik
cukup tak bias untuk θ dan Eθ[U2] <∞ untuk semua θ ∈ Ω maka U adalah statistik tak bias untuk θ dengan variansi terkecil dalam kelas yang mengan-dung semua statistik tak bias untuk θ.
Definisi 1.4
Statistik tak bias untuk θ yang mempunyai variansi minimum dalam ke-las semua statistik tak bias dari θ dinamakan UMVU (uniformly minimum variance unbiased ).
Terminologi ”uniformly” diperoleh dari fakta bahwa variansi minimum untuk semua θ ∈ Ω.
Contoh 1.11
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan distribusi Binom(1, θ) dengan θ ∈ (0, 1). Statistik T = Pni=1Xi merupakan statistik cukup untuk θ dan juga lengkap. Karena ¯X = T
n meru-pakan statistik tak bias untuk θ maka statistik ¯X merupakan statistik tak bias dengan variansi minimum untuk θ.
Contoh 1.12
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan distribusi N (µ, σ2). Jika σ diketahui dan µ = θ maka
T = n X
i=1 Xi
statistik cukup untuk θ demikian juga T merupakan statistik yang lengkap. Akibatnya ¯X = T /n merupakan statistik tak bias untuk θ dengan variansi minimum untuk θ karena ¯X merupakan statistik tak bias untuk θ. Jika µ = 0 dan σ2 = θ maka T = Pn
i=1Xi2 statistik cukup untuk θ. Karena T juga merupakan statistik yang lengkap dan S2 = T /n merupakan statistik tak bias untuk θ dan S2 merupakan statistik tak bias dengan variansi mini-mum untuk θ.
Contoh 1.13
Misalkan X1, X2, X3 variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas
untuk x > 0. Misalkan θ = 1/λ sehingga fungsi kepadatan probabilitas dari X menjadi f (x; λ) = 1 θ exp h −1θxi.
Diperoleh E[Xi] = θ dan Var(Xi) = θ2 untuk i = 1, 2, 3. Hal itu berarti bahwa X1merupakan statistik tak bias untuk θ dengan variansi θ2. Demikian juga T = X1+ X2+ X3 merupakan statistik cukup untuk θ dan juga meru-pakan statistik yang lengkap. Karena X1 bukan merupakan fungsi dari T maka X1 bukan statistik tak bias dengan variansi minimum untuk θ. Oleh karen itu dipilih statistik yang merupakan fungsi dari T dan juga merupakan statistik tak bias untuk θ yaitu T /3 dengan sifat E[T /3] = θ. Dalam hal ini Var(T /3) = θ2/3 lebih kecil dari θ2 dengan θ∈ (0, ∞).
1.4
Keluarga Eksponensial
Keluarga fungsi kepadatan probabilitas yang tergantung pada paremeter θ dan berbentuk
f (x; θ) = C(θ) exp[Q(θ)T (x)]h(x)
dengan x ∈ R, θ ∈ Ω(⊆ R) dan C(θ) > 0 serta h(x) > 0 untuk x ∈ S dinamakan keluarga eksponensial. Jika variabel random saling bebas dan berdistribusi identik dengan f (x; θ) dengan θ ∈ Ω ⊆ R maka fungsi kepa-datan probabilitas dari X sebagai
f (x; θ) = C(θ) exp[Q(θ)T (x)]h(x). Contoh 1.14 Misalkan f (x; θ) = n x θx(1− θ)n−xI A(x) dengan A = {0, 1, 2, . . . , n}. Fungsi probabilitas tersebut dapat dinyatakan sebagai
f (x; θ) = (1− θ)nexp[log( θ 1− θ)] n x IA(x)
sehingga distribusi Binomial merupakan anggota keluarga eksponensial den-gan c(θ) = (1− θ)n, Q(θ) = log( θ 1−θ), T (x) = x, h(x) = n x IA(x).
Contoh 1.15
Misalkan variabel random X berdistribusi N (µ, σ2). Jika σ diketahui dan µ = θ maka fungsi kepadatan probabilitas dari X adalah
f (x; θ) = √1 2πσ exp h − θ 2 σ i exph θ σ2x i exph− 1 2σ2x 2i
dengan θ ∈ R sehingga distribusi tersebut merupakan anggota keluarga ek-sponesial dengan c(θ) = √1 2πσexp h −θ 2 σ2x i , Q(θ) = θ σ2, T (x) = x, h(x) = exp h − x 2 2σ2 i .
Jika µ diketahui dan σ2 = θ maka fungsi kepadatan probabilitas dari X adalah f (x; θ) = √1 2πθexp h − 1 2θ(x− µ) 2i
dengan θ∈ (0, ∞) sehingga distribusi tersebut merupakan anggota keluarga eksponensial dengan c(θ) = 1 2πθ, Q(θ) = 1 2θ, T (x) = (x− µ) 2, h(x) = 1.
Jika ruang parameter dari keluarga fungsi kepadatan eksponensial 1 pa-rameter mengandung interval non degenerate maka keluarga tersebut lengkap. Teorema 1.6
Misalkan X variabel random dengan fungsi kepadatan probabilitas f (x; θ) dengan θ∈ Ω ⊆ R seperti tersebut di atas. Keluarga
G = {g(x; θ)|θ ∈ Ω}
dengan adalah fungsi kepadatan probabilitas dari T (X) maka G lengkap asalkan Ω mengandung interval non degenerate.
Teorema 1.7
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas merupakan anggota keluarga ekspo-nensial 1 parameter.
1. Statistik T∗ =Pn
2. Fungsi kepadatan probabilitas dari T∗ selalu berbentuk g(t; θ) = [c(θ)]nexphQ(θ)tih∗(t)
dengan h(t) tidak bergantung terhadap θ asalkan T∗ variabel random diskrit.
3. Jika variabel random kontinu maka fungsi kepadatan probabilitasnya dapat dinyatakan sebagai
g(t; θ) = [c(θ)]nexphQ(θ)tih∗(t).
Teorema berikut ini menyatakan sifat kelengkapan dari suatu keluarga distribusi.
Teorema 1.8
Keluarga G = {g(x; θ)|θ ∈ Ω} lengkap asalkan Ω mengandung interval non degenerate.
Dalam hal ini G ={g(x; θ)|θ ∈ Ω} dengan g(x; θ) adalah keluarga fungsi kepadatan probabilitas dari statistik cukup T∗.
Teorema 1.9
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas merupakan anggota keluarga ek-sponensial dan T∗ seperti didefinisikan pada Teorema 1.7.1. Jika V sebarang statistik yang lain, V saling bebas jika dan hanya jika distribusi dari V dan T∗ tidak tergantung pada θ.
Contoh 1.16
Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan N (µ, σ2) yang merupakan anggota keluarga eksponensial dalam θ = µ. Statistik ¯ X = 1 n n X i=1 Xi merupakan statistik cukup untuk θ sedangkan
S2 = Pn
i=1(Xi− ¯X)2 n
merupakan statistik lain yang tidak tergantung pada θ maka dengan meng-gunakan Teorema 1.9 diperoleh bahwa ¯x dan S2 saling bebas.
Generalisasi dari Keluarga Eksponensial
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan X = (X1, . . . , Xn)t. Fungsi kepadatan probabilitas bersama dari merupakan anggota keluarga ek-sponensial r parameter jika mempunyai bentuk
f (x; θ) = c(θ) exph n X i=1 Qi(θ)Ti(x) i h(x)
dengan x = (x1, x2, . . . , xn)t untuk j = 1, 2, . . . , k dan k ≥ 1, θ = (θ1, θ2, . . . , θr)t ∈ Ω ⊆ Rr,
C(θ) > 0, θ ∈ Ω dan h(x) > 0 untuk x ∈ S himpunan nilai positif dari f (x; θ) yang saling bebas terhadap θ.
Contoh 1.17
Misalkan variabel random X berdistribusi N (θ1, θ2). Fungsi kepadatan prob-abilitas dari X dapat dinyatakan sebagai
f (x; θ1, θ2) = 1 √ 2πθ2 exph− θ 2 1 2θ2 xiexph− θ1 θ2 x− 1 2θ2 x2i.
Hal ini berarti keluarga distribusi normal merupakan anggota keluarga dis-tribusi eksponensial dengan
c(θ) = √ 1 2πθ2 exph− θ 2 1 2θ2 i , Q1(θ) = θ1 θ2 , Q2(θ) = 1 2θ2 , dan T1(x) = x, T2(x) =−x, h(x) = 1. Dalam hal ini θ = (θ1, θ2).
Brief History of Fisher
R. A. Fisher (1890-1962). Statistician and geneticist. MacTutor Refer-ences. SC, LP.
Fisher was the most influential statistician of the C20. Like Pearson, Fisher, studied mathematics at Cambridge University. He first made an impact when he derived the exact distribution of the correlation coefficient (see Fishers z-transformation). Although the correlation coefficient was a cornerstone of Pearsonian biometry, Fisher worked to synthesise biometry and Mendelian genetics; for Fishers many disagreements with Pearson, see Pearson in A Guide to R. A. Fisher. In 1919 Fisher joined Rothamsted Experimental Station and made it the world centre for statistical research. His subsequent more prestigious appointments in genetics at UCL and Cam-bridge proved less satisfying. The estimation theory Fisher developed from 1920 emphasised maximum likelihood and was founded on likelihood and information. He rejected Bayesian methods as based on the unacceptable principle of indifference. I n the 1930s Fisher developed a conditional infer-ence approach to estimation based on the concept of ancillarity. His most widely read work Statistical Methods for Research Workers (1925 + later editions) was largely concerned with tests of significance: see Student’s t distribution, chi square, z and z-distribution and p-value. The book also publicised the analysis of variance and redefined regression. The Design of Experiments (1935 + later editions) put that subject at the heart of statis-tics (see randomization, replication blocking). The fiducial argument, which Fisher produced in 1930, generated much controversy and did not survive the death of its creator. Fisher created many terms in everyday use, e.g. statistic and sampling distribution and so there are many references to his work on the Words pages. See Symbols in Statistics for his contributions to notation. Fisher influenced statisticians mainly through his writingsee the experience of Bose and Youden. Among those who worked with him at Rothamsted were Irwin Wishart, Yates (colleagues) and Hotelling (voluntary worker) MGP. In London and Cambridge Fisher was not in a Statistics department and Rao was his only PhD student in Statistics. For more information see A Guide to R. A. Fisher. See Hald (1998, ch. 28 Fishers Theory of Estimation 1912-1935 and his Immediate Precursors).
Brief History of Kolmogorov
Andrei Nikolaevich Kolmogorov (1903-87) Mathematician. MacTutor References. MGP. LP.
Kolmogorov was one of the most important of C20 mathematicians and although he wrote a lot of probability it was only a small part of his total output. Like Khinchin, he was a student of Luzin at Moscow State Univer-sity. In 1924 Kolmogorov started working with Khinchin and they produced results on the law of the iterated logarithm and the strong law of large num-bers. Kolmogorovs most famous contribution to probability was the Grund-begriffe der Wahrscheinlichkeitsrechnung (1933), (English translation) which presented an axiomatic foundation. This made possible a rigorous treatment of stochastic processes. His 1931 paper Analytical methods in probability theory laid the foundations for the theory of markov processes; this paper contains the Chapman-Kolmogorov equations. In 1941 Kolmogorov devel-oped a theory of prediction for random processes, parallel to that develdevel-oped by Wiener. In the 60s Kolmogorov returned to von Misess theory of proba-bility and developed it in the direction of a theory of algorithmic complex-ity; this work was continued by the Swedish mathematician P. Martin-Lf. In statistics he contributed the Kolmogorov-Smirnov test. From 1938 Kol-mogorov was associated with the Steklov Mathematical Institute. He had many students, among them Gnedenko and Dynkin. See also Symbols in Probability Life & Work. See von Plato (ch. 7) Kolmogorovs measure the-oretic probabilities. See also Vovk & Shafer Kolmogorovs Contributions to the Foundations of Probability and The Origins and Legacy of Kolmogorovs Grundbegriffethe published version of the latter (Statistical Science (2006) Number 1, 70-98) is different again.
Chapter 2
Estimasi Titik
Misalkan X variabel random dengan fungsi kepadatan probabilitas f (x; θ) dengan θ ∈ Ω ⊆ Rr. Jika θ diketahui maka semua probabilitas yang di-inginkan dapat dihitung. Akan tetapi biasanya θ tidak diketahui sehingga memunculkan masalah bagaimana mengestimasi parameter θ atau suatu fungsi dari θ yaitu g(θ) dengan g fungsi real dan terukur.
Definisi 2.1
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f (x; θ). Sebarang statisiden-tik
U = U (X1, X2, . . . , Xn)
yang digunakan untuk menaksir kuantitas yang tidak diketahui dinamakan estimator dari g(θ). Nilai dari U (x1, x2, . . . , xn) untuk nilai-nilai pengamatan x1, x2, . . . , xn dinamakan estimasi dari g(θ).
Definisi 2.2
Misalkan g fungsi real dan terukur. Estimator U = U (X1, X2, . . . , Xn) dina-makan estimator tak bias (unbiased estimator ) dari g(θ) jika
E[U = U (X1, X2, . . . , Xn)] = g(θ)
untuk semua θ ∈ Ω. Fungsi g dikatakan tertaksir (estimable) jika g(θ) mem-punyai estimator tak bias.
Definisi tentang ketakbiasan mengelompokkan statistik-statistik ke dalam suatu kelas estimator tak bias. Jika U = U (X1, X2, . . . , Xn) estimator tak bias untuk g(θ) maka harga harapan dari U sama dengan g(θ). Meskipun
kriteria ketakbiasan sudah mengkhususkan diri pada kelas estimator yang memenuhi sifat tertentu tetapi kelas ini masih terlalu besar. Untuk itu perlu dipilih dari dua estimator tak bias yaitu yang mempunyai variansi yang lebih kecil.
Dasar pemikiran yang digunakan adalah bahwa variansi atau simpangan baku memberikan ukuran konsentrasi di sekitar mean. Jika
U = U (X1, . . . , Xn)
estimator tak bias untuk g(θ) maka dengan menggunakan pertidaksamaan Chebisev diperoleh
Pθ[|U − g(θ)| ≤ ε] ≥ 1 −
Var(U )
ε .
Oleh karena itu, Var(U ) yang kecil akan memperbesar batas bawah proba-bilitas konsentrasi U di sekitar g(θ).
Definisi 2.3
Misalkan g tertaksir. Suatu estimator
U = U (X1, X2, . . . , Xn)
dikatakan estimator U M V U untuk g(θ) jika U tak bias dan mempunyai variansi minimum diantara kelas semua estimator tak bias dari g(θ) dengan θ ∈ Ω. Jika U = U(X1, X2, . . . , Xn) adalah sebarang estimator tak bias dari g(θ) maka
Varθ(U1)≥ Varθ(U ) untuk semua θ ∈ Ω.
Dalam banyak kasus, estimator UMVU ada. Untuk memperolehnya ter-dapat 2 metode yaitu metode pertama yang digunakan bila tersedia statistik cukup yang lengkap dan metode kedua yang digunakan bila tidak tersedia statistik cukup yang lengkap. Pada metode kedua, terlebih dahulu diten-tukan batas bawah semua estimator dan kemudian memilih suatu estimator yang mempunyai variansi sama dengan batas bawah tersebut.
2.1
Metode yang digunakan bila tersedia
statis-tik cukup yang lengkap
Misalkan
T = (T1, T2, . . . , Tr)t
dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , r adalah statistik cukup untuk θ dan U = U (X1, X2, . . . , Xn) estimator tak bias dari g(θ) dengan g fungsi real. Misalkan φ(T) = E[U|T]. Estimator merupakan estimator tak bias dari g(θ) dan Var(φ) ≤ Var(U) untuk semua θ ∈ Ω dengan kesamaan dipenuhi bila U merupakan fungsi dari T.
Jika tersedia statistik cukup maka Teorema Rao-Blackwell mengatakan bahwa pencarian estimator UMVU untuk g(θ) cukup dibatasi pada kelas esti-mator tak bias yang hanya tergantung pada T. Jika T lengkap maka dengan menggunakan Teorema Lehman-Scheffe, estimator tak bias φ(T) adalah esti-mator unik yang mempunyai variansi minimum seragam dalam kelas semua estimator tak bias. Metode ini tidak hanya menjamin keberadaan estimator tetapi juga menghasilkannya.
Teorema 2.1
Misalkan g fungsi terukur dan real. Misalkan terdapat estimator tak bias U = U (X1, X2, . . . , Xn) dari g(θ) dengan variansi berhingga. Jika
T = (T1, T2, . . . , Tr)t
dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , r adalah statistik cukup untuk θ, lengkap dan φ(T) = E[U|T] maka estimator UMVU untuk g(θ) dan tunggal.
Contoh 2.1
Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi Bi-nom(1, θ) dan akan ditentukan estimator UMVU dari variansi X. Karena X berdistribusi maka variansi dari X adalah Var(X) = g(θ) = θ(1− θ). Jika
U = Pn
i=1(Xi− ¯X)2 n− 1
maka Eθ[U ] = g(θ). Hal itu berarti U merupakan estimator tak bias untuk g(θ). Lebih jauh, X i=1 (Xi− ¯X)2 = n X i=1 Xi2− n ¯X.
Karena Xi = 0 atau 1 maka Xi2 = Xi sehingga n X i=1 Xi2− n ¯X = n X i=1 Xi− n 1 n n X i=1 Xi 2 .
Jika T = Pni=1Xi maka diperoleh n X i=1 Xi2− n ¯X = n X i=1 Xi− n 1 n n X i=1 Xi 2 = T − T 2 n , sehingga U = 1 n−1 T−T2 n
. Karena T merupakan statistik lengkap dan juga merupakan statistik cukup untuk θ maka dengan mengingat Teorema 2.1, U merupakan estimator UMVU untuk g(θ) = θ(1− θ).
Contoh 2.2
Misalkan X1, . . . , Xnvariabel random saling bebas dan berdistribusi N (µ, σ2) dengan µ dan σ2tidak diketahui. Akan ditentukan estimator UMVU untuk µ dan σ2. Misalkan θ = (µ, σ2)t, g
1(θ) = µ dan g1(θ) = σ2. Jika ¯X =Pni=1Xi dan Pni=1X2
i merupakan statistik yang lengkap. Jika U1 = ¯X dan S2 = 1 n n X i=1 (Xi− ¯X)2
maka ( ¯X, S2) merupakan statistik yang lengkap. Jika U
1 = ¯X dan U2 = nS2 maka E[U1] = µ dan E[nS2/σ2] = n− 1 sehingga E[nS2/(n− 1)]σ2. Hal itu berarti U1 estimator tak bias untuk µ dan U2 merupakan estimator tak bias untuk σ2. Karena U
1 dan U2 hanya tergantung pada statistik cukup yang lengkap maka ( ¯X, S2)t merupakan estimator UMVU untuk (µ, σ2).
2.2
Metode yang digunakan bila tidak
terse-dia statistik cukup lengkap
Misalkan Ω ⊆ R, g fungsi real dan terdeferensialkan untuk semua θ ∈ ω. Untuk menggunakan metode ini diperlukan syarat-syarat berikut ini :
1. f (x; θ) positif pada himpunan S yang tidak bergantung pada θ∈ Ω. 2. Ω interval terbuka dalam R.
4. RS. . .RSf (x1; θ) . . . f (xn; θ)dx1. . . dxn atau X S . . .X S f (x1; θ) . . . f (xn; θ)
dapat dideferensialkan di bawah tanda integral atau tanda sigma. 5. I(θ) = E[∂f (x; θ)/∂θ]2 positif untuk semua θ∈ Ω.
6. RS. . .RSu(x1, . . . , xn)f (x1; θ) . . . f (xn; θ)dx1. . . dxn atau X S . . .X S u(x1, . . . , xn)f (x1; θ) . . . f (xn; θ)
dapat dideferensialkan di bawah tanda integral atau tanda sigma den-gan sebarang statistik tak bias untuk θ.
Teorema berikut ini memberikan sifat tentang batas bawah dari variansi suatu statistik.
Teorema 2.2 (Cramer-Rao Inequality)
Misalkan X1, . . . , Xn variabel random saling-bebas dan berdistribusi iden-tik dengan fungsi kepadatan serta dianggap syarat-syarat tersebut dipenuhi. Untuk sebarang estimator tak bias U = U (X1, . . . , Xn) dari g(θ) berlaku
Var(U )≥ [g0(θ)] 2 nI(θ) dengan θ∈ Ω dan g0(θ) = dg(θ)/dθ.
Definisi 2.4
I(θ) = E[∂f (x; θ)/∂θ]2 dinamakan informasi Fisher sedangkan nI(θ) adalah informasi yang terkandung dalam sampel X1, . . . , Xn.
Contoh 2.3
Misalkan X1, . . . , Xnvariabel random saling bebas dan berdistribusi Binom(1, θ) dengan θ ∈ (0, 1). Fungsi probabilitas dari variabel random X yang berdis-tribusi Binom(1, θ) adalah
atau ln f (x; θ) = x ln θ + (1− x) ln θ sehingga ∂ ln f (x; θ) ∂θ = 1 θ − 1− x 1− θ. Akibatnya ∂ ln f(x; θ) ∂θ 2 = 1 θ2x 2+ 1 (1− θ)2(1− x) 2 − 2 θ(1− θ)x(1− x).
Karena E[X2] = θ dan E[(1− X)2] = 1− θ serta E[X(1 − X)] = 0 maka informasi Fisher I(θ) adalah
E∂ ln f(x; θ) ∂θ 2 = 1 θ2E[X 2] + 1 (1− θ)2E[(1− X) 2]− 2 θ(1− θ)E[X(1− X)] = 1 θ2θ + 1 (1− θ)2(1− θ) = 1 θ + 1 1− θ = 1 θ(1− θ).
Hal itu berarti batas bawah Cramer-Rao untuk g(θ) adalah
CRLB = [g0(θ)] 2 nI(θ) = 1 n 1 θ(1−θ) = θ(1− θ) n .
Karena ¯X merupakan estimator tak bias θ dan variasinya adalah
V ( ¯X) = θ(1− θ) n
yaitu sama dengan batas bawah Cramer Rao maka ¯X merupakan estimator UMVU untuk θ.
Contoh 2.4
dengan θ > 0. Fungsi probabilitas dari variabel random X yang berdistribusi adalah f (x; θ) = e −θθx x! atau ln f (x; θ) =−θ + x ln θ − ln(x!) sehingga ∂ ln f (x; θ) ∂θ =−1 + x θ dan ∂ ln f(x; θ) ∂θ 2 = 1 + 1 θ2x 2− 2 θx. Karena E[X] = θ dan E[X2] = θ(1 + θ) maka
Eh∂ ln f(x; θ) ∂θ 2i = E[1] + 1 θ2E[X 2] − 2θE[X] = 1 + 1 θ2θ(1 + θ)− 2 θθ = 1 + 1 θ(1 + θ)− 2 = −1 + 1 θ + 1 = 1 θ.
Hal itu berarti batas bawah Cramer-Rao untuk θ sama dengan CRLB = [g 0(θ)]2 nI(θ) = 1 n1θ = θ n.
Karena ¯X merupakan estimator tak bias untuk θ dan variansinya adalah Var( ¯X) = θn yaitu sama dengan batas bawah CRLB maka ¯X merupakan estimator UMVU untuk θ.
Contoh 2.5
Misalkan X1, . . . , Xnvariabel random saling bebas dan berdistribusi N (µ, σ2) dengan µ∈ R dan σ2 > 0.
Kasus 1
Misalkan bahwa σ2 diketahui dan µ = θ. Fungsi kepadatan probabilitas X yang berdistribusi N (θ, σ2) adalah
f (x; θ) = √ 1 2πσ2 exp h −(x− θ) 2 2σ2 i
atau ln f (x; θ) = ln√ 1 2πσ2 − (x− θ) 2 2σ2 . Akibatnya ∂ ln f (x; θ) ∂θ = 1 σ (x− θ) σ atau ∂ ln f(x; θ) ∂θ 2 = 1 σ2 (x− θ)2 σ2 . Karena X berdistribusi N (θ, σ2) maka (X−θ)
σ berdistribusi N (0, 1) sehingga berdistribusi chi-kuadrat dengan derajat bebas 1. Akibatnya E[(Xσ−θ)2 2] = 1.
Hal itu berarti
E∂ ln f(x; θ) ∂θ 2 = 1 σ2E (X − θ)2 σ2 = 1 σ2 sehingga batas bawah Cramer-Rao untuk g(θ) adalah
CRLB = g 0(θ) nI(θ) = 1 nσ12 = σ 2 n .
Karena ¯X merupakan estimator tak bias untuk g(θ) = θ dan variansinya adalah Var( ¯X) = σn2 yaitu sama dengan batas bawah Cramer-Rao maka ¯X merupakan estimator UMVU untuk θ.
Kasus 2
Misalkan bahwa µ diketahui dan σ2 = θ. Fungsi kepadatan probabilitas X yang berdistribusi N (µ, θ) adalah
f (x; θ) = √1 2πθexp h − (x− µ) 2 2θ i sehingga ln f (x; θ) = 12ln(2π)− 1 2ln θ− (x−µ)2 2θ . Akibatnya ∂ ln f (x; θ) ∂θ =− 1 2θ + (x− µ)2 2θ2 dan ∂ ln f(x; θ) ∂θ 2 =− 1 4θ2 + 1 2θ2 (x− µ)2 θ + 1 4θ2 x − µ√ θ 4 .
Karena variabel random X berdistribusi N (µ, σ2) maka X√−µ
θ berdistribusi N (0, 1) sehingga berdistribusi chi-kuadrat dengan derajat bebas 1. Akibat-nya E(X−µ)θ 2= 1 dan Var(X−µ)θ 2= 2 sehingga
Ehx − µ√ θ 4i = Eh(X − µ) 2 θ 2i = Varh(X − µ) 2 θ i +Eh(X − µ) 2 θ i2 = 2 + 1 = 3. Oleh karena itu
Eh∂ ln f(x; θ) ∂θ 2i =− 1 4θ2E[1] + 1 2θ2E h(x − µ)2 θ i + 1 4θ2E hx − µ√ θ 4i sehingga Eh∂ ln f(x; θ) ∂θ 2i = 1 4θ2 − 1 2θ2 + 3 4θ2 = 1 2θ2. Karena batas bawah Cramer-Rao untuk g(θ) adalah
CRLB = [g 0(θ)]2 nI(θ) = 1 n 1 2θ2 = 2θ 2 n .
Karena variabel random Xi berdistribusi N (µ, θ) untuk i = 1, 2, . . . , n maka Xi−µ
θ berdistribusi N (0, 1) sehingga berdistribusi chi-kuadrat dengan derajat bebas 1. Dengan mengingat Xi−µ
θ saling bebas untuk i = 1, 2, . . . , n maka Pn
i=1
(Xi−µ)2
θ berdistribusi chi-kuadrat dengan derajat bebas n. Akibatnya Eh n X i=1 (Xi− µ)2 θ i = n, Varh n X i=1 (Xi− µ)2 θ i = 2n sehingga Pni=1(Xi−µ)2
θ estimator tak bias untuk θ dan variansinya 2θ2
n sama dengan CRLB. Hal itu berarti merupakan estimator UMVU untuk θ.
Kasus 3
Bila µ dan σ2 tidak diketahui maka µ = θ
1 dan σ2 = θ2 sehingga estimator UMVU untuk θ1 adalah ¯X dan estimator UMVU untuk θ2 adalah
ˆ θ2 = 1 n− 1 n X i=1 (Xi− ¯X)2.
Karena Pni=1 X√i− ¯X
θ2
berdistribusi chi-kuadrat dengan derajat bebas n− 1 maka variansi dari ˆθ2 adalah 2θ2/(n− 1). Hal itu berarti estimator UMVU untuk θ2 mempunyai variansi lebih besar dari batas bawah Cramer-Rao.
Estimator UMVU untuk g(θ) dinamakan estimator efisien untuk g(θ). Jika u estimator UMVU untuk θ dan U∗ sebarang estimator tak bias untuk g(θ) maka kuantitas mengukur efisiensi relatif U∗ terhadap u. Jelas bahwa efisiensi relatif mempunyai nilai dalam interval (0, 1].
2.3
Kriteria Pemilihan Estimator : Prinsip
MLE
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f (x; θ), θ ∈ Ω ⊆ Rr dan anggap bahwa fungsi kepadatan probabilitas bersamanya dinyatakan dengan
f (x1; θ)f (x2; θ) . . . f (xn; θ).
Bila fungsi kepadatan probabilitas bersama ini, variabel x dipandang sebagai konstanta dan merupakan fungsi dari θ maka dinamakan fungsi likelihood (likelihood function) dan dinotasikan dengan
L(θ|x1, x2, . . . , xn).
Definisi 2.5
Estimasi θ = θ(x1, x2, . . . , xn) dinamakan MLE (maximum likelihood esti-mator ) dari θ jika
L(θ|x1, x2, . . . , xn) = max{L(θ|x1, x2, . . . , xn)} dan θ = θ(x1, x2, . . . , xn) dinamakan MLE untuk θ.
Karena fungsi y = ln x, x > 0 merupakan fungsi naik tajam maka un-tuk memaksimumkan L(θ|x1, x2, . . . , xn) terhadap θ cukup dengan memak-simumkan
ln L(θ|x1, x2, . . . , xn). Contoh 2.6
Misalkan X1, . . . , Xnvariabel random saling-bebas dan berdistribusi Poisson(θ). Fungsi probabilitas dari Xi adalah
f (xi; θ) =
e−θθxi
sehingga fungsi likelihoodnya adalah L(θ|x1, x2, . . . , xn) = exp[−nθ]θ P xiQ 1 n i=1xi! . Logaritma naturalis dari fungsi likelihoodnya adalah
l(θ) = ln L(θ|x1, x2, . . . , xn) =− ln Yn i=1 xi! − nθ + n X i=1 xi ln θ.
Oleh karena itu ∂l
∂θ = −n + n ¯X 1
θ = 0 dan diperoleh ˆθ = ¯X. Sedangkan ∂2l
∂θ =−n¯x 1
θ2 < 0 untuk semua θ > 0 sehingga berlaku juga untuk θ = ˆθ.
Contoh 2.7
Misalkan X1, . . . , Xnvariabel random saling bebas dan berdistribusi N (µ, σ2) dengan parameter θ = (µ, σ2)t. Fungsi likelihoodnya adalah
L(θ|x1, x2, . . . , xn) = 1 √ 2πσ2 exp− 1 2σ2 n X i=1 (xi− µ)2 sehingga L(θ|x1, x2, . . . , xn) =−n ln(2π) − n ln( √ σ2)− 1 2σ2 n X i=1 (xi− µ)2. Akibatnya ∂ ln L ∂µ = 2 2σ2 n X i=1 (Xi− µ) = n σ2( ¯X− µ) dan ∂ ln L ∂σ2 =− n 2σ2 + 1 2σ4 n X i=1 (Xi− µ)2 = 0
sehingga diperoleh ˆµ = ¯X dan σ2 = 1 n
Pn
i=1(Xi − ¯X)2. Jika σ2 diketahui dan µ = θ maka ˆµ = ¯x adalah MLE untuk µ sedangkan jika µ diketahui dan σ2 = θ maka ˆσ = 1
n Pn
i=1(Xi− ¯X)2 adalah MLE untuk σ2. Contoh 2.8
Misalkan X1, . . . , Xnvariabel random saling bebas dan berdistribusi U (α, β). Fungsi kepadatan probabilitas dari U (α, β) adalah
f (x; θ) = 1 β− α
untuk α < x < β dengan θ = (α, β)t ∈ Ω. Fungsi likelihoodnya adalah L(θ|x1, x2, . . . , xn) = n Y i=1 f (xi; θ) = n Y i=1 1 β− α untukα < xi < β = 1 (β− α)nI[α,∞)(X(1))I(−∞,β](X(1)).
Fungsi likelihoodnya akan mencapai maksimum jika β − α minimum yaitu jika ˆα = X(1) dan ˆβ = X(n). Jadi MLE untuk α dan β masing-masing adalah
ˆ
α = X(1) dan ˆβ = X(n). Khususnya, jika α = θ− c dan β = θ + c dengan c positif dan c diketahui maka fungsi likelihoodnya adalah
L(θ|x1, x2, . . . , xn) = 1
(2c)nI[θ−c,∞)(X(1))I(−∞,θ+c](X(1)).
Fungsi likelihood dimaksimumkan dan nilai maksimumnya adalah (2c)1n untuk
sebarang θ sehingga θ− c ≤ X(1) dan θ + c≥ X(n) yaitu ekuivalen dengan X(n)− c ≤ θ ≤ X(1)+ c.
Hal itu berarti bahwa sebarang statistik yang terletak antara X(n) − c dan X(1)+ c merupakan MLE untuk θ. Sebagai contoh 12[X(1)+ X(n)] merupakan MLE untuk θ. Jika β diketahui dan α = θ maka ˆθ = X(1) merupakan MLE untuk θ sedangkan jika α diketahui dan β = θ maka ˆθ = X(n) merupakan MLE untuk θ.
Teorema 2.3
Misalkan X1, . . . , Xn variabel random saling bebas dengan fungsi kepadatan probabilitas f (x; θ) dan T = (T1, . . . , Tr)t dengan Tj = Tj(X1, . . . , Xn) un-tuk j = 1, 2, . . . , r merupakan statistik cukup unun-tuk θ = (θ1, . . . , θr)t. Jika
ˆ
θ = ( ˆθ1, . . . , ˆθr) adalah MLE yang tunggal untuk θ dan ˆθ merupakan fungsi dari T .
Teorema 2.4
Misalkan X1, . . . , Xn variabel random saling bebas dengan fungsi kepadatan probabilitas f (x; θ) dan θ∈ Ω ⊆ Rr. Jika φ didefinisikan pada Ω ke Ω∗ ⊆ Rm yang merupakan fungsi korespondensi satu-satu dan ˆθ adalah MLE untuk θ
maka φ(θ) merupakan MLE untuk φ(θ). Hal itu berarti MLE invariant di bawah transformasi satu-satu.
Contoh 2.9
Misalkan X1, . . . , Xnvariabel random saling bebas dan berdistribusi N (µ, σ2) dengan parameter θ = (µ, σ2)t. Berdasarkan Contoh 2.7, merupakan MLE untuk σ2. Misalkan didefinisikan φ : Ω 7→ Ω∗ dengan φ(θ) = √θ dan Ω = Ω∗ ={R ∈ R|σ ≥ 0} yang merupakan fungsi korespondensi satu-satu. Dengan menggunakan Teorema 2. 4, diperoleh bahwa
v u u t 1 n n X i=1 (Xi− ¯X)2
merupakan MLE untuk σ.
2.4
Estimator Momen
Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi identik dengan f (x; θ) dan untuk bilangan positif r dianggap bahwa E[Xr] = m
r berhingga. Dengan menggunakan metode ini mr akan diestimasi dengan momen sampel yaitu Pni=1xri
n . Bila sistem persamaan 1 n n X i=1 xki = mk(θ1, θ2, . . . , θr)
dengan k = 1, 2, . . . , r dapat diselesaikan maka akan menghasilkan estimator untuk θj dengan j = 1, 2, . . . , r.
Contoh 2.10
Misalkan X1, . . . , Xnvariabel random saling bebas dan berdistribusi N (µ, σ2) dengan µ dan σ2 tidak diketahui. Dengan menggunakan metode momen diperoleh sistem persamaan
Pn i=1Xi n = E[X] = µ, Pn i=1Xi2 n = E[X 2] = Var(X) + (E[X])2 = σ2+ µ2, sehingga menghasilkan estimator momen ˆµ = ¯X dan σ2 = 1
n Pn
Contoh 2.11
Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi U (α, β) dengan α dan β tidak diketahui. Dengan metode momen diperoleh sistem persamaan Pn i=1Xi n = X = E[X] =¯ α + β 2 , Pn i=1Xi2 n = X¯
2 = E[X2] = Var(X) + (E[X])2 = (α− β)2
12 + (α + β)2 4 , sehingga diperoleh α + β = 2 ¯X ¯ X2−X¯2 = (α− β) 2 12 = β − α √ 12 2 atau α + β = 2 ¯X −α + β = S√12.
Akibatnya estimator momen untuk α dan β berturut-turut adalah
ˆ α = ¯X− √ 12 2 S, β = ¯ˆ X + √ 12 2 S.
Terlihat bahwa estimator momen dari α dan β bukan merupakan fungsi dari statistik cukup dari α dan β. Hal ini merupakan salah satu kekurangan dari metode momen. Kekurangan lain dari metode ini adalah bahwa metode ini tidak dapat digunakan bila momennya tidak ada seperti pada distribusi Cauchy.
2.5
Kriteria Pemilihan Estimator : Pendekatan
Teori Keputusan
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f (x; θ), θ ∈ Ω ⊆ R dan diinginkan untuk mengestimasi θ.
Definisi 2.6
Fungsi keputusan δ adalah fungsi terukur yang didefinisikan dari Rn ke R. Nilai δ(x1, x2, . . . , xn) dari δ pada dinamakan keputusan (decision).
Definisi 2.7
Untuk mengestimasi θ berdasarkan X1, X2, . . . , xn dan menggunakan kepu-tusan δ. Fungsi kerugian (loss function) adalah fungsi non negatif dari θ dan δ(x1, x2, . . . , xn) yang menyatakan kerugian yang diakibatkan bila mengesti-masi θ dengan δ(x1, x2, . . . , xn).
Fungsi kerugian yang biasa digunakan adalah
L[θ; δ(x1, x2, . . . , xn)] =|θ − δ(x1, x2, . . . , xn)| atau secara umum
L[θ; δ(x1, x2, . . . , xn)] =|θ − δ(x1, x2, . . . , xn)|k
untuk k > 0 atau L[θ; δ(x1, x2, . . . , xn)] fungsi konveks dari θ. Bentuk fungsi kerugian yang biasa digunakan adalah
L[θ; δ(x1, x2, . . . , xn)] = (θ− δ(x1, x2, . . . , xn))2. Definisi 2.8
Fungsi resiko (risk function) yang bersesuaian dengan L[θ; δ] dan dinotasikan dengan R[θ; δ] didefinisikan sebagai
R[θ; δ] = E[L(θ; δ(x1, x2, . . . , xn))].
Hal itu berarti bahwa resiko dari fungsi keputusan yang diberikan adalah rata-rata atau harapan jika fungsi keputusan tersebut digunakan.
Dua keputusan δ dan δ∗ dikatakan ekuivalen bila
Dalam konteks estimasi titik, keputusan δ(x1, x2, . . . , xn) dinamakan estimasi dari θ dan kebaikannya ditentukan berdasarkan resiko R[θ, δ].
Definisi 2.9
Estimator δ dari θ dikatakan admisible jika tidak ada estimator lain δ∗ dari δ sehingga untuk semua R[θ; δ∗]≤ R[θ; δ] untuk semua θ ∈ Ω.
Definisi 2.10
Kelas dari estimator D dikatakan essentially complete jika untuk sebarang estimator δ∗ dari θ tidak dalam D sehingga R[θ; δ] ≤ R[θ; δ∗] untuk semua θ ∈ Ω.
Hal itu berarti bahwa pencarian estimator dengan sifat-sifat optimal membatasi perhatian kita pada kelas yang essentially complete dari estimator-estimator admisible. Apabila hal ini dikerjakan, maka muncul pertanyaan : yang manakah dari kelas ini yang dapat dipilih sebagai suatu estimator dari θ. Untuk itu dipilih estimator δ sehingga untuk sebarang estimator lain δ∗ dalam kelas dari semua θ ∈ Ω. Sayangnya estimator yang demikian tidak ada kecuali untuk kasus-kasus yang sederhana. Akan tetapi, jika kita membatasi hanya pada kelas estimator tak bias dengan variansi berhingga dan mengambil fungsi kerugian kuadrat maka R[θ; δ] menjadi variansi dari δ∗(x
1, x2, . . . , xn). Kriteria pemilihan di atas bersesuaian dengan pencarian estimator UMVU.
Estimator yang meminimumkan hal-hal buruk yang terjadi pada kita yaitu meminimumkan resiko maksimum atas θ. Jika estimator yang mem-punyai sifat tersebut ada maka dinamakan estimator minimaks (minimax estimator ). Untuk mencari estimator minimaks ini masih dibatasi pada ke-las estimator yang essentially complete.
Definisi 2.11
Dalam kelas D yaitu semua estimator yang mempunyai sifat R[θ; δ] berhingga untuk semua θ ∈ Ω, estimator δ dikatakan minimaks (minimax ) jika untuk sebarang estimator δ∗ yang lain berlaku sifat
sup{R[θ; δ]; θ ∈ Ω} ≤ sup{R[θ; δ∗]; θ∈ Ω}.
probabilitas yaitu fungsi kepadatan probabilitas prior R(δ) = E[R(θ; δ)] = Z Ω R[θ; δ]λ(θ)dθ atauX Ω R[θ; δ]λ(θ).
Hal itu berarti bahwa R(δ) adalah resiko rata-rata dari seluruh ruang pa-rameter Ω bila digunakan estimator δ.
Misalkan D2 adalah kelas semua estimator sehingga R(δ) berhingga un-tuk suatu prior λ pada Ω yang diketahui.
Definisi 2.12
Dalam kelas D2, estimator δ dikatakan estimator Bayes (dalam teori kepu-tusan dan berkaitan dengan fungsi kepadatan probabilitas prior λ pada Ω) jika R(δ)≤ R(δ∗) untuk semua estimator δ∗ yang lain.
Penentuan Estimator Bayes
Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas f (x, θ), θ ∈ Ω ⊆ R. Dalam hal ini digunakan fungsi keru-gian kuadrat. Misalkan θ variabel random dengan fungsi kepadatan prior λ. Akan ditentukan δ sehingga menjadi estimator Bayes dari θ dalam arti teori keputusan.
Teorema 2.5
Estimasi Bayes dari θ yang bersesuaian dengan fungsi kepadatan probabilitas λ pada Ω sehingga Z Ω θf (x1; θ)f (x2; θ)λ(θ)f (xn; θ) . . . dθ dan Z Ω f (x1; θ)f (x2; θ)λ(θ)f (xn; θ) . . . dθ berhingga untuk setiap (x1x2, . . . , xn)t diberikan oleh
δ(x1x2, . . . , xn) = R Ωθf (x1; θ)f (x2; θ)λ(θ)f (xn; θ) . . . dθ R Ωf (x1; θ)f (x2; θ)λ(θ)f (xn; θ) . . . dθ asalkan λ kontinu.
Jika nilai pengamatan dari Xi adalah xi untuk i = 1, 2, . . . , n maka akan ditentukan fungsi kepadatan probabilitas bersyarat dari θ bila diberikan
X1 = x1, X2 = x2, . . . , Xn = xn merupakan fungsi kepadatan posterior dari θ. Fungsi kepadatan posterior dari θ adalah
h(θ|x) = f (x1; θ)f (x2; θ) . . . f (xn; θ) h(x) = f (x; θ)λ(θ) h(x) = f (x1; θ)f (x2; θ) . . . f (xn; θ)λ(θ) h(x) dengan h(x) = Z Ω f (x; θ)λ(θ)dθ = Z Ω f (x1; θ)f (x2; θ) . . . f (xn; θ)λ(θ)dθ untuk λ kontinu.
Estimator Bayes untuk θ yaitu δ(x1x2, . . . , xn) adalah harapan dari θ berkaitan dengan fungsi kepadatan probabilitas posteriornya. estimator Bayes yang lain dari θ adalah median dari h(θ|x) atau modus dari h(θ|x) jika ada. Contoh 2.12
Misalkan variabel random saling bebas dari distribusi Binom(1, θ) dengan θ ∈ Ω = (0, 1). Fungsi kepadatan probabilitas priornya dipilih berdistribusi Beta(α, β) dengan parameter α dan β yaitu
λ(θ) = Γ(α + β) Γ(α)Γ(β)θ α−1(1− θ)β−1 untuk θ ∈ (0, 1). Akibatnya I1 = Z Ω f (x1; θ)f (x2; θ) . . . f (xn; θ)λdθ = Γ(α + β) Γ(α)Γ(β) Z 1 0 θPxi(1− θ)n−Pxiθα−1(1− θ)β−1dθ = Γ(α + β) Γ(α)Γ(β) Z 1 0 θPxi+α−1(1− θ)β+n−Pxi−1dθ = Γ(α + β) Γ(α)Γ(β) Γ(α +Pni=1xi)Γ(β + n−Pni=1xi) Γ(α + β + n)
dan I1 = Z Ω θf (x1; θ)f (x2; θ) . . . f (xn; θ)λdθ = Γ(α + β) Γ(α)Γ(β) Z 1 0 θθPxi(1− θ)n−Pxiθα−1(1− θ)β−1dθ = Γ(α + β) Γ(α)Γ(β) Z 1 0 θPxi+α+1−1(1− θ)β+n−Pxi−1dθ = Γ(α + β) Γ(α)Γ(β) Γ(α +Pni=1xi+ 1)Γ(β + n−Pni=1xi) Γ(α + β + n + 1) .
Diperoleh estimator Bayes adalah δ(x1x2, . . . , xn) = R Ωθf (x1; θ)f (x2; θ)λ(θ)f (xn; θ) . . . dθ R Ωf (x1; θ)f (x2; θ)λ(θ)f (xn; θ) . . . dθ = Γ(α + β + n)Γ(α + Pn i=1xi+ 1) Γ(α + β + n)Γ(α +Pni=1xi) = Γ(α + β + n)α +Pni=1xi Γ(α +Pni=1xi) (α + β + n)Γ(α + β + n)Γ(α +Pni=1xi) = α + Pn i=1xi α + β + n .
Bila α = β = 1 maka distribusi priornya merupakan distribusi seragam pada (0,1) sehingga diperoleh estimator Bayes
δ(x1x2, . . . , xn) =
1 +Pni=1xi 2 + n .
Penentuan estimator Minimaks
Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas f (x; θ), θ ∈ Ω ⊆ R dan λ fungsi kepadatan probabili-tas prior pada Ω. Fungsi kepadatan probabiliprobabili-tas posterior dari θ diberikan X = (X1, X2, . . . , Xn)t = (x1, x2, . . . , xn)t dinyatakan dengan
h(θ|x) = f (x1; θ)f (x2; θ) . . . f (xn; θ)
h(x) .
Telah diperoleh bahwa estimator Bayes dari θ dalam arti teori keputusan diberikan dengan
δ(x1, x2, . . . , xn) = Z
Ω
asalkan λ kontinu. Teorema 2.6
Misalkan terdapat fungsi kepadatan probabilitas λ pada Ω sehingga untuk estimasi Bayes δ yang didefinisikan dengan
δ(x1x2, . . . , xn) = R
Ωθf (x1; θ)f (x2; θ)λ(θ)f (xn; θ) . . . dθ R
Ωf (x1; θ)f (x2; θ)λ(θ)f (xn; θ) . . . dθ
dan resiko R[θ; δ] tidak tergantung pada θ. Estimator δ(x1x2, . . . , xn) meru-pakan estimator minimaks.
Contoh 2.12
Misalkan X1, . . . , Xnvariabel random saling bebas dari distribusi Binom(1, θ) dengan θ ∈ Ω = (0, 1). Fungsi kepadatan probabilitas priornya dipilih berdis-tribusi Beta(α, β). Jika X = Pni=1Xi maka X berdistribusi Binom(n, θ) sehingga E[X] = nθ dan Var(X) = nθ(1− θ) serta
E[X2] = Var(X) + (E[X])2 = nθ(1− θ) + (nθ)2 = nθ(1− θ + nθ). Bila δ(x1x2, . . . , xn) = α +Pni=1Xi α + β + n = α + X α + β + n digunakan untuk mengestimasi θ maka akan mempunyai resiko
R[θ, δ] = Ehθ− X + α n + α + β i = Eh (n + α + β)θ − (X + α) n + α + β i2 =(n + α + β) 2θ2 − 2(n + α + β)θE[X + α] + E[X + α]2 (n + α + β)2 =(n 2+ 2nα + 2nβ + (α + β)2)θ2 − 2(n + α + β)θ(nθ + α) + E[X2] + 2αE[X] + α2 (n + α + β)2 =(α + β) 2θ2 − nθ2 − 2θα2 − 2θαβ + nθ − nθ2+ n2θ2+ α2 (n + α + β)2 =(α + β) 2θ2− nθ2− 2θα2− 2θαβ + nθ + α2 (n + α + β)2 =[(α + β) 2 − n]θ2 − [2α2+ 2αβ − n]θ + α2 (n + α + β)2 .
dan 2α2+ 2αβ− n = 0 sehingga R(θ, δ∗) = α 2 (n + α + β)2 = (1/4)n (n +√n)2 = 1 4(1 +√n)2. Karena R(θ, δ∗) tidak tergantung pada θ maka
δ∗(x1x2, . . . , xn) = 1 2 √ n +Pni=1xi √ n + n = 2√n ¯X + 1 2(√n + 1) merupakan estimator minimaks.
Contoh 2.13
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dari distribusi N (µ, σ2) dengan σ2 diketahui dan µ = θ. Estimator ¯x merupakan estimator UMVU untuk θ tetapi juga merupakan estimator minimaks dan estimator yang ad-misible.
Contoh 2.14
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dari distribusi N (0, σ2) dengan σ2 tidak diketahui. Misalkan σ2 = θ. Estimator UMVU untuk θ adalah U = 1 n n X i=1 Xi2
dan variansinya adalah 2θ2
n yaitu R(θ; U ) = 2θ2
n .
Misalkan estimatornya adalah δ = αU . Resiko yang terjadi jika digu-nakan δ untuk mengestimasi θ adalah
R(θ; δ) = E[αU − θ]2
= E[α(U− θ) + (α − 1)θ]2
= α2E[U− θ]2+ 2α(α− 1)θE(u − θ) + E[(α − 1)2θ2]. Karena U estimator tak bias untuk θ maka E[U ] = θ sehingga E(U− θ) = 0 dan akibatnya E[U − θ]2 = E[U − E(U)]2 = Var(U ) = 2θ2
n . Hal itu berarti R(θ, δ) = 2α2θ n + 0 + (α− 1) 2θ2 = θ 2 n(2α 2+ nα2− 2αn + n) = θ 2 n[(n + 2)α 2 − 2nα + n].
Nilai α = n+2n akan meminimumkan resiko dan resikonya sama dengan n+22θ2 yang lebih kecil dari 2θn2 untuk semua θ. Akibatnya U tidak admisible yaitu resikonya bukan yang terkecil.
2.6
Sifat-sifat Optimal secara Asimptotik dari
Estimator
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f (x; θ), θ∈ Ω ⊆ R.
Definisi 2.12
Barisan estimator dari θ, {Vn} = {Vn(X1, X2, . . . , Xm)} dikatakan konsis-ten dalam probabilitas (konsiskonsis-ten lemah) jika
Vn → θ
untuk n → ∞ dan untuk semua θ ∈ Ω. Demikian juga barisan estimator dari θ, dikatakan konsiten hampir pasti (konsisten kuat) jika
Vn → θ untuk n→ ∞ dan untuk semua θ ∈ Ω. Teorema 2.7
Jika E[Vn] dan Var(Vn) untuk n→ ∞ maka Vn→ θ. Definisi 2.13
Barisan estimator dari θ, yang sudah dinormalkan dikatakan normal secara asimptotik ke N (0, σ2(θ)) jika
√
n(Vn− θ) →d X
untuk n → ∞ dan untuk semua θ ∈ Ω dengan X berdistribusi normal N (0, σ2(θ)) (di bawah P
θ). Sifat
Definisi 2.14
Barisan estimator θ, dikatakan BAN (best asimptotically normal ) jika 1. estimator tersebut normal secara asimptotik.
2. variansi σ2(θ) dari distribusi normal limitnya terkecil untuk semua θ ∈ Ω dalam kelas semua barisan estimator yang memenuhi (1).
Barisan estimator BAN juga dinamakan efisien secara asimptotik. Teorema 2.8
Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas f (x; θ) dengan θ ∈ Ω ⊆ R. Jika syarat-syarat 1 sampai 6 pada pasal 2.2 dipenuhi, maka persamaan likelihood
∂
∂θ ln L(θ|x1, x2, . . . , xn) = 0 mempunyai akar θ∗
n = θ∗(X1, X2, . . . , Xn) untuk setiap n, sehingga barisan {θ∗
n} dari estimator adalah BAN dan variansi dari distribusi normal limitnya sama dengan invers informasi Fishernya yaitu
I(θ) = Eθ
h∂ ln f(x; θ) ∂θ
i2
dengan X mempunyai distribusi di atas. Contoh 2.15
Misalkan X1, . . . , Xnvariabel random saling bebas berdistribusi Binom(1, θ). MLE dari θ adalah ¯X = 1
n Pn
i=1Xi dan dinotasikan dengan ¯Xn. Dengan menggunakan Hukum Bilangan Besar Kuat (Strong Law of Large Number SLLN ) dan Hukum Bilangan Besar Lemah (Weak Law of Large Number -WLLN ) diperoleh √
n( ¯Xn− θ) → N(0, I−1(θ)) dengan I(θ) = 1
θ(1−θ). Akibatnya dengan menggunakan Teorema Limit Pusat (Central Limit Theorema) diperoleh bahwa
√
n( ¯Xn− θ) p
berdistribusi N (0, 1) secara asimptotik. Contoh 2.16
Misalkan X1, . . . , Xn variabel random saling bebas berdistribusi Poisson(θ). MLE dari θ adalah ¯X = 1
n Pn
i=1Xi dan dinotasikan dengan ¯Xn. Den-gan menggunakan Hukum BilanDen-gan Besar Kuat dan Hukum BilanDen-gan Besar Lemah, ¯X mempunyai sifat konsisten kuat dan konsisten lemah serta den-gan Teorema Limit Pusat,√n( ¯Xn−θ) berdistribusi normal secara asimptotik dengan variansi sama dengan I−1(θ) = θ.
Contoh 2.17
Misalkan X1, . . . , Xnvariabel random saling bebas dengan distribusi N (µ, σ2) dengan µ tidak diketahui sedangkan σ2 diketahui. MLE untuk µ adalah
¯
Xn. Jika σ2 tidak diketahui dan µ diketahui maka MLE untuk σ2 adalah 1
n Pn
i=1(Xi−µ)2. Variansi dari√n( ¯Xn−µ) yang berdistribusi normal adalah I−1(µ) = σ2. Limit variansi dari
√ nh 1 n n X i=1 (Xi− µ)2− σ2 i
yang berdistribusi normal adalah I−1(σ2) = 2σ2. Definisi 2.15
Misalkan X1, . . . , Xn variabel random saling bebas dengan fungsi kepadatan probabilitas f (x; θ) dengan θ ∈ Ω ⊆ R. Dua barisan estimator
{Un} = {U(X1, . . . , Xn}
dan {Un} = {U(X1, . . . , Xn} dikatakan ekuivalen secara asimptotik jika un-tuk setiap θ∈ Ω berlaku sifat
√
n(Un− Vn)→ 0.
Contoh 2.18
Misalkan X1, . . . , Xnvariabel random saling bebas berdistribusi Binom(1, θ). Estimator UMVU untuk θ adalah
Un = ¯Xn= ¯X = 1 n n X =1 Xi.
Estimator ini juga merupakan MLE. Akan tetapi estimator Bayes untuk θ dengan fungsi kepadatan probabilitas prior Beta(α, β) adalah
α +Pni=1Xi n + α + β dan estimator minimaksnya adalah
Wn= √ n 2 + Pn i=1Xi n +√n . Dengan menggunakan Teorema Limit Pusat
√
n(Un− θ) → Z
dengan Z ∼ N(0, θ(1 − θ)). Dapat juga ditunjukkan bahwa √
Brief History of Rao C. R. Rao (b. 1920) Statistician. ASA MGP.
Rao is the most distinguished member of the Indian statistical school founded by P. C. Mahalanobis and centred on the Indian Statistical Insti-tute and the journal Sankhya. Raos first statistics teacher at the University of Calcutta was R. C. Bose. In 1941 Rao went to the ISI on a one-year training programme, beginning an association that would last for over 30 years. (Other ISI notables were S. N. Roy in the generation before Rao and D. Basu one of Raos students.) Mahalanobis was a friend of Fisher and much of the early research at ISI was closely related to Fishers work. Rao was sent to Cambridge to work as PhD student with Fisher, although his main task seems to have been to look after Fishers laboratory animals! In a remarkable paper written before he went to Cambridge, Information and the accuracy attainable in the estimation of statistical parameters, Bull. Calcutta Math. Soc. (1945) 37, 81-91 Rao published the results now known as the Cramr-Rao inequality and the Rao-Blackwell theorem. A very influential contribution from his Cambridge period was the score test (or Lagrange multiplier test), which he proposed in 1948. Rao was influenced by Fisher but he was perhaps as influenced as much by others, including Neyman. Rao has been a pro-lific contributor to many branches of statistics as well as to the branches of mathematics associated with statistics. He has written 14 books and around 350 papers. Rao has been a very international statistician. He worked with the Soviet mathematicians A. M. Kagan and Yu. V. Linnik (LP) and since 1979 he has worked in the United States, first at the University of Pittsburgh and then at Pennsylvania State University. He was elected to the UK Royal Society in 1967 and he received the US National Medal of Science in 2002. See ET Interview: C. R. Rao and ISI interview. For a general account of Statistics in India, see B. L. S. Prakasha Raos About Statistics as a Discipline in India.
Brief History of Neyman
Jerzy Neyman (1894-1981) Statistician. MacTutor References. NAS ASA MGP. SC, LP.
Neyman was educated in the tradition of Russian probability theory and had a strong interest in pure mathematics. His probability teacher at Kharkov University was S. N. Bernstein. Like many, Neyman went into statistics to get a job, finding one at the National Institute for Agriculture in Warsaw. He appeared on the British statistical scene in 1925 when he went on a fellowship to Pearsons laboratory. He began to collaborate with Pearsons son Egon Pearson and they developed an approach to hypothesis testing, which became the standard classical approach. Their first work was on the likelihood ratio test (1928) but from 1933 they presented a general theory of testing, featuring such characteristic concepts as size, power, Type I error, critical region and, of course, the Neyman-Pearson lemma. More of a solo project was estimation, in particular, the theory of confidence in-tervals. In Poland Neyman worked on agricultural experiments and he also contributed to sample survey theory (see stratified sampling and Neyman al-location). At first Neyman had good relations with Fisher but their relations began to deteriorate in 1935; see Neyman in A Guide to R. A. Fisher. From the late 1930s Neyman emphasised his commitment to the classical approach to statistical inference. Neyman had moved from Poland to Egon Pearsons department at UCL in 1934 but in 1938 he moved to the University of Cal-ifornia, Berkeley. There he built a very strong group which included such notable figures as David Blackwell, J. L. Hodges, Erich Lehmann, Lucien Le Cam (memorial) and Henry Scheff.
Chapter 3
Pengujian Hipotesis
Dalam seluruh bab ini X1, X2, . . . , Xn adalah variabel random saling bebas dan berdistribusi identik yang didefinisikan pada ruang probabilitas (S, F, P ), θ ∈ Ω ⊆ Rr dan mempunyai fungsi kepadatan probabilitas f (x; θ).
3.1
Konsep Umum dari Pengujian Hipotesis
Neyman-Pearson
Berikut ini diberikan definisi tentang hipotesis yang mendasari bab ini. Definisi 3.1
Suatu pernyataan berkenaan dengan parameter θ seperti θ ∈ ω ⊆ Ω di-namakan hipotesis (statistik) tentang θ dan biasanya dinotasikan dengan H atau H0. Demikian juga pernyataan bahwa θ∈ ωcdengan ωc= Ω−ω adalah hipotesis (statistik) tentang θ yang dinamakan alternatif dari H atau ditulis dengan A atau Ha. Hal itu berarti H(H0) : θ∈ ωc.
Seringkali hipotesis berasal dari klaim bahwa produk baru, teknik baru dan sebagainya lebih effisien dari yang telah ada. dalam konteks ini H atau H0 adalah suatu pernyataan yang meniadakan klaim ini dan dinamakan hipotesis nul (null hypothesis).
Jika ω mengandung hanya satu titik yaitu ω ={θ0} maka H dinamakan hipotesis sederhana (simple hypothesis) dan jika mengandung lebih dari satu titik maka dinamakan hipotesis komposit (composite hypothesis). Hal yang sama juga berlaku untuk alternatif. Bila hipotesis dibuat maka akan muncul masalah bagaimana menguji hipotesis berdasarkan pada nilai-nilai penga-matan.
