Disusun Oleh
Dr.rer.nat. Wayan Somayasa, S.Si., M.Si.
FMIPA UNHALU-KENDARI
Table of Contents 1
1 Statistik dan distribusi sampling 3
1.1 Sampel random . . . 3
1.2 Statistik . . . 6
1.3 Distribusi sampling dari populasi normal . . . 7
1.3.1 Distribusi chi-kuadrat . . . 9 1.3.2 Distribusi t student . . . . 13 1.3.3 Distribusi F . . . 15 1.4 Soal-soal . . . 17 2 Estimasi titik 18 2.1 Metode momen . . . 20
2.2 Estimator dengan likelihood terbesar . . . . 21
2.2.1 Kasus satu parameter (k = 1) . . . . 22
2.2.2 Kasus k parameter . . . . 23
2.3 Keriteria-keriteria memilih estimator . . . 26
2.3.1 Ketakbiasan . . . 26
2.3.2 Keterkonsentrasian dan UMVUE . . . 27
2.4 Soal-soal . . . 32
3 Statistik cukup, keluarga lengkap dan keluarga eksponensial 33 3.1 Statistik cukup . . . 33
3.2 Keluarga lengkap . . . 42
3.3 Keluarga eksponensial . . . 44
3.4 Soal-soal . . . 46
4 Estimasi interval 47
4.1 Metode kuantitas pivot (pivotal quantity) . . . . 50
4.1.1 Membandingkan dua populasi normal . . . 54
4.2 Metode umum . . . 57
4.2.1 Kasus h1 dan h2 monoton naik . . . 57
4.2.2 Kasus h1 dan h2 monoton turun . . . 59
4.3 Soal-soal . . . 60
5 Uji hipotesis 62 5.1 Pendahuluan . . . 62
5.1.1 Menentukan daerah kritik . . . 64
5.1.2 Nilai p (p-value) . . . . 68
5.2 Metode memilih tes terbaik . . . 70
5.2.1 Tes UMP untuk hipotesis sederhana . . . 70
5.2.2 Tes UMP untuk hipotesis komposit . . . 73
5.2.3 Keluarga monotone likelihood ratio (MLR) . . . 75
5.3 Tes dengan membandingkan fungsi likelihood . . . 79
5.4 Soal-soal . . . 82
6 Teori sampel besar 85
7 Teori Bayes 86
Statistik dan distribusi sampling
Pada bagian ini kita akan membahas konsep tentang statistik (engl.: statistic) dan distribusi sampling. Harap diperhatikan perbedaan antara statistik dan statistika (engl.: statistics). Sebelumnya kita akan mengajak pembaca untuk membahas penger-tian sampel random dan peranannya dalam statistika.
1.1
Sampel random
Misalkan seorang peneliti tertarik untuk mengamati proporsi ikan tuna yang tersebar di teluk Kendari. Tentu saja proporsi ini tidak diketahui kecuali kalau si peneliti tadi bisa menghitung semua ikan yang hidup di teluk Kendari dan kemudian menghitung berapa bagian dari total jumlah ikan tadi yang merupakan ikan tuna. Apakah ini mungkin dilakuan? Berapa banyak waktu, biaya dan tenaga yang perlu diinvestasikan kalau cara ini yang ditempuh?
Sebagai statistikawan kita bisa membantu si peneliti tadi dengan statistika seba-gai berikut. Kita misalkan populasi ikan di teluk Kendari sebaseba-gai ruang probabilitas
(Ω, F, P). Misalkan ΩT adalah himpunan semua ikan tuna, maka proporsi ikan tuna
dalam populasi itu adalah P(ΩT) = ]Ω]ΩT, yaitu jumlah ikan tuna dibagi jumlah ikan
keseluruhan. Kita misalkan konstanta yang tidak diketahui ini sebagai p ≥ 0. Mis-alkan X : Ω → R adalah indikator dari ΩT, yaitu suatu fungsi yang didefinisikan
sebagai berikut X(ω) : ( 1 : jika ω ∈ ΩT 0 : jika ω 6∈ ΩT .
Maka X adalah sebuah variabel random (fungsi terukur) Bernoulli yang mengambil nilai pada ruang sampel (R, B, PX), dimana untuk setiap himpunan bagian B ∈ B,
PX(B) := P{ω ∈ Ω : X(ω) ∈ B}. Misalkan ambil kasus dimana B = {1}, maka
PX({1}) := P{ω ∈ Ω : X(ω) = 1} = P(Ω
T) = p. Selanjutnya PX disebut sebagai
distribusi peluang dari X. Sebaliknya kalau B = {0}, maka PX({0}) := P{ω ∈ Ω :
X(ω) = 0} = P(ΩC
T) = 1 − p, dimana ΩCT adalah komplemen dari ΩT. Jadi model
distribusi peluang ikan tuna di teluk Kendari di gambarkan oleh model distribusi peluang dari X dengan fungsi densitas fX(x) := PX({x}) = P{X = x} = px(1−p)1−x,
x = 0, 1. Selanjutnya fX(x) disebut sebagai fungsi densitas populasi.
Misalkan dari suatu eksperimen yang dilakukan misalkan dengan memancing ikan lalu mencatat hasilnya pada setiap pemancingan sebagi 1 jika yang didapat adalah tuna dan 0 jika hasilnya bukan ikan tuna. Andaikan pemancingan dilakukan n kali, maka data yang diperoleh adalah x1, . . . , xn, dengan xi ∈ {0, 1}, i = 1, . . . , n.
Dalam statistika kita memandang data sebagai realisasi (nilai) dari variabel random X1, . . . , Xn yang terdefinisi pada (Ω, F, P), yaitu Xi(ω) = xi, untuk suatu ω ∈ Ω,
i = 1, . . . , n. Kita nyatakan distribusi peluang bersama dari X1, . . . , Xn dengan
⊗n
i=1PXi yang terdefinisi pada (Rn, Bn).
sampel random berukuran n dari suatu populasi X, jika dan hanya jika ⊗ni=1PXi{⊗n
i=1(−∞, ti]} = Πni=1PXi((−∞, ti]) = Πni=1PX((−∞, ti]),
dimana ⊗n
i=1(−∞, ti] := (−∞, t1]×· · ·×(−∞, tn]. Jika populasi X mempunyai fungsi
densitas f (x), maka {X1, . . . , Xn} dikatakan sebagai sampel random berukuran n dari
suatu populasi X, jika dan hanya jika
fX1,...,Xn(x1, . . . , xn) = Π
n
i=1f (xi).
Jadi suatu sampel random harus memenuhi kondisi dimana X1, . . . , Xn saling
in-dependen dan masing-masing mempunyai distribusi peluang yang sama dengan dis-tribusi peluang populasinya (sering juga dikatakan i.i.d sebagai singkatan dari inde-pendent and identically distributed).
Kembali ke kasus semula jika pada setiap pemancingan (trial) ikan dilepas lagi, maka hasil berikutnya tidak akan terpengaruh dari hasil sebelumnya (saling indepen-den) dan masing-masing akan mengikuti distribusi yang sama yaitu Bernoulli dengan parameter p. Jadi eksperimen kita akan menghasilkan sampel random berukuran n dari populasi ikan tuna di teluk Kendari.
Sebagai contoh lain, misalkan suatu pabrik lampu dalam setahun memproduksi 500000 lampu pijar dengan jenis yang sama, misalkan jenis A. Karena suatu hal, daya tahan lampu yang dihasilkan ternyata berbeda-beda. Andaikan produsen ter-tarik untuk menyelidiki proporsi lampu yang mempunyai daya tahan sesuai spesifikasi tertentu, misalkan daya tahannya melebihi t jam. Andaikan populasi lampu jenis A dimisalkan sebagai ruang (Ω, F, P) dan Y : (Ω, F, P) → (R≥0, B(R≥0), PY) dengan
Y (ω) adalah daya tahan bola lampu ω ∈ Ω. Andaikan Y mengikuti distribusi expo-nensial dgn parameter θ > 0, maka proporsi bola lampu jenis A yang daya tahan-nya lebih dari atau sama dengan t jam adalah PY([t, ∞)) = R∞
t 1θexp{−y/θ}dy =
exp{−t/θ}, t ≥ 0. Andaikan Y1, . . . , Ynadalah sampel random dari populasi Y , maka
⊗n
i=1PYi(⊗ni=1[ti, ∞)) = Πni=1exp{−ti/θ} = exp{−1θ
Pn
i=1ti}.
1.2
Statistik
Pada subbab sebelumnya kita mengenal p dan θ sebagai konstanta-konstanta (parameter-parameter) yang tidak diketahui nilainya. Tujuan dari statistika adalah merumuskan suatu konsep inferensi atau pendugaan terhadap parameter-parameter tersebut. Alat utama yang digunakan adalah apa yang disebut statistik.
Definisi 1.2.1. Misalkan {X1, . . . , Xn} adalah himpunan n ∈ N variabel random
teramati dari suatu populasi tertentu. Statistik adalah sembarang fungsi T := t(X1, . . . , Xn) yang tidak bergantung pada sembarang parameter yang tidak diketahui.
Selanjutnya distribusi dari suatu statistik disebut distribusi sampling. Catatan:
Pada Definisi 1.2.1 kata teramati mengandung pengertian bahwa melalui suatu ekspe-rimen n titik data yang diperoleh adalah realisasi dari X1, . . . , Xn. Variabel-variabel
ini harus teramati, karena kalau tidak, maka fungsi t tidak bisa dihitung.
Contoh 1.2.2. Misalkan X1, . . . , Xn adalah sampel random dari suatu populasi
den-gan mean µ dan variansi σ2 > 0. Mean sampel ¯X := 1
n
Pn
i=1Xi and variansi
sampel S2 := 1
n−1
Pn
i=1(Xi − ¯X)2 merupakan statistik dengan sifat-sifat sebagai
1. E( ¯X) = µ and V ar( ¯X) = σ2/n.
2. E(S2) = σ2 and V ar(S2) = 1
n(µ04− n−3n−1σ4), dengan µ04 := E(X4).
Untuk kasus penyelidikan ikan tuna di teluk Kendari, proporsi sampel adalah ˆp :=
1
n
Pn
i=1Xi, dengan Xi i.i.d. Bin(1, p). Maka E(ˆp) = p dan V ar(ˆp) = p(1 − p).
1.3
Distribusi sampling dari populasi normal
Pada bagian ini kita akan mempelajari distribusi dari beberapa statistik yang meru-pakan fungsi dari sampel random dari populasi normal. Kita batasi pembicaraan pada populasi normal saja karena selain secara matematika mudah diturunkan, juga karena model distribusi ini banyak dipakai di lapangan.
Teorema 1.3.1. Misalkan X1, . . . , Xn saling independen dan berdistribusi N(µi, σi2).
Maka Y :=Pni=1aiXi ∼ N (
Pn
i=1aiµi,
Pn
i=1a2iσi2), untuk ai ∈ R, i = 1, . . . , n.
Proof. Hasil ini dapat dibuktikan dengan konvolusi dari variabel random normal. Yaitu jumlah dari beberapa variabel random normal adalah normal. Karena dis-tribusi normal ditentukan secara tunggal hanya oleh mean dan variansinya, berarti kita hanya perlu menghitung mean dan variansi dari Y yang diberikan olehPni=1aiµi
danPni=1a2
iσi2. Cara lain adalah dengan metode ketunggalan fungsi pembangkit
mo-men (Momo-ment Generating Functions/MGF). Secara umum jika X ∼ N(µ, σ2), maka
MX(t) = exp{tµ +
1 2t
2σ2}, t ∈ R. (1.3.1)
Karena Xi saling independen, maka berlaku
MY(t) = Πni=1MXi(ait) = Π n i=1exp{taiµi+ 1 2t 2a2 iσ2i}
= exp{t n X i=1 aiµi+ 1 2t 2 n X i=1 a2 iσi2}. (1.3.2)
Selanjutnya dengan membandingkan (1.3.1) dan (1.3.2), teorema terbukti.
Contoh 1.3.2. Misalkan X1, . . . , Xn1 dan Y1, . . . , Yn2 merupakan dua sampel random
yang saling bebas masing-masing berukuran n1 dan n2. Jika Xi ∼ N(µ1, σ12) dan Yj ∼
N(µ2, σ22), i = 1, . . . , n1 dan j = 1, . . . , n2, maka ¯X − ¯Y ∼ N(µ1− µ2, σ12/n1+ σ22/n2).
Proof. Pernyataan ini dapat ditunjukan dengan menggunakan secara langsung hasil pada Teorema 1.3.1 dan kenyataan ¯X − ¯Y = 1
n1X1+ . . . + 1 n1Xn1− 1 n2Y1− . . . − 1 n2Yn2.
Cara lain adalah dengan metode MGF sebagai berikut:
MX− ¯¯ Y(t) = MX¯(t)MY¯(−t) (kedua sampel saling independen)
= Πn1 i=1MXi(t/n1)Π n2 j=1MYj(−t/n2) = Πn1 i=1exp ½ t n1 µ1+ 1 2 t2 n2 1 σ12 ¾ Πn2 i=1exp ½ −t n2 µ2+ 1 2 t2 n2 2 σ22 ¾ = exp ½ t(µ1− µ2) + 1 2t 2(σ2 1/n1+ σ22/n2) ¾ .
Persamaan yang terakhir adalah MGF dari N(µ1− µ2, σ12/n1+ σ22/n2).
Contoh 1.3.3. Dari hasil pada Contoh 1.3.2 tentukan suatu konstanta c sedemikian hingga 95% dari populasinya mempunyai selisih mean sampel lebih dari c.
Jawab:
Dengan menggunakan transformasi variabel diperoleh P©X − ¯¯ Y ≥ cª = 0, 95 ⇔ P ( ( ¯X − ¯p Y ) − (µ1− µ2) σ2 1/n1+ σ22/n2 ≥ pc − (µ1− µ2) σ2 1/n1+ σ22/n2 ) = 0, 95. Selanjutnya karena ( ¯√X− ¯Y )−(µ1−µ2) σ2
1/n1+σ22/n2 ∼ N(0, 1), maka konstanta c adalah penyelesaian
dari persamaan c − (µ1− µ2) p σ2 1/n1+ σ22/n2 = z0,05⇒ c = (µ1− µ2) + z0.05 q σ2 1/n1+ σ22/n2.
1.3.1
Distribusi chi-kuadrat
Definisi 1.3.4. Suatu variabel random X dikatakan berdistribusi chi-kuadrat dengan derajat bebas ν (X ∼ χ2(ν)), jika dan hanya jika X ∼ Gamma(2, ν/2).
Remark 1.3.5. Sifat-sifat distribusi chi-kuadrat dapat diturunkan langsung dari sifat-sifat distribusi Gamma. Jika X ∼ χ2(ν), maka
1. MX(t) = (1 − 2t)−ν/2,
2. E(Xr) = 2r Γ(ν/2+r)
Γ(ν/2) , r ∈ Z,
3. E(X) = ν dan V ar(X) = 2ν.
Teorema 1.3.6. Jika X ∼ Gamma(θ, κ), maka 2X/θ ∼ χ2(2κ).
Proof. Bukti yang paling sederhana adalah dengan metode ketunggalan MGF: M2X θ (t) = MX(2t/θ) = µ 1 − θ2t θ ¶−κ = (1 − 2t)−2κ/2. Jadi terbukti 2X/θ ∼ χ2(2κ).
Contoh 1.3.7. Andaikan bahwa daya tahan batu batrai yang diproduksi oleh suatu pabrik mengikuti distribusi Gamma(θ, κ). Jika pabrik ingin memberikan suatu jam-inan bahwa 90% dari produknya mempunyai daya tahan lebih dari t0 tahun, maka
tentukan t0.
Jawab:
Andaikan X adalah daya tahan batu batrai dalam satuan tahun. Yang ingin diten-tukan oleh pabrik adalah t0 sedemikian hingga P{X ≥ t0} = 0, 90. Tetapi dari
Teo-rema 1.3.6, P{2X/θ ≥ 2t0/θ} = 0, 90. Maka t0 = χ20,10(2κ)/2. Disini χ2α(2κ) adalah
suatu konstanta yang memenuhi persamaan P{χ2(2κ) ≤ χ2
α(2κ)} = α atau disebut
Teorema berikut memberikan hasil yang sangat penting dari distribusi chi-kuadrat.
Teorema 1.3.8. Misalkan Y1, . . . , Yn saling independen dan Yi ∼ χ2(νi). Maka V =
Pn
i=1Yi ∼ χ2(
Pn
i=1νi).
Proof. Kita buktikan hasil ini dengan ketunggalan MGF. Dari asumsi bahwa Yi saling
independen berlaku: MV(t) = Πni=1(1 − 2t)−νi/2 = (1 − 2t)−
Pn
i=1νi/2 yang merupakan
MGF dari χ2(Pn i=1νi).
Hasil berikut menjelaskan hubungan antara distribusi normal standar dan dis-tribusi chi-kuadrat.
Teorema 1.3.9. Jika Z ∼ N(0, 1), maka Z2 ∼ χ2(1).
Proof. MZ2(t) = E ¡ exp{tZ2}¢= Z ∞ −∞ 1 √ 2π exp{tz 2− z2/2}dz = √ 1 1 − 2t Z ∞ −∞ √ 1 − 2t √ 2π exp{−z 2(1 − 2t)/2}dz = (1 − 2t)−1/2,
yang merupakan MGF dari χ2(1).
Akibat 1.3.10. Jika X1, . . . , Xnadalah sampel random dari populasi N(µ, σ2), maka
berlaku:
1. Pni=1(Xi−µ)2
σ2 ∼ χ2(n),
2. n( ¯X−µ)σ2 2 ∼ χ2(1).
Pada Contoh 1.3.2 kita sudah menurunkan distribusi dari mean sampel. Teorema berikut memberikan distribusi dari variansi sampel S2yang didefinisikan pada Contoh
Teorema 1.3.11. Jika X1, . . . , Xn menyatakan sampel random dari N(µ, σ2), maka
1. Antara ¯X dan (Xi− ¯X), i = 1, . . . , n saling independen.
2. Antara ¯X dan S2 saling independen,
3. (n − 1)S2/σ2 ∼ χ2(n − 1).
Proof. Kita definisikan transformasi variabel berikut: y1 = ¯x dan yi = xi− ¯x, untuk
i = 2, . . . , n, sehingga diperoleh: xi = y1 + yi, i = 2, . . . , n dan x1 = y1 −
Pn
i=2yi.
Jacobian dari transformasi ini adalah
J = 1 −1 −1 · · · −1 1 1 0 · · · 0 1 0 1 · · · 0 ... ... ... ... ... 1 0 0 · · · 0 ⇒ det(J) = n. Selanjutnya dari x1− ¯x = − Pn i=2(xi− ¯x) = − Pn i=2yi diperoleh n X i=1 (xi− ¯x)2 = (x1 − ¯x) + n X i=2 (xi− ¯x)2 = Ã − n X i=2 yi !2 + n X i=2 y2 i. (1.3.3)
Karena saling bebas, fungsi densitas bersama dari X1, . . . , Xn adalah
fX1,...,Xn(x1, . . . , xn) = 1 (2π)n/2σnexp ( − 1 2σ2 n X i=1 (xi− µ)2 ) = 1 (2π)n/2σnexp ( − 1 2σ2 Ã n X i=1 (xi− ¯x)2 + n(¯x − µ)2 !) . Sehingga dari (1.3.3) fungsi densitas bersama dari variabel Y1, . . . , Yn adalah
gY1,...,Yn(y1, . . . , yn) = det(J) (2π)n/2σnexp − 1 2σ2 Ã − n X i=2 yi !2 + n X i=2 y2i + n(y1− µ)2 =p 1 2πσ2/nexp ½ − 1 2σ2/n(y1− µ) 2 ¾ ×
√ n (2π)(n−1)/2σ(n−1)exp − 1 2σ2 Ã − n X i=2 yi !2 + n X i=2 y2i .
Persamaan yang terakhir menunjukan bahwa fungsi densitas bersama dari Y1, . . . , Yn
dapat difaktorkan sebagai hasil prgandaan antara fungsi densitas dari Y1 dan fungsi
densitas bersama dari Y2, . . . , Yn. Jadi Y1 = ¯X independen terhadap Yi = Xi − ¯X
untuk i = 2, . . . , n. Selanjutnya karena X1− ¯X = −
Pn
i=2(Xi − ¯X), berarti ¯X juga
independen terhadap X1− ¯X. Jadi pernyataan 1 terbukti.
Karena S2 merupakan fungsi dari X
i− ¯X untuk i = 1, . . . , n, maka pernyataan 2
hanyalah merupakan akibat langsung dari pernyataan 1.
Kita menggunakan metode ketunggalan MGF untuk membuktikan pernyataan 3 : Misalkan V1 := Pn i=1(Xi−µ) 2 σ2 ∼ χ2(n), V2 := n( ¯X−µ) 2 σ2 ∼ χ2(1) dan V3 = (n−1)S 2 σ2 . Dari
definisi dari S2 diperoleh: V
1 = V3 + V2 dan dari pernyataan 2 jelaslah V2 dan V3
saling independen, sehingga berlaku
MV1(t) = MV3+V2(t) = MV3(t)MV2(t) ⇒ MV3(t) = MV1(t) MV2(t) = (1 − 2t)−n/2 (1 − 2t)−1/2 = (1 − 2t) −(n−1)/2,
yang merupakan MGF dari χ2(n − 1).
Contoh 1.3.12. Misalkan sebaran nilai ujian akhir mata kuliah Kewiraan mahasiwa FMIPA Unhalu angkatan 2007/2008 diasumsikan berdistribusi N(60, 36). Untuk men-guji kebenaran klaim bahwa σ2 = 36, sebuah sampel random berukuran 25 diambil dari
populasi ini. Asumsi akan ditolak jika S2 ≥ 54, 63 dan sebaliknya asumsi akan
dito-lak jika S2 < 54, 63. Tentukan berapa peluang menolak asumsi ini jika benar bahwa
populasinya N(60, 36). Jawab:
Dari Teorema 1.3.11 pernyataan 3 kita peroleh: P©S2 ≥ 54, 63ª= P ½ 24S2 36 ≥ 36, 42 ¾ = 1 − P©χ2(24) < 36, 42ª = 0, 05
1.3.2
Distribusi t student
Teorema 1.3.13. Misalkan Z ∼ N(0, 1) dan Y ∼ χ2(ν). Jika Z dan Y saling
independen, maka T := √Z
Y /ν dikatakan berdistribusi t student dengan derajat bebas
ν. Selanjutnya dituliskan sebagai T ∼ t(ν). Fungsi densitas dari T adalah: fT(t; ν) = Γ¡ν+1 2 ¢ Γ¡ν 2 ¢ √1 νπ µ 1 + t 2 ν ¶−(ν+1)/2 (1.3.4)
Proof. Kita definisikan transformasi T = √Z
Y /ν dan W = Y yang berakibat Z =
TpW/ν dan Y = W . Jakobian dari transformasi yariabel t = √z
y/ν dan w = y adalah J = p w/ν t 2√w/ν 0 1 ⇒ det(J) =pw/ν.
Karena Z dan Y saling independen, maka fungsi densitas bersamanya adalah:
fZ,Y(z, y) = fZ(z)fY(y) = e−z2/2 √ 2π yν/2−1e−y/2 2ν/2Γ(ν/2) = yν/2−1e−(y/2+z2/2) √ 2πΓ(ν/2)2ν/2 . ⇒ fT,W(t, w) = fZ,Y(z, y)det(J) = wν/2−1e−w/2e−t2w/2ν √ 2πΓ(ν/2)2ν/2 p w/ν = (w/2)ν/2−1/2e−w/2(1+t 2/ν) √ 4πνΓ(ν/2) , −∞ < t < ∞, 0 < w < ∞. Maka fungsi densitas marginal dari T adalah
fT(t) = Z ∞ 0 (w/2)ν/2−1/2e−w/2(1+t2/ν) √ 4πνΓ(ν/2) dw.
Dengan memisalkan u := w/2(1 + t2/ν),maka integral ini dapat disederhanakan men-jadi fT(t) = R∞ 0 u(ν/2+1/2−1)e−u du √ πνΓ(ν/2)(1 + t2/ν)(ν+1)/2 = Γ¡ν+1 2 ¢ √ πνΓ(ν/2)(1 + t 2/ν)−(ν+1)2
Gambar berikut adalah grafik fungsi densitas dari distribusi t(1). Secara umum ben-tuk grafiknya adalah bellshape serupa dengan grafik fungsi densitas distribusi normal standar yaitu simetris terhadap titik t = 0.
t f(t ; 1) -10 -5 0 5 10 0.0 0.05 0.10 0.15 0.20 0.25 0.30
Gambar 1. Grafik fungsi densitas distribusi t(1).
Teorema 1.3.14. Jika X1, . . . , Xn merupakan sampel random dari N(µ, σ2), maka
¯ X − µ S/√n ∼ t(n − 1), dimana S = v u u t 1 n − 1 n X i=1 (Xi− ¯X)2.
Proof. Misalkan Z := ( ¯X − µ)/pσ2/n dan Y := (n − 1)S2/σ2, maka berlaku ¯
X−µ
S/√n = Z/
p
Y /(n − 1), dengan Z ∼ N(0, 1) dan Y ∼ χ2(n − 1) (lih. Teorema
1.3.11 pernyataan 3). Selanjutnya karena Z dan Y saling independen (lih. Teorema 1.3.11 pernyataan 2), maka dari Teorema 1.3.13, teorema terbukti.
Sebagai catatan, untuk melakukan inferensi terhadap µ dari populasi N(µ, σ2),
maka quantitas √X−µ¯
σ2/n tidak bisa dipakai apabila σ
2 tidak diketahui. Karena itu kita
melakukan estimasi dahulu terhadap σ2 dengan S2. Jadi disinilah letak penggunaan
dari distribusi t.
1.3.3
Distribusi F
Salah satu alasan kenapa distribusi F penting untuk di pelajari adalah jika kita mempunyai 2 sampel random X1, . . . , Xn1 dari populasi N(µ1, σ21) dan Y1, . . . , Yn2
dari populasi N(µ2, σ22) dan kita ingin melakukan inferensi terhadap rasio σ12/σ22.
Teorema 1.3.15. Misalkan U ∼ χ2(r
1) dan V ∼ χ2(r2). Jika U dan V saling
inde-penden, maka X := U/r1
V /r2 berdistribusi F dengan derajat bebas r1 dan r2. Selanjutnya
distribusi ini kita tuliskan sebagai F (r1, r2). Persensil fγ(r1, r2) adalah konstanta
yang memenuhi persamaan P{X ≤ fγ(r1, r2)} = γ. Fungsi densitas dari X adalah:
fX(x; r1, r2) = ³ r1 r2 ´r1/2 Γ¡r1+r2 2 ¢ x(r1/2−1) Γ(r1/2)Γ(r2/2)(xr1/r2+ 1)(r1+r2)/2 (1.3.5) Proof. Kita definisikan transformasi variabel X = U/r1
V /r2 dan Y = V , maka U =
XY r1/r2 dan V = Y . Jacobian dari transformasi u = xyr1/r2 dan v = y adalah:
J = yr1/r2 xr1/r2 0 1 ⇒ det(J) = yr1/r2.
Selanjutnya karena U dan V saling independen, fungsi densitas bersamanya adalah fU,V(u, v; r1, r2) = fU(u; r1)fV(v; r2) =
ur1/2−1vr2/2−1exp{−(u + v)/2}
Γ(r1/2)Γ(r2/2)2(r1+r2)/2
. Maka fungsi densitas bersama antara X adan Y adalah:
= (xy) r1 2−1 ³ r1 r2 ´r1 2−1 yr22 −1 Γ(r1/2)Γ(r2/2)2(r1+r2)/2 exp{−(xyr1/r2)/2 − y/2}yr1/r2 = ³ r1 r2 ´r1 2 y(r1+r2)/2−1xr12−1 Γ(r1/2)Γ(r2/2)2(r1+r2)/2 exp{−y 2(xr1/r2+ 1)}. Fungsi densitas marginal dari X adalah fX(x; r1, r2) =
R∞
0 fX,Y(x, y; r1, r2) dy.
Den-gan menggunakan substitusi variabel w = y2(xr1/r2 + 1) atau y = 2w/(xr1/r2 + 1)
kita peroleh fX(x; r1, r2) = Z ∞ 0 ³ r1 r2 ´r1 2 xr12−1w(r1+r2)/2−1exp{−w} Γ(r1/2)Γ(r2/2)(xr1/r2+ 1) (r1+r2) 2 dw, yang menghasilkan (1.3.5).
Teorema 1.3.16. Jika X ∼ F (r1, r2), maka
E(Xr) = ³ r1 r2 ´r Γ (r1/2 + r) Γ (r2/2 − r) Γ (r1/2) Γ (r2/2) , r2 > 2r, (1.3.6) E(X) = r2 r2− 2 , r2 > 2, (1.3.7) V ar(X) = 2r22(r1+ r2− 2) r1(r2− 2)2(r2− 4) , r2 > 4 (1.3.8)
Proof. Karena U dan V saling bebas, maka berlaku E(Xr) = E(U/r 1)rE(V /r2)−r = µ r1 r2 ¶r E(Ur)E(V−r).
Selanjutnya hasil di atas diperoleh dengan substitusi langsung terhadap E(Ur) dan
E(V−r) untuk variabel chi kuadrat. Pernyataan yang lainnya adalah kejadian khusus
dari pernyataan pertama.
Contoh 1.3.17. Misalkan X1, . . . , Xn1 dan Y1, . . . , Yn2 merupakan dua sampel
Dari Teorema 1.3.11, jelaslah (n1− 1) S2 X σ2 1 ∼ χ2(n1− 1) dan (n2− 1) S2 Y σ2 2 ∼ χ2(n2− 1),
dan keduanya jelas saling independen, sehingga P ½ S2 Xσ22 S2 Yσ12 ≤ fγ(n1− 1, n2− 1) ¾ = γ ⇔ P ½ S2 X S2 Yfγ(n1− 1, n2− 1) ≤ σ 2 1 σ2 2 ¾ = γ
1.4
Soal-soal
1. Misalkan Z1, . . . , Z16 adalah sampel random dari populasi N(0, 1). Dengan
menggunakan tabel atau software S-PLUS tentukan peluang berikut:
(a) P©P16i=1Z2
i < 32
ª
(b) P©P16i=1(Zi− ¯Z)2 < 25
ª
Estimasi titik
Pada chapter ini kita akan membahas beberapa metode estimasi yang penting, yaitu metode momen dan metode estimasi dengan likelihood terbesar.
Seperti yang sudah dibahas pada Chapter 1, populasi atau phenomena yang men-jadi perhatia, kita gambarkan dengan variabel random X : (Θ, F, P) → (R, B, PX).
Secara umum populasi X diasumsikan mempunyai distribusi probabilitas dengan fungsi densitas merupakan anggota dari keluarga
PX (θ1,...,θk):= © fX(·; θ1, . . . , θk) : (θ1, . . . , θk) ∈ Θ := Θ1× · · · × Θk ⊂ Rk ª , dimana (θ1, . . . , θk), k ∈ N adalah bilangan-bilangan yang tidak diketahui nilainya
atau disebut juga parameter. Kita namakan Θ ruang parameter. Misalnya,
PX(µ,σ2) := ½ 1 √ 2πσ2exp{− 1 2σ2(· − µ) 2} : (µ, σ2) ∈ (−∞, ∞) × (0, ∞) ⊂ R2 ¾ , yang berarti populasi X termasuk anggota dari keluarga distribusi normal dimana setiap elemen dari keluarga ini diidentifikasi oleh suatu parameter µ dan σ2yang tidak
diketahui nilainya. Tujuan dari estimasi titik adalah untuk menentukan nilai yang
sesuai dari parameter-parameter θ1, . . . , θk berdasarkan data hasil observasi terhadap
populasinya. Data x1, . . . , xn yang diperoleh dipandang secara matematik sebagai
realisasi atau nilai dari n variabel random yang saling independen X1, . . . , Xndengan
Xi : (Θ, F, P) → (R, B, PXi) dan Xi ∼ fX(·; θ1, . . . , θk), (θ1, . . . , θk) ∈ Θ. Fungsi
densitas bersama dari sampel random ini yang dihitung pada titik data x1, . . . , xn,
yaitu
fX1,...,Xn(x1, . . . , xn; θ1, . . . , θk) = Π
n
i=1fX(xi; θ1, . . . , θk), (θ1, . . . , θk) ∈ Θ,
memberikan hubungan fungsional antara parameter-parameter yang tidak diketahui dan data. Dengan kata lain dari data yang diperoleh dapat diidentifikasi berapa nilai parameter yang sesuai.
Definisi 2.0.1. Statistik ˆθ1 := t1(X1, . . . , Xn), . . . , ˆθk := tk(X1, . . . , Xn) yang
digu-nakan untuk mengestimasi θ1, . . . , θk disebut estimator. Sedangkan nilainya yang
dihitung pada titik data, yaitu t1(x1, . . . , xn), . . . , tk(x1, . . . , xn) disebut estimasi
un-tuk θ1, . . . , θk.
Contoh 2.0.2. Misalkan X1, . . . , X10 adalah sampel random dari populasi N(µ, σ2),
dengan (µ, σ2) ∈ (−∞, ∞) × (0, ∞). Mean sampel ¯X = P10
i=1Xi/10 sering dipakai
sebagai suatu estimator untuk µ. Jika pada suatu eksperimen diperoleh data misalnya 10, 20, 15, 30, 25, 30, 20, 15, 25, 5, maka rata-ratanya merupakan estimasi untuk µ. Jadi suatu estimator jelas merupakan variabel random, sedangkan estimasi adalah suatu bilanagn real.
2.1
Metode momen
Misalkan X ∼ fX(·; θ1, . . . , θk), (θ1, . . . , θk) ∈ Θ adalah populasi yang menjadi
per-hatian kita dan (θ1, . . . , θk) adalah parameter-parameter yang tidak diketahui.
Mo-mem ke j dari populasi ini terhadap titik pusat adalah µ0
j := E(Xj). Biasanya µ0j
bergantung pada θ1, . . . , θk karena itu kita notasikan sebagai µ0j = µ0j(θ1, . . . , θk), j =
1, . . . , k. Misalkan X1, . . . , Xn adalah sampel random dari populasi fX(·; θ1, . . . , θk),
(θ1, . . . , θk) ∈ Θ. Momen sampel ke j didefinisikan sebagai Mj0 := 1/n
Pn
i=1X j i,
j = 1, . . . , k. Karena µ0
j sangat dekat dengan Mj0, estimator ˆθ1, . . . , ˆθk dapat
ditu-runkan dengan meyelesaikan system persamaan
µ0
j(θ1, . . . , θk) = Mj0, j = 1, . . . , k, (2.1.1)
secara simultan untuk θ1, . . . , θk. Selanjutnya estimator yang diperoleh dengan cara
seperti ini kita sebut sebagai estimator metode momen (moment method esti-mator) disingkat MME.
Contoh 2.1.1. Misalkan X ∼ fX(·; µ, σ2), (µ, σ2) ∈ (−∞, ∞) × (0, ∞) dengan
E(X) = µ dan V ar(X) = σ2. Dalam hal ini kita mempunyai k = 2 dengan
θ1 = µ dan θ2 = σ2, sehingga MME ˆµ dan ˆσ2 adalah penyelesaian dari persamaan
µ = M0
1 dan σ2 + µ2 = M20. Jadi ˆµ = ¯X dan ˆσ2 = M20 − ¯X2 = (n − 1)S2/n. Jadi
ˆ
µ = t1(X1, . . . , Xn) = ¯X dan ˆσ2 = t2(X1, . . . , Xn) = (n − 1)S2/n.
Contoh 2.1.2. Misalkan X1, . . . , Xnadalah sampel random dari populasi Gamma(θ, κ).
Karena E(X) = κθ dan E(X2) = κ(1 + κ)θ2, maka MME ˆθ dan ˆκ dapat diperoleh
dengan menyelesaikan persamaan κθ = M0
1 dan κ(1 + κ)θ2 = M20, untuk θ dan κ.
Contoh 2.1.3. Misalkan X1, . . . , Xnadalah sampel random dari populasi Gamma(θ).
Andaikan kita tertarik untuk mencari MME untuk P{Xi ≥ 1} = exp{−1/θ}. Karena
E(Xi) = θ, maka MME ˆθ = ¯X. Misalkan p := exp{−1/θ}, maka θ = −1/ ln(p).
MME untuk p adalah penyelesaian dari persamaan −1/ ln(p) = ¯X untuk p. Jadi ˆ
p = exp{−1/ ¯X}.
2.2
Estimator dengan likelihood terbesar
Definisi 2.2.1. Misalkan X1, . . . , Xn merupakan n variabel random dengan Xi ∼
fXi(·; θ1, . . . , θk), (θ1, . . . , θk) ∈ Θ, i = 1, . . . , n. Misalkan x1, . . . , xn merupakan
data atau suatu realisasi dari X1, . . . , Xn. Fungsi L : Θ → R≥0, sedemikian hingga
L(θ1, . . . , θk) = fX1,...,Xn(x1, . . . , xn; θ1, . . . , θk) disebut fungsi likelihood. Sebagai
ke-jadian yang lebih khusus, jika X1, . . . , Xn merupakan suatu sampel random, maka
L(θ1, . . . , θk) = Πni=1fXi(xi; θ1, . . . , θk).
Selanjutnya, nilai-nilai dari (θ1, . . . , θk) ∈ Θ yang dinyatakan sebagai (ˆθ1, . . . , ˆθk)
sedemikian hingga
L(ˆθ1, . . . , ˆθk) = max
(θ1,...,θk)∈Θ
L(θ1, . . . , θk)
disebut estimasi dengan likelihood terbesar (engl. Maximum Likelihood Estimate). Biasanya (ˆθ1, . . . , ˆθk) merupakan fungsi dari data x1, . . . , xn, misalkan sebagai ˆθi =
ti(x1, . . . , xn), i = 1, . . . , k. Jika fungsi-fungsi ini kita terapkan terhadap sampel
ran-dom X1, . . . , Xn, maka ˆθi = ti(X1, . . . , Xn) disebut estimator dengan likelihood
terbe-sar (engl. Maximum Likelihood Estimator), disingkat MLE untuk θi, i = 1, . . . , k.
Dari definisi di atas adalah jelas bahwa permasalahan menentukan MLE adalah termasuk permasalahan optimisasi. Nilai-nilai dari (ˆθ1, . . . , ˆθk) memberikan global
maksimum dari L(θ1, . . . , θk) pada Θ. Karena nilai-nilai dari (θ1, . . . , θk) yang
memaksimumkan L(θ1, . . . , θk) juga memaksimumkan log-likelihood ln L(θ1, . . . , θk),
maka untuk memudahkan perhitungan, kita akan perhatikan fungsi ln L(θ1, . . . , θk)
saja.
2.2.1
Kasus satu parameter (k = 1)
Jika ruang parameter Θ merupakan interval terbuka, dan jika L(·) terdiferensialkan pada Θ, maka titik-titik extrim terjadi pada titik-titik yang merupakan penyelesaian dari persamaan
d ln L(θ)
dθ = 0. (2.2.1)
Andaikan ˆθ merupakan satu-satunya penyelesaian, maka titik ˆθ adalah MLE, jika d2ln L(θ)
dθ2 < 0. (2.2.2)
Jika penyelesaian dari (2.2.1) tidak tunggal, misalkan sebagai ˆθ1, . . . , ˆθm, m ∈ N dan
semuanya memenuhi (2.2.2), maka MLE adalah arg max
ˆ
θ1,...,ˆθm
{L(ˆθ1), . . . , L(ˆθm)}. (2.2.3)
Contoh 2.2.2. Misalkan X1, . . . , Xnadalah sampel random dari populasi X ∼ P OI(λ),
λ > 0. Fungsi likeihood dari datanya adalah L(λ) = Πni=1e −λλxi xi! = e −nλλPni=1xi Πn i=1(xi!) . Fungsi log-likelihoodnya adalah
ln L(λ) = −nλ + n X i=1 xiln λ − Πni=1(xi!). ⇒d ln L(λ) dλ = 0 ⇔ −n + 1 λ n X i=1 xi = 0 ⇔ λ = ¯x.
Selanjutnya uji turunan ke dua pada titik λ = ¯x memberikan d2ln L(λ) dλ2 = − 1 ¯ x2 n X i=1 xi = − n ¯ x < 0. Jadi MLE untuk λ adalah ˆλ = ¯X.
Catatan:
Tidak selamanya MLE dapat diperoleh melalui metode diferensial seperti pada kasus berikut.
Contoh 2.2.3. Misalkan X1, . . . , Xnadalah sampel random dari populasi X ∼ Exp(1, η),
x ≥ η. Fungsi likelihoodnya adalah
L(η) = Πn
i=1exp{−(xi− η)} = exp{−
Pn
i=1(xi− η)} ; untuk xi ≥ η, ∀i
0 ; untuk xi < η, untuk suatu i
.
Karena d ln L(η)dη = n, maka metode diferensial jelas tidak dapat diterapkan, oleh karena itu kita harus mencari metode alternatif. Misalkan x1:n, . . . , xr:n, . . . , xn:n merupakan
sampel terurut, yaitu x1:n ≤ x2:n ≤ . . . ≤ xr−1:n ≤ xr:n ≤ xr+1:n ≤ . . . ≤ xn:n. Maka
fungsi likelihood dapat pula di nyatakan sebagai
L(η) = exp{n(η − ¯x)} ; untuk x1:n≥ η 0 ; untuk η > x1:n .
Berarti MLE ˆη = X1:n, yaitu sampel terkecil.
2.2.2
Kasus k parameter
Misalkan ruang parametr Θ merupakan himpunan terbuka pada ruang Euclid Rk dan
penyelesaian dari system persamaan ∂ ln L(θ1, . . . , θk)
∂θj
= 0, j = 1, . . . , k. (2.2.4) Selanjutnya apakah titik-titik ekstrim ini memberikan nilai maksimum, harus diver-ifikasi. Untuk kasus k = 2, kita gunakan alat dari kalkulus sebagai berikut. Mis-alkan L(θ1, θ2) terdiferensialkan sampai order kedua, dan misalkan (ˆθ1, ˆθ2) merupakan
penyelesaian tunggal dari persamaan (2.2.4). Misalkan D(θ1, θ2) := µ ∂2ln L(θ 1, θ2) ∂θ2 1 ¶ µ ∂2ln L(θ 1, θ2) ∂θ2 2 ¶ − µ ∂2ln L(θ 1, θ2) ∂θ1∂θ2 ¶ . (2.2.5) Jika D(ˆθ1, ˆθ2) > 0 dan ∂ 2ln L(θ 1,θ2) ∂θ2
1 (ˆθ1, ˆθ2) < 0, maka (ˆθ1, ˆθ2) merupakan MLE. Dalam
kasus penyelesaian dari (2.2.4) tidak tunggal, semua penyelesaian harus diverifikasi apakah dia merupakan titik maksimum atau bukan. Selanjutnya MLE adalah titik (ˆθ1, ˆθ2) dengan L(ˆθ1, ˆθ2) terbesar.
Contoh 2.2.4. Misalkan X1, . . . , Xn adalah sampel random dengan Xi ∼ N(µ, σ2).
Kita mempunyai L(µ, σ2) = Πn i=1 1 √ 2πσ2 exp ½ −1 2σ2(xi − µ) 2 ¾ , (µ, σ2) ∈ (−∞, ∞) × (0, ∞) = 1 (2π)n/2σnexp ( − 1 2σ2 n X i=1 (xi− µ)2 ) ln L(µ, σ2) = −n 2ln(2π) − n 2 ln σ 2− 1 2σ2 n X i=1 (xi− µ)2. (2.2.6)
Dari dua persamaan
∂ ln L(µ, σ2) ∂µ = 1 σ2 n X i=1 (xi− µ) = 0 ∂ ln L(µ, σ2) ∂σ2 = − n 2σ2 + 1 2σ4 n X i=1 (xi− µ)2 = 0,
diperoleh ˆµ = ¯x dan ˆσ2 = i=1(xi−¯x)
n =: s2n. Selanjutnya masih harus diverifikasi,
apakah syarat untuk D(ˆσ2, s2
n) dipenuhi. Dari persamaan diatas, kita peoleh
∂2ln L(µ, σ2) ∂µ2 (ˆσ 2, s2 n) = − n s4 n ∂2ln L(µ, σ2) ∂(σ2)2 (ˆσ 2, s2 n) = n 2(ˆσ2)4 − 1 (ˆσ2)3 n X i=1 (xi− ¯x)2 = − n 2s4 n ∂2ln L(µ, σ2) ∂µ∂σ2 (ˆσ 2, s2 n) = − 1 (s2 n)2 n X i=1 (xi− ¯x) = 0. Jadi D(ˆσ2, s2
n) > 0, dan karena −n/(s2n)2 selalu negatif, maka dapat dipastikan ¯X
dan S2
n:=
Pn
i=1(Xi − ¯X)2/n merupakan MLE untuk µ dan σ2.
Contoh 2.2.5. Perhatikan sampel random X1, . . . , Xndari distribusi Exp(θ, η). Fungsi
densitas populasinya adalah
f (x; θ, η) = 1 θexp{(x − η)/θ} ; x ≥ η 0 ; η > x . Maka ln L(θ, η) =
−n ln θ −Pni=1(xi− η)/θ ; untuk x1:n ≥ η, ∀i
0 ; untuk x1:n < η, untuk suatu i
.
Karena ln L(θ, η) tidak terdiferensial terhadap η pada titik dimana ln L(θ, η) mencapai maksimum, maka MLE untuk η adalah ˆη = X1:n. Selanjutnya dari persamaan
∂ ln L(η, θ) ∂θ = − n θ + 1 θ2 n X i=1 (xi− x1:n) = 0,
diperoleh MLE untuk θ,
ˆ θ = 1 n n X i=1 (Xi− X1:n).
2.3
Keriteria-keriteria memilih estimator
Pada dua subbab sebelumnya telah dibahas metode-metode untuk menurunkan es-timator terhadap parameter-parameter dari populasi. Pada subbab ini kita akan merumuskan beberapa keriteria untuk membandingkan estimator sehingga kita bisa memilih yang mana yang ”terbaik”.
2.3.1
Ketakbiasan
Definisi 2.3.1. Misalkan X1, . . . , Xnmerupakan sampel random dari populasi fX(·; θ),
θ ∈ Θ ⊂ R. Misalkan τ : Θ → R merupakan fungsi real pada ruang parameter. Suatu estimator T := t(X1, . . . , Xn) disebut estimator tak bias jika E(T ) = τ (θ), ∀θ ∈ Θ.
Sebaliknya, jika kondisi ini tidak dipenuhi, kita sebut T estimator bias.
Contoh 2.3.2. Sebagai contoh misalkan X1, . . . , Xn merupakan sampel random dari
populasi dengan mean µ dan variansi σ2. Dari Contoh 1.2.2, mean sampel ¯X adalah
tak bias untuk µ dan variansi sampel S2 adalah tak bias untuk σ2. Dalam kasus ini
kita memilih τ sebagai fungsi identitas.
Suatu estimator yang bias untuk τ (θ) dapat dimodifikasi dengan cara sedemikian rupa sehingga hasil modifikasinya tak bias, seperti yang diperagakan pada contoh berikut.
Contoh 2.3.3. Misalkan X1, . . . , Xnmerupakan sampel random dari populasi Exp(θ)
atau Gamma(θ, 1). Jelaslah ¯X tak bias untuk θ. Tetapi 1/ ¯X bias terhadap 1/θ, seperti ditunjukan berikut. Misalkan Y := 2n ¯X/θ =Pni=12Xi/θ. Maka Y ∼ χ2(2n).
Dari Remark 1.3.5, untuk kasus r = −1, berlaku E(Y−1) = 1 2(n − 1) = θ 2nE µ 1 ¯ X ¶ ⇒ E µ 1 ¯ X ¶ = n (n − 1) 1 θ.
Jadi 1/ ¯X adalah bias terhadap 1/θ. Misalkan T := (n − 1)/(n ¯X), maka T jelas tak bias terhadap 1/θ. Berapakah variansi dari T ?
2.3.2
Keterkonsentrasian dan UMVUE
Definisi 2.3.4. Misalkan T1 dan T2 merupakan estimator (tidak harus tak bias) untuk
τ (θ). T1 dikatakan lebih terkonsentrasi disekitar τ (θ) daripada T2 jika untuk setiap
ε > 0 berlaku,
P{|T1− τ (θ)| < ε} ≥ P{|T2− τ (θ)| < ε}. (2.3.1)
Definisi 2.3.5. Misalkan Aτ (θ) merupakan himpunan semua estimator (tidak harus
tak bias) untuk τ (θ). T∗ dikatakan paling terkonsentrasi disekitar τ (θ) jika untuk
setiap ε > 0 berlaku,
P{|T∗− τ (θ)| < ε} = sup
T ∈Aτ (θ)
P{|T − τ (θ)| < ε}. (2.3.2)
Remark 2.3.6. Misalkan Uτ (θ) merupakan himpunan semua estimator tak bias untuk
τ (θ). Dengan ketaksamaan Chebychev diperoleh P{|T − τ (θ)| < ε} ≥ 1 − V ar(T )
ε2 , ∀ε > 0. (2.3.3)
Jadi berdasarkan ketaksamaan (2.3.3), jika T∗ ∈ U
τ (θ), maka T∗ merupakan estimator
tak bias yang paling terkonsentrasi disekitar τ (θ) dibandingkan dengan estimator-estimator lainnya di dalam Uτ (θ), jika dipenuhi
V ar(T∗) = inf T ∈Uτ (θ)
Kriteria ini menghasilkan suatu konsep baru dalam pemilihan estimator terbaik, yaitu konsep estimator tak bias dengan variansi minimum seragam (uniformly minimum variance unbiased estimator), disingkat UMVUE. Selanjutnya estimator tak bias yang memenuhi (2.3.4) disebut UMVUE.
Teorema 2.3.7. (Batas bawah Cramer-Rao)
Misalkan X1, . . . , Xn merupakan sampel random dari f (·; θ), θ ∈ Θ. Jika T :=
t(X1, . . . , Xn) merupakan estimator tak bias untuk τ (θ), dan jika τ0(θ) := dτ (θ)/dθ
ada. Maka batas bawah Cramer-Rao untuk τ (θ) adalah V ar(T ) ≥ [τ
0(θ)]2
nE¡∂
∂θln f (Xi; θ)
¢2 (2.3.5)
Proof. Pertama-tama kita definisikan suatu fungsi u : Rn→ R, dimana
u(x1, . . . , xn; θ) := ∂ ∂θ ln f (x1, . . . , xn; θ) = 1 f (x1, . . . , xn; θ) ∂ ∂θf (x1, . . . , xn; θ) ⇒u(x1, . . . , xn, θ)f (x1, . . . , xn; θ) = ∂ ∂θf (x1, . . . , xn; θ).
Selanjutnya kita definisikan suatu quantitas random yang masih bergantung pada θ, yaitu U := u(X1, . . . , Xn; θ). Maka
E(U) = Z ∞ −∞ · · · Z ∞ −∞ u(x1, . . . , xn; θ)f (x1, . . . , xn; θ) dx1· · · dxn = Z ∞ −∞ · · · Z ∞ −∞ ∂ ∂θf (x1, . . . , xn; θ) dx1· · · dxn = ∂ ∂θ Z ∞ −∞ · · · Z ∞ −∞ f (x1, . . . , xn; θ) dx1· · · dxn = ∂ ∂θ1 = 0.
Pada perhitungan ekspektasi dari U, pertukaran tanda integral dan diferensial dapat dilakukan karena domain dari integran-nya tidak bergantung pada θ. Dari asumsi T
tak bias terhadap τ (θ), diperoleh τ0(θ) = ∂ ∂θE(T ) = ∂ ∂θ Z ∞ −∞ · · · Z ∞ −∞ t(x1, . . . , xn)f (x1, . . . , xn; θ) dx1· · · dxn = Z ∞ −∞ · · · Z ∞ −∞ t(x1, . . . , xn) ∂ ∂θf (x1, . . . , xn; θ) dx1· · · dxn = Z ∞ −∞ · · · Z ∞ −∞ t(x1, . . . , xn)u(x1, . . . , xn; θ)f (x1, . . . , xn; θ) dx1· · · dxn = E(T U ).
Dari kedua hasil diatas diperoleh Cov(T, U ) = E(T U) − E(T )E(U) = τ0(θ). Pada sisi
lain, ketaksamaan Cauchy-Schwarz memberikan [Cov(T, U)]2 ≤ V ar(T )V ar(U),
sehingga V ar(T ) ≥ [Cov(T, U)]2/V ar(U) = [τ0(θ)]2/V ar(U). Selanjutnya kita
veri-fikasi lebih lanjut bentuk dari V ar(U). Mengingat X1, . . . , Xnadalah sampel random,
maka V ar(U) =V ar µ ∂ ∂θln Π n i=1f (Xi; θ) ¶ = V ar à n X i=1 ∂ ∂θ ln f (Xi; θ) ! = n X i=1 V ar µ ∂ ∂θ ln f (Xi; θ) ¶ = nE µ ∂ ∂θ ln f (Xi; θ) ¶2 . Dari hasil yang terakhir ini, diperoleh Ketaksamaan (2.3.5).
Catatan:
Jika V ar(T ) mencapai batas bawah Cramer-Rao, maka T jelas merupakan UMVUE.
Contoh 2.3.8. Misalkan X1, . . . , Xn merupakan sampel random dari Exp(θ). Kita
ingin menentukan batas bawah Cramer-Rao untuk τ (θ) = θ. Karena f (Xi; θ) =
1 θexp{−Xi/θ}, maka E µ ∂ ∂θ ln f (Xi; θ) ¶2 = E µ Xi− θ θ2 ¶2 = V ar(Xi) θ4 = 1 θ2.
Batas bawah Cramer-Rao untuk θ adalah θ2/n. Karena ¯X merupakan estimator tak
bias untuk θ dengan V ar( ¯X) = θ2/n, maka ¯X merupakan UMVUE untuk θ.
Catatan:
Variansi dari suatu estimator tak bias T untuk τ (θ) akan mencapai (sama dengan) batas bawah Cramer-Rao untuk τ (θ), jika [Cov(T, U)]2 = V ar(T )V ar(U). Dengan
kata lain korelasi antara T dan U harus sama dengan 1 atau −1. Ini terjadi, jika dan hanya jika T merupakan fungsi linear dari U, yaitu fungsi yang berbentuk T = aU +b untuk suatu konstanta a dan b.
Contoh 2.3.9. Misalkan X1, . . . , Xnmerupakan sampel random dari distribusi Geo(p),
dengan f (Xi; p) = p(1 − p)1−Xi, Xi = 0, 1, dan E(X) = 1/p. Kita ingin menentukan
estimator T yang tak bias terhadap 1/p, sedemikian hingga T = aU + b, untuk suatu konstanta a dan b. Dari rumus fungsi densitasnya, kita dapatkan
U = n X i=1 ∂ ∂p(ln p + (Xi− 1) ln(1 − p)) = n X i=1 µ 1 p − Xi− 1 1 − p ¶ . Sehingga setelah penyederhanaan diperoleh
T := aU + b = an p − 1X +¯ µ b − an p(p − 1) ¶ = c ¯X + d, dimana c := an
p−1 dan d := b − p(p−1)an . Karena ¯X merupakan estimator tak bias
untuk 1/p, sehingga agar T juga tak bias terhadap 1/p, maka harus dipilih c = 0 dan d = 0. Variansi dari ¯X adalah (1−p)/(np2) dan dipastikan sama dengan batas bawah
Cramer-Rao untuk 1/p.
Definisi 2.3.10. Misalkan T , T∗ ∈ U
τ (θ), dimana Uτ (θ) adalah himpunan semua
estimator tak bias untuk τ (θ). Efisiensi relatif dari T terhadap T∗ adalah
re(T, T∗) := V ar(T∗)
Estimator T∗ ∈ U
τ (θ) dikatakan efisien jika re(T, T∗) ≤ 1, ∀T ∈ Uτ (θ) and ∀θ ∈ Θ.
Selanjutnya, jika T∗ merupakan estimator yang efisien, maka efisiensi dari suatu
estimator T ∈ Uτ (θ) diberikan oleh e(T ) := re(T, T∗).
Definisi 2.3.11. Misalkan T merupakan sembarang estimator untuk τ (θ). Bias dari T terhadap τ (θ), dinotasikan sebagai b(T ) adalah
b(T ) := E(T ) − τ (θ). (2.3.7)
Sedangkan mean dari kudrat kesalahan mengestimasi τ (θ) dengan T disebut MSE (engl. mean squared error) dari T , adalah
MSE(T ) := E (T − τ (θ))2. (2.3.8)
Teorema 2.3.12. If T merupakan suatu estimator untuk τ (θ), maka MSE(T ) = V ar(T ) + [b(T )]2.
Proof.
MSE(T ) =E (T − E(T ) + E(T ) − τ (θ))2
=E (T − E(T ))2 + (E(T ) − E(T )) (E(T ) − τ (θ)) + (E(T ) − τ (θ))2 =E (T − E(T ))2 + (E(T ) − τ (θ))2
=V ar(T ) + [b(T )]2.
Keriteria MSE mengakomodasi dua quantitas yaitu variansi dan bias. Kriteria ini akan sesuai dengan kriteria UMVUE jika perhatian kita batasi pada estimator tak bias.
2.4
Soal-soal
1. Jika X1, . . . , Xn merupakan sampel random yang diambil dari populasi berikut.
Tentukan MME dan MLE untuk parameter-parameternya!
(a) f (x; θ) = ( θxθ−1 ; 0 < x < 1 0 ; x ≤ 0 atau x ≥ 1 , θ > 0. (b) f (x; θ) = ( (θ + 1)x−θ−2 ; 1 < x 0 ; x ≤ 1 , θ > 0. (c) f (x; θ) = ( θ2xe−θx ; 0 < x 0 ; x ≤ 0 , θ > 0.
(d) Xi ∼ P AR(θ, κ), θ dan κ tidak diketahui.
(e) f (x; θ1, η) =
(
θηθx−θ−1 ; η ≤ x
Statistik cukup, keluarga lengkap
dan keluarga eksponensial
Pada chapter ini kita akan membahas konsep statistik cukup (engl. sufficient statis-tic), statistik lengkap (engl. complete statistic) dan suatu keluarga fungsi distribusi probabilitas yang disebut keluarga eksponensial (engl. exponential family). Ketiga konsep ini sangat penting karena melandasi konsep perumusan prosudur inferensi pa-rameter, seperti estimasi interval dan uji hipotesis yang akan dibahas pada 2 chapter berikutnya.
3.1
Statistik cukup
Sebelum kita memberikan definisi formal dari statistik cukup, kita ikuti ilustrasi berikut. Misalkan X1, . . . , Xn merupakan sampel random dari populasi BIN(1, θ),
0 < θ < 1. Fungsi densitas bersama dari X1, . . . , Xn dihitung pada titik (x1, . . . , xn)
adalah
fX1,...,Xp(x1, . . . , xn; θ) =
(
θPni=1xi(1 − θ)n−Pni=1xi ; jika x
i ∈ {0, 1}, ∀i
0 ; jika xi 6∈ {0, 1}
. Andaikan kita tertarik pada statistik Y1 :=
Pn
i=1Xi. Jelas Y1berdistribusi BIN (n, θ),
sehingga fungsi densitas dari Y1 adalah
fY1(y1; θ) = Ã n y1 ! θy1(1 − θ)n−y1 ; jika y 1 ∈ {0, 1, . . . , n} 0 ; jika y1 6∈ {0, 1, . . . , n} .
Misalkan A := {ω ∈ Ω : Y1(X1(ω), . . . , Xn(ω)) = y1}. Untuk suatu titik (x1, . . . , xn)
yang tertetu, misalkan B := {ω ∈ Ω : X1(ω) = x1, . . . , Xn(ω) = xn}. Maka B ∩ A =
B, jika Y1(x1, . . . , xn) = y1. Sebaliknya jika Y1(x1, . . . , xn) 6= y1, maka B ∩ A = ∅.
Sehingga peluang bersyarat
P {X1 = x1, . . . , Xn = xn | Y1 = y1} = P(B | A) = P(B ∩ A) P(A) = θPni=1 xi(1−θ)n−Pni=1 xi n y1 θy1(1−θ)n−y1 ; jika Y1(x1, . . . , xn) = y1 0 ; jika Y1(x1, . . . , xn) 6= y1 = 1 n y1 ; jika Pni=1xi = y1 0 ; jika Pni=1xi 6= y1 .
Jadi P {X1 = x1, . . . , Xn= xn| Y1 = y1} tidak bergantung pada θ untuk setiap titik
(data) (x1, . . . , xn) yang memenuhi sifat
Pn
i=1xi = y1. Statistik Y1 yang memenuhi
sifat ini disebut statistik cukup untuk θ.
Definisi 3.1.1. Misalkan X1, . . . , Xnmerupakan sampel random dari populasi dengan
statistik dengan fungsi densitas gY1(·; θ), θ ∈ Θ. Maka Y1 adalah statistik cukup
untuk θ, jika dan hanya jika
fX1,...,Xn(x1, . . . , xn; θ)
gY1(y1; θ)
= H(x1, . . . , xn), (3.1.1)
dimana H(x1, . . . , xn) adalah fungsi yang tidak bergantung pada θ untuk setiap titik
(data) (x1, . . . , xn) dengan sifat u1(x1, . . . , xn) = y1.
Catatan:
Jika Y1 merupakan statistik cukup untuk θ, semua informasi tentang parameter θ
dibawa oleh Y1. Ini berarti inferensi tentang θ harus didasarkan pada Y1 bukan pada
statistik yang lain. Selanjutnya, pada bagian ini kita batasi pembicaraan pada kasus variabel kontinu dengan satu parameter, yaitu Θ ⊆ R. Kasus diskrit ditangani secara analog.
Teorema 3.1.2. (Teorema Faktorisasi)
Misalkan X1, . . . , Xn merupakan sampel random dari populasi dengan fungsi densitas
fX(·; θ), θ ∈ Θ. Statistik Y1 = u1(X1, . . . , Xn) merupakan statistik cukup untuk θ,
jika dan hanya jika terdapat fungsi-fungsi tidak negatif k1 dan k2 sedemikian hingga
fX1,...,Xn(x1, . . . , xn; θ) = k1(u1(x1, . . . , xn); θ)k2(x1, . . . , xn),
dimana untuk setiap titik (x1, . . . , xn) yang bersifat y1 = u1(x1, . . . , xn), k2(x1, . . . , xn)
tidak bergantung pada θ.
Proof. (⇐) Pertama-tama kita definisikan suatu transformasi satu-satu y1 = u1(x1, . . . , xn), . . . , yn= un(x1, . . . , xn)
dengan invers
Maka fungsi densitas bersama dari Y1, . . . , Yn adalah
fY1,...,Yn(y1, . . . , yn; θ) = fX1,...,Xn(x1, . . . , xn; θ) |J|
= k1(u1(x1, . . . , xn); θ)k2(x1, . . . , xn) |J|
= k1(y1; θ)k2(w1(y1, . . . , yn), . . . , wn(y1, . . . , yn)) |J| .
Fungsi densitas marginal dari Y1 adalah
gY1(y1; θ) = Z ∞ −∞ · · · Z ∞ −∞ k1(y1; θ)k2(w1(y1, . . . , yn), . . . , wn(y1, . . . , yn)) |J| dy2· · · dyn = k1(y1; θ) Z ∞ −∞ · · · Z ∞ −∞ k2(w1(y1, . . . , yn), . . . , wn(y1, . . . , yn)) |J| dy2· · · dyn = k1(y1; θ)m(y1), dimana m(y1) := R∞ −∞· · · R∞ −∞k2(w1(y1, . . . , yn), . . . , wn(y1, . . . , yn)) |J| dy2· · · dyn. Di
sini jelas bahwa m(y1) merupakan fungsi yang tidak bergantung pada θ maupun
y2, . . . , yn, melainkan hanya pada y1. Sehingga
fX1,...,Xn(x1, . . . , xn; θ) gY1(y1; θ) = k1(u1(x1, . . . , xn); θ)k2(x1, . . . , xn) k1(u1(x1, . . . , xn); θ)m(u1(x1, . . . , xn)) = k2(x1, . . . , xn) m(u1(x1, . . . , xn)) .
Karena ruas kanan dari persamaan yang terakhir tidak bergantung pada θ untuk setiap (x1, . . . , xn) yang bersifat y1 = u1(x1, . . . , xn), sesuai Definisi (3.1.1), Y1 adalah
statistik cukup untuk θ.
(⇒) Jika Y1 = u1(X1, . . . , Xn) merupakan statistik cukup untuk θ, maka sesuai
Defin-isi (3.1.1), berlaku
fX1,...,Xn(x1, . . . , xn; θ)
gY1(y1; θ)
= H(x1, . . . , xn),
dimana H(x1, . . . , xn) merupakan suatu fungsi yang tidak bergantung pada θ untuk
k1(u1(x1, . . . , xn); θ) := gY1(y1; θ) dan k2(x1, . . . , xn) := H(x1, . . . , xn), maka syarat
perlu terbukti.
Contoh 3.1.3. Misalkan X1, . . . , Xn merupakan sampel random dari N(µ, σ2),
den-gan −∞ < µ < ∞ dan diasumsikan σ2 diketahui. Apakah ¯X merupakan statistik
cukup untuk µ?. Karena fX1,...,Xn(x1, . . . , xn; µ, σ 2) = 1 (2π)n/2σnexp ( − 1 2σ2 n X i=1 (xi− µ)2 ) = 1 (2π)n/2σnexp ( − 1 2σ2 Ã n X i=1 (xi− ¯x)2+ n(¯x − µ)2 !)
Kita akan menerapkan Teorema Faktorisasi, karena itu kita harus mengelompokan ¯x dan µ ke dalam argumen dari k1, sedangkan k2 tidak boleh bergantung pada µ. Ambil
k1(¯x; µ) := exp{−n(¯x−µ)
2
2σ2 } dan k2(x1, . . . , xn) := (2π)n/21 σnexp{−2σ12
Pn
i=1(xi − ¯x)2}.
Maka berlaku fX1,...,Xn(x1, . . . , xn; µ, σ2) = k1(¯x; µ)k2(x1, . . . , xn). Karena k2 tidak
bergantung pada µ maka ¯X merupakan statistik cukup untuk µ.
Contoh 3.1.4. Misalkan X1, . . . , Xn merupakan samplel random dari populasi
den-gan fungsi densitas f (x; θ) = θxθ−1 ; 0 < x < 1 0 ; x ≤ 0 atau x ≥ 1 , θ > 0. Dengan fak-torisasi, fX1,...,Xn(x1, . . . , xn; θ) = θn(Πn i=1xi)θ−1 ; 0 < xi < 1, ∀i 0 ; ∃i, xi ≤ 0 atau xi ≥ 1 , θ > 0. Atau fX1,...,Xn(x1, . . . , xn; θ) = θn(Πni=1xi)θΠn1
i=1xi, 0 < xi < 1, ∀i. Dengan
mendefin-isikan k1(Πni=1xi; θ) := θn(Πni=1xi)θ dan k2(x1, . . . , xn) := Πn1
i=1xi, statistik Π
n i=1Xi
merupakan statistik cukup untuk θ. Catatan
u(Y1) atau Z = u(u1(X1, . . . , Xn)) := ν(X1, . . . , Xn) dengan invers Y1 := w(Z), maka
Z juka merupakan statistik cukup untuk θ. Ini terjadi karena
fX1,...,Xn(x1, . . . , xn; θ) = k1(u1(x1, . . . , xn); θ)k2(x1, . . . , xn)
= k1(w(ν(x1, . . . , xn)); θ)k2(x1, . . . , xn)
Karena k1hanya bergantung pada z = ν(x1, . . . , xn) dan θ sedangkan k2tidak
bergan-tung pada θ, maka teorema faktorisasi Z = u(Y1) merupakan statistik cukup untuk
θ ∈ Θ.
Teorema 3.1.5. Misalkan X1, . . . , Xn merupakan sampel random dari populasi X
dengan fungsi densitas fX(·, θ), θ ∈ Θ. Jika Y1 = u1(X1, . . . , Xn) merupakan statistik
cukup untuk θ dan ˆθ adalah MLE untuk θ dengan ˆθ tunggal, maka terdapat suatu fungsi h : R → R, sedemikian hingga ˆθ = h(Y1).
Proof. Dari teorema faktorisasi diperoleh
L(θ) = fX1,...,Xn(x1, . . . , xn; θ)
= k1(u1(x1, . . . , xn); θ)k2(x1, . . . , xn)
⇒ L(ˆθ) = max
θ∈Θ k1(u1(x1, . . . , xn); θ)k2(x1, . . . , xn).
Karena k2 merupakan fungsi yang tidak bergantung pada θ, maka berlaku
k1(u1(x1, . . . , xn); ˆθ) = max
θ∈Θ k1(u1(x1, . . . , xn); θ).
Dengan kata lain ˆθ memaksimumkan L(θ) dan k1(u1(x1, . . . , xn); θ) secara simultan.
Dari persamaan yang terakhir ˆθ merupakan suatu fungsi dari u1(x1, . . . , xn), yaitu
ˆ
θ = h(u1(x1, . . . , xn)) untuk setiap (x1, . . . , xn) yang bersifat u1(x1, . . . , xn) = y1.
Teorema 3.1.6. (Teorema Rao-Blackwell)
Misalkan X dan Y merupakan dua variabel random. Misalkan µX := E(X) dan
µY := E(Y ). Misalkan ϕ : R → R dengan ϕ(x) := E(Y | X = x). Maka
1. E(ϕ(X)) = µY, dengan kata lain ϕ(Y ) adalah tak bias terhadap µY.
2. V ar(ϕ(X)) ≤ V ar(Y ).
Proof. Kita buktikan teorema ini untuk kasus X dan Y variabel random kontinu, sedangkan pembukiannya analog dengan kasus kontinu. Misalkan fX(·) dan fY(·)
masing-masing merupakan fungsi densitas marginal dari X dan Y . Misalkan fX,Y(·)
merupakan fungsi densitas bersama dari X dan Y , sedangkan fY |X(· | x) merupakan
fungsi densitas bersyarat dari Y diberikan X = x untuk suatu x ∈ R. Maka
ϕ(x) = E(Y | X = x) = Z ∞ −∞ yfY |X(y | x)dy = Z ∞ −∞ yfX,Y(x, y) fX(x) dy ⇒ϕ(x)fX(x) = Z ∞ −∞ yfX,Y(x, y)dy. Sehingga E(ϕ(X)) = Z ∞ −∞ ϕ(x)fX(x)dx = Z ∞ −∞ µZ ∞ −∞ yfX,Y(x, y)dy ¶ dx = Z ∞ −∞ y µZ ∞ −∞ fX,Y(x, y)dx ¶ dy = Z ∞ −∞ yfY(y)dy = µY.
Ini membuktikan pernyataan pertama. Untuk membuktikan pernyataan kedua, kita berjalan dari definisi dasar dari V ar(Y ). Dari definisi diperoleh
V ar(Y ) = E (Y − µY)2 = E (Y − ϕ(X) + ϕ(X) − µY)2
= E (Y − ϕ(X))2+ E (ϕ(X) − µY)2+ 2E (Y − ϕ(X)) (ϕ(X) − µY)
Pernyataan ke dua akan terbukti jika 2E (Y − ϕ(X)) (ϕ(X) − µY) = 0. Karena
fX,Y(x, y) = fX(x)fY |X(y | x), maka diperoleh
E (Y − ϕ(X)) (ϕ(X) − µY) = Z ∞ −∞ Z ∞ −∞ (y − ϕ(x))(ϕ(x) − µY)fX,Y(x, y)dydx = Z ∞ −∞ (ϕ(x) − µY) µZ ∞ −∞ (y − ϕ(x))fY |X(y | x)dy ¶ fX(x)dx. Tetapi Z ∞ −∞ (y − ϕ(x))fY |X(y | x)dy = Z ∞ −∞ yfY |X(y | x)dy − Z ∞ −∞ ϕ(x)fY |X(y | x)dy = Z ∞ −∞ yfY |X(y | x)dy − ϕ(x) Z ∞ −∞ fY |X(y | x)dy = ϕ(x) − ϕ(x) = 0.
Selanjutnya karena E (Y − ϕ(X))2 ≥ 0, maka terbukti V ar(ϕ(X)) ≤ V ar(Y ). Catatan:
Jika P(X,Y ){(x, y) ∈ R2 : y − ϕ(x) = 0} = 0, maka kita peroleh ketaksamaan tegas
(engl. strick ): V ar(ϕ(X)) < V ar(Y ). Ini terjadi karena hal berikut E (Y − ϕ(X))2 = Z ∞ −∞ Z ∞ −∞ (y − ϕ(x))2f X,Y(x, y)dxdy = Z {(x,y)∈R2:(y−ϕ(x))2=0} (y − ϕ(x))2f X,Y(x, y)dxdy + Z {(x,y)∈R2:(y−ϕ(x))2>0} (y − ϕ(x))2fX,Y(x, y)dxdy = 0 + Z ∞ −∞
1{(x,y)∈R2:(y−ϕ(x))2>0}(y − ϕ(x))2fX,Y(x, y)dxdy
> 0 Z ∞
−∞
fX,Y(x, y)dxdy = 0,
dimana untuk suatu A ⊂ R2, 1
Aadalah indikator untuk A yang didefinisikan sebagai
1A(x, y) :=
(
1; jika (x, y) ∈ A 0; jika (x, y) 6∈ A
