Estimator
Misalkan X1, X2, . . . , Xnvariabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f (x; θ), θ∈ Ω ⊆ R.
Definisi 2.12
Barisan estimator dari θ, {Vn} = {Vn(X1, X2, . . . , Xm)} dikatakan konsis-ten dalam probabilitas (konsiskonsis-ten lemah) jika
Vn → θ
untuk n → ∞ dan untuk semua θ ∈ Ω. Demikian juga barisan estimator dari θ, dikatakan konsiten hampir pasti (konsisten kuat) jika
Vn → θ untuk n→ ∞ dan untuk semua θ ∈ Ω. Teorema 2.7
Jika E[Vn] dan Var(Vn) untuk n→ ∞ maka Vn→ θ. Definisi 2.13
Barisan estimator dari θ, yang sudah dinormalkan dikatakan normal secara asimptotik ke N (0, σ2(θ)) jika
√
n(Vn− θ) →d X
untuk n → ∞ dan untuk semua θ ∈ Ω dengan X berdistribusi normal N (0, σ2(θ)) (di bawah Pθ).
Sifat Jika √
Definisi 2.14
Barisan estimator θ, dikatakan BAN (best asimptotically normal ) jika 1. estimator tersebut normal secara asimptotik.
2. variansi σ2(θ) dari distribusi normal limitnya terkecil untuk semua θ ∈ Ω dalam kelas semua barisan estimator yang memenuhi (1).
Barisan estimator BAN juga dinamakan efisien secara asimptotik. Teorema 2.8
Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas f (x; θ) dengan θ ∈ Ω ⊆ R. Jika syarat-syarat 1 sampai 6 pada pasal 2.2 dipenuhi, maka persamaan likelihood
∂
∂θ ln L(θ|x1, x2, . . . , xn) = 0 mempunyai akar θ∗
n = θ∗(X1, X2, . . . , Xn) untuk setiap n, sehingga barisan {θ∗
n} dari estimator adalah BAN dan variansi dari distribusi normal limitnya sama dengan invers informasi Fishernya yaitu
I(θ) = Eθ
h∂ ln f(x; θ) ∂θ
i2
dengan X mempunyai distribusi di atas. Contoh 2.15
Misalkan X1, . . . , Xnvariabel random saling bebas berdistribusi Binom(1, θ). MLE dari θ adalah ¯X = 1
n Pn
i=1Xi dan dinotasikan dengan ¯Xn. Dengan menggunakan Hukum Bilangan Besar Kuat (Strong Law of Large Number SLLN ) dan Hukum Bilangan Besar Lemah (Weak Law of Large Number -WLLN ) diperoleh √
n( ¯Xn− θ) → N(0, I−1(θ)) dengan I(θ) = 1
θ(1−θ). Akibatnya dengan menggunakan Teorema Limit Pusat (Central Limit Theorema) diperoleh bahwa
√
n( ¯Xn− θ) p
berdistribusi N (0, 1) secara asimptotik. Contoh 2.16
Misalkan X1, . . . , Xn variabel random saling bebas berdistribusi Poisson(θ). MLE dari θ adalah ¯X = 1
n Pn
i=1Xi dan dinotasikan dengan ¯Xn. Den-gan menggunakan Hukum BilanDen-gan Besar Kuat dan Hukum BilanDen-gan Besar Lemah, ¯X mempunyai sifat konsisten kuat dan konsisten lemah serta den-gan Teorema Limit Pusat,√
n( ¯Xn−θ) berdistribusi normal secara asimptotik dengan variansi sama dengan I−1(θ) = θ.
Contoh 2.17
Misalkan X1, . . . , Xnvariabel random saling bebas dengan distribusi N (µ, σ2) dengan µ tidak diketahui sedangkan σ2 diketahui. MLE untuk µ adalah
¯
Xn. Jika σ2 tidak diketahui dan µ diketahui maka MLE untuk σ2 adalah 1
n Pn
i=1(Xi−µ)2. Variansi dari√
n( ¯Xn−µ) yang berdistribusi normal adalah I−1(µ) = σ2. Limit variansi dari
√ nh 1 n n X i=1 (Xi− µ)2− σ2i
yang berdistribusi normal adalah I−1(σ2) = 2σ2. Definisi 2.15
Misalkan X1, . . . , Xn variabel random saling bebas dengan fungsi kepadatan probabilitas f (x; θ) dengan θ ∈ Ω ⊆ R. Dua barisan estimator
{Un} = {U(X1, . . . , Xn}
dan {Un} = {U(X1, . . . , Xn} dikatakan ekuivalen secara asimptotik jika un-tuk setiap θ∈ Ω berlaku sifat
√
n(Un− Vn)→ 0.
Contoh 2.18
Misalkan X1, . . . , Xnvariabel random saling bebas berdistribusi Binom(1, θ). Estimator UMVU untuk θ adalah
Un = ¯Xn= ¯X = 1 n n X =1 Xi.
Estimator ini juga merupakan MLE. Akan tetapi estimator Bayes untuk θ dengan fungsi kepadatan probabilitas prior Beta(α, β) adalah
α +Pn i=1Xi n + α + β dan estimator minimaksnya adalah
Wn= √ n 2 +Pn i=1Xi n +√ n .
Dengan menggunakan Teorema Limit Pusat √
n(Un− θ) → Z
dengan Z ∼ N(0, θ(1 − θ)). Dapat juga ditunjukkan bahwa √
Brief History of Rao C. R. Rao (b. 1920) Statistician. ASA MGP.
Rao is the most distinguished member of the Indian statistical school founded by P. C. Mahalanobis and centred on the Indian Statistical Insti-tute and the journal Sankhya. Raos first statistics teacher at the University of Calcutta was R. C. Bose. In 1941 Rao went to the ISI on a one-year training programme, beginning an association that would last for over 30 years. (Other ISI notables were S. N. Roy in the generation before Rao and D. Basu one of Raos students.) Mahalanobis was a friend of Fisher and much of the early research at ISI was closely related to Fishers work. Rao was sent to Cambridge to work as PhD student with Fisher, although his main task seems to have been to look after Fishers laboratory animals! In a remarkable paper written before he went to Cambridge, Information and the accuracy attainable in the estimation of statistical parameters, Bull. Calcutta Math. Soc. (1945) 37, 81-91 Rao published the results now known as the Cramr-Rao inequality and the Rao-Blackwell theorem. A very influential contribution from his Cambridge period was the score test (or Lagrange multiplier test), which he proposed in 1948. Rao was influenced by Fisher but he was perhaps as influenced as much by others, including Neyman. Rao has been a pro-lific contributor to many branches of statistics as well as to the branches of mathematics associated with statistics. He has written 14 books and around 350 papers. Rao has been a very international statistician. He worked with the Soviet mathematicians A. M. Kagan and Yu. V. Linnik (LP) and since 1979 he has worked in the United States, first at the University of Pittsburgh and then at Pennsylvania State University. He was elected to the UK Royal Society in 1967 and he received the US National Medal of Science in 2002. See ET Interview: C. R. Rao and ISI interview. For a general account of Statistics in India, see B. L. S. Prakasha Raos About Statistics as a Discipline in India.
Brief History of Neyman
Jerzy Neyman (1894-1981) Statistician. MacTutor References. NAS ASA MGP. SC, LP.
Neyman was educated in the tradition of Russian probability theory and had a strong interest in pure mathematics. His probability teacher at Kharkov University was S. N. Bernstein. Like many, Neyman went into statistics to get a job, finding one at the National Institute for Agriculture in Warsaw. He appeared on the British statistical scene in 1925 when he went on a fellowship to Pearsons laboratory. He began to collaborate with Pearsons son Egon Pearson and they developed an approach to hypothesis testing, which became the standard classical approach. Their first work was on the likelihood ratio test (1928) but from 1933 they presented a general theory of testing, featuring such characteristic concepts as size, power, Type I error, critical region and, of course, the Neyman-Pearson lemma. More of a solo project was estimation, in particular, the theory of confidence in-tervals. In Poland Neyman worked on agricultural experiments and he also contributed to sample survey theory (see stratified sampling and Neyman al-location). At first Neyman had good relations with Fisher but their relations began to deteriorate in 1935; see Neyman in A Guide to R. A. Fisher. From the late 1930s Neyman emphasised his commitment to the classical approach to statistical inference. Neyman had moved from Poland to Egon Pearsons department at UCL in 1934 but in 1938 he moved to the University of Cal-ifornia, Berkeley. There he built a very strong group which included such notable figures as David Blackwell, J. L. Hodges, Erich Lehmann, Lucien Le Cam (memorial) and Henry Scheff.
Chapter 3
Pengujian Hipotesis
Dalam seluruh bab ini X1, X2, . . . , Xn adalah variabel random saling bebas dan berdistribusi identik yang didefinisikan pada ruang probabilitas (S, F, P ), θ ∈ Ω ⊆ Rr dan mempunyai fungsi kepadatan probabilitas f (x; θ).
3.1 Konsep Umum dari Pengujian Hipotesis
Neyman-Pearson
Berikut ini diberikan definisi tentang hipotesis yang mendasari bab ini. Definisi 3.1
Suatu pernyataan berkenaan dengan parameter θ seperti θ ∈ ω ⊆ Ω di-namakan hipotesis (statistik) tentang θ dan biasanya dinotasikan dengan H atau H0. Demikian juga pernyataan bahwa θ∈ ωcdengan ωc= Ω−ω adalah hipotesis (statistik) tentang θ yang dinamakan alternatif dari H atau ditulis dengan A atau Ha. Hal itu berarti H(H0) : θ∈ ωc.
Seringkali hipotesis berasal dari klaim bahwa produk baru, teknik baru dan sebagainya lebih effisien dari yang telah ada. dalam konteks ini H atau H0 adalah suatu pernyataan yang meniadakan klaim ini dan dinamakan hipotesis nul (null hypothesis).
Jika ω mengandung hanya satu titik yaitu ω ={θ0} maka H dinamakan hipotesis sederhana (simple hypothesis) dan jika mengandung lebih dari satu titik maka dinamakan hipotesis komposit (composite hypothesis). Hal yang sama juga berlaku untuk alternatif. Bila hipotesis dibuat maka akan muncul masalah bagaimana menguji hipotesis berdasarkan pada nilai-nilai penga-matan.
Definisi 3.2
Uji random atau statistik (fungsi uji atau test function) untuk pengujian hipotesis H melawan alternatif A adalah fungsi terukur φ yang didefinisikan pada Rnke [0, 1] dan mempunyai interpretasi berikut ini. Jika (x1, x2, . . . , xn)t adalah nilai pengamatan dari (X1, X2, . . . , Xn)t dan
φ(x1, x2, . . . , xn) = y
maka hal ini dapat digambarkan sebagai suatu koin, yang mempunyai prob-abilitas untuk mendapatkan ’muka’ sebesar y, dilempar satu kali dan bila memperoleh ’muka’ maka H akan ditolak dan bila memperoleh ’belakang’ maka H akan diterima. Dalam kasus khusus, y dapat bernilai 0 atau 1 un-tuk semua (x1, x2, . . . , xn)t sehingga uji dinamakan uji yang tidak random (non randomized test). Hal itu berarti uji non random berbentuk
φ(x1, x2, . . . , xn) =
1 jika (x1, x2, . . . , xn)t ∈ B 0 jika (x1, x2, . . . , xn)t ∈ Bc
Dalam hal ini, himpunan Borel B ⊆ Rndinamakan daerah kritik (daerah penolakan - rejection region) dan Bc dinamakan daerah penerimaan (accep-tance region). Dalam pengujian hipotesis, kita dapat menghilangkan salah satu dari 2 jenis kesalahan berikut yaitu kesalahan yang terjadi karena H ditolak padahal H benar yaitu parameter yang tidak diketahui θ terletak dalam ω atau kesalahan yang terjadi karena menerima H padahal H salah. Definisi 3.3
Misalkan β(θ) = Pθ[MenolakH] sehingga
1− β(θ) = Pθ[MenerimaH]
dengan θ∈ Ω. Hal itu berarti bahwa β(θ) dengan θ ∈ ω adalah probabilitas untuk menolak H di bawah anggapan H benar.
Untuk θ∈ ω, β(θ) adalah probabilitas kesalahan tipe I. Besaran 1− β(θ)
dengan θ ∈ ωc adalah probabilitas menerima H yang dihitung di bawah anggapan H salah. Jadi untuk θ ∈ ωc, 1− β(θ) menyatakan probabilitas kesalahan tipe II.
Jelas bahwa, α merupakan batas atas terkecil dari probabilitas kesalahan tipe I. Diinginkan untuk membuat α sekecil mungkin (lebih disukai 0) dan
pada saat yang sama membuat kuasanya sebesar mungkin (lebih disukai 1). Tentu saja, memaksimumkan kuasa ekuivalen dengan memaksimumkan probabilitas kesalahan tipe II. sayangnya, dengan ukuran sampel yang tetap, hal ini tidak dapat dilakukan. hal yang dapat dilakukan adalah memilih ukuran tertentu untuk tingkat keberartian yang diperlukan (biasanya diambil 0,005; 0,001; 0,05 atau 0,1) dan mencari uji yang memaksimumkan kuasa.
Dengan anggapan bahwa kerugian potensial berkenaan dengan keputusan yang salah, pembuat keputusan merupaka seorang yang konservatif yang menyokong hipotesis nol sebagai kebenaran dan jika tidak demikian maka haruslah ada fakta-fakta dari data bahwa hal tersebut salah. Dalam hal ini, dia percaya bahwa akibat kesalahan penolakan hipotesis nol akan jauh lebih buruk dari pada kesalahan yang diakibatkan oleh menerimanya.
Sebagai contoh, perusahaan obat menganggap bahwa pasar obat pro-duk baru untuk menyembuhkan penyakit dibandingkan obat yang telah ada mempunyai tingkat penyembuhan sebesar 60%. Berdasarkan pada percobaan terbatas, divisi penelitian mengklaim bahwa obat baru lebih efektif. Jika obat tersebut gagal lebih efektif atau mempunyai efek samping yang mem-bahayakan, maka akan kehilangan pelanggan yang disebabkan oleh kekunoan produk akan lebih kecil pengaruhnya dibandingkan dengan kegagalan yang diakibatkan oleh ketidak-efektifan obat yang baru. Untuk itu, jika keputusan dibuat berdasarkan pada sejumlah percobaan klinis maka hipotesis nol se-harusnya adalah bahwa tingkat penyembuhan tidak lebih dari 60% melawan alternatif bahwa tingkat penyembuhannya lebih dari 60%.
Perlu dicatat bahwa dalam uji non random dengan daerah kritik B diper-oleh
β(θ) = Pθ[(x1, x2, . . . , xn)t ∈ B]
= 1.Pθ[(x1, x2, . . . , xn)t ∈ B] + 0.Pθ[(x1, x2, . . . , xn)t ∈ Bc] = Eθ[φ(x1, x2, . . . , xn)].
Hal yang sama juga dapat dikerjakan untuk uji non random. Jadi βφ(θ) = β(θ) = Eθ[φ(x1, x2, . . . , xn)], θ ∈ Ω.
Definisi 3.4
Uji tingkat α yang memaksimumkan kuasa uji diantara semua uji tingkat α dikatakan uji paling kuasa seragam (uniformly most powerful - UMP ). Jadi φ adalah uji UMP tingkat α jika
1. sup[βφ(θ)|θ ∈ ω] = α.
2. βφ(θ) ≥ βφ∗(θ), θ ∈ ωc untuk sebarang uji yang memenuhi (1).
Jika ωc hanya terdiri dari satu titik maka UMP hanya dinamakan uji paling kuasa (most powerful - MP ).