Catatan Kuliah MA3081 STATISTIKA MATEMAT

(1)

Catatan Kuliah

MA3081 STATISTIKA MATEMATIKA

“Statistika Mengalahkan Matematika”

disusun oleh

Khreshna I.A. Syuhada, MSc. PhD.

Kelompok Keilmuan STATISTIKA - FMIPA Institut Teknologi Bandung

(2)

Daftar Isi

1 Peubah Acak dan Distribusi Kontinu 1

1.1 Fungsi distribusi . . . 1

1.2 Unsur Peluang . . . 4

1.3 Ekspektasi . . . 7

1.4 Distribusi Bivariat . . . 9

1.5 Distribusi Bersyarat . . . 11

1.6 Fungsi Pembangkit Momen . . . 14

2 Distribusi Sampel, Likelihood dan Penaksir 1 2.1 Sampel Acak . . . 1

2.2 Likelihood . . . 1

2.3 Statistic Cukup . . . 5

2.4 Distribusi Sampel . . . 6

2.5 Statistik Terurut . . . 6

2.6 Momen dari Mean dan Proporsi Sampel . . . 7

2.7 Teorema Limit Pusat . . . 7

3 Penaksiran dan Selang Kepercayaan 1 3.1 “Sifat-sifat” (Kesalahan) penaksiran . . . 1

(3)

BAB 1

Peubah Acak dan Distribusi

Kontinu

1.1 Fungsi distribusi

Definisi:

Misalkan X peubah acak. Fungsi distribusi (kumulatif) dari X adalah FX(x) = P(X≤x)

Contoh:

1. Misalkan X _∼ Bin(3,0.5), maka fungsi distribusi F(x) adalah fungsi tangga berikut

2. Misalkan X peubah acak dengan ‘support’ _S = [a, b], b > 0. Misalkan peluang X akan berada di selang _S proporsional terhadap panjang se-lang. Dengan kata lain,

(4)

untuk a _≤ x1 _≤ x2 _≤ b. Untuk menentukan λ, misalkan x1 = a dan x2 =b. Maka,

P(a_≤X _≤b) = 1 =λ(b₋a)_⇒λ = 1/(b₋a) Fungsi distribusinya:

F(x) =P(X _≤x) =P(a_≤X _≤x) =     

0, x < a;

x−a

b−a, x ∈[a, b];

1, x > b.

Peubah acak X dikatakan berdistribusi Uniform, X _∼U(a, b).

Sifat-sifat fungsi distribusi: • F(_−∞) = 0 dan F(_∞) = 1

• F merupakan fungsi tidak turun;F(a)_≤F(b) untuka _≤b • F adalah fungsi kontinu kanan; limϵ→0+ F(x+ϵ) =F(x)

Misalkan X peubah acak dengan fungsi distribusi F(x). • Jika b_≥a, maka P(a < X _≤b) = F(b)₋F(a)

• Untuk setiap x, P(X =x) = limϵ→0+ P(x−ϵ < X ≤) =F(x)−F(x−)

(Perhatikan notasi F(x₋) dan kasus apabila fungsi distribusi kontinu kiri)

Definisi:

(5)

• Misalkan X _∼U(0,1) danY =g(X) =hX+k, h <0. Maka X =g−1(Y) = (Y ₋k)/h

FX(x) =

FY(y) =

Y _∼U(h+k, k)

Latihan:

1. MisalkanX peubah acak kontinu yang memiliki fungsi distribusi FX(x)

yang naik murni. Misalkan Y =FX(X). Tentukan distribusi dariY

2. Misalkan U peubah acak berdistribusi U(0,1). Misalkan FX(x) fungsi

distribusi yang naik murni dariX. Tentukan fungsi distribusi dari peubah acak F_X−1(U)

3. Misalkan U1, U2, . . . , Un sampel acak dari U(0,1). Bangkitkan sampel

acak dariFX(x) (ambil contoh misalnya untukFX(x) = 1−e−λ x, x > 0)

Misalkan X peubah acak kontinu dengan fungsi distribusi FX(x). Misalkan

Y = g(X) fungsi kontinu tidak monoton. Kita ketahui bahwa pada fungsi yang monoton,

FY(y) =P(Y ≤y) =P(g(X)≤y)

dimana dalam hal ini setiap solusi inversex=g−1_{(y) digunakan untuk} menen-tukan FY(y) dengan menggunakan FX(g−1(y)). Untuk X ∼ U(−1,2) dan

(6)

1.2 Unsur Peluang

Misalkan X peubah acak kontinu, _△x bilangan positif kecil. Definisikan h(a, b) =def _P_(a

≤X _≤a+b) =FX(a+b)−FX(a)

Untuk h(x,_△x) = P(x _≤ X _≤ x+_△x), maka deret Taylor-nya disekitar △x= 0 adalah

h(x,_△x) =F(x+_△x)₋F(x) =h(x,0) + d

d_△xh(x,△x)

△x=0△x+o(△x) =

=

dimana

lim

△x→0

o(_△x) △x = 0

Fungsi

dF(x) = [

d dxF(x)

] △x

disebut DIFERENSIAL. Dalam statistika, diferensial dari fungsi distribusi adalah UNSUR PELUANG (yang merupakan pendekatan terhadaph(x,_△x)). Unsur peluang adalah fungsi linier dari d

dxF(x).

Contoh:

(7)

densitas rata-rata saat _△x_→0:

Catatan: Unsur peluang dituliskan sebagai dF(x) = f(x)_△x. Sifat-sifat fungsi peluang:

• f(x)_≥0 untuk semua x • ∫∞

−∞ f(x) = 1

Hubungan antara fungsi peluang dan fungsi distribusi:

f(x) = d f(x) menjadi fungsi peluag? Tentukan fungsi distribusinya.

(8)

Misalkan X peubah acak kontinu dengan fungsi peluang f(x) dan Y =g(X) fungsi yang terdiferensial bernilai tunggal. Maka fungsi peluang dari Y:

fY(y) =fX(g−1(y))

d dyg

−1_(y) untuk ‘support’ Y =g(X). Komponen

J(y) = d dyg

−1_(y)

adalah transformasi Jacobian. BUKTI:

Misalkan g(x) memiliki lebih dari satu fungsi invers maka unsur peluang yang terpisah harus dihitung untuk setiap fungsi invers. Contoh, misalkan X _∼ U(₋1,2) danY =g(X) =X2_{. Maka untuk}_y_∈_[0,_{1], terdapat 2 fungsi invers} yaitu ?, dan satu fungsi invers untuk y_∈(1,4] yaitu ?. Fungsi peluang dariY adalah:

(9)

1.3 Ekspektasi

Misalkan X peubah acak dengan fungsi peluang f(x). Nilai harapan dari X, jika ada, adalah

E(X) =µX =

∫ ∞

−∞

f(x)dx

Catatan: nilai ekspektasi dikatakan ada jika nilai integral adalah hingga.

Misalkan X rv dengan pdf f(x). Maka nilai harapan dari g(X), jika ada, adalah

Operator integral bersifat linier. Jika g1(X) dan g2(X) fungsi-fungsi yang memiliki ekspektasi dan a, b, c konstanta, maka

E[ag1(X) +bg2(X) +c] =aE[g1(X)] +bE[g2(X)] +c

Contoh/Latihan:

1. Jika distribusi X simetrik di sekitar c dan nilai harapanny ada maka E(X) =c.

(10)

Bukti:

f (

a+b 2 −δ

) =f

( a+b

2 +δ )

= 1

b₋a untuk δ_∈[

−b−a

2 ,

b−a

2 ]

3. MisalkanX berdistribusi Cauchy dengan fungsi peluang

f(x) = 1

σπ[1 + (x−_σ2µ)2

],

dengan µ, σ konstanta yang memenuhi _|µ_| < _∞ dan σ _∈ (0, σ). Tun-jukkan bahwa fungsi peluang simetrik di sekitarµnamun ekspektasinya bukanlah µ.

(11)

1.4 Distribusi Bivariat

Suatu fungsi fX,Y(x, y) dikatakan fungsi peluang bivariat jika

• fX,Y(x, y)≥0, untuk semuax, y

• ∫∞

−∞

∫∞

−∞ fX,Y(x, y)dxdy = 1

Jika fX,Y(x, y) fungsi peluang bivariat maka

FX,Y(x, y) =P(X ≤x, Y ≤y) =

∫ x

−∞

∫ y

−∞

fX,Y(u, v)dvdu

Sifat-sifat fungsi distribusi bivariat: 1. FX,Y(x,∞) = FX(x)

2. FX,Y(∞, y) =FY(y)

3. FX,Y(∞,∞) = 1

4. FX,Y(−∞, y) = FX,Y(x,−∞) =FX,Y(−∞,−∞) = 0

5. fX,Y(x, y) = ∂ 2

∂x∂y FX,Y(x, y)

fX,Y(x, y)△x△y adalah unsur peluang bersama,

P(x_≤X _≤x+_△x, y _≤Y _≤y+_△y) =fX,Y(x, y)△x△y+o(△x△y)

Contoh/Latihan:

1. Jika (X, Y)_∼U(a, b, c, d) maka

fX,Y(x, y) =

1

(b₋a)(d₋c), x∈(a, b), y ∈(c, d)

2. Untuk soal no 1 di atas, misalkan a=c= 0, b= 4, d= 6 maka P(2.5_≤X _≤3.5,1_≤Y _≤4) = 3/24

(12)

3. JikafX,Y(x, y) = (6/5) (x+y2) untuk x∈(0,1) dany ∈(0,1). Tentukan

(13)

1.5 Distribusi Bersyarat

Misalkan fX,Y(x, y) adalah fungsi peluang bersama, maka fungsi peluang Y,

diberikan X =x, adalah

fY|X(y|x) =def

fX,Y(x, y)

fX(x)

,

asalkan fX(x)>0.

Contoh: Misalkan X dan Y memiliki distribusi bersama fX,Y(x, y) = 8xy, 0< x < y <1,

Misalkan (X, Y) adalah peubah acak berpasangan dengan fungsi peluang bersama fX,Y(x, y). Pandang persoalan memprediksi Y setelah X = x terobservasi.

Prediktor dinotasikan sebagai ˆy(x). Prediktor terbaik didefinisikan sebagai fungsi ˆY(X) yang meminimumkan

(14)

Contoh/Latihan:

1. MisalkanX dan Y memiliki distribusi bersama fX,Y(x, y) = 8xy, 0< x < y <1,

maka

fY|X(y|x) =

2y

1₋x2, x < y < 1

ˆ

y(x) = E(Y_|X =x) = 2 (1−x 3₎ 3 (1₋x2₎

2. Misalkan (Y, X) berdistribusi normal bivariat denganE(Y) = µY, E(X) =

µX, V ar(Y) = σY2, V ar(X) = σX2 , Cov(X, Y) = ρX,Y σXσY. Distribusi

bersyarat Y, diberikan X, adalah (Y_|X =x)_∼

3. Tunjukkan bahwa

EX

[

fY|X(y|X)

]

=fY(y)

4. Buktikan

EX

{

E[h(Y)_|X]} =E[h(Y)]

5. Buktikan

V ar(Y) =EX

[

(15)

fY|X(y|x) =

3y2

x3 , 0< y < x <1 E(Yr

|X =x) = 3x

r

3 +r, E(Y|X =x) = 3x

4 , V ar(Y|X =x) = 3x2

80 V ar(E(Y_|X)) = 3/64

(16)

1.6 Fungsi Pembangkit Momen

Misalkan X peubah acak kontinu, fungsi pembangkit momen dari X adalah

MX(t) = E(etX) =

∫ ∞

−∞

etx_f_(x)dx,

asalkan ekspektasi ada untuk t disekitar 0. Jika semua momen dari X tidak ada, maka fungsi pembangkit momen juga tidak ada. Fungsi pembangkit momen berkaitan dengan fungsi pembangkit peluang

MX(t) = GX(et)

asalkan GX(t) ada untuk t disekitar 1. Jika MX(t) adalah fungsi pembangkit

peluang maka MX(0) = 1.

Contoh/Latihan:

1. Jika fX(x) =λe−λxI0,∞(x), maka

MX(t) =

2. Jika MX(t) ada maka

Ma+bX(t) =

3. Jika Xi, i = 1, . . . , n saling bebas, MXi(t) ada untuk setiap i, dan S =

∑

Xi, maka

MS(t) =

(17)

7. Misalkan Y _∼U(a, b). Gunakan fungsi pembangkit momen untuk men-dapatkan momen pusat

E((Y ₋µY)2) = E

((

Y ₋ a+b 2

(18)

BAB 2

Distribusi Sampel, Likelihood

dan Penaksir

2.1 Sampel Acak

Misalkan X1, X2, . . . , Xn sampel acak berukurann (random sample of sizen).

Fungsi peluang n-variat nya adalah

fX1,X2,···,Xn(x1, x2, . . . , xn) =

n

∏

i=1

fXi(xi)

Contoh/Latihan:

1. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi Eksponensial

den-gan parameter θ. Fungsi peluangn-variatnya adalah...

2. MisalkanX1, X2, . . . , Xnsampel acak dari distribusi Uniform pada selang

(19)

Contoh/Latihan:

1. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi N(µ, σ2). Fungsi

peluang n-variat yang bergantung pada parameternya ditulis sebagai...

Definisi

Fungsi likelihood adalah ukuran yang menyatakan sebarapa sering nilai θ, diberikan bahwa x telah terobservasi. Fungsi likelihood BUKAN suatu pelu-ang. Fungsi likelihood diperoleh dengan (i) menukar peran θ dan x dalam fungsi peluangn-variat, dan (ii) membuang suku yang tidak bergantung pada θ. Notasi:

L(θ) =L(θ_|x)_∝fX(x|θ)

Contoh/Latihan:

1. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi Eksponensial

den-gan parameter θ. Fungsi likelihoodnya adalah...

function likefunction;

% this function calculates the likelihood function of distribution %

% created by K Syuhada, 14/3/2011

clear clc

n = input(’n = ’); % size of random sample

% data

x = exprnd(0.5,n,1); sumx = sum(x);

% parameter of exponential distribution lambda = 0.5:0.05:5;

for i = 1:length(lambda)

(20)

2. MisalkanX1, X2, . . . , Xnsampel acak dari distribusi Uniform pada selang

(π, b). Fungsi likelihoodnya adalah...

Prinsip Likelihood

Jika dua percobaan, yang melibatkan model dengan parameter θ, memberikan likelihood yang sama, maka inferensi terhadap θ haruslah sama.

Ilustrasi

Pandang percobaan 1 dimana sebuah koin dilantunkan sebanyakn kali secara bebas. Misalkan p adalah peluang muncul MUKA dan X peubah acak yang menyatakan banyaknya MUKA yang muncul. Fungsi peluang dari X dan fungsi likelihoodnya adalah...

Pandang percobaan 2 dimana sebuah koin dilantunkan hingga diperoleh MUKA sebanyak 6 kali secara bebas. Misalkan Y peubah acak yang menyatakan banyaknya lantunan yang dibutuhkan agar diperoleh enam MUKA. Fungsi peluang dari X dan fungsi likelihoodnya adalah...

Dari 2 percobaan diatas, misalkan kita ingin melakukan uji hipotesis:

H0 :p= 0.5 versusH0 :p <0.5 Nilai signfikansinya atau p-value adalah...

Penaksir Likelihood Maksimum

Misalkan L(θ) adalah fungsi likelihood (fungsi dari parameter θ). Kita da-pat menentukan nilai θ yang memaksimumkan L(θ). Penaksir untuk θ, yaitu

ˆ

θ disebut Penaksir Likelihood Maksimum (maximum likelihood estimator, MLE). Penaksir suatu parameter adalah fungsi dari peubah acak.

Contoh/Latihan:

(21)

Normalisasi dari turunan pertama tersebut memberikan nilai

θ = ∑

xi

n ,

yang mana sebagai penaksir ditulis sebagai berikut:

ˆ θ =

∑ Xi

n = ¯X.

(Pr: Tunjukkan bahwa θ ini memaksimumkan L(θ) dengan menghitung turunan kedua).

2. MisalkanX1, . . . , Xnsampel acak berdistribusiU(0, θ). Tentukanθyang

memaksimumkan L(0, θ). Dengan kata lain, tentukan penaksir ˆθ untuk θ.

Sifat Penaksir

Setelah kita mendapatkan penaksir ˆθ, kita dapat menentukan sifat baik pe-naksir. Salah satunya adalah sifat TAK BIAS. Penaksir ˆθ dikatakan tak bias apabila

E(ˆθ) =θ.

Untuk contoh sampel acak Bernoulli,

E(ˆθ) =E

Jadi, penaksir ˆθ= ¯X adalah penaksir tak bias untukθ.

Catatan: Jika suatu penaksir ˆθ bersifat bias maka selisih nilai ekspektasi dan nilai θ tidak nol, atau

(22)

2.3 Statistic Cukup

Definisi -1

Suatu statistik T =t(X) adalah CUKUP atau sufficient untuk suatu keluarga distribusi fX(x|θ) JIKA dan HANYA JIKA fungsi likelihoodnya bergantung

terhadap X hanya melalui T: L(θ) =h(t(X), θ)

Definisi -2

Suatu statistik T = t(X) adalah CUKUP untuk suatu keluarga distribusi fX(x|θ) JIKA dan HANYA JIKA distribusi bersyarat dariXTIDAK

BERGAN-TUNG pada θ:

fX|T(x|t, θ) =h(x)

Definisi -3

Suatu statistik T = t(X) adalah CUKUP untuk suatu keluarga distribusi fX(x|θ) JIKA dan HANYA JIKA fungsi peluangnya dapat difaktorkan sebagai:

fX(x|θ) =g(t(x)|θ)h(x)

Contoh/Latihan:

1. Misalkan Xi untuk i = 1, . . . , n saling bebas dan berdistribusi identik

Bernoulli(p). Tunjukkan bahwa Y =∑n

i=1 Xi adalah statistik cukup.

2. MisalkanX1, . . . , Xn sampel acak berdistribusi Poisson dengan

parame-ter λ. Tunjukkan bahwa T =∑n

(23)

2.4 Distribusi Sampel

Misalkan X1, X2, . . . , Xnsampel acak berukurann dari distribusi Poisson

den-gan parameter λ. Peubah acakXi, i= 1, . . . , n saling bebas dan berdistribusi

identik dengan fungsi peluang n-variat:

P(X=x) =

xi. Dapat ditunjukkan juga Y = ∑Xi cukup. Distribusi

sampel dari Y adalah

fY(y|θ) =

e−nλ_(nλ)y

y! .

Misalkan Xi ∼ U(0, θ). Peubah acak-peubah acak Xi tersebut saling bebas

dan berdistribusi identik, dengan fungsi peluang:

fX(x|θ) =

Statistik T =X(n) cukup dan memiliki fungsi distribusi: P(X(n) ≤x) =

dan fungsi peluang: f(x) =

2.5 Statistik Terurut

MisalkanX1, . . . , Xnsampel acak berukuranndari suatu populasi yang

berdis-tribusi tertentu, dengan fungsi peluang fX dan fungsi distribusiFX. Pandang

X(k), statistik terurut ke-k. Untuk menentukan fX₍k₎(x), pertama partisikan

I1 = (−∞, x];I2 = (x, x+dx];I3 = (x+dx,∞).

Fungsi peluang fX(k)(x) adalah peluang mengamati sejumlah k−1 dari X di

(24)

yang dengan metode diferensial maka kita peroleh

fX(k)(x) =

(

n k₋1,1, n₋k

) (

FX(x)

)k−1(

1₋FX(x)

)n−k fX(x)

Contoh/Latihan:

1. Fungsi peluang dari statistik terurut terkecil/terbesar adalah...

2. Statistik terurut ke-k pada distribusi U(0,1) memiliki fungsi peluang...

2.6 Momen dari Mean dan Proporsi Sampel

2.7 Teorema Limit Pusat

Teorema

Misalkan X1, . . . , Xnsampel acak berukuran n dari populasi dengan meanµX

dan variansi σ2

X. Distribusi dari

Zn =

¯ X₋µX

σX/√n

konvergen ke N(0,1) untuk n_{→ ∞}.

Catatan:

• Hal penting dari Teorema Limit Pusat (Central Limit Theorem) adalah bahwa kekonvergenan dari Zn ke distribusi normal akan terjadi apapun

(25)

• Pandang: X1+_{· · ·}+Xn,

• Seberapa besar n harus kita pilih agar ¯X berdistribusi normal? n= 1? Bergantung pada distribusi dari data (parent distribution)!

Misalkan X _∼Exp(θ). Distribusi ini memiliki kemencengan (skewness) dan kelancipan (kurtosis):

Kemencengan (skewness) dan kelancipan (kurtosis) dari ¯X adalah

(26)

Misalkan X _∼ B(n, p) (ingat bahwa distribusi X tersebut sama dengan dis-tribudi dari sejumlah n peubah acak Bernoulli(p)). Untuk n besar,

ˆ

dimana menambah dan mengurangi dengan 0.5 disebut “continuity correc-tion”.

(27)

BAB 3

Penaksiran dan Selang

Kepercayaan

3.1 “Sifat-sifat” (Kesalahan) penaksiran

Pada penaksiran parameterθ, misalnya, penaksir ˆθadalah fungsi peubah acak. Nilai taksirannya “TIDAK” akan pernah sama dengan nilai parameternya. Misalkan T =T(X) adalah penaksir untukθ. Didefinisikan:

bT =E(T −θ) = E(T)−θ,

dan

V ar(T) = σT2 =E(T −µT)2 =E(T)−θ; µT =E(T),

adalah bias dan variansi dari penaksir T. Selain itu, didefinisikan pula, MSE atau Mean Square Error,

MSET(θ) = E(T −θ)2 =V ar(T) +b2T,

Misalkan X1, . . . , Xn sampel acak dari N(µ, σ2). Penaksir untuk σ2 adalah

S2 ₌ 1 n₋1

n

∑

i=1

(Xi−X)¯ 2,

dan/atau

V = 1 n

n

∑

(28)

Bias and MSE dari kedua penaksir adalah

bS2 =· · · b_V =· · ·

dan

MSES2 =· · · MSE_V =· · ·

Catatan: Penaksir dari deviasi standar dari suatu penaksir disebut “standard error” atau SE. Apakah SE dari jenis pengambilan sampel (sampling):

• Apapun asalkan tanpa pengembalian? • Bernoulli tanpa pengembalian?

3.2 Konsistensi

Salah satu sifat dari penaksir yang baik adalah sifat “tak bias”. Kita akan mempelajari sifat baik yang lain yaitu “konsisten”. Namun sebelumnya, per-hatikan Ketaksamaan Chebyshev. Misalkan X peubah acak dengan fungsi peluang fX(x). Misalkan h(X) fungsi non-negatif dari X dan ekpektasinya

ada serta k adalah konstanta positif. Maka

P(h(X)_≥k)_≤ E(h(X)) k . Bukti:

Aplikasi 1 Ketaksamaan Chebyshev. Misalkan E(X) = µX dan V ar(X) =

σ2

(29)

Konsistensi

Definisi: Barisan dari penaksir-penaksir, _{Tn}, disebut KONSISTEN untuk θ

jika

lim

n→∞ P(|Tn−θ|< ϵ) = 1,

untuk setiap ϵ >0.

Konvergen dalam Peluang

Definisi: Barisan dari penaksir-penaksir, _{Tn}, KONVERGEN dalam

PELU-ANG untuk θ jika barisan tersebut konsisten untuk θ. Notasi: Tn →prob θ.

Contoh/Latihan:

1. (Hukum Bilangan Besar) Jika ¯X adalah mean sampel dari suatu s.a berukuran n dengan mean µX, maka

¯

X _→prob µX.

Bukti:

2. Sebuah penaksir untuk θ dikatakan “Mean Square Consistent” jika lim

n→∞ MSETn(θ) = 0.