LANDASAN TEORI
Pada bab II ini akan dibahas dasar-dasar teori yang digunakan dalam penulisan skripsi, yaitu mengenai regresi linear, penaksiran maximum
likelihood dan uji rasio likelihood.
2.1 Penaksiran Maximum Likelihood
Misal X X1, 2,...,Xnadalah variabel random yang iid dengan pdf f x; ,
( )
θθ∈ Ω dimana θ merupakan suatu parameter yang tidak diketahui dan Ω adalah ruang parameter. Dalam melakukan penaksiran maximum likelihood ada beberapa tahapan yang harus dilakukan.
Pertama, cari pdf bersama dari X , X ,..., X yaitu 1 2 n f x ,x ,...,x ;
(
1 2 n θ .)
Karena X , X ,..., X adalah peubah acak yang iid maka 1 2 n
(
1 2 n) (
1) (
2) (
n)
f x ,x ,...,x ;θ =f x ; f x ; ...f x ;θ θ θ
Kedua, cari fungsi likelihoodnya. Fungsi likelihood didefinisikan sebagai pdf bersama dari X , X ,..., X yang dapat dianggap sebagai fungsi 1 2 n dari θ. Misalkan fungsi likelihood L ;x ,x ,...,x
(
θ 1 2 n) ( )
=L θ .L
( ) (
θ =f x ,x ,...,x ;1 2 n θ =) (
f x ; f x ; ...f x ;1θ) (
2 θ) (
n θ ,)
θ∈Ω n(
i)
i 1
f x ;
=
=
∏
θKetiga, cari taksiran dari θ. Dalam metode penaksiran maximum likelihood taksiran dari θ diperoleh dengan menemukan nilai θ, sebut θˆ , yang memaksimumkan fungsi likelihood, θˆ disebut taksiran maximum likelihood dari θ. Nilai θ yang memaksimumkan fungsi likelihood dapat diperoleh dengan mencari solusi dari persamaan berikut :
( )
∂ θ =
∂θ
L 0 dan ∂
( )
θ <∂θ
2
2
L 0
Adakalanya lebih mudah untuk memaksimumkan lnL
( )
θ daripada( )
L θ . Mencari nilai θ yang memaksimumkan fungsi lnL
( )
θ , sebut L *( )
θ ,akan memberikan hasil yang sama dengan mencari nilai θ yang
memaksimumkan L
( )
θ . Maka baik L( )
θ atau L *( )
θ dapat digunakan untuk mencari nilai ˆθ .Nilai θ yang memaksimumkan L *
( )
θ dapat diperoleh dengan mencari solusi dari persamaan( )
θ = ∂( )
θ∂θ
S L * = ∂lnL
( )
θ =0∂θ dan ∂
( )
θ <∂θ
2 2
L* 0
2.2 Uji Rasio Likelihood
Terdapat variabel random X X1, 2,...,Xn yang iid dan memiliki probability density function f xi( ; , ,...,i θ θ1 2 θm) untuk i = 1,2,...,n. Parameter- parameter dari populasi θ θ1, ,...,2 θm dimisalkan berada dalam ruang parameter Ω.
Misalkan ω merupakan subset dari Ω dan akan diuji hipotesis berikut :
(
θ θ θ)
∈ω0 1 2
1
: , ,..., : tidak demikian H m
H
Didefinisikan fungsi likelihood :
(
1 2 1 2) (
1 2)
1
, ,..., ; , ,..., ; , ,...,
=
=
∏
nm n i i m
i
L θ θ θ x x x f x θ θ θ
Jika θ θ1, ,...,2 θm∈ Ω, notasikan fungsi likelihood sebagai berikut :
( )
ΩL .
Jika θ θ1, ,...,2 θm∈ω, notasikan fungsi likelihood sebagai berikut :
( )
L ω .
Pandang rasio likelihood dari kedua fungsi likelihood diatas sebagai berikut :
( ) ( )
ωλ = Ω
* L
L
Nilai λ* tidak dapat digunakan sebagai statistik uji untuk menguji H0 dan H1 karena L
( )
ω dan L( )
Ω pada umumnya tidak dapat ditetapkan secara lengkap.Misalkan ˆω merupakan taksiran maximum likelihood untuk ω dan Ωˆ merupakan taksiran maximum likelihood untuk Ω.
Pandang :
( ) ( )
( )
ωλ = =λ
1 2 Ω , ,..., ˆ
ˆ
n
x x x L
L .
Nilai λ dapat dicari. λ dapat digunakan sebagai statistik uji untuk menguji hipotesis H0 dan H1.
Perhatikan :
( ) ( )
ωλ = Ω
ˆ ˆ L L .
( )
ωˆL dan L
( )
Ωˆ bernilai positif sehingga λ juga akan bernilai positif atau λ ≥ 0 . Kemudian karena ωˆ ⊂ Ωˆ maka L( )
ωˆ ≤L( )
Ωˆ . Karena L( )
ωˆ ≤L( )
Ωˆmaka nilai
( )
( )
ωΩˆˆ ≤1L
L . Sehingga diperoleh
( )
( )
ωλ
≤ = ≤
Ω
0 ˆ 1
ˆ L
L . Apabila λ = 0 maka L
( )
ωˆ =0, H0 akan ditolak.Jadi H0 akan ditolak apabila λ bernilai kecil (mendekati 0). Misalkan λ0 suatu bilangan pecahan positif sedemikian sehingga H akan ditolak apabila 0
λ λ
≤ ≤ 0
0 .
Misal α adalah tingkat signifikansi yang dipilih.
( )
( )
α =Pr λ x x1, ,...,2 xn ≤λ0;H0
Apabila pdf dari statistik λ
(
x x1, ,...,2 xn)
dapat diketahui untuk H0 benar maka konstanta λ0 dapat ditentukan, sedemikian sehingga :( )
( )
α =Pr λ x x1, ,...,2 xn ≤λ0;H0 .
Namun terkadang, dibawah H0 benar, sulit untuk menentukan distribusi dari statistik λ
(
x x1, ,...,2 xn)
. Karena itu tidak dimungkinkan untuk memperoleh λ0 yang memenuhi :( )
( )
α =Pr λ x x1, ,...,2 xn ≤λ0;H0
Karena distribusi dari statistik λ
(
x x1, ,...,2 xn)
sulit diketahui, maka dicari statistik lain yaitu G= −2lnλ.Dalam pengujian-pengujian yang menggunakan asumsi-asumsi tertentu dapat ditunjukkan bahwa G= −2lnλ akan berdistribusi χ2 dengan derajat bebas dimensiΩ −dimensiω (A Course in Mathematical Statistics by George G. Roussas, 362).
2.3 Model Regresi Linear
Analisis regresi merupakan salah satu metode untuk melihat hubungan antara variabel penjelas dengan variabel dependent yang dinyatakan dalam model regresi.
2.3.1 Regresi Linear Sederhana
Regresi linear sederhana merupakan model regresi yang melibatkan satu variabel penjelas dan satu variabel dependent.
Bentuk model sebagai berikut:
β β
= 0 + 1 +
j j j
y x e
dengan :
yj : variabel dependent untuk pengamatan ke-j β β0, : parameter-parameter model yang akan ditaksir 1
xj : variabel penjelas untuk pengamatan ke-j ej : komponen error; ej ~N
(
0,σ2)
= , ,...,1 2
j n; n merupakan banyak pengamatan.
2.3.2 Regresi Linear Berganda
Model regresi linear yang melibatkan lebih dari satu variabel penjelas
1, 2,..., p
X X X dengan satu variabel dependent disebut model regresi linier berganda. Bentuk model dituliskan sebagai berikut :
β β β β
= 0+ 1 1+ 2 2+ +... +
j j j p jp j
y x x x e
= 1,2,...,
j n; n merupakan banyak pengamatan.
Apabila model dinyatakan dalam bentuk matriks menjadi : y = xβ + e
β β β
⎡ ⎤ ⎡ ⎤
⎡ ⎤ ⎡ ⎤
⎢ ⎥ ⎢ ⎥
⎢ ⎥ ⎢ ⎥
⎢ ⎥ ⎢ ⎥
⎢ ⎥ ⎢ ⎥
=⎢ ⎥ =⎢ ⎥ =⎢ ⎥ =⎢ ⎥
⎢ ⎥ ⎢ ⎥
⎢ ⎥ ⎢ ⎥
⎢ ⎥ ⎢ ⎥
⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦
11 12 1 0
1 1
21 22 2 1
2 2
1 2
1
, 1 , ,
1
p p
n n np p
n n
x x x
y e
x x x
y e
x x x
y e
y x β e
Model regresi linear berganda di atas memiliki asumsi sebagai berikut :
• E e
( )
j =0, untuk j =1,2,...,n•
( )
= ⎨⎧⎩σ2 ≠= 0, untuk, untuk
i j
i j E e e
i j
• ej ∼N
(
0,σ2)
dan apabila dinyatakan dalam notasi matriks menjadi :
• E
( )
e =0 , dengan 0 adalah matriks nol berukuran n×1• E
( )
eeT =σ I2 , dengan I adalah matriks identitas berukuran n nו e memiliki distribusi normal dengan mean 0 dan variansi σ2I.
2.3.3 Penaksiran Parameter dalam Model Regresi Linear
Parameter-parameter pada model regresi linear biasanya ditaksir dengan menggunakan taksiran kuadrat terkecil atau dengan menggunakan taksiran maximum likelihood. Pada bagian ini akan dijelaskan mengenai penaksiran parameter dalam model regresi dengan menggunakan taksiran maximum likelihood.
Dari model regresi berganda dan asumsi e~N
(
0,σ2)
didapatkan bahwa yi berdistribusi normal dengan mean ⎡⎣β0 +β1xj1+ +... βpxjp⎤⎦ dan variansi σ : 2(
β β β)
β β σ βπσ
⎧ −⎡ + + + ⎤⎫
⎪ ⎣ ⎦⎪
= ⎨− ⎬
⎪ ⎪
⎩ ⎭
0 1 1
0 1 2 2
1 ...
; , ,..., exp
2 2
j j p jp
j p
y x x
f y
Kemudian akan dicari taksiran maximum likelihood untuk parameter- parameter pada model.
Pertama, cari pdf bersama dari Y ,Y ,...,Y yaitu 1 2 n f y ,y ,...,y ; , ,...,
(
1 2 n β β0 1 βp)
. Karena Y ,Y ,...,Y adalah peubah acak yang iid maka 1 2 n(
1 2 n 0 1 p) (
1 0 1 p) (
2 0 1 p) (
n 0 1 p)
f y ,y ,...,y ; , ,...,β β β =f y ; , ,...,β β β f y ; , ,...,β β β ...f y ; , ,...,β β β . Kemudian akan dicari fungsi likelihood. Fungsi likelihood didefinisikan sebagai pdf bersama dari Y ,Y ,...,Y . Fungsi likelihood 1 2 n L
(
β β0, ,...,1 βp)
diperoleh sebagai berikut :
( ) ( )
( ) ( ) ( )
( )
( )
=
=
β β β = β β β
= β β β β β β β β β
= β β β
⎧ ⎡ − β + β + + β ⎤ ⎫
⎪ ⎣ ⎦ ⎪
= πσ ⎨⎪⎩− σ ⎬⎪⎭
⎛ ⎞
=⎜⎝ πσ ⎟⎠ − σ − β + β
∏
∏
0 1 p 1 2 n 0 1 p
1 0 1 p 2 0 1 p n 0 1 p
n
j 0 1 p
j 1
2
n j 0 1 j1 p jp
2 2 j 1
n / 2
j 0 1
2 2
L , ,..., f y ,y ,...,y ; , ,...,
f y ; , ,..., f y ; , ,..., ...f y ; , ,..., f y ; , ,...,
y x ... x
1 exp 2 2
1 1
exp y x
2 2
( )
=
⎧ ⎡ + + β ⎤ ⎫
⎨ ⎣ ⎦ ⎬
⎩
∑
n j1 p jp 2⎭j 1
... x
Mencari nilai β β0, 1,...,β yang memaksimumkan fungsi p L
(
β β0, ,...,1 βp)
,akan memberikan hasil yang sama dengan mencari nilai β β0, 1,...,β yang p memaksimumkan fungsi lnL
(
β β0, ,...,1 βp)
, sebut L *(
β β0, ,...,1 βp)
. Untukmemaksimumkan L
(
β β0, ,...,1 βp)
sama saja dengan meminimumkan fungsi(
0 1 p)
L * , ,...,
− β β β , maka digunakan bentuk L*= −lnL :
( )
( )
β β β
πσ σ
β β β
πσ σ
β β
πσ σ
=
=
= −
⎧ ⎧ ⎫⎫
⎪⎛ ⎞ ⎡ ⎤ ⎪
= − ⎨⎪⎩⎜⎝ ⎟⎠ ⎨⎩− ⎣ − + + + ⎦ ⎬⎬⎭⎪⎭
⎧ ⎧ ⎧ ⎫⎫⎫
⎪ ⎛ ⎞ ⎪ ⎡ ⎤ ⎪⎪
= −⎨⎪⎩ ⎜⎝ ⎟⎠ + ⎨⎪⎩ ⎨⎩− ⎣ − + + + ⎦ ⎬⎬⎬⎭⎪⎭⎪⎭
⎛ ⎞
= − ⎜⎝ ⎟⎠+ − − +
∑
∑
/ 2 2
0 1 1
2 2
1
/ 2 2
0 1 1
2 2
1
0 1 1
2 2
* ln
1 1
ln exp ...
2 2
1 1
ln ln exp ...
2 2
1 1
2ln 2 2
n n
j j p jp
j
n n
j j p jp
j
j j
L L
y x x
y x x
n y
(
x)
( ) ( )
( ) ( )
( )
β
πσ β β β
σ
πσ β β β
σ
πσ β β
σ
=
=
=
⎧ ⎧ ⎫⎫
⎪ ⎡ + + ⎤ ⎪
⎨ ⎨ ⎣ ⎦ ⎬⎬
⎪ ⎩ ⎭⎪
⎩ ⎭
⎧ ⎧ ⎫⎫
⎪ ⎡ ⎤ ⎪
= −⎨⎪⎩ − + −⎨⎩ ⎣ − + + + ⎦ ⎬⎬⎭⎪⎭
⎧ ⎧ ⎫⎫
⎪ ⎡ ⎤ ⎪
= −⎨⎪⎩ − + −⎨⎩ ⎣ − + + + ⎦ ⎬⎬⎭⎪⎭
= − − + − − + +
∑
∑
∑
2
1
2 2
0 1 1
2 1
2 2
0 1 1
2 1
2
0 1 1
2
...
ln1 ln2 1 ...
2 2
0 ln2 1 ...
2 2
ln2 1 ...
2 2
n
p jp j
n
j j p jp
j
n
j j p jp
j
j j
x
n y x x
n y x x
n y
(
x)
( ) ( )
β
β β β
πσ σ
=
=
⎧ ⎧ ⎫⎫
⎪ ⎡ + ⎤ ⎪
⎨ ⎨ ⎣ ⎦ ⎬⎬
⎪ ⎩ ⎭⎪
⎩ ⎭
⎡ − + + + ⎤
⎣ ⎦
= +
∑
∑
2
1
2
0 1 1
1 2
2
...
2ln 2 2
n
p jp j
n
j j p jp
j
x
y x x
n
Untuk mendapatkan L *
(
β β0, ,...,1 βp)
yang minimum, diperlukan(
β β0, ,...,1 βp)
yang meminimumkan fungsi
(
β β β)
=
⎡ − + + + ⎤
⎣ ⎦
∑
0 1 1 21
...
n
j j p jp
j
y x x .
Sekarang akan dicari taksiran untuk β β0, 1,...,β yang meminimumkan fungsi : p
( )
β β β β β β
=
⎡ ⎤
=
∑
⎣ − + + + ⎦20 1 0 1 1
1
( , ,..., p) n j j ... p pj
j
H y x x .
Nilai β β0, 1,...,β yang meminimumkan p H
(
β β0, ,...,1 βp)
dapat diperoleh dengan mencari solusi dari persamaan berikut :0 1
0
0 1
1
0 1
( , ,..., ) 0, ( , ,..., )
0,
( , ,..., ) 0.
∂ =
∂
∂ =
∂
∂ =
∂
β β β
β
β β β
β
β β β
β
p
p
p
p
H
H
H
dimana masing-masing turunan parsialnya adalah sebagai berikut :
( ) ( )
( ) ( )
( ) ( )
β β β
β β β
β
β β β
β β β
β
β β β
β β β
β
=
=
=
∂ ∂ = ⎡⎣ − + + + ⎤⎦ −
∂ ∂ = ⎡⎣ − + + + ⎤⎦ −
∂ ∂ = ⎡⎣ − + + + ⎤⎦ −
∑
∑
∑
0 1
0 1 1
0 1
0 1
0 1 1 1
1 1
0 1
0 1 1
1
( , ,..., )
2 ... 1
( , ,..., )
2 ...
( , ,..., )
2 ...
p n
j j p jp
j p n
j j p jp j
j
p n
j j p jp jp
p j
H y x x
H y x x x
H y x x x
2.3.4 Pengujian Hipotesis dalam Regresi Linear Berganda
Setelah diperoleh taksiran dari parameter-parameter dalam model selanjutnya dilakukan pengujian hipotesis terhadap parameter dalam model. Pengujian terbagi ke dalam dua bagian yaitu pengujian
kegunaan model dan pengujian terhadap masing-masing koefisien regresi.
2.3.4.1 Pengujian kegunaan model
Pengujian kegunaan atau kecocokan model adalah pengujian untuk menentukan apakah ada hubungan linear antara variabel dependent dan variabel penjelas X X1, 2,...,Xp.
Hipotesis :
β =β = =β =
0: 1 2 ... p 0
H β
∃ ≠ =
1: i 0 , 1,2,...,
H untuk i p
Jika H0 ditolak, berarti paling tidak ada satu dari variabel penjelas
1, 2,..., p
X X X mempunyai kontribusi yang signifikan pada model. Atau dengan perkataan lain setidaknya ada satu variabel penjelas yang dapat digunakan untuk memprediksi variabel dependent.
Dalam pengujian model di atas akan dilakukan pengujian dengan menggunakan Uji Rasio Likelihood.
Statistik uji sebagai berikut:
( ) ( )
2ln 2ln ˆ
ˆ G
L L λ
ω
= −
= − Ω
dengan G akan berdistribusi χ2 ( Hosmer & Lemeshow 2000 : 13).
2.3.4.2 Pengujian terhadap masing-masing koefisien regresi (β )
Pengujian ini dilakukan untuk menentukan variabel penjelas mana yang signifikan memberikan kontribusi pada model atau dengan perkataan lain memberikan kontribusi yang signifikan dalam memprediksi variabel dependent.
Hipotesis sebagai berikut : β =
0: i 0
H
Variabel Xi tidak memberikan kontribusi yang signifikan dalam memprediksi variabel dependent.
β ≠
1: i 0
H
Variabel X memberikan kontribusi yang signifikan dalam i memprediksi variabel dependent.
untuk i = 1,2,...,p.
βˆi adalah taksiran untuk parameter βi pada model dengan
menggunakan metode maximum likelihood. βˆi adalah taksiran yang tak bias untuk βi dengan taksiran variansi βˆ
i
s merupakan taksiran variansi yang bernilai lebih rendah (underestimate) daripada variansi yang sesungguhnya. Akan tetapi untuk jumlah sampel yang besar, nilai dari βˆ
i
s akan mendekati nilai yang sebenarnya.
Maka :
( )
β
= β →
ˆ
ˆ 0,1
i
z i N
s
Jadi untuk pengujian di atas digunakan statistik uji sebagai berikut :
β
= β
ˆ
ˆ
i
z i
s
dengan z ∼N
( )
0,1 .Aturan keputusan : H0 akan ditolak pada tingkat signifikansi αapabila
> α/ 2
z z .
Apabila keputusannya H0 ditolak, yang memberi arti bahwa pada tingkat signifikansi α parameter βi tidak sama dengan nol, maka artinya variabel penjelas Xi memberikan kontribusi yang signifikan dalam memprediksi variabel dependent.
2.3.5 Mengukur Kecocokan Model
Selain melakukan pengujian seperti dijelaskan di atas ada beberapa metode untuk mengukur kecocokan model, salah satunya adalah dengan koefisien determinasi R2.
R2 merupakan proporsi variasi dari variabel dependent yang dapat dijelaskan oleh variabel penjelas melalui model (0≤R2 ≤1). Semakin besar R2, maka menunjukkan model yang terbentuk semakin baik.
Definisi :
Koefisien determinasi R2 didefinisikan sebagai berikut :
= − ≤ ≤
= −
2 2
( )
( )
1 ; 0 1
( )
Total
Total
R SSE R
SS Total
SS SSE
SS dengan
( )
=
∑
j − ˆj 2 SSE y y( )
=
∑
− 2(Total) j
SS y y
( )
= −
=
∑
−( ) ( )
ˆ 2
Model Total
j
SS SS SSE
y y
di mana yˆi merupakan nilai prediksi dariyi. Interpretasi dari R2 :
Sebesar 100(R2)% dari variasi sampel y dapat dijelaskan melalui variabel-variabel penjelas dalam model regresi yang terbentuk.
Pandang :
( )
= − ˆ
j j j
e y y
=
∑
j2j
SSE e
Akan dibuktikan bahwa
∑
2jj
e
n konvergen menuju σ secara probabilitas . 2
Ada beberapa teorema yang digunakan untuk membuktikan bahwa
∑
2jj
e n konvergen menuju σ secara probabilitas yaitu : 2
*) Teorema 1 :
Jika variabel X memiliki distribusi N ∼
(
μ σ, 2)
;σ2 >0 maka(
μ)
χσ
= − ∼
2 2 2 (1)
V X .
*) Teorema 2 :
Jika terdapat variabel-variabel yang independent X X1, 2,...,Xn yang memiliki distribusi χ χ χ
1 2
2 2 2
( ), ( ),...., ( )
r r rn , maka variabel random
( )
χ + + +
= + + + ∼
1 2
2
1 2 ... ...
n r r rn
Y X X X .
Pembuktian
∑
2jj
e
n konvergen menuju σ secara probabilitas : 2 Diketahui bahwa ej ∼N
(
0,σ2)
.Berdasarkan teorema 1 diperoleh :
( )
( )
σσ σ χ
−
=
= ∼
2
2 2
2 2
2 2 (1) j 0
j
j
e
e e
Dengan perkataan lain χ σ ∼
2 1 2
2 (1)
e , χ
σ ∼
2 2 2
2 (1)
e ,..., χ
σ ∼
2 2 2 (1)
en
. Kemudian, berdasarkan teorema 2 didapatkan :
σ +σ + +σ ∼χ + + +
2 2 2
1 2 2
(1 1 ... 1)
2 2 ... n2
e e e
atau
σ χ
∑
∼
2 2 2 ( )
j j
n
e
Sehingga σ
⎛ ⎞
⎜ ⎟ =
⎜ ⎟
⎜ ⎟
⎝ ⎠
∑
22 j j
e
E n dan
σ
⎛ ⎞
⎜ ⎟ =
⎜ ⎟
⎜ ⎟
⎝ ⎠
∑
22 2
j j
e
Var n.
Selanjutnya akan dicari ekspektasi dan variansi dari
∑
j2j
e n .
σ σ
σ σ
σ σ σ
σ
⎛ ⎞ ⎛ ⎞
⎜ ⎟= ⎜ ⎟
⎜ ⎟ ⎜ ⎟
⎜ ⎟ ⎜ ⎟
⎝ ⎠ ⎝ ⎠
⎛ ⎞
⎜ ⎟
= ⎜ ⎟
⎜ ⎟
⎝ ⎠
⎛ ⎞
⎜ ⎟
= ⎜ ⎟
⎜ ⎟
⎝ ⎠
=
=
∑ ∑
∑
∑
2 2
2 2
2 2
2
2 2
2
2
2
j j
j j
j j
j j
e e
E E
n n
e E n
e n E
n n
( ) ( ) ( )
( )
σ
σ σ
σ
σ σ
σ
σ σ
⎛⎛ ⎞⎞
⎛ ⎞ ⎜⎜ ⎛ ⎞⎟⎟
⎜ ⎟= ⎜⎜ − ⎜ ⎟⎟⎟
⎜ ⎟ ⎜ ⎜ ⎟ ⎟
⎜ ⎟ ⎜⎜ ⎜ ⎟⎟⎟
⎝ ⎠ ⎝⎝ ⎝ ⎠⎠⎠
⎛⎛ ⎞ ⎞
⎜⎜ ⎟ ⎟
= ⎜⎜⎝⎜⎜⎝ − ⎟⎟⎠ ⎟⎟⎠
⎛⎛ ⎞ ⎞
⎜⎜ ⎟ ⎟
= ⎜⎜⎝⎜⎜⎝ − ⎟⎟⎠ ⎟⎟⎠
⎛⎛ ⎞ ⎞
⎜⎜ ⎟ ⎟
= ⎜⎜⎝⎜⎜⎝ − ⎟⎟⎠ ⎟⎟⎠
⎛ ⎛ ⎞
⎜ ⎜ ⎟
= ⎝ ⎜⎜⎝ − ⎟⎟⎠
∑ ∑ ∑
∑
∑
∑
∑
2 2 2 2
2 2 2
2 2 2
2 2
2 2 2
2 2
2 2
2
1 1
i i i
i i i
i i
i i
i i
i i
e e e
Var E E
n n n
e
E n
e
E n
e E n
e
E n
( ) ( )
( ) ( )
σ σ
σ σ
σ σ σ
σ σ σ
⎛ ⎞ ⎞
⎜ ⎟ ⎟
⎜⎜ ⎟ ⎟
⎜⎜ ⎟ ⎟
⎜ ⎠ ⎟
⎝ ⎠
⎛ ⎛ ⎞⎞
⎜ ⎜ ⎟⎟
= ⎜⎜⎝ ⎜⎜⎝ − ⎟⎟⎠⎟⎟⎠
⎛ ⎛ ⎞⎞
⎜ ⎜ ⎟⎟
= ⎜⎜⎝ ⎜⎜⎝ − ⎟⎟⎠⎟⎟⎠
⎛⎛ ⎞ ⎞
⎜⎜ ⎟ ⎟
= ⎜⎜⎝⎜⎜⎝ ⎟⎟⎠ − + ⎟⎟⎠
⎡ ⎛ ⎞ ⎛ ⎞ ⎤
⎢ ⎜ ⎟ ⎜ ⎟ ⎥
= ⎢⎢⎣ ⎜⎜⎝ ⎟⎟⎠ − ⎜⎜⎝ ⎟⎟⎠+ ⎥⎥⎦
∑
∑
∑ ∑
∑ ∑
2
2 2
22 2
2 2
4 2
2 2 2
4
2 2
2 2 2
4
2 2
1 1
1 1
1 1
2 1
1 1
2 1
i i
i i
i i
i i
i i
i i
e
E n
e
E n
e e
E n n
e e
E E
n n
dari
σ σ σ
⎛ ⎛ ⎞ ⎞
⎛ ⎞ ⎜ ⎛ ⎞ ⎜ ⎛ ⎞⎟ ⎟
⎜ ⎟ =⎜ ⎜ ⎟+⎜ ⎜ ⎟⎟ ⎟
⎜ ⎟ ⎜ ⎜ ⎟ ⎜ ⎟ ⎟
⎜ ⎟ ⎜ ⎜ ⎟ ⎜ ⎜ ⎟⎟ ⎟
⎝ ⎠ ⎝ ⎝ ⎠ ⎝ ⎝ ⎠⎠ ⎠
∑
2 2∑
2∑
2 22 var 2 2
j j j
j j j
e e e
E E diperoleh :
σ σ σ σ
⎡ ⎛ ⎛ ⎞ ⎛ ⎛ ⎞⎞ ⎞ ⎛ ⎞ ⎤
⎢ ⎜ ⎜ ⎟ ⎜ ⎜ ⎟⎟ ⎟ ⎜ ⎟ ⎥
⎢ ⎥
= ⎢⎢⎣ ⎜⎜⎜⎝ ⎜⎜⎝ ⎟⎟⎠+⎜⎜⎝ ⎜⎜⎝ ⎟⎟⎠⎟⎟⎠ ⎟⎟⎟⎠− ⎜⎜⎝ ⎟⎟⎠+ ⎥⎥⎦
∑
2∑
2 2∑
24
2 2 2 2
1 1
var 2 1
j j j
j j j
e e e
E E
n n
dengan mensubstitusi σ
⎛ ⎞
⎜ ⎟ =
⎜ ⎟
⎜ ⎟
⎝ ⎠
∑
22 j j
e
E n dan
σ
⎛ ⎞
⎜ ⎟ =
⎜ ⎟
⎜ ⎟
⎝ ⎠
∑
2var 2 2
j j
e
n didapatkan :
( ) ( ) ( )
σ σ σ
σ
σ σ
⎡ ⎤
= ⎢⎣ + − + ⎥⎦
⎡ ⎤
= ⎢⎣ + − + ⎥⎦
⎡ ⎤
= ⎢⎣ + − ⎥⎦
⎡ + − ⎤
= ⎢ ⎥
⎣ ⎦
⎡ ⎤
= ⎢⎣ ⎥⎦
= ⎡ ⎤⎢ ⎥⎣ ⎦
4 2
2
4 2
2
4 2
2
2 2
4
2
4 2
4
1 2 21 1
1 2 2 1
1 2 1
2
2 2
n n n
n n
n n n
n n n
n n n n n n
n
Untuk membuktikan bahwa
∑
j2j
e
n konvergen menuju σ secara probabilitas 2 digunakan pertidaksamaan Chebyshev sebagai berikut :
μ σ
σ σ
⎡ ⎤
⎢ − < ⎥≥ −
⎢ ∑ ∑ ⎥
⎢ ⎥
⎣ ⎦
⎡ ⎤
⎢ − < ⎥≥ −
⎢ ⎥
⎢ ⎥
⎣ ⎦
∑
∑
2 2
2
2
2
2 2
2
Pr 1 1
2 1
Pr 1
j j
j j
j j
e e
n n
j j
e
n k k
e
n k n k
dengan mensubstitusi ε = σ2 2 k n ,
diperoleh :
σ ε
ε σ
σ ε σ
ε
σ ε σ
ε
σ ε σ
ε
σ ε
→∞ →∞
→∞ →∞
→∞
⎡ ⎤
⎢ − < ⎥≥ −
⎢ ⎥
⎛ ⎞
⎢ ⎥
⎣ ⎦ ⎜ ⎟
⎜ ⎟
⎜ ⎟
⎜ ⎟
⎝ ⎠
⎡ ⎤
⎢ − < ⎥≥ −
⎢ ⎥
⎢ ⎥
⎣ ⎦
⎡ ⎤
⎛ ⎞
⎢ − < ⎥≥ ⎜ − ⎟
⎢ ⎥
⎝ ⎠
⎢ ⎥
⎣ ⎦
⎡ ⎤
⎢ − < ⎥≥ −
⎢ ⎥
⎢ ⎥
⎣ ⎦
⎡ ⎤
⎢ − < ⎥
⎢ ⎥
⎢ ⎥
⎣ ⎦
∑
∑
∑
∑
∑
2 2
2
2
2
4 2
2
2
4 2
2
2
4 2
2
2 2
Pr 1 1
2
Pr 1 2
lim Pr lim 1 2
lim Pr 1 lim2
lim Pr
j j
j j
j j
n n
j j
n n
j j n
e n
n e
n n
e
n n
e
n n
e
n ≥ −1 0
karena nilai probabilitas antara 0 dan 1 maka :
σ ε
→∞
⎡ ⎤
⎢ − < ⎥=
⎢ ⎥
⎢ ⎥
⎣ ⎦
∑
2lim Pr 2 1
j j n
e n
Berdasarkan definisi konvergen probabilitas persamaan :
σ ε
→∞
⎡ ⎤
⎢ − < ⎥=
⎢ ⎥
⎢ ⎥
⎣ ⎦
∑
2lim Pr 2 1
j j n
e n
∑
e2Jadi terbukti bahwa
∑
j2j
e
n konvergen menuju σ secara probabilitas. 2