Least Square
atau
Kuadrat Terkecil
Metode Least Square atau Metode Kuadrat Terkecil
digunakan untuk mendapatkan
penaksir
koefi-sien regresi
linier. Model regresi linier sederha-na dinyatakan dengan persamaan :Y = 0 + 1X + , model umum
Secara geometrik, titik-titik hasil eksperimen, model dan error digambarkan pada grafik berikut ini :
X
Titik-titik merah adalah nilai hasil eksperimen, di-notasikan Yi , yang diduga membentuk garis lurus
berwarna biru. Garis inilah model yang akan di-taksir, dengan cara menaksir koefisiennya, yaitu b0
dan b1, sehingga terbentukpersamaan
Y
ˆ
i
b0 + b1Xi.Garis tegak lurus sumbu horisontal yang menghu-bungkan titik eksperimen dengan garis lurus dugaan dinamai error.
Metode least square bertujuan mendapatkan penak-sir koefisien regresi, yaitu b0 dan b1, yang
menjadi-kan jumlah kuadrat error, yaitu
mungkin. Prosedur metode kuadrat terkecil adalah sebagai berikut :
Model regresi linier multiple dinyatakan dengan persamaan berikut :
Yi = 0 + 1X1i + ... + kXki + i,
dengan model dugaan sbb,
i
Y
ˆ
b0 + b1X1i + ... + bkXkiLangkah perhitungan penaksir koefisien regresi :
S = f(b0,b1) =
dan hasilnya disamakan dengan nol,
Persamaan normal menjadi :
Untuk mempermudah menghitung penaksir koefisi-en regresi maka persamaan normal diubah ke bkoefisi-en- ben-tuk matrik,
Pada satu matrik dan dua vektor di atas, masing-ma-sing dinamai : matrik A (berukuran (k+1)(k+1)), vektor b (berukuran (k+1)1), dan vektor g (juga berukuran (k+1)1), sehingga persamaan normal menjadi :
Ab = g,
dan didapatkan penaksir koefisien regresi, yaitu b :
b =A-1g
dengan b = (b0 , b1 , ... , bk) T
Latihan 1
Buktikan persamaan berikut : 1.
Y
ˆ
Y
b
1(
X
X
)
Perhitungan Taksiran Simpangan
Baku Penaksir Koefisien Regresi
Simpangan baku penaksir koefisien regresi adalah akar variansi penaksir koefisien regresi, sehingga taksiran simpangan baku merupakan akar taksiran variansi. Berikut ini adalah penurunan variansi b1:
XX
Formula b1 terdiri dari variabel fixed yaitu X dan
variabel random, yaitu Y, sedangkan yang mempu-nyai variansi hanyalah variabel random. Untuk itu formula b1 diupayakan agar antara X dan Y jelas
dan mudah bentuk hubungannya, dan yang akan diolah hanyalah pembilang, karena pembilanglah yang memuat Y.
Formula variansi b1 menjadi sebagai berikut :
2 21
2
2 2 2 1
1 1
2
2 1
2 2 2
2
1 1
2 2 2
1 1 1
1 var
( )
( )
ˆ ˆ
var( ) ; , : var( )
( ) ( ) ( )
n
i i n
i
i
n n
i
i i
i i
n i i
n n n
i i i
i i i
X Y nXY
X X
X nX X X
X X
s
b bila tidak diketahui maka menjadi b
X X X X X X
Penaksir Simpangan Baku (b1) = 1/ 2
2 1
(
)
n
i i
s
X
X
s2 = jumlah kuadrat error/n-2
Selanjutnya diuraikan penurunan variansi b0,
b0 =
Y
b
X
Y
b
X
n
n
i i n
i
i 1
1 1 1
1
var(b0) = var(Y b1X)var(Y)X2var(b1)
=
n
i
n
i i i
X
X
X
Y
n
1 21 2 2
)
(
)
1
var(
=
n
i
n
i i i
X
X
X
Y
n
1 21 2 2
2
)
(
)
var(
1
=
2 1
2 2
2 2
2 2
)
(
...
1
X
X
X
n
ni
i
=
2 1
2 2
2 2
)
(
)
(
1
X
X
X
n
n
ni
i
Setelah ke dua suku disamakan penyebutnya, dan 2 diganti dengan s2, didapatkan penaksir var(b0) sebagai
berikut :
2 1
1 2 2
2 1
2 2 1
2
0
)
(
)
(
)
(
)
r(
a
ˆ
v
X
X
n
X
s
X
X
n
X
n
X
X
s
b
ni i n
i i
n
i i n
i i
Penaksir simpangan baku (b0) =
2 / 1
2 1
1 2 2
)
(
X X n
X s
n
i i n
Penaksir Kovariansi Koefisien Regresi
Review Rumus :
1. E(X) =
X, E(aX) = a E(X) = a
X2. var(X) = E(X
–
E(X))
2= E(X
–
X)
23. var(X + Y) = var(X) + var(Y) + 2cov(X,Y)
4. cov(X,Y) = E{(X
–
X)(Y
–
Y)}
5. cov(aX,bY) = E(aX
–
a
X)(bY
–
b
Y) = E(ab(X
–
X)(Y
–
Y)) = ab E(X
–
X)(Y
–
Y) =
ab cov(X,Y)
6. cov(
1+
1X
i,
2+
2X
j) =
1
2cov(X
i,X
j), buktikan!
Diketahui :
Y
ivariabel random saling independen dan identik, dengan var(
Y
i) =
2,
i
= 1, 2, ... ,
n
.
Akan dilakukan penurunan cov(
a,b
),
a
dan
b
masing-masing fungsi variabel random Y
i., sbb :
a
=
i n nn
i
i
Y
a
Y
a
Y
a
Y
a
.
.
.
2 2 1 1 1,
b
=
i n nn
i
i
Y
b
Y
b
Y
b
Y
b
.
.
.
2 2 1 1 1a
idan b
imasing-masing konstanta.
cov(
a,b
) = cov(
(a1Y1a2Y2 ... anYn),(b1Y1b2Y2 ...bnYn))Lebih mudah melalui var(
a
+
b
),
var(
a
+
b
) = var(a) + var(b) + 2 cov(
a,b
), atau 2 cov(
a,b
) = var(
a
+
b
)
var(a)
var(b)
var(
a
+
b
) = var
((a1Y1a2Y2 ...anYn)(b1Y1b2Y2 ...bnYn))= var((a
1+ b
1)Y
1+ (a
2+ b
2)Y
2+ . . . + (a
n+ b
n)Y
n)
= (a
1+ b
1)
2var(Y
1) + (a
2+ b
2)
2var(Y
2) + ... + (a
n+ b
n)
2var(Y
n)
= (a
1+ b
1)
2
2+ (a
2+ b
2)
2
2+ ... + (a
n+ b
n)
2
2=
2
n
i
i i b
a
1
2
) (
var(
a
) = var
(a1Y1a2Y2 ...anYn)= var((a
1)Y
1+ (a
2)Y
2+ . . . + (a
n)Y
n)
= (a
1)
2var(Y
1) + (a
2)
2var(Y
2) + ... + (a
n)
2var(Y
n)
= (a
1)
2
2+ (a
2)
2
2+ ... + (a
n)
2
2=
2
n
i i
a
1 2
var(
b
) = var
(b1Y1b2Y2 ...bnYn)= var(b
1)Y
1+ (b
2)Y
2+ . . . + (b
n)Y
n)
= (b
1)
2var(Y
1) + (b
2)
2var(Y
2) + ... + (b
n)
2var(Y
n)
= (b
1)
2
2+ (b
2)
2
2+ ... + (b
n)
2
2=
2
n
i i
b
1 2
2 cov(
a,b
) = var(
a
+
b
)
var(a)
var(b)
=
2
n
i
i i b
a
1
2
)
(
2
n
i i
a
1
2
2
n
i i
b
1 2
=
2
n
i
i i i
i b ab
a
1
2 2
) 2
(
2
n
i i
a
1
2
2
n
i i
b
1 2
=
2
n
i i ib
a
1
2
cov(
a,b
) =
2
ni i
b
Penurunan
cov(b
0,b
1)
Cara Pertama,
cov(b
0,b
1) = cov
((Y b X b1 ), )1 cov(Y Xb b1, )1, digunakan review rumus 6, dengan
1=
Y
,
1=
X
,
2= 0, dan
2= 1.
= cov(
Xcov( , ))b b1 1 Xvar( )b1=
2 2 1
(
)
n
i i
X
X
X
Cara Kedua,
Menggunakan logika penurunan cov(
a,b
). Cara ini lebih panjang, tetapi merupakan latihan pemahaman
operasi variabel random yang sangat baik. Variabel random
b
0dan
b
1masing-masing merupakan fungsi
variabel random Y
i.
Logika penurunan ini kemudian digunakan untuk mendapatkan cov(b
0,b
1); keduanya merupakan fungsi
variabel random Y
i..
cov(
b
0,
b
1) =
1 1 12 2
1
1 1
(
)
(
)
cov
,
(
)
(
)
n n
i i i i
n
i i
i
n n n
i
i i
i i
X
X Y
X
X Y
Y
X
X
X
X
X
2 1
( )
n
i i
X X
tidak memuat variabel random, dan hasilnya sudah tertentu, sehingga dapat dianggap
konstanta, dinotasikan
k
. Begitu pula dengan
X
, juga konstanta, boleh dikeluarkan dari sigma.
cov(
b
0,
b
1) =
1 1 11
(
)
(
)
cov
,
n n
i i i i
n
i i
i n i
X
X
X Y
X
X Y
Y
k
k
= cov
11 1 1
(
)
(
)
,
n n n
i i i i i
n
i i i
kY
X
X
X Y
X
X Y
k
k
k
= cov
11 1 1
(
)
(
)
,
n n n
i i i i i
n
i i i
kY
X
X
X Y
X
X Y
k
k
= cov
11 1
1
1
1
(
)
(
))
,
(
)
n n
i i i i
n
i i
k
X X
X Y
X
X Y
k
k
k
=
2 1 11
1
1
(
)
(
)
(
)
n
i i
n i
k
X X
X
X
X
k
k
k
=
2 1 22 2
1
1 1
( ) ( )
n
i i
n i
k X X X X X
k k
=
2 1 22 2
1 1
1
1
(
)
(
)
n n
i i
n
i i
k X
X
X X
X
k
k
=
2 1 22 2
1 1
1
1
(
)
(
)
n n
i i
n
i i
k
X
X
X
X
X
k
k
dapat diturunkan bahwa
1( ) 0
n
i i
X X
=
2 2 2 11
(
)
n
i i
X
X
X
k
pada awal penurunan disebutkan
k
=
2 1
(
)
n
i i
X
X
=
22 1
(
)
n
i i
X
X
X
=
2 2 1
(
)
n
i i
X
X
X
cov(
b
0,
b
1) =
2 2 1
(
)
n
i i
X
X
X
Penaksir Nilai Respon,
Y
ˆ
Setelah didapatkan penaksir koefisien regresi, yaitu b0 dan b1, maka dapat dihitung penaksir respon, yaitu
Y
ˆ
sebagai berikut :
ˆ
Y
= b0 + b1X (model umum) atauY
ˆ
i
b
0b X
1 i (model setiap pengamatan).Apabila diketahui atau ditentukan nilai variabel bebas sebesar X0 , maka didapatkan penaksir atau dugaan nilai
respon,
Y
ˆ
0 sebesar :0 1
ˆ
i iY
b
b X
.Selanjutnya dihitung var(
Y
ˆ
0),var(
Y
ˆ
0) = var(b0b X1 0)var(Y b X1 b X1 0)var(Y b X1( 0X)) =var( ) var( (
Y
b X
1 0
X
) 2cov( , (
Y b X
1 0
X
))
1 0
cov( , (Y b X X))= cov( , (Y X0X b) )1 = cov
0
1 1
2 1
1
(
)
(
)
,
(
)
n
i i
n
i i
n n
i
i i
X
X
X
X Y
Y
X
X
=
0
2 1 1
2 1
1
(
)
(
)
( )
(
)
n
i n
i
n n
i
i i
X
X
X
X
X
X
= 0, karena
1( ) 0
n
i i
X X
var(
Y
ˆ
0) = var( ) var( (Y b X1 0X) 0 =2 2
2 2
2 0
0 1
2 1
(
)
(
) var( )
(
)
n
i i
X
X
X
X
b
n
n
X
X
Penduga var(
Y
ˆ
0) =2 2 2
0
2 1
(
)
(
)
n
i i
X
X
s
s
n
X
X
=2
2 0
2 1
(
)
1
(
)
n
i i
X
X
s
n
X
X
Penduga simpangan baku
Y
ˆ
0 =1/ 2 2 0
2 1
( )
1
( )
n
i i
X X
s n
X X
