Least Square
atau
Kuadrat Terkecil
Metode Least Square atau Metode Kuadrat Terkecil digunakan untuk mendapatkan
penaksir
koefi-sien regresi
linier. Model regresi linier sederha-na dinyatakan dengan persamaan :Y = 0 + 1X + , model umum
Secara geometrik, titik-titik hasil eksperimen, model dan error digambarkan pada grafik berikut ini :
X
S 1,32081 R-Sq 65,4% R-Sq(adj) 58,5%
Fitted Line Plot Y = 2,046 + 0,1705 X
Titik-titik merah adalah nilai hasil eksperimen, di-notasikan Yi , yang diduga membentuk garis lurus berwarna biru. Garis inilah model yang akan di-taksir, dengan cara menaksir koefisiennya, yaitu b0
dan b1, sehingga terbentukpersamaan Yˆi b0 + b1 Xi.
Garis tegak lurus sumbu horisontal yang menghu-bungkan titik eksperimen dengan garis lurus dugaan dinamai error.
Metode least square bertujuan mendapatkan penak-sir koefisien regresi, yaitu b0 dan b1, yang
menjadi-kan jumlah kuadrat error, yaitu
mungkin. Prosedur metode kuadrat terkecil adalah sebagai berikut :
i. Membentuk
Persamaan (1) dan (2) dinamai persamaan normal.
XX
Model regresi linier multiple dinyatakan dengan persamaan berikut :
Yi = 0 + 1X1i + ... + kXki + i, dengan model dugaan sbb,
i
Yˆ b0 + b1X1i + ... + bkXki
Langkah perhitungan penaksir koefisien regresi :
S = f(b0,b1) =
dan hasilnya disamakan dengan nol,
Persamaan normal menjadi :
Untuk mempermudah menghitung penaksir koefisi-en regresi maka persamaan normal diubah ke bkoefisi-en- ben-tuk matrik,
Pada satu matrik dan dua vektor di atas, masing-ma-sing dinamai : matrik A (berukuran (k+1)(k+1)), vektor b (berukuran (k+1)1), dan vektor g (juga berukuran (k+1)1), sehingga persamaan normal menjadi :
Ab = g,
dan didapatkan penaksir koefisien regresi, yaitu b :
b =A-1g dengan b = (b0 , b1 , ... , bk)T
Latihan 1
Buktikan persamaan berikut : 1. YˆY b1(X X)
2. Buktikan titik (X,Y)terletak pada garis regresi. 3.
Perhitungan Taksiran Simpangan
Baku Penaksir Koefisien Regresi
Simpangan baku penaksir koefisien regresi adalah akar variansi penaksir koefisien regresi, sehingga taksiran simpangan baku merupakan akar taksiran variansi. Berikut ini adalah penurunan variansi b1:
XX
Formula b1 terdiri dari variabel fixed yaitu X dan variabel random, yaitu Y, sedangkan yang mempu-nyai variansi hanyalah variabel random. Untuk itu formula b1 diupayakan agar antara X dan Y jelas dan mudah bentuk hubungannya, dan yang akan diolah hanyalah pembilang, karena pembilanglah yang memuat Y.
Formula variansi b1 menjadi sebagai berikut :
X X
var
Y
X X
var
Y ...
Xn X
var
Yn2 2
2 2 1 2
1
=
2 2
2 22 2 2
1 X X X ... X X
X n =
n
i
i
X
X
1
2 2
ni i n
i i n
i i n
i i i
X
X
X
n
X
X
n
X
Y
X
n
Y
X
1
2 2
2 2 1
2 2
1 2
1
1
var
22 1
2
2 2 2 1
1 1
2 2 1
2 2 2
2
1 1
2 2 2
1 1 1
1 var
( )
( )
ˆ ˆ
var( ) ; , : var( )
( ) ( ) ( )
n
i i n
i
i
n n
i
i i
i i
n
i i
n n n
i i i
i i i
X Y nXY
X X
X nX X X
X X
s b bila tidak diketahui maka menjadi b
X X X X X X
Penaksir Simpangan Baku (b1) = 1/ 2
2 1
(
)
n
i i
s
X
X
s2 = jumlah kuadrat error/n-2
Selanjutnya diuraikan penurunan variansi b0,
b0 =
Y
b
X
Y
b
X
n
n
i i n
i
i 1
1 1 1
1
var(b0) = var( ) var( ) var( 1) 2
1X Y X b
b
Y
=
n
i n
i i i
X
X
X
Y
n
1 21 2 2
)
(
)
1
var(
=
n
i n
i i i
X
X
X
Y
n
1 21 2 2
2
)
(
)
var(
1
=
21 2 2
2 2
2 2
)
(
...
1
X
X
X
n
ni i
= 2
1 2 2
2 2
)
(
)
(
1
X
X
X
n
n
ni i
Setelah ke dua suku disamakan penyebutnya, dan 2 diganti dengan s2, didapatkan penaksir var(b0) sebagai
berikut :
2 1
1 2 2
2 1
2 2 1
2
0
)
(
)
(
)
(
)
r(
aˆ
v
X
X
n
X
s
X
X
n
X
n
X
X
s
b
ni i n
i i n
i i n
i i
Penaksir simpangan baku (b0) =
2 / 1
2 1
1 2 2
)
(
X
X
n
X
s
n
i i n
i i
Penaksir Kovariansi Koefisien Regresi
Review Rumus :
1. E(X) =
X, E(aX) = a E(X) = a
X2. var(X) = E(X – E(X))
2= E(X –
X)
23. var(X + Y) = var(X) + var(Y) + 2cov(X,Y)
4. cov(X,Y) = E{(X–
X)(Y–
Y)}
5. cov(aX,bY) = E(aX– a
X)(bY– b
Y) = E(ab(X–
X)(Y–
Y)) = ab E(X–
X)(Y–
Y) =
ab cov(X,Y)
6. cov(
1+
1X
i,
2+
2X
j) =
1
2cov(X
i,X
j), buktikan!
Diketahui :
Y
ivariabel random saling independen dan identik, dengan var(
Y
i) =
2,
i
= 1, 2, ... ,
n
.
Akan dilakukan penurunan cov(
a,b
),
a
dan
b
masing-masing fungsi variabel random Y
i., sbb :
a
=
i n n ni i
Y
a
Y
a
Y
a
Y
a
.
.
.
2 2 1 1 1
,
b
=
i n n ni i
Y
b
Y
b
Y
b
Y
b
.
.
.
2 2 1 1 1
a
idan b
imasing-masing konstanta.
cov(
a,b
) = cov(
(a1Y1 a2Y2 ... anYn),(b1Y1 b2Y2 ... bnYn))Lebih mudah melalui var(
a
+
b
),
var(
a
+
b
) = var(a) + var(b) + 2 cov(
a,b
), atau 2 cov(
a,b
) = var(
a
+
b
)
var(a)
var(b)
var(
a
+
b
) = var
((a1Y1 a2Y2 ... anYn)(b1Y1 b2Y2 ... bnYn))= var((a
1+ b
1)Y
1+ (a
2+ b
2)Y
2+ . . . + (a
n+ b
n)Y
n)
= (a
1+ b
1)
2var(Y
1) + (a
2+ b
2)
2var(Y
2) + ... + (a
n+ b
n)
2var(Y
n)
= (a
1+ b
1)
2
2+ (a
2+ b
2)
2
2+ ... + (a
n+ b
n)
2
2=
2
n
i
i
i
b
a
1
2
)
(
var(
a
) = var
(a1Y1 a2Y2 ...anYn)= var((a
1)Y
1+ (a
2)Y
2+ . . . + (a
n)Y
n)
= (a
1)
2var(Y
1) + (a
2)
2var(Y
2) + ... + (a
n)
2var(Y
n)
= (a
1)
2
2+ (a
2)
2
2+ ... + (a
n)
2
2=
2
ni i
a
1 2
var(
b
) = var
(b1Y1 b2Y2 ...bnYn)= var(b
1)Y
1+ (b
2)Y
2+ . . . + (b
n)Y
n)
= (b
1)
2var(Y
1) + (b
2)
2var(Y
2) + ... + (b
n)
2var(Y
n)
= (b
1)
2
2+ (b
2)
2
2+ ... + (b
n)
2
2=
2
ni i
b
=
2
n
i
i
i
b
a
1
2
)
(
2
ni i
a
1 2
2
ni i
b
1 2
=
2
n
i
i i i
i
b
a
b
a
1
2
2
2
)
(
2
ni i
a
1 2
2
ni i
b
1 2
=
2
ni
i i
b
a
1
2
cov(
a,b
) =
2
ni i i
b
a
1
Penurunan
cov(b
0,b
1)
Cara Pertama,
cov(b
0,b
1) = cov
((
Y b X b
1), ) cov(
1
Y
Xb b
1, )
1, digunakan review rumus 6, dengan
1=
Y
,
1=
X
,
2= 0, dan
2= 1.
= cov(
X
cov( , ))
b b
1 1
X
var( )
b
1=
2
2 1
(
)
n
i i
X
X
X
Cara Kedua,
Menggunakan logika penurunan cov(
a,b
). Cara ini lebih panjang, tetapi merupakan latihan pemahaman
operasi variabel random yang sangat baik. Variabel random
b
0dan
b
1masing-masing merupakan fungsi
variabel random Y
i.
Logika penurunan ini kemudian digunakan untuk mendapatkan cov(b
0,b
1); keduanya merupakan fungsi
variabel random Y
i..
cov(
b
0,
b
1) =
1 1 12 2
1
1 1
(
)
(
)
cov
,
(
)
(
)
n n
i i i i
n
i i
i
n n n
i
i i
i i
X
X Y
X
X Y
Y
X
X
X
X
X
2 1
(
)
n
i i
X
X
tidak memuat variabel random, dan hasilnya sudah tertentu, sehingga dapat dianggap
konstanta, dinotasikan
k
. Begitu pula dengan
X
, juga konstanta, boleh dikeluarkan dari sigma.
cov(
b
0,
b
1) =
1 1 1 1(
)
(
)
cov
,
n n
i i i i
n
i i
i n i
X
X
X Y
X
X Y
Y
k
k
= cov
1
1 1 1
(
)
(
)
,
n n n
i i i i i
n
i i i
kY
X
X
X Y
X
X Y
k
k
k
= cov
1
1 1 1
(
)
(
)
,
n n n
i i i i i
n
i i i
kY
X
X
X Y
X
X Y
k
k
= cov
11 1
1
1
1
(
)
(
))
,
(
)
n n
i i i i
n
i i
k
X X
X Y
X
X Y
k
k
k
=
2 1 11
1
1
(
)
(
)
(
)
n
i i
n i
k
X X
X
X
X
k
k
k
=
2 1 22 2
1
1
1
(
)
(
)
n
i i
n i
k X
X
X X
X
k
k
=
2 1 22 2
1 1
1
1
(
)
(
)
n n
i i
n
i i
k X
X
X X
X
k
k
=
2 1 22 2
1 1
1
1
(
)
(
)
n n
i i
n
i i
k
X
X
X
X
X
k
k
dapat diturunkan bahwa
1(
) 0
n
i i
X
X
=
2 2 2 11
(
)
n
i i
X
X
X
k
pada awal penurunan disebutkan
k
=
2 1
(
)
n
i i
X
X
=
22 1
(
)
n
i i
X
X
X
=
2
2 1
(
)
n
i i
X
X
X
cov(
b
0,
b
1) =
2
2 1
(
)
n
i i
X
X
X
Penaksir Nilai Respon,
Y
ˆ
Setelah didapatkan penaksir koefisien regresi, yaitu b0 dan b1, maka dapat dihitung penaksir respon, yaitu
Y
ˆ
sebagai berikut :ˆ
Y
= b0 + b1X (model umum) atauY
ˆ
i
b
0b X
1 i (model setiap pengamatan).Apabila diketahui atau ditentukan nilai variabel bebas sebesar X0 , maka didapatkan penaksir atau dugaan nilai respon,
Y
ˆ
0 sebesar :0 1
ˆ
i i
Y
b
b X
.Selanjutnya dihitung var(
Y
ˆ
0),var(
Y
ˆ
0) = var(b
0
b X
1 0) var(
Y b X b X
1
1 0) var(
Y b X
1(
0
X
))
=
var( ) var( (
Y
b X
1 0
X
) 2cov( , (
Y b X
1 0
X
))
1 0
cov( , (
Y b X
X
))
=cov( ,(
Y X
0
X b
) )
1 = cov0
1 1
2 1
1
(
)
(
)
,
(
)
n
i i
n
i i
n n
i
i i
X
X
X
X Y
Y
X
X
=
0
2 1 1
2 1
1
(
)
(
)
( )
(
)
n
i n
i
n n
i
i i
X
X
X
X
X
X
= 0, karena
1
(
) 0
n
i i
X
X
var(
Y
ˆ
0) =var( ) var( (
Y
b X
1 0
X
) 0
=2 2
2 2
2 0
0 1
2 1
(
)
(
) var( )
(
)
n
i i
X
X
X
X
b
n
n
X
X
Penduga var(
Y
ˆ
0) =2 2 2
0
2 1
(
)
(
)
n
i i
X
X s
s
n
X
X
=2
2 0
2 1
(
)
1
(
)
n
i i
X
X
s
n
X
X
Penduga simpangan baku
Y
ˆ
0 =1/ 2 2 0
2 1
(
)
1
(
)
n
i i
X
X
s
n
X
X
