Analisis Regresi 2. Pokok Bahasan : Review Regresi Linier Sederhana dan Berganda

Pokok Bahasan :

Review

Regresi Linier Sederhana dan

Berganda

Analisis Regresi 2

Tujuan Instruksional Khusus

:

Mahasiswa dapat menjelaskan regresi linier sederhana dan

berganda dan asumsi-asumsi yang mendasarinya

Regresi Linier Sederhana



Model Regresi Linier Sederhana (1 peubah penjelas)



Model Regresi Linier Berganda ( k peubah penjelas )

Dengan notasi matriks dapat dituliskan :

ε

x

β

β

Y



₀



_{1 1}



penjelas

p

banyaknya

k

,

1 1 1 1 1



n k k





n





n

y

X

ε

x

β

...

x

β

x

β

β

Y



₀



_{1 1}



_{2 2}





_{k k}



Ringkasan Regresi Linier Berganda



Model Regresi Linier Berganda dengan 2 peubah

penjelas :



Model umum Regresi Berganda dengan k peubah

penjelas dalam notasi matriks :

ε

x

β

x

β

β

Y



₀



₁

₁



₂

₂



1 1 1 1 1 n k k



n



n

y



X

 



Ringkasan Regresi Linier Berganda

y

b

y

ˆ



X



H





1 2 1 0 1 1 0 1 0 1 0 0

'

)

(

ˆ

...

...

)

,

cov(

)

,

cov(

...

...

...

)

,

(

cov

...

)

(

ˆ

)

,

cov(

)

,

(

cov

...

)

,

(

cov

)

(

ˆ

)

(

ˆ

_s

b

V

b

b

b

b

b

b

b

V

b

b

b

b

b

b

b

V

b

V

k k k k k 

































X

X



Nilai dugaan



Matriks dugaan ragam peragam bagi b :

lanjutan

dengan :

s

2

_{= KT sisaan}

'

)

'

(

H



X

X

X

1

X



KOEFISIEN DETERMINASI



Dugaan simpangan baku

Ringkasan Regresi Linier Berganda

lanjutan

dengan :

s

2

_{= KT sisaan}

s

c

s

_b

_j

_j

j



(



1

)(



1

)

)

'

(

matriks

diagonal

1

j

ke

unsur

c

_{(j1)(j1)}





X

X

1 2 2 2 2

'

'

'

R

'

'

'

R

Y

n

Y

Y

Y

n

Y

X

b

Y

Y

Y

X

b

adj









Pendugaan model regresi linier

berganda dengan notasi matriks

 Notasi Matriks pada Model Regresi Linier Berganda

dengan k = 2



Penduga parameter regresi berganda dg notasi

matriks :









X

y

























































































































n n

y

y

y













.

.

x

x

1

.

.

.

.

.

.

x

x

1

x

x

1

.

.

2 1 2 1 0 2n 1n 22 12 21 11 2 1 1 1) (k ) 1 ( ) 1 ( 1 ) 1 (k

b

k

(

X

'

X

)

k

X

'

n _n

y

1     



Contoh: model regresi linier berganda

dalam notasi matriks



















































































































2 1 0

30

2.2

1

25

2.8

1

40

3.9

1

30

3.2

1

20

3.0

1

25

3.4

1

30

3.1

1

2.3

2.5

4.0

2.9

3.0

3.2

3.5









X

y

Data : Model Regresi dalam notasi Matriks :









X

y

y

x

₁

x

₂

3.5

3.1

30

3.2

3.4

25

3.0

3.0

20

2.9

3.2

30

4.0

3.9

40

2.5

2.8

25

2.3

2.2

30

Contoh : Menduga parameter regresi

linier berganda dg matriks

1 1) (k ) 1 ( ) 1 ( 1 ) 1 (k

b

k

(

X

'

X

)

k

X

'

n _n

y

1     



30 2.2 1 25 2.8 1 40 3.9 1 30 3.2 1 20 3.0 1 25 3.4 1 30 3.1 1                      

Dugaan bagi parameter regresi :

Dari data contoh tsb. didapat :

          30 25 40 30 20 25 30 2.2 2.8 3.9 3.2 3.0 3.4 1 . 3 1 1 1 1 1 1 1

X’X =

3 x 7 7 x 3

Contoh : Menduga parameter regresi

linier berganda dg matriks

 





















X X

7 0

216

200 0

216

68 3

626 0

200 0

626 0 5950 0

.

.

.

.

.

.

.

.

.

Dengan perhitungan cara matriks didapat :

            0.005 0.028 0.064 -0.028 0.760 1.529 -0.064 1.529 6.683 ) ' (X X 1           30 25 40 30 20 25 30 2.2 2.8 3.9 3.2 3.0 3.4 1 . 3 1 1 1 1 1 1 1           0.005 0.028 0.064 -0.028 0.760 1.529 -0.064 1.529 6.683 2.3 2.5 4.0 2.9 3.0 3.2 3.5                      

b =

           017 . 0 898 . 0 214 . 0

Dugaan persamaan garis regresinya :

2 1

0

.

017

898

.

0

214

.

0

ˆ

x

x

y









y lanjutan (X’X) -1 X’

Pemeriksaan Model Regresi Berganda

:

uji-t



Uji-t dimaksudkan untuk menguji pengaruh setiap

peubah penjelas secara satu per satu terhadap

peubah responnya

0

atau

0

atau

0

:

0

:

1 0









j j j j

H

H









Peubah penjelas X_j tidak berhubungan linier dg Y Peubah penjelas Xj berhubungan linier dg Y

Peubah penjelas Xj berhubungan linier positif dg Y Peubah penjelas Xj berhubungan linier negatif dg Y

Model Regresi Berganda dg 2 peubah penjelas :

ε

x

β

x

β

β

Y



₀



_{1 1}



_{2 2}



Pemeriksaan Model untuk Regresi

Berganda

: uji-t

0

atau

0

atau

0

:

0

:

1 1 1 1 1 0

















H

H

s

c

s

s

b

j j b b j j j j

,

t

_hit









_{( 1)( 1)}

Hipotesis :

1

.

Statistik uji-nya :

Derajat bebasnya = n – k - 1 Unsur ke (j+1) diagonal (X’X)-1

Akar dari KT sisaan k = banyaknya peubah penjelas

2.

0 atau 0 atau 0 : 0 : 2 2 2 1 2 0    









H H

lanjutan

Contoh : uji-t dengan notasi matriks



Dengan menggunakan data contoh pada slide

sebelumnya ingin diuji apakah X1 dan atau X2

berpengaruh linier thdp Y



Didapatkan bahwa

Dugaan garis regresi-nya:



Hipotesisnya :

























0.005

0.028

0.064

-0.028

0.760

1.529

-0.064

1.529

6.683

)

'

(

X

X

1 2 1

0

.

017

898

.

0

214

.

0

ˆ

x

x

y









0

:

0

:

1 0





j j

H

H





Peubah penjelas X_j tidak berhubungan linier dg Y Peubah penjelas Xj berhubungan linier dg Y

Contoh : uji-t dengan notasi matriks



Statistik uji-nya :

lanjutan

s

c

s

s

b

j j b b j j j j

,

t

_hit









_{( 1)( 1)}

55

.

3

253

.

0

898

.

0

t

0.2530

0.2902

x

76

.

0

s

1,

j

untuk

_{b hit} 1



















_.

_.

_.



2

1

4

67 44

671031

0 08422







S

2

₌

829

.

0

0205

.

0

017

.

0

0205

.

0

0.2902

x

005

.

0

s

2,

j

untuk

_{b hit} 2













t

Contoh : uji-t dengan notasi matriks

Tolak H₀ Tolak H₀ a/2=.025

-t

_n-3,α/2 Terima H₀ 0 a/2=.025

-2.776

2.776

d.b. = 7 - 3 = 4 t

_4,.025

= 2.776

(lanjutan)

t

_n-3,α/2

Untuk j=1  t

_hit

= 3.55  tolak H

₀

Untuk j=2  t

_hit

= 0.829  terima H

₀

KESIMPULAN :

1. Cukup bukti untuk mengatakan

bahwa ada hub linier antara x1 dan Y

2. Tidak cukup bukti untuk mengatakan

Contoh : uji-t dengan Minitab

Regression Analysis: Y versus X1, X2

The regression equation is

Y = - 0.214 + 0.898 X1 + 0.0175 X2

Predictor Coef SE Coef T P

Constant -0.2138 0.7502 -0.29 0.790

X1 0.8984 0.2530 3.55 0.024

X2 0.01745 0.02116 0.82 0.456

S = 0.290208 R-Sq = 83.3% R-Sq(adj) = 74.9%

lanjutan

> 0.05 Terima H₀

Dengan uji F ini kita dapat mengetahui :



peubah-peubah penjelas yang ada dalam model

berpengaruh secara serempak terhadap respon atau

tidak. (model regresi layak atau tidak)



Penambahan satu peubah penjelas ke dalam model

setelah peubah penjelas lainnya ada dalam model

berpengaruh nyata atau tidak terhadap respon



Penambahan sekelompok peubah penjelas ke dalam

model setelah peubah penjelas lainnya ada dalam

model berpengaruh nyata atau tidak terhadap respon

Pemeriksaan Model

Regresi Berganda : uji-F

Uji Parameter Regresi Linier Berganda :

uji-F untuk model keseluruhan

Sumber Keragaman

Derajat Bebas

(db)

Jumlah Kuadrat (JK) Kuadrat Tengah

(KT)

b₁, b₂,..,b_k| b₀ k b’X’Y – Y’11’Y/n

Sisaan n – k-1 Y’Y – b’X’Y Total

(terkoreksi) n - 1 Y’Y – Y’11’Y/n

k JK_Regresi sisaan regresi hit

KT

KT

F



k

1,2,...,

j

,

0

satu

ada

min

:

0

...

:

1 2 1 0













j k

H

H











n k-1



JK_sisaan 

H₀ : peubah respon tidak memp hub linier dg peubah

penjelas ke-1 s.d ke-k H₁ :

peubah respon memp hub linier dg min 1 peubah penjelas ke-1 s.d ke-k KRITERIA PENOLAKAN : α 1, k n k, 0

jika

F

F

H

Tolak



_{ }

The regression equation is

Tekanan Darah = 50,5 + 12,8 Ukuran Tubuh + 0,848 Umur + 9,11 Merokok S = 7,88677 R-Sq = 72,6% R-Sq(adj) = 69,6% Analysis of Variance Source DF SS MS F P Regression 3 4610,3 1536,8 24,71 0,000 Residual Error 28 1741,6 62,2 Total 31 6352,0

KESIMPULAN:

Tekanan darah memiliki hubungan linier dg min satu peubah penjelas

KEPUTUSAN:

tolak H

_0.

= 5%

OUT PUT MINITAB : DATA TEKANAN DARAH

a

lanjutan

k 1,2,.., j , 0 1 ada min : 0 ... : 1 2 1 0       j k H H     F tabel : F _{(3,28), 5%} =2,95

Uji Parameter Regresi Linier Berganda :

uji-F untuk model keseluruhan

Statistik uji-nya:

Keputusan:

Kesimpulan:

Tolak H

₀

Cukup bukti untuk mengatakan

bahwa minimum ada satu peubah

penjelas yg berhubungan linier dg Y

0

a

= .05

F

_.05

= 2,95

Tolak H₀ Terima H₀

F

1,2,3

j

,

0

satu

ada

min

:

0

:

1 3 2 1 0











j

H

H









71

,

24

KT

KT

F

sisaan regresi hit





Uji Parameter Regresi Linier Berganda :

uji-F untuk model keseluruhan

F tabel : F _{(3,28), 5%} =2,95

Uji-F Parsial dan uji-F Sekuensial

Terhadap semua peubah penjelas yang tersedia :



Diuji peubah penjelas apa yg berpengaruh nyata thd respon.



Dari yang ada dalam model, usahakan yang dipakai hanya

peubah penjelas yang keberadaannya dalam model

menyum-bangkan keragaman kepada garis regresi cukup besar



Jika suatu peubah penjelas keberadaannya dalam model

sudah dapat diwakili oleh yg lainnya, maka peubah penjelas

tsb tidak perlu lagi digunakan dlm model



Lebih disenangi model yang memiliki banyaknya peubah

penjelas yang lebih sedikit.

0

:

Y

model

dalam

0

:

2 1 2 2 1 1 0 2 0

























H

x

x

H

Sumber Keragaman Derajat Bebas (db) Jumlah Kuadrat (JK) Kuadrat Tengah (KT) b₁, b₂ | b₀ 2 b’X’Y – Y’11’Y/n

Sisaan n – 3 Y’Y – b’X’Y Total

(terkoreksi) n - 1 Y’Y – Y’11’Y/n

3 -n JK_sisaan

Apakah penambahan X2 ke dalam model

berpengaruh terhadap Y

Y



β

0



β

1

x

1



ε

sisaan b , b | b hit

KT

KT

F



2 0 1 1 0 2

b

,

b

b

₁ 0 1 0 2 1,b |b b |b b

JK

JK



sisaan b , b | b JK JK 1 0 2

Pemeriksaan Model

Regresi Berganda : uji-F

KOEFISIEN DETERMINASI BERGANDA



Proporsi keragaman pada Y dijelaskan oleh

semua peubah X secara bersama-sama

yy yy yy

SS

SSE

SS

SSE

SS

R









1



Keragaman

Total

dijelaskan

yg

Keragaman

2

Pemeriksaan Model Regresi Berganda :

KOEFISIEN DETERMINASI BERGANDA



R

2

_{besarnya tidak pernah turun ketika peubah X}

ditambahkan ke dalam model



Hanya nilai Y yang menentukan besarnya SS

_yy



Tidak ada gunanya kalau membandingkan model yg satu dg yg

sdh ditambah peubah penjelasnya.



Solusi: Adjusted R

2



Setiap penambahan peubah penjelas akan menurunkan nilai

adjusted R

2

_.





2

2

1

1

1

1

R

SSyy

SSE

SS

SSE

k

n

n

R

yy

a





_

_

















Pemeriksaan Model Regresi Berganda :

Adjusted R

2

Validitas Model

PRESS = Prediction Sum of Squares, adalah prosedur yang

merupakan kombinasi dari: semua kemungkinan regresi,

analisis sisaan, dan teknik validasi.

Digunakan untuk mengukur validitas model.





 

2 i,-i 2 ,

e

ˆ

PRESS











y

_i

y

_{i i}





2 2

PRESS

1

R









y

y

_i PRED

y_i : nilai respon pada x=x_i (data lengkap) : nilai ramalan y pd x=x_i yg diramal

melalui dugaan persamaan regresi dari data tanpa amatan ke-i

Model valid jika memiliki PRESS yg kecil

i i

y

ˆ

_, 2 1

1



















n i _ii i

h

e

= R2

pred adalah statistik la-innya yg berhub dg PRESS. Model valid jika R2

(lanjutan)

PROSEDUR PRESS

Mis. k adalah banyaknya peubah dalam suatu persamaan regresi, n adalah banyaknya amatan

k

y

y

₁



ˆ

₁ nk n k k

y

y

y

y

y

y

₂



ˆ

₂

,

₃



ˆ

₃

,

...,



ˆ





2 1 ˆ



   n i ik i y y PRESS Langkah-langkahnya:

1. Sisihkan amatan ke-1, amatan ke-1 tidak digunakan, data tinggal n-1.

2. Dugalah semua ”kemungkinan model regresi” thdp n-1 data tersebut. (jika k=1 banyaknya ”kemungkinan model” hanya 1)

3. Ramal y₁ dengan model yang didapat pd no.2. (lakukan untuk semua kemungkinan model  hanya 1 jika k=1)

4. Hitung perbedaan y₁ yg disisihkan tadi dengan hasil no.3. 

5. Ulangi langkah 1-4 dengan menyisihkan amatan ke-2, ke-3,...., ke-n. Didapat

6. Untuk setiap model regresi yang mungkin hitung :

7. Pilih model yang relatif memiliki nilai PRESS terkecil, dan melibatkan peubah penjelas sedikit.

(lanjutan)

Y X Dugaan Garis Regresi dg Data tanpa amatan ke-i

ramalan Yi tnp

amatan ke-i ei,-i e i,-ikuadrat 7,46 10 Y tnp 1 = 3,01 + 0,505 X tnp 1 8,06 -0,6 0,36 6,77 8 Y tnp 2 = 3,05 + 0,497 X tnp 2 7,026 -0,256 0,06553 12,74 13 Y tnp 3 = 4,01 + 0,345 X tnp 3 8,495 4,245 18,02003 7,11 9 Y tnp 4 = 3,04 + 0,500 X tnp 4 7,54 -0,43 0,18490 7,81 11 Y tnp 5 = 2,95 + 0,514 X tnp 5 8,604 -0,794 0,63043 8,84 14 Y tnp 6 = 2,46 + 0,577 X tnp 6 10,538 -1,698 2,88320 6,08 6 Y tnp 7 = 2,97 + 0,502 X tnp 7 5,982 0,098 0,00960 5,39 4 Y tnp 8 = 2,72 + 0,526 X tnp 8 4,824 0,566 0,32035 8,15 12 Y tnp 9 = 2,84 + 0,528 X tnp 9 9,176 -1,026 1,05267 6,42 7 Y tnp 10 = 3,03 + 0,498 X tnp10 6,516 -0,096 0,00921 5,73 5 Y tnp 11 = 2,88 + 0,511 X tnp11 5,435 0,295 0,08703 Total = PRESS = 23,6229

Contoh Proses PRESS, untuk n=11 dan k=1

Output Minitab untuk data contoh tsb

(lanjutan)

The regression equation is Y = 3,00 + 0,500 X

Predictor Coef SE Coef T P Constant 3,002 1,124 2,67 0,026 X 0,4997 0,1179 4,24 0,002 S = 1,23631 R-Sq = 66,6% R-Sq(adj) = 62,9% PRESS = 23,6210 R-Sq(pred) = 42,70% Analysis of Variance Source DF SS MS F P Regression 1 27,470 27,470 17,97 0,002 Residual Error 9 13,756 1,528 Total 10 41,226

• Hasil PRESS melalui proses = hasil Minitab

• Untuk k=1 hanya ada 1 model • Amatan ke-3 memberikan

simpangan ramalan terbesar • Amatan ke-3 dapat dipandang

sebagai amatan berpengaruh • Dugaan parameter regresi

tanpa amatan ke-3 sangat berbeda dg lainnya dugaan yg ini relatif yg benar/baik

Keluarkan amatan ke-3 dari analisis. Cek nilai PRESS-nya. Cek nilai R2_nya

The regression equation is Y tnp 3 = 4,01 + 0,345 X tnp 3

Predictor Coef SE Coef T P Constant 4,00619 0,00221 1811,78 0,000 X tnp 3 0,345334 0,000237 1454,74 0,000 S = 0,00308655 R-Sq = 100,0 PRESS = 0,000174853 R-Sq(pred) = 100,00% Analysis of Variance Source DF SS MS F P Regression 1 20,161 20,161 2116264,34 0,000 Residual Error 15 0,000 0,000 Total 16 20,161

Output Minitab data lengkap Output Minitab data tanpa amatan ke-3 The regression equation is

Y = 3,00 + 0,500 X

Predictor Coef SE Coef T P Constant 3,002 1,124 2,67 0,026 X 0,4997 0,1179 4,24 0,002 S = 1,23631 R-Sq = 66,6% PRESS = 23,6210 R-Sq(pred) = 42,70% Analysis of Variance Source DF SS MS F P Regression 1 27,470 27,470 17,97 0,002 Residual Error 9 13,756 1,528 Total 10 41,226

(lanjutan)

Menyisihkan amatan ke-3 mempengaruhi dugaan parameter, menurunkan nilai PRESS Dari sisi model, “persamaan tanpa amatan ke-3” yg terbaik.

R-Sq(pred)=100,00%  model sangat valid  PELUANG salah memprediksi = 0

X Y 15,0 12,5 10,0 7,5 5,0 13 12 11 10 9 8 7 6 5 4

Fitted Line Plot

Y = 3,002 + 0,4997 X X tnp 3 Y t n p 3 15,0 12,5 10,0 7,5 5,0 9 8 7 6 5

Fitted Line Plot

Y tnp 3 = 4,006 + 0,3453 X tnp 3

(lanjutan)

Dugaan garis regresi dg data lengkap

PRESS = 23,6210 R-Sq(pred) = 42,70%

Dugaan garis regresi tanpa amatan ke-3

PRESS = 0,000174853 R-Sq(pred) = 100,0%

Semakin kecil nilai PRESS-nya  model semakin valid  semakin baik untuk memprediksi. Setiap 1 model regresi thdp 1 set data memiliki 1 nilai PRESS

ASUMSI ASUMSI YANG HARUS DIPENUHI DALAM

ANALISIS REGRESI BERGANDA :

1. Kondisi Gauss-Marcov

si

autokorela

ada

bebas/tdk

saling

j

i

,

0

]

[

3.

)

ticity

homoscedas

(

x

nilai

setiap

untuk

homogen

sisaan

ragam

,

]

[

var

]

E[

2.

nol

sisaan

taan

harapan/ra

-nilai

0

]

[

.

1

2 2 i

sisaan

E

E

j i i

























3. Galat bebas terhadap peubah bebas,

2. Galat menyebar Normal

i

,

0

)

,

cov(x

_i



_j



