Regresi Linier Berganda - Spada UNS

Regresi Linier Berganda

Asumsi Analisis Regresi Linier

1. Data Y berskala minimal interval atau rasio Data X berskala minimal nominal atau ordinal (jika data X berskala nominal / ordinal harus

menggunakan bantuan variabel dummy)

2. Untuk setiap nilai dari variabel X yang tetap, Y adalah variabel random dengan distribusi

probabilitas tertentu yang mempunyai mean dan variansi.

Asumsi Analisis Regresi Linier

3. Nilai y secara statistik saling bebas

4. Linieritas, nilai rata-rata y adalah sebuah fungsi garis lurus dari x

5. Homoscedasticity. Variansi y adalah sama pada beberapa x

6. Y mempunyai distribusi normal

Asumsi Analisis Regresi Linier

Asumsi Analisis Regresi Linier

Regresi Linier Berganda

Model regresi linier berganda melibatkan lebih dari satu variabel bebas. Modelnya :

dengan

Y = variabel terikat

X_i = variabel bebas ( i = 1, 2, 3, …, k)

_{0 = intersep}

_i = koefisien regresi ( i = 1, 2, 3, …, k)

Model penduganya adalah

k k X X

X

Y  ₀  _{1 1}  _{2 2} ... 

k k X b X

b X

b b

Yˆ  ₀  _{1 1}  _{2 2} ...

Regresi Linier Berganda

Misalkan model regresi dengan kasus 2 peubah bebas X₁ dan X₂ maka modelnya :

sehingga setiap pengamatan

akan memenuhi persamaan

 

X_1i, X_2i ; Y_i



; i  ,12,...,n









   



_{0 1}

X

_{1 2}

X

₂

Y

2 2

1 1

ˆ

0

X X

Y      

Menaksir Koefisien Regresi

Dengan Menggunakan Matriks

Dari hasil Metode Kuadrat Terkecil didapatkan persamaan normal :

…..

 





^{   }

 b X _i b X _i b_k X_ki Y_i

nb_{0 1 1 2 2} ...

 







^{X i  b X i b X i X i   bk X i Xki  X iYi}

b_{0 1 1 1} ² _{2 1 2} ... _{1 1}

 







^{Xki  b Xki X i b Xki X i   bk Xki  XkiYi}

b_{0 1 1 2 2} ... ²

Menaksir Koefisien Regresi

Dengan Menggunakan Matriks

Tahapan perhitungan dengan matriks :

1. Membentuk matriks A, b dan g





































   

2 2 1

1 2

2 1 1 1

2 1

...

...

...

...

...

...

...

...

ki i

ki i

ki ki

ki i

i i

i i

ki i

i

X X

X X

X X

X X

X X

X X

X X

X n

A

Menaksir Koefisien Regresi

Dengan Menggunakan Matriks

 

 





 

 







b

k

b b b ...

1 0

 

 







 

 

















 

i ki k

i i

i

Y X

g

Y X

g

Y g

g ...

1 1

0

Menaksir Koefisien Regresi

Dengan Menggunakan Matriks

2. Membentuk persamaan normal dalam bentuk matriks

A b = g

3. Perhitungan matriks koefisien b b = A^-1 g

12

Metode Pendugaan Parameter Regresi

Dengan Metode Kuadrat Terkecil, misalkan model terdiri dari 2 variabel bebas

Tahapan pendugaannya :

1. Dilakukan turunan pertama terhadap b₀ , b₁ dan b₂

 

 

 







n 

i

n

i i i i

i Y b b X b X

e

1 1

2 2 2 1

1 2 0

 

_{ }

i i

i Yi b b X b X

b

e 0 1 1 2 2

0

2  2   



 

 

_{ }

i i i

i Yi b b X b X X

b

e 0 1 1 2 2 1

1

2  2   



 

 

_{ }

i i

i

i Yi b b X b X X

b

e 0 1 1 2 2 2

2

2   



 

 

Metode Pendugaan Parameter Regresi

2. Ketiga persamaan hasil penurunan disamakan dengan nol

 

 ^{ }

 b X_i b X_i Y_i nb_{0 1 1 2 2}

 



 ^{X i  b Xi  b X iXi  X iYi}

b_{0 1 1 1}² _{2 1 2 1}

 



 ^{X i b Xi X i  b Xi  X iYi}

b_{0 2 1 1 2 2 2}² ₂

Metode Pendugaan Parameter Regresi

3. Nilai b₁ dan b₂ dapat diperoleh dengan memakai aturan-aturan dalam matriks

2 2 1

1

0 Y b X b X

b   

2

1 1 2

1 22 1

12

1 2

1 1 2

1 1 1

22

1



 







 







 







 







 







 







 



































n i n

i n

i

n i n

i n

i n

i

X X X

X

Y X X

X Y

X X

b

2 1 1 2 1

22 1

12

1 1 1 1 2

1 2 1

12

2



 







 







 







 







 







 







 



































n i n

i n

i

n i n

i n

i n

i

X X X

X

Y X X

X Y

X X

b

Uji Kecocokan Model

1. Dengan Koefisien Determinasi

R² menunjukkan proporsi variasi total dalam respon Y yang dapat diterangkan oleh model

JKT R²  JKR

r R² 

Uji Kecocokan Model

2. Dengan Pendekatan Analisis Ragam Tahapan Ujinya :

1. Hipotesis = H₀ :   0 H₁ :   0 dimana

 = matriks [ _0, _1, _{2, … ,} _{k ]}

Uji Kecocokan Model

2. Tabel Analisis Ragam

Komponen

Regresi SS db MS F_hitung

Regresi JKR k JKR / k JKR /k

s² Galat JKG n – k – 1 s² = JKG / n-k-1

Total JKT n – 1

Uji Kecocokan Model

3. Pengambilan Keputusan H₀ ditolak jika

pada taraf kepercayaan 

F

_hitung

> F

tabel(1 , n-k-1)

Uji Parsial Koefisien Regresi

Tahapan Ujinya :

1. Hipotesis = H₀ : _j  0 H₁ : _j  0

dimana _j merupakan koefisien yang akan diuji

Uji Parsial Koefisien Regresi

2. Statistik uji :

Dimana :

b_j = nilai koefisien b_j s =

c_jj = nilai matriks A^-1 ke-jj

jj j j

c s

t b  



1 / n  k  JKG

Uji Parsial Koefisien Regresi

3. Pengambilan keputusan H₀ ditolak jika

pada taraf kepercayaan 

t

_hitung

> t

/2(db= n-k-1)

Pemilihan Model Terbaik

1. All Possible Regression

Tahapan pemilihan :

i. Tuliskan semua kemungkinan model regresi dan kelompokkan menurut banyaknya variabel

bebas

ii. Urutkan model regresi menurut besarnya R²

iii. Periksalah untuk setiap kelompok apakah terdapat suatu pola variabel yang konsisten

iv. Lakukan analisa terhadap kenaikan R² pada tiap kelompok

Pemilihan Model Terbaik

Contoh :

Akan dianalisis model regresi yang terdiri dari 4 variabel bebas Pembagian kelompoknya

Kelompok A terdiri dari koefisien intersep Kelompok B terdiri dari 1 variabel bebas

Kelompok C terdiri dari 2 variabel bebas

Kelompok D terdiri dari 3 variabel bebas

0

Y 

i i X Y  ₀  

j j i

i X X

Y  ₀    

k k j

j i

i X X X

Y  ₀      

X X

X X

Y          

Pemilihan Model Terbaik

Persamaan regresi yang menduduki posisi utama dalam setiap kelompok adalah

Persamaan terbaiknya adalah Y = f(X₁ , X₄) Kelompok Model Regresi R²

B Y = f(X₄) 67,5%

C Y = f(X₁ , X₂) 97,9%

Y = f(X₁ , X₄) 97,2%

D Y = f(X₁ , X₂ , X₄) 98,234%

E Y = f(X₁ , X₂ , X₃, X₄) 98,237%

Pemilihan Model Terbaik

2. Backward Elimination Procedur

Tahap pemilihannya :

i. Tuliskan persamaan regresi yang mengandung semua variabel

ii. Hitung nilai t parsialnya

iii. Banding nilai t parsialnya

a. Jika t_L < t_O maka buang variabel L yang menghasilkan t_L, kemudian hitung kembali persamaan regresi tanpa

menyertakan variabel L

26

Pemilihan Model Terbaik

Contoh :

Akan dianalisis model regresi yang terdiri dari 4 variabel bebas Model regresi yang mengandung semua variabel bebas

Model terbaiknya

Y = f(X₁,X₂)

4 4 3

3 2

2 1

1

0 X X X X

Y          

Persamaan Regersi t parsial F

Y = f(X₁,X₂,X₃,X₄) 157,266*

X₁ 4,337*

X₂ 0,497*

X₃ 0,018 X₄ 0,041*

Y = f(X₁,X₂,X₄) 166,83*

X₁ 154,008*

X₂ 5,026*

X₄ 1,863

Y = f(X ,X ) 229,5*

Pemilihan Model Terbaik

3. Stepwise Regression Procedur

Tahap pemilihannya :

i. Hitung korelasi setiap variabel bebas terhadap variabel Y.

Variabel bebas dengan nilai korelasi tertinggi masukkan dalam model regresi (syarat uji F menunjukkan variabel ini

berpengaruh nyata)

ii. Hitung korelasi parsial setiap variabel bebas tanpa menyertakan variabel bebas yang telah mauk model.

Masukkan variabel bebas dengan korelasi parsial tertinggi ke dalam model

iii. Hitung nilai t parsial variabel yang telah masuk model, jika

Pemilihan Model Terbaik

Contoh :

Akan dianalisis model regresi yang terdiri dari 4 variabel bebas

Model Variabel Korelasi t parsial F

r_iy 0,731

r_2y 0,816

r_3y -0,535

r_4y -0,821

Y = f(X₄) 22,798*

r_1y.4 0,915 r_2y.4 0,017 r_3y.4 0,801

Y = f(X₁,X₄) 176,627*

r_2y.14 0,358 X₁ = 108,223*

r_3y.14 0,320 X₄ = 159,295*

Y = f(X₁, X₂,X₄) 166,832*

X₁ = 154,008*

X₂ = 5,026*

Model terbaik Y = f(X₁ , X₂)