Materi Ekonometrika untuk S1

Ekonometrika

Program Studi Statistika Semester Ganjil 2011

Regresi Linier Berganda



Satu peubah respon (endogen)



Beberapa peubah penjelas (eksogen)



Dinotasikan dalam matriks

u

Xβ

Y



























n

Y

Y



1

Y



































kn n n k k k

X

X

X

X

X

X

X

X

X

X

X

X

...

1

...

1

...

1

...

1

3 2 3 33 23 2 32 22 1 31 21









X























k







1

β























n

u

u



1

u

1



Penduga OLS



Penduga yang meminimumkan Jumlah kuadrat

galat (RSS), dalam notasi matriks:

u

u

ˆ



ˆ



RSS



Y



X

β

ˆ

 



Y



X

β

ˆ





RSS



Y





β

ˆ



X





Y



X

β

ˆ





β

X

X

β

β

X

Y

Y

X

β

Y

Y





ˆ









ˆ



ˆ





ˆ



β

X

X

β

β

X

Y

Y

Penduga OLS



RSS akan minimum pada nilai penduga yang

merupakan solusi dari turunan pertama RSS

yang disamadengankan nol

0

ˆ

2

2

ˆ

















β

X

X

Y

X



RSS

Y

X

β

X

X



ˆ







X

X



X

Y

β

ˆ







1



Asumsi­asumsi pada regresi linier berganda

DR. Rahma Fitriani, S.Si., M.Sc



Sama dengan semua asumsi pada regresi linier

sederhana, dengan tambahan:



Tidak ada hubungan linier sempurna di antara dua atau

lebih peubah penjelas (eksogen)



Dengan terpenuhinya asumsi maka penduga OLS akan

bersifat:



Linier: fungsi linier dari peubah respons (endogen)



Tidak bias: nilai harapan penduga adalah nilai parameter



Konsisten: untuk n→∞, penduga menuju nilai parameter

yang sebenarnya, dan ragam penduga →0



Ragam yang paling kecil di antara semua penduga yang

mungkin

Struktur Ragam Peragam dari Penduga



Matriks berukuran

k × k



Ragam (

variance

) pada diagonal utama



Peragam (

covariance

) selainnya

  

β

ˆ



β

ˆ







β

ˆ









var

E





1

2





Goodness of Fit dari garis Regresi Berganda



R

2

pada regresi linier sederhana tidak dapat dipakai

untuk membandingkan dua model dengan jumlah

peubah eksogen yang berbeda.



Ketika jumlah peubah

X

ditambah:



Proporsi keragaman

Y

yang terjelaskan oleh

X

akan selalu

meningkat.



R

2

akan selalu meningkat seiring jumlah

X

, tanpa melihat

penting tidaknya penambahan

X

dalam model.



Digunakan

adjusted R

2

,



Adjusted: disesuaikan terhadap jumlah peubah eksogen

X

Adjusted R

2



Dengan penyesuaian terhadap jumlah peubah

eksogen

Total

JK

Galat

JK

1

Total

JK

JK Regresi

2







R





 

 



n-k



n-n-k

R

adjusted













Total

JK

1

Galat

JK

1

1

Total/

JK

Galat/

JK

1

2



Adjusted R

2

dapat digunakan untuk memilih model mana yang

terbaik berdasarkan jumlah peubah eksogen yang dipakai.

Kriteria lain untuk Pemilihan Model



Beberapa kriteria digunakan, AIC, FPE, SBC, HQC



Semua memberikan penalti terhadap JK Galat:



Semakin banyak peubah eksogen semakin besar penaltinya



Model terbaik (berdasarkan jumlah peubah eksogen)

dipilih dari nilai terkecil kriteria-kriteria tersebut.



Harapan: model terbaik mempunyai nilai terkecil untuk

semua kriteria



Tidak selalu terjadi akibat bobot yang berbeda

Kriteria lain untuk Pemilihan Model

n k

e

n

AIC

JK

Galat



2













k

n

k

n

n

FPE



















JK

Galat

n k

e

n

SBC















JK

Galat



n



kn

n

HQC

JK

Galat



ln

2

Beberapa Uji Hipotesis Pada Regresi 

Berganda



Uji keberartian koefisien secara individu

 Uji

t

(sama dengan uji t pada kasus regresi linier sederhana)



Uji keberartian koefisien secara simultan

 Uji

F



Uji

linear restriction

:

 Uji hubungan linier antara dua atau lebih koefisien: uji F atau uji Wald

(pengembangan uji

t

)



Uji untuk penambahan atau pengurangan peubah eksogen

 Uji F atau Uji chi square dengan

Likelihood Ratio



Semua uji merupakan perbandingan dari

unrestricted

model

(menggunakan semua peubah eksogen) dan

restricted model

Uji F



Hipotesis nol:

restricted model

valid



Menduga

restricted model

dan

unrestricted model



Memperoleh JK Galat untuk

restricted model

dan JK Galat

untuk un

restricted model

, dan menghitung statistik uji F.



 









kU kR n kU



U U

R U

U

R

F

k

n

k

k

F

_{ }









~

_,

/

JKG

/

JKG

JKG

JKG

_R

: JK galat restricted model

JKG

_U

: JK galat unrestricted model

k

_U

: jumlah peubah eksogen (termasuk konstanta)

pada unrestricted model

Penggunaan uji F untuk Uji keberartian 

koefisien peubah 

X

 secara bersama­sama



Uji

goodness fit

secara keseluruhan



Pada dua model



Unrestricted: menggunakan semua peubah eksogen



Restricted: hanya menggunakan konstanta (

super restricted

model)

t

i

i

i

i

i

β

β

X

β

X

β

X

β

X

u

Y

U

:



1



2

2



3

3



4

4



5

5



t i

β

u

Y

R

:



₁



0

:

_{2 3 4 5}

0

















H

5

,

,

2

,

0

satu

salah

sedikit

paling

:

1



i







Dari pendugaan masing-masing model diperoleh JKG

_U

dan

JKG

R



k

_U

=k= 5



k

_R

= 1



Terdapat hubungan khusus untuk JKG

_R















_i2 _i



₁ 2

R

u

Y

JKG



ˆ

₁



Y











Y

_i

Y

2



JKTotal

_U



 





n

k



k

U U U









/

JKG

1

/

JKG

JKTotal



 





_U



U R U U R

k

n

k

k

F









/

JKG

/

JKG

JKG







n

k





R

2

diperoleh dari model

unrestricted.







n

k



k

F

U U







/

JKG

1

/

JKRegresi

Total

JK

JKG

1

Total

JK

JK Regresi

2







R

U U U U U U

JKG

JKTotal

JKTotal

JKRegresi

JKG

JKRegresi





U U U U JKTotal JKG

1

JKTotal

JKRegresi





2 2

1

1

R

R



















F



k n k



k

n

R

k

R

F

_{ }









_{2 1,}

2

~

/

1

1

/



Jika

F

nyata secara statistik (dari p value), maka terdapat

Uji Chi­Square dengan Likelihood Ratio



Perbandingan likelihood dua model, restricted

dan unrestricted



Unrestricted model

: menggunakan semua peubah

eksogen (sejumlah

k

)



Restricted model

: terdapat beberapa peubah yang

tidak digunakan atau ditambahkan (sejumlah

m

)



Hipotesis nol: beberapa parameter bernilai nol



Menggunakan statistik uji chi-square:





~

2

Contoh Penggunaan uji Chi­Square untuk 

menguji pengurangan peubah eksogen



Unrestricted Model:



Restricted Model:

i

i

i

i

i

i

β

β

X

β

X

β

X

β

X

u

Y

U

:



1



2

2



3

3



4

4



5

5



i i

i

i

β

β

X

β

X

u

Y

R

:



₁



_{2 2}



_{3 3}



0

:

_{4 5}

0









H

5

,

4

,

0

satu

salah

sedikit

paling

:

1



i





Fungsi likelihood dari model regresi:

































































 2 2 1 2 2 2

ˆ

2

1

exp

2

1

ˆ

2

1

exp

2

1

,

















i i

n n

n

i

i

i

Y

Y

Y

Y

l



Fungsi likelihood dari model unrestricted:









































₂

2 5 5 4 4 3 3 2 2 1 2 5 1

2

1

exp

2

1

,

,

,























i i i i i

n n

X

X

X

X

Y

l





Fungsi likelihood dari model restricted:





































₂

2 3 3 2 2 1 2 3 1

2

1

exp

2

1

,

,

,



















i i i



Statistik uji chi-square dihitung berdasarkan dua fungsi

likelihood tersebut:





2

2 2

~

2













l

_R

l

_{u m}

LR



Jika statistik uji tersebut nyata secara statistik, maka

akan cukup bukti untuk mendukung hipotesis alternatif:



Peubah eksogen

X

₄

dan

X

₅

tidak perlu dihilangkan

Uji Wald (pengembangan Uji t)



Pengujian

linear restriction



Misalkan:



Dengan hipotesis bahwa koefisien-koefisien tsb

mempunyai hubungan linier, misalkan:

i i

i

i

β

β

X

β

X

u

Y



₁



_{2 2}



_{3 3}



1

:

_{2 3}

0

β



β



H

 



2 2



3



3

 

3



2

~

,

var

ˆ

,

ˆ

~

,

var

ˆ

ˆ

N

β

β

N

β

β











2 2 2 3



3

2

ˆ

~

,

var

ˆ

ˆ

ˆ

β

N

β

β



Ragam dari jumlah dua penduga tersebut:



ˆ

2

ˆ

3



var

 

ˆ

2

var

 

ˆ

3

2

cov



ˆ

2

,

ˆ

3



var

β



β



β



β



β

β



Dengan sifat tersebut, dapat dilakukan uji t,

berdasarkan hipotesis nol:

1

:

_{2 3}

0

β



β



H











2 3



3 2 3 2

ˆ

ˆ

var

ˆ

ˆ

β

β

β

β

β

β

t















 

 





3

3 2 3 2 3 2

~

ˆ

,

ˆ

cov

2

ˆ

var

ˆ

var

1

ˆ

ˆ













t

_n

β

β

β

β

β

β



Uji ini tidak direkomendasikan, terutama jika

linear

Uji F untuk pengujian 

Linear Restriction



Pengujian

linear restriction



Misalkan:



Dinyatakan sebagai unrestricted model



Dengan hipotesis bahwa koefisien-koefisien tsb mempunyai

hubungan linier, misalkan:

i i

i

i

β

β

X

β

X

u

Y



₁



_{2 2}



_{3 3}



1

:

_{2 3}

0

β



β



H





_{i i}

i

i

β

β

X

β

X

u

Y



₁



_{2 2}



1



_{2 3}





Modifikasi dari unrestricted model:



Lakukan transformasi pada peubah endogen dan

eksogen:





_{i i}

i

i

β

β

X

β

X

u

Y



₁



_{2 2}



1



_{2 3}





_{i i}



_i

i

i

X

β

β

X

X

u

Y



₃



₁



_{2 2}



₃



i i

i

β

β

X

u

Y

*



₁



_{2 2}

*



i i

i

Y

X

Y

*





₃

X

_2i

*



X

_2i



X

_3i



 













3



/

JKG

JKG

JKG

/

JKG

/

JKG

JKG















n

k

n

k

k

F

U

U R

U U

R U

U R



Dari pendugaan masing-masing model diperoleh

JKG

U

dan JKG

R



k

_U

=3



k

_R

= 2



Jika statistik uji F ini nyata maka cukup bukti untuk

menolak hipotesis tentang hubungan linier yang ada

Interpretasi Koefisien Pada Multiple 

Regression

Contoh kasus:



Observasi pada 900 karyawan suatu

perusahaan



Hubungan antara gaji (

wage

) dan



lama tahun pendidikan (

educ

),



tahun pengalaman kerja (

exper

),



lama tahun bekerja di perusahaan yang sama

(

tenure

)



Digunakan model log lin:



Perubahan Gaji dalam persen

Output Software

 _{Model 1: OLS, using observations 1-900}  _{Dependent variable: l_WAGE}

 _{coefficient std. error t-ratio p-value} 

--- _{const 5.52833 0.112795 49.01 8.70e-256 ***}  _{EDUC 0.0731166 0.00663568 11.02 1.44e-026 ***}  _{EXPER 0.0153578 0.00342531 4.484 8.29e-06 ***}  _{TENURE 0.0129641 0.00263073 4.928 9.90e-07 ***}

 _{Mean dependent var 6.786164 S.D. dependent var 0.420312}  _{Sum squared resid 135.2110 S.E. of regression 0.388465}  _{R-squared 0.148647 Adjusted R-squared 0.145797}  _{F(3, 896) 52.14758 P-value(F) 4.53e-31}  _{Log-likelihood -424.0434 Akaike criterion 856.0868}  _{Schwarz criterion 875.2964 Hannan-Quinn 863.4250}



Uji statistik bagi koefisien-koefisien nyata, secara

serempak maupun masing-masing



Model berarti secara statistik, walaupun R

2

kecil

^l_WAGE = 5.53 + 0.0731*EDUC + 0.0154*EXPER + 0.0130*TENURE

(0.113)(0.00664) (0.00343) (0.00263)

n = 900, R-squared = 0.149

(standard errors in parentheses)



Secara teori ekonomi:



Tingkat Pendidikan berhubungan positif dengan gaji



Pengalaman kerja berhubungan positif dengan gaji

Interpretasi Masing­masing koefisien



Semua tanda koefisien bersesuaian dengan teori ekonomi

^l_WAGE = 5.53 + 0.0731*EDUC + 0.0154*EXPER + 0.0130*TENURE

(0.113)(0.00664) (0.00343) (0.00263)

n = 900, R-squared = 0.149

(standard errors in parentheses)



1 tahun peningkatan tingkat pendidikan meningkatkan gaji

sebesar 7.31%

dengan menganggap peubah bebas

lainnya konstan



1 tahun bertambahnya pengalaman kerja meningkatkan gaji

sebesar 1.54%

dengan menganggap peubah bebas

lainnya konstan



1 tahun bertambahnya masa kerja di perusahaan