1.1 Model Regresi Linier Metode regresi linier ... - Spada UNS

1.1 Model Regresi Linier

Metode regresi linier yang merupakan metode yang memodelkan hubungan antara variabel respon y dan variabel prediktor x x1, 2,...,x_p. Model regresi linier untuk p variabel prediktor secara umum ditulis sebagai:

0 1 1 2 2 ... _{p p}

y x  x   x 

Jika diambil sebanyak n pengamatan, maka model untuk pengamatan ke- ⁱ adalah:







 ^p

k

i ik k

i x

y

1

0  

 (1.1)

dengan i = 1, 2, ... , n ;₀,₁,...,padalah parameter model dan₁,₂,...,nadalah error yang diasumsikan identik, independen, dan berdistribusi Normal dengan mean nol dan varians konstan ^2 atau (i ^~IIDN_^0,²_).

Pada model ini, hubungan antara variabel prediktor dan variabel respon dianggap konstan pada setiap lokasi pengamatan.

Jika dituliskan dalam notasi matriks maka persamaan (1.1) menjadi:

ε Xβ

y  dengan:

1 2

n

y y

y

  

 

  

 

y ,

11 12 1

21 22 2

1 2

1 1

1

p p

n n np

x x x

x x x

x x x

 

 

 

  

 

 

 

X ,

0 1

p







 

 

 

  

 

 

 

β ,

1 2

n







  

  

  

ε .

Sedangkan nilai estimasi untuk ^y dan ^ε adalah:

ˆ  ˆ

y Xβ dan ^{ε y y y Xβˆ   ˆ ˆ}.

1.1.1 Estimasi Parameter ^βModel Regresi Linier Estimator dari parameter model didapat dengan meminimumkan jumlah kuadrat error atau yang dikenal dengan Ordinary Least Square (OLS), yaitu:

   

2 1

ˆ ˆ

ˆ ˆ ^T

n T

i_i    

 ^{ε ε y Xβ y Xβ}

ˆ ˆ ˆ

ˆ ˆ^T  ^T 2 ^T  ^{T T} ε ε y y y Xβ β X Xβ

Untuk menentukan nilai ^βˆ yang meminimumkan ^{ε εˆ ˆT} adalah dengan menurunkan ^{ε εˆ ˆT} terhadap ^βˆ dan kemudian disamadengankan nol, sehingga diperoleh:

ˆ ˆ 0 2 2 ˆ 0 ˆ

T

T T

    



ε ε y X X Xβ β

Sehingga diperoleh persamaan normal:

ˆ

T  T

X Xβ X y

Dan estimasi untuk ^βˆ adalah:

 

ˆ  ^{T 1 T}

β X X X y (1.2)

βˆ merupakan penaksir yang takbias untuk ^βˆ (Rencher, 2000).

1.1.2 Estimasi Parameter ^2 Model Regresi Linier Metode least square tidak bisa menghasilkan fungsi y dan x yang dapat diminimumkan untuk mendapatkan penaksir ^2. Oleh karena itu, penaksir

2didapat berdasarkan penaksir ^βˆ. Berdasarkan asumsi dan menurut persamaan (1.1) , maka nilai ^2 akan sama untuk setiap y_i, i = 1,2, ..., n.

    ²

2 2

var _{i i i}

T

i i

y E y E y

 E y

   

 

  x β

Penaksir ^2 diperoleh dari rata-rata sampel sebagai berikut:

 ²

2

1

1 ˆ

1

n

T

i i

i

s y

n p _

 

   ^{x β} (1.3)

Dengan ^SSEyT^{I H y}  dan ^{HX X X}_ ^T _^1XT.

s2 merupakan penaksir yang takbias untuk ^2 jika matriks kovarian ^cov ^{y 2I} (Rencher, 2000).

1.1.3 Pengujian Hipotesis Model Regresi Linier Untuk menguji kesesuaian model regresi OLS digunakan analisis varian yang dibuat dengan cara menguraikan bentuk jumlah kuadrat total atau Sum Square Total (SST) menjadi dua komponen: Jumlah kuadrat regresi atau Sum Square Regression (SSR) dan Jumlah Kuadrat Error atau Sum Square Error (SSE).

Hipotesisnya adalah:

H0:12  _p 0

H1:minimal ada satu i ⁰

Tabel 1.1 Analisis Varians Model Regresi Sumber

Variasi

Jumlah Kuadrat

Derajat Bebas

Rata-rata Kuadrat

F Hitung Regresi

Error

 ¹ 

T

n

y H J y

 

T 

y I H y p

( 1)

n p

/ MSRSSR p

( 1)

MSE SSE

n p

  

F MSR

MSE

Total ^{yTI1nJ y} n1

Sumber : Draper dan Smith, 1992

J adalah matriks berukuran nxn dengan semua elemen bernilai 1.

Tolak H₀ bila Fhitung F_, ,p n p_{  }1_ atau ^p-value <^ .

Adapun pengujian secara parsial untuk mengetahui parameter mana saja yang signifikan terhadap model dilakukan dengan hipotesis:

0

0 : _k  H 

0

1: _k  H 

Statistik uji dalam pengujian parsial ini adalah ^ˆ_ˆ

( )

k k

t se



 

(Gujarati,1992). se⁽^ˆk⁾s gkk adalah standar error dari koefisien ^ˆk. Sedangkan gkk adalah elemen diagonal ke-k dari matriks _^{X XT} _^1 dan ^{s MSE}.

Dibawah H₀ ^t akan mengikuti distribusi ^t dengan derajat bebas ^{n p 1} sehingga jika diberikan tingkat signifikansi sebesar ^ maka diambil keputusan tolak H0 jika _{; 1}

hit 2n p

t t_{  } .

Sedangkan untuk mengukur besarnya variansi variabel respon yang dijelaskan oleh model regresi digunakan nilai koefisien determinasi R² sebagai berikut:

 

 

2

1

1

1

T T

n

R SSE

  SST

  

     y I H y y I J y

1.1.4 Pengujian Asumsi Model Regresi Linier

Untuk menguji asumsi normal dari error digunakan uji Kolmogorof-Smirnov dengan hipotesis sebagai berikut :

H₀ : Error mengikuti distribusi normal

H₁ : Error tidak mengikuti distribusi normal Statistik uji dalam uji K-S ini adalah

Dmax F x0 _i Sn x _i , i1, 2, , .n

dengan F x0 i merupakan fungsi distribusi frekuensi kumulatif relatif dari distribusi teoritis di bawah H₀, sedangkan Sn x i merupakan distribusi frekuensi kumulatif pengamatan sebanyak sampel. Kesimpulan diambil dengan menolak H₀ jika p-value < α.

Salah satu uji yang digunakan untuk menguji independensi adalah uji Durbin-Watson (Draper dan Smith, 1992). Hipotesis dalam pengujian ini adalah:

H₀ : Tidak ada serial autokorelasi baik positif maupun negatif

H1 : Ada serial autokorelasi baik positif maupun negatif

dengan statistik uji:

^





  

 _n

i i n

i

i i

e e e d

1 2 2

2 1) (

Jika diberikan tingkat signifikansi sebesar α, maka keputusan yang diambil adalah dengan membandingkan antara nilai ^d pengujian dengan nilai

d_U (nilai batas atas dari tabel Durbin-Watson) dan d_L (nilai batas bawah dari tabel Durbin-Watson).

Selanjutnya aturan keputusannya adalah sebagai berikut:

dw < d_L : H₀ ditolak dw > (4-dL) : H0 ditolak

dU < dw < (4-dU) : H0 tidak ditolak

d_L ≤ dw ≤ d_U atau (4-d_U) ≤ dw ≤(4-d_L) :pengujian tidak dapat diambil keputusan.

Uji heteroskedastisitas dilakukan untuk mengetahui apakah dalam sebuah model regresi terjadi ketidaksamaan varian dari error satu pengamatan ke pengamatan lain. Salah satu uji yang digunakan adalah uji Glejser (Gujarati, 1992) dengan hipotesis sebagai berikut:

H₀ : Tidak terjadi heteroskedastistitas H₁ : Terjadi heteroskedastistitas

Uji ini dilakukan dengan meregresikan nilai absolute error dari model yang dibuat dengan semua

variabel prediktor x yang ada. Jika variabel prediktornya ternyata signifikan maka disimpulkan terjadi heteroskedastisitas, sebaliknya jika variabel prediktornya tidak signifikan maka terjadi homoskedastisitas.

Salah satu syarat yang harus dipenuhi dalam regresi dengan beberapa variabel prediktor adalah tidak adanya korelasi antara satu variabel prediktor dengan variabel prediktor yang lain. Adanya korelasi dalam model regresi menyebabkan taksiran parameter regresi yang dihasilkan akan memiliki error yang sangat besar. Pendeteksian adanya kasus kolinieritas menurut Hocking (1996) dapat dilihat melalui koefisien korelasi Pearson (r_ij). Jika koefisien korelasi Pearson (rij) antar variabel > 0,95 maka terdapat korelasi antar variabel tersebut. Untuk mendeteksi adanya kolinieritas juga dapat menggunakan Variance Inflation Factors (VIF) yang dinyatakan sebagai berikut :

2

1

j 1

j

VIF  R



dengan R²j adalah koefisien determinasi antara x_j dengan variabel prediktor lainnya. VIFj yang lebih besar dari 10 menunjukan adanya kolinieritas antar variabel prediktor. Solusi untuk mengatasi adanya kasus tersebut adalah dengan mengeluarkan variabel prediktor yang tidak signifikan dan meregresikan kembali variabel-variabel prediktor yang signifikan.

Selain itu, pada regresi OLS (Ordinary Least Square) diasumsikan bahwa nilai estimasi parameter regresi akan tetap (konstan), artinya parameter regresi akan sama untuk setiap lokasi pengamatan (parameter global). Bila terjadi heterogenitas spasial pada parameter regresi, maka informasi yang tidak dapat ditangani oleh metode regresi OLS akan ditampung sebagai error. Bila kasus semacam itu terjadi, regresi OLS menjadi kurang mampu dalam menjelaskan fenomena data yang sebenarnya.

Regresi Robust

 Regresi robust merupakan metode regresi yang digunakan ketika distribusi dari sisaan tidak normal atau ada beberapa pencilan yang berpengaruh pada model.

 Metode ini merupakan alat penting untuk menganalisa data yang dipengaruhi oleh pencilan sehingga dihasilkan model yang kekar terhadap pencilan (Draper and Simth, 1992).

 Ketika peneliti menyusun model regresi dan melakukan uji asumsi sering ditemui bahwa asumsi regresi dilanggar, transformasi yang dilakukan tidak akan menghilangkan atau melemahkan pengaruh dari pencilan yang akhirnya prediksi menjadi bias.

 Dalam keadaan ini, regresi robust yang tahan terhadap pengaruh pencilan adalah metode yang terbaik.

 Regresi robust digunakan untuk mendeteksi pencilan dan memberikan hasil yang resisten terhadap adanya pencilan (Chen, 2002).

 Dalam regresi robust salah satu metode estimasi yang terkenal adalah estimasi M.

 Huruf M menunjukkan bahwa estimasi-M adalah estimasi ‘tipe maksimum likelihood’.

 Estimasi-M memenuhi sifat sebagai estimator tak bias dan memiliki variansi minimum dalam kumpulan estimator.

 Jadi estimator M memiliki variansi terkecil dibandingkan dengan variansi estimator yang lain.

Jika estimator pada estimasi-M adalah   _nx1,...,x_n

maka ^{Enx1, ,xn}. (1)

 Persamaan (1) menunjukkan bahwa estimator

 1,..., 

n x xn

  pada estimasi-M bersifat tak bias.

 Variansinya merupakan variansi terkecil dibandingkan dengan variansi estimator yang lain yaitu

 

2

2

ˆˆ '

i; Var

nE d l n f x d

 

 

 

 

  

    

 

 

(2)

dengan ^ˆˆ merupakan estimator alternatif yang linear dan tak bias bagi β.

 Estimasi M merupakan perluasan dari MLE dan merupakan estimasi yang robust .

 Prinsip estimasi M adalah meminimumkan fungsi Huber ( ), yang didefinisikan sebagai

2

2

jika

( ) 2 jika atau k

k k

k k k

 

    

   

 

   



dengan k = 1,5^ˆ dan ^ˆ adalah estimasi standar deviasi σ dari sisa.

 Digunakan ^ˆ= 1,483 MAD untuk mengestimasi σ, dengan MAD (Median of Absolute Deviation) adalah median dari sisa absolut ei (Birkes dan Dodge, 1993: 87).

 Pada estimasi-M fungsi diminimumkan, dengan merupakan fungsi yang memenuhi:

∑ ( ) ∑ { } (3)

Jika menyatakan turunan terhadap , maka diperoleh persamaan ∑ ( ) (4)

dengan , dan , i =1, 2, ..., n.

 Untuk mendapatkan nilai estimasi-M, diperlukan suatu algoritma penghitungan.

 Berikut diberikan algoritma estimasi-M yang diacu dari Birkes dan Dodge (1993: 93).

1. Dipilih estimasi awal b⁰ dari metode kuadrat terkecil lalu

dihitung , sisa , dan = 1,483

MAD.

2. Dipotong agar mendapatkan nilai , yaitu:

= 1,5 jika > 1,5 = -1,5 jika < -1,5

3. Dihitung lalu dari nilai tersebut dicari nilai b⁰ menggunakan metode kuadrat terkecil. Proses iterasi berlanjut sampai diperoleh nilai b⁰ yang sama dengan iterasi sebelumnya.

0 0 0

0 1 1

ˆ_{i i p ip}

y b b x  b x e_i⁰  y_iyˆ_i⁰ ˆ

0

ei e_i^*

*

ei ˆ e_i⁰ ˆ

*

ei ˆ e_i⁰ ˆ

* ˆ0 *

i i i

y  y e y_i^*

Dari nilai b⁰ di atas, diperoleh regresi dengan estimasi-M.