MASALAH-MASALAH DALAM MODEL REGRESI LINIER

(1)

MASALAH-MASALAH DALAM MODEL REGRESI LINIER

Pendahuluan

Analisis model regresi linier memerlukan dipenuhinya berbagai asumsi agar model dapat digunakan sebagai alat prediksi yang baik. Namun tidak jarang peneliti menghadapi masalah dalam modelnya. Berbagai masalah yang sering dijumpai dalam analisis regresi adalah Multikolineritas, Heteroskedastisitas dan Autokorelasi.

Multikolinearitas

Salah satu asumsi yang digunakan dalam metode OLS adalah tidak ada hubungan linier antara variabel independen. Adanya hubungan antara variabel independen dalam satu regresi disebut dengan multikolinearitas. Multikolinearitas terjadi hanya pada persamaan regresi berganda.

Ada kolinieritas antara X1 dan X2: X1 = γ X2 atau X2 = γ^-1X1

X₁ = X₂ + X₃ terjadi perfect multicollinearity

X2 = 4X1 (perfect multicollinearity)

X3 = 4X1 + bilangan random (tidak perfect multicollinearity)

Jika dua variabel independen atau lebih saling mempengaruhi, masih bisa menggunakan metode OLS untuk mengestimasi koefisien persamaan regresi dalam mendapatkan estimator yang BLUE. Estimator yang BLUE tidak memerlukan asumsi terbebas dari masalah Multikolinearitas. Estimator BLUE hanya berhubungan dengan asumsi tentang variabel gangguan. Ada dua asumsi penting tentang variabel gangguan yang mempengaruhi sifat dari estimator yang BLUE.

1. Varian dari variabel gangguan adalah tetap atau konstan (homoskedastisitas) 2. TidaK adanya korelasi atau hubungan antara variable gangguan satu observasi

dengan variable gangguan observasi yang lain atau sering disebut tidak ada masalah autokorelasi

Jika variabel gangguan tidak memenuhi kedua asumsi variabel gangguan tersebut maka estimator yang kita dapatkan dalam metode OLS tidak lagi mengandung sifat BLUE.

(2)

Adanya Multikolinearitas masih menghasilkan estimator yang BLUE, tetapi menyebabkan suatu model mempunyai varian yang besar

Sifat- sifat multikolinieritas secara statistik:

1. Sempurna => β tidak dapat ditentukan, β = ( X^TX )^-1 X^TY 2. Tidak sempurna => β dapat ditentukan;

tetapi standard error-nya besar, 3 kurang tepat.

Tidak ada kolinieritas antara X₁ dan X₂: X₁ = X₂² atau X₁ log X₂

Akibat multikolinieritas:

1. Variansi besar (dan taksiran OLS)

2. Interval kepercayaan lebar (variansi besar SE besar Interval kepercayaan lebar)

3. t rasio tidak signifikan,

4. R² tinggi tetapi tidak banyak variabel yang signifikan dari uji t.

Cara mengatasi kolinieritas:

1. Melihat informasi sejenis yang ada

Konsumsi = σ0 + σ1 Pendapatan + σ2 Kekayaan + u Misalnya : σ₂ = 0,25 σ₁

2. Tidak mengikutsertakan salah satu variabel yang kolinier

Dengan menghilangkan salah satu variabel yang kolinier dapat menghilangkan kolinieritas pada model. Akan tetapi, ada kalanya pembuangan salah satu variabel yang kolinier menimbulkan specification bias yaitu salah spesifikasi kalau variabel yang dibuang merupakan variabel yang sangat penting.

3. Mentransforinasikan variabel Yt = β1 + β2X2t + β3X3t + ut

Yt-1 = β1 + β2X2t-1 + β3X3t-1 + ut-1

(Yt – Yt-1) = β2 (X2t – X2t-1) + β3 (X3t – X3t-1) + (ut – ut-1) Yt* = β2X2t* + β3X3t* + ut*

(3)

4. Mencari data tambahan

Dengan tambahan data, kolineritas dapat berkurang, tetapi dalam praktek tidak mudah untuk mencari tambahan data.

5. Cara-cara lain: transformasi eksponensial dan logaritma

APLIKASI EVIEWS

Dependent Variable: IHSG Method: Least Squares Date: 07/10/11 Time: 22:38 Sample: 2009M10 2011M05 Included observations: 20

Variable Coefficient Std. Error t-Statistic Prob.

C 26.45235 7.500357 3.526812 0.0031

DJIA 0.725756 0.219194 3.311015 0.0048 SBI -0.319151 0.163398 -1.953215 0.0697 KURS -2.469224 0.714175 -3.457449 0.0035

INF 0.041571 0.010092 4.119047 0.0009

R-squared 0.944660 Mean dependent var 8.037632 Adjusted R-squared 0.929903 S.D. dependent var 0.162302 S.E. of regression 0.042971 Akaike info criterion -3.244269 Sum squared resid 0.027697 Schwarz criterion -2.995336 Log likelihood 37.44269 F-statistic 64.01300 Durbin-Watson stat 1.611971 Prob(F-statistic) 0.000000

Estimation Equation:

=====================

IHSG = C(1) + C(2)*DJIA + C(3)*SBI + C(4)*KURS + C(5)*INF

Substituted Coefficients:

=====================

IHSG = 26.45235239 + 0.7257556584*DJIA - 0.3191514431*SBI - 2.469223716*KURS + 0.04157097176*INF

(4)

Correlation Matriks

DJIA IHSG INF KURS SBI

DJIA 1 0.841957 0.6759917 -0.7858188 0.75559279

IHSG 0.841957 1 0.8907004 -0.8797351 0.56271160

INF 0.675991 0.890700 1 -0.7340958 0.42553243

KURS -0.785818 -0.879735 -0.7340958 1 -0.70832435

SBI 0.755592 0.562711 0.42553243 -0.7083243 1

INF = F ( IHSG, ..)

Dependent Variable: INF Method: Least Squares Date: 07/10/11 Time: 22:52 Sample: 2009M10 2011M05 Included observations: 20

C -190.3878 170.8450 -1.114389 0.2826 IHSG 12.76755 3.099637 4.119047 0.0009 DJIA -5.460703 4.853140 -1.125190 0.2782

SBI 1.399196 3.186688 0.439075 0.6669

KURS 14.11205 16.37712 0.861693 0.4024

R-squared 0.821028 Mean dependent var 5.095500 Adjusted R-squared 0.773302 S.D. dependent var 1.581646 S.E. of regression 0.753066 Akaike info criterion 2.482991 Sum squared resid 8.506630 Schwarz criterion 2.731924 Log likelihood -19.82991 F-statistic 17.20299 Durbin-Watson stat 1.249816 Prob(F-statistic) 0.000018

Regresi Auxiliary

DJIA = F(KURS, SBI, INF)

Dependent Variable: DJIA Method: Least Squares Date: 07/11/11 Time: 22:18 Sample: 2009M10 2011M05 Included observations: 20

C 12.47113 7.966069 1.565531 0.1370

KURS -0.756840 0.792265 -0.955286 0.3536

SBI 0.393026 0.158356 2.481921 0.0246

INF 0.017192 0.010678 1.610041 0.1269

(5)

KURS = F(DJIA, SBI, INF)

Dependent Variable: KURS Method: Least Squares Date: 07/11/11 Time: 22:20 Sample: 2009M10 2011M05 Included observations: 20

C 10.35601 0.436444 23.72817 0.0000

DJIA -0.071294 0.074631 -0.955286 0.3536 SBI -0.093818 0.052168 -1.798382 0.0910 INF -0.007411 0.003008 -2.463704 0.0255

SBI = F(DJIA, KURS, INF)

Dependent Variable: SBI Method: Least Squares Date: 07/11/11 Time: 22:21 Sample: 2009M10 2011M05 Included observations: 20

C 17.17747 10.64179 1.614153 0.1260

DJIA 0.707272 0.284969 2.481921 0.0246 KURS -1.792267 0.996600 -1.798382 0.0910 INF -0.021753 0.014452 -1.505173 0.1518

R-squared 0.654200 Mean dependent var 6.550000 Adjusted R-squared 0.589362 S.D. dependent var 0.102598 S.E. of regression 0.065746 Akaike info criterion -2.429187

(6)

Sum squared resid 0.069160 Schwarz criterion -2.230041 Log likelihood 28.29187 F-statistic 10.08983 Durbin-Watson stat 1.117814 Prob(F-statistic) 0.000568

INF = F(DJIA, KURS, SBI)

Dependent Variable: INF Method: Least Squares Date: 07/11/11 Time: 22:22 Sample: 2009M10 2011M05 Included observations: 20

C 314.0052 168.3938 1.864708 0.0807

DJIA 8.109744 5.036978 1.610041 0.1269 KURS -37.11079 15.06301 -2.463704 0.0255 SBI -5.701951 3.788237 -1.505173 0.1518

R-squared 0.618592 Mean dependent var 5.095500 Adjusted R-squared 0.547078 S.D. dependent var 1.581646 S.E. of regression 1.064440 Akaike info criterion 3.139631 Sum squared resid 18.12851 Schwarz criterion 3.338777 Log likelihood -27.39631 F-statistic 8.649945 Durbin-Watson stat 0.709709 Prob(F-statistic) 0.001215

Heteroskedastisitas (Heteroscedasticity)

Metode OLS baik model regresi sederhana maupun berganda mengasumsikan bahwa variabel gangguan (u_i) mempunyai rata-rata nol atau E(u_i) = 0, mempunyai varian yang konstan atau Var (u_i) = σ²dan variabel gangguan tidak saling berhubungan antara satu observasi dengan observasi lainnya atau Cov (u_{i ,}u_j) = 0.

(7)

Salah satu asumsi yang harus dipenuhi dalam model OLS adalah varian bersifat homoskedastisitas atau Var (ui) = σ². Dalam kenyataannya seringkali varian variabel gangguan adalah tidak konstan atau disebut dengan heteroskedastisitas

Catatan:

Data cross-sectional cenderung untuk bersifat heteroscedastic karena pengamatan dilakukan pada individu yang berbeda pada saat yang sama.

Dampak Heteroskedastisitas terhadap OLS 1. Estimator metode OLS masih linier 2. Estimator metode OLS masih tidak bias

3. Namun estimator metode OLS tidak lagi mempunyai varian yang menimum dan terbaik (no longer best)

Cara mengatasi heteroskedastisitas dengan Metode GLS

Yj = β1 + β2Xj + uj dengan Var (uj) = σj2

masing-masing dikalikan 1 : Yj = β1 1 + β2 Xj + uj

σj σj σj σj σj

Maka diperoleh transformed model sebagai berikut:

Y_i* = β₁* + β₂X_i* + u_i*

Kita periksa dulu apakah u_i* homoskedastis?

E (u_i*) = E u_i = 1 E(u_i) = 1 (σ_i²) = 1 konstan σ_i σ_i² σ_i²

Dengan demikian ui homoskedastis.

Kita akan menaksir transformed model dengan OLS dan taksiran yang diperoleh akan BLUE, sedangkan model ash yang belum ditransformasikan (original model) bila

(8)

ditaksir dengan OLS, taksirannya tidak BLUE. Prosedur yang menaksir transformed model dengan OLS disebut metode Generalized Least Square (GLS).

Dampak OLS bila ada heteroskedastisitas

(i) variansi dan taksiran lebih besar

(ii) uji t dan F kurang akurat

(iii) interval kepercayaan sangat besar

(iv) kesimpulan yang kita ambil dapat salah

Cara mendeteksi adanya heteroskedastisitas

tidak mudah mendeteksinya : intuisi, studi terdahulu, dugaan

Bila kita menggunakan data cross-section yang sangat heterogen untuk melihat total penjualan dan perusahaan kecil, menengah dan sangat besar, sudah dapat diduga bahwa akan ada masalah heteroskedastisitas.

Uji Park

Lakukan langkah-langkah berikut:

In ui2

= σ + β In Xi + vi; ui : error term regresi : Yi = σ0 + β0Xi + ui

Bila β secara statistik signifikan, maka ada heteroskedastisitas

Uji Goldfeld — Quandt

Metode Goldfeld — Quandt sangat populer untuk digunakan, namun agak repot.

Langkah-langkah pada metode ini adalah sebagai berikut:

1. Urutkan pengamatan berdasarkan nilai X dan kecil ke besar

2. Abaikan pengamatan sekitar median, katakanlah sebanyak c pengamatan 3. Sisanya, masih ada (N — c) pengamatan

4. Lakukan regresi pada pengamatan ( N – c ) yang pertama. Hitung RSS₁, Residual Sum of Squares pertama 2

5. Lakukan regresi pada pengamatan ( N – c )yang kedua. Hitung RSS2, Residual Sum of Squares yang kedua 2

6. Hitung λ = RSS2 /df2

RSS1 /df1

(9)

df= degrees of freedom = derajat bebas df = banyaknya pengamatan dikurangi banyaknya parameter yang ditaksir

7. Lakukan uji F

Bila λ > F, kita tolak hipotesis yang mengatakan data mempunyai variansi yang homoskedastis

Aplikasi Eviews

White Heteroskedasticity Test:

F-statistic 8.213817 Probability 0.000000

Obs*R-squared 39.41211 Probability 0.000010

Test Equation:

Dependent Variable: RESID^2 Method: Least Squares Date: 07/10/11 Time: 23:30 Sample: 2005M07 2011M07 Included observations: 73

C -217.2862 63.35708 -3.429548 0.0011 DJIA 5.286349 2.125101 2.487575 0.0155 DJIA^2 0.122153 0.035783 3.413773 0.0011 DJIA*SBI -0.023761 0.004767 -4.984095 0.0000 DJIA*KURS -0.775775 0.233489 -3.322530 0.0015 SBI -0.565149 0.291609 -1.938035 0.0571 SBI^2 0.000238 0.000734 0.323423 0.7474 SBI*KURS 0.082797 0.033525 2.469709 0.0162 KURS 43.15816 12.36109 3.491453 0.0009 KURS^2 -2.041863 0.595189 -3.430614 0.0011

(10)

Autokorelasi

Secara harfiah autokorelasi berarti adanya korelasi antara anggota observasi satu dengan observasi yang lain yang berlainan waktu. Dalam kaitannya dengan asumsi metode OLS, autokorelasi merupakan korelasi antara satu variabel gangguan dengan variabel gangguan yang lain. Sedangkan salah satu asumsi penting metode OLS berkaitan dengan variabel gangguan adalah tidak adanya hubungan antara variabel gangguan satu dengan variabel gangguan yang lain. Tidak adanya serial korelasi antara variabel gangguan ini sebelumnya dinyatakan:

Tidak ada korelasi bila E ( ui, uj ) = 0 ; i ≠ j Jika Ada autokorelasi bila E ( ui, uj ) ≠ 0 ; i ≠ j

Autokorelasi dapat berbentuk autokorelasi positif dan autokorelasi negatif. Dalam analisis runtut waktu, lebih besar kemungkinan terjadi autokorelasi positif, karena variabel yang dianalisis biasanya mengandung kecenderungan meningkat, misalnya IHSG dan Kurs

Autokorelasi terjadi karena beberapa sebab. Menurut Gujarati (2006), beberapa penyebab autokorelasi adalah:

1. Data mengandung pergerakan naik turun secara musiman, misalnya IHSG kadang menaikan dan kadang menurun

2. Kekeliruhan memanipulasi data, misalnya data tahunan dijadikan data kuartalan dengan membagi empat

3. Data runtut waktu, yang meskipun bila dianalis dengan model y_t = a + b x_t + e_t karena datanya bersifat runtut, maka berlaku juga y_t-1 = a + b x_t-1 + e_t-1. Dengan demikian akan terjadi hubungan antara data sekarang dan data periode sebelumnya

4. Data yang dianalisis tidak bersifat stasioner

Pengaruh Autokorelasi

Apabila data yang kita analisis mengandung autokorelasi, maka estimator yang kita dapatkan memiliki karakteristik berikut ini:

a. Estimator metode kuadrat terkecil masih linier

(11)

b. Estimator metode kuadrat terkecil masih tidak bias

c. Estimator metode kuadrat terkecil tidak mempunyai varian yang menimum (no longer best)

Dengan demikian, seperti halnya pengaruh heteroskedastisitas, autokorelasi juga akan menyebabkan estimator hanya LUE, tidak lagi BLUE.

Kasus ada autokorelasi

(i) Jika pendapatan keluarga i meningkat, konsumsi keluarga i meningkat, dan konsumsi keluarga j ikut rneningkat pula; i ≠ j

(ii) Fenomena Cob Web : Supply tergantung dan harga komoditas periode lalu (Supply)t = βi + β2 Pt-1 + Ut

Estimasi OLS pada saat ada autokorelasi

Yt = β1 + β2Xt + ut;

E (ut, ut+s) ≠ 0, berarti ut dan ut+s berautokorelasi ; misalkan : Ut = p Ut-1 + εt

Apakah β1 dan β2 BLUE? (tidak, karena variansinya tidak minimum lagi) Oleh karena itu, gunakan GLS pada saat terjadi autokorelasi

Mengindentifikasi Autokorelasi Uji Durbin-Watson (Uji D-W)

Uji D-W merupakan salah satu uji yang banyak dipakai untuk mengetahui ada tidaknya autokorelasi. Hampir semua program statistic sudah menyediakan fasilitas untuk menghitung nilai d (yang menggambarkan koefisien DW). Nilai d akan berada di kisaran 0 hingga 4.

Jika nilai d berada antara 0 sampai 1,10 Tolak Ho, berarti ada autokorelasi positif Jika nilai d berada antara 1,10 sampai 1,54 Tidak dapat diputuskan

Jika nilai d berada antara 1,54 sampai 2,46 Tidak menolak Ho, berarti tidak ada autokorelasi

Jika nilai d berada antara 2,46 sampai 2,90 Tidak dapat diputuskan

Jika nilai d berada antara 2,90 sampai 4 Tolak Ho, berarti ada autokorelasi negatif

(12)

p = koefisien autokorelasi. -1 ≤ p ≥ 1. Sehingga: 0 ≤ d ≤ 4

• Pada saat p = 0, d = 2, artinya tidak ada korelasi

• Pada saat p = 1, d = 0, artinya ada korelasi positif

• Pada saat p = -1, d 4, artinya ada korelasi negatif

Pengamatan kasar:

Bila d dekat dengan 2, p akan dekat dengan nol, jadi tidak ada korelasi.

Ada uji yang lebih spesifik, menggunakan Tabel Durbin-Watson dengan melihat nilai d_L dan d_U

Meskipun Uji D-W ini relatif mudah, tetapi ada beberapa kelemahan yang harus diketahui. Kelemahan-kelemahan tersebut adalah sebagai berikut:

a. Uji D-W hanya berlaku bila variabel independennya bersifat random (stokastik)

b. Bila model yang dianalisis menyertakan data yang didiferensi, misalnya model auotoregressive AR(p), uji D-W hanya berlaku pada AR(1), sedang pada AR(2) dan seterusnya, uji D-W tidak dapat digunakan

c. Uji D-W tidak dapat digunakan pada model rata-rata bergerak (moving average).

Uji Breusch-Godfrey (Uji BG)

Nama lain dari uji BG adalah Uji Lagrange-Multiplier. Dari nilai probability lebih kecil dari α = 5% yang mengindikasikan bahwa data mengandung masalah autokorelasi

Breusch-Godfrey Serial Correlation LM Test:

F-statistic 29.37420 Probability 0.000000

Obs*R-squared 31.46826 Probability 0.000000

Test Equation:

Dependent Variable: RESID Method: Least Squares

(13)

Date: 10/03/10 Time: 07:34

Presample missing value lagged residuals set to zero.

C -179.5515 295.7918 -0.607020 0.5462 KURS 0.017865 0.028261 0.632125 0.5298

SBI 1.146495 10.80750 0.106083 0.9159

RESID(-1) 0.818412 0.131428 6.227057 0.0000 RESID(-2) -0.145856 0.133078 -1.096014 0.2777

R-squared 0.507553 Mean dependent var 1.07E-12 Adjusted R-squared 0.472995 S.D. dependent var 232.0697 S.E. of regression 168.4713 Akaike info criterion 13.16862 Sum squared resid 1617807. Schwarz criterion 13.34016 Log likelihood -403.2271 F-statistic 14.68710 Durbin-Watson stat 1.551782 Prob(F-statistic) 0.000000

Cara pengobatan Autokorelasi

Secara umum susah untuk mengatasinya. Transformasi logaritma dapat mengurangi korelasi. Hanya saja, kadang-kadang data-data yang dianalisis ada data yang negatif sehingga kita tidak dapat melakukan transformasi logaritma.

Kalau kita tahu atau dapat menduga bahwa hubungan korelasinya adalah spesifik, misalnya u_t = p u_t-1 + ε_t dan p dapat dihitung/dicari atau diketahui, maka kita dapat rnenggunahan GLS untuk mencari taksiran yang BLUE (Best Linear Unbiased Estimator).

(14)