MULTIPLE REGRESI. Dwi Martani. 1/26/2010 Statistik untuk Bisnis 8 1

(1)

MULTIPLE REGRESI

(2)

Masalah dalam multiple regresi

Multicollinearity Analysis

Auto-Correlations

Heteroskedastisitas

Dummy Variable

Outlier Test

Analysis MLR

(3)

Multikolinearitas

(4)

Multicollinearity

Dikenalkan oleh Frisch

Terdapat hubungan linear di antara

variabel-variabel bebas dalam model regresi

Perfect multicollinearity / hubungannya Perfect multicollinearity / hubungannya

sempurna.

Multicollinearity tidak sempurna/ Ada

hubungan tetapi tidak sempurna

Variabel-variabel dikatakan orthogonal jika

(5)

Hakekat Multicollinearity

Multikollinearitas pada hakekatnya adalah fenomena

sampel. Sampel tidak memenuhi asumsi dasar mengenai ketidaktergantungan di antara variabel bebas yang masuk dalam model

Multikolinearitas adalah persoalan derajat (degree)

dan bukan persoalan jenis (kind). Bukan dan bukan persoalan jenis (kind). Bukan

mempersoalkan apakah korelasi variabel bebas positif atau negatif tetapi merupakan persoalan korelasi di antara variabel bebas.

Mutikolinearitas adalah masalah yang timbul

berkaitan dengan adanya hubungan linear di antara variabel bebas. Semakin tinggi hubungannya

(6)

Penyebab Multikolinearitas

Sifat dari variabel berubah bersama-sama

sepanjang waktu.

Penghasilan, tabungan, investasi, konsumsi,

kesempatan kerja cenderung meningkat pada masa makmur dan menurun pada masa

masa makmur dan menurun pada masa depresi.

Penggunaan nilai lag dari variabel bebas

tertentu dalam model regresi

(7)

Akibat Multikolinearitas

Penaksir-penaksir dengan menggunakan OLS tidak bisa

ditentukan terutama jika moltikolinearitasnya sempurna

Hasil estimasi tetap tidak bias

Varian dan kovarian (standard error) dari penaksir-penaksir

menjadi besar hingga tak terhingga (molt. Sempurna). Standard error akan menjadi besar sehingga potensi kesalahan tipe II

(tidak menolak hipotesis yang salah) akan meningkat. (tidak menolak hipotesis yang salah) akan meningkat.

R2 tinggi namun tidak satu pun (sangat sedikit) koefisien regresi

yang signifikan secara statistik.

Nilai R2 dan F yang tidak berkolinearitas tidak berpengaruh oleh

munculnya kolinearitas

Taksiran parameter OLS dan standard error akan sensitif

(8)

Ilustrasi

Y = a + b1X1 + b2X2 + e Y = -367,83 + 0,5113 X1 + 0,0427 X2 se (1,0307) (0,0942) t 0,496 0,453 R2 = 0,835 R2 = 0,835 Y = a + b1X1 + e Y = -471,43 + 0,9714X1 se (1,157) t 6,187 R2 = 0,861

(9)

Pengujian untuk mendeteksi

Multikolinearitas

Koefisien korelasi antar variabel tinggi

Beberapa peneliti secara arbitrer menentukan

0,8 dan tinggi kolinearitasnya jika nilainya lebih tinggi dari 0,8.

High Variance Inflation Factors (VIF)

VIF adalah estimasi seberapa besar

multikolinearitas meningkatkan varian pada suatu koefisien estimasi sebuah variabel

Multikolinearitas dikatakan berat jika nilai VIF

(10)

Perbaikan Multikolinearitas

Membiarkan saja

Multikolienaritas tidak akan selalu mengurangi

nilai t.

Perbaikan multikolinearitas perlu

dipertimbangkan hanya apabila dipertimbangkan hanya apabila

konsekuensinya menyebabkan nilai t tidak signifikan atau estimasi regresi menjadi tidak reliabel.

Menghapuskan variabel dapat

membahayakan karena muncul bias spesifikasi

(11)

Perbaikan Multikolinearitas

Menghapus variabel yang berlebihan

Cara menghapus dengan melihat R2 dan t,

variabel yang dihapus adalah yang dapat

meningkatkan R2 dan t-nya variabel lain yang masih ada.

masih ada.

Dukungan teori, mana variabel yang paling

(12)

Perbaikan Multikolinearitas

Perbaikan Multikolinearitas ---- contoh

contoh

Menghapus variabel yang berlebihan

Cara menghapus dengan melihat R2 dan t,

variabel yang dihapus adalah yang dapat

meningkatkan R2 dan t-nya variabel lain yang masih ada.

masih ada.

Dukungan teori, mana variabel yang paling

(13)

Perbaikan Multikolinearitas contoh

Y = a + b1X1 + b2X2 + e Y = -367,83 + 0,5113 X1 + 0,0427 X2 se (1,0307) (0,0942) t 0,496 0,453 R2 = 0,835 Y = a + b1X1 + e Y = -471,43 + 0,9714X1 Y = -471,43 + 0,9714X1 se (1,157) t 6,187 R2 = 0,861 Y = a + b2X2 + e Y = -199,44 + 0,08876X2 se (0,01443) t 6,153 R2 = 0,860

(14)

Perbaikan Multikolinearitas

Transformasi variabel motikolinearitas

Membentuk sebuah kombinasi dari

variabel-variabel moltikolinearitas.

Contoh dibentuk X3 = X1 + x2

Melakukan transformasi persamaan menjadi

persamaan beda pertama (first difference equation)

(15)

Perbaikan Multikolinearitas

Memperbesar ukuran sampel

Data yang lebih besar akan memungkinkan

hasil estimasi yang lebih akurat daripada data uanelih sedikit, karena ukuran data yang lebih besar secara normal akan mengurangi varian besar secara normal akan mengurangi varian koefisien estimasi yang akibatnya akan

menurunkan moltikolinearitas.

Misal dengan melakukan pool data

mengumpulkan kombinasi data cross section dengan data times series

(16)

Perbaikan Multikolinearitas

Memperbesar ukuran sampel

Data yang lebih besar akan memungkinkan

hasil estimasi yang lebih akurat daripada data uanelih sedikit, karena ukuran data yang lebih besar secara normal akan mengurangi varian besar secara normal akan mengurangi varian koefisien estimasi yang akibatnya akan

menurunkan moltikolinearitas.

Misal dengan melakukan pool data

mengumpulkan kombinasi data cross section dengan data times series

(17)

Otokorelasi

(18)

Otokorelasi

Otokorelasi merupakan pelanggaran asumsi

klasik

pengamatan-pengamatan yang berbeda tidak

terdapat korelasi antara error term

Otokorelasi terjadi pada kebanyakan pada

serangkaian data times series

Error term pada pada satu periode waktu

secara sistematis tergantung pada error term pada periode waktu yang lain

(19)

Otokorelasi murni

Otokorelasi murni asumsi klasik yang menyatakan bahwa

tidak ada korelasi antar error term pada periode pengamatan yang berbeda dilanggar dalam sebuah persamaan yang telah terspesifikasi dengan benar

Otokorelasi urutan pertama (first order autocorrelation)

pengamatan error term saat ini merupakan suatu fungsi pengamatan error term sebelumnya.

pengamatan error term sebelumnya.

Et = pEt-1 + e

Besarnya p menggambarkan kekuatan otokorelasi -1 < p < 1

Otokorelasi urutan kedua (second order autocorrelation)

(20)

Otokorelasi positf dan negatif

Otokorelasi positif p>0

Error term cenderung memiliki arah yang

sama dari satu periode waktu ke periode waktu berikutnya

Otokorelasi negatif

Error term memiliki kecenderungan berubah

tanda dari negatif ke positif dan seterusnya saling berganti tanda pada

(21)

Otokorelasi tidak murni

Otokorelasi tidak murni otokorelasi yang

disebabkan oleh kesalahan spesifikasi seperti

menghilangkan variabel yang penting atau bentuk fungsi yang salah

Error term pada persamaan yang tidak terspesifikasi

dengan benar didalamnya termasuk efek variabel penting yang dihilangkan.

Memperbaiki otokorelasi tidak murni dengan mencoba

untuk menemukan variabel yang dihilangkan sehingga bentuk fungsi menjadi benar.

Y = b0 + b1X1 + b2X2 + Et

(22)

Konsekuensi Otokorelasi

Otokorelasi murni tidak menyebabkan bias

koefisien-koefisen estimasi

Sifat OLS adalah minimum varian bagi

estimator-estimator tidak bias linear

Otokorelasi meningkatkan varian padda

distribusi koefisien estimasi

Otokorelasi menyebabkan OLS menaksir

(23)

Pengujian Otokorelasi

Uji Durbin Watson secara umum digunakan

untuk menguji otokorelasi

Statistik d Durbin Watson digunakan untuk

menentukan otokorelasi urutan pertama pada error term.

error term.

Asumsi Durbin Watson:

Model regresi melibatkan intersep

Otokorelasi adalah otokorelasi urutan pertama Model regresi tidak lagi memasukkan variabel

(24)

Statistik durbin Watson

Formula

Otokorelasi memiliki nilai ekstrim positif d=0

Et = Et-1 maka Et – Et-1 = 0, d=0

2 1 2 1 2 ) ( ) (

∑

− − = _t t t t t E E E d

Et = Et-1 maka Et – Et-1 = 0, d=0

Otokorelasi memiliki nilai ekstrim negatif d=4

Et = - Et-1 maka Et – Et-1 = 2, substitusikan dalam persamaan diperoleh d≈4

(25)

Pengujian Statistik Durbin Watson

Pengujian Durbin Watson tidak biasa digunakan

dalam dua hal :

Tidak pernah menguji hipotesis dari sisi negatif

karena Otokorelasi negatif dari nilai residual sulit diterangkan secara teoritas baik dalam analisis ekonomi dan bisnis. Keberadaannya sering

diterangkan secara teoritas baik dalam analisis ekonomi dan bisnis. Keberadaannya sering

merupakan otokorelasi tidak murni yang disebabkan oleh kesalahan spesifikasi.

Uji Durbin Watson tidak tersimpulkan, selain ada

area diterima dan tidak diterima ada area tidak tersimpulkan

(26)

Pengujian Statistik Durbin Watson

Tahap pengujian :

Cari nilai residu dengan OLS dan hitung statistik d

Menentukan ukuran sampel dan jumlah variabel

independen kemudian lihat dalam tabel statistik Durbin Watson untuk mendapatkan nilai kritis d Durbin Watson untuk mendapatkan nilai kritis d yaitu dUpper dan dLower

Hipotesis H0: p <= 0 ; H1 : p > 0

d > dL tolak ho

d < dU tidak tolak ho

(27)

Durbin Watson

Durbin Watson tidak membedakan

otokorelasi murni dan tidak murni

Otokorelasi negatif memandakan suatu

isyarat bahwa otokorelasi adalah tidak murni isyarat bahwa otokorelasi adalah tidak murni

Jika korelasinya murni maka GLS digunakan

(28)

Heteroskedastisitas

(29)

Heteroskedastisitas

Asumsi OLS adalah varian residual bersifat

homoskedastis atau bersifat konstan.

Varian resisul tidak konstan

heteroskedastisitas.

Heteroskedastisitas sering terjadi pada data Heteroskedastisitas sering terjadi pada data

cross section.

Error term terdistribusi normal dengan variab

tidak konstan meliputi semua pengamatan.

Varian error berkorelasi dengan variabel

(30)

Penyebab Heteroskedastisitas

Data dari satu atau lebih variabel

mengandung nilai dengan jarak (range) yang lebar antara data paling kecil dengan data

yang paling besar.

Perbedaan laju pertumbuhan antara variabel

dependen dan independen signifikan pada periode pengamatan untuk data times series.

Dalam data sendiri terdapat

(31)

Konsekuensi Heteroskedastisitas

Koefisien tetap tidak bias namun nilai

koefisien berfluktuasi tajam jika model

diperbaharui dengan menambah data atau sampel yang berbeda.

Estimasi menjadi tidak akurat

(32)

Mendeteksi Heteroskedastisitas

Banyak cara untuk mendeteksi

Heteroskedastisitas diantaranya ;

Gambar grafik nilai residu

Jika dalam plot grafik nilai residu membentuk pola yang makin meningkat (menjauhi nol) pola yang makin meningkat (menjauhi nol) dengan semakin meningkatnya variabel independen

Uji godlfeld Quant Uji Park

(33)

Cara mengatasi Heteroskedastisitas

Mentransformasi data dengan suatu faktor

yang tepat GLS

Mentransformasi data dalam bentuk translog

Membagi variabel dengan nilai tertentu Membagi variabel dengan nilai tertentu Melogaritmakan variabel tersebut (logVar)

(34)

Dummy Variabel

(35)

Variabel Dummy

Variabel dummy digunakan untuk

menjelaskan variabel kualitatif terutama

variabel dummy yang bersifat ada atau tidak ada.

Misal pria dan wanita; kulit hitam dan putih; Misal pria dan wanita; kulit hitam dan putih;

Variabel dummy sering disebut variabel

indikator, variabel kategorik, variabel kualitatif atau variabel dikotomi

Variabel dummy hanya memiliki dua nilai 0

(36)

Variabel Dummy

Variabel dummy akan mempengaruhi nilai

konstanta untuk observasi yang nilai dummy 1.

Variabel dummy dapat digunakan untuk

mengukur perubahan suatu fungsi sepanjang waktu yaitu dengan memasukkan tahun

sebagai dummy variabel.

Variabel dummy dapat digunakan dalam

analisis musiman dengan memasukkan variabel dummy kuartal

(37)

Variabel Dummy

Variabel Dummy ---- Interaksi

Interaksi

Variabel dapat digunakan untuk mengukur

perubahan slope jika variabel dummy tersebut diinteraksikan dengan variabel independen.

Contoh Y = a + b1X1 + b2D1

Y = a + b1X1 + b2(X1*D1) Y = a + b1X1 + b2(X1*D1) untuk D=0 Y = a + b1X1

untuk D=1 Y = a + (b1+b2)X1

Pencantuman variabel dummy harus dapat

dipastikan bahwa pengaruhnya akan mempengaruhi konstanta atau slope

(38)

Dummy sebagai dependen Variabel

Jika variabel terikat memiliki sifat kualitatif maka

variabel dummy dapat mewakilinya sebagai variabel terikat :

Faktor yang menentukan penugasan audit diterima

atau tidak

Faktor yang mempengaruhi seorang direksi

diperpanjang masa tugasnya

Kelemahan dari fungsi ini

Variabel error tidak terdistribusi secara normal

Asumsi homoskedastisitas tidak valid

Predicted value dari variabel terikat dapat keluar dari

(39)

OUTLIER

Outlier adalah data yang sangat ekstrem: sangat

besar atau sangat kecil.

Data dikatakan sangat ekstrem “biasanya digunakan”

ukuran 3 standard deviasi.

Jika terdapat outlier maka langkah yang dilakukan

adalah membuang data tersebut adalah membuang data tersebut

Dengan sistem dapat ditentukan batas outlier yang

dikehendaki oleh peneliti, sehingga data yang

dimasukkan dalam regresi hanyalah data yang tidak mengandung outlier.

Penghapusan data harus dilakukan dengan hati-hati

karena justru dapat menghilangkan karakteristik dari sampel

(40)