Istilah regresi pertama kali diperkenalkan oleh orang Perancis bernama Sir Francis Galton (1822-1911). Menurut Gujarati (1995) analisis regresi berkenaan dengan studi ketergantungan dari suatu variabel yang disebut
variabel tak bebas (dependent variable) terhadap satu atau lebih variabel lain yaitu variabel yang menjelaskan (explanatory variables), dengan maksud menaksir atau meramalkan nilai rata-rata dari variabel bebas apabila nilai variabel yang menerangkan sudah diketahui. Regresi linier berganda adalah regresi yang memuat lebih dari satu variabel bebas (regresor). Salah satu kegunaan analisis regresi linier berganda untuk memperkirakan ataupun meramalkan keadaan masa yang akan datang dengan mengukur beberapa variabel bebas (X) beserta pengaruhnya terhadap variabel terikat (Y).
Model persamaan regresi berganda dapat dituliskan sebagai berikut : Ү = β0 + β1X1 + β2X2 + … + βkXk + ε (1) Dimana,
Y : Variabel terikat β0 : Konstanta
β1, β2, …, βk : Koefisien regresi X : Variabel bebas
ε : Kesalahan (galat)
(Sembiring, 1995: 134) Persamaan di atas dapat diestimasi untuk menduga nilai dari parameter.
Model persamaan di atas apabila diestimasi akan menjadi :
ŷ = b0 + b1x1 + b2x2 + … + bkxk (2) Dimana,
b0 : Penduga β0
b1, b2, …, bk : Penduga β1, β2, …, βk
x : Variabel bebas
k : Banyaknya variabel bebas
(Sembiring, 1995: 134)
Jika observasi mengenai y, x1, x2, … , xk dinyatakan masing-masing dengan (x1, y1), (x2,y2), …, (xn, yn), maka diperoleh persamaan berikut :
yi = β0 + β1xi1 + β2xi2 + … + βkxik + εi , i = 1,2,3,…,n
yi = β0 + i = 1,2,3,…,n (3)
Dalam lambing matriks, persamaan (3) di atas menjadi :
= + (4)
Misalkan:
Y = , X = , β = ,dan ε =
Dengan demikian persamaan (2) dapat ditulis menjadi:
Y = Xβ + ε (5)
ε = Y – Xβ
Untuk mendapatkan nilai penduga dari β0, β1, β2, ...βk dapat diperoleh dengan meminimumkan bentuk kuadrat terhadap galat sebagai berikut :
S = εtε = (6)
εtε = (Y- Xβ)t (Y- Xβ) εtε = (Yt – (Xβ)t) (Y – Xβ)
εtε = (Yt – βtXt) (Y- Xβ)
εtε = YtY - Yt Xβ – βtYXt + βtXt Xβ
Menurut Sembiring (1995: 47), meminimumkan bentuk kuadrat persamaan (6) dapat dilakukan dengan mencari turunan pertama S terhadap β0, β1,β2.., βk kemudian samakan dengan nol sehingga menjadi :
b =
( (7)
Bila XtX tidak singular, maka persamaan (6) dapat ditulis menjadi :
b = ( (8)
Dimana :
Xt = Transpose X
= Invers matriks (XtX)
(Sembiring, 1999: 139) 1. Asumsi regresi linier berganda
Menurut Makridarkis (1999: 299) terdapat empat asumsi-asumsi yang harus dipenuhi dalam analisis regresi linier berganda, yaitu 1) kelinieran, 2) kebebasan sisaan, 3) kehomogenan ragam sisaan, dan 4) kenormalan sisaan. Model regresi yang akan diuji hipotesisnya harus dilakukan uji asumsi klasiknya terlebih dahulu sehingga model regresi yang digunakan dalam penelitian dapat dijadikan sebagai alat pengambilan keputusan.
a. Kelinieran (linearity)
Langkah awal yang dilakukan dalam analisis regresi berganda adalah melihat kelinieran antar variabel bebas dan variabel terikat. Jika hubungan yang terjadi antara variabel bebas dan variabel terikat bersifat linier, hal ini menunjukkan bahwa keragaman variabel terikat semata-mata akibat pengaruh dari penambahan variabel bebas.
(Saefudin, 2010: 251).
Pemeriksaan kelinieran dapat dideteksi melalui plot data pada scatterplot. Jika pola sebaran data mengikuti garis lurus memberikan petunjuk awal bahwa model telah linier. Selain itu, hubungan dapat berpola nonlinier atau mungkin juga tidak terdapat hubungan yang jelas antara variabel-variabel tersebut.
Kelinieran dalam penelitian ini akan diuji dengan menggunakan scatterplot dan uji signifikansi regresi. Melalui scatterplot dapat diduga hubungan kelinieran dengan memperhatikan gambar berikut :
Gambar 1. Plot Sebaran Data yang Menunjukan Dua Variabel Memiliki Hubungan yang Linier dan Tidak Linier.
Setelah menduga hubungan kelinieran antara variabel bebas dan terikat maka dilakukan uji signifikansi regresi untuk meyakinkan bahwa asumsi kelinieran telah terpenuhi. Uji signifikansi regresi merupakan uji untuk menentukan apakah terdapat hubungan linier antara variabel terikat y dengan sebarang variabel bebas x1, x2, …, xk
menurut Makridakis (1999: 299). Uji signifikansi regresi dapat diperoleh dari tabel ANAVA (Montgomery, 2006: 81) dibawah ini :
Tabel 1. Tabel ANAVA Sumber
variasi
Jumlah Kuadrat (JK)
Derajat Kebebasan
(dk)
Rataan
Kuadrat (RK) E(RK) F
Regresi btXtY – k
=
Sisa YtY - btXty n-k-1 JKS/n-k-1
Total YtY - n-1
Adapun hipotesis yang akan diuji adalah :
H0 : β1 = β2 = β3 = β4 = 0, artinya tidak terdapat hubungan linier antara variabel bebas dan variabel terikat.
H1 : βj ≠ 0 (untuk paling kurang satu j, dengan j = 1,2,3,..,k), artinya terdapat minimal satu hubungan linier antara variabel bebas dan variabel terikat.
(Montgomery, 2006: 80)
Statistik uji yang akan digunakan adalah uji F dengan rumus berikut:
F = (9)
Dalam hal ini : JKS = JKT = JKR =
n = jumlah data (pengamatan)
k = banyaknya variabel bebas (regresor) Keterangan :
JKS = Jumlah Kuadrat Sisa JKT = Jumlah Kuadrat Total JKR = Jumlah Kuadrat Regresi
(Sembiring, 1995: 234) Kriteria pengujiannya yaitu :
Terima H0 jika Fhit ≤ Fα, k, n-k-1
Tolak H0 jika Fhit > Fα, k, n-k-1.
Setelah melakukan uji signifikansi regresi, maka perlu juga dilakukan tes untuk masing-masing koefisien regresi. Uji yang digunakan adalah uji t. Ini dilakukan untuk menguji keberartian parameter. Adapun hipotesis yang akan diuji adalah :
H0 : βj = 0, artinya tidak terdapat pengaruh antara variabel bebas terhadap variabel terikat.
H1 : βj ≠ 0 (untuk paling kurang satu j, dengan j = 1,2,3,..,k), artinya terdapat pengaruh antara variabel bebas terhadap variabel terikat.
(Montgomery, 2006: 84)
Statistik uji yang akan digunakan adalah uji t dengan rumus berikut :
tobs = (10)
Dimana :
= nilai b untuk koefisien regresi ke j (dengan j = 1,2,..,k) =
= = RKS
= matriks diagonal baris ke-i kolom ke-j dari (XtX)-1 Keterangan :
RKS = Rataan Kuadrat Sisa
(Montgomery, 2006: 84) Kriteria pengujiannya yaitu :
Terima H0 jika ≤ tα/2, n-k-1
Tolak H0 jika > tα/2, n-k-1. b. Kebebasan sisaan (independence of residual)
Model regresi kuadrat terkecil mengasumsikan sisaan saling bebas atau tidak berkorelasi dengan sesamanya. Secara tidak langsung hal ini menyatakan bahwa nilai pengamatan tidak dipengaruhi oleh pengamatan lainnya. Kondisi sebaliknya diistilahkan sebagai autokorelasi (autocorrelation), yaitu kondisi ketika nilai suatu pengamatan dipengaruhi oleh pengamatan lainnya. Data yang dikumpulkan berdasarkan urutan waktu biasanya menjadi penyebab adanya autokorelasi, misalnya ekspor bulanan, curah hujan harian, dan data time series lainnya.
Pemeriksaan bahwa data bebas satu sama lain tidaklah mudah karena begitu banyak cara hal ini dapat dilanggar. Salah satu cara yang
baik untuk menentukan apakah data berkorelasi satu sama lain ialah dengan mempelajari proses yang menghasilkan data tesebut.
Adanya korelasi antara sisa terkadang disebabkan oleh tidak diikutsertakannya peubah bebas yang penting dalam model, jadi korelasi tersebut sesungguhnya bersifat semu. Korelasi ini akan dengan sendirinya hilang bila peubah yang penting itu diikutsertakan dalam model.
Kebebasan sisaan (autokorelasi) dapat dilihat pada residual versus the order of the data. Jika sebaran plot sisaan pada residual versus the order of the data tidak membentuk pola tertentu maka menandakan sisaan sudah saling bebas dalam artian waktu tidak mempengaruhi pengambilan data. Grafik dari pendeteksian kebebasan sisaan adalah :
Gambar 2. Plot Pencaran Data yang Bersifat Autokorelasi dan Non Autokorelasi
Adapun cara lain yang umumnya digunakan dalam mendeteksi ada atau tidaknya autokorelasi adalah dengan melihat nilai statistik d Durbin-Watson dengan rumus :
d =
(11)
Dimana :
ei : sisa pada pengamatan ke-i ei-1 : sisa pada pengamatan sebelum-i
Kriteria pengujian Durbin Watson (d) adalah : Jika d < dL, berarti terdapat autokorelasi positif
Jika d > (4 – dL), berarti terdapat autokorelasi negatif
Jika d > dU dan 4 – d > dU, berarti tidak terdapat autokorelasi Dimana :
d = nilai Durbin Watson
dL = nilai kritis Lower (bawah) dari tabel Durbin Watson dU = nilai kritis Upper (atas) dari tabel Durbin Watson
(Sembiring, 1995: 289)
c. Kehomogenan ragam sisaan (homoskedasticity), Var (εi) = σ2, i=1,2,..,n
Pendugaan parameter regresi dengan metode kuadrat terkecil mengasumsikan ragam sisaan selalu tetap (konstan) atau homogen.
Kondisi ini disebut sebagai homoskedastisitas (homoskedasticity).
Asumsi kehomogenan ragam berimplikasi bahwa setiap pengamatan memiliki informasi yang sama penting pada variabel pengaruh (Saefudin, 2010: 268).
Untuk mendeteksi ada tidaknya heterokedastisitas dapat digunakan metode grafik, yaitu dengan menghubungkan nilai variabel terikat yang diprediksi residualnya (Y prediksi-Y sesungguhnya) dimana sumbu X adalah nilai variabel terikat yang diprediksi dan
sumbu Y adalah residualnya. Apabila noktah (titik) dalam grafik membentuk pola menyebar lalu menyempit atau sebaliknya disekitar garis diagonal maka bisa dikatakan terjadi heteroskedastisitas. Jika titik-titik menyebar dengan tidak membentuk pola tertentu dibawah dan diatas angka 0 pada sumbu maka dikatakan terjadi homoskedastisitas. Berikut adalah gambar pola sisaan yang mungkin muncul dari variabel terikat (X) :
Gambar 3. Plot Sebaran Data yang Bersifat Homoskedastisitas dan Heteroskedastisitas.
Pada gambar (a) satisfactory, terlihat bahwa data tidak ada masalah. Artinya, data sudah membentuk pola linier sehingga model tidak melanggar asumsi kelinieran.
Pada gambar (b) funnel, terlihat bahwa anggapan kesamaan variansi mungkin dilanggar dan transformasi pada respons y, atau x, atau keduanya, mungkin diperlukan. Apakah transformasi benar-benar diperlukan atau tidak tentunya bergantung pada sejauh mana anggapan tersebut dilanggar.
Pada gambar (c) double blow, jika sisaan data berbentuk seperti gambar 3, ini mengidentifikasikan bahwa pola akan terjadi apabila proporsi yi antara 0 – 1.
Pada gambar (d) non linier, pola menunjukkan perlunya dimasukkan bentuk kuadrat ataupun mungkin perkalian antara dua peubah (interaksi) dalam model. Secara umum model ini menunjukkan bahwa asumsi relasi antara y dengan xj tidak benar.
d. Kenormalan sisaan (normality of residual)
Kenormalan sisaan memiliki tingkat kepercayaan yang lebih rendah dibandingkan dengan asumsi lainnya. Asumsi kenormalan sisaan hanya diperlukan saat pengujian hipotesis dan penyusunan selang kepercayaan, namun tidak terlalu penting dalam pendugaan parameter (Saefudin, 2010: 262).
Menurut Drapper (1992) dalam Martalena (2010: 25), kenormalan yaitu kesalahan pengganggu atau error mengikuti distribusi normal dengan rata-rata nol dan varians σ2. Apabila variabel tak bebas dan variabel bebas mengikuti distribusi normal, maka errornya juga akan berdistribusi normal. Dalam penelitian ini,
kenormalan sisaan diuji dengan uji Anderson Darling. Adapun rumusnya yaitu :
(12)
Dimana :
N : jumlah data i : ranking data
n : ranking data terbesar F : fungsi komulatif A : nilai Anderson-Darling
http://krisnafr.multiply.com/journal/item/49/49?&show_inte rstitial=1&u=%2Fjournal%2Fitem
Hipotesis dari Anderson Darling Test adalah : H0 : Data mengikuti sebaran tertentu H1 : Data tidak mengikuti sebaran tertentu Adapun kriteria pengujiannya adalah :
Terima H0 jika P-value > 0,05 Tolak H0 jika P-value ≤ 0,05
Selain itu, kriteria pengujiannya adalah :
Terima H0 jika nilai A ≤ nilai kritis yang telah ditentukan Tolak H0 jika nilai A > nilai kritis yang telah ditentukan
2. Pemilihan Model Terbaik
Pemilihan model terbaik berguna untuk memilih model mana yang sesuai dengan tujuan pemodelan dari beberapa kombinasi peubah yang ada. Dalam melakukan pemilihan model terbaik ada beberapa cara yang dapat dilakukan yaitu :
a. Metode seleksi maju (forward selection method), menurut metode ini peubah bebas dimasukkan satu demi satu menurut urutan besar pengaruhnya terhadap model dan berhenti jika semua yang memenuhi syarat telah masuk
b. Metode penyisihan (backward alimination method), menurut metode ini peubah bebas dimasukkan seluruhnya ke dalam model kemudian disisihkan satu demi satu sampai semua yang tidak memenuhi patokan keluar dari model.
c. Metode bertahap (stepwise regression method), metode ini merupakan gabungan dari metode seleksi maju dan metode penyisihan. Pertama kita melakukan metode seleksi maju terlebih dahulu, kemudian kita akan menggunakan metode penyisihan pada setiap tahap untuk mempertanyakan apakah suatu peubah bebas yang telah masuk ke dalam model masih perlu dipertahankan atau sebaliknya ke luar.
d. Metode semua kombinasi yang mungkin, metode ini mengharuskan kita memeriksa semua kombinasi peubah yang dapat dibuat.
Pada penelitian ini, metode yang digunakan adalah metode semua kombinasi yang mungkin karena metode ini mempunyai keunggulan dibandingkan metode-metode lainnya, yaitu memungkinkan kita melihat seluruh kombinasi. Banyaknya kombinasi yang mungkin dinyatakan dalam rumus : , dengan k = banyaknya variable bebas. Adapun kriteria yang akan dibandingkan
adalah dengan melihat adjusted, rataan kuadrat sisa (s2), dan Cp
Mallows.
i. Koefisien Determinasi (R2)
Ketepatan dari model yang diperoleh dapat dilihat dari kemampuan model menerangkan data, yang disebut dengan koefisien determinasi (R2) yang besarnya :
(13)
Dimana :
JKR : Jumlah kuadrat regresi JKT : Jumlah kuadrat total
(Sembiring, 1995: 54)
Jika R2 dekat dengan 1 maka baik kecocokan model dengan data dan makin dekat R2 dengan 0 maka makin jelek kecocokan model dengan data.
Salah satu kelemahan R2 ialah bahwa besarnya dipengaruhi oleh banyaknya variabel pengaruh dalam model, R2 membesar bersama p, sehingga sulit menyatakan barapa R2 yang optimum karena R2 tidak memperhitungkan derajat bebas. Suatu cara mengatasi kelemahan R2 ialah dengan menggunakan R2-disesuaikan ( ) dengan rumus sebagai berikut:
(14) Sembiring (1995: 235) Beberapa pembuat model regresi lebih senang untuk menggunakan statistik karena hanya akan naik pada penambahan suatu variabel terhadap model jika penambahan variabel tersebut betul-betul bermakna.
ii. Rataan Kuadrat Sisa (S2)
Salah satu patokan yang baik digunakan dalam menilai kecocokan suatu model dengan data ialah dengan melihat rataan kuadrat sisa (S2), model yang baik memberikan nilai S2 yang terkecil.
Ukuran ini memperhitungkan banyaknya parameter dalam model melalui pembagian dengan derajat kebebasannya. Rataan kuadrat sisa (S2) mungkin membesar bila penurunan dalam JK sisa akibat pemasukan suatu peubah tambahan kedalam model tidak dapat mengimbangi penurunan dalam derajat kebebasannya :
(15)
Dimana:
JKS : jumlah kuadrat sisa n : ukuran sampel
(Sembiring, 1995: 236)
iii. Cp Mallows
(16)
Dimana :
JKSp : jumlah kuadrat sisa dengan p parameter n : ukuran sampel
S2 : rataan kuadrat sisa
(Sembiring, 1995: 238) Statistik Cp dapat dipakai untuk menilai model yang saling bersaing. Model yang baik akan menghasilkan nilai Cp yang paling dekat ke p, dimana p adalah banyaknya variabel pengaruh ditambah satu.
Adapun penentuan akhir dari model terbaik dapat dilihat nilai VIF.
Nilai VIF digunakan agar masing-masing variabel bebas tidak saling berkorelasi tinggi. Adanya korelasi yang tinggi antar variabel bebas dinamakan multikolinearitas. Jika kasus ini terjadi dalam regresi linier, maka variabilitas b1 akan tidak efisien (overweight). Namun korelasi yang tinggi tidak dapat langsung dikatakan sebagai multikolinearitas, harus ada teori yang mendukung. Menurut Gujarati (1978) salah satu cara mendeteksi gejala multikolinearitas adalah dengan menghitung nilai VIF (Variance Inflation Factor) yang memiliki persamaan :
VIFj =
(17)
Jika nilai VIF melebihi 10 maka hal tersebut menunjukkan bahwa multikolinearitas adalah masalah yang pasti terjadi antar variabel bebas
(http://elmurobbie.files.wordpress.com/2009/06/principal-component-analysis-pca2.pdf). Dalam Minitab dikatakan apabila nilai VIF lebih besar dari 5 atau 10, maka taksiran parameter kurang baik.