Analisis Regresi Linear

TINJAUAN PUSTAKA

2.6. Analisis Regresi Linear

Analisis regresi berkaiatan dengan studi ketergantungan dari suatu variabel yaitu variabel tak bebas (variabel dependen), pada satu atau lebih variabel yang lain yaitu variabel bebas (variabel independen) dengan maksud menduga atau meramalkan nilai rata-rata dari variabel bebas. Pada dasarnya, hubungan antar variabel tergantung pada dua hal yaitu[7][10][12]:

a. Mengukur tingkat asosiasi atau korelasi antar variabel. Tingkat asosiasi ini tergantung pada pola variasi atau inter-relasi yang bersifat simultan dari variabel yang bersangkutan. Persoalan ini dinamakan persoalan korelasi b. Mencari bentuk persamaan yang sesuai guna menduga (estimation)rata-rata Y

untuk X tertentu atau rata-rata X untuk Y tertentu. Persoalan ini dinamakan persoalan regresi.

Apabila dua variabel X dan Y mempunyai hubungan sebab akibat, maka nilai variabel X yang sudah di ketahu dapat digunakan untuk menduga atau memprakirakan Y. Nilai Y yang akan diprakirakan ini dinamakan variabel tak bebas sedangkan variabel X yang nilainya dipergunakan untuk prakiraan Y dinamakan variabel bebas.

Untuk mempelajari hubugan antara variable bebas maka regresi linier terdiri dari dua bentuk,yaitu:

a. Analisis regresi linear sederhana

Analisis regresi sederhana merupakan hubungan antara dua variable yaitu variable bebas (variabel independen) dan variable tak bebas(variabel dependen).

b. Analisis regresi linear berganda

Analisis regresi berganda merupakan hubungan antara 3 variabel atau lebih,yaitu sekurang-kurangnya dua variabel bebas dengan satu variabel tak bebas.

Tujuan utama regresi adalah untuk membuat perkiraan nilai suatu variabel (variable dependen) jika nilai variable yang lainyang berhubungan dengannya (variabel lainnya) sudah ditentukan.

2.6.1. Analisis regresi linear sederhana

Analisis regresi sederhana adalah proses mengestimasi sebuah fungsi hubungan antara variable dependen (Y ) dengan variableindependen (X). Dalam suatu Persamaan regresi besarnya nilai variabel dependen adalah tergantung pada nilai variablelainnya.

Persamaan (2.18) regresilinier sederhana Y terhadap X 𝑌𝑌 = 𝑦𝑦 + 𝐵𝐵𝑏𝑏 + 𝜀𝜀 ………...(2.18)

Dimana:

𝑌𝑌 = variabel takbebas 𝑏𝑏 = variabel bebas 𝑦𝑦 = parameterintercep

𝐵𝐵 = parameter koefisien regresi variabel bebas ε = galat

Nilai α dan b adalah parameter yang nilainya tidak diketahui sehingga diduga menggunakan statisticsampel.Komponen sisaan/kesalahan ( 𝜀𝜀=galat) menunjukkan:

a. Pengaruh dari variableyang tidak dimasukkan dalam Persamaan regresi karena berbagai pertimbangan.

b. Penetapan Persamaan yang tidak sempurna.

c. Kesalahan pengukuran dalam pengumpulan dan pemrosesan data.

Nilai a menunjukkan intersep (konstanta) Persamaan ( 2 . 1 8 ) ,artinyauntuk nilai variabel X=0 maka besarnya Y=a, parameter b menunjukkan besarnya koefisien (slope), nilai ini menunjukkan besarnya perubahan nilai Y jika nilai X berubah sebesar satu satuan. Melalui metode kuadrat terkecil nilai a dan b dapat dihitung dengan menggunakan Persamaan (2.19) dan (2.20).

𝐵𝐵 =𝑦𝑦(∑ 𝑋𝑋𝑌𝑌)−(∑ 𝑋𝑋)(∑ 𝑌𝑌)

(𝑦𝑦 ∑ 𝑋𝑋²)−(∑ 𝑋𝑋)² ………..(2.19)

𝑦𝑦 =^{∑ 𝑌𝑌}_𝑦𝑦 − 𝐵𝐵^{∑ 𝑋𝑋}_𝑦𝑦 ………(2.20)

2.6.2. Analisis regresi linear berganda

Regresi berganda adalah bentuk hubungan atau pengaruh dari dua atau lebih variabel babas X dengan variableterikat Y. Persamaan (2.21) dan (2.22) regresi linier berganda dari Y terhadap X.

a. Model populasi berganda pada Persamaan (2.21)

𝑌𝑌 = 𝛼𝛼 + 𝛽𝛽₁𝑋𝑋₁+ 𝛽𝛽₂𝑋𝑋₂+ ⋯ + 𝛽𝛽_𝑦𝑦𝑋𝑋_𝑦𝑦 + 𝜀𝜀_𝑡𝑡 ………...(2.21) b. Model sampel regresi linier berganda pada Persamaan (2.22)

𝑌𝑌� = 𝑦𝑦 + 𝐵𝐵₁𝑋𝑋₁ + 𝐵𝐵₂𝑋𝑋₂+ ⋯ + 𝐵𝐵_𝑦𝑦𝑋𝑋_𝑦𝑦 ……….(2.22) Koefisien α dan β adalah parameter yang nilainya tidak diketahui, sehingga diduga menggunakan satistik sampel.Nilai a, b1 dan b2 akandiperoleh dari Persamaan (2.23).

∑ 𝑌𝑌 = 𝑦𝑦𝑦𝑦 + 𝐵𝐵 ∑ 𝑋𝑋1 + 𝐵𝐵 ∑ 𝑋𝑋2 ...

∑ 𝑋𝑋1𝑌𝑌 = 𝑦𝑦 ∑ 𝑋𝑋₁+ 𝐵𝐵₁∑ 𝑋𝑋12+ 𝐵𝐵₂∑ 𝑋𝑋1𝑋𝑋₂ ...

∑ 𝑋𝑋2𝑌𝑌 = 𝑦𝑦 ∑ 𝑋𝑋2+ 𝐵𝐵1∑ 𝑋𝑋1𝑋𝑋2+ 𝐵𝐵2∑ 𝑋𝑋12 ………...(2.23)

Koefisien a, b1dan b2 dapat dihitung dengan Persamaan (2.24).

𝑦𝑦 = 𝑌𝑌� − 𝐵𝐵₁𝑋𝑋�₁ − 𝐵𝐵₂𝑋𝑋�₂ ...

𝐵𝐵1 =^{�∑ 𝑋𝑋22}_{�∑ 𝑋𝑋}^{𝑡𝑡��∑ 𝑋𝑋1𝑡𝑡𝑌𝑌𝑡𝑡�−(∑ 𝑏𝑏1𝑡𝑡𝑋𝑋2𝑡𝑡)(∑ 𝑋𝑋2𝑡𝑡𝑌𝑌𝑡𝑡)}

12

𝑡𝑡��∑ 𝑋𝑋₂²_𝑡𝑡�−(∑ 𝑋𝑋_1𝑡𝑡𝑋𝑋_2𝑡𝑡)² ...

𝐵𝐵2 = ^{�∑ 𝑋𝑋12}_{�∑ 𝑋𝑋}^{𝑡𝑡��∑ 𝑋𝑋2𝑡𝑡𝑌𝑌𝑡𝑡�−(∑ 𝑋𝑋1𝑡𝑡𝑋𝑋2𝑡𝑡)(∑ 𝑋𝑋1𝑡𝑡𝑌𝑌𝑡𝑡)}

12

𝑡𝑡��∑ 𝑋𝑋₂²_𝑡𝑡�−(∑ 𝑋𝑋_1𝑡𝑡𝑋𝑋_2𝑡𝑡)² ………(2.24) Nilai dari a, b1, dan b2 dari Persamaan (2.24) dapat juga dihitung dengan metode matriks.Persamaan (2.24) adalah bentuk sistem persamaan linier yang dapat diselesaikan dengan metode determinan, yaitu menggunakan aturan Crammer.

Jika AX = b merupakan suatu persamaan linier dalam k peubah, maka sistem penyelesaian dengan metode determinan pada Persamaan (2.25).

𝑦𝑦 =^|𝐴𝐴_|𝐴𝐴|^1|𝐵𝐵1 =^|𝐴𝐴_|𝐴𝐴|^2| … 𝐵𝐵𝑘𝑘 =^|𝐴𝐴_|𝐴𝐴|^𝑘𝑘| ………..(2.25)

Dengan Aj (j=1,2,3,…,k) adalah matriks yang diperoleh dengan menggantikan anggota–anggota pada kolom ke–j dari matriks A dengan anggota pada matriks b.

2.6.3. Uji regresi linier berganda

Untuk mengetahui atau menguji kepastian dari Persamaan regresi berganda tersebut apakah X₁ dan X₂ berpengaruh secara simultan dan signifikan terhadap Y dilakukan dengan uji F.

a. Hipotesis yang diuji

𝐻𝐻𝑙𝑙 ∶ 𝛽𝛽₁ = 𝛽𝛽₂ = 0 , berarti X¹ dan X2 tidak berpengaruh simultan dan signifikan terhadap Y

𝐻𝐻1 ∶ 𝛽𝛽1 ≠ 𝛽𝛽2 = 0 , berarti X¹ dan X2 berpengaruh simultan dan signifikan terhadap Y

b. Pengaruh uji statistik (taraf nyataα= 5%) pada Persamaan (2.26) 𝐽𝐽𝐽𝐽𝐵𝐵𝑡𝑡𝑇𝑇 = ∑(𝑌𝑌𝑡𝑡 − 𝑌𝑌�𝑡𝑡)² ...

𝐽𝐽𝐽𝐽𝑇𝑇 = ∑ 𝑌𝑌²−^{(∑ 𝑌𝑌)}_𝑦𝑦 ² ...

𝐽𝐽𝐽𝐽𝐵𝐵𝑡𝑡𝑦𝑦 = 𝐽𝐽𝐽𝐽𝑇𝑇 − 𝐽𝐽𝐽𝐽𝐵𝐵𝑡𝑡𝑇𝑇 , 𝐽𝐽𝐽𝐽𝐵𝐵𝑡𝑡𝑇𝑇 + 𝐽𝐽𝐽𝐽𝐵𝐵𝑡𝑡𝑦𝑦 ...

∑ (𝑌𝑌^𝑦𝑦_𝑡𝑡=1 𝑡𝑡 − 𝑌𝑌�)² = ∑ �𝑌𝑌^𝑦𝑦_𝑡𝑡=1 𝑡𝑡 − 𝑌𝑌�𝑡𝑡�²+ ∑ �𝑌𝑌�^𝑦𝑦_𝑡𝑡=1 𝑡𝑡− 𝑌𝑌��²………… (2.26) Dimana:

JKres (Jumlah Kuadrat Residu) adalah variasi yang tidak dijelaskan.

JKreg (Jumlah Kuadrat Regresi) adalah variasi yang dijelaskan.

JKT (Jumlah Kuadrat Total) adalah variasi total.

F_hitung = ^{𝐽𝐽𝑇𝑇}_{𝐽𝐽𝑇𝑇}^{𝐵𝐵𝑡𝑡𝑦𝑦}

𝐵𝐵𝑡𝑡𝑇𝑇 =

JKreg JKresk

(n−k−1) ………… (2.27)

c. Kriteria pengujian

Pada tingkat keyakinan 95% atau taraf nyata 5%, dengan derajat kebebasan penyebut (n-k-1).Nilai F tablediperoleh dari daftar distribusi F.

d. Membuat kesimpulan

Standart error atau kesalahan buku adalah angka yang digunakan untuk mengukur ketetapan suatu penduga atau mengukur jumlah variasi titik–titik observasi diatas dan dibawah regresi populasi.

Karena standart error populasinya tidak diketahui, maka σe diduga dengan Se (Standart error estimate) sehingga Se adalah standard deviasi yang menggambarkan variasi titik–titik diatas dan dibawah garis regresi sampel.

Nilai Se dapat diperoleh dengan Persamaan (2.28).

S_𝑡𝑡 = �^{∑(Y−𝑌𝑌�)}_n−k−1² ………..(2.28)

Apabila semua titik–titik observasi berada pada tepat garis regresi, berarti standart error penduga samadengan nol. Dengan demikian, standart error

penduga berguna untuk mengetahui batasan seberapa jauh melesetnya perkiraan dalam meramalkan data.

e. Variansi dan standar deviasi

Standar deviasi (S) adalah akar kuadrat dari variansi dan menunjukkan standar penyimpangan data dari nilai rata–rata hitungnya.Nilai S² menunjukan sebaran atau fluktuasi data terhadap rata–rata hitungnya. Nilai S² dapat dihitung dengan Persamaan (2.29)

𝑆𝑆² =^{∑𝑦𝑦𝑡𝑡=1}_𝑦𝑦−1^{(𝑋𝑋1−𝑋𝑋�)} ………..(2.29)

2.6.4. Indikator statistik

Didalam metode regresi, indikator statistik digunakan untuk menggambarkan tingkat atau derajat keeratan hubungan antara variabel tidak bebas Y dengan variabel bebas X1, X2, X3, ... Xn, baik secara bersama-sama maupun secara individu. Selain itu, juga untuk melihat keeratan hubungan diantara variabel bebas X₁, X₂, X₃, ... X_n itu sendiri. Metode regresi yang ideal mensyaratkan bahwa diantara variabel X1, X2, X₃, ... X_n tidak ada saling kebergantungan atau minim korelasi.

Perlu diketahui bahwa hubungan antar variabel dapat dibuat regresinya, namun demikian tidak semua variabel atau gejala-gejala alam dapat dicari korelasinya. Oleh karena itu, agar lebih berhati-hati dalam menggunakan alat statistika ini didalam penarikan kesimpulan, lebih-lebih membuat suatu keputusan yang lebih jauh. Akan tetapi, yang jelas bahwa indikator statistik dapat memberikan sumbangan atau pandangan yang lebih jauh terhadap masalah yang dihadapi, terutama analisis regresi mempunyai daya taksir yang menyakinkan apabila diuji dengan taraf yang nyata. Indikator statistik yang sering digunakan sebagaimana diuraikan dibawah ini.

a. Koefisien korelasi

Korelasi adalah pengukur hubungan dua variabel atau lebih yang dinyatakan dengan derajat keeratan atau tingkat hubungan antar variabel-variabel, dan dinyatakan dengan koefisien korelasi r atau R. Dalam analisis korelasi tidak mempersoalkan apakah variabel yang satu tergantung pada variabel yang lain atau

sebaliknya. Metode korelasi dapat dipakai untuk mengukur derajat keeratan hubungan antara variabel bebas X dengan variabel tidak bebas Y.

Derajat keeratan hubungan tersebut dinyatakan dengan simbol sebagai berikut:

1) Koefisien korelasi ( r ), untuk hubungan linier sederhana

2) Indeks korelasi ( R ), untuk hubungan linier berganda dan non linier.R juga sering disebut sebagai koefisien korelasi berganda.

Pada Microsoft Office Excel, kedua macam korelasi r dan R dinyatakan dengan simbol R atau mulitple R, yang menunjukkan keeratan hubungan antara variabel bebas (X1, X2, X3, ... Xn) secara serentak dengan variabel tidak bebas Y.

Besar nilai R berada diantara 0 dan 1 atau ( 0 ≤R2≤ 1 ). Jika R = 1 maka korelasi antara kedua variabel sangat erat dan sebaliknya jika R = 0, maka kedua variabel tersebut tidak ada korelasi.

Menurut Sugiyono (2007) pedoman untuk memberikan interpretasi koefisien korelasi R adalah sebagai berikut :

R=0,00-0,199:sangat rendah R=0,20-0,399:rendah R=0,40-0,599:sedang R=0,60-0,799:kuat / erat

R=0,80-1,000:sangat kuat / sangat erat

2

Koefisien korelasi R yangdikuadratkan akan memberikan suatu nilai tertentu R²yang disebut koefisien determinasi atau koefisien penentu atau indeks penentu, yang menyatakan seberapa besar (persentase) hubungan antara variabel bebas (X₁, X2, X3, ...Xn) secara serentak dengan variabel tidak bebas Y.

Besar nilai R² berada diantara 0 dan 1 atau ( 0 ≤R ²≤ 1 ). Jika R² = 1 maka korelasi antara kedua variabel sangat erat dan sebaliknya jika R² = 0, maka kedua variabel tersebut tidak ada korelasi. Misalnya, jika R² mempunyai nilai 0,84 maka dapat diartikan bahwa 84% variabel tidak bebas Y dipengaruhi oleh variabel bebas (X1, X2, X3, ... Xn) secara serentak, sisanya 16% dipengaruhi oleh variabel lain yang tidak dinyatakan dalam Persamaan regresi.

Pada prakteknya, kemungkinan akan ditemui suatu kondisi dimana nilai R² lebih rendah dari 0,6 dan ini menyatakan bahwa persamaanitu tidak banyak menjelaskan ketergantungan suatu variabel tidak bebas terhadap variabel bebas. Hal ini bisa terjadi karena beberapa hal antara lain tidak tepat saat memilih persamaan, atau data yang tersedia tidak cukup, atau datanya acak tidak beraturan.

c. Koefisien determinasi Adjusted R-Square (AR)

Penggunakan R² sering menimbulkan permasalahan yaitu bahwa nilainya akan selalu meningkat dengan adanya penambahan variabel bebas dalam suatu model. Hal ini akan menimbulkan bias, karena jika ingin memperoleh model dengan R tinggi, seorang peneliti dapat dengan sembarangan menambahkan variabel bebas

dan nilai R akan meningkat, tidak tergantung apakah variabel bebas tambahan itu berhubungan dengan variabel tidak bebas (terikat) atau tidak.

Oleh karena itu, banyak peneliti yang menyarankan untuk menggunakan AR.

Interpretasinya sama dengan R² akan tetapi nilai ARdapat naik atau turun dengan adanya penambahan variabel baru, tergantung dari korelasi antara variabel bebas tambahan tersebut dengan variabel terikatnya.

Nilai AR dapat bernilai negatif, sehingga jika nilainya negatif, maka nilai tersebut dianggap 0, atau variabel bebas sama sekali tidak mempunyai hubungan dengan variabel tidak bebas (dependentvariabel). Koefisien determinasi Adjusted R Square (AR) digunakan untuk regresi dengan lebih dari dua variabel bebas.

d. Nilai t statistik

Bilangan atau nilai t statistik sering disebut dengan istilah t-Value, dipergunakan untuk menguji derajat keeratan hubungan antara variabel tidak bebas Y dengan masing-masing variabel bebas X secara individu atau parsial yaitu (Y dengan X1), (Y dengan X2), (Y dengan X3), dan seterusnya.

Kriteria derajat keeratan hubungan tersebut adalah sebagai berikut:

|t|≥ 2 : Significant hubungannya

2 >| t |≥ 1 : Admissible to use(dapat digunakan)

|t|< 1 : Insignificant (tidak signifikan hubungannya)

Jika ternyata nilai t suatu varibel bebas tertentu (misal X₃) kecil sekali, berarti variabel bebas X3 tersebut hampir tidak berpengaruh terhadap variabel bebas Y dan bisa diabaikan.

Bebarapa kondisi yang menyebabkan t-value rendah antara lain :

1). Variabel bebas X yang dipilih tidak penting atau tidak mempunyai hubungan dengan variabel tidak bebas Y.

2). Data yang digunakan sedikit dan tidak mencukupi untuk menghasilkan estimasi yang baik.

3). Variabel bebasX1, X2, X3, ...Xnpada model, mempunyai kaitan yang erat antara yang satu dengan lainnya (multi collinearity).

e. Durbin-Watson Statistik ( DW )

Indikator DW digunakan untuk melihat apakah terdapat korelasi antar variabel bebas yaitu antara X₁ dengan X₂, X₁ dengan X₃, X₂ dengan X₃, dan seterusnya. Pada Persamaan regresi linier sederhana dengan variabel bebas merupakan interval waktu (time series), maka uji DW ini digunakan untuk melihat apakah ada korelasi antara nilai pada periode t dengan nilai pada periode sebelumnya (t-1).

Nilai DW yang dapat diterima adalah 1 ≤ DW ≤ 3, dengan kriteria sebagai berikut:

DW = 2 : No serial correlation DW → 0 : Positive correlation DW → 4 : Negative correlation

Ada beberapa penyebab terjadinya autokorelasi, yaitu :

1) Kelambanan, sebagai contoh pada kasus perubahan situasi ekonomi biasanya tidak langsung mempunyai pengaruh terhadap konsumsi listrik.

2) Spesifikasi bias, bila dalam model tidak menyertakan variabel yang memang sangat relevan pada model.

3) Salah bentuk fungsi, misalnya fungsi yang seharusnya non linier tetapi digunakan fungsi linier.

4) Pengaruh timelag, selain dipengaruhi variabel pada periode t juga dipengaruhi pula variabel pada periode t-1.

f. Multikolinieritas

Multikolinieritas adalah kondisi dimana terjadi korelasi yang kuat diantara variabel-variabel bebas (X) yang diikutsertakan dalam pembentukan model regresi linier. Padahal pada model regresi linier berganda tidak boleh terjadi kondisi seperti ini dan itu berarti menyalahi asumsi dasar regresi linier berganda. Multikolinieritas tidak bisa terjadi pada regresi yang mempunyai satu variabel bebas.

Ciri-ciri yang sering ditemui apabila model regresi linier berganda mengalami multikolinieritas adalah:

1) Terjadi perubahan yang berarti pada koefisien model regresi (misal nilainya menjadi lebih besar atau kecil) apabila dilakukan penambahan atau pengeluaran sebuah variabel bebas dari model regresi.

2) Diperoleh nilai R-square yang besar, sedangkan koefisien regresi tidak signifikan pada uji parsial.

3) Tanda (+ atau -) pada koefisien model regresi berlawanan dengan yang disebutkan dalam teori (atau logika). Misal, pada teori (atau logika) seharusnya b1 bertanda (+), namun yang diperoleh justru bertanda (-).

4) Nilai errorstandar untuk koefisien regresi menjadi lebih besar dari yang sebenarnya (overestimated)

Untuk mendeteksi apakah model regresi mengalami multikolinieritas, dapat dilakukan sebagai berikut:

1) Diperiksa menggunakan VIF (Variance Inflation Factor). Jika nilai VIF > 10 berarti telah terjadi multikolinieritas yang serius di dalam model regresi yang dibentuk.

2) Atau dengan membanding koefisien determinasi parsial ( r² ) dengan koefisien determinasi secara serentak ( R² ) dengan cara meregresikan setaip variabel bebas dengan variabel bebas lainnya. Meregresikan variabel bebas X1 dengan X₂, X₁ dengan X₃, dan X₂ dengan X₃. Selanjutnya nilai r² dibandingkan dengan R² dan jika nilai r² lebih kecil dari R², maka tidak terjadi multikolinieritas serta sebaliknya.