STATISTIKA DESKRIPTIF
(2)
MATERI:
Teori Regresi Linier
Ir. GINANJAR SYAMSUAR, ME.
SEKOLAH TINGGI ILMU EKONOMI INDONESIA
(STEI)
–
JAKARTA
1 | P a g e
REGRESI LINIER
A.
PENGERTIAN REGRESI LINIER
Pengertian regresi secara umum adalah sebuah alat statistik yang memberikan penjelasan tentang pola hubungan (model) antara dua variabel atau lebih. Dalam analisis regresi dikenal 2 jenis variabel yaitu:
1. Variabel Respon disebut juga variabel dependen (terikat) yaitu variabel yang keberadaannya dipengaruhi oleh variabel lainnya dan dinotasikan dengan variabel Y.
2. Variabel Prediktor disebut juga dengan variabel independen yaitu variabel yang bebas (tidak dipengaruhi oleh variabel lainnya) dan dinotasikan dengan X.
Untuk mempelajari hubugan–hubungan antara variabel bebas dengan variabel terikat maka bentuk model regresi linier dibahas kedalam dua bentuk model, yaitu:
1. Model regresi linier sederhana (Simple linear regression models) 2. Model regresi linier berganda (Multiple linear regression models)
1. Model Regresi Linier Sederhana (Simple regression models)
a. Pemodelan
Regresi linier sederhana digunakan untuk mendapatkan bentuk model hubungan matematis dalam bentuk suatu persamaan antara variabel tak bebas tunggal Y dengan variabel bebas tunggal X. Jadi regresi linier sederhana hanya memiliki satu peubah bebas (prediktor) yang dihubungkan dengan satu peubah tidak bebas (respon).
Bentuk model umum dari model persamaan regresi linier sedrhana untuk populasi didefinisikan sebagai berikut:
= +
+ �
Dimana:
Y: adalah variabel respon (variabel terikat) populasi
X: adalah variabel prediktor (variabel bebas) populasi
: adalah konstanta intersep
: adalah koefisien regresi sederhana populasi; dan
�
: adalah kekeliruan pengukuran (error)Sedangkan model persamaan regresi sederhana untuk sampel didefinisikan sebagai:
̂ = +
Dimana:̂: adalah variabel respon (variabel terikat) sebagai penduga Y X: adalah variabel prediktor (variabel bebas)
a: adalah konstanta intersep sebagai penduga , dan
2 | P a g e Pemodelan regresi linier sederhana yaitu membentuk model persamaan secara hubungan matematis diantara variabel terikat Y sebagai respon dengan varibel bebasnya yaitu X sebagai prediktor. Dengan demikian dalam hal ini adalah perlu untuk meng-estimasi besaran nilai dan pembentuk modelnya yang disetimasi oleh a dan b.
Dengan menggunakan metode kuadrat terkecil biasa (Ordinary Least Square
Method ≈ OLS), yaitu dengan menghitung nilai kuadrat kekeliruannya (error
�
) dimana dengan metode OLS akan diperoleh nilai kekeliruan yang paling kecil sehingga metode OLS adalah merupakan metode terbaik.Secara matematis besaran nilai kekeliruan pengukuran (error
�
) didefinisikan sebagai:� = ( − ̂ )
Dengan metode OLS, yaitu dengan meminimalkan nilai kuadrat error tersebut:
� = ( − ̂ )
Maka besaran nilai a dan b sebagai penduga dan dapat dihitung dengan rumus sebagai berikut:
=
� ∑�= −(∑�= )(∑�= )� ∑�= −(∑�= )
=
∑�=�
− ∗
∑�=
�
= ̅ − ∗ ̅
Dimana:
n: adalah banyaknya data pengamatan untuk masing-masing variabel
∑�
= : adalah jumlah data variabel prediktor (variabel bebas)
∑�
= : adalah jumlah data variabel respon (variabel terikat)
∑�
= : adalah jumlah kuadrat variabel prediktor
∑�
= : adalah jumlah hasil kali variabel prediktor dengan variabel respon
̅: adalah rata-rata variabel respon
̅: adalah rata-rata variabel prediktor
a: adalah konstanta intersep sebagai penduga , dan
b: adalah koefisien regresi sebagai penduga .
Sehingga model regresi linier sederhana sebagai penduga model populasinya adalah:
3 | P a g e
b. Interpretasi Model Regresi Linier Sederhana
Untuk menginterpretasikan atau mengartikan suatu model regresi linier yang diperoleh, pada umunya biasa ditinjau terhadap besaran nilai parameter pembentuk modelnya yaitu dalam hal ini adalah menginterpretasikan besaran nilai koefisien regresi liniernya (b) dan ditinjau terhadap besaran nilai koefisien Determinasi.
(1) Interpretasi parameter Koefisien Regresi
Suatu model regresi linier sederhana yang diperoleh dari hasil pemodelan, yaitu:
̂ = +
Maka model tersebut dapat di-interpretasikan sebagai:
Untuk peningkatan/penurunan satu satuan dalam X, diduga Y akan meningkat/menurun sebesar b satuan . Atau: Perubahan nilai variabel Y
untuk setiap perubahan satu satuan X .
(Dalam hal ini, jika b<0 maka diinterpretasikan sebagai penurunan, dan jika b>0 maka diinterpretasikan sebagai peningkatan)
(2) Interpretasi Koefisien Determinasi
Koefisien determinasi digunakan untuk menjelaskan persentase variasi dalam variabel tidak bebas (Y) sebagai respon yang disebabkan oleh bervariasinya variabel bebas (X) sebagai prediktor. Hal ini untuk menunjukkan bahwa variasi dalam variabel tak bebas (Y) tidak semata-mata disebabkan oleh bervariasinya variabel bebas (X), bisa saja variasi dalam variabel tak bebas tersebut juga disebabkan oleh bervariasinya variabel bebas lainnya yang mempengaruhi variabel tak bebas tetapi tidak dimasukkan dalam model persamaan regresinya.
Koefisien Determinasi adalah merupakan hasil kuadrat dari koefisien korelasi antara varibel X dengan variabel Y, yaitu:
� = ( ) =
(
� ∑� − ∑� ∑�
√� ∑� − ∑� √� ∑� − ∑�
)
Dalam analisis regresi, koefisien korelasi yang dihitung tidak untuk diartikan sebagai ukuran keeratan hubungan variabel bebas (X) dengan variabel tidak bebas (Y), sebab dalam analisis regresi asumsi normal bivariat tidak terpenuhi.
4 | P a g e
Nilai koefisien Korelasi X dengan Y ( ), dan koefisien Determinasi (� ):
Nilai Besaran r adalah: − ≤ ≤ +
Tanda + menunjukkan pasangan X dan Y dengan arah yang sama,
sedangkan tanda − menunjukkan pasangan X dan Y dengan arah
yang berlawanan.
rxy yang besarnya semakin mendekati 1 menunjukkan hubungan X dan Y cenderung sangat erat. Jika mendekati 0 hubungan X dan Y cenderung kurang kuat.
rxy = 0 menunjukkan tidak terdapat hubungan antara X dan Y
Sedangkan nilai besaran koefisien Determinasi adalah: ≤ � ≤
Apabila suatu model regresi linier sederhana yang diperoleh dari hasil pemodelan, yaitu:
̂ = +
Lalu dihitung koefisien Determinasinya (� ), maka atas dasar nilai (� ) model tersebut dapat di-interpretasikan sebagai:
5 | P a g e CONTOH KASUS:
Salah satu indikator yang digunakan untuk melihat keadaan perekonomian secara makro adalah inflasi. Angka inflasi yang mempunyai fluktuasi tinggi dari waktu ke waktu menandakan perekonomian suatu Negara tidak atau kurang stabil.
Secara teoritis, semakin tinggi jumlah uang yang beredar maka akan mengakibatkan semakin tinggi pula inflasi. Berdasarkan teori tersebut maka akan dicoba untuk melihat besarnya pengaruh Uang Beredar (M1) terhadap Inflasi di Indonesia pada periode waktu tertentu sebagai berikut:
Tabel 1.
Inflasi dan Uang Beredar (M1), Periode Agustus 1999 – Agustus 2001
No. Bulan INFLASI
(%)
UANG BEREDAR (M1) (Trilyun)
1 Aug-1999 5.58 110
2 Sep-1999 1.08 118
3 Oct-1999 1.42 116
4 Nov-1999 1.58 117
5 Dec-1999 2.01 124
6 Jan-2000 0.35 122
7 Feb-2000 -0.84 122
8 Mar-2000 -1.10 125
9 Apr-2000 0.15 127
10 May-2000 1.27 130
11 Jun-2000 2.14 134
12 Jul-2000 4.56 136
13 Aug-2000 6.11 137
14 Sep-2000 6.79 135
15 Oct-2000 7.97 139
16 Nov-2000 9.12 141
17 Dec-2000 9.35 162
18 Jan-2001 8.28 145
19 Feb-2001 9.14 150
20 Mar-2001 10.62 148
21 Apr-2001 10.51 154
22 May-2001 10.82 156
23 Jun-2001 12.11 160
24 Jul-2001 13.04 162
25 Aug-2001 12.23 167
Sumber data: BPS dan BI dalam Nachrowi (diolah)
1) Tentukan bentuk model Regresi Linier Sederhana estimasi-nya berdasarkan data empiris tersebut lalu buat interpretasi modelnya.
2) Interpretasikan model regresi linier yang diperoleh sesuai besaran nilai
7 | P a g e
Penyelesaian:
1)
Estimasi parameter regresi linier sederhana
Model regresi linier sederhana yang akan di-estimasi adalah:
��̂ = + ��
Atau:
̂ = +
Tabel Bantu Perhitungang:
i − ̅ ̂̂ = − . + . ( − ̂)
(1) (2) (3) (4) (5) (6) (7) (8) (9)
1 5.58 110 31.14 12100 613.80 0.04 -0.94 42.57
2 1.08 118 1.17 13924 127.44 22.01 1.01 0.00
3 1.42 116 2.02 13456 164.72 18.94 0.52 0.81
4 1.58 117 2.50 13689 184.86 17.57 0.77 0.66
5 2.01 124 4.04 15376 249.24 14.15 2.48 0.22
6 0.35 122 0.12 14884 42.70 29.39 1.99 2.68
7 -0.84 122 0.71 14884 -102.48 43.71 1.99 7.99
8 -1.10 125 1.21 15625 -137.50 47.22 2.72 14.59
9 0.15 127 0.02 16129 19.05 31.60 3.21 9.35
10 1.27 130 1.61 16900 165.10 20.26 3.94 7.14
11 2.14 134 4.58 17956 286.76 13.19 4.92 7.72
12 4.56 136 20.79 18496 620.16 1.47 5.41 0.72
13 6.11 137 37.33 18769 837.07 0.11 5.65 0.21
14 6.79 135 46.10 18225 916.65 1.04 5.16 2.65
15 7.97 139 63.52 19321 1107.83 4.83 6.14 3.35
16 9.12 141 83.17 19881 1285.92 11.21 6.63 6.21
17 9.35 162 87.42 26244 1514.70 12.80 11.76 5.80
18 8.28 145 68.56 21025 1200.60 6.29 7.61 0.45
19 9.14 150 83.54 22500 1371.00 11.35 8.83 0.10
20 10.62 148 112.78 21904 1571.76 23.51 8.34 5.20
21 10.51 154 110.46 23716 1618.54 22.45 9.80 0.50
22 10.82 156 117.07 24336 1687.92 25.49 10.29 0.28
23 12.11 160 146.65 25600 1937.60 40.18 11.27 0.71
24 13.04 162 170.04 26244 2112.48 52.83 11.76 1.64
25 12.23 167 149.57 27889 2042.41 41.71 12.98 0.56
∑ 144.29 3437 1346.14 479073 21438.33 513.35 122.11
Rata-rata 5.77 137.48
Sehingga diperoleh:
=
� ∑� ∑ − ∑−∑ ∑=
. − − .= .
= ̅ − ̅ = .
− .
.
= − .
Maka model regresi linier sederhana estimasi-nya adalah:
8 | P a g e 2. Interpretasi Model Regresi linier:
a) Koefisien regresi:
Interpretasi model regresi dugaan (̂ ) adalah:
Untuk peningkatan satu milyar jumlah uang beredar, diperkirakan inflasi akan meningkat sebesar 0.24 % .
b) Koefisien Determinasi
� = ( ) = � ∑� −(∑� )(∑� )
√�(∑� )−(∑� ) √�∑� −(∑� )
� = √ . − .
. − . √ − = .
Intepretasi:
Variasi Inflasi ( �) dapat dijelaskan oleh variasi variable jumlah Uang Beredar M1 ( �) sebesar 76.21 %, sedangkan sisanya sebesar 23.79% dijelaskan oleh variable lain diluar variable jumlah uang beredar (M1) yang tidak disertakan dalam analisis.
3. Pemodel Regresi Linier Berganda (Multiple linear regression model)
Analisis regresi ganda merupakan pengembangan dari analisis regresi sederhana. Kegunaannya yaitu untuk meramalkan nilai variabel terikat (Y) apabila variabel bebasnya (X) dua atau lebih.
Analisis regresi ganda adalah alat untuk meramalkan nilai pengaruh dua variabel bebas atau lebih terhadap satu variabel terikat (untuk membuktikan ada tidaknya hubungan fungsional atau hubungan kausal antara dua atau lebih variabel bebas X1, X2, …., Xi terhadap suatu variabel terikat Y.
Persamaan regresi ganda dirumuskan sebagai berikut : 1. Dua variabel bebas : Yˆab1X1b2X2
2. Tiga variabel bebas : Yˆ ab1X1b2X2 b3X3
3. n variabel bebas : Yˆ ab1X1b2X2 ...bnXn
a. Pemodelan
Berbeda dengan regresi linier maka regresi berganda lebih kompleks (sulit) untuk mencari persamaan regresi. Dengan melambangkan nilai dugaannya
dengan b , b , ….., bn, maka didapat penulisan persamaan dalam bentuk.
n nX b X
b X b a
Yˆ ...
2 2 1 1
9 | P a g e
2 2 1 1
ˆ a b X b X
Y
Nilai dugaan kuadrat terkecil , , dan dapat diperoleh dengan memecahkan persamaan linier stimultan.
∑ � = � + ∑ �+ ∑ �
∑ � � = ∑ � + ∑ �+ ∑ � �
∑ � � = ∑ � + ∑ � �+ ∑ �
Jika persamaan tersebut dibuat dalam bentuk persamaan model matriks maka bentuknya adalah:
�̅ = ̅
Atau:(
� ∑ � ∑ �
∑ � ∑ � ∑ � �
∑ � ∑ � � ∑ � )
( ) =
(
∑ �
∑ � �
∑ � �)
Untuk menyelesaikan sistim persamaan linier tersebut, bisa diselesaikan dengan menggunakan metode Cramer sebagai berikut:
=
� �� �=
|� ||�|=
� �� �=
|� ||�|=
� �� �=
|� ||�|Dimana definisi masing-masing matriks A1, A2, dan A3 adalah sebagai berikut:
� =
∑ � ∑ � ∑ �
∑ � � ∑ � ∑ � �
∑ � � ∑ � � ∑ �
� = �
∑ � ∑ �
∑ � ∑ � � ∑ � �
∑ � ∑ � � ∑ �
� =
� ∑ � ∑ �
∑ � ∑ � ∑ � �
∑ � ∑ � � ∑ � �
10 | P a g e
b. Interpretasi Model Regresi Linier Ganda
Interpretasi Koefisien Determinasi
Untuk Regresi Ganda rumus nilai Koefisien Determinasi (R2) yang digunakan agar keputusan lebih tepat, terutama untuk membandingkan regresi dengan variabel terikat yang sama, maka digunakan R2 yang disesuaikan atau dikenal dengan sebutan R2 Adjusted yang dinotasikan dengan �̅̅̅̅. Rumus perhitungannya adalah sebagai berikut:
�
̅̅̅̅
�= −
∑( − ̂ )
⁄
� −
∑
− ̅
⁄
� −
11 | P a g e CONTOH KASUS:
Data pada table berikut merupakan suatu data penelitian hasil survey terhadap Pegawai di suatu perusahaan PT. Bonafide tbk. Dimana data yang dihimpun terdiri atas tiga (3) buah variable yaitu Kinerja Pegawai, Lingkungan kerja, dan Penghargaan perusahaan terhadap pegawai. Si peneliti ingin mengetahui dan menganalisis hubungan/pengaruh variable Lingkungan kerja dan Penghargaan terhadap Kinerja.
i
X1i (Lingkungan
Kerja)
X2i (Penghargaan)
Yi (Kinerja)
1 5 6 8
2 6 7 8
3 7 8 9
4 8 9 11
5 8 9 11
6 8 9 11
7 8 9 11
8 9 10 12
9 10 10 13
10 11 10 14
11 11 10 15
12 12 14 16
13 12 14 16
14 14 14 17
15 14 14 17
16 14 15 17
17 14 15 17
18 15 16 19
19 15 16 19
20 15 16 19
21 15 17 19
22 15 17 19
23 16 17 20
24 17 17 21
25 17 18 21
26 18 18 21
27 18 19 22
28 18 19 23
29 18 20 24
12 | P a g e
PENYELESAIAN:
1.
Estimasi parameter regresi Ganda:
Nilai Konstanta α , Koefisien b1) dan (b2) di-estimasi oleh 3 persamaan sbb.:
∑ � = � + ∑ �+ ∑ � ………1a)
∑ � � = ∑ � + ∑ �+ ∑ � � ………(1b)
∑ � � = ∑ � + ∑ � �+ ∑ � ……….……(1c)
Atau dalam bentuk Matrix-nya sbb.:
( � ∑ � ∑ � ∑ � ∑ � ∑ � � ∑ � ∑ � � ∑ � ) ( ) = ( ∑ � ∑ � � ∑ � �) � =
Tabel bantu perhitungan:
i X1i X2i Yi X1i
2
X2i
2
X1iX2i X1iYi X2iYi
1 5.00 6.00 8.00 25 36 30 40 48
2 6.00 7.00 8.00 36 49 42 48 56
3 7.00 8.00 9.00 49 64 56 63 72
4 8.00 9.00 11.00 64 81 72 88 99
5 8.00 9.00 11.00 64 81 72 88 99
6 8.00 9.00 11.00 64 81 72 88 99
7 8.00 9.00 11.00 64 81 72 88 99
8 9.00 10.00 12.00 81 100 90 108 120
9 10.00 10.00 13.00 100 100 100 130 130
10 11.00 10.00 14.00 121 100 110 154 140
11 11.00 10.00 15.00 121 100 110 165 150
12 12.00 14.00 16.00 144 196 168 192 224
13 12.00 14.00 16.00 144 196 168 192 224
14 14.00 14.00 17.00 196 196 196 238 238
15 14.00 14.00 17.00 196 196 196 238 238
16 14.00 15.00 17.00 196 225 210 238 255
17 14.00 15.00 17.00 196 225 210 238 255
18 15.00 16.00 19.00 225 256 240 285 304
19 15.00 16.00 19.00 225 256 240 285 304
20 15.00 16.00 19.00 225 256 240 285 304
21 15.00 17.00 19.00 225 289 255 285 323
22 15.00 17.00 19.00 225 289 255 285 323
23 16.00 17.00 20.00 256 289 272 320 340
24 17.00 17.00 21.00 289 289 289 357 357
25 17.00 18.00 21.00 289 324 306 357 378
26 18.00 18.00 21.00 324 324 324 378 378
27 18.00 19.00 22.00 324 361 342 396 418
28 18.00 19.00 23.00 324 361 342 414 437
29 18.00 20.00 24.00 324 400 360 432 480
30 18.00 20.00 24.00 324 400 360 432 480
∑ 386.00 413.00 494.00 5440.00 6201.00 5799.00 6907.00 7372.00 ̅�= . ̅�= . ̅�= .
Sehingga nilai estimasi Konstanta ( ), Koefisien ( 1) dan ( 2) diperoleh dengan
13 | P a g e Keterangan:
TANDA SILANG Garis Warna artinya perhitungan Determinan Matriks, yaitu: Hasil Kali Garis Merah DIKURANGI Hasil Kali Garis Hijau
=|� ||�| = ∑ � |
∑ � ∑ � �
∑ � � ∑ � |− ∑ � |
∑ � � ∑ � �
∑ � � ∑ � |+ ∑ � |∑∑ �� �� ∑∑ � � �|
� | ∑ � ∑ � �
∑ � � ∑ � |− ∑ � |
∑ � ∑ � �
∑ � ∑ � |+ ∑ � |∑∑ �� ∑∑ � � �|
= | |− | |+ | |
| |− | |+ | | = = .
=|� ||�| = � |
∑ � � ∑ � �
∑ � � ∑ � |− ∑ � |
∑ � ∑ � �
∑ � ∑ � |+ ∑ �|
∑ � ∑ � � ∑ � ∑ � �|
|�|
= | |− | |�| |+ | |= = .
= |� ||�| = � | ∑
� ∑ � �
∑ � � ∑ � �|− ∑ � |
∑ � ∑ � �
∑ � ∑ � �|+ ∑ � |∑∑ � ∑ � � ∑ � �|
|�|
= | |− | |�| |+ | |= = .
Sehingga Persamaan regresi linier ganda antara Kinerja (dependent variable) dengan Lingkungan kerja dan Penghargaan estimasinya diperoleh sbb.:
14 | P a g e
2.
Koefisien Determinasi Adjusted (
�
̅̅̅̅
):
Nilai koefisien determinasi dihitung dengan rumus sbb.:
�
̅̅̅̅ = −
∑ −̂ ⁄ �− ∑ −̅ ⁄ �−Tabel bantu perhitungan:
i X1i X2i Yi ̂ = . + . + . − ̂ − ̅
1 5.00 6.00 8.00 7.42 0.3320 71.6844
2 6.00 7.00 8.00 8.58 0.3342 71.6844
3 7.00 8.00 9.00 9.73 0.5364 55.7511
4 8.00 9.00 11.00 10.89 0.0128 29.8844
5 8.00 9.00 11.00 10.89 0.0128 29.8844
6 8.00 9.00 11.00 10.89 0.0128 29.8844
7 8.00 9.00 11.00 10.89 0.0128 29.8844
8 9.00 10.00 12.00 12.04 0.0017 19.9511
9 10.00 10.00 13.00 12.82 0.0323 12.0178
10 11.00 10.00 14.00 13.60 0.1602 6.0844
11 11.00 10.00 15.00 13.60 1.9606 2.1511
12 12.00 14.00 16.00 15.88 0.0147 0.2178
13 12.00 14.00 16.00 15.88 0.0147 0.2178
14 14.00 14.00 17.00 17.44 0.1915 0.2844
15 14.00 14.00 17.00 17.44 0.1915 0.2844
16 14.00 15.00 17.00 17.81 0.6602 0.2844
17 14.00 15.00 17.00 17.81 0.6602 0.2844
18 15.00 16.00 19.00 18.97 0.0011 6.4178
19 15.00 16.00 19.00 18.97 0.0011 6.4178
20 15.00 16.00 19.00 18.97 0.0011 6.4178
21 15.00 17.00 19.00 19.34 0.1168 6.4178
22 15.00 17.00 19.00 19.34 0.1168 6.4178
23 16.00 17.00 20.00 20.12 0.0147 12.4844
24 17.00 17.00 21.00 20.90 0.0099 20.5511
25 17.00 18.00 21.00 21.28 0.0758 20.5511
26 18.00 18.00 21.00 22.05 1.1126 20.5511
27 18.00 19.00 22.00 22.43 0.1846 30.6178
28 18.00 19.00 23.00 22.43 0.3252 42.6844
29 18.00 20.00 24.00 22.80 1.4290 56.7511
30 18.00 20.00 24.00 22.80 1.4290 56.7511
∑ 386.00 413.00 494.00 9.9590 653.4667
15 | P a g e Sehingga nilai koefisien determinasi-nya adalah:
�
̅̅̅̅ = −
∑ −̂ ⁄ �−∑ −̅ ⁄ �−
= −
. ⁄ −
. ⁄ −
= −
.
.
= .
