Analisis Regresi Dan Korelasi Linear

ANALISIS REGRESI &

KORELASI

PENDAHULUAN

 Analisis regresi dan korelasi

menyatakan hubungan antara dua variabel atau lebih.

 Analisis regresi : menunjukkan bentuk hubungan antara dua variabel atau

lebih persamaan regresi

 Analisis korelasi : menunjukkan

kekuatan hubungan antara dua variabel atau lebih  koefisien korelasi

Dalam suatu persamaan regresi terdapat 2 macam variabel, yaitu :

 Variabel dependen (variabel tak bebas) adalah variabel yang nilainya bergantung dari variabel lain. Biasanya dinyatakan dengan Y.

 Variabel independen (variabel bebas) adalah variabel yang nilainya tidak bergantung dari variabel lain. Biasanya dinyatakan dengan X.

ANALISIS REGRESI

 Regresi dikelompokkan menjadi 2 : 1. Regresi linier

Regresi linier terdiri dari : a. Regresi linier sederhana :

* 1 variabel tak bebas (dependent) dan 1 variabel

bebas (independent).

b. Regresi linier berganda

* 1 variabel tak bebas dan lebih dari 1 variabel bebas

2. Regresi tak linier

Contoh penggunaan analisis regresi

1. Analisis Regresi antara tinggi orang tua terhadap tinggi anaknya (Gultom).

2. Analisis Regresi antara pendapatan terhadap konsumsi rumah tangga.

3. Analisis Regresi antara harga terhadap penjualan barang.

4. Analisis Regresi antara tingkat upah terhadap tingkat pengangguran.

5. Analisis Regresi antara tingkat suku bunga bank terhadap harga saham

6. Analisis regresi antara biaya periklanan terhadap volume penjualan perusahaan.

Langkah pertama dalam menganalisa relasi antar variabel adalah dengan membuat diagram pencar

(scatter diagram) yang menggambarkan titik-titik plot dari data yang diperoleh. Diagram pencar ini berguna untuk :

1.

membantu dalam melihat apakah ada relasi yang berguna antar variabel,

2.

membantu dalam menentukan jenis persamaan yang akan digunakan untuk menentukan

hubungan tersebut.

Linier positif

Linier negatif

Curvelinier

positif Curvelinier

negatif

Analisis Regresi Linier Sederhana



Suatu persamaan garis lurus yang

menyatakan hubungan antara sebuah variabel bebas X dan sebuah variabel tidak bebas Y, dan digunakan untuk

memperkirakan nilai Y berdasarkan nilai

X disebut sebagai persamaan regresi

Metode kuadrat terkecil

 Adalah suatu metode yang digunakan untuk menentukan persamaan linier estimasi

 Kriteria ini dikenal dengan prinsip kuadrat terkecil (principle of least square).

 Prinsip pemilihan garis regresi ini adalah “pilih garis yang mempunyai jumlah kuadrat deviasi

nilai observasi Y terhadap nilai Y prediksinya yang minimum sebagai garis regresi yang paling baik”

Persamaan regresi estimasi yang baik secara umum

dimana

adalah nilai estimasi Y berdasarkan X yang dipilih.

a adalah titik potong Y.

b adalah kemiringan garis,

X adalah sembarang nilai variabel bebas yang dipilih

bX a

Y ˆ  

Yˆ

 Nilai a dan b adalah :

n X X

n Y XY X

S b S

xx xy

2 ( )2

) )(

(

 



 



 



X b Y

a  

Uji Koefisien regresi

Contoh

19

Regresi Linier Berganda

Model regresi linier berganda melibatkan lebih dari satu variabel bebas. Modelnya :

Dimana

Y = variabel terikat

X_i = variabel bebas ( i = 1, 2, 3, …, k)

₀ = intersep

_i = koefisien regresi ( i = 1, 2, 3, …, k)

Model penduganya adalah

k k X X

X

Y  ₀  _{1 1}  _{2 2} ... 

k kX b X

b X

b b

Y  ₀  _{1 1}  _{2 2} ...

20

Regresi Linier Berganda

Misalkan model regresi dengan kasus 2 peubah bebas X₁ dan X₂ maka modelnya :

Sehingga setiap pengamatan Akan memenuhi persamaan

2 2

1 1

0

X X

Y      

 



^X_1i^{, X}_2i ^;Y_i ^{; i 1,2,...,n}

 X

i

X

Y  

₀

 

_{1 1}

 

_{2 2}

 

21

Menaksir Koefisien Regresi Dengan Menggunakan Matriks

Dari hasil Metode Kuadrat Terkecil didapatkan persamaan normal :

…..

 





^{   }

 b X _i b X _i b_k X_ki Y_i

nb_{0 1 1 2 2} ...

 







^{X i  b X i b X i X i   bk X iXki  X iYi}

b_{0 1 1 1} ² _{2 1 2} ... _{1 1}

 







^{Xki  b Xki X i b Xki X i   bk Xki  XkiYi}

b_{0 1 1 2 2} ... ²

22

Menaksir Koefisien Regresi Dengan Menggunakan Matriks

Tahapan perhitungan dengan matriks : 1. Membentuk matriks A, b dan g





































   

2 2

1

1 2

1 2

1 1

2 1

...

...

...

...

...

...

...

...

ki i

ki i

ki ki

ki i

i i

i i

ki i

i

X X

X X

X X

X X

X X

X X

X X

X n

A

23

Menaksir Koefisien Regresi Dengan Menggunakan Matriks

 

 





 

 







b

k

b b b ...

1 0

 

 







 

 

















 

i ki k

i i

i

Y X

g

Y X

g

Y g

g ...

1 1

0

24

Menaksir Koefisien Regresi Dengan Menggunakan Matriks

2. Membentuk persamaan normal dalam bentuk matriks

A b = g

3. Perhitungan matriks koefisien b b = A^-1 g

25

Metode Pendugaan Parameter Regresi

Dengan Metode Kuadrat Terkecil, misalkan model terdiri dari 2 variabel bebas

Tahapan pendugaannya :

1. Dilakukan turunan pertama terhadap b₀ , b₁ dan b₂

 

 

 







n 

i

n i

i i

i

i Y b b X b X

e

1 1

2 2 2 1

1 0

2

 

_{ }

i i

i

i Y b b X b X

b e

2 2 1

1 0 0

2

2   



 

 

 

_{ }

i i i

i

i Y b b X b X X

b e

1 2 2 1

1 0 1

2

2   



 

 

 

_{ }

i i

i i

i Y b b X b X X

b e

2 2

2 1

1 0 2

2

2   



 





26

Metode Pendugaan Parameter Regresi

2. Ketiga persamaan hasil penurunan disamakan dengan nol

 



^{ }

b X_i b X_i Y_i nb_{0 1 1 2 2}

 



^{X i b Xi  b X iXi  X iYi}

b_{0 1 1 1}² _{2 1 2 1}

 



^{X i  b Xi X i  b Xi  X iYi}

b_{0 2 1 1 2 2 2}² ₂

27

Metode Pendugaan Parameter Regresi

3. Nilai b₁ dan b₂ dapat diperoleh dengan memakai aturan-aturan dalam matriks

2 2 1

1

0 Y b X b X

b   

2

1

2 1 1

2 2 1

2 1

1 2 1

2 1 1

1 1

2 2 1



 







 







 







 







 







 







 



































n i n

i n

i

n i n

i n

i n

i

X X X

X

Y X X

X Y

X X

b

2

1

2 1 1

2 2 1

2 1

1 1

1 1 2

1 2

1 2 1 2



 







 







 







 







 







 







 



































n i n

i n

i

n i n

i n

i n

i

X X X

X

Y X X

X Y

X X

b

28

Uji Kecocokan Model

1. Dengan Koefisien Determinasi

R² menunjukkan proporsi variasi total dalam respon Y yang dapat diterangkan oleh model

r merupakan koefisien korelasi antara Y dengan kelompok X₁ , X₂ , X₃ , … , X_k

JKT R

²

 JKR

r R² 

29

Uji Kecocokan Model

2. Dengan Pendekatan Analisis Ragam Tahapan Ujinya :

3. Hipotesis = H₀ :   0 H₁ :   0 dimana

 = matriks [ ₀, ₁, ₂, … , _k ]

30

Uji Kecocokan Model

2. Tabel Analisis Ragam

Komponen

Regresi SS db MS F_hitung

Regresi JKR k JKR / k JKR /k

s² Galat JKG n – k – 1 s² = JKG / n-k-1

Total JKT n – 1

31

Uji Kecocokan Model

3. Pengambilan Keputusan H₀ ditolak jika

pada taraf kepercayaan 

F

_hitung

> F

tabel(1 , n-k-1)

32

Uji Parsial Koefisien Regresi

Tahapan Ujinya : 1. Hipotesis =

H₀ : _j  0 H₁ : _j  0

dimana _j merupakan koefisien yang akan diuji

33

Uji Parsial Koefisien Regresi

2. Statistik uji :

Dimana :

b_j = nilai koefisien b_j s =

c_jj = nilai matriks A^-1 ke-jj

jj j j

c s

t b  



1

/ n  k 

JKG

34

Uji Parsial Koefisien Regresi

3. Pengambilan keputusan H₀ ditolak jika

pada taraf kepercayaan 

t

_hitung

> t

/2(db= n-k-1)

35

Pemilihan Model Terbaik

1. All Possible Regression Tahapan pemilihan :

i. Tuliskan semua kemungkinan model regresi dan kelompokkan menurut banyaknya variabel bebas

ii. Urutkan model regresi menurut besarnya R²

iii. Periksalah untuk setiap kelompok apakah terdapat suatu pola variabel yang

konsisten

iv. Lakukan analisa terhadap kenaikan R² pada tiap kelompok

36

Pemilihan Model Terbaik

Contoh :

Akan dianalisis model regresi yang terdiri dari 4 variabel bebas Pembagian kelompoknya

Kelompok A terdiri dari koefisien intersep

Kelompok B terdiri dari 1 variabel bebas

Kelompok C terdiri dari 2 variabel bebas

Kelompok D terdiri dari 3 variabel bebas

Kelompok E terdiri dari 4 variabel bebas

0

 Y

i i X Y  ₀  

j j i

iX X

Y  ₀    

k k j

j i

iX X X

Y  ₀      

4 4 3

3 2

2 1

1

0 X X X X

Y          

37

Pemilihan Model Terbaik

Persamaan regresi yang menduduki posisi utama dalam setiap kelompok adalah

Persamaan terbaiknya adalah Y = f(X₁ , X₄) Kelompok Model Regresi R²

B Y = f(X₄) 67,5%

C Y = f(X₁ , X₂) 97,9%

Y = f(X₁ , X₄) 97,2%

D Y = f(X₁ , X₂ , X₄) 98,234%

E Y = f(X₁ , X₂ , X₃, X₄) 98,237%

38

Pemilihan Model Terbaik

2. Backward Elimination Procedur Tahap pemilihannya :

i. Tuliskan persamaan regresi yang mengandung semua variabel

ii. Hitung nilai t parsialnya iii. Banding nilai t parsialnya

a. Jika t_L < t_O maka buang variabel L yang menghasilkan t_L, kemudian hitung kembali

persamaan regresi tanpa menyertakan variabel L

b. Jika t_L > t_O maka ambil persamaan regresi tersebut

39

Pemilihan Model Terbaik

Contoh :

Akan dianalisis model regresi yang terdiri dari 4 variabel bebas

Model regresi yang mengandung semua variabel bebas

Model terbaiknya

Y = f(X₁,X₂)

Persamaan Regersi t parsial F

Y = f(X₁,X₂,X₃,X₄) 157,266*

X₁ 4,337*

X₂ 0,497*

X₃ 0,018 X₄ 0,041*

Y = f(X₁,X₂,X₄) 166,83*

X₁ 154,008*

X₂ 5,026*

X₄ 1,863

Y = f(X₁,X₂) 229,5*

4 4 3

3 2

2 1

1

0 X X X X

Y          

40

Pemilihan Model Terbaik

3. Stepwise Regression Procedur

Tahap pemilihannya :

i. Hitung korelasi setiap variabel bebas terhadap variabel Y.

Variabel bebas dengan nilai korelasi tertinggi masukkan dalam model regresi (syarat uji F menunjukkan variabel ini berpengaruh nyata)

ii. Hitung korelasi parsial setiap variabel bebas tanpa menyertakan variabel bebas yang telah mauk model.

Masukkan variabel bebas dengan korelasi parsial tertinggi ke dalam model

iii.Hitung nilai t parsial variabel yang telah masuk model, jika tidak berpengaruh nyata keluarkan dari model

iv. Kembali ke langkah ii

41

Pemilihan Model Terbaik

Contoh :

Akan dianalisis model regresi yang terdiri dari 4 variabel bebas

42

Model Variabel Korelasi t parsial F

r_iy 0,731

r_2y 0,816

r_3y -0,535

r_4y -0,821

Y = f(X₄) 22,798*

r_1y.4 0,915 r_2y.4 0,017 r_3y.4 0,801

Y = f(X₁,X₄) 176,627*

r_2y.14 0,358 X₁ = 108,223*

r_3y.14 0,320 X₄ = 159,295*

Y = f(X₁, X₂,X₄) 166,832*

X₁ = 154,008*

X₂ = 5,026*

X₄ = 1,863

r_3y.124 0,002

Y = f(X₁, X₂) 229,504*

Model terbaik Y = f(X₁ , X₂)

Regresi Linear

Regresi Linear Non Linear

Analisis Korelasi

Arti besar nilai r

 Jika r = 1 atau mendekati 1 maka hubungan antara 2 variabel sangat kuat secara positif yaitu hubungan yang terjadi searah yaitu apabila nilai X meningkat maka Y juga akan semakin meningkat dan sebaliknya.

 Jika r = -1 atau mendekati -1 maka hubungan antara 2 variabel sangat kuat secara negatif yaitu hubungan yang terjadi berbalik arah yaitu apabila nilai X meningkat maka akan diikuti dengan penurunan Y atau sebaliknya.

 Jika r = 0 atau mendekati 0 maka hubungan antara 2 variabel tidak ada atau lemah maka dapat dikatakan tidak terdapat hubungan antara X dan Y.

Koefisien Korelasi

Berdasarkan nilai derajat korelasinya baik positif maupun negatif adalah :



0,7 – 1 : Kuat/erat



0,4 – 0,7 : Sedang



0,2 – 0,4 : Rendah



< 0,2 : Lemah atau diabaikan dan

dianggap tidak adanya

hubungan antar 2

variabel

Koefisien Korelasi

Y

X

r = 0 Y

X r = -1

Uji Korelasi

Contoh