STATISTIKA ANALISIS REGRESI DAN KORELASI LINIER SEDERHANA

ANALISIS REGRESI DAN

KORELASI LINIER SEDERHANA

•

Penentuan garis duga regresi dengan Metode OLS

• konstanta a dan koefisien b

•

Analisis Varians

• komposisi variasi sekitar garis

• r dan r²

• Standard error of estimate

•

Pendugaan Interval dan Pengujian

• parameter (konstanta & koefisien) regresi

• prediksi nilai conditional mean (E(Y/X))

& individu (Y)

REGRESI SEDERHANA  OLS

•

Tujuan

• Mencari garis duga yang paling representatif mewakili pola data

• Melihat hubungan antara 2 variabel

• Garis duga yang terbaik adalah garis duga yang error = 0  meminimumkan SSE

Ordinary Least Square VS Maximum Likelihood

Min = min = min e_i² (Y_i Y_i)²



 ²

1

0 )

(Y_i b b X_i



Minimisasi Error Maksimisasi Peluang

Nilai IPK dan Ujian Masuk 8 siswa

Siswa 1 2 3 4 5 6 7 8

Ujian masuk 74 69 85 63 82 60 79 91 IPK 2.6 2.2 3.4 2.3 3.1 2.1 3.2 2.8

0 1 2 3 4

50 55 60 65 70 75 80 85 90 95 100

Nilai Ujian Masuk

Nilai IPK

0 1 2 3 4

50 55 60 65 70 75 80 85 90 95 100

Nilai Ujian Masuk

NilaiIPK

?

Penentuan Garis Regresi

Variabel Dependen

Variabel independen Intercept

Slope garis

bX a

Y ˆ  

Arti dr paramaeter a dan b?

Linier VS Non Linier

• Linier & Non Linier dlm Variabel (disebut juga fungsi)

• Linier & Non Linier dlm Parameter

bX a

Y ˆ   Y ˆ  a  bX

²

bX a

Y ˆ   Y ˆ  a  b

²

X

Yg kita pelajari adalah linier dalam variabel & parameternya

Statistik VS Fungsional/Deterministik

• Dlm analisa regresi  hubungan scr statistik, bukan fungsional/deterministik

• Hub. Statistik  variabel terikat bersifat random/stokastik (memiliki probabilitas)

• Hub. Statistik ditandai dg error term (e) atau penulisan variabel terikat dg menggunakan tanda topi/cap/prime

Ordinary Least Square

X Y

E[Y]=₀ + ₁ X

X_i

} }

^{1= Slope}

1

₀= Intercept

Y_i

{

Error: _i

Regression Plot

X Y

E[Y]=₀ + ₁ X

X_i

} }

^{1= Slope}

1

₀= Intercept

Y_i

{

Error: _i

Regression Plot

Ordinary Least Square

X

Y

X

Y

X ⁰

0

0

0

0

Y

X

Y

X

Y

X

Y

X

Y

X

Y

X

Y

X

Y

X ⁰

0

0

0

0

Y

0 0

0

0

0

Y

X

Y

X

Y

X

Y

X

Y

X

Y

X

Y

Estimasi yang BLUE

Hasil estimasi OLS sering disebut dengan istilah BLUE (Best Linier Unbiased Estimator):

– Best ~ Efisien, artinya hasil nilai estimasi memiliki varians error yang minimum dan tidak bias.

– Linier ~ Linier dalam parameter

– Unbiased ~ Tidak bias, artinya hasil nilai estimasi sesuai dengan nilai parameter.

– Konsisten, artinya jika ukuran sampel ditambah tanpa batas maka hasil nilai estimasi akan mendekati

parameter populasi yang sebenarnya.

Ordinary Least Square: Asumsi

Untuk dapat menghasilkan nilai parameter yang BLUE (Best Linear Unbiased Estimator) diperlukan asumsi:

– Model regresi adalah linier dalam parameter.

– Error term (e) memiliki distribusi normal.

– Varians error tetap/konstan (homoskedasticity)  menjamin efisien (kalau minimum) & tidak bias

– Tidak ada hubungan antara variabel bebas dan error term

– Tidak ada korelasi serial antara error (no- autocorrelation) (antar observasi)

Step 1 : Menentukan Variabel X dan Y

• Variabel Y (Variabel Dependen)

• variabel yang nilai penyelesaiannya dicari melalui model.

• Nilai variabel yang ditanyakan soal

• Variabel yang dipengaruhi oleh variabel lain.

Lanjutan

• Variabel X (Variabel Independen)

• variabel yang nilainya ditentukan oleh kekuatan dari luar model dan nilai-nilai variabel tersebut berasal dari data yang ada.

• Variabel yang dianggap mempengaruhi variabel lain.

lanjutan

• Contoh : C = a + bY.

• C : konsumsi

• Y : Pendapatan

• Menurut Teori.

• C : Variabel dependent

• Y : Variabel independent (pngaruhnya (+))

lanjutan

• Qd = a-bP

• Qd : Quantity demand

• P : harga

• Menurut Teori

• Qd : Variabel dependen

• P : variabel independen (untuk brng normal, pengaruhnya (-))

Step 2 : Menghitung Slope dan Intercept

 





₂



₂

X n X

Y X n

b XY a  Y  b X

Data Pengeluaran dan Profit (juta $)

Year Expenditure Annual Profit

(X) (Y)

1990 2 20 40 4

1991 3 25 75 9

1992 5 34 170 25

1993 4 30 120 16

1994 11 40 440 121

1995 5 31 155 25

sum 30 180 1000 200

XY X2²

6 30 180 6 5 30

















n Y Y

n X X

20

(2)(5) -

30







 Y b X a

2

(5) (6)

- 200

(30) (5)

(6) -

1000

₂

2 2







 

 

X n X

Y

X

n

b XY

Lanjutan

X Y   20  2

Persamaan Garis Duga = Persamaan regresi

16 18 20 22 24 26 28 30 32 34 36 38 40 42

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

X

Y

Y   20  2 X

Apakah meminimumkan error ?

Year Annual Profit Individual

(Y) 20+2X error

1990 20 24 -4

1991 25 26 -1

1992 34 30 4

1993 30 28 2

1994 40 42 -2

1995 31 30 1

Total Error 0 Y



Y

Minimum error

ANALISIS VARIANS

Y

X Deviasi yang dapat dijelaskan

Deviasi yang tidak dapat dijelaskan

Nilai Y yang diobservasi

ˆ) (Y  Y

) (Y Y

Garis regresi Yˆ

Y

ˆ )

(Y Y

Koefisien Determinasi

 

 

 



 



₂

2

2

ˆ

1

Y Y

Y r Y

Koefisien determinasi

Variasi Y sekitar

Y

Variasi Y sekitar garis regresi Yˆ

r

2 2

_ 2

_

) (

) (

)

( Y

_i

Y

ⁱ

Y 

_i

Y

ⁱ

Y

_i

Y 

_i

















TSS = RSS + ESS

1 = RSS/TSS + ESS/TSS

RSS/TSS =

Koefisien Determinasi

bX a

Y ˆ  

      





 

] ) (

][

) (

[

)]

)(

( [

2 2

2 2

2 2

Y Y

n X

X n

Y X

XY r n

 

 

 



 



₂

2

2

ˆ

1

Y Y

Y r Y

r

 





₂



₂

X n X

Y X n

b XY a  Y  b X

Koefisien Determinasi

• Penambahan variabel bebas, tdk menurunkan koefisien determinasi, tetapi meningkat makin mendekati 1

• Kelemahan: koef. Determinasi menyinggung variasi regresi & residual, tetapi tidak memperhitungkan

derajat bebasnya  penafsiran koef. determinasi sulit jika intersept-nya = 0  koef determinasi tidak harus di antara 0 & 1

      





 

] ) (

][

) (

[

)]

)(

( [

2 2

2 2

2 2

Y Y

n X

X n

Y X

XY r n

r

Koefisien Korelasi (r)

1 ) (

1 ) (

__ 2 __ 2

















n

X X

n

Y Y

s r r s b

x y

r 2

r 

STANDARD ERROR OF ESTIMATE

•

Mengukur variasi titik-titik di sekitar garis regresi

•

Jika Se = 0:  titik-titik tepat di garis regresi

• artinya garis regresi adalah estimator yang sempurna untuk variabel dependen.

Derajat bebasnya n-2 krn ada 2 prmtr yg akan diduga

2

2





 n S_e e

Lanjutan

2

2





 n S_e e

 

2

ˆ ²







 n

Y S_e Y

2

2





    

n

XY b

Y a

S

_e

Y

Menghitung Standar Error

  

^{Y Yˆ 2}

  ^{Y  ˆY}

²

Year Annual Profit Individual

(Y) 20+2X error

1990 20 24 -4 16

1991 25 26 -1 1

1992 34 30 4 16

1993 30 28 2 4

1994 40 42 -2 4

1995 31 30 1 1

42

lanjutan

 

24 . 3

2 6

42

2 ˆ ²



 







 n

Y S_e Y

SEE  jika terdistribusi normal

 ^



2 2

X n X

S

_b

S

^e



 _ 



n X X

S

_b

S

^e

)

(

²

2









__ 2 2 2

) (

. X X

n

Se S_a X

 







__ 2 2 2

) (

.

X X

n

Se

S

_a

X

Manfaat Standar error

• Jika observasi terdistribusi normal disekitar garis regresi maka:

• 68% obs berada

• 95.5 % obs berada

• 99.7 % obs berada

s

e

 2

s

e

 3 s

e

 1

s

e

bX a

Y ˆ    1

se

bX a

Yˆ    2

s

e

bX a

Y ˆ    3

PENDUGAAN INTERVAL PARAMETER







    



_{ }

) 1

( b t

_{(n 2, /2)}

s

_b

B b t

_{(n 2, /2)}

s

_b

P

 ^



2 2

X n X

S

_b

S

^e



Parameter B

PENDUGAAN INTERVAL PARAMETER









__ 2 2 2

) (

. X X

n

Se S_a X







    



_{ }

) 1

( a t

_{(n 2, /2)}

s

_a

A a t

_{(n 2, /2)}

s

_a

P

Parameter A

n waktu keseluruha

dari 90%

sebanyak diatas

interval dalam

masuk akan

B panjang jangka

dalam maka

berulang dilakukan

persobaan Jika

90%

2.981) 019

. 1 (

019 .

1

) 46 . 0 )(

132 .

2 ( 2

s t b

2.981

) 46 . 0 )(

132 .

2 ( 2

s t b

46 . 0 s

2 b

1 Kasus

b b b



























B P

PENGUJIAN PARAMETER

• Dasar: apakah yg diperoleh dr pengamatan, cocok dg yg dihipotesakan?

• Asumsi normalitas, maka pengujian menggunakan distribusi t

• Dapat dilakukan, untuk parameter a & b

Sb B t b 

 Sa

A t a 



Pengujian Parameter B (1)

1 . 2

diketahui lalu

masa data

dari Misalkan

1 . 2 :

1 . 2 :

. 1

1







B B

H

B H

_o

132 .

2 t

2 - n df

t - atau t

t t

jika Ho

Tolak

Penolakan Daerah

2.

4) (0.1/2,

4) (0.1/2, stat

4) (0.1/2, stat









lanjutan

lalu.

masa nilai

dengan sama

masih b

Nilai

2.1 yaitu

sama B

dan b

nilai Ho.

Terima

Kesimpulan .

4

217 .

0.46 0 2.1 -

t 2

S B - t b

statistik -

t Menghitung 3.

b









Pengujian Parameter B (2)

0 :

0 :

. 1

1 

 B H

B H_o

132 .

2 t

2 - n df

t - atau t

t t

jika Ho

Tolak

Penolakan Daerah

2.

4) (0.1/2,

4) (0.1/2, stat

4) (0.1/2, stat









lanjutan

Y dan X

antara korelasi

ada

nol dengan

berbeda signifikan

b

Ho.

Tolak

Kesimpulan .

4

35 . 0.46 4

0 - t 2

S B - t b

statistik -

t Menghitung 3.

b







PREDIKSI

•

Salah satu manfaat dr regresi masa lalu adalah untuk peramalan/prediksi

•

Ada 2 prediksi:

1) prediksi nilai conditional mean E(Y/X) (rata-rata Y pada nilai X tertentu) titik pd regresi populasi

=> prediksi rata-rata (variasi relatif kecil)  Confidence Interval

2) Prediksi nilai individu Y pd nilai X tertentu =>

prediksi individu (variasi relatif besar) 

Prediction Interval

Interval Prediksi Rata-rata Y

1 1

1

1

)

( y

_n

X

_n

 b

_o

 b X

_n

E

 

n e

i

i n n

n

s

X x

X x

t n y

 

 





 

 







 

 



 



1

2 2 1

, 2 1

) (

 1

Interval Prediksi Individu Y

e X

b b

y

_n1



_o



_{1 n1}



 

n e

i

i n n

n

s

X x

X x

t n y

 

 





 

 







 



 



 



1

2 2 1

, 2 1

) (

1 1



Kasus 2

X

Y   1 . 923  0 . 3815

Diambil dari 1980-2002 Y : Konsumsi

X : Pendapatan

6501

0) 0.3815(120 1.923

Y maka 12000

X

JIka

_{2003 2003}







 

Lanjutan  Individu



^x



^{34110178 S 21789.95}

10799 X

22

e 2

i   







^X

n

 

 

153.954

95 . 21789 )

34110178 (

10799 12000

22 1 1

) (

1 1

1

2 2

1

2 2 1



















 























 



 







n

i n e

i

i

n s

X x

X x

n

086 .

2 2

/ ,

2 

 

tn

 - 1 (153.954)) )

086 . 2 ( 501 . 6 ( Y

(153.954)) )

086 . 2 ( 501 . 6

(   _n1   

P

% 95 )

6822 Y

6180

(  _n1   P

Lanjutan  Rata-rata



^x



^{34110178 S 21789.95}

10799 X

22

e 2

i   







^X

n

 

 

43.727

95 . 21789 )

34110178 (

10799 12000

22 1 )

( 1

1

2 2

1

2 2 1



















 





















 





 



n

i n e

i

i

n s

X x

X x

n

086 .

2 2

/ ,

2 

 

tn

 - 1 (43.727)) )

086 . 2 ( 501 . 6 ( Y

(43.727)) )

086 . 2 ( 501 . 6

(   _n1   

P

% 95 )

6592 Y

6410

(  _n1   P

Terima Kasih