Pendugaan Parameter Regresi. Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Pendugaan

Parameter Regresi

Menduga garis regresi



Menduga garis regresi linier sederhana =

menduga parameter-parameter regresi β

₀

dan β

₁

:



Penduga parameter yang dihasilkan harus

merupakan

penduga yang baik



Software statistik, seperti Minitab, SAS, SPSS,

dll. banyak digunakan

Metode Kuadrat Terkecil

 b₀ dan b₁ adalah dugaan bagi parameter regresi β₀ dan β₁ yang didapat salah satunya dengan cara

meminimumkan jumlah kuadrat galat (JKG).

Galat/sisaan = selisih antara y dan  Metode Kuadrat Terkecil (MKT) : 2 i 1 0 i 2 i i 2 i )] x b (b [y min ) yˆ (y min e min JKG min      







yˆ

Teknik kalkulus digunakan untuk mendapatkan nilai b_o dan b sedemikian hingga meminimumkan JKG

 Penduga bagi koefisien kemiringan garis β₁ ialah:

 Penduga bagi intersep β₀ ialah:

 Garis regresi selalu melalui titik x, y

X Y xy n 1 i 2 i n 1 i i i 1 r _ss ) x (x ) y )(y x (x b      





  XX XY SS

x

b

y

b

₀





₁

Metode Kuadrat Terkecil

(lanjutan) S_XY S_XX Koefisien Korelasi Pearson

Asumsi

Metode Kuadrat Terkecil (MKT)

Agar penduga bagi parameter regresi yang

didapatkan dengan menggunakan MKT merupakan

penduga yang baik maka sisaan/galat harus memenuhi kondisi Gauss-Markov berikut ini :

bebas saling dan j i , 0 ] [ 3. ) ticity homoscedas ( x nilai setiap untuk homogen sisaan ragam ] E[ 2. nol sisaan taan harapan/ra -nilai 0 ] [ . 1 j i 2 2 i             j i i E E

Contoh

Regresi Linier Sederhana



Sebuah agen real-estate ingin mengetahui

hubungan antara harga jual sebuah rumah

dengan luas lantainya (diukur dalam m2)

10 buah rumah diambil secara acak sebagai contoh

 Peubah tak bebas (Y) = harga rumah (juta rupiah)

Data contoh Harga Rumah

Harga Rumah (Rp.juta) (Y) Luas Lantai (m2) (X)

245 1400 312 1600 279 1700 308 1875 199 1100 219 1550 405 2350 324 2450 319 1425 255 1700

0 50 100 150 200 250 300 350 400 450 0 500 1000 1500 2000 2500 3000 Luas Lantai (m2) Ha rg a Ju al R um ah (R p ju ta )

Tampilan Grafik

FILM :

MEMBUAT TEBARAN ANTARA “HARGA RUMAH”

dengan

“LUAS LANTAI”

MENGGUNAKAN MINITAB

Klik di sini Data contoh Harga Rumah

Harga Rumah (Rp.juta) (Y) Luas Lantai (m2) (X) 245 1400 312 1600 279 1700 308 1875 199 1100 219 1550 405 2350 324 2450 319 1425 255 1700

Excel Output

Regression Statistics Multiple R 0.76211 R Square 0.58082 Adjusted R Square 0.52842 Standard Error 41.33032 Observations 10 ANOVA df SS MS F Significance F Regression 1 18934.9348 18934.9348 11.0848 0.01039 Residual 8 13665.5652 1708.1957 Total 9 32600.5000

Coefficients Standard Error t Stat P-value Lower 95% Upper 95%

Intercept 98.24833 58.03348 1.69296 0.12892 -35.57720 232.07386

Luas lantai 0.10977 0.03297 3.32938 0.01039 0.03374 0.18580

Persamaan garis regresi-nya:

lantai) (luas 0.10977 98.24833 rumah harga  

0 50 100 150 200 250 300 350 400 450 0 500 1000 1500 2000 2500 3000 Luas Lantai (m2) Ha rg a Ju al R um ah (R p. ju ta )

Tampilan Grafik



Model Harga Rumah: scatter plot dan

garis regresi

lantai) (luas 0.10977 98.24833 rumah harga   Kemiringan = 0.10977 Intersep = 98.248

Klik di sini Data contoh Harga Rumah

Harga Rumah (Rp.juta) (Y) Luas Lantai (m2) (X) 245 1400 312 1600 279 1700 308 1875 199 1100 219 1550 405 2350 324 2450 319 1425 255 1700 FILM :

MEMBUAT TEBARAN ANTARA “HARGA RUMAH”

dengan

“LUAS LANTAI”

& GARIS REGRESI-nya MENGGUNAKAN MINITAB

FILM :

MENDUGA

PARAMETER REGRESI

dengan

MENGGUNAKAN MINITAB

Klik di sini Data contoh Harga Rumah

Harga Rumah (Rp.juta) (Y) Luas Lantai (m2) (X) 245 1400 312 1600 279 1700 308 1875 199 1100 219 1550 405 2350 324 2450 319 1425 255 1700

Interpretasi Intersep b

₀



b

₀

adalah nilai dugaan bagi nilai rataan Y ketika

X bernilai nol (jika X = 0 di dalam selang

pengamatan)

 Dalam hal ini tidak ada rumah yang memiliki luas lantai=0, jadi b₀ = 98.24833 hanya mengindikasikan bahwa : untuk luas lantai yang berada dalam selang pengamatan, Rp

98.248.330,-adalah bagian harga rumah yang tidak diterangkan oleh luas lantai

lantai)

(luas

0.10977

98.24833

rumah

harga





Interpretasi

koefisien kemiringan, b

₁



b

₁

mengukur dugaan perubahan rataan

nilai Y jika X berubah satu satuan

 Dalam hal ini b₁ = .10977 menggambarkan bahwa setiap penambahan satu m2 _{luas lantai rataan harga}

rumah akan naik sebesar 0,10977 juta rupiah

lantai)

(luas

0.10977

98.24833

rumah

harga





Apakah b

₀

dan b

₁

yang didapat

merupakan penduga yang baik ?



Pertanyaan di atas = pertanyaan bahwa: “apakah

sisaan

yang dihasilkan oleh

dugaan persamaan

garis regresi

nya menghasilkan sisaan yang

memenuhi kondisi

Gauss-Markov

?”



Untuk sementara ini kita yakini saja dulu bahwa

sisaan yang dihasilkan memenuhi kondisi tersebut



Penjelasan bagaimana cara memeriksanya akan

dijelaskan pada pokok bahasan “

Diagnosa model

PENGURAIAN

KERAGAMAN TOTAL

JKReg

Sumber Keragaman Regresi

 Nilai pengamatan y_i yang dihasilkan beragam.

Sumber Keragaman Regresi

 Untuk suatu nilai x_i keragaman nilai pengamatan

disebabkan oleh :

 Menyimpangnya nilai amatan y_i terhadap dugaan nilai harapannya

 beragam  menghasilkan dugaan garis regresi yang beragam  memiliki rataan

Menyimpangnya suatu dugaan garis regresi terhadap rataannya menyebabkan beragamnya data.

i i y b b x ] x | [Y E ] x | [Y E _i   _i    ₀  ₁ (lanjutan) Y

/sisaan

eror/galat

karena







_{i i} i

y

e

y 

1 0 dan b b

regresi

model

karena

ˆ

ˆ

ˆ

_i



y



b

₀



b

₁

x

_i



y

_i

,

y



y

_i



y

Mengukur Keragaman

 Total Keragaman disebabkan oleh dua bagian ini :

JKG

JKR

JKT





Jumlah

Kuadrat Total Jumlah Kuadrat Regresi Jumlah Kuadrat Galat/Sisaan







2 i

y

)

(y

JKT







2 i i

yˆ

)

(y

JKG







2 i

y

)

yˆ

(

JKR

dengan:

= nilai rata-rata peubah tak bebas Y

y_i = nilai pengamatan ke-i peubah tak bebas Y = nilai dugaan y untuk suatu nilai x

yˆ

y

 JKT = Jumlah Kuadrat Total

 Mengukur keragaman nilai y_i di sekitar nilai rataannya y

 JKR = Jumlah Kuadrat Regresi

 Menjelaskan keragaman karena adanya hubungan

linier antara x dan y

 JKS = jumlah Kuadrat Sisa

 Menjelaskan keragaman yang disebabkan oleh

faktor-faktor selain faktor hubungan linier x dan y

(lanjutan)

(lanjutan) x

y

X

y

_i JKT = (y_i - y)2 JKG = (y_i - y_i )2 JKR = (y_i – y )2

_

_

_

y 

Y

y

_

yi 

Ukuran Keragaman

Derajat Bebas Jumlah Kuadrat

 Ukuran keragaman adalah ragam

 Derajat bebas bagi

 Derajat bebas bagi

(db) bebas derajat Kuadrat (JK) Jumlah Ragam

2

-n

JK

_Sisaan



1

JK

_Regresi



Tabel Sidik Ragam

Sumber

Keragaman Derajat Bebas (db) Jumlah Kuadrat (JK) Kuadrat Tengah (KT) Regresi 1 Sisaan n-2 Total (terkoreksi) n-1

 



_n  i 1 yi y 2 ˆ







_n  i 1 yi yi 2 ˆ

 



_n  i 1 yi y 2 1 JKRegresi



n 2



JK sisaan 

Pada analisis regresi ini tentunya diharapkan JK regresi lebih besar dari JK sisaan  sehingga dapat dikatakan bahwa keragaman nilai y disebabkan oleh perubahan nilai x.

S2_,

jika model nya pas

Penduga bagi Ragam Sisaan/galat

 Penduga bagi ragam eror/sisaan dari model populasi

adalah :

 Dibagi dengan n – 2 bukan dengan n – 1 karena model

regresi linier sederhana menggunakan 2 penduga parameter yaitu, b₀ dan b₁, bukan satu.

adalah penduga simpangan baku

2

n

e

2

n

JKS

s

σˆ

n 1 i 2 i 2 e 2















 sisaan

KT

2 e e

s

s 

Dengan asumsi bahwa modelnya pas/cocok

Excel Output

Regression Statistics Multiple R 0.76211 R Square 0.58082 Adjusted R Square 0.52842 Standard Error 41.33032 Observations 10 ANOVA df SS MS F Significance F Regression 1 18934.9348 18934.9348 11.0848 0.01039 Residual 8 13665.5652 1708.1957 Total 9 32600.5000

Coefficients Standard Error t Stat P-value Lower 95% Upper 95%

Intercept 98.24833 58.03348 1.69296 0.12892 -35.57720 232.07386

Luas Lantai 0.10977 0.03297 3.32938 0.01039 0.03374 0.18580

41.33032

s

_e



Perbandingan Galat Baku

Y Y X X kecil s _e s _ebesar

s_e mengukur keragaman penyimpangan nilai

pengamatan y terhadap garis regresi

The magnitude of s_e should always be judged relative to the size of the y values in the sample data

Pengujian Hipotesis

Terhadap

Slope dan Intersep

0



1 0





Diperlukan asumsi bahwa ε_i menyebar Normal ε_i ~ N ( 0,σ2 ₎

Ragam Koefisien Kemiringan Garis

Regresi (b

₁

)



Ragam dari koefisien kemiringan garis regresi

(b

₁

) diduga sbb :

2 x 2 e 2 i 2 e 2

1)s

(n

s

)

x

(x

s

s

_b1











dengan:

= dugaan simpangan baku kemiringan garis regresi

= akar KTG = akar Kuadrat Tengah Galat = dugaan simpangan baku sisaan

1 b

s

2 n SSE s_e  

Membandingkan Simpangan Baku

Koefisien Kemiringan Garis Regresi (b

₁

)

Y X Y X kecil 1 b S Sb1besar

mengukur keragaman koefisien kemiringan garis regresi dari berbagai contoh (set data) yang mungkin.

S

b1

Excel Output

Regression Statistics Multiple R 0.76211 R Square 0.58082 Adjusted R Square 0.52842 Standard Error 41.33032 Observations 10 ANOVA df SS MS F Significance F Regression 1 18934.9348 18934.9348 11.0848 0.01039 Residual 8 13665.5652 1708.1957 Total 9 32600.5000

Coefficients Standard Error t Stat P-value Lower 95% Upper 95%

Intercept 98.24833 58.03348 1.69296 0.12892 -35.57720 232.07386

Luas Lantai 0.10977 0.03297 3.32938 0.01039 0.03374 0.18580

0.03297

s

_b1



Inferensia Koefisien Kemiringan Garis

Regresi (b

₁

): t Test

Pada model regresi linier sederhana :

Uji t untuk koefisien kemiringan garis regresi populasi (β₁)

 Apakah ada hubungan linier antara X dan Y?

 Hipotesis Nol dan hipotesis tandingan

H₀: β₁ = 0 (tidak ada hubungan linier antara X dan Y) H₁: β₁  0 (ada hubungan linier antara X dan Y)

 Uji Statistik 1 b 1 1 s β b t  

2

n

d.b.





dengan:

b₁ = koefisien kemiringan regresi β₁ = kemiringan yg dihipotesiskan s_b1 = simpangan baku kemiringan

Harga Rumah (Rp.juta) (y) Luas Lantai (m2) (x) 245 1400 312 1600 279 1700 308 1875 199 1100 219 1550 405 2350 324 2450 319 1425 255 1700 lantai) (luas 0.1098 98.25 rumah harga  

Dugaan persamaan garis regresi:

Koefisien kemiringan garis pada model ini adalah 0.1098

Apakah luas lantai mempengaruhi harga jual?

Contoh Inferensia

Koefisien Kemiringan Garis (b

₁

): t Test

Contoh Inferensia

Koefisien Kemiringan Garis (b

₁

): uji t

H₀: β₁ = 0

H₁: β₁  0 Output dari Excel Coefficients Standard Error t Stat P-value

Intercept 98.24833 58.03348 1.69296 0.12892 Luas lantai 0.10977 0.03297 3.32938 0.01039 1 b

s

t b₁

3.32938

0.03297

0

0.10977

s

β

b

t

1 b 1 1











Contoh Inferensia

Koefisien Kemiringan Garis (b

₁

): t Test

H₀: β₁ = 0 H₁: β₁  0

Statistik Uji-nya : t = 3.329

Cukup bukti untuk mengatakan bahwa luas lantai

mempengaruhi harga jual output dari Excel :

Coefficients Standard Error t Stat P-value

Intercept 98.24833 58.03348 1.69296 0.12892 Luas lantai 0.10977 0.03297 3.32938 0.01039 1 b

s

_t b₁

Keputusan : Tolak H

₀

Kesimpulan :

Tolak H0 Tolak H0 a/2=.025 -t_n-2,α/2Terima H0 0 a/2=.025 d.b. = 10-2 = 8 t8,.025 = 2.3060 (lanjutan) t_n-2,α/2

Contoh Inferensia

Koefisien Kemiringan Garis (b

₁

): t Test

H₀: β₁ = 0 H₁: β₁  0

Nilai peluang P =

0.01039

Cukup bukti untuk mengatakan bahwa luas lantai

mempengaruhi harga rumah Excel output:

Tolak H₀

Coefficients Standard Error t Stat P-value

Intercept 98.24833 58.03348 1.69296 0.12892

Luas Lantai 0.10977 0.03297 3.32938 0.01039

Keputusan:

P-value < α jadi

Kesimpulan:

(lanjutan)

Ini adalah uji dua arah, jadi p-valuenya adalah

P(t > 3.329)+P(t < -3.329) = 0.01039

Ragam Intersep Garis Regresi (b

₀

)



Ragam dari intersep garis regresi (b

₀

) diduga

sbb :









₂ i 2 i 2 e 2

)

x

(x

x

s

s

₀

n

b Keterangan:

= dugaan simpangan baku intersep garis regresi

= akar KTG = akar Kuadrat Tengah Galat = dugaan simpangan baku sisaan

0 b

s

2 n SSE s_e  

Inferensia Intersep Garis Regresi (b

₀

):

t Test

Pada model regresi linier sederhana :

Uji t untuk intersep garis regresi populasi (β₀)

 Apakah ada nilai Y yang tidak dapat dijelaskan oleh x?

 Hipotesis Nol dan hipotesis tandingan

H₀: β₀ = 0 (semua nilai Y dapat dijelaskan oleh x)

H₁: β₀  0 (ada nilai Y yg tidak dapat dijelaskan oleh x)

 Statistik uji 0 b 0 0 s β b t  

1

d.b. 

dengan:

b₀ = intersep garis regresi

β₀ = intersep yg dihipotesiskan s_b0 = dugaan simp. baku intersep

Harga Rumah (Rp. Juta) (y) Luas Lantai (m2) (x) 245 1400 312 1600 279 1700 308 1875 199 1100 219 1550 405 2350 324 2450 319 1425 255 1700 lantai) (luas 0.1098 98.25 rumah harga  

Dugaan persamaan garis regresi:

Intersep garis pada model ini adalah 98.25 Apakah ada harga rumah yang tidak dapat dijelaskan oleh luas lantai?

Apakah ada harga rumah yang tidak dipengaruhi oleh luas lantai?

Contoh Inferensia

Intersep Garis Regresi (b

₀

): t Test

Contoh Inferensia

Intersep Garis Regresi (b

₀

): uji-t

H₀: β₀ = 0

H₁: β₀  0 Excel output: Coefficients Standard Error t Stat P-value

Intercept 98.24833 58.03348 1.69296 0.12892 Luas Lantai 0.10977 0.03297 3.32938 0.01039 0 b

s

t b₀

1.69296

58.03348

0

98.24833

s

β

b

t

0 b 0 0











Contoh Inferensia

Intersep Garis Regresi (b

₀

): uji-t

H₀: β₀ = 0 H₁: β₀  0

Statistik uji: t = 1.69296

Tidak cukup bukti untuk

mengatakan bahwa : ada harga rumah yang tidak dapat dijelaskan

Excel output:

Coefficients Standard Error t Stat P-value

Intercept 98.24833 58.03348 1.69296 0.12892 Luas lantai 0.10977 0.03297 3.32938 0.01039 0 b

s

_t b₀ Keputusan: Terima H₀ Kesimpulan : Tolak H0 Tolak H0 a/2=.025 -t_1,α/2Terima H0 0 a/2=.025 d.b. = 1 t1, .025 = 12,706 (lanjutan) t_1,α/2

Uji F bagi parameter regresi :

Tabel Sidik Ragam

Sumber

Keragaman Derajat Bebas (db) Jumlah Kuadrat (JK) Kuadrat Tengah (KT) Regresi (b₁| b₀) 1 Sisaan n-2 Total (terkoreksi) n-1

 



_n  i 1 yi y 2 ˆ







_n  i 1 yi yi 2 ˆ

 



_n  i 1 yi y 2 1 JK_Regresi



n 2



JK sisaan 

Statistik uji F tersebut memiliki derajat bebas db1=1 dan db2=n-2

Jika F_hit <1  KT_Regresi < KT_Sisaan Ragam Regresi < Ragam Sisaan  pengaruh regresi tdk nyata  pengaruh x tdk nyata  b1 = 0 (tdk perlu tabel) S2_{, jika} model-nya pas Statistik uji-nya : Sisaan gres Re hit KT_KT F _ i Sisaan Reg Ragam Ragam

Uji F bagi parameter regresi :

Tabel Sidik Ragam

This image cannot currently be displayed.

Jika model yang kita pilih di awal ternyata tidak pas

1. Bolehkah kita menggunakan KT sisaan sebagai penduga bagi ragam sisaan ?

2. Masih relevankah kita melakukan uji F ?

Agar uji F pada tabel Sidik Ragam dapat digunakan, maka model yang dipilih harus pas.  uji lack of fit atau periksa pola sisaannya  akan dibahas pada sub pokok bahasan “ Kualitas Fitted Model “ Untuk sementara anggaplah model yang kita pilih pas.

Excel Output Regression Statistics Multiple R 0.76211 R Square 0.58082 Adjusted R Square 0.52842 Standard Error 41.33032 Observations 10 ANOVA df SS MS F Significance F Regression 1 18934.9348 18934.9348 11.0848 0.01039 Residual 8 13665.5652 1708.1957 Total 9 32600.5000

Coefficients Standard Error t Stat P-value Lower 95% Upper 95%

Intercept 98.24833 58.03348 1.69296 0.12892 -35.57720 232.07386 Luas Lantai 0.10977 0.03297 3.32938 0.01039 0.03374 0.18580 11.0848 1708.1957 18934.9348 KTGKTR F    Db 1,8 _P-value untuk uji-F

H₀: β₁ = 0 H₁: β₁ ≠ 0 a = .05 df₁= 1 df₂ = 8

Statistik Uji:

Keputusan:

Kesimpulan:

Tolak H

₀

dg a = 0.05

Cukup bukti bahwa luas lantai mempengaruhi harga rumah 0 a = .05 Tolak H0 terima

11.08

F





KTG

KTR

Nilai kritis: F_a = 5.32

Contoh Uji F : data harga rumah

(lanjutan)

Perbandingan Tabel Sidik Ragam

Terkoreksi dan Tidak Terkoreksi

Sumber

Keragaman Bebas (db)Derajat Kuadrat (JK)Jumlah Tengah (KT)Kuadrat Regresi (b₁| b₀) 1 Sisaan n - 2 Total (terkoreksi) n - 1

 



_n  i 1 yi y 2 ˆ   _n  i 1 yi yi 2 ˆ

 



_n  i 1 yi y 2 1 JK_Regresi n 2 JK sisaan  Regresi 2 Sisaan n - 2 Total n 0 : H 0 : H 1 1 1 0    0,1 j ,0 ada min : H 0 : H 1 1 0 0     j   

Tidak bisa mem-berikan jawaban apkh x berpe-ngaruh/tidak



2 i y   i i 0 i 1 xy b y b   _n  i 1 yi yi 2 ˆ

s

2 Sudah diku-rangi dg fak-tor koreksi ny