LOGO ANALISIS REGRESI LINIER

(1)

LOGO

ANALISIS REGRESI LINIER

BERGANDA

Hazmira

Hazmira YozzaYozza Jur

(2)

KOMPETENSI

mengidentifikasikan model regresi linier berganda (dalam notasi aljabar biasa maupun notasi matriks) dan asumsinya

1

mendapatkan model regresi linier berganda dengan menggunakan metode kuadrat terkecil

2

menjelaskan sifat-sifat penduga kuadrat terkecil

3

membentuk tabel analisis ragam, menghitung nilai R² dan dugaan σ² dari suatu model regresi linier berganda

4

melakukan pengujian hipotesis mengenai satu para meter regresi, semua parameter regresi dan beberapa parameter regresi pada analisis regresi linier berganda

5

(3)

DATA

Y

X

₁

X

₂

…

X

_k

y

₁

x

₁₁

x

₂₁

…

x

_k1

y

₂

x

₁₂

x

₂₂

…

x

_k2

D A T A

y

₃

x

₁₃

x

₂₃

…

x

_k3

:

y

_n

x

_1n

x

_2n

…

x

_kn Hazmira

(4)

MODEL LINIER

y

i

=

β

+

β

x

i

+

...

+

β

k

x

ki

+

ε

i

1

0 ASUMSI

_{1. X1, , Xp bukanlan peubah}

acak

2. .

ε

i

~

N

(

0 ,

σ

2 )

INTERPRETASI β

Besarnya perubahan respons yang diharapkan bila

peubah X

_i

berubah sebesar 1 unit dengan asumsi

peubah-peubah lain konstan

.

(5)

MODEL LINIER

y

i

=

β

+

β

x

i

+

...

+

β

p

x

pi

+

ε

i

1

0 :

n kn k n k k k k

x

y

n

i

x

y

i

x

y

i

ε

β

ε

β

ε

β

+

=

+

=

+

=

...

:

...

2 ...

1

1 1 0 2 2 2 12 1 0 2 1 1 11 1 0 1













+

























=













n p pn n p p n

x

y

ε

β

:

...

1 :

...

:

...

1 ...

1 :

2 1 1 0 1 2 12 1 11 2 1

ε

+

=

Y

X

β

Hazmira

(6)

MODEL LINIER

ε

+

β

= X

Y

V.respon

V.Galat

Matriks

Rancangan

V.Koefisien

ASUMSI

ε ~ MVN (0,Iσ

2

₎

(7)

Metode Kuadrat Terkecil

Model Dugaan

Y

₌

Xb

₊

e

Xb

Y

e

₌

₋

(

) (

)

Xb

X

b

Xb

Y

Xb

X

b

Y

X

b

Xb

Y

Xb

Y

Xb

Y

e

JKS

t t t t t t t t t t t t

+

−

=

+

−

=

−

=

2 Dengan MKT, b diperoleh dengan meminimumkan JKS

( )

)

(

)

(

0

2

2 )

(

2

0

1

_X

_Y

X

b

Y

X

Xb

X

Xb

X

Y

X

Xb

X

Y

db

e

d

t t t t t t t t t t −

=

+

−

=

+

−

=

Dengan MKT, b diperoleh dengan meminimumkan JKS

Persamaan Normal

dalam Analisis Regresi

Linier Berganda

Hazmira

(8)

)

'

(

)

'

(

X

1

X

Y

b

−

=









=

























=

∑

2 1 2 1 2 1 2 1 1 2 12 1 11 2 1 1 12 11

1

1 '

pi i i i i pi i i pn n p p pn p p n

x

n

x

X

L

M

O

M

L

M

O

M

L

Penduga

Penduga MKT

MKT









=

∑

2 2 2 2 pi pi i i

x

M

O

L













=

























=

∑

i pi i i i n pn p p n

y

x

y

x

y

x

Y

X

:

1

1 '

2 1 1 2 1 1 12 11

M

L

M

O

M

L

simetris

(9)

Penyekatan Keragaman

JKT = JKR + JKS

(

)

(

)

(

)

∑

y

i

−

y

2

=

∑

y

ˆ

i

−

y

2

+

∑

y

i

−

y

ˆ

i 2

(

Y

_'

Y

₋

n

Y

2

) (

₌

b

_'

X

_'

Y

₋

n

Y

2

)

₊

(

Y

_'

Y

₋

b

_'

X

_'

Y

)

KOEFISIEN DETERMINASI

(

)

(

'

)

100 %

'

%

100

2 2 2

Y

n

Y

n

Y

X

b

JKT

JKR

R

−

=

Hazmira

(10)

ASUMSI ε ~ MVM (0,Iσ

2

₎

Diduga dari :

(

) (

)

1

1 ˆ

2 2

−

=

−

=

p

n

Xb

Y

Xb

Y

p

n

JKS

s

t

σ

(11)

Pengujian Hipotesis Keberartian Model Regresi

Hipotesis

H

0

: β1=β2=…= βp=0

(Semua Peubah tidak berpengaruh terhadap Y)

H

1

: Ada β

i

≠ 0

(Ada peubah yang berpengaruh terhadap Y)

Sumber

Der. bebas

(db)

Jumlah Kuadrat

(JK)

Kuadrat Tengah

(KT)

F

_hitung

Regresi

dbr = p

JKR=

KTR = JKR/dbr

KTR / KTS

Sisaan

dbs = n-p-1

JKS =

KTS = JKS/dbs

Total

dbt = n-1

JKT =

(

2

)

'

X

Y

n

Y

b

−

(

Y

_{' −}

Y

b

_'

X

_'

Y

)

(

2

)

'

Y

n

Y

₋

F

_hitung

> F

_,p,n-p-1

_{→ Tolak H0 →}

Ada peubah yang berpengaruh terhadap Y

Hazmira

(12)

Fhitung > F,p,n-p-1

Ada βi≠0

Tolak

H0 :

β1=β2=…= βp=0

βi yang mana???

Lakukan pengujian

masing-masing peubah (masing-masing-masing-masing

parameter regresi)

(13)

Sifat-sifat penduga Kuadrat Terkecil

ASUMSI

_{ε ~ MVM (0,Iσ}

2

)

2

)

(

0 )

(

σ

ε

I

Var

E

=

β

ε

β

ε

β

_E

_X

_E

_X

X

E

Y

E

(

)

=

(

+

)

=

(

)

+

(

)

=

ε

β +

= X

Y

2

)

(

)

(

)

(

Y

Var

X

β

ε

Var

ε

I

σ

Var

₌

₊

₌

(14)

β

β =

=

E

X

−

X

Y

X

−

X

E

Y

X

−

X

b

E

₍

₎

₍₍

t

₎

1

₍

t

₎₎

₍

t

₎

1 t

₍

₎

₍

t

₎

1 t

)

(

)

(

X

1

X

Y

b

t − t

=

β

X

Y

E

(

)

=

ε

β +

= X

Y

2

)

(

Y

I

σ

Var

₌

β

β =

=

E

X

−

X

Y

X

−

X

E

Y

X

−

X

b

E

₍

₎

₍₍

t

₎

1

₍

t

₎₎

₍

t

₎

1 t

₍

₎

₍

t

₎

1 t 2 1 2 1 1 1 2 1 1 1 1

)

(

)

(

)

(

)

(

)

(

)

)(

(

)

(

))

(

)

((

)

(

σ

− − − − − − − −

=

X

I

X

Y

Var

X

Y

X

Var

b

Var

t t t t t t t t t t t t t t

(15)

β

=

((

)

−

(

))

)

(

b

E

X

1

X

Y

E

t t

)

(

)

(

X

1

X

Y

b

t − t

=

2

1 ₎

)

(

)

(

b

₌

X

−

σ

Var

t









c

₀₀

c

₀₁

c

₀₂

_...

c

₀_k













=

− kk k k k k k k t

c

X

...

:

...

)

(

2 1 0 2 22 21 20 1 12 11 10 0 02 01 00 1

O

maka

₍

₎

₌

_σ

2

₍

₎

₌

_σ

2 ii i i

b

c

b

Var

2

2 ₍

_b

₎

_c

_s

s

ii

i

=

Jika

(16)

Pengujian Hipotesis Satu Parameter Regresi

Hipotesis

H

0

: β

i

= 0

(Peubah ke i tidak berpengaruh terhadap Y)

H

1

: β

i

≠ 0

(Peubah ke i berpengaruh terhadap Y)

Statistik Uji

Bila dinyatakan :

_









p p

c

L

1 12 11 10 0 02 01 00

Bila dinyatakan :

dan

Maka statistik uji adalah :

ii i i i hit

c

s

b

r

a

V

b

t

₌

)

(

ˆ

1 2

₍

_'

₎

)

(

−

=

X

b

Var

σ









=

− pp p p p p p

c

X

L

M

O

M

L

2 1 0 2 22 21 20 1 12 11 10 1

)

'

(

)

1 (

'

2

−

=

p

n

Y

X

b

Y

dbs

JKS

KTS

s

(17)

Pengujian Beberapa Parameter Regresi

Misal ingin diuji, apakah secara bersama-sama

menambahkan peubah X3 dan X4 berpengaruh dalam

menerangkan keragaman Y

Analog dengan menguji hipotesis

H

0

: β

3

= β

4

= 0

(X3 dan X4 berpengaruh terhadap Y)

H

1

: Ada β

i

≠ 0

(Paling tidak salah satu dari X3 dan X4

(i=3,4)

berpengaruh terhadap Y)

JUMLAH KUADRAT REGRESI SEKUENSIAL

Hazmira

(18)

Penyekatan Keragaman

JUMLAH KUADRAT

TOTAL (JKT)

(

2

)

'

Y

n

Y

₋

(

Y

_{' −}

Y

b

_'

X

_'

Y

)

JUMLAH KUADRAT

SISAAN (JKS)

JUMLAH KUADRAT

REGRESI (JKR)

(

2

)

'

X

Y

n

Y

b

−

JKR akan selalu bertambah jika

suatu peubah ditambahkan

lagi

ke

dalam sebuah model, paling tidak,

tidak berkurang

(19)

Penyekatan Keragaman

X1 masuk model

X2 ditambahkan.

Dalam model

terdapat X1 dan

X2

JKR

JKR(X1)

JKR(X1,X2)

≤

JKR(X1,X2)

JKR(X1,X2)--JKR(X1)

JKR(X1)

JKR(X2|X1)=

JKR(X1,X2)

JKR(X1,X2)--JKR(X1)

JKR(X1)

JK SEKUENSIAL

X2

X3 ditambahkan.

Dalam model

terdapat X1, X2

dan X3

JKR(X1,X2,X3)

≤

JKR(X3|X1,X2)=

JKR(X1,X2,X3)

JKR(X1,X2,X3)--JKR(X1,X2)

JKR(X1,X2,X3)

JKR(X1,X2,X3)--JKR(X1,X2)

JKR(X1,X2)

JUMLAH KUADRAT TAMBAHAN AKIBAT MASUKNYA X2 JUMLAH KUADRAT TAMBAHAN AKIBAT MASUKNYA X2 KE DALAM MODEL YANG TELAH MENGANDUNG X1 KE DALAM MODEL YANG TELAH MENGANDUNG X1

JUMLAH KUADRAT TAMBAHAN AKIBAT MASUKNYA X3 KE JUMLAH KUADRAT TAMBAHAN AKIBAT MASUKNYA X3 KE DALAM MODEL YANG TELAH MENGANDUNG X1&X2

DALAM MODEL YANG TELAH MENGANDUNG X1&X2

Hazmira

(20)

Penyekatan Keragaman

X1 masuk model

X2 ditambahkan.

Dalam model

terdapat X1 dan

X2

JKR

JKR(X1)

JKR(X1,X2)

JKR(X1,X2,X3)

JKR(X1,X2,X3)--JKR(X1)

JKR(X1)

JKR(X2,X3|X1)=

JKR(X1,X2,X3)

JKR(X1,X2,X3)--JKR(X1)

JKR(X1)

X2

X3 ditambahkan.

Dalam model

terdapat X1, X2

dan X3

JKR(X1,X2,X3)

JUMLAH KUADRAT TAMBAHAN AKIBAT MASUKNYA X2 JUMLAH KUADRAT TAMBAHAN AKIBAT MASUKNYA X2 DAN X3 KE DALAM MODEL YANG TELAH

DAN X3 KE DALAM MODEL YANG TELAH MENGANDUNG X1

(21)

Contoh

Peubah dlm model JKR X1 79.35 X2 22.31 X3 632.73 X4 102.33 X1,X2 128.73 X1,X3 650.51 X1,X4 211.31

JKR(X3|X1)

JKR(X3|X1) = JKR(X1,X3)

= JKR(X1,X3)--JKR(X1)

JKR(X1)

= 650.51

= 650.51--79.35=571.16

79.35=571.16

JKR(X4|X1,X2)

JKR(X4|X1,X2) = JKR(X1,X2,X4)

= JKR(X1,X2,X4)--JKR(X1,X2)

JKR(X1,X2)

= 262.39

= 262.39--128.73=133.66

128.73=133.66

X1,X4 211.31 X2,X3 634.43 X2,X4 122.77 X3,X4 632.73 X1,X2,X3 656.57 X1,X2,X4 262.39 X1,X3,X4 652.31 X2,X3,X4 634.43 X1,X2,X3,X4 658.37

JK TAMBAHAN AKIBAT MASUKNYA X3 KE JK TAMBAHAN AKIBAT MASUKNYA X3 KE DALAM MODEL YANG TELAH

DALAM MODEL YANG TELAH MENGANDUNG X1

MENGANDUNG X1

JK TAMBAHAN AKIBAT MASUKNYA X4 KE JK TAMBAHAN AKIBAT MASUKNYA X4 KE DALAM MODEL YANG TELAH

DALAM MODEL YANG TELAH MENGANDUNG X1 DAN X2 MENGANDUNG X1 DAN X2

Hazmira

(22)

Pengujian Beberapa Parameter Regresi

Misal ingin diuji, apakah secara bersama-sama menambahkan

peubah X3 dan X4 berpengaruh dalam menerangkan

keragaman Y

Hipotesis

H

0

: β

3

= β

4

= 0

(X3 dan X4 berpengaruh terhadap Y)

H

1

: Ada β

i

≠ 0

(Paling tidak salah satu dari X3 dan X4

H

1

: Ada β

i

≠ 0

(Paling tidak salah satu dari X3 dan X4

(i=3,4)

berpengaruh terhadap Y)

Statistik Uji

(

)

KTS

db

X

JKR

X

JKR

KTS

db

X

JKR

F

₌

(

3 ,

4 |

1 ,

2 )

/

₌

(

1 ,

2 ,

3 ,

4 )

−

(

1 ,

2 )

/

db : derajat bebas dari JKR sekuensial db : derajat bebas dari JKR sekuensial

KTS : KTS dari model yang mengandung peubah X1,X2,X3,X4 (model penuh) KTS : KTS dari model yang mengandung peubah X1,X2,X3,X4 (model penuh)

(23)

Pengujian Beberapa Parameter Regresi

Statistik Uji

(

)

KTS

db

X

JKR

X

JKR

F

₌

(

1 ,

2 ,

3 ,

4 )

−

(

1 ,

2 )

/

(

)

₃₅

_.

₆₇

423 .

7

2 /

73 .

128

37 .

658 =

−

=

Peubah JKR X1 79.35 X2 22.31 X3 632.73 X4 102.33 X1,X2 128.73 X1,X3 650.51 www.themegallery.com

www.themegallery.com Company LogoCompany Logo

423 .

7

X1,X4 211.31 X2,X3 634.43 X2,X4 122.77 X3,X4 632.73 X1,X2,X3 656.57 X1,X2,X4 262.39 X1,X3,X4 652.31 X2,X3,X4 634.43 X1,X2,X3,X4 658.37

db = 2

JKT = 851.38 n = 31 JKT = 851.38 n = 31

JKS = JKT

JKS = JKT –

– JKR = 851.38

JKR = 851.38 –

– 658.37 = 193.01

658.37 = 193.01

KTS = JKS/(n

KTS = JKS/(n--p

p--1) = 193.01/(31

1) = 193.01/(31--4

4--1)

1)

= 193.01/26 = 7.423

(24)

Pengujian Beberapa Parameter Regresi

Statistik Uji

(

)

67 .

35 /

)

2 ,

1 (

)

4 ,

3 ,

2 ,

1 (

=

−

=

KTS

db

X

JKR

X

JKR

F

Titik Kritis :

F

_,db,dbs

F

_{0.05, 2, 26}

= 3.37

F

_hit

=35.67 > 3.37

_{→tolak Ho}

→ paling tidak salah satu dari X3 atau

X4 berpengaruh terhadap Y

(25)

ANREG BIASA

ANREG BIASA →

→ PEUBAH BEBAS DAN TAK

PEUBAH BEBAS DAN TAK

BEBAS : PEUBAH

SELANG

ATAU

RASIO

+ + ββ22 Y Y = = ββ0 + 0 + ββ11 X1X1 X2X2 + …+ + …+ ββkk XkXk

??

PEUBAH BEBAS

atau

TAK BEBAS

bukan

PEUBAH SELANG ATAU

RASIO

tapi

PEUBAH KATEGORIK

??

PEUBAH TAK BEBAS KATEGORIK KATEGORIK

:

ANALISIS REGRESI LOGISTIK

Hazmira

(26)

PEUBAH BEBAS KATEGORIK

Y :

Y : denyut

denyut nadi

nadi setelah

setelah lari

lari

X1 : lama

X1 : lama lari

lari, X2 :

, X2 : usia

usia

..

X3 :

X3 : jenis

jenis kelamin

kelamin

ANALISIS REGRESI

ANALISIS REGRESI dengan

dengan PEUBAH

PEUBAH KATEGORIK

KATEGORIK

ANALISIS REGRESI dengan PEUBAH KATEGORIK

• •Sama dengan analisis regresi biasa

Sama dengan analisis regresi biasa

• •Peubah Kategori ditransformasi menjadi Peubah

Peubah Kategori ditransformasi menjadi Peubah

Boneka (Dummy Variable)

(27)

Satu peubah Kategorik dengan Dua Kategori

(tanpa interaksi)

• • Misal

Misal ingin

ingin dimodelkan

dimodelkan hubungan

hubungan antara

antara Y

Y dengan

dengan X1

X1 dan

dan X2;

X2;

X2

X2 merupakan

merupakan peubah

peubah kategorik

kategorik dengan

dengan dua

dua kategori

kategori ((seperti

seperti

Jenis

Jenis Kelamin

Kelamin : L/P)

: L/P)

• • Pada

Pada prinsipnya

prinsipnya,

, analisis

analisis yang

yang dilakukan

dilakukan sama

sama dengan

dengan analisis

analisis

regresi

regresi biasa

biasa

• • Peubah

Peubah yang

yang bukan

bukan selang

selang atau

atau rasio

rasio ditransformasi

ditransformasi menjadi

menjadi

• • Peubah

Peubah yang

yang bukan

bukan selang

selang atau

atau rasio

rasio ditransformasi

ditransformasi menjadi

menjadi

peubah

peubah boneka

boneka (dummy variables)

(dummy variables)

z = 0

z = 0 untuk

untuk kategori

kategori 1

1 z = 1

z = 1 untuk

untuk kategori

kategori 2

2

• • Selanjutnya

Selanjutnya lakukan

lakukan analisis

analisis regresi

regresi linier

linier biasa

biasa

• • Model

Model

i i i i

x

z

y

=

β

0

+

β

1

+

β

2

+

ε

Hazmira

(28)

Satu peubah Kategorik dengan Dua Kategori









=

1

0 :

:

0

1

0

1

0

1

1 13 12 11 1 n

x

X

pertama

Kategori





















=

+

1

1 :

:

1 :

:

1

1 ) 1 ( 1 1 1 1 n n n

x

X

kedua

Kategori













(29)

Y

X1

X2

Z

1

2 A

3 -1

A

2

2 B









−

1

2

1

0

1

0

2

1 DATA

DATA

MATRIKS

_RANCANGAN

0

1

2

2 B

-1

-3

A

0

0 B

2

2 B

1

3 B









−

=

1

3

1

2

1

0

1

0

3

1

2

1 X

0

1

Hazmira

(30)

Satu peubah Kategorik dengan Dua Kategori









=

_∑

∑

=

2

1

1 '

_x

n

x

n

X

n

i









=

∑

+

=

+

=

2

1

2

1

2

1

1 '

1 1

n

x

n

x

X

n

i

n

i

(31)

Satu peubah Kategorik dengan Dua Kategori









=

_∑

∑

=

n

i

y

x

y

Y

X

1 '









=

∑

+

=

n

i

y

x

Y

X

1

1 '

1 Hazmira

(32)

Interpretasi

i i i

x

z

y

ˆ

=

β

0

+

β

1

+

β

2 i i i

x

y

1 2 0 2 1 0

)

(

ˆ

β

+

=

+

=

i i

x

y

ˆ

=

β +

0

β

1 Kategori 2 (z = 1) Kategori 2 (z = 1) Kategori Kategori 1 (z = 0)1 (z = 0) Z = 0 Z = 0 i i

x

y

ˆ

=

β +

0

β

1 Z = 1 Z = 1 i i

x

y

ˆ

=

(

β

0

+

β

2

)

+

β

1 2 0

β

β +



_



β

2 0

β

β +

0

β

Jadi

Jadi β

β2

2 adalah

adalah perbedaan

perbedaan respons

respons Y

Y dari

dari dua

dua pengamatan

pengamatan yang

yang

berbeda

berbeda kategori

kategori namun

namun memiliki

memiliki nilai

nilai X1 yang

X1 yang sama

sama











2

β

x0 x0









2

β

(33)

Satu peubah Kategorik dengan Lebih dari dua Kategori

• • Y = f(X1,X2) ; X2

Y = f(X1,X2) ; X2 peubah

peubah kategorik

kategorik dengan

dengan > 2

> 2 kategori

kategori

((Contoh

Contoh tingkat

tingkat pendidikan

pendidikan : TS, SD, SMP, SMA, PT)

: TS, SD, SMP, SMA, PT)

• • Analisis

Analisis sama

sama dengan

dengan analisis

analisis regresi

regresi biasa

biasa

• • X2

X2 dengan

dengan m

m kategori

kategori)

) ditransformasi

ditransformasi menjadi

menjadi (m

(m--1)

1) peubah

peubah

boneka

boneka, Z1, Z2, …, Zm

, Z1, Z2, …, Zm--1

1 Kategori

Z1

Z2

Z3

A

0

0 B

1

0

0 C

0

1

0 D

0

1 Kategori

Z1

Z2

Z3

A

0

1

0 B

0

0 C

1

0

0 D

0

1 Selanjutnya analisis seperti biasa

Selanjutnya analisis seperti biasa

Model :

(34)

Kat Z1 Z2 Z3 Y = β0 + β1 X1 + β2 Z1 + β3 Z2 + β4 Z3 A 0 0 0 Y = β0 + β1 X1 B 1 0 0 Y = β0 + β1 X1 + β2 = (β0 + β2) + β1 X1 C 0 1 0 Y = β0 + β1 X1 + β3 = (β0 + β3) + β1 X1 D 0 0 1 Y = β0 + β1 X1 + β4 = (β0 + β4) + β1 X1

LOGO ANALISIS REGRESI LINIER

LOGO

ANALISIS REGRESI LINIER

BERGANDA

BERGANDA

KOMPETENSI

1

2

3

4

5

DATA

Y

X

X

…

X

y

x

x

…

x

y

x

x

…

x

D A T A

D A T A

y

x

x

…

x

:

:

:

:

:

y

x

x

…

x

MODEL LINIER

y

i

=

β

+

β

x

i

+

...

+

β

k

x

ki

+

ε

i

1

1

0

ASUMSI

1. X1, , Xp bukanlan peubah

acak

acak

2.

.

ε

i

~

N

(

0

,

σ

_{1. X1, , Xp bukanlan peubah}