STATISTICAL STUDENT OF IST AKPRIND

(1)

SSI

STATISTICAL STUDENT OF IST AKPRIND

Sekretariat : Jln. Bimasakti No:3 Pengok Yogyakarta 55222 Tlp. (0274) 544504 E-mail : [email protected] Blog : http://ssista.wordpress.com/

1

Analisis Regresi

I. Analisa Regresi Linier Sederhana

Dalam beberapa masalah terdapat dua atau lebih variabel yang hubungannya tidak dapat dipisahkan, dan hal ini diselidiki sifat hubungannya. Jika salah satu variabel (tunggal) dikatakan variabel tak bebas(terikat), maka variabel lainnya bersifat bebas (independent). Analisa regresi adalah sebuah teknik statistik untuk membuat model dan menyelidiki hubungan antara dua atau lebih variabel yang dimaksud diatas. Model ini untuk memprediksi variabel tersebut.

Pada umumnya, variabel tak bebas (dependent) dinyatakan dengan Y sebagai variabel respon. Jika ada sebanyak k-variabel bebas (independent) misalnya X1, X2, …, Xk maka

k-variabel ini disebut k-variabel prediktor. Persamaan garis regresi yang dibentuk adalah:

1 1 2 2 k k

Y = + X +α β β X + ...+β X + ε , dikatakan sebagai persamaanregresi linier

ganda. Jika variabel prediktornya hanya satu persamaannya menjadi Y = + X + α β ε , disebut persamaan regresi linier sederhana.

Dalam regresi linier, untuk setiap pasangan observasi (x , y ); i_i _i =1, 2,..., n akan memenuhi persamaan yi= +a bxi+ei; dimana e adalah galat/eror atau kesalahan ukur. i Persamaan garis yang melalui titik–titik koordinat pada diagram pencar dinamakan penduga

garis linier atau regresi linier. Secara matematis dinyatakan dengan persamaan :

ˆy= +a bx , dimana: Lisensi Dokumen:

Seluruh dokumen di ssista.wordpress.com dapat digunakan dan disebarkan secara bebas untuk tujuan bukan komersial (nonprofit), dengan syarat tidak menghapus atau merubah atribut penulis dan pernyataan copyright yang disertakan dalam setiap dokumen. Tidak diperbolehkan melakukan penulisan ulang, kecuali mendapatkan ijin terlebih dahulu dari ssista.wordpress.com.

(2)

SSI

STATISTICAL STUDENT OF IST AKPRIND

2 i i i i 2 2 i i y x - x y a = n x - ( x ) ∑ ∑ ∑ ∑ ∑ ∑ dan i i i i 2 2 i i n x y - x y b= n x - ( x ) ∑ ∑ ∑ ∑ ∑

Dalam perkenbangannya, sejalan dengan kemajuan dibidang komputer statistik, analisis regresi telah menjadi sangat bervariasi:

• Regresi sederhana, untuk sebuah variabel dependent dan satu buah variabel

independent.

• Regresi berganda, untuk lebih dari satu variabel independent an satu variabel dependent.

• Regresi dengan Dummy variabel, yaitu jika data variabel independent ada yang bertipe nominal.

• Regresi ordinal, untuk data variabel dependent yang berjenis ordinal.

• Log regresion, untuk data variabel dependent yang berjenis nominal.

• Regresi polinomial, yaitu model regresi yang tidak berbebntuk linier.

II. Analisa Regresi Linier Berganda

Analisis regresi linier berganda adalah suatu metode statistik umum yang digunakan untuk meneliti hubungan antara sebuah variable dependen dengan beberapa variable independen. Tujuan analisis berganda adalah menggunakan nilai-nilai variable independen yang diketahui untuk meramalkan nilai variable dependen.

Bentuk regresi linier berganda diilustrsikan dalam bagan berikut :

Y1 X11 X22 ... ... ... ... X1k

Y2 X21 X22 ... ... ... ... X2k

. .. ... ...

(3)

SSI

STATISTICAL STUDENT OF IST AKPRIND

3 Jika suatu variable dependen bergantung pada lebih dari satu variable independen, maka hubungan antara keduanya adalah Regresi Berganda (multiple regression). Misalnya, tingkat penjumlahan produk sebagai fugsi dari promosi, pelayanan, dan harga produksi. Gaji sekarang merupakan fungsi dari gaji mula-mula, tingkat pendidikan, posisi pekerjaan, dan pengalaman kerja.

Bentuk matematis dari analisis linier berganda adalah : Y = β0 + β1 X1 + β2 X2 + …..+ βk Xk + ε

Dengan :

β 0,β1,β2 ……,βk adalah koefisien regresi

X1,X2……… Xk adalah variable independen

ε adalah suatu variable random yang berdistribusi normal dengan nilai rata-rata (rata-rata ε) dan merupakan Varians ε.

1. Pengujian Kelinieran Model

Pengujian ini digunakan untuk mengetahui apakah ada hubungan linier antara variabel dependen (Y) dengan variable independen X1,X2,X3……… Xk. hipotesis yang

digunakan adalah : H0 : b1 = b2 … = bk = 0

(model regresi berganda tidak signifikan, atau tidak ada hubungan antara kedua variabel).

H1 : bi ≠0

(model regresi berganda signifikan, atau ada hubungan linier antara kedua variabel) Hipotesis diatas dikaitkan dengan uji nyata regresi yang diperoleh, maka sttistik uji yang digunakan adalah :

Fhit

MSresidual MSregresi =

Pengambilan keputusan sebagai berikut : Bila : Fhit > Ftabel tolah H0

(4)

SSI

STATISTICAL STUDENT OF IST AKPRIND

Bila kita menggunakan software SPSS, maka pengambilan keputusan sebagai berikut : Nilai Sig. < α tolak H0

Nilai Sig. ≥ α terima H0

2. Hipotesis dan Pengujian Koefisien Regresi Parsial

Hipotesisnya sebagai berikut : H0 : b1 = b2 … = bk = 0

(model regresi berganda tidak signifikan, atau tidak ada hubungan antara kedua variabel).

a. H1 : bi ≠0

(ada hubungan linier antara variabel independen dan dependen) b. H1 : bi > 0

(ada hubungan linier antara variabel independen dan dependen secara positif) c. H1 : bi < 0

d. (ada hubungan linier antara variabel independen dan dependen secara negatif) Selain uji diatas, kita masih menguji nilai koefisien dari nilai b hasil prediksi nilai

β yang diperoleh dari sample. Dengan hipotesisnya adalah :

H0 : b = β (koefisien regresi tidak signifikan)

H0 : b ≠ β (koefisien regresi signifikan)

Pengambilan Keputusan pada pengujian hipotesis dilakukan sebagai berikut :

1. Kalau thit < -tα/2 atau thit > tα/2 kesimpulannya H0 ditola. Kalau -tα/2 ≤ thit ≤ tα /2 kesimpulan terima H0. Nilai tα/2 diperoleh dari tabel t dengan nilai α/2 pada

derajat bebas n – 2 dimana α/2 adalah taraf nyata.

2. Kalau thit > tα kesimpulannya H0 ditolak. Kalau thit ≤ tαkesimpulannya terima

H0.

3. Kalau thit < -tα kesimpulan H0 ditolak, sedangkan thit ≥ -tα kesimpulannya

terima H0.

(5)

SSI

STATISTICAL STUDENT OF IST AKPRIND

5 Dengan notsi mtriks analisis regresi berganda dapat ditulis sebagai :

Y = X B + ε Y =                 n Y Y Y 2 1 B =                 k o β β β . . 1 ε=                 k ε ε ε . . 2 1 X = 1 1 1 n X X X 1 12 11 n X X X 2 22 21 kn k k X X X 2 1 Asumsi

1. E (Si) = 0 nilai harapan untuk seti variabel pengganggu = 0

            ) ( ) ( ) ( 2 1 i E E E ε ε ε =             0 0 0 = 0 2. E(εi. εj) = 0, i≠j E (εi2) = ∂2

3. Matrik X merupakan rank k<n, jumlah observasi n harus banyak dari jumlah variabel atau lebih banyak dari koefisien regresi linier yang akan diestimsi.

4. Pendugaan Koefisien Regresi (Metode Blue)

b =             n b b b 2 1 Y = xb + e = e = Y – xb             n e e e 2 1 =             n y y y 2 1 - 1 1 1 n x x x 1 12 11 n x x x 2 22 21 n x x x 3 32 31 kn k k x x x 2 1             k b b b 1 0 e y x b ei = yi – b0 – b1x11 – b2x22...bk.xki

(6)

SSI

STATISTICAL STUDENT OF IST AKPRIND

Σei = Σ(yi – b0 – b1x1i – b2x2i…….bkxki)2 0 2 b ei ∂ Σ ∂ = 2.Σ (yi – b0 – b1x1i – b2x2i…….bkxki) (-1) 1 2 b ei ∂ Σ ∂ = 2.Σ (yi – b0 – b1x1i – b2x2i…….bkxki) (-x1i) bk b ei ∂ Σ ∂ 2 = 2.Σ (yi – b0 – b1x1i – b2x2i…….bkxki) (-xki) Disederhnakan n b0 + b1Σx1i + b2Σx2i + ………. + bkΣki = Σyi b0 Σx1i + b1Σx1i + b2Σx1i x2i + …….. + bkΣx1ixk = Σx1iyi b0Σxki + b1x1i xki + b2 Σx2ixki + ……. + bkΣx2ki = Σxkiyi b = (x’x)-1x’y nb0 + b1Σx1 + b2Σx2 = Σyi b0Σx1 + b1Σx12 + b2Σx1x2 = Σx1y b0Σx2 + b1Σx1x2 + b2Σx22 = Σx2y b0 = y - b1x₁- b2x₂ var (b) = ∂2(x’x)-1 var (b) = s2b = s2e (x’x)-1 1 2 2 − − Σ = k n ei Se contoh :

x1 = index pendapatan nasional

x2 = index harga impor suatu komoditi

y = idex impor suatu komoditi

X1 100 104 106 111 111 115 120 124 126

X2 100 99 110 126 113 103 102 103 98

Y 100 106 107 120 110 116 123 133 137

n = jumlah observasi k = dalam variabel bebas

(7)

SSI

STATISTICAL STUDENT OF IST AKPRIND

7 Σ x1 : 1017 Σ x2 : 954 Σ y : 1052 Σ x12 : 115571 Σ x22 : 124288 Σx1y : 119750 Σx2y : 111433 Σx1x2: 107690

Pertanyaan : carilah persamaan regresi linier berganda yˆ = b0 + b1 x1 + b2 x2 + e

Penyelesaian : Dengan b0 = -49.341, b1 = 1, 364, b2 = 0, 114 Maka : yˆ = -49.341 + 1, 364 x1 + 0, 114 x2 (24,061) (0,143) (0,143) Sb0 Sb1 Sb2 Hipotesis : H0 : β1 = 0 H1 : β1 ≠ 0 thit = 143 , 0 364 , 1 = 9,5385 α= 5% t 0,025 (9-2-1) = 2,447 (tabel t)

thit > ttabel maka kesimpulannya H0 ditolak. Berarti ada hubungan antara index

pendapatan suatu negara dengan index harga impor.

5. Koefisien determinasi Berganda

R2y. x1x2 =1 – y S n JKgalat 2 ) 1 ( − JK galat =

∑

= − n i i i y y 1 2 ) ˆ (

(8)

SSI

STATISTICAL STUDENT OF IST AKPRIND

JK galat =

∑

= = = = − − − n i n i n i n i i o yi b x yi b x yi b yi 1 1 1 1 2 2 11 1 2 Contoh :

Nilai mahasiswa dipengaruhi oleh frekuensi membolos dan nilai ujian.

Σx1 : 725 Σx2y : 3581 Σx12 : 44475 Σx1x2 : 2540 Σx1y : 61685 Σy : 1011 Σx2 : 43 Σy2 : 85905 x22 : 195 n : 12 carilah R2 determinasinya. penyelesaian : 1 ) ( 2 2 2 − Σ − Σ = n n y y y s i i = 11 12 ) 1011 ( 85905 2 − s2y = 66,2045 JK galat =

∑

= = = = − − − n i n i n i n i i o yi b x yi b x yi b yi 1 1 1 1 2 2 11 1 2 = 85905 – 27.547.1011 – 0,922.61685 – 0,284.3581 = 164.409 R2y. x1x2 =1 – y S n JKgalat 2 ) 1 ( − = 045 , 66 ) 11 ( 409 . 164 1− = 0,7742

artinya 77,42 % total keragaman y dapat dijelaskan oleh model

yˆ = 27.547 + 0,922 x1 + 0,284x2

6. Koefisien Korelasi Parsial

(9)

SSI

STATISTICAL STUDENT OF IST AKPRIND

9 ) 1 )( 1 ( . . 1 2 2 2 1 2 2 1 2 x x r yx r x ry ryx ryx x ryx i i − − − = contoh :

diketahui : misalnya y : berat bayi x1: pajang bayi

x2 : ukuran dada bayi

ryx1y : 0,2627 rx1x2 : 0,1549 rx2y : 0,7845 r2yx1 : 0,0690 r2yx2 : 0,0240 ) 1 )( 1 ( . . 1 2 2 2 1 2 2 1 2 x x r yx r x ry ryx ryx x ryx i i − − − = = ) 0240 , 0 1 )( 0690 , 0 1 ( 1540 , 0 . 2627 , 0 . 7845 , 0 − − = 9532 , 0 7438 , 0 = 0,7803 contoh :

Misalnya ada contoh acak dan pengamatan dengan k buah nilai yang berbeda, yaitu x1,x2,...xk

Misalkan ada n1 pengamatan untuk x = x1

n2 pengamatan untuk x = x2

nk pengamatan untuk x = xk

k buah nilai yang berbentuk yaitu x1,x2,...xk

∑

= = k i i n n 1 yij : nilai k-j bagi peubah acak yi

(10)

SSI

STATISTICAL STUDENT OF IST AKPRIND

~ ) ( ) 2 ( 2 2 k n k F i i hit − − = λ λ Ftabel (k-2),(n-k) dimana b n s x n y n y ij j i 2 2 2 2 2 ) 1 ( ) ( − − Σ − Σ = λ j i ij n y y 2 2 2 =Σ −Σ λ

H0 : garis regresi linier

Hi : garis regresi tidak linier

Contoh :

Hubungan antara skor test (x) dengan nilai (y)

X : 50 55 65 55 70 65 70 55 70 50 55 Y : 74 76 90 85 87 94 98 91 91 76 74 x1 : 50 n1 : 2 y1 : 150 x2 : 55 n2 : 4 y2 : 316 x3 : 65 n3 : 3 y3 : 269 x4 : 70 n4 : 3 y4 : 276 ) 174 , 61 )( 11 ( ) 897 , 0 ( 12 1011 3 276 3 269 4 316 2 150 2 2 2 2 2 2 2 − −       + + + = λ = 8,1506 j i ij y n y 2 2 2 2 =Σ −Σ λ = 852+....+742 –

(

1502 2+3162 4+2692 3+2762 3

)

= 178,6667 1825 , 0 ) 4 12 ( 6667 , 178 ) 2 4 ( 1506 , 8 ₌ − − = hit F Ftabel = F0,05 (2,8) Kesimpulannya :

Karena Fhit< Ftabel maka H0 diterima, artinya garis regresinya linier

7. Pemeriksan sisaan

(11)

SSI

STATISTICAL STUDENT OF IST AKPRIND

11 Untuk memeriksa apakah asumsi regresi itu dipenuhi dan apakah ada data yang tidak mengikuti pola umum.

Plot.

1. Plot sisaan menurut besarnya

• xxx x X x x xxx • Xx X x X x X x X x X x • x xxxxx x sisaan • x xx xxx xxx

2. Plot sisaan menurut pengambilan “waktu”

3. Plot sisaan dengan yˆ _i

4. Plot sisaan terhadap s _i

5. Plot sisaan menurut setiap cara yang wajar sesuai dengan masalah yang dihadapi.

8. Autokorelasi

Adalah korelasi antara urutan sesama urutan catatan dari waktu ke waktu. Yang sangat terkait denan autokorelasi adalah data yang berhubungan dengan waktu, misalnya data tentang ekspor dan impor

= sisaan regresi hit KT KT

F . Semakin kecil KTsisaan maka Fhit menjadi besar dan ditolak.

Pengaruh Autokorelasi

• Anggapan ε_i~N(0,∂)2 merupakan normal baku

• KT sisaan yang merupakan penduga ragam lebih kecil dari sesungguhnya,

sehingga selang kepecayan yang dihasilkan lebih pendek, akibatnya uji statistik yang tidak signifikan menjadi signifikan.

• Penduga β merupakan variasi kecil tidak berlaku. Dalam model : y_i =β₀ +β₁x₁+ε₁

(12)

SSI

STATISTICAL STUDENT OF IST AKPRIND

ρ <1 vi bebas satu dengan yang lain

vi ~ N(0, ∂2) 1 − + = i i i v ρε ε = vi +ρ(vi−1 +ρεi−1) = v_i +ρv_i₋₁+ρ2ε_i₋₁ +...+.... =

∑

= − ~ 0 i t i t v ρ Jadi :

∑

= − ~ 0 ) ( i t i t v E ρ = 0

Variance- variance dari matrik kesalahan pengganggu

                = Σ Σ ) ( ) ( ) ( .... ) ( .... ) ( ) ( ) ( .... ) ( ) ( ) _ ( . 2 2 2 2 2 2 1 2 n n i n n i i n i i T E E E E E E E E E E vc ε ε ε ε ε ε ε ε ε ε ε ε ε ε ε E(εi2) 2 2 2 2 4 2 1 4 1 2 2 2 2 1 2 1 2 2 2 1 ...) 1 ( ... ) ( ) ( ...) ( ) ( ) ( e v v v E v E v v E v E v E i i i i i t i t ∂ = − ∂ = ∂ + + + = + + + = + + + = = − − − − − ρ ρ ρ ρ ρ ρ ρ ερ Jika s = 1+ρ2 +ρ4 +.... ... 8 4 2 2 =ρ +ρ +ρ + ρ s dans−ρ2s=(1+ρ2 +ρ4 +...)−(ρ2 +ρ4 +ρ8+...)=1 jadi : s−ρ2s=(1−ρ2)s=1

(13)

SSI

STATISTICAL STUDENT OF IST AKPRIND

13 sehingga : ₂ 1 1 ρ − = s jadi :           ∂ = − − − − −

ΣΣ

1 1 1 ) ( 3 2 1 2 1 2 2 ~~~ n n n n n T E ρ ρ ρ ρ ρ ρ ρ ρ ρ 9. Peemeriksaan Autokorelasi 1. Autokorelasi Positif H0 : ρ= 0 H1 : ρ> 0 • d > du H0 diterima • d < dl H0 ditolak

• dl ≤ du tidak dapat disimpulkan

2. Autokorelasi Negatif

H0 : ρ= 0

H1 : ρ< 0

• (4-d) > du H0 diterima

• (4-d) < dl H0 ditolak

• dl ≤ (4-d) ≤ du tidak dapat disimpulkan 3. H0 : ρ= 0

H1 : ρ ≠0

• Jika d > dl atau 4-d < dl H0 ditolak

• Jika d > du atau 4-d > du H0 diterima

• Selainyya tidak dapat didefenisikan

Taraf nyata 2α, du dan dl dari tabel

Contoh :

Dik : yˆ = 20,8545 + 1,9419 xt

(14)

SSI

STATISTICAL STUDENT OF IST AKPRIND

: Σyt = 515,7 : Σxt2 = 463 : Σxtyt = 2630 : Σet2 = 42,140 : Σe2t-1 = 41,86 : Σ(et-et-1)2 = 23,491 : Σet.et-1 = 29,969

ujilah apakah ada uji auto korelasi positif?

5575 , 0 140 , 42 491 , 23 ) ( 2 2 2 1 = = Σ − =

∑

− − et e e d n t t t H0 : ρ= 0 α: 5% dl : 1,13 H1 : ρ> 0 k = 1 du : 1,38 d : 0,5575 38 , 1 3 , 1 17 16 15 1 du dl k n = d > du d < dl ya kesimpulan tolah H0

ada hubungan Autokorelasi positif.

(15)

SSI

STATISTICAL STUDENT OF IST AKPRIND

15 i i i i i i i i i i i i i i i i i i i v x x y y v x y x y x y v x y menjadi x y maka v x y + − + − = − + − − + + = − − = + + + = + + = + = + + = − − − − − − − − − ) ( ) ( ) ( ) ( ... , 1 0 0 1 1 1 1 1 0 1 1 1 0 1 1 1 0 1 1 1 1 1 0 1 1 0 1 1 1 0 ρ β ρβ β ρ β β ρ β β β β ε ρε β β ε β β ρε ε ε β β i i x v y '=β0'+β1 1+ i = 2,3,...n 1 1 0 0 0 ' ' ' − − − = − = − = i i i i i i x x x y y y ρ ρ ρβ β β 0 ) ( ... ) ( , 0 ) ( 1 2 2 = − ∂ = = − i i i i v v E dan e v E v E untuk semua

sisa ei digunakan untuk memperkirakan autokorelasi ρ untuk auto regresi tingkat

pertama 1 1 ˆ − − Σ Σ = i i i e e e ρ , 1 2 1 2 ˆ ˆ − − − = − = i i i i i i y y y x x x ρ ρ 11. Kolinearitas Penyebabnya :

1. Hubungan dalam satu fariabel hampir sempurna

2. Suatu faktor dukur labih dari satu kali, dalam inci maupun meter.

3. Terlalu banyak variabel bebas yang kita masukkan meskipun model tersebut sdah jenuh.

Akibat Kolinieritas

Dua peubah atau lebih dalam satu regresi, maka penduga koefisien dari peubah yang bersangkutan tidak lagi tunggal, melainkan tak tehingga, sehingga tidak mungkin lagi kita menafsirkan.

Misalkan :

(16)

SSI

STATISTICAL STUDENT OF IST AKPRIND

n n n y y y y x x x x x x x x ... ... ... 2 1 2 22 21 2 1 12 11 1

Metode kuadrat terkecil tidak dapat menghasilkan penduga b0,b1,...bk yang BLUE

karena r(x’x)<k, r = rank matriksehingga det (x’x) = 0. karena (x’x) = 0, maka (x’x) tidak dapat dicari sehingga b = (x’x)-1 tidak dapat dihitung

(x’x) =           n n x x x x x x 2 22 21 1 12 11 ... ... 1 ... 1 1           n n x x x x x x 2 1 22 12 21 11 1 1 1 =













Σ

2 21 21 11 21 21 11 2 11 11 21 11

x

n

b2 x k (x’x) =           Σ Σ Σ Σ Σ Σ Σ Σ 2 21 21 11 21 12 11 2 11 11 21 11 . . . . x x x k x x x k x k x k x x n x2 = kx11 (x’x) =           Σ Σ Σ Σ Σ Σ Σ Σ 2 11 2 2 11 11 2 11 2 2 11 11 11 11 . . . . . x k x k x k x k x k x k x k x n b3 - b2 (x’x) =           Σ Σ Σ Σ Σ 0 0 0 . . . 2 11 2 2 11 11 11 11 x k x k x k x k x n