weighted least square (analisis regresi)

ANALISIS REGRESI

Weighted Least Square

DISUSUN OLEH:

Devi Rosalina Juliana (G1D012006)

Khairunnisa Hayyu Sumaya (G1D012015)

Lia Rahmasari (G1D012019)

Ulfa Destiarina (G1D012038)

PROGRAM STUDI MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS MATARAM

KATA PENGANTAR

Puji syukur kami panjatkan kehadirat Allah SWT atas segala limpahan rahmat dan hidayah-Nya sehingga makalah ini dapat terselesaikan. Tak lupa pula kita haturkan shalawat serta salam kepada junjungan alam nabi kita nabi besar Muhammad SAW yang menuntun langkah hidup kita sehingga kita bisa menjadi manusia yang beradab dan berbudaya menurut ajaran-ajaran Islam.

Ucapan terimakasih kepada semua pihak, khusunya kepada dosen pengampuh rekan-rekan mahasiswa/mahasiswi yang telah mendukung dan membantu kami dalam penyusunan makalah ini. Sehingga makalah ini dapat kami rampungkan sesuai dengan waktu yang telah ditentukan yang berjudul “Weighted Least Square”.

Semoga makalah ini bermanfaat bagi kita semua terutama bagi kita sebagai mahasiswa yang sedang menjalani proses belajar di perguruan tinggi.

Tiada gading yang tak retak, maka dari itu saran dan kritik dari semua pihak sangat kami harapkan untuk perbaikan makalah kami berikutnya wassalam.

Mataram, 25 November 2014

BAB I

PENDAHULUAN

Penggunaan metode analisis regresi untuk membentuk model regresi didasari oleh asumsi error atau residual yang bersifat identik, independen, dan berdistribusi normal, dengan mean bernilai nol dan variansi bernilai tertentu, yaitu 2_{. Secara visual}

kondisi ini dideteksi menggunakan empat macam plot, yaitu : plot keseluruhan, plot menurut waktu, plot terhadap ramalan, plot terhadap variabel bebas. Pada mulanya untuk penaksiran parameter koefisien regresi digunakan metode kuadrat terkecil biasa (Ordinary Least Square). Apabila plot residual membentuk titik-titik yang tidak random, tetapi membentuk pola, misal berbentuk corong atau bando lengkung, ini menunjukkan asumsi homoskedastisitas tidak terpenuhi, justru sebaliknya. Dan kondisi ini dinamakan heteroskedastisitas. Artinya varians error tidak berupa angka konstan,yang dilambangkan dengan ( ) .

Pengujian heteroskedastisitas dapat dilakukan dengan dua cara, yaitu metode grafik dan uji formal. Pada metode grafik, nilai-nilai ei2 diplot dengan nilai-nilai

variable bebas sehingga akan terbentuk suatu pola atau bentuk yang tidak random. Contoh grafik :

1. Heteroskedastisitas 2. Homoskedastisitas

Sedangkan uji Formal terdiri dari uji Breusch-Pagan-Godfrey dan uji White. Namun, pada makalah ini materi tentang pengujian heteroskedastisitas tidak dibahas secara rinci. Pembahasan akan ditekankan pada solusi untuk menyelesaikan masalah heteroskedastisitas. Metode penaksiran parameter yang sesuai untuk menyelesaikan masalah heteroskedastisitas adalah kuadrat terkecil terboboti (Weighted Least Square).

BAB II

PEMBAHASAN

2.1 Heteroskedastisitas dan Weighted Least Square

Heteroskedastisitas adalah kondisi dimana error tidak memiliki suatu varian yang konstan untuk semua observasi. Masalah heteroskedastisitas lebih sering terjadi pada data cross section dari pada time series serta muncul baik pada regresi sederhana maupun regresi berganda.

Cara mengatasi masalah heteroskedastisitas antara lain: (a) melakukan transformasi variabel

(b) menggunakan metode Weighted Least Square.

Pada kenyataannya heteroskedastisitas adalah kondisi dimana error tidak memiliki suatu varian yang konstan. Solusi dari munculnya varian yang tidak konstan ini adalah dengan melakukan Transformasi terhadap variabel. Hal ini akan membuat varian tersebut konstan, Perhatikan gambar di bawah ini.

Titik-titik kuning menunjukkan keadaan yang sebenarnya dari sampel. Jika digambarkan garis regresinya, diperoleh garis regresi yang berwarna merah. Dari plot tersebut terlihat bahwa varian error tidak konstan (heteroskedastisitas). Kemudian dilakukan tranformasi sehingga diperoleh kurva hijau yang menunjukkan varian error yang konstan. Dengan demikian transformasi dapat membuat varian menjadi konstan. Namun transformasi ini dapat mempengaruhi linearitas fungsi regresi. Tampak dari gambar, kurva hijau tidak linear tetapi membentuk suatu cekungan.

Maka untuk kasus ini, metode pendugaan parameter yang sesuai adalah Metode kuadrat terkecil terbobot (Weighted Least Square).

2.2 WLS Regresi Linear Sederhana dan Regresi Linear Berganda

Kriteria kuadrat terkecil untuk regresi linear sederhana adalah sebagai berikut : ∑( )

∑( ̂)

Sedangkan untuk WLS, masing-masing jumlah kuadrat error akan dikali dengan penimbang yaitu wi, sehingga ∑ w( ) ….(1)

Dari persamaan (1) dapat diperoleh nilai dari koefisien regresinya dengan meminimalkan nilai error.

Penurunan rumus : ∑ e ∑ w( ) ∑ w*y y( ) ( ) + ∑ w*y y y + ∑ w y ∑ w y ∑ w y ∑ w ∑ w ∑ w

Meminimumkan kuadrat error terhadap dan : ∑ w y ∑ w ∑ w ∑ w b ∑ w b ∑ w …( )  Diperoleh : ∑ ∑ ∑ …(3) ∑ w y ∑ w ∑ w ∑ w b ∑ w b ∑ w …(4)  Substitusi (3) dan (4) ∑ w ∑ w b ∑ w ∑ w ∑ w b ∑ w

∑ w ∑ w ∑ w b ∑ w ∑ w ∑ w b ∑ w Diperoleh :

∑ ∑ _∑ ∑ ∑ (∑ ) ∑ ...(5)

Sistem Persamaan untuk k variabel: ∑ w b ∑ w b ∑ w b ∑ w b ∑ w ∑ w b ∑ w b ∑ w b ∑ w b ∑ w ∑ w b ∑ w b ∑ w b ∑ w b ∑ w . . . . . . . . . . . . ∑ w b ∑ w b ∑ w b ∑ w b ∑ w

2.3 Review OLS dengan Pendekatan Matriks

Model regresi linier umum dalam matrik ialah : Y = X  + . Apabila untuk membangun model regresi ini digunakan n eksperimen, maka model untuk setiap eksperimen ialah :

Yi = Xi + i atau Yi = 0 + 1 X1i + 2 X2i + + k Xki + i , i = 1, 2, ... , n.

Dan memenuhi asumsi-asumsi berikut:

 i identik, dinotasikan var(i) = 2 untuk setiap i.

 i independen, dinotasikan cov(i,j) = 0 untuk i  j, akibatnya E(ij) = E(i)

E(j),

 i ~ N(0, 2), E(i ) = 0 untuk setiap i dan var(i ) = 2 untuk setiap i;

karena i juga bersifat independen, maka berakibat E(ij) = E(i) E(j) = 0, maka

menjadikan matrik varian kovarian vektor , dinotasikan var(), adalah sebagai berikut:

var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , ) cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n n n n n                              = 2 2 2 0 0 0 0 0 0                  = I 2

Penaksir parameter koefisien regresi dan variansinya didapatkan dengan rumus berikut: b = 0 1 k b b b               = (XT_X)-1 _XT_{Y dan} var(b) = 0 0 1 0 k 1 0 1 1 k k 0 k 1 k

var(b ) cov(b , b ) cov(b , b ) cov(b , b ) var(b ) cov(b , b )

cov(b , b ) cov(b , b ) var(b )

              = (XT_X)-1_2

2.4 WLS dengan Pendekatan Matriks

Gagasan dasarnya adalah mentranformasi amatan y menjadi peubah lain Z yang memenuhi asumsi-asumsi yang biasa yaitu Z = f, E(f) = 0, V(f) = I , dan untuk uji f dan penyusunan selang kepercayaan, f N(0, ) dan kemudian menerapkan analisis biasa (tidak terboboti) pada peubah-peubah yang diperoleh. Nilai dugaan yang dihasilkan kemudian diucapkan kembali ke peubah semula Y.

Residual tidak identik mengakibatkan var(i) tidak sama untuk setiap i,

dinotasikan var(i) = i2. Agar i memenuhi asumsi identik maka dilakukan transformasi, dengan cara mengalikan i dengan √w , atau vektor  dengan matrik P-1

dari sisi kiri. _{merupakan matriks diagonal penimbang dengan elemen diagonal}

utamanya √ yang merupakan penimbang untuk masing-masing variabel tak bebas ke-i, dimana (wi)1/2 …(7) [ √ √ √ ]  [ √ √ √ ]

Sekarang, vektor residual menjadi f , f = P-1_.

Matrik P ditentukan sedemikian rupa sehingga memenuhi : PT_{P = PP = P}2 _{= V.}

Misalkan model yang digunakan adalah Y = . Persamaan regresi baru :

P-1 _{Y = P}-1 _X  _{+ P}-1

dengan notasi baru :

Yw = Q w + f atau Ywi = w0 Q0i + w1 Q1i + fi (khusus regresi dengan satu prediktor).

Ini merupakan persamaan regresi OLS, dengan:

- variabel respon Yw = P-1 Y,

- variabel prediktor Q0 dan Q1, yang terhimpun di dalam matrik Q = P-1 X , - parameter : w0 dan w1 (khusus regresi dengan satu prediktor).

- residual f.

Kolom pertama matrik Q, yaitu Q0, elemennya tidak bernilai 1, tidak seperti

kolom pertama matrik X pada regresi OLS, yang setiap elemen kolom pertamanya bernilai 1. Berikut ini ditampilkan kolom-kolom matrik X dan Q, dengan Q = P-1 _{X :}

X = [ 1 1 1 ] atau X = 11 1 12 2 1 1 1 1 k k n kn x x x x x x              

X untuk satu prediktor X untuk k prediktor

Q = 01 11 02 12 0n 1n q q q q q q               atau Q = 01 11 1 02 12 2 0 1 k k n n kn q q q q q q q q q              

Q untuk satu prediktor Q untuk k prediktor Varian residual atau error sebelum dilakukan transformasi ialah :

var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , ) cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n n n n n                              = 2 1 2 2 2 0 0 0 0 0 0 _n                  = V2

Matrik V bukan matrik identitas, tetapi seperti ketentuan di atas, yaitu : V = PT_{P = PP}

= P2 _{. Sebelum ditransformasi, elemen diagonal utama matrik varian-kovarian, yaitu}

var(), tidak sama; kondisi ini dinamai tidak identik atau heteroskedastisitas. Agar identik, variansi error yang dinotasikan 2

i

 , i = 1, 2, ... , n, dikalikan dengan pembobot. Pembobot ini dihimpun di dalam matrik P-1_{, kalau dikaitkan dengan matrik V, maka}

yang dimaksud dengan matrik pembobot ialah V-1 _{yang berelemenkan wi.}

[ ]

 _[

]

Setelah dilakukan transformasi f = P-1 _{, maka error menjadi f, dengan sifat}

seperti error pada regresi OLS, yaitu var(f) = I2 _{. Penjabaran var(f) secara rinci}

adalah sebagai berikut : var(f) = E(f fT ₎

= E(P-1_{ (P}-1_)T_{) = E(P}-1_T _P-1_{) = P}-1 _E(T_{) P}-1 _{= P}-1 _V2 _P-1 _{= P}-1 _{P P }2 _P-1

= P-1 _{P P P}-1_2 _{= I }2

Dengan menggunakan regresi OLS dalam notasi matrik; bila variabel bebas dihimpun di dalam matrik Q, variabel respon Yw, maka penaksir parameter koefisien regresi dan

variansinya didapatkan dengan rumus berikut :

bw = 0 w 1w kw b b b               = (QT_Q)-1 _QT_{Yw = ((P}-1 _X)T _P-1_X)-1 _{(X P}-1₎T _(P-1 _Y) = (XT _P-1 _P-1_X)-1 _XT _P-1 _P-1 _{Y = (X}T _V-1_X)-1 _XT _V-1 _Y var(bw) = 0w 0w 1w 0w kw 1w 0w 1w 1w kw kw 0w kw 1w kw

var(b ) cov(b , b ) cov(b , b ) cov(b , b ) var(b ) cov(b , b )

cov(b , b ) cov(b , b ) var(b )

              = (QT_Q)-1_2 _{= (X}T _V-1 _X)-1 _2

Maka dari hasil di atas akan diperoleh model regresi linear dengan pembobot adalah

2.5 Tabel ANOVA

Terdapat berbagai macam formula tabel ANOVA; masing-masing dinyatakan sebagai berikut:

Formula 1 (uncorrected)

Sumber Derajat

Bebas Jumlah Kuadrat Kuadrat Tengah

Regresi k+1 bwTQTYw Residual nk1 YwTYw bwTQTYw 2 n JKSisa  Total n YwT Yw Formula 2 (corrected) Sumber Derajat

Bebas Jumlah Kuadrat Kuadrat Tengah

Regresi k bwTQTYw  nYw2 Residual nk1 YwTYw bwTQTYw 2 n JKSisa  Total, terkoreksi n 1 YwT Yw 2 w Y n 2.5 Pengujian Hipotesis Overall Test (Corrected)  Perumusan Hipotesis

H0 : i = 0, i = 1, 2, ... , k

H1 : Paling tidak terdapat satu i yang pengaruhnya terhadap respon bermakna.

  = 0,05

F = ) 1 k n /( ) Y Q b Y Y ( k / ) Y n Y Q b ( w T T w w T w 2 w w T T w      Titik Kritis : Fk,n-k-1,1- 

 Keputusan : H0 diterima bila nilai F  Fk,n-k-1,1- 

H0 ditolak bila F > Fk,n-k-1,1- .

Overall Test (Uncorrected)  Perumusan Hipotesis

H0 : i = 0, i = 0, 1, 2, ... , k

H1 : Paling tidak terdapat satu i yang perbedaannya dengan nol bermakna.

  = 0,05

 Statistik Uji : Menggunakan ANOVA formula 1,

F = ) 1 k n /( ) Y Q b Y Y ( ) 1 k /( ) Y Q b ( w T T w w T w w T T w      Titik Kritis : Fk+1,n-k-1,1- 

 Keeputusan : H0 diterima bila nilai F  Fk+1,n-k-1,1- 

H0 ditolak bila F > Fk+1,n-k-1,1- . Partial Test  Perumusan Hipotesis H0 : i = 0 VS H1 : i 0   = 0,05  Statistik Uji : i i b T s( b ) 

Nilai penaksir simbangan baku (b )i adalah akar elemen diagonal utama ke i matrik var(bw), dengan var(bw) = (XT V-1 X)-1 2.

 Titik Kritis : dan

 Keputusan : H0 diterima bila  T 

BAB III

PENUTUP

3.1 Kesimpulan

Dari uraian di atas dapat disimpulkan bahwa :

1. Heteroskedastisitas adalah kondisi dimana error tidak memiliki suatu varian yang konstan untuk semua observasi . Dengan kata lain, var(i) tidak sama

untuk setiap i, dinotasikan var(i) = _i2.

2. Cara mengatasi masalah heteroskedastisitas antara lain: (a) melakukan transformasi variabel

(b) menggunakan metode Weighted Least Square.

3. Dari penurunan rumus dan meminimalkan error dengan dikalikan dengan pembobot wi, diperoleh nilai b0 dan b1 ;

b ∑ ∑ ∑ dan b ∑ ∑ ∑ ∑ ∑ (∑ ) ∑

4. Melalui WLS dengan Pendekatan Matriks diperoleh nilai b0 dan b1, yaitu;

( _{) dan ( ) ( )}

DAFTAR PUSTAKA

Draper, N.R. 1992. Analisis Regresi Terapan.Jakarta : PT Gramedia Pustaka Utama. Myers, Raymond H.2000.Classical And Modern Regression with Ap plications.Duxbury: Duxbury Press.

Setya,Wiwiek.2012.Regresi Terboboti(Weighted Regression/Weighted Least Square). oc.its.ac.id. 21 November 2014