1
Yi : peubah tak bebas ; i = 1, 2, …, n
Xi : peubah bebas ; i = 1, 2, …, n
:vektor parameter regresi ; i = 1, 2, …, n
:vektor galat ; i = 1, 2, …, n
2.2 Regresi Linear Sederhana
Menurut Myers (1990), regresi linear sederhana adalah regresi yang hanya memiliki satu peubah regresor (peubah bebas), misalkan X. Diberikan deskripsi
Yi= β0+ β1Xi+ εi i=1,2,…,n 2
Dengan menggunakan data berpasangan {(xi, yi)} untuk i = 1, 2, … , n, akan dicari
dugaan parameter β0 dan β1..
Metode Kuadrat Terkecil dirancang untuk menghasilkan penduga b0 dan b1 untuk menduga β0 dan β1, dan nilai dugaan
yi= b0+ b1xi 3 yang meminimumkan jumlah kuadrat galat
JKG= n i=1 = yi yi 2 n i=1
1
2.3 Persamaan Regresi Linear
Model Regresi Linear dapat dinyatakan dalam persamaan:
4 Keterangan:
:vektor peubah tak bebas berukuran n x 1 :vektor parameter regresi berukuran p x 1 :matriks peubah bebas berukuran n x p
:vektor galat berukuran n x 1 (Myers 1990) 2.4 Pendugaan Koefisien Regresi Linear
Metode Kuadrat Terkecil adalah suatu metode untuk menghitung koefisien regresi sampel ( ) sebagai penduga koefisien regresi populasi ( ), sedemikian rupa sehingga jumlah kuadrat galatnya memiliki nilai terkecil. Dengan bahasa matematik, dapat dinyatakan sebagai berikut:
Model sebenarnya adalah Model estimasinya adalah
(5)
Galat (error)adalah
(6)
Jumlah kuadrat galat adalah
(7) Jadi metode Kuadrat Terkecil adalah metode menghitung sedemikian rupa sehingga persamaan (7) minimum. Caranya adalah dengan membuat turunan parsial mula-mula terhadap dan menyamakan dengan nol. 2 0 2 0 2 2 0 (8) (9) (Draper & Smith 1992)
2.5 Pencilan
Pencilan (outlier) didefinisikan sebagai suatu pengamatan yang tampak bertentangan atau tidak konsisten terhadap pengamatan yang lain.
(Barnett & Lewis 1994) Misalkan terdapat n buah data pengamatan y1, y2, ..., yn. Q1 dan Q3 berturut-
turut adalah kuartil pertama dan ketiga data pengamatan. Pencilan antara lain dapat dideteksi sebagai pengamatan yang lebih besar dari Q3 + 1.5 (Q3 – Q1) atau lebih kecil dari Q1 – 1.5 (Q3 – Q1).
(Tukey 1979) 2.6 Regresi Kekar
Regresi kekar ditujukan untuk mengatasi penyimpangan-penyimpangan sebagai pengganti metode OLS. Kelebihan metode tersebut adalah kurang peka dibandingkan kuadrat terkecil terhadap penyimpangan-penyimpangan yang sering terjadi dari asumsi ideal.
(Huber 1981) 2.7 Metode Kekar
Metode alternatif lainnya yang bersifat kekar atau tahan terhadap data pencilan antara lain:
1. Metode Kuadrat Terkecil Terboboti (Weighted Least Squares, WLS) 2. Metode Simpangan Mutlak Terkecil
(Least Absolute Deviations, LAD) 3. Metode Kuadrat Terkecil Terpangkas
(Least Trimmed Squares, LTS) 4. Metode Median Kuadrat Terkecil
(Least Median of Squares, LMS) (Yaffee 2002) 2.8 Metode Median Kuadrat Terkecil
Metode Median Kuadrat Terkecil adalah salah satu metode estimasi dari keluarga regresi kekar. Metode ini melakukan penghitungan dengan menghilangkan pengaruh-pengaruh residu. Dengan menggunakan penduga yang dihasilkan akan lebih kekar dalam menghadapi pencilan, sehingga untuk menghasilkan galat terkecil metode Kuadrat Median Terkecil memiliki fungsi
minimize $% med
(Rousseeuw 1984)
2
2.9 Prosedur Metode Median Kuadrat Terkecil
Misalkan diberikan sebuah gugus data sampel berukuran N, dan ingin diduga vektor θ berdimensi p yang berisi parameter dari gugus data tersebut. Langkah-langkah yang dilakukan adalah :
1. Tentukan ukuran subset n, tentukan jumlah subset M, dan tentukan juga batas kesalahan yang diinginkan γ
2. Secara acak, ambil M buah subset berukuran n dari sampel berukuran N. Cari dugaan parameter θ'j untuk setiap subset. Cari median dari kuadrat galat e2ij
dari setiap subset. Indeks i adalah indeks untuk sampel, i = 1, 2, 3, …, n dan indeks j adalah untuk subset, j = 1, 2, 3, …, M
3. Definisikan
m= arg min j medi (eij
2)
sehingga subset θ'm merupakan subset dengan median kuadrat galat terkecil dan {eim} adalah vektor galat yang dihasilkan
subset tersebut, 4. Hitung
S0= 1.4826*1+ 5
N p+ ,medieim
2 10 5. Hitung bobot wi, misalkan dengan
wi=1 , - ei
S0- ≤ γ dan wi= s0
|ei|, lainnya
6. Berikan bobot wi kepada
setiap sampel.
7. Lakukan pengepasan dengan menggunakan metode Weighted Least Squares menggunakan {wi} sebagai
bobot untuk mendapatkan /' final. (Yingying C 2009) 2.10 Prosedur Metode Kuadrat Terkecil
Terboboti
1. Hitung galat model 0 1 23 4 , 6 dengan:
0= data pengamatan ke-i,
1 23 4 , 6 = data hasil pendugaan ke-i, i = 1, 2 ,…, n
2. Hitung bobot data pengamatan ke-i ( wi)
yang didefinisikan sebagai berikut:
7 8=1 jika < = jika > =? 12 dengan:
m = 1.345σ ; i = 1, 2, …, n
σ = simpangan baku galat
3. Minimumkan jumlah kuadrat galat terkecil terboboti :
min 8@ 6 7
A
B
(Huber 1981) Pada metode Kuadrat Terkecil Terboboti ini, data pencilan diberi bobot < 1 sehingga memiliki peranan yang kecil pada saat peminimuman jumlah kuadrat galat. Oleh karena itu, metode ini menjadi tahan terhadap pengaruh pencilan (bersifat robust). 2.11 Metode Simpangan Mutlak Terkecil
Metode ini merupakan bentuk lain dari metode Kuadrat Terkecil Terboboti [Tanika, 2006]. Paramater p diduga dengan cara meminimumkan jumlah nilai mutlak galat sebagai berikut:
min 8@ 6 C0 g 23 4 , 6 C A
B dengan:
0= data pengamatan ke-i, 1 x3 4 , 6 = data hasil pendugaan ke-i, i = 1, 2,…, n
(Huber 1981) 2.12 Metode Penyelesaian Simpangan
Mutlak Terkecil
Untuk menyelesaikan metode Simpangan Mutlak Terkecil sudah banyak metode yang dipergunakan antara lain: metode Modifikasi Simplex, metode Iteratif Kuadrat Terkecil. Walaupun ide dasar dari metode Simpangan Mutlak Terkecil sekilas terlihat lebih mudah dari metode Kuadrat Terkecil. Namun ternyata tidak mudah untuk menghitungnya secara efisien. Hal ini dikarenakan metode Simpangan Mutlak Terkecil tidak memiliki metode penyelesaian secara analitik. Oleh sebab itu pendekatan secara iteratif dibutuhkan untuk menyelesaikannya.
Terdapat beberapa teknik penyelesaian metode Simpangan Mutlak Terkecil antara lain:
1. Metode Modifikasi Simpleks dengan algoritma Barrodale-Roberts.
(Barrodale-Roberts, 1973) 2. Metode Iteratif Kuadrat Terkecil Terboboti (Iteratively Re-weighted Least Squares).
(Schlossmacher, 1973) 3. Metode Turunan Langsung Wesolowsky’s (Wesolowsky’s Direct Descent Method).
(Wesolowsky, 1981)
3
4. Metode Pendekatan Maximum Likelihood Li-Arce’s (Li-Arce’s Maximum Likelihood Approach).
(Li-Arce, 2003) (Pfeil 2006) 2.13 Prosedur Metode Iteratif Kuadrat
Terkecil Terboboti
Metode Iteratif Kuadrat Terkecil Terboboti (IRLS) digunakan untuk menyelesaikan masalah optimasi tertentu. Metode ini menyelesaikan fungsi objektif dalam bentuk:
arg min 7 A
|0 G | ,
Metode iteratif ini setiap langkahnya melibatkan penyelesaian masalah kuadrat terkecil terboboti dalam bentuk:
HI arg min 7 A
H |0 G |
2.14 Prosedur Metode Kuadrat Terkecil Terpangkas
1. Hitung galat model 0 1 23 4 , 6
dengan:
0= data pengamatan ke-i,
1 23 4 , 6 = data hasil pendugaan ke-i, i = 1, 2 ,…, n
2. Urutkan kuadrat galat tersebut dari yang terkecil sampai dengan yang terbesar:
J K, J K, … , J K
3. Minimumkan jumlah dari q kuadrat galat terkecil: min 8@ 6 J K A B dengan: M N O NPI O, P = banyaknya parameter;
Q2R bilangan bulat terbesar < 2 (Cizek 2002) Dari prosedur ini terlihat bahwa beberapa galat terbesar (yang diantaranya dihasilkan oleh pencilan) dipangkas (diberi bobot nol) pada saat peminimuman jumlah kuadrat galat. Oleh karena itu, Metode Kuadrat Terkecil Terpangkas menjadi tahan terhadap pengaruh pencilan (bersifat robust).
2.15 Rataan Persentase Galat Mutlak (Mean Absolute Percentage Error,
MAPE)
MAPE digunakan untuk membandingkan tingkat akurasi penduga antar model. MAPE didefinisikan oleh rumus:
XYZ[ 1\ ]0 0 ] _ 100%0^ A
13 dengan 0 adalah nilai aktual dan 0^ adalah nilai pendugaan. Rentang norma MAPE adalah [0,100]. Semakin kecil nilai MAPE, model dinilai semakin baik.
2.16 Koefisien Determinasi
Koefisien determinasi, R2, menyatakan proporsi keragaman data yang dapat dijelaskan oleh model. Untuk model linear sederhana, R2 merupakan kuadrat dari koefisien korelasi, sehingga R2 Є [0,100] %. Makin tinggi nilai R2 makin representatif model tersebut.
(Rodgers & Nicewander 1988) 2.17 Box-and-Whisker-Plot
Box-and-whisker plot digunakan untuk melihat bentuk tebaran dan keragaman dari suatu gugus data. Box-and-whisker plot
terdiri atas:
• sebuah kotak yang mewakili data yang terletak diantara kuartil ke-1(Q1) dan kuartil ke-3(Q3),
• whisker yang mewakili data yang terletak diantara data terkecil dan kuartil ke-1(Q1), dan
• whisker yang mewakili data yang terletak diantara kuartil ke-3(Q3) dan data terbesar.
Di dalam kedua whisker bisa terdapat pencilan.
Gambar 1 Bentuk umum box-and-whisker- plot
(Weisstein 199