1
2. LATAR BELAKANG MASALAH
Analisis regresi merupakan teknik statistika yang digunakan untuk menyelidiki dan memodelkan hubungan antara variabel dependen dan variabel independen. Jika Y variabel independen dan variabel dependen, maka model regresi linear secara umum dapat dinyatakan sebagai
dengan adalah parameter-parameter regresi dan adalah sisaan yang berdistribusi normal dengan mean nol dan variansi sama. Permasalahan yang muncul dalam analisis regresi adalah menentukan estimator terbaik untuk menentukan nilai . Dalam menemukan estimator terbaik sangat dipengaruhi oleh penggunaan metode.
Metode yang biasa digunakan adalah metode kuadrat terkecil. Dalam kasus model regresi linear adakalanya terdapat data outlier (pencilan) yaitu pengamatan dengan nilai mutlak sisaan jauh lebih besar daripada sisaan-sisaan lain sehingga akan mempengaruhi model regresi yang terbentuk. Data pencilan tersebut tidak boleh dibuang begitu saja, karena akan mempengaruhi model prediksi serta menghasilkan sesatan yang besar. Pada data juga terdapat pengamatan berpengaruh, yaitu pengamatan yang dapat berpengaruh besar terhadap persamaan regresi. Pencilan berpengaruh adalah pencilan yang sekaligus merupakan pengamatan berpengaruh (Draper dan Smith, 1998). Pencilan berpengaruh dapat memberikan informasi yang tidak diberikan oleh pengamatan lain dan dapat mempengaruhi hasil analisis regresi. Oleh karena itu pencilan berpengaruh perlu diperiksa secara seksama untuk menentukan apakah dapat dibuang atau tidak.
Untuk menyelesaikan masalah tersebut diperlukan adanya metode yang bersifat robust dimana nilai estimasinya tidak banyak dipengaruhi oleh perubahan kecil dalam datam. Regresi robust merupakan metode regresi yang digunakan ketika distribusi dari sisaan tidak normal dan atau adanya beberapa pencilan yang
2
berpengaruh pada model. Metode ini merupakan alat penting untuk menganalisa data yang dipengaruhi oleh pencilan sehingga dihasilkan model yang robust atau resistance terhadap pencilan. Metode yang terkenal adalah M-estimasi, dimana estimasi ini merupakan perluasan dari MLE dan merupakan estimasi yang robust.
M-estimasi prinsipnya adalah meminimumkan fungsi Huber ( )
Dalam regresi robust terdapat juga metode yang lain, seperti R-estimasi, L- estimasi, Least Trimmed Square (LTS), MM-estimasi, S-estimasi, Least Mean Square (LMS).
Dalam penelitias ini akan dibahas metode yang temasuk dalam keluarga High Breakdown Value yaitu S-estimasi (Rousseeuw dan Yohai, 1984). Metode S-estimasi merupakan pengembangan dari M-estimasi. Dimana metode M- estimasi menggunakan median sisaan sebagai nilai pembobot. S-estimasi adalah metode yang mengestimasi parameter regresi dari data yang mengandung pencilan dengan menggunakan simpangan baku sisaan sebagai pembobot.
Pendugaan parameter dengan S-estimasi diharapkan dapat menghasilkan penduga yang bersifat robust terhadap pencilan berpengaruh.
3. PERUMUSAN MASALAH
Berdasarkan uraian diatas dapat disusun perumusan masalah yaitu bagaimana estimasi paremeter model regresi robust menggunakan S-estimasi ?
4. TUJUAN PENELITIAN
Tujuan yang ingin dicapai dalam penelitian ini adalah menentukan estimasi parameter model regresi robust menggunakan metode S-estimasi
5. MANFAAT PENELITIAN
Manfaat yang dapat diperoleh dari peneltian ini adalah menambah pengetahuan tentang metode regresi robust dengan S-estimasi.
3
6. TINJAUAN PUSTAKA 6.1. Model Regresi Linear Berganda
Model regresi adalah model yang meberikan gambaran mengenai hubungan antara variable independen dengan variable dependen. (Sembiring, 1995). Ada dua model persamaan regresi dipandang dari jumlah variabel independennya, yaitu model regresi linear sederhana dan model regresi linear berganda. Dalam penelitian akan yang dibahas adalah model regresi linear berganda.
Bentuk umum dari model regresi linear sederhana adalah
dimana
: harga variabel dependen pada trial ke-i
: titik potong garis regresi dengan sumbu Y (intersep) : koefisien regresi parsial
: variabel independen pada trial ke-n : sisaan ke-i
: banyaknya pengamatan
: banyaknya variable independen
Asumsi-asumsi yang melandasi analisi regresi adalah sisaan menyebar normal dengan nilai tengah nol dan ragam dimana dan tidak berkorelasi untuk .
6.2. Pendugaan Parameter dengan Metode Kuadrat Terkecil Dengan metode kuadrat terkecil yang meminimumkan jumlah kuadrat sisaan (JK Sisaan) akan diperoleh nilai estimasi untuk adalah
∑
∑( )
Dengan mencari turunan parsial terhadap dan menyamadengankan dengan nol sehingga diperoleh nilai estimasi model regresi linear
̂
4 Sedangkan estimasi dari sisaan adalah
̂ ( )
6.3.Pengujian Asumsi Analisis Regresi 6.3.1. Normalitas
Analisis regresil linear mengasumsikan bahwa sisaan ( ) berdistribusi normal. Gujarati (1995: 103) menjelaskan bahwa pada regresi linear klasik diasumsikan bahwa tiap didistribusikan secara normal dengan ( ).
Salah satu cara untuk menguji asumsi kenormalan adalah dengan uji Kolmogorov-Smirnov. Uji ini didasarkan pada nilai D dengan,
| ( ) ( )|
dengan ( ) adalah fungsi distribusi frekuensi kumulatif relatif dari distribusi teoritis dibawah . ( ) adalah distribusi frekuensi kumulatif pengamatan sebanyak sampel. adalah residu berdistribusi normal. Nilai ini selanjutnya dibandingkan dengan nilai kritis dengan signifikansi (tabel kolmogorof- smirnov). Apabila nilai > atau maka asumsi kenormalan tidak dipenuhi.
6.3.2. Non Multikolinearitas
Menurut Montgomery and Peck (1990), kolinearitas terjadi karena terdapat korelasi yang cukup tinggi di antara variabel independen. VIF (Variance Inflation Factor) merupakan salah satu cara untuk mengukur besar kolinearitas dan didefinisikan sebagai:
dengan m = 1, 2, …, p dan p adalah banyaknya variabel independen. adalah koefisien determinasi yang dihasilkan dari regresi variabel independen Xm dengan variabel independen lain Xj (m ≠ j). Nilai VIF akan semakin besar jika terdapat korelasi yang semakin besar diantara variabel independen. Jika nilai VIF lebih dari 10, multikolinearitas memberikan pengaruh yang serius pada pendugaan metode kuadrat terkecil (Bowerman dan O`Connel, 1990).
5
6.3.3. Homogenitas
Salah satu asumsi penting dalam analisis regresi adalah variasi sisaan ( ) pada setiap variabel bebas adalah homoskedastisitas. Asumsi ini dapat ditulis sebagai berikut :
( ) i=1, 2,…n
Salah satu cara menguji kesamaan ragam yaitu dengan melihat pola tebaran sisaan ( ) terhadap nilai duga Y. Jika tebaran sisaan bersifat acak (tidak membentuk pola tertentu), maka dikatakan bahwa ragam sisaan homogen (Draper and Smith, 1998)
Pendeteksian kehomogenan ragam sisaan juga dapat dilakukan melalui uji Glejser. Hipotesis yang melandasi pengujian adalah:
H0 : Ragam sisaan homogen H1 : Ragam sisaan tidak homogen
uji Glejser didasarkan atas uji persamaan regresi dari harga mutlak sisaan |e| dan peubah prediktor X, dengan |e| sebagai peubah respon dan X sebagai peubah prediktornya. Bentuk hubungan yang sebenarnya antara |e| dan X umumnya tidak diketahui sehingga digunakan berbagai macam bentuk hubungan untuk menduganya.
6.3.4. Tidak ada autokorelasi
Salah satu asumsi penting dari regresi linier adalah bahwa tidak ada autokorelasi antara serangkaian pengamatan yang diurutkan menurut waktu.
Adanya kebebasan antar sisaan dapat dideteksi secara grafis dan empiris.
Pendeteksian autokorelasi secara grafis yaitu dengan melihat pola tebaran sisaan terhadap urutan waktu. Jika tebaran sisaan terhadap urutan waktu tidak membentuk suatu pola tertentu atau bersifat acak maka dapat disimpulkan tidak ada autokorelasi antar sisaan (Draper and Simth, 1992).
Pengujian secara empiris dilakukan dengan menggunakan statistik uji Durbin-Watson. Hipotesis yang diuji adalah:
H0 : Tidak terdapat autokorelasi antar sisaan H1 : Terdapat autokorelasi antar sisaan
6
Adapun rumusan matematis Uji Durbin-Watson adalah:
∑ ( )
∑
Kaidah keputusan dalam Uji Durbin-Watson adalah:
1. Jika d < dL,α, dan 4-d < dL,α maka H0 ditolak berarti bahwa terdapat autokorelasi antar sisaan.
2. Jika d > dU,α, dan 4-d > dU,α maka H0 diterima yang berarti bahwa asumsi nonautokorelasi terpenuhi.
3. Jika dL,α ≤ d ≤ dU,α, maka tidak dapat diputuskan apakah H0 diterima atau ditolak, sehingga tidak dapat disimpulkan ada atau tidak adanya autokorelasi.(Bowerman dan O`Connel, 1990)
6.4. Pencilan (Outlier)
Pada data sering ditemukan satu atau beberapa data yang jauh dari pola kumpulan data keseluruhan, yang lazim didefinisikan sebagai data pencilan.
Keberadaan data pencilan akan mengganggu dalam proses analisis data dan harus dihindari dalam banyak hal. Pencilan dapat menyebabkan sesatan yang besar dari model yang terbentuk atau E[e] ≠ 0, variansi pada data menjadi lebih besar, dan estimasi interval memiliki rentang yang lebar.
Salah satu metode yang bisa digunakan untuk mendeteksi adanya pencilan dalam data adalah boxplot. Metode ini paling umum digunakan yakni dengan mempergunakan nilai kuartil dan jangkauan. Kuartil 1, 2, dan 3 akan membagi urutan data menjadi empat bagian. Jangkauan (IQR) didefinisikan sebagai selisih kuartil 1 terhadap kuartil 3, atau IQR = Q3 – Q1. Data-data pencilan dapat ditentukan dengan melihat nilai yang kurang dari 1,5 IQR terhadap kuartil 1 dan nilai yang lebih dari 1,5 IQR terhadap kuartil 3.
Dengan menggunakan Studientized Deleted Residual (TRES). Hipotesis untuk menguji adanya pencilan adalah:
H0 : Pengamatan ke - i bukan pencilan H1 : Pengamatan ke - i merupakan pencilan
7
TRES adalah statistik uji untuk mengetahui pencilan terhadap Y yang didefinisikan sebagai:
* ( ) + dimana :
̂ ̂( )
simpangan baku beda ( )
( )
banyaknya pengamatan
Kriteria pengujian yang melandasi keputusan adalah :
| | {
6.5. Regresi Robust
Regresi robust merupakan metode regresi yang digunakan ketika distribusi dari sisaan tidak normal. (Draper and Simth, 1992). Analisis regresi robust memberikan alternatif dari regresi kuadrat terkecil. Model regresi ketika asumsi mendasar terpenuhi oleh sifat data. Ketika analis memperkirakan model regresi statistik dan uji asumsi sering menemukan bahwa asumsi regresi klasik dilanggar. Analis dapat mengubah variabel-nya agar sesuai dengan asumsi- asumsi. Seringkali, transformasi tidak akan menghilangkan atau melemahkan pengaruh dari outlier yang akhirnya prediksi menjadi bias dan pentingnya estimasi parameter. Dalam keadaan ini, regresi robust yang tahan terhadap pengaruh pencilan adalah metode yang terbaik.(Robert A. Yafe, 2002).
6.6. M-estimasi
M-estimasi adalah ”tipe Maksimum Likelihood” estimasi. Bahwa sisaan adalah berdistribusi independen dan semua sissan mengikuti distribusi fungsi
8
yang sama, f(u). Maksimum likelihood estimator (MLE) diberikan dengan ̂, dimana nilai maksimumnya
∏ ( )
dimana adalah data ke-i pada X, i =1,2,3,...,n, pada model . Ekuivalen, MLE maksimum
∑ ( )
untuk mengestimasi bertujuan untuk meminimumkan jumlahan square fungsi
∑( )
pada kasus normal, dobel eksponensial dapat diminimumkan
∑| |
Estimasi-M merupakan masalah meminimumkan fungsi dengan merupakan fungsi sebarang.
∑
( ) ∑
, -
jika menyatakan turunan terhadap , maka diperoleh persamaan
∑
( )
dimana :
| | , i =1,2,...,n jika ( )
( ) dimana merupakan pembobot, maka { ( ) | |
| |
9 6.7. S-estimasi
S-estimasi pertama kali oleh Rousseeuw dan Yohai (1984) didefinisikan sebagai vektor-p . mereka memperkenalkan S-estimasi yang merupakan pengembangan dari M-estimasi. Kelemahan dari M-estimasi adalah kurangnya pertimbangan pada pola persebaran data dan bukan merupakan fungsi dari keseluruhan data karena hanya menggunakan median sebagai nilai pembobot. S- estimasi menggunakan simpangan baku sisaan untuk mengatasi kelemahan dari median. Menurut Salibian dan Yohai (2006) . S-estimasi merupakan penyelesaian dari:
∑ ( )
atau
∑ ( )
Penyelesaian persamaan adalah dengan cara menurunkannya terhadap β sehingga
∑ ( )
ψ disebut fungsi pengaruh yang nerupakan turunan dari ρ, sedangkan Ss didefinisikan sebagai
√ ∑ ( ) (∑ ) ( )
di mana adalah sisaan yang diperoleh melalui M-estimasi. Persamaan (2.27) dapat diselesaikan melalui MKT terboboti secara iterasi yang disebut iteratively reweighted least squares(IRWLS). Sisaan awal yang digunakan pada S-estimasi adalah sisaan yang diperoleh dari M-estimasi. Selanjutnya dikatakan bahwa iterasi kuadrat terkecil terboboti kembali merupakan proses pendugaan melalui metode
10
kuadrat terkecil terboboti dilanjutkan dengan menghitung sisaan dan pembobot w( ) yang baru dan dilakukan pendugaan secara berulang-ulang sampai konvergen. Kekonvergenan tercapai jika perubahan jumlah mutlak sisaan dari iterasi terakhir ke iterasi berikutnya kurang dari 0.01 (Salibian dan Yohai, 2006).
7. KERANGKA PEMIKIRAN
Pada suatu regresi linear apabila terdapat data outlier (pencilan) sekaligus variabel yang multikolinearitas, untuk memprediksi variabel dependen tidak dapat dilakukan dengan menggunakan regresi biasa, ataupun membuang data pencilan tersebut. Untuk menyelesaikan masalah tersebut, maka diperlukan suatu metode yang kekar terhadap pencilan yaitu dengan menggunakan regresi robust. Regresi robust yang digunakan adalah S-estimasi yang merupakan pengembangan dari M- estimasi. S-estimasi menanggulangi kelemahan M-estimasi yang hanya menggunakan nilai median sebagai pembobot, sedangkan dalam S-estimasi menggunakan simpangan baku sebagai pembobot.
8. METODE PENELITIAN
Pada penelitian ini, metode yang digunakan adalah studi literatur yaitu dengan mengumpulkan dan mempelajari referensi yang berupa buku dan jurnal yang berkaitan dengan materi model regresi robust. Langkah-langkah yang dilakukan dalam mengestimasi parameter pada regresi robust dengan metode S- estimasi adalah
1. menguji asumsi klasik analisis regresi linear
2. mendeteksi adanya pencilan pada data dengan metode boxplot atau dengan mengitung TRES
3. menduga koefisien regrest dengan MKT pada data tanpa pencilan 4. menduga koefisien regresi dengan S-estimasi
Langkah-langkah metode S-estimasi:
a. dengan MKT didapatkan parameter penduga awal dari model regresi didapatkan galat
11
b. Dari sisaan awal dihitung untuk mendapatkan nilai ui c. Menghitung nilai
d. Menggunakan MKT terbobot untuk mendapatkan penduga kuadrat terkecil terbobot
( )
e. Menjadikan sisaan langkah (d) sebagai sisaan awal langkah (b) sehingga diperoleh nilai dan pembobot yang baru
f. Iterasi diulang hingga mendapatkan kekonvergenan sehingga diperoleh yang merupakan M-estimasi sehingga didapatkan sisaan
g. Dari sisaan yang diperoleh pada langkah (f) dihitung untuk mendapatkan nilai
h. Menghitung nilai
i. Menggunakan MKT terbobot untuk mendapatkan penduga kuadrat terkecil terbobot
( )
j. Menjadikan sisaan langkah (i) sebagai sisaan awal langkah (g) sehingga diperoleh nilai dan pembobot yang baru
k. Iterasi diulang sampai didapatkan kekonvergenan sehingga diperoleh yang merupakan S-estimasi
9. JADWAL PENELITIAN
Kegiatan Bulan
Mrt Aprl Mei Juni Juli Agus Menyusun Proposal Tugas Akhir
Seminar Proposal Tugas Akhir Revisi Proposal Tugas Akhir
Menyusun BAB I
Menyusun BAB II
12
Menyusun BAB III
Menyusun BAB IV
Menyusun BAB V
Menyusun Artikel
Seminar Hasil
Revisi Artikel
Ujian Pendadaran
10. DAFTAR PUSTAKA
Birkes D, and Yadolah D. 1944. Alternative Methods of Regression. United States : Wiley Interscience Publication
Bowerman dan O`Connel. 1990. Linear Statsistical Model : An Aplied Approach Second Edition. Boston : PWS-KENT Pubishing Company.
Colin, Chen. 2000. Robust Regression and Outlier Detection with the ROBUSTREG Procedur. Paper 256-27
Daper, N.R and H.Smith. 1998. Applied Regression Analysis Third Edition.United states : Wiley Interscience Publication.
Gujarati, Damodar. 1978. Ekonometrika Dasar. Jakarta : Penerbit Erlangga.
Rousseeuw, P.J. & Van Driessen K. 1999. A Fast Algorithm for The Minimum Covariance Determinant Estimator, Technometrics, 41:212-223.
Rousseeuw, P.J., Croux C, & Hossjer O.1993. Generalized S-Estimator. AMS Subject Clusifications : 62F35, 62J05
Rousseeuw, P.J. & Yohai, V.J. 1984. Robust Regression by Mean of S-Estimators.
Berlin : New York. Paper 256 – 272
Salibian, M. & Yohai, V.J. 2006. A Fast Algoritm for S-Regression Estimates.
Journal of Computational and Graphical Statistics, Volume 15, Number 2, Pages 414-427.
