i
ESTIMASI FUNGSI PENGHALUS PADA REGRESI ISOTONIK ADITIF DENGAN METODE KUADRAT TERKECIL
oleh
YULIANA SITI NURAINI M0107071
SKRIPSI
ditulis dan diajukan untuk memenuhi sebagian persyaratan memperoleh gelar Sarjana Sains Matematika
JURUSAN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET
SURAKARTA 2012
ii SKRIPSI
ESTIMASI FUNGSI PENGHALUS PADA REGRESI ISOTONIK ADITIF DENGAN METODE KUADRAT TERKECIL
yang disiapkan dan disusun oleh YULIANA SITI NURAINI
M0107071
dibimbing oleh
Pembimbing I, Pembimbing II,
Dra. Etik Zukhronah, M.Si. NIP. 19730225 199903 2 001
Supriyadi, M.Si. NIP. 19680611 199302 2 001
telah dipertahankan di depan Dewan Penguji pada hari Kamis, tanggal 19 Januari 2012
dan dinyatakan telah memenuhi syarat.
Anggota Tim Penguji Tanda Tangan
1. Irwan Susanto, DEA.
NIP. 19710511 199512 1 001 1. ……… 2. Drs. Siswanto, M.Si. NIP. 19670813 199203 1 002 2. ……… Surakarta, Januari 2012 Disahkan oleh
Fakultas Matematika dan Ilmu Pengetahuan Alam Dekan,
Ir. Ari Handono Ramelan, M.Sc., (Hons)., Ph.D. NIP. 19610223 198601 1 001
Ketua Jurusan Matematika,
Irwan Susanto, DEA.
iii
ABSTRAK
Yuliana Siti Nuraini, 2012. ESTIMASI FUNGSI PENGHALUS PADA REGRESI ISOTONIK ADITIF DENGAN METODE KUADRAT TERKECIL. Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Sebelas Maret.
Regresi isotonik merupakan salah satu cabang dari regresi nonparametrik. Pada model regresi isotonik, data diasumsikan monoton naik, dan fungsi regresinya diasumsikan termasuk ke dalam kelas fungsi penghalus. Salah satu model regresi isotonik yang mengandung lebih dari satu variabel bebas adalah model regresi isotonik aditif. Tujuan dari penelitian ini adalah mengkaji ulang estimasi fungsi regresi isotonik aditif dan selanjutnya, menerapkan ke dalam contoh kasus.
Estimasi fungsi penghalus dalam model regresi isotonik aditif menggunakan metode kuadrat terkecil yang diselesaikan melalui algoritma
backfitting yaitu , dengan dihitung menggunakan
PAVA. Secara geometri, masalah estimasi dengan metode kuadrat terkecil tersebut dapat juga dipandang sebagai masalah proyeksi dalam suatu ruang vektor .
Kata kunci: regresi isotonik, regresi isotonik aditif, metode kuadrat terkecil, algoritma backfitting, proyeksi
iv
ABSTRACT
Yuliana Siti Nuraini, 2012. ESTIMATION OF SMOOTH FUNCTION IN ADDITIVE ISOTONIC REGRESSION USING LEAST SQUARE METHOD. Faculty of Mathematics and Natural Sciences, Sebelas Maret University.
Isotonic regression is one kind of nonparametric regression. In this model, data is assumed as increasing monoton, and its function is assumed as smooth function class. One of this model that is containing more than one independent variable is called additive isotonic regression model. The goal of this research are to recite the estimation of isotonic regression function, and to apply its in a case.
Estimation of smooth function in additive isotonic regression model uses least square method that is finished by backfitting algorithm, that is , where determined using PAVA. Geometrically, the problem of the method can be observed as projection problem in .
Keywords: isotonic regression, additive isotonic regression, least square method, backfitting algorithm, projection
v
MOTTO
Sesungguhnya sesudah kesulitan itu ada kemudahan. Maka apabila kamu telah selesai dari sesuatu urusan, kerjakanlah dengan
vi
PERSEMBAHAN
Karya ini ku persembahkan untuk alm. bapak, ibu, dan ketiga kakakku
tercinta atas segala doa, motivasi, dan dukungannya serta kasih sayang yang
vii
KATA PENGANTAR
Puji syukur senantiasa penulis panjatkan kehadirat Allah SWT atas segala limpahan rahmat dan karunia-Nya sehingga penulis dapat menyelesaikan skripsi ini. Terselesaikannya skripsi ini tidak lepas dari bimbingan dan bantuan dari berbagai pihak, untuk itu penulis mengucapkan terima kasih kepada
1. Dra. Etik Zukhronah, M. Si. selaku Pembimbing I atas bimbingan dan motivasinya kepada penulis dalam penyusunan skripsi ini.
2. Supriyadi Wibowo, M. Si. selaku Pembimbing II atas bimbingan dan motivasinya kepada penulis dalam penyusunan skripsi ini.
3. Keluargaku yang selalu memberikan doa dan motivasi.
4. Esi Mestalefa dan Lulu Atul Fajaroh yang telah memberikan masukan dan dukungan kepada penulis.
5. Teman-teman matematika angkatan 2007 dan 2006 atas motivasi dan masukan yang telah diberikan dalam penyusunan skripsi ini.
6. Semua pihak yang telah membantu kelancaran penulisan skripsi ini. Semoga karya ini dapat bermanfaat bagi pembaca.
Surakarta, Januari 2012
viii
DAFTAR ISI
JUDUL ... i PENGESAHAN ... ii ABSTRAK ... iii ABSTRACT ... iv MOTTO ... v PERSEMBAHAN ... viKATA PENGANTAR ... vii
DAFTAR ISI ... viii
DAFTAR GAMBAR ... x
DAFTAR NOTASI ... xi
BAB I PENDAHULUAN ... 1
1.1Latar Belakang Masalah ... 1
1.2Perumusan Masalah ... 3
1.3Batasan Masalah ... 3
1.4Tujuan ... 3
1.5Manfaat ... 3
BAB II LANDASAN TEORI ... 4
2.1Tinjauan Pustaka ... 4
2.2Teori-teori penunjang ... 5
2.2.1 Regresi Isotonik ... 5
2.2.2 Himpunan Convex Cone ... 8
2.2.3 Proyeksi ... 11
2.2.4 Metode Kuadrat Terkecil ... 13
2.2.5 Pooled Adjacent Violators Algorithm (PAVA) ... 14
2.2.6 Masalah Dual dari Regresi Isotonik ...15
2.2.7 Algoritma Dykstra ... 16
ix
BAB III METODE PENELITIAN ... 20
BAB IV PEMBAHASAN ... 21
4.1Estimasi Fungsi Penghalus Regresi Isotonnik Aditif dengan Metode Kuadrat Terkecil (MKT) ... 21
4.2Contoh Kasus ... 26
4.2.1 Deskripsi Data ... 26
4.2.2 Estimasi Fungsi Penghalus ... 27
BAB V PENUTUP ... 30
5.1 Kesimpulan ... 30
5.2 Saran ... 30
DAFTAR PUSTAKA ... 31
x
DAFTAR GAMBAR
Gambar 4.1 Grafik konsumsi bahan bakar gas terhadap berat mobil . 27 Gambar 4.2 Grafik konsumsi bahan bakar gas terhadap pergantian oli mesin
xi
DAFTAR NOTASI
: vektor variabel tak bebas : matriks variabel bebas : vektor variabel bebas ke : rata-rata dari vektor : vektor konstanta
: vektor fungsi penghalus dari variabel bebas : vektor variabel random
: matriks identitas : ruang vektor dimensi
: ruang vektor dimensi sebanyak variabel bebas : himpunan convex cone
: himpunan convex cone dari fungsi regresi pada variabel bebas ke : matriks fungsi regresi dari variabel bebas
: vektor fungsi regresi dari variabel bebas ke
: elemen fungsi penghalus dari variabel bebas ke untuk observasi ke : elemen fungsi regresi dari variabel bebas ke untuk observasi ke
: hasil estimasi variabel tak bebas : hasil estimasi fungsi penghalus
: proyeksi dari vektor ke himpunan convex cone : himpunan dual cone dari himpunan convex cone
: irisan dari himpunan convex cone untuk variabel bebas : perubahan kenaikan dari proses proyeksi
: barisan fungsi penghalus dari variabel bebas ke pada iterasi ke : irisan dari himpunan dual cone untuk variabel bebas
1 BAB I PENDAHULUAN
1.1 Latar Belakang Masalah
Banyak permasalahan dalam kehidupan nyata yang dapat diformulasikan ke dalam suatu model regresi karena lebih mudah digunakan dan lebih representatif. Menurut Sembiring [10], model regresi adalah model yang menentukan hubungan antara variabel bebas dan variabel tak bebas. Salah satu bentuk hubungan tersebut adalah monoton. Hubungan monoton ada dua yaitu monoton naik dan monoton turun.
Salanti [9] mengemukakan bahwa metode regresi yang dapat digunakan dalam bentuk hubungan variabel bebas dan variabel tak bebas monoton adalah regresi monotonik. Terdapat dua jenis metode regresi monotonik, yaitu regresi antitonik dan regresi isotonik. Regresi antitonik adalah metode regresi yang digunakan apabila hubungan antara variabel bebas dan variabel tak bebas berbetuk monoton turun. Apabila hubungan antara variabel bebas dan variabel tak bebasnya berbentuk monoton naik, metode regresi yang digunakan disebut regresi isotonik. Pada penelitian ini akan dibahas khusus untuk regresi isotonik. Satu-satunya asumsi pada regresi isotonik adalah nilai naik untuk nilai yang naik (Friedman dan Tibshirani [4]).
Pada penelitian Setiani [11] telah dibahas mengenai model regresi isotonik dengan satu variabel bebas dan satu variabel tak bebas. Oleh karena itu dalam skripsi ini, peneliti akan membahas model regresi isotonik dengan variabel bebas
lebih dari satu. Model regresi ini disebut sebagai model regresi isotonik aditif. Model regresi isotonik aditif adalah model yang menjelaskan bahwa suatu variabel tak bebas merupakan jumlah dari fungsi regresi pada masing-masing variabel bebas yang mempengaruhi.
Menurut Suparti [14], apabila dilihat dari asumsi bentuk fungsinya terdapat dua pendekatan yang dapat dilakukan dalam mengestimasi fungsi regresi, yaitu pendekatan parametrik dan nonparametrik. Pendekatan parametrik dilakukan ketika asumsi bentuk fungsi regresi diketahui tergantung pada suatu parameter,
2
sehingga mengestimasi fungsi regresi sama artinya dengan mengestimasi parameternya. Pendekatan nonparametrik dilakukan saat asumsi bentuk fungsi regresi tidak diketahui. Regresi isotonik merupakan salah satu jenis model regresi yang menggunakan pendekatan nonparametrik.
Menurut Suparti [14], fungsi regresi nonparametrik termuat dalam kelas fungsi penghalus artinya mempunyai turunan yang kontinu. Mammen dan Yu [8] mengestimasi fungsi regresi pada regresi isotonik aditif menggunakan metode kuadrat terkecil. Metode ini memiliki kelebihan, yaitu sederhana, mudah dalam perhitungannya, dan konsisten. Prinsip dari metode kuadrat terkecil adalah mencari nilai estimasi fungsi regresi yang meminimumkan sesatan. Menurut Mammen dan Yu, prinsip ini identik dengan prinsip proyeksi dalam geometri, yaitu mencari jarak terdekat dari dua vektor di .
Pada penelitian Mammen dan Yu [8], dan Hinder [6] masalah estimator kuadrat terkecil pada regresi isotonik aditif diselesaikan dengan menggunakan algoritma backfitting. Hinder [6] mengatakan bahwa algoritma backfitting
merupakan algoritma berulang dari metode kuadrat terkecil untuk setiap fungsi regresi pada regresi isotonik aditif. Oleh karena itu, algoritma ini cocok digunakan ketika fungsi regresi dari suatu model tidak diketahui. Pooled Adjacent Violators Algorithm (PAVA) digunakan di dalam algoritma backfitting ini untuk menghitung setiap fungsi regresi yang diestimasi.
PAVA adalah suatu algoritma yang digunakan untuk menghitung estimasi fungsi regresi agar hasil estimasi memenuhi asumsi monoton naik. Sehingga, dengan diterapkannya PAVA dalam algoritma backfitting menjamin hasil estimasi fungsi regresi dengan metode kuadrat terkecil, memenuhi asumsi pada regresi isotonik.
Berdasarkan hal tersebut, peneliti tertarik untuk mengkaji ulang estimasi fungsi regresi isotonik khususnya untuk fungsi penghalus pada regresi isotonik aditif. Metode yang digunakan untuk mengestimasi fungsi regresi isotonik aditif adalah metode kuadrat terkecil. Metode ini diselesaikan melalui algoritma
3
vektor . Setelah itu menerapkan langkah-langkah estimasi fungsi regresi tersebut ke dalam contoh kasus.
1.2 Rumusan Masalah
Berdasarkan latar belakang masalah, disusun perumusan masalah bagaimana estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil.
1.3 Batasan Masalah
Agar tidak memperluas pembahasan, penulisan skripsi ini dibatasi pada estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil yang diselesaikan dengan algoritma backfitting.
1.4 Tujuan Penelitian
Tujuan penulisan skripsi ini adalah mengestimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil.
1.5 Manfaat Penelitian
Manfaat dari penelitian ini adalah mengetahui hubungan antara metode kuadrat terkecil dan proyeksi, yaitu prinsip metode kuadrat terkecil identik dengan masalah proyeksi.
4 BAB II
LANDASAN TEORI
Pada bagian pertama dari bab ini diberikan tinjauan pustaka yang berisi penelitian-penelitian sebelumnya yang mendasari penelitian ini. Pada bagian kedua dari bab ini diberikan teori-teori penunjang yang berisi definisi-definisi sebagai dasar pengertian untuk mempermudah pembahasan selanjutnya. Pada bagian ketiga dari bab ini disusun kerangka pemikiran yang menjelaskan alur pemikiran dalam penulisan skripsi ini.
2.1 Tinjauan Pustaka
Pada tahun 1972 Barlow [1] menulis sebuah buku yang memperkenalkan tentang regresi isotonik. Dia membahas tentang regresi isotonik beserta metode-metode estimasi fungsi regresi. Metode estimasi yang dibahas oleh Barlow [1] adalah metode kuadrat terkecil dan metode maksimum likelihood. Kedua metode tersebut banyak digunakan juga oleh peneliti-peneliti lain untuk mengestimasi fungsi regresi pada berbagai masalah regresi.
Dahlbom [3] telah melakukan penelitian pada tahun 1998 tentang metode estimasi kuadrat terkecil terbobot. Metode estimasi yang dibahas oleh Dahlbom [3] merupakan perluasan dari metode estimasi kuadrat terkecil regresi isotonik yang telah dibahas oleh Barlow [1]. Dahlbom [3] membatasi penelitian hanya untuk kasus persamaan regresi dengan satu variabel bebas.
Kasus lain yang lebih luas, yaitu masalah regresi dengan variabel bebas lebih dari satu yang telah diteliti oleh Mammen dan Yu [8] pada tahun 2007. Mammen dan Yu [8] menyebutkan bahwa model regresi isotonik dengan variabel bebas lebih dari satu disebut dengan regresi isotonik aditif. Metode estimasi fungsi regresi isotonik aditif yang digunakan oleh Mammen dan Yu [8] adalah metode kuadrat terkecil yang diselesaikan dengan menggunakan algoritma
backfitting. Algoritma ini digunakan untuk mempermudah perhitungan estimasi fungsi regresi pada regresi isotonik aditif.
5
Pada tahun 2008 Hinder [6] menyempurnakan penelitian yang telah dilakukan oleh Mammen dan Yu [8]. Pada penelitian Hinder [6] telah dibuktikan teorema kekonvergenan dari algoritma backfitting. Pada penelitian ini akan mengkaji ulang hasil penelitian Mammen dan Yu [8], dan Hinder [6].
2.2 Teori-teori Penunjang
Untuk menyelesaikan perumusan masalah, perlu untuk menguraikan terlebih dahulu beberapa hal yang mendasari penelitian ini. Adapun beberapa hal tersebut meliputi regresi isotonik, himpunan convex cone, proyeksi, metode kuadrat terkecil, Pooled Adjacent Violators Algorithm (PAVA), masalah dual dari regresi isotonik, algoritma Dykstra.
2.2.1 Regresi Isotonik
Menurut Colombo [2], model regresi isotonik untuk satu variabel bebas dan satu variabel tak bebas dapat dinyatakan sebagai berikut
dengan
: vektor variabel tak bebas yang berukuran , : vektor variabel bebas yang berukuran ,
: vektor konstanta yang berukuran yang tidak diketahui,
: fungsi penghalus dari vektor variabel bebas yang tidak diketahui.
6
dan variansi untuk observasi ke sebagai berikut,
serta covariansi untuk observasi ke dan ke sebagai berikut,
Nilai varians-kovarians untuk n observasi dapat diringkas dalam bentuk matriks di bawah ini.
7
dengan adalah matriks identitas berukuran . Matriks pada persamaan disebut dengan matriks varians-kovarians.
Definisi 2.2.1. (Colombo [2]) Hubungan biner pada vektor dikatakan terurut sederhana pada vektor jika
a. Refleksif: , untuk ;
b. Transitif: jika , , maka ;
c. Antisimetris: jika , , maka ;
d. Setiap dua elemen pada vektor dibandingkan: berlaku atau .
Suatu fungsi penghalus pada persamaan dikatakan isotonik apabila memenuhi definisi berikut.
Definisi 2.2.2. (Colombo [2]) Misal adalah suatu vektor yang terdiri dari yang terurut sederhana . Suatu fungsi pada bernilai real dikatakan isotonik, jika dan dikatakan
antitonik, jika .
Berdasarkan Definisi 2.2.2 dapat diartikan bahwa fungsi penghalus dikatakan isotonik apabila fungsi tersebut memiliki sifat monoton naik.
Menurut Hinder [6], model regresi isotonik untuk lebih dari satu variabel bebas dan satu variabel tak bebas disebut model regresi isotonik aditif. Model regresi tersebut dinyatakan sebagai berikut
8
dengan adalah fungsi penghalus dari vektor variabel bebas ke- .
berbentuk vektor kolom, dengan dan adalah
konstanta yang tidak diketahui. Hastie dan Tibshirani [4] menyebutkan bahwa nilai , yaitu rata-rata dari . Pada tulisan ini diasumsikan sama dengan nol. Apabila model yang diperoleh memuat yang tidak nol, maka diganti dengan , dengan adalah rata-rata dari sehingga diperoleh sama dengan nol.
Oleh karena itu, dengan asumsi bahwa persamaan memuat yang sama dengan nol maka pada persamaan dapat dihilangkan, sehingga diperoleh persamaan,
2.2.2 Himpunan Convex Cone
Schott [12] menyebutkan bahwa himpunan convex adalah himpunan bagian dari suatu ruang . Himpunan convex ini dinotasikan dengan , dapat dituliskan dengan . Misal diberikan matriks , dengan
vektor dan , dapat dituliskan dalam matriks
Misalkan , dengan adalah fungsi dari matriks
dituliskan dengan , dengan
adalah fungsi dari vektor , untuk setiap . Fungsi tersebut dapat dituliskan dalam bentuk matriks,
9
Definisi 2.2.3. (Hoffmann [7]) Misalkan , adalah himpunan semua kolom yang sama pada matriks , dinotasikan dengan suatu vektor , dan vektor sedemikian sehingga terdapat matriks . Dengan
kata lain, .
Berdasarkan Definisi 2.2.3, persamaan dapat dituliskan menjadi,
dengan
untuk setiap dimana , dan adalah himpunan bagian dari ,
, dengan .
Definisi 2.2.4. (Schott [12]) Suatu himpunan dikatakan himpunan convex, jika untuk setiap vektor dan vektor , berlaku
dimana adalah skalar yang memenuhi .
Karena adalah himpunan convex dan , untuk setiap , maka juga himpunan convex di ruang vektor .
Definisi 2.2.5. (Hinder [6]) Suatu himpunan dikatakan himpunan cone, jika untuk setiap matriks dan berlaku
10
Pada tulisan ini, hasil kali skalar dalam suatu ruang vektor didefinisikan sebagai berikut.
Definisi 2.2.6. (Smith dan Minton [13]) Hasil kali titik dari dua vektor dan di didefinisikan dengan,
Definisi 2.2.7. (Hoffmann [7]) Hasil kali skalar dari didefinisikan dengan,
Berdasarkan Definisi 2.2.6 dan 2.2.7 dapat disimpulkan bahwa hasil kali titik sama dengan hasil kali skalar, atau dapat dituliskan dengan .
Definisi 2.2.8. (Hoffmann [7]) Hasil kali skalar dari vektor ,
dengan dan ,
untuk setiap didefinisikan dengan,
Operasi hasil kali skalar pada Definisi 2.2.8 digunakan dalam beberapa definisi berikut.
Definisi 2.2.9. (Barlow, et al. [1])Misalkan adalah himpunan convex cone dari
matriks pada , , dengan adalah fungsi
dari vektor yang memenuhi:
a) jika vektor dan vektor , maka , dengan , dan
11
dikatakan dual cone dari , jika vektor , untuk setiap , maka
dengan dan ,
untuk semua vektor .
2.2.3 Proyeksi
Pada penelitian Mammen dan Yu [8], menyebutkan bahwa regresi isotonik dengan satu variabel bebas, estimasi fungsi regresi diperoleh dari proyeksi vektor ke convexcone dari vektor isotonik di . Dengan kata lain, estimator kuadrat terkecil pada regresi isotonik dengan satu variabel bebas,
dengan vektor , untuk , maka atau ditulis
, merupakan proyeksi dari vektor , ke convex cone dari vektor isotonik di . Proyeksi ini disimbolkan dengan .
Selanjutnya akan dijelaskan proyeksi ke convex cone dari vektor isotonik untuk regresi isotonik dengan variabel bebas. Persamaan regresi isotonik dengan variabel bebas pada persamaan dapat dituliskan menjadi,
Vektor adalah jumlahan dari semua elemen baris yang sama pada matriks
. Dengan kata lain, , untuk setiap ,
dan , maka . Atau dapat dituliskan
dengan , dengan adalah himpunan bagian dari
. Sehingga juga merupakan himpunan bagian dari , ditulis .
Definisi 2.2.10. (Hoffmann [7]) merupakan himpunan convex cone dari vektor isotonik di . Titik terdekat dari ke vektor adalah
12
Definisi 2.2.11. (Hoffmann [7]) Suatu proyeksi , yaitu proyeksi dari vektor ke sebuah convex cone isotonik memiliki tiga sifat berikut:
a. b.
c. , untuk semua
.
Sebagai contoh, berikut ini akan diberikan gambar proyeksi pada regresi isotonik dengan dua variabel bebas. Misal terdapat persamaan regresi isotonik dengan dua variabel bebas
dan hasil estimasi dituliskan dengan
Estimasi vektor digambarkan dalam proyeksi seperti pada Gambar 2.1,
dengan .
Gambar 2.1. Proyeksi dari vektor ke convex cone dari vektor isotonik , dengan
Dari Gambar 2.1 terlihat bahwa , adalah jarak terdekat dari vektor ke convex cone dari vektor isotonik, dengan vektor . Sehingga diperoleh vektor yang meminimumkan sesatan, . Dengan kata
13
lain, dapat dikatakan bahwa masalah proyeksi adalah pendekatan geometri dari masalah estimasi kuadrat terkecil pada regresi.
2.2.4 Metode Kuadrat Terkecil
Selanjutnya Sembiring [10] mengemukakan bahwa metode estimasi yang baik untuk mengestimasi fungsi regresi adalah dengan menggunakan metode kuadrat terkecil. Estimasi untuk fungsi penghalus pada regresi isotonik dengan satu variabel bebas diperoleh dengan meminimumkan jumlah kuadrat dari sesatan,
Pada regresi isotonik dengan satu variabel bebas didapat,
dengan , dan
Sehingga,
Estimasi fungsi penghalus regresi isotonik aditif untuk variabel bebas analog dengan estimasi untuk satu variabel bebas, yaitu meminimumkan jumlah kuadrat sesatan berikut.
14
Pada regresi isotonik dengan variabel bebas,
dengan , maka
dengan , dan
Sehingga diperoleh,
Menurut Zhang [15], prinsip dari estimasi fungsi regresi dengan menggunakan metode kuadrat terkecil identik dengan prinsip pada masalah proyeksi. Oleh karena itu, secara geometri estimasi fungsi regresi isotonik aditif dapat dipandang sebagai masalah proyeksi.
Algoritma perhitungan untuk mengestimasi fungsi penghalus regresi isotonik aditif, mengikuti algoritma backfitting. Di dalam algoritma backfitting
digunakan aplikasi dari Pooled Adjacent Violators Algorithm (PAVA) untuk masing-masing fungsi penghalus yang diestimasi. Selanjutnya, akan diberikan penjelasan tentang PAVA beserta langkah-langkah penggunaannya.
2.2.5 Pooled Adjacent Violators Algorithm (PAVA)
Salanti [9] menyebutkan bahwa Pooled Adjacent Violators Algorithm
(PAVA) adalah algoritma yang biasa digunakan dalam analisis regresi isotonik. Algoritma ini menjamin estimasi fungsi penghalus memenuhi asumsi monoton naik. Berikut ini akan dijelaskan langkah-langkah menggunakan PAVA.
15
Diketahui merupakan fungsi penghalus dari variabel bebas ke , dengan dan . Menurut Colombo [2], Pooled Adjacent Violators Algorithm (PAVA) dapat dinyatakan sebagai berikut
1. Jika adalah memenuhi asumsi isotonik
, maka .
2. Jika untuk beberapa berlaku , maka kedua nilai tersebut diganti dengan nilai rata-rata keduanya, .
3. Jika himpunan baru sebanyak nilai ini memenuhi asumsi isotonik, yaitu
maka,
dan , untuk .
4. Jika himpunan baru ini belum memenuhi asumsi isotonik, maka proses ini diulang dari langkah kedua menggunakan nilai dari himpunan baru, hingga diperoleh himpunan yang memenuhi asumsi monoton naik.
2.2.6 Masalah Dual dari Regresi Isotonik
Misal terdapat regresi isotonik dengan satu variabel bebas, estimasi fungsi penghalus diperoleh dengan meminimumkan persamaan
dengan adalah himpunan convex cone dari vektor isotonik .
Persamaan dapat diselesaikan melalui bentuk dual dari persamaan tersebut, yaitu
16
dengan adalah dual cone dari convex cone . Hubungan antara masalah dual
pada persamaan dan masalah asli pada persamaan dijelaskan dalam teorema berikut.
Teorema 2.2.12. (Hinder [6])Jika adalah himpunan convex cone tidak kosong dan melambangkan dual cone dari , maka penyelesaian untuk persamaan
dapat diselesaikan melalui
dengan adalah penyelesaian untuk persamaan . Atau sama artinya dengan
dengan adalah matriks identitas.
Jika masalah dual lebih mudah diselesaikan daripada masalah asli, maka dari hasil masalah dual dapat diperoleh penyelesaian untuk masalah asli, yaitu melalui persamaan
dengan adalah hasil estimasi dari masalah dual, dan adalah hasil estimasi untuk masalah asli.
2.2.7 Algoritma Dykstra
Selanjutnya, akan dibangun suatu algoritma untuk menyelesaikan bentuk permasalahan berikut.
dengan adalah himpunan convex cone dan berjumlah terbatas. Hinder [6] menyebutkan bahwa masalah pada persamaan dapat diselesaikan melalui algoritma Dykstra.
Algoritma Dykstra adalah suatu algoritma berulang yang menggunakan prinsip proyeksi untuk membangun suatu barisan fungsi sedemikian
17
sehingga konvergen ke . Algoritma Dykstra untuk menyelesaikan masalah pada persamaan diberikan sebagai berikut.
Algoritma Proyeksi Dykstra:
1. Misal menunjukkan proyeksi ke cone dan menotasikan perubahan kenaikan yang diberikan oleh proyeksi, yaitu . Sehingga dapat ditulis,
.
2. Misal adalah proyeksi ke . Perubahan kenaikan , sehingga
.
3. Berlanjut hingga .
Dengan menunjukkan proyeksi dari ke .
Kenaikan yang baru ditunjukkan dengan , sedemikian sehingga
. 4. Secara umum adalah proyeksi dari
ke cone pada iterasi ke . Dan . Sehingga
. 5. Berlanjut hingga tingkat konvergensi dicapai.
Konvergensi dari algoritma Dykstra ditunjukkan dalam teorema di bawah ini.
Teorema 2.2.13. (Hinder [6]) Vektor konvergen ke , dengan , dan untuk .
18
Sebagai contoh, misal akan diselesaikan permasalahan
dengan adalah himpunan convex cone untuk , dan
juga merupakan himpunan convex cone. Persamaan dapat dibentuk persamaan dualnya
Hubungan antara penjumlahan dan irisan dari himpunan dual cone telah dijelaskan dalam Zhang [15].
Proposisi 2.2.14. (Zhang [15]) jika adalah himpunan convex cone, maka
Oleh karena itu, masalah dual pada persamaan dapat dituliskan dengan,
Seperti pada persamaan , masalah pada persamaan juga dapat diselesaikan dengan menggunakan algoritma Dykstra.
2.3 Kerangka Pemikiran
Berdasarkan tinjauan pustaka, dapat disusun suatu kerangka pemikiran untuk menyelesaikan permasalahan dalam penelitian ini. Pada penelitian ini akan dibahas model regresi isotonik aditif, yaitu model regresi isotonik yang mempunyai lebih dari satu variabel bebas dan satu variabel tak bebas. Fungsi penghalus di dalam model regresi isotonik aditif tidak diketahui, sehingga perlu dilakukan estimasi fungsi penghalus . Metode yang akan digunakan untuk mengestimasi fungsi penghalus pada model regresi isotonik aditif adalah metode kuadrat terkecil. Secara geometri metode estimasi ini dapat
19
dipandang sebagai masalah proyeksi karena prinsip meminimumkan sesatan pada metode kuadrat terkecil identik dengan mencari jarak terdekat dari dua vektor di ruang . Dalam kasus ini, vektor diproyeksikan ke convex cone dari vektor isotonik, disimbolkan dengan . Masalah estimasi dengan menggunakan metode kuadrat terkecil ini dapat diselesaikan melalui algoritma backfitting. Pada algoritma backfitting menerapkan PAVA untuk masing-masing fungsi penghalus yang diestimasi pada regresi isotonik aditif. Langkah selanjutnya, membuktikan teorema kekonvergenan hasil estimasi fungsi penghalus regresi isotonik aditif dari algoritma backfitting. Kemudian memberikan contoh aplikasi untuk menerapkan langkah-langkah estimasi fungsi penghalus pada regresi isotonik aditif.
20 BAB III
METODE PENELITIAN
Metode penelitian yang digunakan dalam penulisan skripsi ini adalah kajian pustaka yaitu dengan mengumpulkan referensi berupa buku, skripsi, jurnal maupun tulisan-tulisan yang dimuat di situs web yang berkaitan dengan regresi isotonik. Kemudian menjelaskan kembali hasil penelitian dari jurnal atau sumber lain yang diperoleh.
Langkah-langkah yang dilakukan dalam pembahasan rumusan masalah sebagai berikut,
1. mengestimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil.
a. metode kuadrat terkecil diselesaikan melalui algoritma backfitting, b. metode kuadrat terkecil dipandang sebagai masalah proyeksi dalam
suatu ruang vektor ,
2. membuktikan teorema kekonvergenan hasil estimasi fungsi penghalus regresi isotonik aditif dari algoritma backfitting,
3. memberikan contoh aplikasi untuk menerapkan algoritma estimasi fungsi penghalus pada regresi isotonik aditif.
21 BAB IV PEMBAHASAN
4.1 Estimasi Fungsi Penghalus Pada Regresi Isotonik Aditif dengan Metode Kuadrat Terkecil (MKT)
Pada BAB II telah dikemukakan bahwa dalam penelitian ini akan membahas model regresi isotonik, khususnya untuk kasus lebih dari satu variabel bebas. Model yang sesuai untuk merepresentasikan regresi isotonik tersebut adalah model regresi isotonik aditif. Persamaan regresi isotonik aditif dijelaskan sebagai berikut.
Diketahui vektor random , dimana vektor adalah variabel tak bebas, dan vektor adalah variabel bebas ke ,
. Persamaan regresi isotonik aditif diberikan seperti pada persamaan . Nilai harapan bersyarat untuk tertentu adalah
vektor dianggap sebagai fungsi monoton naik pada vektor .
Fungsi penghalus diestimasi dengan menggunakan metode kuadrat terkecil. Sebelum mengestimasi fungsi penghalus pada regresi isotonik dengan variabel bebas, akan dijelaskan terlebih dahulu estimasi untuk regresi isotonik dengan satu variabel bebas. Menurut Mammen dan Yu [6], estimator kuadrat terkecil pada regresi isotonik dengan satu variabel bebas dapat dipandang sebagai proyeksi dari vektor respon ke himpunan convex cone
dari vektor isotonik. Definisi untuk proyeksi dan himpunan convex cone telah dipaparkan dalam BAB II.
Persamaan regresi isotonik dengan satu variabel dituliskan seperti pada persamaan . Estimasi fungsi penghalus pada regresi isotonik tersebut adalah yang diperoleh dengan meminimumkan masalah pada persamaan,
22
dan adalah estimasi fungsi penghalus isotonik dari vektor , . Menurut Hinder [6], penyelesaian dari masalah ini dipandang sebagai proyeksi dari vektor ke himpunan convex cone . Jika proyeksi ini dinotasikan dengan , maka penyelesaian yang berarti bahwa vektor diperoleh dengan meminimumkan jarak vektor ke himpunan convex cone
dari vektor isotonik.
Ide proyeksi ini dapat juga digunakan untuk masalah regresi isotonik dengan variabel bebas. Misalkan , adalah himpunan convex cone
dari vektor isotonik dengan panjang untuk vektor . Sehingga estimasi kuadrat terkecil regresi isotonik dengan variabel bebas dari persamaan adalah masalah minimisasi yang dapat dituliskan dengan,
dengan , dan menunjukkan
himpunan gabungan dari . Penyelesaian dari persamaan dapat dipandang sebagai proyeksi dari vektor ke himpunan convex cone
dari vektor isotonik.
Masalah minimisasi pada persamaan dapat dituliskan kembali sebagai masalah minimisasi terhadap himpunan cartesian product .
Misalkan dan
23
Penyelesaian pada persamaan dapat diselesaikan melalui persamaan . dari persamaan dapat dituliskan dengan
, dengan , untuk setiap diperoleh dari persamaan . Algoritma yang umum digunakan untuk memecahkan masalah pada persamaan ini disebut dengan algoritma backfitting. Algoritma backfitting
merupakan algoritma berulang yang meminimumkan persamaan untuk salah satu , dengan , tetap untuk setiap langkah. Sehingga menghasilkan barisan dan , yaitu fungsi dari vektor variabel bebas ke pada iterasi ke . dapat dituliskan dengan,
dengan . Dengan kata lain, diperoleh dengan
meminimumkan persamaan . Algoritma backfitting menghasilkan barisan yang merupakan proyeksi dari
ke himpunan convex cone dari vektor isotonik, yang dilambangkan dengan , dapat dituliskan dengan
sama artinya dengan,
Contoh gambar proyeksi algoritma backfitting untuk dua variabel bebas di terdapat pada Lampiran 3.
Masalah perhitungan untuk setiap pada persamaan dapat diselesaikan dengan menggunakan PAVA di dalam algoritma backfitting. Algoritma backfitting dengan menerapkan PAVA untuk setiap adalah sebagai berikut.
24
Algoritma backfitting:
1. Nilai awal fungsi pada iterasi awal, adalah nol, atau dapat ditulis dengan, , untuk setiap .
2. Selanjutnya, pada iterasi dan untuk variabel bebas a. Menghitung sisaan
dengan,
adalah vektor sisaan untuk variabel bebas ke , pada iterasi ke- b. Menghitung pada regresi isotonik menggunakan PAVA
atau dapat diartikan bahwa diperoleh dari regresi isotonik ,
dengan .
3. Perhitungan berhenti ketika mencapai tingkat konvergensi, dengan kriteria konvergensi
dengan .
Selanjutnya, konvergensi dari algoritma backfitting ditunjukkan dalam Teorema 4.1.
Teorema 4.1 (Hinder [6])
Barisan konvergen ke , dengan
dan . Jika masalah pada persamaan memiliki penyelesaian tunggal, katakan , maka barisan
konvergen ke vektor dengan elemen konstan untuk dan .
Bukti:
Algoritma backfitting pada persamaan yang digunakan untuk menyelesaikan masalah persamaan bersesuaian dengan masalah dual pada
25
algoritma Dykstra dalam Bab II. Selanjutnya akan dijelaskan mengenai hubungan antara kedua algoritma tersebut. Misal diberikan himpunan convex cone yang dinotasikan dengan dan adalah dual cone dari . Proyeksi ke dinotasikan , dengan menggunakan Teorema 2.2.12 sehingga proyeksi ke dinotasikan
dengan .
Misal diberikan , dengan adalah himpunan convex cone dari vektor isotonik di . Jika proyeksi ke adalah , maka dengan Teorema 2.2.12, proyeksi ke dinotasikan dengan . Sisaan setelah iterasi ke untuk variabel bebas ke pada algoritma backfitting
dinotasikan dengan . Dari notasi ini, dapat diperoleh algoritma sebagai berikut.
dengan memisalkan untuk perubahan kenaikan, terlihat bahwa persamaan dan membentuk algoritma proyeksi Dykstra untuk menyelesaikan permasalahan berikut
26
Berdasarkan Teorema 2.2.13, diketahui bahwa konvergen ke , dengan , dan . Pada Teorema 2.2.12 diketahui bahwa
, berlaku juga untuk , dengan .
Berdasarkan penjelasan Teorema 2.2.12 dan 2.2.13, sehingga dapat disimpulkan bahwa konvergen ke untuk , dan . Hal ini juga berlaku apabila persamaan memiliki penyelesaian tunggal. □
4.2 Contoh Kasus 4.2.1 Deskripsi Data
Model regresi isotonik aditif diterapkan pada data konsumsi gas mobil di Negara Amerika. Data yang digunakan diambil dari contoh kasus dalam Hinder [6]. Pada bagian ini, peneliti mempelajari secara singkat tentang pengaruh terbesar antara berat mobil dengan pergantian oli mesin terhadap kenaikan konsumsi gas mobil . Sampel yang digunakan sebanyak 60 mobil, dengan satuan untuk konsumsi gas mobil dalam liter per100 kilometer (l/100km), berat mobil dalam kilogram (kg), dan pergantian oli mesin dalam liter (l). Kedua variabel dan diasumsikan mempunyai pengaruh yang positif terhadap konsumsi gas . Data konsumsi gas pada mobil disajikan dalam Lampiran 1.
Berdasarkan data pada Lampiran 1, dapat dilihat hubungan antara berat mobil dan pergantian oli mesin terhadap konsumsi gas melalui Gambar 4.1 dan Gambar 4.2. Pada Gambar 4.1 menunjukkan scatter plot dari data berat mobil dan konsumsi bahan bakar gas cenderung naik. Sehingga dapat diartikan bahwa berat mobil memiliki pengaruh positif terhadap kenaikan konsumsi bahan bakar gas. Pada Gambar 4.2 menunjukkan scatter plot dari data pergantian oli mesin dan konsumsi bahan bakar gas juga cenderung naik. Sehingga, dapat diartikan bahwa pergantian oli mesin juga memiliki pengaruh positif terhadap kenaikan konsumsi bahan bakar gas. Oleh karena itu, data pada Lampiran 1 dapat digunakan sebagai contoh kasus untuk regresi isotonik aditif.
27 1800 1600 1400 1200 1000 800 13 12 11 10 9 8 7 6 x1 y Scatterplot of y vs x1
Gambar 4.1. Grafik konsumsi bahan bakar gas terhadap berat mobil
5 4 3 2 1 13 12 11 10 9 8 7 6 x2 y Scatterplot of y vs x2
Gambar 4.2. Grafik konsumsi bahan bakar gas terhadap pergantian oli mesin
4.2.2 Estimasi Fungsi Penghalus
Pada model regresi isotonik aditif dengan dua variabel bebas terdapat dua fungsi penghalus, dan yang perlu diestimasi. Proses estimasi fungsi penghalus dilakukan dengan menggunakan metode kuadrat terkecil. Pada regresi ini, bentuk fungsi penghalus tidak diketahui maka metode kuadrat terkecil diselesaikan melalui algoritma backfitting. Nilai nilai awal untuk fungsi
28
yaitu untuk setiap . Algoritma backfitting untuk contoh kasus ini diberikan sebagai berikut.
1. Nilai awal , untuk setiap . 2. Saat iterasi pertama, diperoleh
a. untuk variabel bebas pertama,
dan
diperoleh dengan menggunakan PAVA
b. untuk variabel bebas kedua,
dan
diperoleh dengan menggunakan PAVA. 3. Saat iterasi kedua, diperoleh
c. untuk variabel bebas pertama,
dan
diperoleh dengan menggunakan PAVA
d. untuk variabel bebas kedua,
dan
diperoleh dengan menggunakan PAVA.
4. Dan seterusnya hingga memenuhi kriteria konvergensi, yaitu
29
Estimasi fungsi penghalus pada kasus ini dilakukan dua kali, yaitu untuk yang diurutkan dan untuk yang diurutkan. Proses iterasi ketika variabel diurutkan dari kecil ke besar berhenti pada iterasi ke-2. Saat variabel yang diurutkan, proses iterasi juga berhenti pada iterasi ke-2. Hasil estimasi fungsi
dan dapat dilihat pada Lampiran 2.
Berdasarkan hasil estimasi untuk dan dalam Lampiran 2 diperoleh nilai MSE (Mean Square Error). MSE untuk variabel diurutkan, , dan MSE untuk variabel diurutkan, . Sehingga model yang terbaik diperoleh ketika variabel diurutkan. Oleh karena itu, variabel yang memberikan pengaruh terbesar terhadap kenaikan konsumsi gas adalah pergantian oli mesin mobil.
30 BAB V PENUTUP
5.1 Kesimpulan
Berdasarkan pembahasan pada skripsi ini, diperoleh kesimpulan sebagai berikut.
1. Estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil diselesaikan melalui algoritma backfitting yaitu
, dengan dihitung menggunakan PAVA.
2. Secara geometri, estimasi fungsi penghalus dengan menggunakan metode kuadrat terkecil dapat dipandang sebagai masalah proyeksi dalam suatu ruang vektor .
5.2 Saran
Pada skripsi ini, hanya dibahas tentang estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil dengan metode pendekatan algoritma backfitting. Bagi pembaca yang tertarik untuk mengembangkan skripsi ini disarankan untuk meneliti estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil dengan metode pendekatan yang lain, misalnya estimator oracle.
