1
Analisis regresi merupakan metode analisis data yang menggambarkan hubungan antara variabel respon dengan satu atau beberapa variabel prediktor.
Analisis regresi tersebut dirancang untuk keadaan dimana variabel respon diperkirakan memiliki hubungan dengan variabel-variabel prediktor lainnya.
Andaikan terdapat n pengamatan pasangan
X Y1, 1
, X Y2, 2
, ,
X Y sampel n, n
dengan Xi adalah variabel prediktor dan Yi adalah variabel respon, maka hubungan linear antara variabel respon dengan variabel prediktor yang memenuhi model di bawah ini:
Yi = r(Xi) + εi, (1.1) dapat dicari. Dimana εi adalah random error dengan asumsi independen, E(εi)=0 dan Var(εi)=σ2, dan r(Xi) adalah fungsi regresi yang tidak diketahui dan akan diestimasi. Dalam hal ini fungsi r(Xi) diasumsikan kontinu dan mempunyai tingkat kemulusan tertentu.
Ada dua jenis pendekatan yang digunakan untuk mengestimasi fungsi regresi r(Xi) yaitu secara parametrik maupun nonparametrik. Pendekatan parametrik dilakukan jika ada asumsi tentang bentuk fungsi regresi r(Xi) mengenai hubungan antara variabel respon dan variabel prediktor, sedangkan pendekatan nonparametrik dilakukan jika tidak ada asumsi tentang bentuk fungsi regresi r(Xi) dan akan diestimasi berdasarkan data pengamatan dengan menggunakan teknik smoothing. Dalam hal ini, kurva regresi diasumsikan termuat dalam suatu fungsi mulus yang mempunyai turunan yang kontinu.
Ada berbagai macam teknik smoothing yang digunakan dalam pendekatan nonparametrik antara lain histogram, estimator kernel, deret orthogonal, estimator spline, k-NN, deret fourier, dan wavelet. Dan salah satu teknik yang akan digunakan dalam tesis ini adalah estimator kernel. Menurut Timothy dan Dimitris (2008) ada berbagai macam estimator kernel antara lain yang diusulkan oleh Nadaraya dan Watson, Gaseer dan Muller, dan estimator lokal polinomial. Pada
masing-masing metode tersebut, fungsi r(Xi) akan diestimasi dengan menggunakan rata-rata bobot lokal yang mendekati x.Kemulusan fungsi r(Xi) dan sifat-sifat dari bobot yang digunakan dalam rata-rata tersebut menentukan performance dari estimator.
Menurut Hardle (1990) estimator Nadaraya-Watson didefinisikan sebagai berikut:
11
1
ˆ 1
n
i i i
n
k k
x X
K Y
nh h
r x x X
nh K h
(1.2)dengan K(x) adalah fungsi kernel yang digunakan sebagai pembobot, sedangkan h (bandwidth) adalah parameter yang digunakan sebagai pemulus. Penyebut dari estimator di atas biasa kita sebut sebagai estimator densitas kernel atau biasa disimbolkan dengan fˆh
x .Menurut Hardle (1994) ketepatan suatu pemulus kernel sebagai estimator dari r ditentukan oleh dua hal yaitu bandwidth dan fungsi kernel yang digunakan sebagai bobot. Bandwidth h pada estimator di atas berfungsi untuk menyeimbangkan antara bias dan variansi dari fungsi tersebut. Bandwidth yang terlalu kecil akan menyebabkan fungsi yang diestimasi tersebut menjadi sangat kasar sehingga hubungan variansinya tinggi dan memiliki potensi bias yang rendah. Sebaliknya jika bandwidth yang terlalu besar menyebabkan fungsi yang diestimasi akan sangat mulus sehingga hubungan variansinya rendah dan memiliki potensi bias yang besar. Oleh karena itu diperlukan pemilihan bandwidth yang optimum. Cross validation, plug-in adalah beberapa metode yang digunakan untuk mendapatkan bandwidth yang optimum. Pemilihan bandwidth yang optimum dilakukan dengan cara memperkecil tingkat kesalahan. Semakin kecil tingkat kesalahannya semakin baik estimasinya. Untuk mengetahui ukuran tingkat kesalahan suatu estimator dapat dilihat dari MSE (Mean Squared Error) atau MISE (Mean Integrated Squared Error).
Sedangkan kernel K berfungsi sebagai bobot yang ikut menentukan kemulusan fungsi r, ketepatan pemulus kernel sebagai estimator, dan juga dalam menentukan performance (bias, variansi dan MSE) yang optimal secara asimtotik.
Menurut Timothy dan Dimitris (2003) jika kernel K mempunyai order v dan fungsi kepadatan r mempunyai turunan kontinu sebanyak k kali maka
Bias (ˆr x ) = C
K,r(x) hn + o(hn) (1.3) Dimana n=min{v,k} dan CK,r(x) adalah fungsi terbatas yang bergantung pada K, r, dan turunan fungsi r. Ketika fungsi r cukup mulus atau dapat dideferensialkan sebanyak k kali dimana v ≥ k, maka bias ˆr x dapat direduksi menjadi o(h
k) dengan secara tepat memilih kernel dengan order yang lebih besar dari banyaknya diferensial. Namun untuk mengestimasi jumlah diferensial dari fungsi r tidaklah mudah, sehingga kita kesulitan untuk menentukan order kernel berapakah yang harus dipilih agar bias estimator tersebut dapat direduksi menjadi o(hk). Oleh karena itu ditetapkan suatu kernel yang memiliki “infinite order”. Kernel tersebut mampu mereduksi bias ˆr x dari o(h
n) menjadi o(hk) tidak peduli berapa besar k.Dalam tesis ini akan dicari performance (bias, variansi) dari penyebut dan pembilang estimator Nadaraya –Watson menggunakan kernel berorder tak hingga kemudian mencari sifat-sifat dari estimator tersebut secara asimtotik baik distribusinya maupun kekonsistenannya. Kemudian dibandingkan performance dari kernel berorder tak hingga dengan kernel berorder berhingga menggunakan program R dengan membandingkan nilai MSE dari masing-masing kernel.
1.2 Tujuan Penelitian
Berdasarkan apa yang telah diuraikan pada latar belakang di atas maka tujuan dari penulisan tesis ini adalah:
1. Mencari performance (bias dan variansi) dari pembilang dan penyebut estimator Nadaraya-Watson dengan kelas baru kernel yaitu infinite order Kernel secara asimtotik.
2. Menyelidiki kekonsistenan dan distribusi dari estimator Nadaraya-Watson dengan kelas baru kernel secara asimtotik.
3. Melakukan studi kasus dari data rata-rata volume air sungai di Indonesia yang pengalirannya lebih dari 1000 km2 melalui teknik pemulus kernel menggunakan estimator Nadaraya-Watson kernel berorder berhingga dan tak hingga dengan menggunakan program R.
4. Membandingkan performance antara estimator Nadaraya-Watson kernel berorder berhingga dengan tak hingga dilihat dari grafik dan nilai MSE.
1.3 Manfaat Penelitian
Manfaat yang diharapkan diperoleh dari penulisan tesis ini adalah:
1. Bagi penulis diharapkan dapat menambah pemahaman mengenai sifat-sifat asimtotis dari estimator Nadaraya-Watson dengan kelas baru kernelnya.
2. Dapat memberikan sumbangan terhadap perkembangan ilmu pengetahuan dan menambah wawasan pengetahuan dalam bidang statistika terutama dalam mencari estimasi fungsi densitas dari regresi nonprametrik dengan teknik smoothing, dan dalam memahami sifat-sifat estimator Nadaraya-Watson dengan kelas kernel baru secara asimtotis.
3. Bagi pembaca sebagai motivasi untuk mengembangkan penemuan baru dalam mengestimasi fungsi dalam regresi nonparametrik dengan teknik smoothing.
1.4 Tinjauan Pustaka
Dalam jurnalnya Kernel Estimators of Regression Function, Bierens (1985) meneliti mengenai bagaimana cara menetapkan fungsi kernel dan juga cara pemilihan bandwidth. Selain itu, dalam jurnalnya tersebut Bierens juga membahas mengenai sifat-sifat asimtotik dari estimator Nadaraya-Watson dengan kernel yang mempunyai finite order. Sedangkan Jianqing Fan (2007) dalam jurnalnya yang berjudul Design Adaptive Nonparametric Regression membahas mengenai performance diantara dua metode smoothing yaitu lokal linear dan juga kernel.
Estimator kernel yang digunakan oleh Jianqing Fan adalah estimator Gasser Muller dan juga Nadaraya-Watson. Timothy L McMurry dan Dimitris N Politis (2003) dalam jurnalnya yang berjudul Nonparametric Regression with Infinite
Order Flat-Top Kernels juga menguji sifat-sifat asimtotik kernel, namun menggunakan kelas kernel yang baru yaitu kernel dengan order yang tak hingga (infinite) menggunakan estimator Gasser-Muller. Penelitian yang hampir serupa juga pernah diteliti oleh Timothy L McMurry dan Dimitris N Politis (2008) dalam jurnalnya yang berjudul Minimally Biased Nonparametric Regression and Autoregressseion. Dalam jurnalnya tersebut Timothy dan Dimitris membahas mengenai bias regresi dan autoregresi nonparametrik secara minimal dengan menggunakan kelas kernel yang baru yaitu kernel dengan order tak hingga, namum dalam tesis ini penulis hanya akan membahas mengenai regresi nonparametrik dengan menggunakan kelas kernel yang baru yaitu kernel dengan infinite order, dimana kernel tersebut dapat secara otomatis dapat mereduksi bias estimator r menjadi O(hk) tanpa peduli berapa kali turunan kontinunya.
1.5 Metode Penelitian
Metodologi yang digunakan dalam penelitian ini adalah studi literatur.
Langkah-langkah yang dilakukan penulis adalah sebagai berikut:
1. Mencari dan menentukan jurnal yang akan dijadikan bahan acuan.
2. Mengumpulkan jurnal-jurnal lain yang relevan dengan materi dalam jurnal acuan.
3. Mempelajari buku-buku pendukung yang berkaitan dengan topik permasalahan penelitian.
4. Mempelajari dan membahas topik penelitian yang meliputi: teori regresi nonparametrik, ide dasar smoothing, estimator kernel, estimasi fungsi dalam regresi nonparametrik, sifat-sifat fungsi kernel, estimasi densitas kernel, fungsi estimator Nadaraya Watson, kernel dengan infinite order.
5. Mempelajari performance (bias dan variansi) dari pembilang dan penyebut estimator Nadaraya-Watson dengan infinite order kernel serta melakukan simulasi dengan software R.
6. Menyusun laporan penelitian sesuai dengan buku petunjuk penulisan tesis yang diberlakukan.
1.6 Sistematika Penulisan
BAB I PENDAHULUAN : Pada bab ini membahas tentang latar belakang dan permasalahan, tujuan dan manfaat penelitian, tinjauan pustaka, metodologi penelitian, dan sistematika penulisan.
BAB II LANDASAN TEORI : Pada bab ini membahas tentang ide dasar smoothing, definisi dan teorema statistika yang terkait, estimasi densitas kernel untuk kernel berorder dua, estimasi densitas kernel untuk kernel berorder tinggi, estimator Nadaraya-Watson.
BAB III PEMBAHASAN : Pada bab ini akan dijelaskan contoh fungsi kernel berorder tak hingga, dan juga akan dipaparkan mengenai performance dari pembilang dan penyebut estimator Nadaraya-Watson dengan kelas kernel baru tersebut serta kekonsistenan dan distribusinya secara asimtotis.
BAB IV STUDI KASUS : Pada bab ini akan dilakukan studi kasus dari data rata-rata volume air sungai di Indonesia yang pengalirannya lebih dari 1000 km2 dengan program R kemudian dibandingkan performance antara estimator Nadaraya-Watson kernel order tak hingga dengan kernel order berhingga dari grafik maupun nilai MSEnya.
BAB V KESIMPULAN DAN SARAN : Bab ini berisi pembahasan mengenai kesimpulan yang diperoleh dari bab-bab sebelumnya dan saran untuk penelitian selanjutnya berdasarkan apa yang telah dibahas pada bab-bab sebelumnya.
