ESTMATOR LINIER LOKAL PADA MODEL
REGRESI POISSON TERGENERALISIR
ERNI TRI ASTUTI1
, I NYOMAN BUDIANTARA
2, SONY SUNARYO
3 MOHAMMAD DOKHI41
Mahasiswa Program S3, Jurusan Statistika, Institut Teknologi Sepuluh Nopember, Surabaya, erni@mhs.statistika.its.ac.id
2,3
Jurusan Statistika, Institut Teknologi Sepuluh Nopember, Surabaya, i_nyoman_b@statistika.its.ac.id
sonny_s@statistika.its.ac.id
4
Jurusan Statistika, Sekolah Tinggi Ilmu Statistik, Jakarta, dokhi@stis.ac.id
Abstrak
Permodelan regresi nonparametrik bertujuan meminimalkan asumsi bagi bentuk fungsi regresi. Pada permodelan regresi nonparametrik, terdapat teknik polinomial lokal yang menggantikan fungsi regresi dengan suatu fungsi penghalus s(x) yang tidak dispesifikasikan sebelumnya. Fungsi penghalus akan didekati dengan ekspansi deret Taylor dengan polinomial berderajat p. Apabila derajat polinomial p=1, mak disebut dengan teknik linier lokal Metoda maksimum likelihood digunakan untuk mengestimasi fungsi penghalus yang akan diaplikasikan secara lokal pada suatu daerah di sekitar nilai-nilai x. Karena itulah teknik ini disebut metoda maksimum likelihood lokal atau metoda likelihood lokal. Dalam tulisan ini akan diturunkan cara untuk mendapatkan estimator dengan asumsi distribusi Poisson tergeneralisir bagi variabel respons berupa data count. Penggunanaan distribusi Poisson tergeneralisir adalah untuk menghindari masalah over dispersi yang sering muncul pada permodelan data count. Selain itu juga dilakukan simulasi data untuk menunjukkan perilaku estimator bila diberikan nilai bandwidth yang bervariasi
.
Kata Kunci: regresi nonparametrik, polinomial lokal, ekspansi Taylor, Poisson
tergeneralisir, data count, over dispersi
1.
Pendahuluan
Dalam analisis data seringkali peneliti berhadapan dengan data yang dihasilkan dari suatu proses penghitungan dalam suatu interval waktu yang kontinyu, misalkan: jumlah telepon yang masuk di suatu kantor pada suatu interval waktu tertentu; jumlah kecelakaan yang mengakibatkan kerusakan pada kapal pada periode tertentu. Data-data seperti contoh tersebut merupakan bilangan bulat non negatif yang bernilai 0, 1, 2, 3, … sampai dengan
KNM XVI - 3-6 Juli 2012 – UNPAD, Jatinangor
hubungan antara variabel respons berupa data count dengan satu atau beberapa kovariat adalah model regresi Poisson (Mc Cullagh dan Nelder [9]). Nama tersebut diambil dari asumsi distribusi dari data count yaitu distribusi Poisson. Distribusi Poisson merupakan suatu distribusi dengan satu parameter dengan salah satu sifat yang mengikat yaitu kesamaan antara nilai rataan dan variansnya (equi-dispersi). Menurut Winkelman [12] pelanggaran asumsi yang paling banyak menyita perhatian dalam model regresi Poisson adalah over-dispersi, yaitu suatu kondisi dimana nilai varians data observasi melebihi nilai varians yang dapat diprediksi oleh model Poisson. Apabila terjadi over-dispersi, maka penduga nilai varians akan lebih kecil dari nilai varians yang sebenarnya. Hal ini kemudian dapat mengakibatkan kesalahan dalam inferensi bagi parameter model (Astuti & Yanagawa [1]).
Dalam konteks regresi parametrik, kemudian berkembang pesat model-model alternatif yang tidak lagi mengasumsikan distribusi Poisson pada variabel responsnya, diantaranya: model regresi Poisson tergeneralisir yang dipopulerkan oleh Famoye [3]. Model regresi Poisson tergeneralisir yang mengasumsikan distribusi Poisson tergeneralisir bersifat lebih umum daripada distribusi Poisson karena memiliki dua parameter yang salah satunya merupakan parameter dispersi. Model ini sudah umum digunakan untuk menghindari masalah over dispersi dan akan tereduksi ke model regresi Poisson pada kasus parameter dispersinya bernilai nol.
Tidak seperti model regresi parametrik untuk data count yang telah berkembang pesat, model regresi nonparametrik untuk data count belum banyak dikembangkan oleh para peneliti. Pada banyak kasus di dunia nyata, hubungan antar variabel tidak dapat dengan mudah didefinisikan karena menunjukkan pola yang tidak beraturan sehingga pendekatan parametrik sulit diaplikasikan. Untuk mengatasi hal tersebut, maka terdapat model regresi nonparametrik. Model regresi nonparametrik bertujuan untuk meminimalkan asumsi dari bentuk fungsi regresi dan membiarkan data sendiri yang mencari bentuk estimasi (Hardle [7]). Dalam regresi nonparametrik, metode yang paling sederhana untuk mendapatkan estimasi bagi fungsi regresi adalah dengan smoothing scatterplot. Tiga diantara yang umum digunakan adalah kernel, polinomial lokal serta smoothing
spline.Teknik-teknik ini juga dikenal dengan nama teknik pengepasan secara lokal (lokal
fitting) karena estimasi fungsi dilakukan secara lokal terhadap nilai-nilai di sekitar selang
atau interval tertentu.
Tibshirani dan Hastie [11] memperkenalkan suatu ide yang memperluas pengepasan secara lokal dalam model regresi nonparametrik ke model linier berdasar fungsi
likelihood. Salah satu aplikasinya adalah terhadap model linier tergeneralisir yang
kemudian disebut dengan model penghalus berdasar fungsi likelihood. Pada model ini rataan dari variabel respon diasumsikan bergantung pada nilai-nilai variabel kovariat dengan suatu fungsi pautan yang nonlinier. Akan tetapi ketergantungan dari variabel respons terhadap variabel kovariat tidak dispesifikasikan pada suatu bentuk fungsi tertentu. Hastie dan Tibshirani [8] memperluas model di atas untuk beberapa variabel kovariat yang disebut dengan model aditif tergeneralisir (Generalized Additive Model atau GAM). GAM menyediakan suatu kelas dari model dengan variabel respons yang berdistribusi Non Gaussian atau Non Normal. Salah satunya yang dikembangkan oleh Santos dan Neves [10] adalah terhadap model regresi Poisson, yang sangat rentan terhadap masalah over atau under dispersi.
Pada penelitian ini dikembangkan suatu model regresi nonparametrik dengan penghalus polinomial lokal pada model regresi Poisson tergeneralisir. Teknik Polinomial Lokal digunakan karena dapat mengatasi secara lebih baik perubahan pola data dengan osilasi yang lebih cepat dan tajam dibandingkan dengan teknik yang lain. Metode estimasi yang digunakan adalah maksimum likelihood lokal (lokal maximum likelihood) dengan
pembobot fungsi Kernel. Penggunaan asumsi distribusi Poisson tergeneralisir diharapkan dapat mengatasi masalah over dispersi pada data count.
2.
Tinjauan Pustaka
Pada bagian ini akan dibahas mengenai model teoritis untuk regresi Poisson tergeneralisir serta polinomial lokal.
2.1 Model Regresi Poisson Tergeneralisir
Model regresi Poisson tergeneralisir adalah generalisasi dari model regresi Poisson yang dikenal sebagai suatu alat analisis dalam statistika untuk permasalahan hubungan antar variabel dengan respons berupa data count. Diberikan data observasi berpasangan (Yi,xi),
i=1,2,…,n yang terdistribusi secara independen, dengan Y merupakan variabel respons
dan x merupakan vektor variabel kovariat berdimensi k. Variabel respons Yi diasumsikan
mengikuti distibusr Poisson tergeneralisir dengan fungsi kepekatan peluang
( ) ( ) ( ) [ ( ) ] (1) dengan ( ) dan ( ) ( ) . Parameter merupakan parameter dispersi, dimana jika , (1) akan tereduksi ke fungsi kepekatan peluang Poisson. Jika akan under dispersi dan jika model ini akan over dispersi, relative terhadap distribusi Poisson. Dalam model regresi Poisson tergeneralisir (Famoye [3]), rataan dari variabel ( | ) ( ) bergantung pada vektor variabel kovariat melalui suatu fungsi pautan atau fungsi regresi:
( ) ( ) (2) dengan adalah vektor parameter. Estimator maksimum likelihood bagi parameter model diperoleh dengan cara memaksimumkan fungsi likelihood terhadap parameter β dan φ. Fungsi log likelihood dari n peubah acak yang saling bebas adalah sebagai berikut:
( ) ∑ [ ( ) ( ) ( )
( )
( )]
Estimator likelihood merupakan solusi dari (k+2) persamaan likelihood berikut:
∑ ( [ ]) ( [ ]) (3) ∑ { [ ] [ ] ( ) [ ]( [ ]) ( [ ]) } (4)
Karena persamaan (3) dan (4) tidak linier dalam parameternya, solusi dari sistem persamaan ini dapat diperoleh dengan metoda numerik seperti metoda Newton Raphson. Model regresi Poisson tergeneralisir telah diaplikasikan untuk data count di berbagai bidang seperti asuransi, demografi, kesehatan dan sebagainya. Wulu Jr [13] dalam disertasinya mengaplikasikan model ini pada data jumlah kecelakaan yang menimpa pekerja di pertanian, frekuensi bepergian suatu rumah tangga, resiko HIV/AIDS pada pria Gay. Famoye dkk [4] memodelkan pengaruh dari faktor demografi dan kesehataan terhadap jumlah kecelakaan yang dialami oleh pengendara dewasa. Bae dkk.[2] juga menggunakan model ini pada data jumlah perawatan di rumah sakit (hospitals discharge
count) di Negara bagian Alabama yang dipengaruhi oleh berbagai faktor demografi. Yang
KNM XVI - 3-6 Juli 2012 – UNPAD, Jatinangor 2.2 Estimator Polinomial Lokal
Diberikan data observasi (yi,xi), i=1,2,…,n yang saling bebas atau independen, maka
model regresi nonparametrik dengan satu kovariat adalah:
( ) (5) dengan s merupakan fungsi penghalus atau fungsi regresi nonparametrik yang tidak dispesifikasikan sebelumnya dan hanya diasumsikan berasal dari keluarga fungsi yang memiliki sifat kontinyu dan diferensiabel (Zhang dkk [15]).
Teknik polinomial lokal dapat diilustrasikan secara mudah seperti berikut: untuk suatu titik x yang diberikan maka diaplikasikan model regresi polinomial pada bagian dari data di sekitar x yang disebut sebagai persekitaran lokal. Ukuran dari bagian data disebut dengan parameter penghalus (bandwidth) atau dinotasikan sebagai h, yang dapat dipilih secara subyektif oleh peneliti ataupun secara obyektif dari data. Pada kasus khusus dengan derajat polinomial sama dengan nol, maka dikenal juga dengan nama konstan lokal. Sementara itu untuk derajat polinomial sama dengan satu disebut linier lokal. Gambar 1merupakan ilustrasi contoh pengepasan data dengan teknik polinomial lokal dengan menggunakan pembobot fungsi kernel Gaussian.l
Gambar 1: Ilustrasi pengepasan data dengan teknik Polinomial Lokal dengan pembobot fungsi kernel Gaussian
Sumber: http://www.grin.com/en/doc/247422
Dalam teknik polinomial lokal, untuk estimasi fungsi akan diberikan pembobot suatu fungsi kernel, dimana nilai-nilai yang dekat dengan x akan diberikan bobot yang tinggi, sementara yang jauh bobotnya akan diperkecil. Suatu fungsi bernilai real disebut sebagai fungsi Kernel (K) jika merupakan fungsi densitas simetris dan memenuhi syarat-syarat tertentu. Beberapa fungsi kernel yang sering digunakan sebagai pembobot adalah: Gaussian Kernel, Triangular Kernel, Boxcar Kernel serta Epanechnikov Kernel.
Fan dan Gijbels (1996) membahas secara rinci tentang penggunaan teknik polinomial lokal dalam mengestimasi fungsi regresi nonparametrik. Misalkan ingin dilakukan estimasi terhadap fungsi ( ) yang merupakan fungsi regresi dengan satu variabel prediktor. Teknik polinomial lokal mengasumsikan bahwa fungsi s memiliki turunan ke -(p+1) yang kontinyu pada titik . Untuk titik-titik x yang berada di persekitaran atau ( ), maka ( ) akan didekati dengan ekspansi Taylor dengan suatu polinomial berderajat p:
( ) ( ) ( )( )( ) ( )( )
( ) (6) dengan ( ( ) ( ) ) , ( )( ) merupakan turunan ke-v dari fungsi s(x) dan ( ) merupakan parameter model dengan:
( )( ) ⁄ ; (7) Isu penting dalam permodelan dengan polinomial lokal seperti yang diuraikan dalam Fan dan Gijbels [5], yaitu berkaitan dengan pemilihan parameter penghalus atau bandwithh. Nilai h yang terlalu besar akan membuat under parametrizes pada fungsi regresi yang akan mengakibatkan bias pada model membesar. Bias pada model dikarenakan penggunaan pendekatan deret Taylor terhadap fungsi regresinya. Sementara itu nilai h yang terlalu kecil sebaliknya akan membuat model regresinya over parametrizes atau memiliki variansi yang besar, akan tetapi biasnya menjadi kecil. Secara umum jika h=0 akan menghasilkan model regresi yang paling kompleks, sementara jika h=+∞ akan menghasilkan model yang paling sederhana, sehingga nilai h akan sangat menentukan kompleksitas dari model. Oleh karena itu pemilihan h yang paling optimum (dapat menyeimbangkan antara bias dan variansi model) menjadi masalah yang penting dalam permodelan polinomial lokal.
Tibshirani dan Hastie [11] memperkenalkan suatu ide yang memperluas pengepasan secara lokal dalam model regresi nonparametrik ke model linier berdasar fungsi likelihood. Salah satu aplikasinya adalah terhadap model linier tergeneralisir yang kemudian disebut dengan model penghalus berdasar fungsi likelihood. Fan dkk.[6] kemudian mengembangkan suatu kerangka penghitungan nilai bias dan varians bagi estimator tersebut dan juga prosedur pemilihan bandwidth. Mereka kemudian mengaplikasikannya pada model regresi Cox, sementara Santos dan Neves [10] mengadopsinya menggunakan model regresi Poisson.
Misalkan terdapat n sampel yang independen (x1,y1), (x2,y2), …, (xn,yn), untuk titik-titik
data (xi,yi) di persekitaran , kontribusinya terhadap fungsi likelihood diboboti oleh
fungsi kernel ( ) dengan ( ) ( ) ⁄ , sehingga bentuk fungsi log-likelihood terboboti:
( ) ∑ ( ) ( ) (8) Indeks p dan h masing-masing menyatakan derajat dari polinomial serta bandwith yang digunakan. ( ) merupakan fungsi log likelihood dari data observasi. Estimator bagi vektor parameter ( ) dapat diperoleh dengan menerapkan metoda maksimum likelihood secara lokal (lokal maximum likelihood). Yaitu dengan memaksimumkan (10) terhadap , sehingga diperoleh estimator polinomial lokal ̂ ( ̂ ̂ ) serta estimator fungsi regresi ( )( ):
̂ ( ) ̂ (9) Pada kasus p=0, estimator disebut dengan estimator konstan lokal. sementara itu pada kasus p=1, disebut estimator linier lokal.
3.
Hasil dan Pembahasan
Pada bagian berikut akan diturunkan cara memperoleh estimasi fungsi regresi dengan teknik polinomila lokal berderajat 1 (linier lokal) pada model regresi Poisson tergeneralirsir serta dilakukan beberapa hasil simulasi data yang menunjukkan perilaku estimator jika diberikan nilai bandwidth yang bervariasi.
3.1
Estimator Linier Lokal pada Model Regresi Poisson Tergeneralisir
Pada model regresi Poisson tergeneralisir, model bagi fungsi pautan dinyatakan sebagai
KNM XVI - 3-6 Juli 2012 – UNPAD, Jatinangor
dengan ( ( )) , ( )( ) merupakan turunan pertama dari fungsi s(x) dan ( ) merupakan parameter model dengan:
( )( ) ⁄ ;
Dengan mengasumsikan distribusi Poisson tergeneralisir untuk variabel respon ,maka fungsi log likelihood terbobot Kernel diberikan sebagai:
( ) ∑ { ( ( ) ( )) ( ) ( φ ) ( φ ) ( ) φ ( )} ( )
Dengan ( ) [ ] dan ( ) ( ) ⁄ adalah pembobot Kernel. Estimator maksimum likelihood lokal terboboti Kernel merupakan solusi dari 3 persamaan berikut: :
∑ ( - [ ]) ( [ ]) ( - ) (12) ∑ { [ ] [ ] ( ) [ ]( [ ]) ( [ ]) } ( ) (13)
Sistem persamaan di atas tidak linier dalam parameter, sehingga solusi bagi sistem persamaan tersebut, yang disebut dengan estimator linier lokal, hanya dapat diperoleh dengan metoda numerik seperti Newton Rapshon. Dalam pencarian estimator pada penelitian dan simulasi dibuat program pengolahan dengan menggunakan Open Source System (OSS)-R.
3.2
Simulasi Data
Untuk mendapatkan gambaran yang lebih jelas mengenai estimator linier lokal pada model regresi Poisson tergeneralisir serta pengaruh nilai bandwidth terhadap hasil estimasinya, dilakukan simulasi dengan menggunakan data bangkitan. Untuk itu dibangkitkan sejumlah data count dari Poisson tergeneralisir bagi variabel respons dan dari distribusi UNIF(0,1) bagi kovariat. Data pada gambar 2 dan 3, dibangkitkan dari distribusi Poisson tergeneralisir dengan parameter dispersi . Pada gambar 2 fungsi regresi dibuat monoton naik dengan dengan fungsi ( ) [ ], sementara gambar 3 dibuat fungsi monoton turun dengan fungsi ( ) [ ]. Gambar 2 dan 3 menunjukkan perilaku dari estimator linier lokal saat diberikan nilai
bandwidth yang bervariasi. Terlihat bahwa jika diberikan nilai h yang kecil maka
estimasi bagi fungsinya adalah titik data itu sendiri atau dikenal dengan istilah interpolasi. Sejalan dengan kenaikan nilai h, estimasi kurva regresi yang diberikan makin kompleks, akan tetapi bias semakin kecil. Di sisi lain, nilai h kecil, mengimplikasikan bagian data yang digunakan bagi estimasi suatu titik tertentu akan semakin sedikit yang berakibat varians dari estimator semakin membesar. Sebailiknya jika diberikan nilai h yang makin membesar, maka kurva estimasi regresinya akan makin halus dan sederhana, akan tetapi bias makin membesar. Akan tetapi implikasi lain adalah nilai varians yang semakin kecil, karena bagian data yang berada di persekitaran lokal semakin banyak. Jika diberikan nilai h=0.5, hal ini berarti seluruh data digunakan dalam estimasi setiap titiknya,sehingga plot yang dihasilkan adalah suatu fungsi polinomial seperti pada regresi parametrik.
Gambar 2: Plot estimator linier lokal pada model regresi Poisson tergeneralisir dengan pola monoton naik dan nilai bandwidth bervariasi (a) h=0.01,
(b) h=0.05,(c) h=0.1 dan (d) h=0.5
Gambar 3: Plot estimator linier lokal pada model regresi Poisson tergeneralisir dengan pola monoton turun dan nilai bandwidth bervariasi (a) h=0.01,
(b) h=0.05,(c) h=0.1 dan (d) h=0.5
Oleh karena itu pemilihan h yang paling optimum (dapat menyeimbangkan antara bias dan variansi model) menjadi masalah yang penting dalam permodelan ini dan akan menjadi perhatian lebih lanjut.
0.0 0.2 0.4 0.6 0.8 1.0 0 10 20 30 40 50 0.01 X Y 0.0 0.2 0.4 0.6 0.8 1.0 0 10 20 30 40 50 0.05 X Y 0.0 0.2 0.4 0.6 0.8 1.0 0 10 20 30 40 50 0.1 X Y 0.0 0.2 0.4 0.6 0.8 1.0 0 10 20 30 40 50 0.5 X Y 0.0 0.2 0.4 0.6 0.8 1.0 0 5 10 20 0.01 X Y 0.0 0.2 0.4 0.6 0.8 1.0 0 5 10 15 20 25 0.05 X Y 0.0 0.2 0.4 0.6 0.8 1.0 0 5 10 15 20 25 0.1 X Y 0.0 0.2 0.4 0.6 0.8 1.0 0 5 10 15 20 25 0.5 X Y
KNM XVI - 3-6 Juli 2012 – UNPAD, Jatinangor
dapat diterapkan dengan baik untuk menganalisis hubungan antara variabel
respons berupa data
count dengan satu atau beberapa kovariat, apabila pola
hubungan tidak terstruktur. Hasil simulasi menunjukkan bahwa jika diberikan
nilai
bandwidth yang kecil akan membuat estimasi kurva regresinya semakin
kompleks. Implikasi lain adalah bias model menjadi kecil akan tetapi nilai varians
membesar. Sebaliknya apabila diberikan nilai
bandwidth yang besar, modelnya
akan semakin halus dan sederhana yang juga mengandung implikasi bias model
besar akan tetapi varians mengecil. Oleh karena itu pada penelitian selanjutnya
akan diturunkan suatu kriteria untuk mendapatkan model terbaik dengan
memperhatikan pertukaran antara nilai bias dan variansnya.
Daftar Pustaka
[1] Astuti, E.T., dan Yanagawa, T., (2002), Testing Trend for Count Data with Extra-Poisson Variability, Biometrics, 58, 398-402.
[2] Bae, S., Famoye, F., Wulu, J.T., Bartolucci, A.A., dan Singh, K.P., (2005), A Rich Family of Generalized Poisson Regression Models with Application, Mathematics
and Computers in Simulation, 69, 4-11.
[3] Famoye, F., (2000), Restricted Generalized Poisson Regression, Communication in
Statistics-Theory and Methods, 33, 1135-1154.
[4] Famoye, F., Wulu Jr, J.T., dan Singh, K.P., (2004), On the Generalized Poisson Regression Model with an Application to Accident Data, Journal of Data Science, 2, 287-295.
[5] Fan, J. dan Gijbels, I. (1997). Local Polynomial Modelling and Its Application . Chapman and Hall. London.
[6] Fan, J. , Farmen, M. dan Gijbels, I, (1998), Local Maximum Likelihood estimation and Inference, Journal of the Royal Statistical Society Series B (Statistical
Methodology), 60:3, 591-608 .
[7] Hardle, W., (1990), Applied Nonparametric Regression, Cambridge University Press, Boston
[8] Hastie, T.J. dan Tibshirani, R.J., (1990), Generalized Additive Models, Chapman & Hall, London.
[9] Mc Cullagh, P. dan Nelder, J.A, (1989), Generalized Linear Models, Chapman and Hall, London.
[10] Santos, J.A., dan Neves, M.M., (2008), A Local Maximum Likelihood Estimator for Poisson Regression, Metrika, 68, 257-270.
[11] Tibshirani, R. dan Hastie, T., (1987), Local Likelihood Estimation, Journal of the
American Statistical Association, 82:398, 559-567
[12] Winkelman, R., (2008), Econometric Analysis of Count Data, 5th Ed., Springer, Berlin.
[13] Wulu Jr., J.T., (1999), Generalized Poisson Regression Models with Application,
Dissertation, University of Alabama, Birmingham.
[14] Yang, Z., Hardin, J.W., dan Addy, C.L., (2009), A Score Test for Overdispersion in Poisson Regression based on the Generalized Poisson-2 Model, Journal of
Statistical Planning and Inference, 139, 1514-1421.
[15] Zhang, J.S., Huang, X.F., dan Zhou, C.H., (2007), An Improved Kernel Regression Method Based on Taylor Expantion, Applied Mathematics and Computation, 193, 419-429.
