PROSEDUR KOMPUTASI PENALIZED QUASI LIKELIHOOD DALAM PENAKSIRAN PARAMETER MODEL REGRESI POISSON MULTILEVEL

PROSEDUR KOMPUTASI PENALIZED QUASI LIKELIHOOD

DALAM PENAKSIRAN PARAMETER MODEL REGRESI

POISSON MULTILEVEL

Bertho Tantular

1)

_{Resa Septiani Pontoh}

2)

_{Defi Yusti Faidah}

3) 1,2,3)

_{Departemen Statistika FMIPA UNPAD}

Jl. Raya Bandung-Sumedang KM 21 Sumedang Indonesia

email : bertho@unpad.ac.id1)_{,resa.septiani@unpad.ac.id,} 2)_{defi.yusti@unpad.ac.id}

ABSTRACT

Data yang memiliki respon cacahan (counting data) dianalisis menggunakan regresi poisson. Model regresi poisson menggunakan fungsi penghubung log dalam pembentukan modelnya. Tetapi ada kalanya data yang digunakan memiliki struktur hierarki. Analisis regresi poisson untuk data hierarki harus memperhitungkan adanya struktur hierarki. Model multilevel merupakan suatu model yang dapat digunakan pada struktur data tersarang (nested) seperti data hierarki. Secara umum untuk menaksir parameter pada model regresi poisson multilevel tidak dapat menggunakan metode maksimum likelihood. Pendekatan yang dapat digunakan adalah menggunakan metode penalized quasi likelihood. Metode ini membutuhkan suatu pendekatan linierisasi deret taylor dan metode iterative generalized least square. Adanya prosedur iterative memerlukan suatu algoritma komputasi dalam memperoleh hasil penaksirannya.

Keywords

poisson multilevel models, penalized quasi likelihood, iteratively generalized least square

1.

Pendahuluan

Model yang dapat menggambarkan hubungan antara suatu peubah bebas dengan peubah tak bebas adalah analisis regresi. Respon yang berupa data cacahan mengikuti distribusi Poisson sehingga untuk memodelkan respon cacahan harus menggunakan Generalized Linear Models (GLM). Dalam GLM pembentukan model dilakukan melalui suatu fungsi yang disebut dengan link function, Metode penaksiran yang digunakan dalam GLM adalah metode maximum likelihood yang dalam prosesnya harus menggunakan metode iteratif Newton-Rhapson atau Fisher Scoring[1].

Pada data hierarki, variabel-variabel yang diukur berasal dari tingkatan (level) yang berbeda sehingga datanya disebut sebagai data multilevel. Untuk memodelkan data hierarki harus melalui pendekatan

model multilevel. Pada data dengan respon cacahan (counting) maka model yang digunakan adalah model regresi poisson. Oleh karena datanya merupakan data hierarki maka model yang digunakan adalah model regresi poisson multilevel [4].

Metode penaksiran untuk model multilevel tidak bisa menggunakan metode yang biasa karena ada dua jenis parameter yang terlibat yaitu parameter tetap (fixed parameter) dan parameter acak (random parameter). Pendekatan yang dilakukan adalah melalui model campuran (mixed model). Untuk model campuran pada data cacahan termasuk dalam generalized linear mixed models (GLMM). Metode penaksiran untuk GLMM menggunakan beberapa pendekatan yaitu metode penalized quasi likelihood, metode laplace, dan Adaptive Gaussian Quadrature. Ketiga metode ini membutuhkan suatu prosedur komputasi karena melibatkan proses iterative dalam proses penaksirannya. Dalam tulisan ini akan dibahas mengenai prosedur komputasi metode penalized quasi likelihood untuk menaksir parameter model regresi poisson multilevel.

2.

Kajian Literatur

Model regresi untuk respon data cacahan dianalisis menggunakan GLM [1]. Model yang terbentuk tidak dapat mendefinisikan suatu fungsi linear dari ekspektasi komponen acak (response) terhadap komponen sistematisnya (linear predictor). Misalkan

1

,...,

n

Y

Y

adalah variabel acak independen dengan

Y

_i merupakan jumlah kejadian yang mengikuti distribusi Poisson dengan fungsi massa peluang:





;

0,1, 2,...

!

i y i i

e

P Y

y

y

y













dengan nilai



_i



0

. Ekspektasi dari

Y

_i dapat dirumuskan sebagai berikut:

Dalam model poisson, kebergantungan



_i terhadap variabel penjelasnya (Xi) dirumuskan:





xTi

i



e

sehingga model dalam GLMnya menjadi:





xTi i i

e

Y

E

(

)





Oleh karena itu fungsi penghubung (link function) harus digunakan dalam pemodelannya. Untuk respon berbentuk data cacahan, fungsi penghubung yang digunakan adalah log-link[1]. Model regresi seperti ini disebut model regresi poisson.





T

i

i

)



x

log(

(1)

Untuk menaksir parameter pada model regresi poisson tidak bisa menggunakan metode Ordinary Least Square (OLS) tetapi harus menggunakan metode maximum likelihood (ML). Fungsi likelihood untuk regresi poisson adalah

 

   

1

exp

!

i T T i i y x x n i i

e

e

L

y

 











dan fungsi log-likelihood sebagai berikut:

 

 

1 1 1

ln L

Ti

ln

!

n n n x T i i i i i i

x

y

e



y





  



 















dengan nilai turunan pertama:

 

1 1

ln

T i n n x T T i i i i i

L

y x

x e







 





 

_{ }

_







dan nilai turunan kedua:

 

2 2 1

ln

T i n x T i i i

L

x x e















_

_{  }





Melalui cara ini tidak bisa diperoleh penaksir parameter parameter yang eksplisit sehingga metode penaksirannya harus melalui proses iterasi. Metode iterasi yang digunakan umumnya, dalam hal ini metode yang digunakan adalah Fisher Scoring yang memanfaatkan turunan pertama sebagai vector score (U(β)) dan ekspektasi turunan kedua sebagai matriks informasi (Ι(β)) [3]. Proses iterasi pada Fisher Scoring Method akan memenuhi persamaan:

   

 

  1

 

  1 t t t t

U





_



_{ }







(2) Proses diiterasi hingga konvergen.

Kemudian untuk pengujian keberartian model digunakan Statistik ratio likelihood (

G

2 )yang dirumuskan sebagai berikut:

 

 

0 2

2 ln

L

G

L







 



_



_







₍₃₎ 0 ˆ ˆ 0 1 1 1 1

ˆ

ˆ

2

Ti iT n n n n x x T T i i i i i i i i

x



y

e



x



y

e

    







_







_













dengan

L

 



₀ adalah fungsi likelihood pada model konstan dan

L

 



adalah fungsi likelihood pada model penuh. Kriteria uji pada LRT yaitu tolak H0 jika

2 2

,db

G





_ dan menerima untuk sebaliknya, dimana

db

adalah selisih derajat bebas pada model penuh dan model konstan. [1]. Untuk uji parsial digunakan statistik Wald dengan rumusan sebagai berikut

 

2

ˆ

ˆ

j j j

W

SE























₍₄₎

Statistik Wj akan mengikuti distribusi chi-kuadrta

dengan derajat kebebasan sebesar 1 (satu).

Apabila data yang digunakan merupakan data hierarki maka dalam pemodelannya harus melibatkan adanya unsur hierarki, Dalam pemodelan untuk data hierarki setiap level yang terlibat harus diakomodasi dalam model [4]. Sehingga model yang digunakan adalah model regresi poisson multilevel random intercept.







T j ij

)



0



x

log(

j T oj



Z





u

0



(5)

Dalam hal ini u0j diasumsikan berdistribusi normal

dengan rata-rata nol dan varians σ2 u0.

Untuk menaksir parameter pada persamaan (5) tidak bisa menggunakan metode Fisher Scoring karena dalam setiap turunannya masih mengandung unsur parameter. Sehingga dilakukan pendekatan melalui linierisasi perluasan deret taylor yang disebut sebagai Quasi Likelihood.

Metode yang dapat digunakan adalah Marginal Quasi-Likelihood (MQL) yang diusulkan oleh Goldstein [4]. Menurut Goldstein [4] penaksiran koefisien dengan menggunakan MQL akan menyebabkan underestimate terutama untuk sampel kecil. Begitu pula menurut Rodriguez dan Goldman [10] penaksiran yang diturunkan menggunakan MQL untuk respon biner akan menyebabkan bias pada saat kuantitas klasternya cukup besar. Selain menggunakan MQL parameter-parameter tersebut juga bisa ditaksir dengan menggunakan Penalized Quasi-Likelihood (PQL) yang diusulkan oleh Hedeker [5].

3.

Prosedur Komputasi

Pemodelan yang digunakan untuk data respon cacahan adalah model regresi poisson multilevel.

Model paling sederhana adalah random intercept (5). Menggunakan substitusi dapat diubah menjadi

j T

T

ij

)

Z

x

u

0

log(













(6)

Penaksiran parameter untuk model pada Persamaan (6) menggunakan PQL seperti yang diusulkan oleh Hedeker [5]. Metode PQL dilakukan dengan mengubah bagian yang non-linier menjadi linier agar menghasilkan model yang linier. Bagian yang tidak linier pada Persamaan (6) adalah µij = .

Cara melinierisasi adalah dengan menggunakan perluasan deret Taylor. Dimisalkan , sehingga perluasan deret Taylor sampai order pertama untuk fungsi dinyatakan sebagai berikut:

Dengan mensubtistusikan dengan ,dan menyatakan suatu nilai, maka persamaan di atas menjad

=

+

Penaksiran parameter untuk model regresi poisson dua level random intercept pada kasus ini menggunakan metode PQL order pertama, sehingga perluasan deret Taylor dilakukan pada nilai dan . Metode PQL dilakukan secara iterasi hingga mencapai konvergen. Linierisasi bagian yang non linier dari model pada iterasi ke-t mengikuti ketentuan metode PQL order pertama dapat dituliskan sebagai berikut:

+ ’(Ht) +

( - ) ’(

Pada saat tercapai konvergen bentuk persamaan sehingga diperoleh :

(7)

Dengan adalah variabel respon untuk unit ke-i pada level satu dalam unit ke j pada level dua dan adalah galatnya.

Langkah selanjutnya adalah membagi ruas kiri dan ruas kanan dengan , sehingga akan terbentuk persamaan sebagai berikut

(8)

Dengan adalah nilai respon yang telah ditransformasi untuk unit ke-i pada level satu dalam unit ke-j pada level dua pada saat iterasi ke-t. dan

:

Persamaan (8) merupakan persamaan yang sudah dalam bentuk linier. Parameter-parameter dalam persamaan (8) ditaksir dengan menggunakan metode Iterative Generalized Least Square (IGLS).

Metode IGLS digunakan untuk menaksir parameter tetap ( dan parameter acak ( ). Penaksir parameter tetap adalah sebagai berikut :

(9) dengan nilai V adalah matriks varians kovarians. Sedangkan penaksir parameter acak yaitu dan adalah

(10) Dengan Z adalah matriks desain parameter acak

dan sedangkan dan

]

)

ˆ

)(

ˆ

[(

*

vec

Y

Y

Y

Y

T

Y







.

Penaksiran parameter tetap dan acak dilakukan secara iteratif hingga menghasilkan nilai parameter yang konvergen.

Secara umum prosdur komputasi PQL adalah sebagai berikut:

1. Tentukan fungsi distribusi peluang respon yaitu distribusi Poisson.

2. Tentukan log-likelihood dari distribusi respon tersebut

3. Lakukan linierisasi seperti pada persamaan (7) hingga diperoleh persamaan (8)

4. Lakukan prosedur IGLS untuk memperoleh penaksir bagi β.

Sementara prosedur komputasi IGLS adalah sebagai berikut

1. Tentukan nilai β dengan Metode Kuadrat Terkecil Biasa

2. Hitung nilai y* = yy’ dalam hal ini berukuran (n x n) dengan y yang berukuran (n x 1) dengan n = n1

+ n2 + … + nm

1. Tentukan bahwa E(y*) = V dengan V merupakan matriks varians-kovarians untuk model yang nilainya tidak diketahui

2. Buatlah vektor y** = vec(y*) berukuran (n2 _{x 1)}

sehingga E(y**) = Z*θ dalam hal ini vektor θ berisi parameter-parameter komponen acak dan Z* adalah matriks rancangan koefisien acak.

3. Hitunglah penaksir θ seperti pada persamaan (10). Gunakan V = I untuk iterasi pertama.

4. Gunakan penaksir pada langkah 5 untuk mengisi elemen matriks V yang bersesuaian.

5. Tentukan nilai β dengan metode GLS seperti pada Persamaan (9) dengan matriks V yang diperoleh pada langkah 6

6. Ulangi langkah ke-2 dan proses diiterasi hingga didapatkan hasil yang konvergen.

7. Gunakan penaksir pada langkah 5 untuk mengisi elemen matriks V yang bersesuaian.

8. Tentukan nilai β dengan metode GLS seperti pada Persamaan (9) dengan matriks V yang diperoleh pada langkah 6

9. Ulangi langkah ke-2 dan proses diiterasi hingga didapatkan hasil yang konvergen.

4.

Hasil dan Pembahasan

Dalam bagian ini dilakukan studi simulasi untuk melihat perilaku model regresi poisson multilevel. Secara umum prosedur simulasi dilakukan untuk model multilevel intersep acak tanpa prediktor pada level 2. Variabel X dibangkitkan dari berdistribusi binomial dengan ukuran 1 dan parameter proporsi masing-masing sebesar 0.24, 0.04, 0.47 dan 0.29. Ditetapkan efek intersep (uj) yang terdiri dari 11 kelompok dengan

ukuran yang berbeda-beda. Efek intersep acak dibangkitkan dari distribusi normal dengan rata-rata berbeda dengan simpangan baku yang sama yaitu 0.25. Tentukan parameter koefisien intersep adalah 0 dan koefisien slope adalah 0.25. Kemudian hitung parameter Poisson sebagai

μ = exp(0.25 X1 + 0.25 X2 + 0.25 X3 + 0.25 X4 + u).

Nilai respon Y dibangkitkan dari distribusi Poisson dengan parameter μ.

Dalam simulasi ini dilakukan sebanyak 100 kali. Setiap hasil simulasi dihitung nilai taksiran parameter tetap dan standard error-nya dari metode PQL untuk model regresi poisson multilevel yang telah dijelaskan sebelumnya kemudian dibandingkan dengan metode fisher scoring model regresi poisson seperti pada persamaan (2).

Dari simulasi yang telah dilakukan hasil-hasil yang diperoleh disajikan dalam bentuk tabel diperlihatkan perilaku dari masing-masing penaksir berikut standard error-nya. Tabel berikut adalah hasil simulasi yang telah dilakukan.

Tabel 1

Penaksir Metode PQL dengan Fisher Scoring

Paramet er Tetap

PQL Fisher Scoring

Penaksir Std. Error Penaksir Std. Err

Intersep 0.007689 0.3695251 0.8651287 0.06432873 β1 0.236822 0.0836944 0.2204481 0.08157473 β2 0.263093 0.1919338 0.2212244 0.18579420 β3 0.268239 0.0750681 0.2479456 0.07331756 β4 0.263726 0.0793059 0.2578867 0.07703287 Parameter Acak σu2 1.415139 - - -

Dari Tabel 1 terlihat bahwa untuk parameter tetap penaksir intersep relatif bias untuk penaksir Fisher Scoring untuk model regresi poisson sedangkan penaksir PQL untuk model regresi poisson multilevel tak bias. Akan tetapi meskipun bias model regresi poisson lebih efisien dibanding model regresi poisson multilevel. Hal ini terlihat dari standard error untuk model regresi poisson multilevel dari metode PQL lebih besar dari model regresi poisson menggunakan metode fisher scoring. Sedangkan untuk parameter

slope kedua metode memperlihatkan taksiran yang tak bias dengan standard error yang relatif kecil.

Sementara itu untuk parameter acak hanya dihasilkan oleh model regresi poisson multilevel dengan metode PQL. Hal ini menunjukkan bahwa model regresi poisson multilevel dapat memperlihatkan adanya keragaman antar kelompok yang tidak dapat diperlihatkan oleh model regresi poisson.

Tabel 2

Penaksir dan Standard Error Metode PQL untuk Model Poisson Multilevel Berbagai Ukuran Sampel

Paramet er Tetap

n = 80 n = 130 n = 250

Penaksir SE Penaksir SE Penaksir SE

Intersep -0.1080 0.420 -0.0026 0.381 0.0076 0.369 β1 0.2581 0.156 0.1893 0.124 0.2368 0.083 β2 0.2270 0.334 0.2059 0.355 0.2630 0.191 β3 0.2679 0.142 0.2459 0.106 0.2682 0.075 β4 0.2469 0.147 0.2388 0.112 0.2637 0.079 Parameter Acak σu2 1.7031 - 1.4191 - 1.4151 -

Dari Tabel 2 terlihat bahwa untuk ukuran sapel 80 parameter tetap penaksir intersep relatif bias dengan standard error yang relatif lebih besar. Hal yang sama juga ditunjukkan oleh penaksir parameter slope. Sementara untuk parameter acak hanya ukuran sampel 80 yang memberikan hasil yang berbeda. Secara umum dapat dikatakan bahwa dengan bertambahnya ukuran sampel penaksir yang dihasilkan akan semakin baik dengan standard error yang semakin kecil.

5.

Kesimpulan

Berdasarkan hasil simulasi, model Regresi Poisson Multilevel yang ditaksir menggunakan metode PQL dapat memperlihatkan adanya keragaman antar kelompok yang tidak dapat diperlihatkan oleh model Regresi Poisson yang ditaksir menggunakan metode Fisher scoring. Secara umum dapat dikatakan bahwa dengan bertambahnya ukuran sampel penaksir yang dihasilkan metode PQL akan semakin baik dengan standard error yang semakin kecil.

REFERENSI

[1] Agresti, Alan. 2002.”Categorical Data Analysis. 2nd edition” New York: John Wiley & Sons, Inc.

[2] Bliese, P. 2006. “Multilevel Models in R (2.2)” R Development Core Team.

[3] Dobson, Annette J. 2002. “An Introduction to Generalized Linear Models 2nd edition” London. Chapman & Hall.

[4] Goldstein, Harvey. 1995. “Multilevel Statistical Model: 2nd ed”, London, Arnold.

[5] Hedeker, Donald. 2007. “Multilevel Models for Ordinal and Nominal Variables” Handbook of Multilevel

Analysi: edited by Leeuw and Meijer. New York. Springer.

[6] Hesketh, S.,Rabe. 2003. “Multilevel modeling of ordered and unordered categorical Responses”. London. Institute of Child Health.

[7] Hox, J.J. 2002. “Multilevel Analysis: Techniques and

Applications” New Jersey. Lawrence Erlbaum

Associates Publishers.

[8] Kramer, M. 2005. “R2 Statistics for Mixed Models” Published Paper in Biometrical Consulting Service, ARS (Beltsville, MD), USDA.

[9] McCullagh and Nelder. 1989. “Generalized Linear Models” 2ndedition. , London. Chapman & Hall.

[10]Rodriguez, G., Goldman, N. 2001. “Improved

estimation procedures for multilevel models with binary response: a case-study” Journal Royal Statist.Soc A, 164, Part 2 pp 339-355

[11]Snijder, Tom A. B., Bosker, Roel J. 1999. “Multilevel Analysis: An introduction to basic and advance multilevel modelling” London. SAGE Publications. [12]Tantular, Bertho. 2014. “Studi Simulasi Model Poisson

Multilevel dalam Menentukan Faktor Resiko Penyebab TB” Makalah dipresentasikan pada Seminar Nasional Statistika IV Departemen Statistika FMIPA UNPAD [13]Tantular, Bertho. 2015. “Penentuan Ukuran Sampel

pada Model Poisson Multilevel”. Makalah

dipresentasikan pada Seminar Matematika dan

Pendidikan Matematika UNY 2015.

[14]Tantular, Bertho. 2016. “Penggunaan Penalized Quasi Likelihood Dalam Penaksiran Parameter Model Regresi Poisson Multilevel”. Prosiding Seminar Nasional Matematika dan Pendidikan Matematika (Sendika) 2016 Prodi Matematika UMP. ISSN: 2459-962X

Bertho Tantular, memperoleh gelar S.Si. dari Jurusan

Statistika FMIPA Universitas Padjadjaran, Bandung tahun 1998. Kemudian tahun 2009 memperoleh M.Si. dari Program Studi Statistika Institut Pertanian Bogor. Saat ini sebagai Staf Pengajar program studi Statistika Universitas Padjadjaran.