Linear and Generalized Linear Mixed Models and Their Applications (Jiang 2007)

(1)

Tugas 2 Analisis Data Lanjutan

Linear and Generalized Linear Mixed Models and Their

Applications (Jiang 2007)

Generalized Linear Mixed Models : Part I

3.7 Further Results and Technical Notes

Oleh

Yenni Angraini (G161150051)

SEKOLAH PASCA SARJANA

2016

(2)

1

Nonlinear Gauss-Seidel Algorithm (NLGSA)

Pada bagian ini akan dijelaskan lebih lanjut tentang Nonlinear Gauss-Seidel Algorithm (NLGSA). Algoritma ini digunakan untuk menghitung Maximum Posterior Estimators (MPE) yang diusulkan oleh Jiang (2000). Algoritma ini merupakan pengembangan dari Gauss-Seidel Algorithm dalam analisis numerik untuk menyelesaikan persamaan linear yang dimensinya besar, karena metode standar yang biasa digunakan untuk menyelesaikan persamaan nonlinear ( Newton-Raphson) akan tidak efisien dan lambat jika dimensi dari solusi besar. Fokus pada bagian ini adalah menyelesaikan 𝜕𝑙𝐽

𝜕𝛼 = 0 bersyarat 𝛽.

Misalkan pengaruh acak saling bebas (dan menyebar normal). Dengan kata lain matriks 𝑮, matriks koragam dari 𝛼 = (𝛼𝑘)1≤𝑘≤𝑚 adalah matriks diagonal (𝐺 = 𝑑𝑖𝑎𝑔(𝑑1, … , 𝑑𝑚)).

Selanjutnya diasumsikan juga fungsi penghubung kanonik 𝜉𝑖 = 𝜂𝑖. Elemen matriks

rancangan pengaruh acak, Z, dituliskan sebagai 𝑧𝑖 = (𝑧𝑖𝑘)1≤𝑘≤𝑚 sehingga 𝜕𝑙_𝜕𝛼𝐽 = 0 dapat

dituliskan sebagai 𝛼_𝑘 𝑑𝑘+ ∑ 𝑧_𝑖𝑘 𝑎𝑖(𝜙)𝑏 ′_(𝑥 𝑖′𝛽 + ∑ 𝑥𝑖𝑙𝛼𝑙 𝑚 𝑙=1 ) = 𝑛 𝑖=1 ∑ 𝑧𝑖𝑘 𝑎𝑖(𝜙)𝑦𝑖, 1 ≤ 𝑘 ≤ 𝑚 𝑛 𝑖=1

Misalkan 𝑓𝑘(𝛼1, … , 𝛼𝑘−1, 𝛼𝑘+1, … , 𝛼𝑚) menyatakan solusi unik dari 𝜆 untuk persamaan

berikut ini : 𝜆 𝑑𝑘+ ∑ 𝑧𝑖𝑘 𝑎𝑖(𝜙)𝑏 ′_(𝑥 𝑖′𝛽 + 𝑧𝑖𝑘𝜆 + ∑ 𝑧𝑖𝑙𝛼𝑙 𝑙≠𝑘 ) = 𝑛 𝑖=1 ∑ 𝑧𝑖𝑘 𝑎𝑖(𝜙)𝑦𝑖 𝑛 𝑖=1

Algoritma rekursif ditandai dengan 𝛼_𝑘(𝑡)= 𝑓𝑘(𝛼1(𝑡), … , 𝛼𝑘−1(𝑡) , 𝛼𝑘−1(𝑡−1), … , 𝛼𝑚(𝑡−1)) , 1 ≤ 𝑘 ≤ 𝑚

Untuk 𝑡 = 1,2, …, atau ekuivalen dengan 𝛼_𝑘(𝑡) 𝑑_𝑘 + ∑ 𝑧_𝑖𝑘 𝑎_𝑖(𝜙)𝑏′(𝑥𝑖′𝛽 + ∑ 𝑧𝑖𝑙𝛼𝑙(𝑡) 𝑘 𝑙=1 + ∑ 𝑧_𝑖𝑙𝛼_𝑙(𝑡−1) 𝑚 𝑙=𝑘+1 ) = 𝑛 𝑖=1 ∑ 𝑧𝑖𝑘 𝑎_𝑖(𝜙)𝑦𝑖 𝑛 𝑖=1 , 1 ≤ 𝑘 ≤ 𝑚 Jiang (2000b) membuktikan teorema berikut ini terkait dengan kekonvergenan dari NLGSA atau dikenal dengan Global Convergence of NLGSA Theorem : Untuk 𝛽 yang tetap dan sembarang nilai awal, maka NLGSA konvergen ke suatu solusi yang unik 𝛼̃ = 𝛼̃(𝛽) pada persamaan 𝑔(𝜇𝑖) = 𝜂𝑖 = 𝑥𝑖′𝛽 + 𝑧𝑖′𝛼. Pembuktian teorema ini menggunakan the golbal convergence theorem dari Luenberger (1984). Menurut Jiang, mudah untuk ditunjukkan bahwa

dengan 𝛽 yang tetapkan, maka persamaan 𝑔(𝜇𝑖) = 𝜂𝑖 = 𝑥𝑖′𝛽 + 𝑧𝑖′𝛼 memiliki solusi yang unik

𝛼̃ = 𝛼̃(𝛽). Untuk penjelasan lebih lanjut dapat dilihat di Jiang (2000).

Sifat asimtotik dari penduga Penalized Generalized Weighted Least Squares (PGWLS)

Teori asimtotik terkait pengaruh acak sangat berbeda dengan paremeter tetap. Hal ini disebabkan oleh beberapa hal :

1. Pengaruh acak individu biasanya tidak dapat diidentifikasi

2. Jumlah pengaruh acak (m) dimungkinkan meningkat dengan meningkatnya ukuran contoh (n).

(3)

2 Penduga Penalized Generalized Weighted Least Squares (PGWLS) dari 𝛾 = (𝛽′_{, 𝛼}′₎′

didefenisikan sebagai maximizer dari

𝑙_𝑃(𝛾) = ∑ 𝑤𝑖{𝑦𝑖𝜂𝑖− 𝑏𝑖(𝜂𝑖)} 𝑛

𝑖=1

−𝜆 2|𝑃𝐴𝛼|2

dimana 𝜆 adalah konstanta positif. Dan penduga PGWLS didapatkan dengan menyelsaikan

𝜕𝑙𝑃

𝜕𝛾 = 0.

Untuk mengekplorasi lebih lanjut sifat asimtotik dari penduga PGWLS, perlu diasumsikan bahwa m meningkat sangat lambat dibandingkan n (𝑚 𝑛⁄ → 0). Teknik dasar yang digunakan adalah penalization. Tujuan dari penalization adalah agar pengaruh individu dapat diidentifikasi.

Mengacu ke persamaan 𝑙𝑃(𝛾) = ∑𝑛𝑖=1𝑤𝑖{𝑦𝑖𝜂𝑖− 𝑏𝑖(𝜂𝑖)}−𝜆₂|𝑃𝐴𝛼|2, salah satu alasan

dibutuhnya suatu penalizer (𝑃𝐴) adalah karena 𝑙𝐶(𝛾) = ∑𝑛𝑖=1𝑤𝑖{𝑦𝑖𝜂𝑖− 𝑏𝑖(𝜂𝑖)} tergantung pada

𝛾 = (𝛽′_{, 𝛼}′₎′_{hanya melalui 𝜂 = 𝑋𝛽 + 𝑍𝛼. Namun 𝛾 tidak dapat diidentifikasi melalui 𝜂}

sehingga akan banyak vektor 𝛾 yang bersesuaian dengan 𝜂 yang sama. Sehingga perlu dilakukan pembatasan ruang 𝑆 = {𝛾: 𝑃𝐴𝛼 = 0}, akibatnya 𝛾 dapat ditentukan unik oleh 𝜂.

Untuk mengekplorasi sifat asimtotik dari penduga PGWLS, pertama adalah bagaimana cara pemilihan matriks 𝑃𝐴 pada 𝑙𝑃(𝛾) = ∑𝑛𝑖=1𝑤𝑖{𝑦𝑖𝜂𝑖− 𝑏𝑖(𝜂𝑖)}−𝜆₂|𝑃𝐴𝛼|2.

Misalkan didefenisikan 𝑇: 𝛾 = (𝛽′_{, 𝛼}′₎′ _{→ 𝛾̃ = (𝛽̃, 𝛼̃) sebagai berikut 𝛼̃ = 𝑃}

𝐴⊥ 𝛼, 𝛽̃ = 𝛽 +

(𝑋′_𝑋)−1_𝑋′_𝑍𝑃

𝐴𝛼. Jelas T tidak tergantung pada pemilihan matriks A. Karena 𝑋𝛽̃ + 𝑍𝛼̃ = 𝑋𝛽 +

𝑍𝛼 − 𝑃_𝑋 ⊥ 𝑍𝑃_𝐴𝛼 = 𝑋𝛽 + 𝑍𝛼, sehinga diperoleh 𝑙𝐶(𝛾) = 𝑙𝐶(𝛾̃). Misalkan 𝐺𝐴 = (𝑋 𝑍_{0 𝐴}′) sehingga

ada beberapa lemma, corollary dan theorema yang dapat diturunkan. Salah satunya adalah 𝑟𝑎𝑛𝑘(𝐺_𝐴) = 𝑝 + 𝑚, dimana p adalah dimensi dari 𝛽.

Ketika matriks 𝑃𝐴 dapat dipilih dengan tepat maka penduga PGWLS dari pengaruh tetap dan

acak akan konsisten.

MSE dari EBP

Suatu prediksi terbaik, BP atau dilambangkan dengan 𝜁̃ adalah prediksi yang memiliki Mean Square Error (MSE) paling minimum. Prediksi terbaik tergantung pada 𝑦𝑆 dan 𝜓, 𝜁̃ = 𝑢(𝑦𝑆, 𝜓).

Dengan catatan, 𝑦_𝑆 = (𝑦_𝑖)_𝑖∈𝑆, 𝑦_𝑖 = (𝑦𝑖𝑗)_{1≤𝑗≤𝑛}_𝑖 dan 𝑆 adalah anak gugus dari {1,2, … , 𝑚}.

Biasanya 𝜓 tidak diketahui, dan diduga dengan 𝜓̂. Sehingga 𝜁̂ = 𝑢(𝑦𝑆, 𝜓̂) dan disebut sebagai

prediksi terbaik empirik (EBP). Pada bagian ini akan dijelaskan lebih lanjut terkait aproksimasi dan pendugaan MSE dari EBP. Diasumsikan parameter dispersi 𝜙 diketahui, 𝑏(𝜓) pada persamaan

𝑀𝑆𝐸(𝜁̂) = 𝑀𝑆𝐸(𝜁̃) + 𝐸(𝜁̂ − 𝜁̃)2= 𝑏(𝜓) + 𝐸(𝜁̂ − 𝜁̃)2

𝑏(𝜓) = 𝑏(𝜃) sehingga

𝑏(𝜃) = 𝑀𝑆𝐸(𝜁̃) = 𝐸(𝜁2_{) − {𝐸(𝜁̃)}}2_{= 𝐸{𝜁(𝛽, 𝛼}

(4)

3 Berikutnya akan digunakan deret Taylor untuk mengaproksimasi 𝜁̂ − 𝜁̃ dimana 𝜁̂ = 𝑢(𝑦𝑆, 𝜃̂), 𝜁̃ = 𝑢(𝑦𝑆, 𝜃). 𝜁̂ − 𝜁̃ = 𝑢(𝑦𝑆, 𝜃̂) − 𝑢(𝑦𝑆, 𝜃) = (_𝜕𝜃𝜕𝑢′) (𝜃̂ − 𝜃) + 𝑜(𝑚−1/2) Sehingga 𝐸(𝜁̂ − 𝜁̃)2= 𝑚−1_{𝐸 {(}𝜕𝑢 𝜕𝜃′) √𝑚(𝜃̂ − 𝜃)} 2 + 𝑜(𝑚−1₎

Ada beberapa asumsi yang digunakan untuk langkah-langkah berikutnya, diantaranya dengan mengasumsikan 𝜃̂ adalah penduga yang diperoleh berdasarkan pada 𝑦𝑆−, dimana 𝑦𝑆−= (𝑦𝑖)𝑖∉𝑆 sebagai konsekuensinya 𝜃̂ adalah bebas terhadap 𝑌𝑆. Misalkan 𝜃̂ =

𝜃̂𝑆− maka 𝐸 {(_𝜕𝜃𝜕𝑢_′) √𝑚(𝜃̂𝑆−− 𝜃)} 2 = 𝐸 (𝐸 [{(_𝜕𝜃𝜕𝑢_′) √𝑚(𝜃̂𝑆−− 𝜃)} 2 |𝑦𝑆= 𝑤] |𝑤=𝑦𝑆) = 𝐸 [{_𝜕𝜃𝜕_′𝑢(𝑤, 𝜃)} 𝑉𝑆−(𝜃) { 𝜕 𝜕𝜃𝑢(𝑤, 𝜃)} |𝑤=𝑦𝑆] = 𝐸 [{ 𝜕 𝜕𝜃′𝑢(𝑦𝑆, 𝜃)} 𝑉𝑆−(𝜃) { 𝜕 𝜕𝜃𝑢(𝑦𝑆, 𝜃)}] = 𝑒𝑆−(𝜃) Dimana 𝑉𝑆−(𝜃) = 𝑚𝐸(𝜃̂𝑆−− 𝜃)(𝜃̂𝑆−− 𝜃)′

Dengan memisalkan 𝜁̂1= 𝑢(𝑦𝑆, 𝜃̂𝑆−) maka akan diperoleh

𝑀𝑆𝐸(𝜁̂1) = 𝑏(𝜃) + 𝑚−1𝑒𝑆−(𝜃) + 𝑜(𝑚−1)

Sekarang misalkan 𝜃̂ adalah penduga yang diperoleh berdasarkan semua data. Diasumsikan 𝜃̂𝑆− memenuhi |𝜃̂𝑆−− 𝜃| = 𝑂(𝑚−

1

2) dan |𝜃̂ − 𝜃̂_𝑆−| = 𝑜(𝑚− 1

2). Sehingga aproksimasi

second-order MSE dari EBP adalah sebagai berikut:

𝑀𝑆𝐸(𝜁̂) = 𝐸(𝜁̂ − 𝜁̂1)2+ 2𝐸(𝜁̂ − 𝜁̂1)(𝜁̂1− 𝜁̃) + 𝐸(𝜁̂1− 𝜁)2

= 𝑀𝑆𝐸(𝜁̂1) + 𝑜(𝑚−1)

= 𝑏(𝜃) + 𝑚−1_{𝑒(𝜃) + 𝑜(𝑚}−1₎

dimana 𝑒(𝜃) = 𝑒𝑆−(𝜃), 𝑉𝑆−(𝜃) digantikan 𝑉(𝜃) = 𝑚𝐸(𝜃̂ − 𝜃)(𝜃̂ − 𝜃)′

𝜃 pada 𝑒(𝜃) dapat digantikan dengan 𝜃̂, namun 𝜃 pada 𝑏(𝜃) tidak dapat digantikan karena bias 𝐸{𝑏(𝜃̂) − 𝑏(𝜃)} = 𝑂(𝑚−12) atau dengan kata lain belum tentu konvergen ke nol. Namun

jika |𝜃̂ − 𝜃| = 𝑂(𝑚−12) dan 𝐸(𝜃̂ − 𝜃) = 𝑂(𝑚−1) dengan menggunakan deret Taylor akan

diperoleh

𝑏(𝜃̂) = 𝑏(𝜃) + (_𝜕𝜃𝜕𝑏_′) (𝜃̂ − 𝜃) +1₂(𝜃̂ − 𝜃)′( 𝜕2𝑏

𝜕𝜃𝜕𝜃′) (𝜃̂ − 𝜃) + 𝑜(𝑚−1)

(5)

4 𝐸{𝑏(𝜃̂)} = 𝐸 {𝑏(𝜃) + (_𝜕𝜃𝜕𝑏_′) (𝜃̂ − 𝜃) +1₂(𝜃̂ − 𝜃)′( 𝜕 2_𝑏 𝜕𝜃𝜕𝜃′) (𝜃̂ − 𝜃) + 𝑜(𝑚−1)} = 𝑏(𝜃) + 𝑚−1_[(𝜕𝑏 𝜕𝜃′) 𝑚𝐸(𝜃̂ − 𝜃) + 1 2𝐸 [{√𝑚(𝜃̂ − 𝜃)} ′ ] ( 𝜕2𝑏 𝜕𝜃𝜕𝜃′) {√𝑚(𝜃̂ − 𝜃)}] + 𝑜(𝑚−1₎ 𝐸{𝑏(𝜃̂)} = 𝑏(𝜃) + 𝑚−1_{𝐵(𝜃) + 𝑜(𝑚}−1₎

Jika pendugaan bagi MSE adalah sebagai berikut :

𝑀𝑆𝐸̂ (𝜁̂) = 𝑏(𝜃̂) + 𝑚−1_{{𝑒(𝜃̂) − 𝐵(𝜃̂)}}

Dengan menggunakan beberapa persamaan diatas, sehingga dapat ditunjukkan persamaan berikut ini terpenuhi

𝐸{𝑀𝑆𝐸̂ (𝜁̂) − 𝑀𝑆𝐸(𝜁̂)} = 𝑜(𝑚−1₎

Mean Square Predictor Error (MSPE) dari Model-Assisted EBP

MSPE sama seperti MSE namun MSPE adalah arbitary predictor dari 𝑌̅𝑖 atau dilambangkan

dengan 𝜁̂ . Dimana 𝑌̅𝑖 𝑖 adalah rata-rata dari populasi yang terbatas. Populasi terbatas ini dibagi

dalam m domain dan 𝑁𝑖 adalah ukuran populasi dari domain ke-i.

sehingga

𝑀𝑆𝑃𝐸(𝜁̂𝑖) = 𝐸(𝜁̂𝑖− 𝑌̅𝑖)2

(𝜁̂𝑖− 𝑌̅𝑖)2 = (𝜁̂𝑖− 𝜁𝑖)2+ 𝑂𝑃(𝑁_𝑖−12)

Sehingga 𝑀𝑆𝑃𝐸(𝜁̂𝑖) akan diaproksimasi melalui 𝐸(𝜁̂𝑖− 𝜁𝑖)2 dengan asumsi ukuran populasi

𝑁_𝑖 lebih besar dari 𝑚.

𝑀𝑆𝑃𝐸(𝜁̂𝑖) = 𝑀𝑆𝑃𝐸(𝜁̃) + 𝐸(𝜁̂𝑖− 𝜁̃𝑖)2+ 2𝐸(𝜁̂𝑖− 𝜁̃𝑖)(𝜁̃𝑖− 𝜁𝑖) + 𝑜(𝑚−1) 𝑀𝑆𝑃𝐸(𝜁̃) = 𝐸(𝜁_𝑖2_{) − 𝐸(𝜁̂} 𝑖2) = 𝐸 {∑ 𝑤𝑖𝑗𝐸(𝑦𝑖𝑗|𝑣𝑖) 𝑛𝑖 𝑗=1 } 2 + 𝐸{𝑢_𝑖2_(𝑦̅ 𝑖𝑤, 𝜃)} ≡ 𝑏𝑖(𝜃)

Seperti yang diperoleh pada MSE dari EBP,

𝐸(𝜁̂𝑖− 𝜁̃𝑖)2= 𝑒𝑖(𝜃)𝑚−1+ 𝑜(𝑚−1), dimana 𝑒𝑖(𝜃) = 𝐸 {(_𝜕𝜃𝜕𝑢𝑖′) 𝑉(𝜃) ( 𝜕𝑢𝑖 𝜕𝜃)} dengan 𝑉(𝜃) = 𝑚𝐸(𝜃̂ − 𝜃)(𝜃̂ − 𝜃)′ 𝐸(𝜁̂𝑖− 𝜁̃𝑖)(𝜁̃𝑖− 𝜁𝑖) = 𝑔𝑖(𝜃)𝑚−1+ 𝑜(𝑚−1) Sehingga 𝑀𝑆𝑃𝐸(𝜁̂𝑖) = 𝑏𝑖(𝜃) + {𝑒𝑖(𝜃) + 2𝑔𝑖(𝜃)}𝑚−1+ 𝑜(𝑚−1)

(6)

5 𝑀𝑆𝑃𝐸̂ (𝜁̂_𝑖) = 𝑏_𝑖(𝜃̂) + {𝑒̂ + 2𝑔_𝑖(𝜃) _𝑖(𝜃̂) − 𝐵̂ }𝑚_𝑖(𝜃) −1 dimana 𝐵𝑖(𝜃) = 𝑚 {(_𝜕𝜃𝜕𝑏𝑖′) 𝐸(𝜃̂ − 𝜃) + 1 2𝐸(𝜃̂ − 𝜃) ′ (𝜕2𝑏𝑖 𝜕𝜃𝜕𝜃′) (𝜃̂ − 𝜃)}

Selajutnya akan diperoleh

𝐸{𝑀𝑆𝑃𝐸̂ (𝜁̂𝑖) − 𝑀𝑆𝑃𝐸(𝜁̂𝑖)} = 𝑜(𝑚−1)

Butir penting terkait GLMM sesuai dengan pemahaman saya :

1. GLMM adalah perluasan dari model GLM dimana peubah responnya harus mengikuti sebaran keluarga eksponensial sedangkan peubah bebasnya terdiri dari peubah tetap dan acak

2. Sama halnya seperti pada model campuran, penentuan pengaruh tetap dan pengaruh acak yang masuk ke dalam model merupakan hal penting yang perlu diperhatikan 3. Sama halnya seperti GLM, GLMM memiliki tiga komponen yaitu peubah tak bebas Y

(komponen acak) yang mengikuti sebaran tertentu yang berasal dari keluarga eksponential (Ballinger 2004), komponen sistematik yang terdiri dari beberapa peubah kovariat X yang dapat dikombinasikan dalam bentuk fungsi linier serta fungsi hubung yang menghubungkan komponen acak dan komponen sistematik

4. Fungsi likelihood pada GLMM