3.7 Further Results and Technical Notes. Yenni Angraini-G

3.7 Further Results and Technical Notes

Outline

• Nonlinear Gauss-Seidel Algorithm (NLGSA)

• Sifat asimtotik dari penduga Penalized Generalized Weighted Least Squares (PGWLS)

• Mean Square Error (MSE) dari Empirical Best Predictor

Nonlinear Gauss-Seidel Algorithm (NLGSA)

• Digunakan untuk menghitung Maximum Posterior Estimators (MPE)---Jiang (2000)

• Pengembangan dari Gauss-Seidel Algorithm dalam analisis numerik untuk menyelesaikan persamaan linear yang dimensinya besar

Nonlinear Gauss-Seidel Algorithm (NLGSA)

• Misalkan pengaruh acak saling bebas (dan menyebar normal). • Dengan kata lain matriks 𝑮, matriks koragam dari 𝛼 = 𝛼_{𝑘 1≤𝑘≤𝑚}

adalah matriks diagonal (𝐺 = 𝑑𝑖𝑎𝑔(𝑑₁, … , 𝑑_𝑚)).

• Selanjutnya diasumsikan juga fungsi penghubung kanonik 𝜉_𝑖 = 𝜂_𝑖. • Elemen matriks rancangan pengaruh acak, Z, dituliskan sebagai 𝑧_𝑖 =

𝑧_{𝑖𝑘 1≤𝑘≤𝑚} sehingga 𝜕𝑙_𝜕𝛼𝐽 = 0 dapat dituliskan sebagai

𝛼_𝑘 𝑑_𝑘 + 𝑖=1 𝑛 𝑧_𝑖𝑘 𝑎_𝑖(𝜙) 𝑏′ 𝑥𝑖′𝛽 + 𝑙=1 𝑚 𝑥_𝑖𝑙𝛼_𝑙 = 𝑖=1 𝑛 𝑧_𝑖𝑘 𝑎_𝑖(𝜙) 𝑦𝑖, 1 ≤ 𝑘 ≤ 𝑚

Misalkan 𝑓_𝑘(𝛼₁, … , 𝛼_𝑘−1, 𝛼_𝑘+1, … , 𝛼_𝑚) menyatakan solusi unik dari 𝜆 untuk persamaan berikut ini :

𝜆 𝑑_𝑘 + 𝑖=1 𝑛 𝑧_𝑖𝑘 𝑎_𝑖(𝜙) 𝑏′ 𝑥𝑖′𝛽 + 𝑧𝑖𝑘𝜆 + 𝑙≠𝑘 𝑧_𝑖𝑙𝛼_𝑙 = 𝑖=1 𝑛 𝑧_𝑖𝑘 𝑎_𝑖(𝜙) 𝑦𝑖

Algoritma rekursif ditandai dengan 𝛼_𝑘(𝑡) = 𝑓_𝑘 𝛼₁𝑡 , … , 𝛼_𝑘−1𝑡 , 𝛼_𝑘−1𝑡−1 , … , 𝛼_𝑚𝑡−1 ,

1 ≤ 𝑘 ≤ 𝑚

Untuk 𝑡 = 1,2, … , atau ekuivalen dengan

𝛼_𝑘(𝑡) 𝑑_𝑘 + 𝑖=1 𝑛 𝑧_𝑖𝑘 𝑎_𝑖(𝜙) 𝑏′ 𝑥𝑖′𝛽 + 𝑙=1 𝑘 𝑧_𝑖𝑙𝛼_𝑙(𝑡) + 𝑙=𝑘+1 𝑚 𝑧_𝑖𝑙𝛼_𝑙(𝑡−1) = 𝑖=1 𝑛 𝑧_𝑖𝑘 𝑎_𝑖(𝜙) 𝑦𝑖 , 1 ≤ 𝑘 ≤ 𝑚

Jiang (2000b) membuktikan teorema berikut ini terkait dengan

kekonvergenan dari NLGSA atau dikenal dengan

Global

Convergence of NLGSA Theorem

:

Untuk

𝛽

yang tetap dan sembarang nilai awal, maka NLGSA

konvergen ke suatu solusi yang unik

𝛼 = 𝛼(𝛽)

pada

Sifat asimtotik dari penduga Penalized Generalized

Weighted Least Squares (PGWLS)

Teori asimtotik terkait pengaruh acak sangat berbeda dengan paremeter tetap. Hal ini disebabkan oleh beberapa hal :

1. Pengaruh acak individu biasanya tidak dapat diidentifikasi

2. Jumlah pengaruh acak (m) dimungkinkan meningkat dengan meningkatnya ukuran contoh

Sifat asimtotik dari penduga Penalized Generalized

Weighted Least Squares (PGWLS)

• Penduga Penalized Generalized Weighted Least Squares (PGWLS) dari

𝛾 = 𝛽′, 𝛼′ ′ didefenisikan sebagai maximizer dari

𝑙_𝑃 𝛾 =

𝑖=1 𝑛

𝑤_𝑖 𝑦_𝑖𝜂_𝑖 − 𝑏_𝑖(𝜂_𝑖) − 𝜆

2 𝑃𝐴𝛼 2

dimana 𝜆 adalah konstanta positif.

Sifat asimtotik dari penduga Penalized Generalized

Weighted Least Squares (PGWLS)

• Untuk mengekplorasi lebih lanjut sifat asimtotik dari penduga PGWLS, perlu diasumsikan bahwa

m meningkat sangat lambat dari n (𝑚 𝑛 → 0). • Teknik dasar yang digunakan adalah penalization.

• Tujuan dari penalization adalah agar pengaruh individu dapat diidentifikasi

• Mengacu ke persamaan 𝑙_𝑃 𝛾 = _𝑖=1𝑛 𝑤_𝑖 𝑦_𝑖𝜂_𝑖 − 𝑏_𝑖(𝜂_𝑖) − 𝜆₂ 𝑃_𝐴𝛼 2, salah satu alasan dibutuhnya suatu penalizer (𝑃_𝐴) adalah karena 𝑙_𝐶 𝛾 = _𝑖=1𝑛 𝑤_𝑖 𝑦_𝑖𝜂_𝑖 − 𝑏_𝑖(𝜂_𝑖) tergantung pada 𝛾 = 𝛽′, 𝛼′ ′ hanya melalui 𝜂 = 𝑋𝛽 + 𝑍𝛼.

• Namun 𝛾 tidak dapat diidentifikasi melalui 𝜂 sehingga akan banyak vektor 𝛾 yang bersesuaian dengan 𝜂 yang sama.

Sifat asimtotik dari penduga Penalized Generalized

Weighted Least Squares (PGWLS)

• Ada tahapan yang harus dilakukan untuk mengekplorasi sifat

asimtotik dari penduga PGWLS, pertama adalah bagaimana cara pemilihan matriks 𝑃_𝐴 pada 𝑙_𝑃 𝛾 = _𝑖=1𝑛 𝑤_𝑖 𝑦_𝑖𝜂_𝑖 − 𝑏_𝑖(𝜂_𝑖) −

𝜆

2 𝑃𝐴𝛼

2_.

• Ketika matriks 𝑃_𝐴 dapat dipilih dengan tepat maka penduga PGWLS dari pengaruh tetap dan acak akan konsisten.

MSE dari EBP

• Suatu prediksi terbaik 𝜁 adalah prediksi yang memiliki Mean Square Error (MSE) paling minimum.

• Prediksi terbaik tergantung pada 𝑦_𝑆 dan 𝜓, 𝜁 = 𝑢(𝑦_𝑆, 𝜓) • Biasanya 𝜓 tidak diketahui, dan diduga dengan 𝜓

• Sehingga 𝜁 = 𝑢(𝑦_𝑆, 𝜓) dan disebut sebagai prediksi terbaik empirik (EBP)

Aproksimasi MSE dari EBP

• Diasumsikan parameter dispersi 𝜙 diketahui

• MSE dari EBP : 𝑀𝑆𝐸 𝜁 = 𝑀𝑆𝐸 𝜁 + 𝐸 𝜁 − 𝜁 2 = 𝑏 𝜓 + 𝐸( 𝜁 − 𝜁)2, 𝑏 𝜓 = 𝑏(𝜃)

• MSE dari BP : 𝑏 𝜃 = 𝑀𝑆𝐸 𝜁 = 𝐸 𝜁2 − 𝐸 𝜁 2 = 𝐸 𝜁 𝛽, 𝛼_𝑆 2 − 𝐸 𝑢(𝑦_𝑆, 𝜃) 2 • Aproksimasi 𝜁 − 𝜁 dimana 𝜁 = 𝑢 𝑦_𝑆, 𝜃 , 𝜁 = 𝑢 𝑦_𝑆, 𝜃 𝜁 − 𝜁 = 𝑢 𝑦_𝑆, 𝜃 − 𝑢 𝑦_𝑆, 𝜃 = _𝜕𝜃𝜕𝑢_′ 𝜃 − 𝜃 + 𝑜(𝑚−1/2) Sehingga 𝐸 𝜁 − 𝜁 2 = 𝑚−1𝐸 𝜕𝑢 𝜕𝜃′ 𝑚 𝜃 − 𝜃 2 + 𝑜 𝑚−1

Aproksimasi MSE dari EBP

Asumsi yang digunakan untuk menghitung aproksimasi MSE dari EBP:

• Mengasumsikan 𝜃 adalah penduga yang diperoleh berdasarkan pada 𝑦_𝑆−, sebagai konsekuensinya 𝜃 adalah bebas terhadap 𝑌_𝑆 • Misalkan 𝜃 = 𝜃_𝑆− maka 𝐸 𝜕𝑢 𝜕𝜃′ 𝑚 𝜃𝑆− − 𝜃 2 = 𝐸 𝐸 𝜕𝑢 𝜕𝜃′ 𝑚 𝜃𝑆− − 𝜃 2 𝑦𝑠 = 𝑤 _{𝑤=𝑦𝑠} = 𝐸 𝜕 𝜕𝜃′ 𝑢 𝑤, 𝜃 𝑉𝑆− 𝜃 𝜕 𝜕𝜃𝑢 𝑤, 𝜃 𝑤=𝑦𝑠 = 𝐸 𝜕 𝜕𝜃′ 𝑢 𝑦𝑠, 𝜃 𝑉𝑆− 𝜃 𝜕 𝜕𝜃 𝑢 𝑦𝑠, 𝜃 = 𝑒𝑆−(𝜃) dimana 𝑉_𝑆− 𝜃 = 𝑚𝐸( 𝜃_𝑆− − 𝜃)( 𝜃_𝑆− − 𝜃)′

• Dengan memisalkan 𝜁₁ = 𝑢(𝑦𝑠, 𝜃_𝑆−) maka akan diperoleh

Aproksimasi MSE dari EBP

• Misalkan 𝜃 adalah penduga yang diperoleh berdasarkan semua data.

• Diasumsikan 𝜃_𝑆− memenuhi 𝜃_𝑆− − 𝜃 = 𝑂(𝑚−

1

2) _dan 𝜃 − 𝜃_𝑆− = 𝑜(𝑚− 1 2)_.

• Sehingga aproksimasi MSE adalah sebagai berikut:

𝑀𝑆𝐸 𝜁 = 𝐸 𝜁 − 𝜁₁ 2 + 2𝐸 𝜁 − 𝜁₁ 𝜁₁ − 𝜁 + 𝐸 𝜁₁ − 𝜁 2 = 𝑀𝑆𝐸 𝜁₁ + 𝑜 𝑚−1

= 𝑏 𝜃 + 𝑚−1𝑒 𝜃 + 𝑜 𝑚−1

Penduga MSE dari EBP

• 𝜃 pada 𝑒 𝜃 dapat digantikan dengan 𝜃, namun 𝜃 pada 𝑏 𝜃 tidak dapat digantikan karena bias 𝐸 𝑏 𝜃 − 𝑏 𝜃 = 𝑂(𝑚−

1

2) _{atau dengan kata lain belum tentu konvergen ke}

nol. Namun jika 𝜃 − 𝜃 = 𝑂(𝑚−

1

2) _dan 𝐸 𝜃 − 𝜃 = 𝑂(𝑚−1) _{dengan menggunakan}

deret Taylor akan diperoleh

𝑏 𝜃 = 𝑏 𝜃 + 𝜕𝑏 𝜕𝜃′ 𝜃 − 𝜃 + 1 2 𝜃 − 𝜃 ′ 𝜕2𝑏 𝜕𝜃𝜕𝜃′ 𝜃 − 𝜃 + 𝑜 𝑚−1 𝐸 𝑏 𝜃 = 𝐸 𝑏 𝜃 + 𝜕𝑏 𝜕𝜃′ 𝜃 − 𝜃 + 1 2 𝜃 − 𝜃 ′ 𝜕2𝑏 𝜕𝜃𝜕𝜃′ 𝜃 − 𝜃 + 𝑜 𝑚−1 = 𝑏 𝜃 + 𝑚−1 𝜕𝑏 𝜕𝜃′ 𝑚𝐸 𝜃 − 𝜃 + 1 2𝐸 𝑚 𝜃 − 𝜃 ′ 𝜕2𝑏 𝜕𝜃𝜕𝜃′ 𝑚 𝜃 − 𝜃 + 𝑜 𝑚−1 𝐸 𝑏 𝜃 = 𝑏 𝜃 + 𝑚−1𝐵 𝜃 + 𝑜 𝑚−1 𝐵(𝜃)

Penduga MSE dari EBP

Jika pendugaan bagi MSE adalah sebagai berikut :

𝑀𝑆𝐸 𝜁 = 𝑏 𝜃 + 𝑚−1 𝑒 𝜃 − 𝐵 𝜃

Dengan menggunakan beberapa persamaan diatas, sehingga dapat ditunjukkan persamaan berikut ini terpenuhi

Aproksimasi MSPE dari Model-Assisted EBP

• Sifat penting dari Model-Assisted EBP  konsisten

• MSPE sama seperti MSE namun MSPE adalah suatu arbitary predictor dari

𝑌_𝑖 atau dilambangkan dengan 𝜁_𝑖. Dimana 𝑌_𝑖 adalah rata-rata dari populasi yang terbatas. Populasi terbatas ini dibagi dalam m domain dan 𝑁_𝑖 adalah ukuran populasi dari domain ke-i

sehingga

𝑀𝑆𝑃𝐸 𝜁_𝑖 = 𝐸( 𝜁_𝑖 − 𝑌_𝑖)2 𝜁_𝑖 − 𝑌_𝑖 2 = 𝜁_𝑖 − 𝜁_𝑖 2 + 𝑂_𝑃(𝑁_𝑖−

1 2₎

• Sehingga 𝑀𝑆𝑃𝐸 𝜁_𝑖 akan diaproksimasi melalui 𝐸 𝜁_𝑖 − 𝜁_𝑖 2 dengan asumsi ukuran populasi 𝑁_𝑖 lebih besar dari 𝑚

Aproksimasi MSPE dari Model-Assisted EBP

𝑀𝑆𝑃𝐸 𝜁_𝑖 = 𝑀𝑆𝑃𝐸 𝜁 + 𝐸 𝜁_𝑖 − 𝜁_𝑖 2 + 2𝐸 𝜁_𝑖 − 𝜁_𝑖 𝜁_𝑖 − 𝜁_𝑖 + 𝑜(𝑚−1) 𝑀𝑆𝑃𝐸 𝜁 = 𝐸 𝜁_𝑖2 − 𝐸 𝜁_𝑖2 = 𝐸 𝑗=1 𝑛_𝑖 𝑤_𝑖𝑗𝐸 𝑦_𝑖𝑗 𝑣_𝑖 2 + 𝐸 𝑢_𝑖2 𝑦_𝑖𝑤, 𝜃 ≡ 𝑏_𝑖(𝜃)

• Seperti yang diperoleh pada MSE dari EBP,

𝐸 𝜁_𝑖 − 𝜁_𝑖 2 = 𝑒_𝑖 𝜃 𝑚−1 + 𝑜 𝑚−1 , dimana 𝑒_𝑖 𝜃 = 𝐸 _𝜕𝜃𝜕𝑢_′𝑖 𝑉(𝜃) 𝜕𝑢_𝜕𝜃𝑖 dengan 𝑉 𝜃 = 𝑚𝐸( 𝜃 − 𝜃)( 𝜃 − 𝜃)′ dan 𝐸 𝜁_𝑖 − 𝜁_𝑖 𝜁_𝑖 − 𝜁_𝑖 = 𝑔_𝑖 𝜃 𝑚−1 + 𝑜(𝑚−1) • Sehingga 𝑀𝑆𝑃𝐸 𝜁_𝑖 = 𝑏_𝑖 𝜃 + 𝑒_𝑖 𝜃 + 2𝑔_𝑖 𝜃 𝑚−1 + 𝑜(𝑚−1)

Penduga MSPE dari Model-Assisted EBP

𝑀𝑆𝑃𝐸 𝜁_𝑖 = 𝑏_𝑖 𝜃 + 𝑒_𝑖 𝜃 + 2𝑔_𝑖 𝜃 − 𝐵_𝑖(𝜃) 𝑚−1 Dimana 𝐵_𝑖 𝜃 = 𝑚 𝜕𝑏𝑖 𝜕𝜃′ 𝐸 𝜃 − 𝜃 + 1 2 𝐸 𝜃 − 𝜃 ′ 𝜕2𝑏_𝑖 𝜕𝜃𝜕𝜃′ 𝜃 − 𝜃

Selajutnya akan diperoleh

Butir penting terkait GLMM sesuai dengan pemahaman saya

• GLMM adalah perluasan dari model GLM dimana peubah responnya harus mengikuti sebaran keluarga eksponensial sedangkan peubah bebasnya terdiri dari peubah tetap dan acak

• Sama halnya seperti pada model campuran, penentuan pengaruh tetap dan pengaruh acak yang masuk ke dalam model merupakan hal penting yang perlu diperhatikan

• Sama halnya seperti GLM, GLMM memiliki tiga komponen yaitu peubah tak bebas Y (komponen acak) yang mengikuti sebaran tertentu yang berasal dari keluarga eksponential (Ballinger 2004), komponen sistematik yang terdiri dari beberapa peubah kovariat X yang dapat dikombinasikan dalam bentuk fungsi linier serta fungsi hubung yang menghubungkan komponen acak dan komponen sistematik

• Fungsi likelihood pada GLMM