Matematika REML. A workshop conducted at Universitas Brawijaya, Malang, Indonesia. December 2013

Matematika REML

A workshop conducted at

Universitas Brawijaya, Malang, Indonesia

December 2013

Mick O'Neill

Statistical Advisory & Training Service Pty Ltd

mick@stats.net.au

Pengantar REML ... 1

Pengembangan REML ... 4

Solusi REML untuk sebaran normal ... 5

Matriks umum dalam pengembangan REML ... 7

Properti statistika dari peubah transformasi ... 9

Fungsi kepekatan normal multivariat ... 9

Transformasi ortogonal ... 10

Transformasi melibatkan matriks setangkup idempoten ... 13

Model Linier Umum (GLM) dengan hanya pengaruh tetap ... 14

Example 1 – Contoh acak sederhana dari sebaran normal ... 10

Example 2 Regresi Linier Sederhana ... 17

Example 3 Regresi Linier Berganda ... 24

Example 4 Rancangan perlakuan Satu-arah ... 27

Example 5 - Uji t tidak berpasangan– ragam sama ... 35

Example 6 – Uji t tidak berpasangan – ragam berbeda ... 36

Model Campuran Linier (LMM) ... 40

1. LMM umum ... 40

2. Transformasi untuk memisahkan pengaruh tetap ... 42

3. Dua fungsi logLikelihood ... 45

4. Solusi REML untuk pengaruh acak ... 47

5. Solusi REML untuk pengaruh tetap ... 50

6. Menguji pengaruh tetap: uji Wald ... 52

7. Uji Wald untuk pengaruh tetap menggunakan REML ... 54

8. Menguji pengaruh acak ... 55

Teladan struktur sisa berkorelasi ... 57

Teladan 1 – struktur uniform: model-model blok acak ... 58

Teladan 2 matriks diagonal: Rancangan perlakuan Satu-Arah dengan perubahan ragam perlakuan ... 64

Teladan 3 Contoh acak sederhana dengan sisa berkorelasi AR(1) ... 70

Teladan 4 Data pengukuran berulang, tak berstruktur/antedependence ... 77

1

Perkenalan tentang

REML

REML adalah kepanjangan dari

REsidual Maximum Likelihood

atau kadang

REstricted Maximum Likelihood

Atau bahkan

REduced Maximum Likelihood (Patterson and Thompson, 1971) Apa itu Maximum Likelihood?

Likelihood suatu contoh adalah peluang prior untuk memperoleh data dalam contoh. Ini memerlukan asumsi tentang sebaran data, seperti

Binomial atau Poisson untuk d count (hasil menghitung) Normal atau LogNormal untuk data kontinu

Setiap sebaran melibatkan paling tidak satu parameter yang tidak diketahui yang harus diduga dari data.

Pendugaan dilakukan dengan mendapatkan suatu nilai parameter yang memaksimumkan likelihood.

Nilai ini disebut penduga maximum likelihood untuk parameter.

Catatan.

Sesungguhnya memaksimumkan log-likelihood ekivalen dengan memaksimumkan likelihood dan lebih mudah ditangani (untuk akurasi numerik).

2

Teladan 1 percobaan perkecambahan benih

Ambil 100 benih dan inspeksi apakah setiap benih berkecambah (G) atau tidak (NG). Apa penduga ML bagi p, peluang bahwa satu benih berkecambah?

Jika 100 benih berkecambah (atau tidak) mengikuti pola berikut:

G NG G G … NG G

Maka

Likelihood = p  (1 - p) p p …  (1 - p) p

Jika dari n benih, g adalah banyaknya benih yang berkecambah (dan banyaknya benih yang tidak berkecambah n-g). Maka likelihood adalah

Likelihood = pg (1 - p)n-g

Tidak mudah untuk dimaksimumkan (menurunkan secara matematis) sebagaimana logaritmanya:

logLikelihood = g ln(p) + (n-g) ln(1 - p)

Maka solusi ML yang didapat dari memaksimumkan Likelihood sama dengan yang dihasilkan dari memaksimumkan logLikelihood.

Solusi matematis:

Turunan log likelihood: 𝑑 𝑑𝑝(𝑔 log(𝒑) + (𝑛 − 𝑔) log(1 − 𝒑)) Samakan dengan 0 𝑔 𝑝̂− 𝑛 − 𝑔 1 − 𝑝̂ = 0 𝑔 𝑝̂ = 𝑛 − 𝑔 1 − 𝑝̂ 𝑔(1 − 𝑝̂) = 𝑝̂(𝑛 − 𝑔) 𝑔 − 𝑝̂𝑔 = 𝑝̂𝑛 − 𝑝̂𝑔 −𝑝̂𝑔 terdapat di dua ruas, sehingga dapat dibuang

𝑔 = 𝑝̂𝑛

3

Teladan 2 Flesh hue of freshly cut mangoes

Asumsikan bahwa flesh hue menyebar normal.

Apa penduga ML bagi 𝜇, rata-rata flesh hue, dan 𝜎2, ragam dalam flesh hue?

Ambil n mangga secara acak dan ukur their flesh hues yang dilambangkan dengan y1, y2, …, yn.

Untuk peubah kontinu, likelihood didefinisikan sebagai perkalian fungsi kepekatan pada setiap titik contoh: 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = 1 √2𝜋𝜎2𝑒 −(𝑦1_2𝜎−𝜇)₂ 2_× 1 √2𝜋𝜎2𝑒 −(𝑦2_2𝜎−𝜇)₂ 2 _{× ⋯ ×} 1 √2𝜋𝜎2𝑒 −(𝑦𝑛_2𝜎−𝜇)₂ 2

Seperti yang akan kita lihat, diperlukan transformasi, karena Jacobian dari transformasi mungkin dilibatkan.

Juga, ini merupakan ekspresi matematis yang sulit diturunkan, maka maximumkan

logLikelihood yang akan memberikan hasil sama.

= −1₂log(2𝜋𝜎2_{) −}(𝑦1 − 𝜇)2 2𝜎2 − 1 2log(2𝜋𝜎2) − (𝑦2− 𝜇)2 2𝜎2 … − 1 2log(2𝜋𝜎2) − (𝑦𝑛− 𝜇)2 2𝜎2 Gabungkan suku sejenis menjadi:

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = −𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) − ∑}(𝑦𝑖 − 𝜇)2 2𝜎2 𝑛 𝑖=1 (1)

Solusi matematis:

Maksimumkan log likelihood dengan cara menurunkannya terhadap 𝜇: _∂∂_µ(−𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) − ∑}(𝑦𝑖− 𝜇)2 2𝜎2 𝑛 𝑖=1 ) ∂ ∂µ(− 𝑛 2log(2𝜋)) − ∂ ∂µ( 𝑛 2log(𝜎2) − ∂ ∂µ(∑ (𝑦𝑖 − 𝜇)2 2𝜎2 𝑛 𝑖=1 ) 0 − −0 − 2(−1) ∑(𝑦𝑖 − 𝜇) 𝜎2 𝑛 𝑖=1

4

Samakan dengan nol

∑(𝑦𝑖− 𝜇̂) 𝜎̂2 = 0 𝑛 𝑖=1 ∑𝑛_𝑖=1(𝑦_𝑖− 𝜇̂) = 0; ∑𝑛_𝑖=1 𝑦_𝑖 − ∑𝑛_𝑖=1𝜇̂ = 0; ∑𝑛_𝑖=1 𝑦_𝑖 − 𝑛𝜇̂ = 0 𝜇̂ = 𝑦̅ Menurunkan terhadap 𝜎2 _∂𝜎∂₂(−𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) − ∑}(𝑦𝑖 − 𝜇)2 2𝜎2 𝑛 𝑖=1 ) ∂ ∂𝜎2(− 𝑛 2log(2𝜋)) − ∂ ∂𝜎2( 𝑛 2log(𝜎 2_{) −} ∂ ∂𝜎2(∑ (𝑦𝑖− 𝜇)2 2𝜎2 𝑛 𝑖=1 ) 0 − 0 − 𝑛 2𝜎2+ ∑ (𝑦𝑖 − 𝜇)2 2𝜎4 𝑛 𝑖=1

Karena samakan dengan nol, maka akan 2𝜎̂2 _{hilang, ganti 𝜇 dengan penduganya 𝑦̅}

− 𝑛 2𝜎̂2+ ∑ (𝑦_𝑖 − 𝜇̂)2 2𝜎̂4 𝑛 𝑖=1 = 0 ∑𝑛𝑖=1(𝑦𝑖− 𝑦̅)2 𝜎̂2 = 𝑛 𝜎̂2 ₌∑𝑛𝑖=1(𝑦𝑖− 𝑦̅)2 𝑛 Catatan penting tentang penduga ML sebaran normal:

 Penduga ML bagi rata-rata populasi 𝜇 bersifat tak bias

 Penduga ML bagi ragam populasi 𝜎2 _{berbias (karena menggunakan pembagi 𝑛 bukan} 𝑛 − 1.

5

Pengembangan REML

Dimungkinkan untuk menguraikan likelihood ke dalam dua bagian:

likelihood yang mengandung parameter rata-rata 𝜇 (juga parameter ragam 𝜎2), dan

residual likelihood yang hanya mengandung parameter ragam 𝜎2

sedemikian sehingga

likelihood pertama dapat dimaksimumkan untuk menduga parameter rata-rata 𝜇 (dan

solusinya tidak tergantung pada penduga 𝜎2_{); dan}

residual likelihood dapat dimaksimumkan untuk menduga parameter ragam 𝜎2. Solusi ini dikenal sebagai penduga REML bagi 𝜎2 (berbeda dari solusi penduga ML).

Untuk sebaran normal dan teladan 2, cara cepat untuk mengembangkan ide ini tergantung pada fakta: ∑(𝑦𝑖 − 𝜇)2 𝑛 𝑖=1 = ∑[(𝑦𝑖− 𝑦̅) + (𝑦̅ − 𝜇)]2 𝑛 𝑖=1 = ∑(𝑦𝑖− 𝑦̅)2 𝑛 𝑖=1 + 𝑛(𝑦̅ − 𝜇)2

Langkah pertama dalam memisahkan dua likelihood adalah menulis kembali logLikelihood untuk sebaran normal:

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = −𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) − ∑}(𝑦𝑖 − 𝜇)2 2𝜎2 𝑛 𝑖=1 sebagai 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = −𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) − ∑}(𝑦𝑖 − 𝑦̅)2 2𝜎2 𝑛 𝑖=1 −𝑛(𝑦̅ − 𝜇) 2 2𝜎2

Lihat hasil berikut. Jika contoh acak berukuran n ditarik dari sebaran normal N(𝜇, 𝜎2_{), maka} rata-rata contoh 𝑦̅ juga menyebar normal dengan rata-rata 𝜇 dan ragam 𝜎2_{/𝑛. Dengan} demikian likelihood untuk rata-rata 𝑦̅ adalah:

𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 𝑓 − 𝑜𝑟 𝑦̅ = 1 √2𝜋 𝜎2_⁄𝑛𝑒 −(𝑦̅−𝜇)_{2𝜎2⁄𝑛}2 = √ 𝑛 2𝜋𝜎2𝑒 −𝑛(𝑦̅−𝜇)_2𝜎2 2

6

Sehingga logLikelihood untuk rata-rata contoh 𝑦̅ adalah

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 for 𝑦̅ =1₂log(𝑛) −1₂log(2𝜋) −1₂log(𝜎2_{) −}𝑛(𝑦̅ − 𝜇)2 2𝜎2

Kembali ke log-Likelihood untuk contoh acak dari sebaran normal, yakni 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = −𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) − ∑}(𝑦𝑖 − 𝑦̅)2 2𝜎2 𝑛 𝑖=1 −𝑛(𝑦̅ − 𝜇)2 2𝜎2

Dan pisahkan logLikelihood dari rata-rata contoh 𝑦̅: (gunakan 𝑛 = 𝑛 − 1 + 1 = 1 + (𝑛 − 1)

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 contoh acak berukuran 𝑛 dari sebaran normal = −1₂log(2𝜋) −1₂log(𝜎2_{) −}𝑛(𝑦̅ − 𝜇)2 2𝜎2 −𝑛−1 2 log(2𝜋) − 𝑛−1 2 log(𝜎2) − ∑ (𝑦𝑖−𝑦̅)2 2𝜎2 𝑛 𝑖=1 Catat bahwa 𝑛 = 𝑛 + 1 − 1 = 1 + (𝑛 − 1) untuk penguraian

Tampak bahwa

baris pertama (hampir) loglikelihood dari rata-rata contoh 𝑦̅, berbeda hanya dalam konstanta ½ ln(n). Hal ini tidak berpengaruh terhadap pemaksimuman fungsi terhadap  dan sesungguhnya hilang di bawah transformasi. Kita akan kembali ke sini.

Baris kedua hanya mengandung parameter ragam 𝜎2_{. Ini adalah loglikelihood dari} himpunan n-1 peubah acak yang bebas terhadap rata-rata contoh, dan membentuk ragam contoh 𝒔𝟐 _{sebagai penduga bagi 𝜎}2 _{(kita akan kembali ke sini).}

Baris kedua disebut REsidual (atau Restricted atau Reduced) Likelihood. Likelihood ini dimaksimumkan secara terpisah dari likelihood pertama, untuk rata-rata contoh. Hasil memaksimumkan likelihood ini dikenal sebagai penduga REML bagi ragam 𝜎2_.

7

Solusi REML untuk sebaran normal:

1. Maksimumkan

−1₂log(𝑛) −𝑛−1₂ log(2𝜋) −𝑛−1₂ log(𝜎2_{) − ∑}(𝑦𝑖− 𝑦̅)2 2𝜎2 𝑛 𝑖=1 terhadap 𝜎2_: ∂ ∂𝜎2(− 1 2log(𝑛)) − ∂ ∂𝜎2 ( 𝑛−1 2 log(2𝜋)) − ∂ ∂𝜎2 ( 𝑛−1 2 log(𝜎2)) − ∂ ∂𝜎2(∑ (𝑦𝑖− 𝑦̅)2 2𝜎2 𝑛 𝑖=1 ) 0 − 0 −(𝑛 − 1) 2𝜎2 + ∑ (𝑦𝑖− 𝑦̅)2 2𝜎4 𝑛 𝑖=1 Samakan dengan nol

−(𝑛 − 1) 2𝜎̂2 + ∑ (𝑦𝑖 − 𝑦̅)2 2𝜎̂4 𝑛 𝑖=1 = 0 ∑𝑛 (𝑦_𝑖− 𝑦̅)2 𝑖=1 𝜎̂2 = (𝑛 − 1) 𝜎̂2 ₌∑𝑛𝑖=1(𝑦𝑖− 𝑦̅)2 (𝑛 − 1) 2. Maksimumkan

+1₂log(𝑛) −1₂log(2𝜋) −1₂log(𝜎2_{) −}𝑛(𝑦̅ − 𝜇)2 2𝜎2 terhadap 𝜇: ∂ ∂𝜇( 1 2log(𝑛)) − ∂ ∂𝜇( 1 2log(2𝜋) − ∂ ∂𝜇( 1 2log(𝜎2) − ∂ ∂𝜇( 𝑛(𝑦̅ − 𝜇)2 2𝜎2 ) 0 − −0 − 0 −2𝑛(𝑦̅ − 𝜇) 2𝜎2 Samakan dengan nol

8

2𝑛(𝑦̅ − 𝜇̂) 2𝜎2 = 0

(𝑦̅ − 𝜇̂) = 0 𝜇̂ = 𝑦̅

Tampak bahwa untuk sebaran normal,

Solusi untuk 𝜇 (dalam hal ini) tidak tergantung pada parameter 𝜎2_,

9

Matriks dalam pengembangan REML

Matriks memegang peranan penting dalam statistika matematika, maka perlu mengingat kembali beberapa matriks, sifat-sifat dan penggunaannya.

Matriks Khusus

1. Matriks identitas I adalah matriks di mana diagonal utama bernilai 1 dan 0 di luar diagonal. Kadang subskrip digunakan untuk menjelaskan dimensi .

I3 = (

1 0 0 0 1 0 0 0 1

)

2. Matriks nol terdiri dari 0 𝑶₃ = (0 0 00 0 0

0 0 0 )

3. Suatu matriks yang semua unsurnya bernilai 1 kadang dilambangkan dengan J , dengan dimensi banyaknya baris kali banyaknya kolom. Untuk matriks segi, jika diperlukan hanya ditulis subskrip tunggal.

J₃₄= (1 1 1 11 1 1 1 1 1 1 1

) (3 baris dan 4 kolom)

Matriks ini dihasilkan dari perkalian vector kolom 1 sebagai vektor pengganda awal dengan vector baris 1 (pengganda akhir). Vektor kolom 1 sebanyak 4 baris ditulis demikian 1₄: 13⊗14 =1314𝑇 = ( 1 1 1) (1 1 1 1) = ( 1 1 1 1 1 1 1 1 1 1 1 1 ) = J34

4. Matriks 𝑴 bersifat idempotent jika 𝑴2 _{= 𝑴. Pandang M =} 1

𝑛J𝑛, mudah ditunjukkan bahwa (1_𝑛J_𝑛) (1_𝑛J_𝑛) = (_𝑛1J_𝑛) maka (_𝑛1J_𝑛) idempoten.

5. Matriks 𝑷 dikatakan ortogonal sedemikian sehingga 𝑷𝑷𝑇 _{= 𝑷}𝑇_{𝑷 = 𝑰. Matriks Helmert 𝑯} adalah ortogonal. Pandang pola matriks di ruas kiri:

10 (1 1_{1 −1}), (1/√2 1/√2 1/√2 −1/√2) (1 1 11 −1 0 1 1 −2 ), ( 1/√3 1/√3 1/√3 1/√2 −1/√2 0 1/√6 1/√6 −2/√6 ) ( 1 1 1 1 1 −1 0 0 1 1 −2 0 1 1 1 −3 ), ( 1/√4 1/√4 1/√4 1/√4 1/√2 −1/√2 0 0 1/√6 1/√6 −2/√6 0 1/√12 1/√12 1/√12 −3/√12) ( 1 1 1 1 1 1 −1 0 0 0 1 1 −2 0 0 1 1 1 −3 0 1 1 1 1 −4) , ( 1/√5 1/√5 1/√5 1/√5 1/√5 1/√2 −1/√2 0 0 0 1/√6 1/√6 −2/√6 0 0 1/√12 1/√12 1/√12 −3/√12 0 1/√20 1/√20 1/√20 1/√20 −4/√20) dan seterusnya

Baris pertama setiap matriks di kiri adalah 1. Kemudian {1, -1}, {1, 1, -2}, {1, 1, 1, -3} {1, 1, 1, -4} sehingga baris terakhir matriks berukuran 5×5 adalah {1, 1, 1, 1, -5} dst.

Jika matriks-matriks di ruas kiri dikalikan dengan vektor pengganda awal yakni vektor data 𝒚, maka baris pertama vektor baru (vector kolom) ini adalah jumlah data (𝑦₁+ 𝑦₂+ ⋯ + 𝑦𝑛). Elemen kedua adalah (𝑦1− 𝑦2), elemen ketiga (𝑦1+ 𝑦2− 2𝑦3), kemudian (𝑦1+ 𝑦2+ 𝑦3− 3𝑦4), dan seterusnya.

Apabila setiap elemen dalam baris dibagi dengan akar pangkat dua dari jumlah kuadrat bilangan dalam baris tersebut, akan menghasilkan matriks ortogonal Helmert yang tertulis di bagian kanan.

Catat bahwa kebalikan dari matriks ortogonal 𝑷 adalah putarannya, 𝑷𝑇 _(𝑷−1 _{= 𝑷}𝑇₎

11

1. Fungsi kepekatan peluang normal multivariat

Peubah acak {𝑦1, … , 𝑦𝑛} ditata dalam vektor kolom 𝒚 = ( 𝑦1

⋮

𝑦_𝑛). Peubah acak ini mungkin saja tidak memiliki rata-rata sama dan saling berkorelasi. Nyatakan vektor rata-rata sebagai 𝝁 dan matriks ragam-peragam 𝚺. Maka fungsi kepekatan peluang normal multivariat adalah: 𝑓(𝑦₁, 𝑦₂, … , 𝑦_𝑛) = 1

(2𝜋)𝑛 2⁄ _|𝚺|1 2⁄ 𝑒

−1_{2(𝒚−𝝁)}𝑇_𝚺−1_{(𝒚−𝝁)}

2. Kasus khusus contoh acak dari sebaran normal univariat

Pandang {𝑦₁, … , 𝑦_𝑛} sebagai contoh acak yang berasal dari sebaran normal tunggal N(𝜇, 𝜎2_). Rata-rata di bagian sebelumnya sama, ragam juga sama dan semua peragam/korelasi bernilai nol. Ekspresi matriks mereduksi menjadi likelihood data yang telah dipertimbangkan: 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = 1 √2𝜋𝜎2𝑒 −(𝑦1_2𝜎−𝜇)₂ 2_× 1 √2𝜋𝜎2𝑒 −(𝑦2_2𝜎−𝜇)₂ 2 _{× ⋯ ×} 1 √2𝜋𝜎2𝑒 −(𝑦𝑛_2𝜎−𝜇)₂ 2

diekspresikan dalam matriks sebagai: 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = 1

(2𝜋)𝑛 2⁄ _(𝜎2₎𝑛 2⁄ 𝑒

−_2𝜎1₂(𝒚−𝝁)𝑇_{(𝒚−𝝁)}

12

Transformasi Ortogonal

Pandang matriks ortogonal 𝑷 dan transformasi 𝒚 (tanpa asumsi data menyebar identik dan tak berkorelasi) menjadi 𝒖 = 𝑷𝒚 maka 𝐸(𝒖) = 𝑷𝝁 dan 𝑣𝑎𝑟(𝒖) = 𝑷𝚺𝑷𝑇

Untuk transformasi dari 𝒚 ke 𝒖 diperlukan Jacobian yaitu nilai positif dari determinan matriks yang terlibat dalam hal ini 𝑷. Dari definisi dasar tentang 𝑷, 𝑑𝑒𝑡(𝑷𝑇_{𝑷) = 𝑑𝑒𝑡(𝑷𝑷}𝑇_{) = 𝑑𝑒𝑡(𝑰),} maka [𝑑𝑒𝑡(𝑷)]2 _{= 𝑑𝑒𝑡(𝑰) = 1 sehingga 𝑑𝑒𝑡(𝑷) = ±1 dengan demikian Jacobian adalah +1.}

Elemen 𝒚 menyebar secara identic dan tak berkorelasi sehingga 𝝁 = 𝜇𝟏 dan 𝚺 = 𝜎2_{𝑰 di mana 𝑰} adalah matriks identitas berukuran n×n. Maka

Elemen-elemen {𝑢1, … , 𝑢𝑛} dari 𝒖 = 𝑷𝒚 tidak berkorelasi dan menyebar normal.

Kemudian, jika 𝑷 dipilih sebagai matriks Helmert, atau matriks ortogonal apa pun yang memiliki baris pertama {1, 1, …, 1}/n, maka

𝑢₁ = √𝑛𝑦̅ menyebar normal dengan rata-rata √𝑛𝜇 dan ragam 𝜎2_{, bebas terhadap}

𝑢₂, 𝑢₃, … , 𝑢_𝑛 yang semuanya bebas, menyebar normal dengan rata-rata 0 (karena baris 2 hingga n dari 𝑷 ortogonal terhadap baris 1) dan ragam 𝜎2_.

Dengan pilihan 𝑷 seperti ini, dapat dipertahankan (1) kenormalan, (2) kebebasan dan (3) jumlah kuadrat total. Properti terakhir terjadi jika definisi keortogonalan digunakan (yakni 𝑷𝑷𝑇 _{= 𝑷}𝑇_{𝑷 = 𝑰) dalam:}

∑𝑛 𝑢_𝑖2 ₌

13

Tampak bahwa 𝑢₁ = √𝑛𝑦̅ sehingga 𝑢12 = 𝑛𝑦̅2. Apa yang telah dicapai melalui prosedur ini adalah bahwa transformasi ortogonal mengisolasi rata-rata contoh dari n-1 peubah yang membentuk ragam contoh. Jumlah kuadrat preserved, maka

∑𝑛_𝑖=1𝑦_𝑖2 = ∑𝑛_𝑖=1𝑢_𝑖2 = 𝑢₁2+ ∑𝑛_𝑖=2𝑢_𝑖2 = 𝑛𝑦̅2+ ∑𝑛_𝑖=2𝑢_𝑖2.

Pindahkan 𝑛𝑦̅2 _{ke ruas kiri persamaan, menghasilkan}

∑ 𝑦_𝑖2_{− 𝑛𝑦̅}2 𝑛 𝑖=1 = ∑ 𝑢_𝑖2 𝑛 𝑖=2 .

Namun, ∑𝑛_𝑖=1𝑦_𝑖2− 𝑛𝑦̅2 adalah ∑𝑛_𝑖=1(𝑦_𝑖− 𝑦̅)2, dan walaupun ekspresi ini melibatkan n suku, telah diperlihatkan bahwa jumlah kuadrat n-1 peubah normal bebas {𝑢2, 𝑢3, … , 𝑢𝑛} yang semua rata-rata bernilai 0 dan juga semua ragam 𝜎2_.

Kemudian n-1 peubah normal bebas juga bebas terhadap 𝑢₁ = √𝑛𝑦̅.

Berdasarkan definisi, peubah 2 dengan derajat bebas  adalah jumlah dari kuadrat  peubah normal baku N(0,1) yang saling bebas. Ingat juga bahwa penduga takbias bagi 𝜎2 _{adalah ragam} contoh yang didefinisikan sebagai:

𝑠2 ₌ ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2 𝑛 − 1 ,

Dari padanya didapatkan ∑𝑛_𝑖=1(𝑦_𝑖− 𝑦̅)2 = (n-1) 𝑠2. Karena ini merupakan jumlah dari kuadrat

n-1 peubah normal {𝑢2, 𝑢3, … , 𝑢𝑛} yang saling bebas dengan rata-rata 0 dan ragam 𝜎2, telah ditunjukkan bahwa, untuk contoh acak berukuran n dari populasi normal,

𝑦̅ ∼ 𝑁 (𝜇,𝜎 2

𝑛) , 𝑏𝑒𝑏𝑎𝑠 𝑡𝑒𝑟ℎ𝑎𝑑𝑎𝑝

(𝑛 − 1)𝑠2

14

Kembali ke logLikelihood untuk contoh acak normal {𝑦1, … , 𝑦𝑛}. Bentuk terakhir pada halaman 4 adalah:

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk {𝑦₁, … , 𝑦_𝑛} = −𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) − ∑}(𝑦𝑖 − 𝑦̅)2 2𝜎2 𝑛

𝑖=1

−𝑛(𝑦̅ − 𝜇)2 2𝜎2 Pandang suku terakhir:

𝑛(𝑦̅ − 𝜇)2 2𝜎2 = 𝑛 (𝑢1 √𝑛− 𝜇) 2 2𝜎2 = (𝑢1 √𝑛√𝑛 − √𝑛𝜇) 2 2𝜎2 = (𝑢₁ − √𝑛𝜇)2 2𝜎2

Daripada memandang logLikelihood untuk himpunan peubah ini, pandang logLikelihood sebagai himpunan peubah transformasi {𝑢₁, 𝑢₂, … , 𝑢_𝑛} di mana Jacobian adalah 1 (dan ingat bahwa 𝑢1 = √𝑛𝑦̅ dan ∑ (𝑦𝑖𝑛𝑖=1 − 𝑦̅)2 = ∑𝑛𝑖=2𝑢𝑖2): pada halaman 13

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk {𝑢1, … , 𝑢𝑛} = − 𝑛 2log(2𝜋) − 𝑛 2log(𝜎2) − ∑ 𝑢_𝑖2 2𝜎2 𝑛 𝑖=2 −(𝑢1− √𝑛𝜇) 2 2𝜎2

Ingat bahwa 𝑢₁ menyebar normal dengan rata-rata √𝑛𝜇 dan ragam 𝜎2, fungsi dipisahkan menjadi dua, maka logLikelihood untuk himpunan peubah transformasi {𝑢₁, 𝑢₂, … , 𝑢_𝑛} adalah

[−1 2(2𝜋) − 1 2log(𝜎2) − (𝑢1− √𝑛𝜇) 2 2𝜎2 ] + [− 𝑛 − 1 2 log(2𝜋) − 𝑛 − 1 2 log(𝜎2) − ∑ 𝑢_𝑖2 2𝜎2 𝑛 𝑖=2 ]

Memaksimumkan likelihood pertama untuk 𝑢1 akan menghasilkan penduga ML/REML bagi 𝜇. Bagian kedua adalah likelihood untuk himpunan peubah {𝑢2, 𝑢3, … , 𝑢𝑛} yang bebas terhadap 𝑢₁, dan menyediakan penduga REML bagi 𝜎2_.

Ini merupakan pendekatan untuk menggeneralisir pendugaan parameter ragam dengan metode REML untuk model campuran linier umum mana pun general linear mixed model (bagian “campuran” menjelaskan berapa pun pengaruh acak dan tetap dalam model). Ide REML akan dibangun dengan lambat.

15

3. Transformasi menyangkut matriks idempoten setangkup

Hasil dasar untuk GLM.

Pandang vektor 𝒛 berukuran n peubah normal baku, saling bebas N(0,1). Berdasarkan definisi 𝒛𝑇_𝒛~𝜒

𝑛2.

Nyatakan 𝑨 sebagai matriks idempotent setangkup, maka

𝒛𝑇_{𝑨𝒛~𝜒}2 _{dengan derajat bebas = 𝑡𝑒𝑟𝑎𝑠(𝑨).}

Nyatakan pula 𝑩 sebagai matriks idempotent setangkup, maka

𝒛𝑇_{𝑩𝒛~𝜒}2 _{dengan derajat bebas = 𝑡𝑒𝑟𝑎𝑠(𝑩), dan bebas terhadap 𝒛}𝑇_{𝑨𝒛 jika dan hanya jika} 𝑨𝑩 = 𝑶.

16

Model Linier Umum dengan hanya pengaruh tetap

Teladan 1 – contoh acak sederhana dari sebaran normal

Model paling sederhana adalah untuk contoh acak berukuran n dari populasi tunggal normal (untuk selanjutnya diasumsikan normal), semua bebas dengan rata-rata 𝜇 dan ragam 𝜎2_{. Nilai} pengamatan contoh ditulis secara sederhana sebagai:

𝑦_𝑖 = 𝜇 + 𝜀_𝑖

Dalam bentuk matriks, 𝒚 = 𝑿𝜷 + 𝛜

di mana {𝑦₁, … , 𝑦_𝑛} adalah elemen dari 𝒚, 𝑿 = 1_𝑛, vector kolom berisi n buah 1, 𝜷 adalah kolom vektor parameter, dalam hal ini berupa skalar sama dengan rata-rata 𝜇, dan vektor kolom sisaan acak 𝛜 .

Model kompleks lain memiliki struktur sama, kita teliti kasus umum di mana 𝜷 mengandung p parameter.

Pendugaan melalui kuadrat terkecil

Metode ini menyajikan penduga kuadrat terkecil untuk parameter 𝜷 dengan meminimumkan jumlah kuadrat sisa 𝛜𝑇_{𝛜, yakni (𝒚 − 𝑿𝜷)}𝑇 _{(𝒚 − 𝑿𝜷). Solusi adalah latihan sederhana dalam} turunan matriks. Nyatakan 𝒃 sebagai penduga bagi 𝜷,

𝒃 = (𝑿𝑇_𝑿)−1_𝑿𝑇_𝒚.

Gunakan solusi ini dalam (𝒚 − 𝑿𝜷)𝑇_{(𝒚 − 𝑿𝜷) untuk menghitung Residual Sum of Squares} (Res SS):

Res SS = (𝒚 − 𝑿𝒃)𝑇 _{(𝒚 − 𝑿𝒃) = (𝒚 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_𝒚)𝑇_{(𝒚 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_𝒚)

Keluarkan vector 𝒚 ( 𝒚 𝑇 _{dari kurung kiri dan 𝒚 dari kanan) dari dalam kedua kurung} menghasilkan:

17

Res SS = 𝒚𝑇_{(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇₎𝑇_{(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_)𝒚

Matriks (𝑰 − 𝑿(𝑿𝑇_𝑿)−1_𝑿𝑇_{) setangkup dan idempoten (check this!), maka}

Res SS = 𝒚𝑇_{(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇₎𝑇_{(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_{)𝒚 = 𝒚}𝑇_{(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_)𝒚

Dengan sifat 4 pada halaman 14 dapat disimpulkan bahwa

𝑅𝑒𝑠 𝑆𝑆~𝜒2 _{dengan derajat bebas = 𝑡𝑒𝑟𝑎𝑠(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_).

Secara umum 𝑡𝑒𝑟𝑎𝑠(𝑨𝑩𝑪) = 𝑡𝑒𝑟𝑎𝑠(𝑪𝑨𝑩) = 𝑡𝑒𝑟𝑎𝑠(𝑩𝑪𝑨). Dengan demikian

= 𝑡𝑒𝑟𝑎𝑠(𝑰 − 𝑿(𝑿𝑇_𝑿)−1_𝑿𝑇_{) = 𝑡𝑒𝑟𝑎𝑠(𝑰) − 𝑡𝑒𝑟𝑎𝑠(𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇₎ = 𝑛 − 𝑡𝑒𝑟𝑎𝑠(𝑿𝑇_𝑿(𝑿𝑇_𝑿)−1₎

Matriks berdimensi p×p , secara umum (di mana p = 1 pada teladan sebelumnya) maka 𝑿𝑇_𝑿(𝑿𝑇_𝑿)−1 _{adalah matriks identitas berdimensi p×p, 𝑰}

𝑝 yang memiliki teras p.

Matriks (𝑰 − 𝑿(𝑿𝑇_X)−1_𝑿𝑇_{) setangkup, idempoten dengan teras (n-p), gunakan hasil ini, untuk} menunjukkan bahwa:

Res SS = 𝒚𝑇_{(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_{)𝒚~ 𝜎}2_𝜒2 _{dengan derajat bebas (n-p).}

Untuk contoh sederhana p = 1, 𝜷 adalah skalar 𝜎2_{, 𝑿}𝑇_{𝑿 =1}T_{1 = 𝑛, X}T_{𝒚 =1}T_{𝒚 = 𝑦}

1+ ⋯ + 𝑦_𝑛 maka:

Penduga bagi 𝜇 = (𝑿𝑇_𝑿)−1_𝑿𝑇_{𝒚 = (𝑛)}−1_(𝑦

1+ ⋯ + 𝑦𝑛) = 𝑦̅.

Kemudian struktur Res SS untuk contoh sederhana ini, yakni:

𝑰 − 𝑿(𝑿𝑇_𝑿)−1_𝑿𝑇_{= 𝑰 −1(1}T₁₎−1₁T_{= 𝑰 −}1

𝑛11𝑇 = 𝑰𝑛− 1 𝑛𝑱𝑛

18 dengan demikian 𝑅𝑒𝑠 𝑆𝑆 = 𝒚𝑇_{(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_{)𝒚 = 𝒚}𝑇_{(𝑰 −}1 𝑛11𝑇) 𝒚 = 𝒚𝑇𝒚 − 1 𝑛𝒚𝑇11𝑇𝒚 Karena 𝒚𝑇_{𝒚 = ∑ 𝑦} 𝑖2 𝑛

𝑖=1 dan 𝒚𝑇1 adalah ∑𝑛𝑖=1𝑦𝑖 = 𝑛𝑦̅, sehingga, untuk contoh acak sederhana dari sebaran normal:

𝑅𝑒𝑠 𝑆𝑆 = ∑𝑛 𝑦_𝑖2

𝑖=1 − 𝑛𝑦̅2 = ∑𝑖=1𝑛 (𝑦𝑖 − 𝑦̅)2 = (𝑛 − 1)𝑠2~ 𝜎2𝜒2 dengan derajat bebas n-1. Catat bahwa jika 𝒚~N(µ1, 𝜎2_{I) penduga kuadrat terkecil bagi vektor parameter  identik} dengan penduga ML karena persamaan yang sama diselesaikan dalam kedua kasus.

19

Teladan 2 Regresi Linier Sederhana

Model regresi linier sederhana

𝑦_𝑖 = 𝛼 + 𝛽𝑥_𝑖 + 𝜀_𝑖

Memiliki 2 parameter yang tidak diketahui, dan {𝑥1, … , 𝑥𝑛} diasumsikan tetap.

Dalam bentuk matriks, perbedaan utama antar model ini dan model sebelumnya adalah matriks rancangan 𝑿: 𝑿 = [ 1 𝑥₁ 1 𝑥₂ ⋮ ⋮ 1 𝑥𝑛 ]

dengan 𝜷 vektor kolom mengandung dua parameter dan .

Penduga Kuadrat Terkecil / ML untuk intersep dan slope

Pandang, 𝑿𝑇_{𝑿 = [}1 ⋯ 1 𝑥₁ ⋯ 𝑥_𝑛] [ 1 𝑥1 ⋯ ⋯ 1 𝑥𝑛 ] = [_{𝑛𝑥̅ ∑ 𝑥}𝑛 𝑛𝑥̅ 𝑖2] dan juga 𝑿 𝑇_{𝒚 = [} 𝑛𝑦̅ ∑ 𝑥𝑖𝑦𝑖]. Determinan 𝑿𝑇_{𝑿 adalah 𝑛(∑ 𝑥} 𝑖2− 𝑛𝑥̅2) = 𝑛 ∑(𝑥𝑖 − 𝑥̅)2. Dengan demikian (XT_X)−1_𝑿𝑇_{𝒚 =} 1 𝑛 ∑(𝑥_𝑖 − 𝑥̅)2[∑ 𝑥𝑖 2 _{−𝑛𝑥̅} −𝑛𝑥̅ 𝑛 ] [ 𝑛𝑦̅ ∑ 𝑥𝑖𝑦𝑖] = 1 𝑛 ∑(𝑥𝑖− 𝑥̅)2[ 𝑛𝑦̅ ∑ 𝑥_𝑖2_{− 𝑛𝑥̅ ∑ 𝑥} 𝑖𝑦𝑖 −𝑛2_{𝑥̅𝑦̅ + 𝑛 ∑ 𝑥} 𝑖𝑦𝑖 ] Pandang −𝑛2_{𝑥̅𝑦̅ + 𝑛 ∑ 𝑥}

𝑖𝑦𝑖 = 𝑛(∑ 𝑥𝑖𝑦𝑖 − 𝑛𝑥̅𝑦̅) = 𝑛 ∑(𝑥𝑖− 𝑥̅)(𝑦𝑖− 𝑦̅), maka solusi kuadrat terkecil/ML untuk slope adalah:

20

𝑏 =∑(𝑥𝑖− 𝑥̅)(𝑦𝑖− 𝑦̅) ∑(𝑥𝑖− 𝑥̅)2

Juga, 𝑛𝑦̅ ∑ 𝑥_𝑖2− 𝑛𝑥̅ ∑ 𝑥𝑖𝑦𝑖 dapat ditulis sebagai 𝑛𝑦̅ ∑(𝑥𝑖 − 𝑥̅)2− 𝑛𝑥̅ ∑ (𝑥𝑖 − 𝑥̅)(𝑦𝑖− 𝑦̅) maka solusi kuadrat terkecil/ML untuk intersep adalah:

𝑎 =𝑛𝑦̅ ∑(𝑥𝑖− 𝑥̅)

2_{− 𝑛𝑥̅ ∑(𝑥}

𝑖 − 𝑥̅)(𝑦𝑖 − 𝑦̅)

𝑛 ∑(𝑥𝑖 − 𝑥̅)2 = 𝑦̅ −b𝑥̅.

Dua pendekatan untuk memperlihatkan bahwa (*) = (**) (*) 𝑛𝑦̅ ∑ 𝑥_𝑖2 _{− 𝑛𝑥̅ ∑ 𝑥}

𝑖𝑦𝑖 (**) 𝑛𝑦̅ ∑(𝑥_𝑖− 𝑥̅)2_{− 𝑛𝑥̅ ∑ (𝑥}

𝑖 − 𝑥̅)(𝑦𝑖 − 𝑦̅)

Gunakan fakta bahwa

a. Jumlah Kuadrat dapat ditulis dalam bentuk:

 ∑(𝑥𝑖− 𝑥̅)2 = ∑ 𝑥𝑖2− 𝑛𝑥̅2 sehingga (1) ∑𝑥𝑖2 = ∑(𝑥𝑖 − 𝑥̅)2+ 𝑛𝑥̅2 atau

 ∑𝑥_𝑖2 = ∑(𝑥_𝑖 − 𝑥̅ + 𝑥̅)2 = ∑(𝑥_𝑖− 𝑥̅)2+ ∑ 𝑥̅2 = ∑(𝑥_𝑖 − 𝑥̅)2+ 𝑛𝑥̅2 b. Jumlah hasil kali deviasi ditulis dalam bentuk

 ∑(𝑥_𝑖 − 𝑥̅)(𝑦_𝑖 − 𝑦̅) = ∑ 𝑥_𝑖𝑦_𝑖− 𝑛𝑥̅𝑦̅ sehingga (2) ∑ 𝑥_𝑖𝑦_𝑖 = ∑(𝑥_𝑖− 𝑥̅)(𝑦_𝑖 − 𝑦̅) + 𝑛𝑥̅𝑦̅

 ∑𝑥𝑖𝑦𝑖 = ∑(𝑥𝑖− 𝑥̅ + 𝑥̅)(𝑦𝑖 − 𝑦̅ + 𝑦̅) = ∑((𝑥𝑖− 𝑥̅)(𝑦𝑖− 𝑦̅) + 𝑥̅𝑦̅) = = ∑(𝑥_𝑖− 𝑥̅)(𝑦_𝑖− 𝑦̅) + ∑ 𝑥̅𝑦 ̅ = ∑(𝑥_𝑖 − 𝑥̅)(𝑦_𝑖− 𝑦̅) + 𝑛𝑥̅𝑦̅

Substitusi (1) dan (2) ke dalam persamaan (*)

𝑛𝑦̅(∑(𝑥_𝑖− 𝑥̅)2 _{+ 𝑛𝑥̅}2_{) − 𝑛𝑥̅ (∑(𝑥}

𝑖 − 𝑥̅)(𝑦𝑖− 𝑦̅) + 𝑛𝑥̅𝑦̅)

𝑛𝑦̅ ∑(𝑥𝑖 − 𝑥̅)2+ 𝑛𝑥̅2𝑦̅ − 𝑛𝑥̅ ∑(𝑥𝑖 − 𝑥̅)(𝑦𝑖− 𝑦̅) − 𝑛𝑥̅2𝑦̅ sama dengan (**)

Penduga ML bagi parameter ragam

Likelikood untuk {𝑒1, … , 𝑒𝑛} adalah contoh acak dari secaran normal N(0, 𝜎2) di mana 𝑒𝑖 = 𝑦𝑖 − 𝛼 − 𝛽𝑥𝑖

21 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = 1 √2𝜋𝜎2𝑒 −_2𝜎𝑒12_{2 ×} 1 √2𝜋𝜎2𝑒 −_2𝜎𝑒22_{2 × ⋯ ×} 1 √2𝜋𝜎2𝑒 −_2𝜎𝑒𝑛2₂ 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = (2𝜋)−𝑛2 × (𝜎2)−𝑛2 × 𝑒− ∑ 𝑒_𝑖2 2𝜎2 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = (2𝜋)−𝑛2 (𝜎2)−𝑛2 𝑒− ∑ (𝑦𝑖 −𝛼−𝛽𝑥𝑖 )2 2𝜎2 𝑛 𝑖=1 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑒₁, … , 𝑒_𝑛} = −𝑛 2log(2𝜋) − 𝑛 2log(𝜎 2_{) − ∑} (𝑦𝑖−𝛼−𝛽𝑥𝑖 )2 2𝜎2 𝑛 𝑖=1

Turunan langsung logLikelihood model ini terhadap 𝜎2_{, menghasilkan penduga bagi 𝜎}2_:

_∂𝜎2∂ (− 𝑛₂ log(2𝜋)) − ∂ ∂𝜎2 ( 𝑛 2log(𝜎2)) − ∂ ∂𝜎2(∑ (𝑦𝑖−𝛼−𝛽𝑥𝑖 )2 2𝜎2 𝑛 𝑖=1 ) 0 − 𝑛 2𝜎2 + ∑ (𝑦𝑖 − 𝛼 − 𝛽𝑥𝑖)2 2𝜎4 𝑛 𝑖=1

Samakan dengan nol, dan selesaikan, menghasilkan penduga ML:

− 𝑛 2𝜎̂2+ ∑ (𝑦_𝑖− 𝛼̂ − 𝛽̂𝑥_𝑖)2 2𝜎̂4 𝑛 𝑖=1 = 0 ∑𝑛𝑖=1(𝑦𝑖− 𝑎 − 𝑏𝑥𝑖)2 𝜎̂2 = 𝑛 𝜎̂2 ₌ ∑𝑛𝑖=1(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖)2 𝑛 Substitusi 𝑎 = 𝑦̅ −b𝑥̅ 𝜎2 ₌ ∑(𝑦𝑖 − 𝑎 −b𝑥𝑖)2 𝑛 = ∑(𝑦𝑖− 𝑦̅ −b𝑥̅ − b𝑥𝑖)2 𝑛 = ∑(𝑦𝑖 − 𝑦̅ −b(𝑥𝑖 − 𝑥̅)) 2 𝑛

Pembilang dapat diuraikan menjadi:

Penduga ML bagi 𝜎2 ₌ ∑(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖)2

𝑛 =

∑(𝑦𝑖 − 𝑦̅)2− 𝑏2∑(𝑥𝑖− 𝑥̅)2

𝑛 ,

Walaupun terdapat banyak cara menuliskan rumus ini. Anda mungkin ingat akan pembilang sebagai selisih JK Total dan JKRegresi dalam ANOVA-regresi linier sederhana.

22

Untuk mengembangkan penduga REML, lihat kembali pendekatan matriks dalam pendugaan ML. Ekspresi matriks untuk logLikelihood adalah sebagai berikut.

Vektor peubah acak 𝒚 memiliki rata-rata 𝑿𝜷 dan ragam 𝜎2_{𝑰 (dan catat bahwa 𝑑𝑒𝑡𝑒𝑟𝑚(𝜎}2_{𝑰) =} 𝜎2𝑛_{. Maka}

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑦₁, … , 𝑦_𝑛} = −𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) −} 1

2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷). Turunkan terhadap 𝜎2 _{dan substitusi penduga ML untuk 𝜷 menghasilkan:}

− ∂ ∂𝜎2 ( 𝑛 2log(2𝜋)) − ∂ ∂𝜎2 ( 𝑛 2log(𝜎2)) − ∂ ∂𝜎2 ( 1 2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷)) 0 − 𝑛 2𝜎̂2+ 1 2𝜎̂4(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) = 0 (𝒚 − 𝑿𝜷)𝑇_{(𝒚 − 𝑿𝜷)} 𝜎̂2 = 𝑛 Penduga ML bagi 𝜎2 ₌ (𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) 𝑛

Sama dengan solusi sebelumnya.

Pandang transformasi ortogonal 𝒖 = 𝑷𝒚 di mana 𝑷 adalah matriks ortogonal berdimensi n×n berbentuk: 𝑷 = [ 1 √𝑛⁄ ⋯ 1 √𝑛⁄ (𝑥₁− 𝑥̅) √∑(𝑥_{⁄ 𝑖} − 𝑥̅)2 _{⋯ (𝑥} 𝑛 − 𝑥̅) √∑(𝑥⁄ 𝑖− 𝑥̅)2 ⋮ ⋮ ⋮ ]

Jumlah kuadrat elemen-elemen baris pertama dan kedua adalah 1.

Baris 1: (1 √𝑛⁄ )2+ (1 √𝑛⁄ )2+ ⋯ + (1 √𝑛⁄ )2 _{= ∑ 1 𝑛⁄ = 𝑛(1 𝑛}⁄ ) = 1 Baris 2: ( (𝑥1− 𝑥̅) √∑(𝑥_𝑖 − 𝑥̅)2) 2 + ( (𝑥2− 𝑥̅) √∑(𝑥_𝑖− 𝑥̅)2) 2 + ⋯ + ( (𝑥𝑛− 𝑥̅) √∑(𝑥_𝑖 − 𝑥̅)2) 2 =

23 (𝑥₁− 𝑥̅)2 ∑(𝑥𝑖− 𝑥̅)2 + (𝑥₂− 𝑥̅)2 ∑(𝑥𝑖 − 𝑥̅)2 + ⋯ + (𝑥_𝑛− 𝑥̅)2 ∑(𝑥𝑖 − 𝑥̅)2 = ∑(𝑥_𝑖 − 𝑥̅)2 ∑(𝑥𝑖 − 𝑥̅)2 = 1 Jumlah hasil kali elemen baris pertama dan kedua adalah 0, syarat keortogonalan. Mathematicians telah membuktikan bahwa matriks demikian ada.

Misal baris 3 dapat berupa:

(𝑥2− 𝑥3 𝑥3− 𝑥1 𝑥1− 𝑥2 0 0 ⋯ 0) di mana setiap elemen dibagi √(𝑥2− 𝑥3)2+ (𝑥3− 𝑥1)2+ (𝑥1− 𝑥2)2. Jumlah kuadrat baris 3 juga 1.

(𝑥2− 𝑥3)2+ (𝑥3− 𝑥1)2+ (𝑥1− 𝑥2)2+ 0 + ⋯ + 0 (√(𝑥2− 𝑥3)2+ (𝑥3− 𝑥1)2+ (𝑥1− 𝑥2)2) 2 (𝑥₂ − 𝑥₃)2_{+ (𝑥} 3− 𝑥1)2+ (𝑥1− 𝑥2)2 (𝑥2 − 𝑥3)2+ (𝑥3− 𝑥1)2+ (𝑥1− 𝑥2)2 = 1

Jelas bahwa jumlah hasil kali baris 1 dan 2, demikian pula baris 1 dan 3, juga baris 2 dan 3 adalah 0. Baris 1 dan 2: 1 √𝑛( (𝑥1 − 𝑥̅) + (𝑥2− 𝑥̅) + ⋯ + (𝑥𝑛 − 𝑥̅) √∑(𝑥_𝑖 − 𝑥̅)2 ) = ∑(𝑥𝑖− 𝑥̅) √𝑛 ∑(𝑥_𝑖 − 𝑥̅)2 = 0 √𝑛 ∑(𝑥_𝑖 − 𝑥̅)2 = 0 Baris 1 dan 3: 1 √𝑛( 𝑥2 − 𝑥3 + 𝑥3− 𝑥1 + 𝑥1− 𝑥2 √(𝑥2− 𝑥3)2+ (𝑥3− 𝑥1)2+ (𝑥1− 𝑥2)2 ) 0 √𝑛((𝑥₂− 𝑥₃)2_{+ (𝑥} 3 − 𝑥1)2+ (𝑥1− 𝑥2)2) = 0 Baris 2 dan 3: (𝑥1− 𝑥̅)(𝑥2− 𝑥3) + (𝑥2− 𝑥̅)(𝑥3− 𝑥1) + (𝑥3− 𝑥̅)(𝑥1− 𝑥2) √∑(𝑥𝑖− 𝑥̅)2(𝑥2− 𝑥3)2+ (𝑥3 − 𝑥1)2+ (𝑥1− 𝑥2)2 = 0

Pembilang sama dengan 0, (𝑥₁− 𝑥̅)(𝑥₂− 𝑥₃) + (𝑥₂− 𝑥̅)(𝑥₃− 𝑥₁) + (𝑥₃− 𝑥̅)(𝑥₁− 𝑥₂) = 0

Dua manfaat dari pendekatan ini: pertama adalah pembuktian secara mudah property sebaran apa pun menyangkut regresi linier sederhana. Kedua mengarah pada solusi REML untuk pendugaan parameter ragam.

24

Gunakan sifat matriks diagonal: ∑𝑛_𝑖=1𝑦_𝑖2 = ∑𝑛_𝑖=1𝑢_𝑖2

Peubah acak {𝑢1, 𝑢2, 𝑢3, … , 𝑢𝑛} saling bebas, menyebar normal dengan ragam 𝜎2. Terutama mengevaluasi dua peubah vektor transformasi 𝑢₁ dan 𝑢₂

𝑢₁ = √𝑛𝑦̅ 𝑢2 = ∑(𝑥𝑖− 𝑥̅)𝑦𝑖⁄√∑(𝑥𝑖− 𝑥̅)2 = ∑(𝑥𝑖 − 𝑥̅)(𝑦𝑖 − 𝑦̅) √∑(𝑥⁄ 𝑖 − 𝑥̅)2 = 𝑏√∑(𝑥𝑖 − 𝑥̅)2 Kemudian, 𝐸(𝒖) = 𝐸(𝑷𝒚) = 𝑷𝑿𝜷, maka [ E(𝑢₁) E(𝑢2) E(𝑢₃) ⋮ E(𝑢_𝑛)] = [ 1 √𝑛⁄ ⋯ 1 √𝑛⁄ (𝑥1− 𝑥̅) √∑(𝑥⁄ 𝑖 − 𝑥̅)2 ⋯ (𝑥𝑛− 𝑥̅) √∑(𝑥⁄ 𝑖 − 𝑥̅)2 ⋮ ⋮ ⋮ ] [ 1 𝑥₁ ⋯ ⋯ 1 𝑥𝑛 ] [𝛼_𝛽]

Ingat bahwa baris 3 hingga n dari matriks 𝑷 ortogonal terhadap baris 1 dan 2, dan catat bahwa 2 kolom pada matriks rancangan 𝑿 proporsional terhadap baris 1 and 2 matriks 𝑷. Dengan

demikian berdasarkan keortogonalan, semua rata-rata {𝑢₃, … , 𝑢_𝑛} harus 0.

Kemudian, perhatikan hanya 2 baris pertama matriks ini dan gunakan fakta ∑(𝑥_𝑖− 𝑥̅)𝑥_𝑖⁄√∑(𝑥_𝑖 − 𝑥̅)2 _{= ∑(𝑥} 𝑖 − 𝑥̅)2⁄√∑(𝑥𝑖 − 𝑥̅)2 = √∑(𝑥𝑖− 𝑥̅)2, Pandang pembilang: ∑(𝑥_𝑖− 𝑥̅)𝑥_𝑖 = ∑(𝑥_𝑖2_{− 𝑥̅𝑥} 𝑖) = ∑ 𝑥𝑖2− ∑ 𝑥̅𝑥𝑖 = ∑ 𝑥𝑖2− 𝑥̅ ∑ 𝑥𝑖 = ∑ 𝑥𝑖2− 𝑛𝑥̅2=∑(𝑥𝑖− 𝑥̅)2 Perkalian matriks 𝑷𝑿 Unsur 11 1 √𝑛 ⁄ (1) + 1⁄_√𝑛(1) + ⋯ + 1⁄_√𝑛(1) = 1⁄_√𝑛(∑ 1) = 𝑛 √𝑛= √𝑛 Unsur 12

25 1 √𝑛 ⁄ (𝑥1) + 1⁄_√𝑛(𝑥2) + ⋯ + 1⁄_√𝑛(𝑥𝑛) = ∑ 𝑥𝑖 √𝑛 = 𝑛𝑥̅ √𝑛 = √𝑛𝑥̅ Unsur 21 (𝑥₁− 𝑥̅) + (𝑥₂− 𝑥̅) + ⋯ + (𝑥_𝑛 − 𝑥̅) √∑(𝑥_𝑖− 𝑥̅)2 = ∑(𝑥_𝑖 − 𝑥̅) √∑(𝑥_𝑖 − 𝑥̅)2 = 0 √∑(𝑥_𝑖 − 𝑥̅)2 = 0 Unsur 22 (𝑥1 − 𝑥̅)𝑥1+ (𝑥2− 𝑥̅)𝑥2+ ⋯ + (𝑥𝑛− 𝑥̅)𝑥𝑛 √∑(𝑥𝑖− 𝑥̅)2 = ∑(𝑥𝑖 − 𝑥̅)𝑥𝑖 √∑(𝑥𝑖 − 𝑥̅)2 = ∑(𝑥𝑖 − 𝑥̅) 2 √∑(𝑥𝑖− 𝑥̅)2 Kalikan √∑(𝑥𝑖−𝑥̅)2 √∑(𝑥𝑖−𝑥̅)2, menjadi ∑(𝑥𝑖−𝑥̅)2 √∑(𝑥𝑖−𝑥̅)2 𝑥 √∑(𝑥_𝑖−𝑥̅)2 √∑(𝑥𝑖−𝑥̅)2 = ∑(𝑥𝑖−𝑥̅)2 ∑(𝑥𝑖−𝑥̅)2𝑥√∑(𝑥𝑖 − 𝑥̅) 2 _{= √∑(𝑥} 𝑖− 𝑥̅)2

Sesudah perkalian matriks, diperoleh:

E(𝑢₁)= √𝑛 𝛼 + √𝑛𝑥̅𝛽 = √𝑛 (𝛼 + 𝛽𝑥̅) E(𝑢2)=0+√∑(𝑥𝑖− 𝑥̅)2𝛽 [E(𝑢_E(𝑢1) 2)] = [ √𝑛 √𝑛𝑥̅ 0 √∑(𝑥𝑖 − 𝑥̅)2 ] [𝛼_{𝛽] = [} √𝑛(𝛼 + 𝛽𝑥̅) √∑(𝑥𝑖− 𝑥̅)2𝛽 ] Sekarang 𝐿𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑦₁, … , 𝑦_𝑛} = −𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) −} 1 2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷)

Dengan menggunakan transformasi = 𝑷𝒚 , substitusi 𝒚 = 𝑷−1_{𝒖 = 𝑷}𝑇_{𝒖 (karena 𝑷 ortogonal) ke} dalam persamaan di atas. Juga, Jacobian dari transformation adalah 1 (juga karena 𝑷 ortogonal dan 𝑑𝑒𝑡𝑒𝑟𝑚(𝑷) = 1), menghasilkan:

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of of {𝑢₁, 𝑢₂, 𝑢₃, … , 𝑢_𝑛}

= −𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) −} 1

2𝜎2(𝑷𝑇𝒖 − 𝑿𝜷)𝑇(𝑷𝑇𝒖 − 𝑿𝜷) Kemudian 𝑷𝑇_{𝑷 = 𝑰 ditambahkan ke dalam kedua kurung tanpa mengubah hasil.}

26

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑢₁, 𝑢₂, 𝑢₃, … , 𝑢_𝑛}

= −𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) −} 1

2𝜎2(𝑷𝑇𝒖 − 𝑷𝑇𝑷𝑿𝜷)𝑇(𝑷𝑇𝒖 − 𝑷𝑇𝑷𝑿𝜷) Keluarkan 𝑷𝑇 _{dari kedua kurung, ingat sifat perkalian matriks (dimensi) dan catat bahwa} (𝑷𝑇₎𝑇_{= 𝑷 menghasilkan:}

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑢1, 𝑢2, 𝑢3, … , 𝑢𝑛}

= −𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) −} 1

2𝜎2(𝒖 − 𝑷X𝜷)𝑇𝑷𝑷𝑇(𝒖 − 𝑷X𝜷)

Namun, 𝑷𝑇_{𝑷 = 𝑰 sehingga suku di tengah dapat diabaikan. Kemudian, 𝑷X𝜷 telah dijelaskan} sebelumnya berupa kolom di mana elemen pertama adalah √𝑛(𝛼 + 𝛽𝑥̅), elemen kedua √∑(𝑥_𝑖 − 𝑥̅)2_{𝛽 dan elemen lain 0. Hal ini memungkinkan logLikelihood dipisahkan ke dalam} tiga komponen: (ingat bahwa 𝑛 = 𝑛 + 1 + 1 − 2 = 1 + 1 + (𝑛 − 2)

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑢₁, 𝑢₂, 𝑢₃, … , 𝑢_𝑛} = −1₂log(2𝜋) −1₂log(𝜎2_{) −} 1 2𝜎2(𝑢1 − √𝑛(𝛼 + 𝛽𝑥̅)) 2 −1₂log(2𝜋) −1₂log(𝜎2_{) −} 1 2𝜎2(𝑢2− √∑(𝑥𝑖 − 𝑥̅)2𝛽) 2 −𝑛−2₂ log(2𝜋) −𝑛−2₂ log(𝜎2_{) −} 1 2𝜎2∑ 𝑢𝑖2 𝑛 𝑖=3 Ringkasan,

𝑢₁ = √𝑛𝑦̅ menyebar normal dengan rata-rata √𝑛(𝛼 + 𝛽𝑥̅) dan ragam 𝜎2_{, bebas terhadap}

𝑢2 = 𝑏√∑(𝑥𝑖 − 𝑥̅)2, menyebar normal dengan rata-rata 𝛽√∑(𝑥𝑖− 𝑥̅)2 dan ragam 𝜎2.

Kedua 𝑢₁ dan 𝑢₂ bebas terhadap {𝑢₃, … , 𝑢_𝑛} yang semuanya bebas, dan menyebar normal dengan rata-rata 0 dan ragam 𝜎2_.

Juga,

𝑢₂2 _{= 𝑏}2_∑(𝑥

𝑖 − 𝑥̅)2 berupa Regression SS dalam ANOVA regresi linier sederhana, dan di bawah hipotesis bahwa  = 0, besaran ini harus menyebar secara 𝜎22 dengan derajat bebas

27

1, dan bebas terhadap

{𝑢3, ⋯ , 𝑢𝑛}, di mana ∑𝑛𝑖=3𝑢𝑖2 = Residual SS dalam ANOVA regresi linier sederhana karena alasan berikut ini:

∑ 𝑦_𝑖2 𝑛 𝑖=1 = ∑ 𝑢_𝑖2 𝑛 𝑖=1 = 𝑢₁2 _{+ 𝑢} 22+ ∑ 𝑢𝑖2 𝑛 𝑖=3 = 𝑛𝑦̅2 _{+ 𝑏}2_∑(𝑥 𝑖 − 𝑥̅)2+ ∑ 𝑢𝑖2 𝑛 𝑖=3

Sususn kembali persamaan ini dan ingat bahwa ∑𝑛_𝑖=1𝑦_𝑖2- 𝑛𝑦̅2 = ∑𝑛_𝑖=1(𝑦_𝑖 − 𝑦̅)2:

maka ∑𝑛_𝑖=1(𝑦_𝑖− 𝑦̅)2− 𝑏2∑(𝑥_𝑖 − 𝑥̅)2 = ∑𝑛_𝑖=3𝑢_𝑖2

Suku pertama adalah Total SS dalam ANOVA regresi linier sederhana dan suku kedua adalah

Regression SS, sehingga ∑𝑛_𝑖=3𝑢_𝑖2 adalah Residual SS dalam ANOVA regresi linier sederhana. Karena n-2 peubah {𝑢3, ⋯ , 𝑢𝑛} saling bebas, menyebar normal dengan rata-rata 0 dan ragam 𝜎2_{, telah diperlihatkan bahwa}

Residual SS dalam ANOVA regresi linier sederhana menyebar secara 𝜎2_2

dengan derajat bebas n-2 (tak perlu kebenaran hipotesis bahwa slope sama dengan nol), bebas terhadap

Regression SS dalam ANOVA regresi linier sederhana menyebar secara 𝜎2_2

dengan derajat bebas 1 (hanya jika hipotesis tentang slope nol benar).

Penduga REML untuk parameter ragam

Fungsi logLikelihood untuk 𝒖 telah memisahkan residual likelihood yang hanya mengandung parameter ragam 𝜎2_{. Bagian ketiga bersifat acak dan 2 bagian pertama fixed (tetap), karena} mengandung α dan β. 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒖 = −1 2log(2𝜋) − 1 2log(𝜎 2_{) −} 1 2𝜎2(𝑢1− √𝑛(𝛼 + 𝛽𝑥̅)) 2 fixed term −1 2log(2𝜋) − 1 2log(𝜎 2_{) −} 1 2𝜎2(𝑢2− √∑(𝑥𝑖 − 𝑥̅)2𝛽) 2 fixed term

28 −𝑛−2 2 log(2𝜋) − 𝑛−2 2 log(𝜎 2_{) −} 1 2𝜎2∑𝑛𝑖=3𝑢𝑖2 random

Diferensiasi langsung bagian ketiga (residual likelihood) terhadap 𝜎2 _{menghasilkan solusi} REML: − ∂ ∂𝜎2 ( 𝑛−2 2 log(2𝜋)) − ∂ ∂𝜎2 ( 𝑛−2 2 log(𝜎2)) − ∂ ∂𝜎2 ( 1 2𝜎2∑ 𝑢𝑖2 𝑛 𝑖=3 ) 0 −𝑛 − 2 2𝜎̂2 + 1 2𝜎̂4∑ 𝑢𝑖2 𝑛 𝑖=3 = 0 −(𝑛 − 2) + 1 𝜎̂2∑ 𝑢𝑖2 𝑛 𝑖=3 = 0 1 𝜎̂2∑ 𝑢𝑖2 𝑛 𝑖=3 = (𝑛 − 2)

Penduga REML bagi 𝜎2 ₌∑𝑛𝑖=3𝑢𝑖2 𝑛 − 2 =

𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑆𝑆

𝑛 − 2 = 𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑀𝑆

Penduga REML untuk ragam dalam model regresi linier sederhana bersifat takbias, karena nilai harapan peubah 2 dengan derajat bebas n-2 adalah n-2 , 𝐸 (𝜒_𝑛−22 ) = 𝑛 − 2

29

Teladan 3 Regresi Linier Berganda

Regresi linier berganda mengandung p peubah penjelas

𝑦_𝑖 = 𝛼 + 𝛽₁𝑥_1𝑖+ 𝛽₂𝑥_2𝑖+ ⋯ 𝛽_𝑝𝑥_𝑝𝑖+ 𝜀_𝑖

memiliki p+1 parameter yang tidak diketahui, di mana {𝑥1𝑖, … , 𝑥𝑝𝑖, 𝑖 = 1, ⋯ , 𝑛} diasumsikan tetap dan {i} diasumsikan bebas, menyebar normal dengan rata-rata 0 dan ragam 𝜎2.

Bentuk matriks model, 𝒚 = 𝑿𝜷 + 𝛜 melibatkan:

𝑿 = [1 𝑥₁₁ ⋯ 𝑥_𝑝1 ⋯ ⋯ ⋯ ⋯ 1 𝑥1𝑛 ⋯ 𝑥𝑝𝑛 ], 𝜷 = [ 𝛼 𝛽1 ⋮ 𝛽p ]

Penduga ML untuk parameter

Solusi ML untuk 𝜷, vector kolom parameter untuk model umum telah diperlihatkan sebagai 𝒃 = (𝑿T_𝑿)−1_𝑿T_𝒚.

Menurunkan terhadap 𝜎2 _dalam

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒚 = −log(2𝜋) −𝑛₂log(𝜎2_{) −} 1

2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷)

dan menggunakan penduga ML untuk pengaruh tetap parameter menghasilkan penduga bagi 𝜎2_:

Penduga ML bagi 𝜎2 ₌ (𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃)

𝑛

yakni Residual SS dalam ANOVA regresi linier berganda dibagi n, bukan (n-1-p) sebagaimana dalam kasus Residual MS dalam ANOVA.

30

Sama dengan contoh acak yang berasal dari populasi normal, penduga ML untuk ragam bersifat

31

Penduga REML untuk parameter ragam 𝝈𝟐

Matematika model ini menjadi lebih kompleks, sehingga pendekatan secara pasti tidak dilakukan ketika mempertimbangkan General Linear Mixed Model. Dalam hal ini, secara sederhana akan ditunjukkan cara menguraikan menjadi dua ekspresi, satu mengandung informasi parameter tetap 𝜷, dan yang lain hanya mengandung parameter ragam 𝜎2_.

Pandang contoh acak dari populasi normal yang dinyatakan sebagai: 𝑦 − 𝜇 = (𝑦 − 𝑦̅) + (𝑦̅ − 𝜇)

Parameter 𝝁 adalah kasus khusus 𝑿𝜷 dan 𝒚̅ = 𝑿𝒃

𝒚 − 𝑿𝜷 = (𝒚 − 𝑿𝒃) + (𝑿𝒃 − 𝑿𝜷) = (𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)

Dan uraikan dua besaran dalam kurung pada suku ketiga 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑:

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒚 = −𝑛₂log(2𝜋) −𝑛₂log(𝜎2_{) −} 1 2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) Maka (𝒚 − 𝑿𝜷)𝑇_{(𝒚 − 𝑿𝜷) = [(𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)]}𝑇_{[(𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)]} = [(𝒚 − 𝑿𝒃)𝑇_{+ (𝒃 − 𝜷)}𝑇_𝑿𝑇_{] [(𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)]} (𝒚 − 𝑿𝒃)𝑇_{(𝒚 − 𝑿𝒃) + (𝒃 − 𝜷)}𝑇_𝑿𝑻_{(𝒚 − 𝑿𝒃) + (𝒚 − 𝑿𝒃)}𝑇_{𝑿(𝒃 − 𝜷) + (𝒃 − 𝜷)}𝑇_𝑿𝑇_{𝑿(𝒃 − 𝜷)}

Karena berupa skalar, maka (𝒃 − 𝜷)𝑇_𝑿𝑻_{(𝒚 − 𝑿𝒃) = (𝒚 − 𝑿𝒃)}𝑇_{𝑿(𝒃 − 𝜷), sehingga}

= (𝒚 − 𝑿𝒃)𝑇_{(𝒚 − 𝑿𝒃) + 2(𝒚 − 𝑿𝒃)}𝑇_{𝑿(𝒃 − 𝜷) + (𝒃 − 𝜷)}𝑇_𝑿𝑇_{𝑿(𝒃 − 𝜷)}

Pandang suku kedua dan masukkan X ke dalam kurung di kiri:

32

Tetapi 𝑿𝑇_{𝒚 − 𝑿}𝑇_{𝑿𝒃 =0 karena persamaan ini digunakan untuk meminimumkan (p+1)} parameter tetap (ingat solusi untuk 𝒃 adalah 𝒃 = (𝑿𝑇_𝑿)−1_𝑿𝑇_{𝒚). Dengan demikian suku di} tengah dapat dibuang dan menghasilkan:

(𝒚 − 𝑿𝜷)𝑇_{(𝒚 − 𝑿𝜷) = (𝒚 − 𝑿𝒃)}𝑇_{(𝒚 − 𝑿𝒃) + (𝒃 − 𝜷)}𝑇_𝑿𝑇_{𝑿(𝒃 − 𝜷)}

Catatan tentang suku kedua, mengapa nol:

𝑿𝑇_{𝒚 − 𝑿}𝑇_{𝑿𝒃 = 𝑿}𝑇_{𝒚 − 𝑿}𝑇_𝑿(𝑿𝑇_𝑿)−1_𝑿𝑇_{𝒚 = 𝑿}𝑇_{𝒚 − 𝑰 𝑿}𝑇_{𝒚 = 𝑿}𝑇_{𝒚 − 𝑿}𝑇_{𝒚 = 0}

Suku kedua adalah fungsi dari (p+1) parameter dalam 𝜷. Suku pertama tidak mengandung (bebas dari) vektor parameter, dan biasa ditulis sebagai

(𝒚 − 𝑿𝒃)𝑇_{(𝒚 − 𝑿𝒃)=}

(𝒚 − 𝑿(𝑿𝑇_𝑿)−1_𝑿𝑇_𝒚)𝑇_{(𝒚 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_{𝒚) = 𝒚}𝑇_{(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇₎𝑇_{(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_)𝒚

Sesungguhnya matriks 𝑰 − 𝑿(𝑿𝑇_𝑿)−1_𝑿𝑇 _{simetrik dan idempoten, maka pengaruh acak:} (𝒚 − 𝑿𝒃)𝑇_{(𝒚 − 𝑿𝒃) = 𝒚}𝑇_{(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_)𝒚

Ditulis dalam bentuk pengaruh acak ditambah dengan pengaruh tetap: (𝒚 − 𝑿𝜷)𝑇_{(𝒚 − 𝑿𝜷) = 𝒚}𝑇_{(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_{)𝒚 + (𝒃 − 𝜷)}𝑇_𝑿𝑇_{𝑿(𝒃 − 𝜷)}

Fungsi logLikelihood regresi linier berganda adalah:

Pandang 𝑛 = 𝑛 − 1 + 1 − 𝑝 + 𝑝 = (𝑝 + 1) + (𝑛 − 1 − 𝑝) untuk penguraian

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒚 = −𝑝+1 2 log(2𝜋) − 𝑝+1 2 log(𝜎2) − 1 2𝜎2(𝒃 − 𝜷)𝑇 𝑿𝑇𝑿(𝒃 − 𝜷) tetap −𝑛−1−𝑝 2 log(2𝜋) − 𝑛−1−𝑝 2 log(𝜎2) − 1 2𝜎2𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚 acak

Turunan bagian kedua terhadap 𝜎2 _{menghasilkan solusi REML untuk 𝜎}2_: −_∂𝜎∂₂ (𝑛−1−𝑝 2 log(2𝜋)) − ∂ ∂𝜎2 (𝑛−1−𝑝2 log(𝜎 2_{)) −} ∂ ∂𝜎2 ( 1 2𝜎2𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚) 0 −𝑛 − 1 − 𝑝 2𝜎̂2 + 1 2𝜎̂4𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚 = 0

33

𝒚𝑇_{(𝑰 − 𝑿(𝑿}𝑇_𝑿)−1_𝑿𝑇_)𝒚

𝜎̂2 = 𝑛 − 1 − 𝑝

Penduga REML untuk 𝜎2 ₌ 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚

𝑛 − 1 − 𝑝 =

(𝒚 − 𝑿𝒃)𝑇_{(𝒚 − 𝑿𝒃)} 𝑛 − 1 − 𝑝

34

Teladan 4 Rancangan Perlakuan Satu Arah

Ambil n ulangan untuk data dari t populasi normal yang semuanya memiliki ragam sama. Ini merupakan kasus khusus dari regresi linier berganda, tetapi kita akan mengembangkan

matematika terpisah untuk model ini dan melibatkan pembuktian transformasi matriks ortogonal untuk sebaran-sebaran komponen ANOVA. Kita mempertimbangkan kasus ulangan sama untuk membuat ekspresi menjadi sederdana, prosedur yang sama diterapkan pada rancangan dengan ulangan tidak sama.

Model adalah:

𝑦_𝑖𝑗 = 𝜇 + 𝜏_𝑖+ 𝜀_𝑖𝑗, 𝑖 = 1, ⋯ , 𝑡; 𝑗 = 1, ⋯ , 𝑛

Dalam bentuk GLM, 𝒚 = 𝑿𝜷 + 𝛜, terdapat banyak parameter dalam model di atas (dengan perlakuan t , terdapat t rata-rata dan satu ragam, model di atas memilik t+1 parameter

{𝜇, 𝜏1, ⋯ , 𝜏𝑡} dan parameter ragam 𝜎2). Cara termudah adalah memilih satu restriksi (batasan) di antara parameter {𝜇, 𝜏₁, ⋯ , 𝜏_𝑡}. Agar sederhana, pilih batasan 𝜏1+ ⋯ + 𝜏𝑡 = 0, dan ganti (katakan) 𝜏_𝑡 dengan (−𝜏₁− ⋯ − 𝜏_𝑡−1). Restriksi mana pun yang dipilih akan menghasilkan solusi sama untuk komponen-komponen ANOVA.

Vektor data 𝒚 memiliki n pengamatan dalam t perlakuan, menghasilkan vektor sepanjang nt.

Secara umum, 𝜷 = (𝜇, 𝜏1, 𝜏2, ⋯ , 𝜏𝑡), terdapat t+1 parameter

Kasus 1: Jika 𝜇 = 0, vektor 𝜷 = (𝜏₁, 𝜏₂, ⋯ , 𝜏_𝑡) akan mengandung t parameter

Ilustrasi t = 3 (i=1,2,3) dan n = 4 (j=1, 2, 3, 4), 𝜷 = (𝜏1, 𝜏2 , 𝜏3) terdiri dari 3 parameter

Terdapat nt = 4(3) = 12 persamaan linier

𝑦₁₁ = 0 × 𝜇 + 1 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₁ 𝑦12 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2+ 0 × 𝜏3+ 𝜀12 𝑦₁₃ = 0 × 𝜇 + 1 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₃ 𝑦₁₄ = 0 × 𝜇 + 1 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₄ 𝑦21 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2+ 0 × 𝜏3+ 𝜀21 𝑦₂₂ = 0 × 𝜇 + 0 × 𝜏₁ + 1 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₂₂ 𝑦23 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2+ 0 × 𝜏3+ 𝜀23

35 𝑦24 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2+ 0 × 𝜏3+ 𝜀24 𝑦31 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2+ 1 × 𝜏3+ 𝜀31 𝑦₃₂ = 0 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 1 × 𝜏₃+ 𝜀₃₂ 𝑦33 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2+ 1 × 𝜏3+ 𝜀33 𝑦₃₄ = 0 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 1 × 𝜏₃+ 𝜀₃₄

Karena, suku pertama dalam model bernilai nol, tidak perlu ditulis, apalagi hanya terdapat 3 parameter, sehingga matriks rancangan berdimensi 𝑛𝑡 × 𝑡 = 12 × 3

Matriks rancangan adalah: 𝜏1 𝜏2 𝜏3

𝑿 = ( 1 0 0 1 0 0 1 0 0 1 0 0 0 1 0 0 1 0 0 1 0 0 1 0 0 0 1 0 0 1 0 0 1 0 0 1) =( 14 04 04 04 14 04 0₄ 0₄ 1₄) 𝑿𝑇_{𝑿 = (}1 1 1 1 0 0 0 0 0 0 0 0_{0 0 0 0 1 1 1 1 0 0 0 0} 0 0 0 0 0 0 0 0 1 1 1 1 ) ( 1 0 0 1 0 0 1 0 0 1 0 0 0 1 0 0 1 0 0 1 0 0 1 0 0 0 1 0 0 1 0 0 1 0 0 1) 𝑿𝑇_{𝑿 = (}4 0 0_{0 4 0} 0 0 4 ) = 4 (1 0 00 1 0 0 0 1 ) = 4 𝑰3 secara umum 𝑿𝑇𝑿 = 𝑛𝑰𝑡

36 𝑿𝑇_{𝒚 = (}1 1 1 1 0 0 0 0 0 0 0 0_{0 0 0 0 1 1 1 1 0 0 0 0} 0 0 0 0 0 0 0 0 1 1 1 1 ) ( 𝑦11 𝑦₁₂ 𝑦₁₃ 𝑦₁₄ 𝑦₂₁ 𝑦₂₂ 𝑦₂₃ 𝑦24 𝑦31 𝑦32 𝑦33 𝑦₃₄) = ( ∑ 𝑦_1𝑗 4 𝑗=1 ∑ 𝑦_2𝑗 4 𝑗=1 ∑ 𝑦_3𝑗 4 𝑗=1 ) = ( 4𝑦̅₁ 4𝑦̅2 4𝑦̅₃) 𝑿𝑇_{𝒚 = 4 (}𝑦̅_𝑦̅1 2 𝑦̅3 ) secara umum 𝑿𝑇_{𝒚 = 𝑛𝒚̅} 𝑖

Kasus 2: Jika 𝜏₁, = 0, vektor 𝜷 = (𝜇, 𝜏₂, ⋯ , 𝜏_𝑡) atau 𝜷 = (𝜇, 𝜏₂ , 𝜏₃)

𝑦₁₁ = 1 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₁ 𝑦12 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2+ 0 × 𝜏3+ 𝜀12 𝑦₁₃ = 1 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₃ 𝑦₁₄ = 1 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₄ 𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2+ 0 × 𝜏3+ 𝜀21 𝑦₂₂ = 1 × 𝜇 + 0 × 𝜏₁ + 1 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₂₂ 𝑦₂₃ = 1 × 𝜇 + 0 × 𝜏₁ + 1 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₂₃ 𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2+ 0 × 𝜏3+ 𝜀24 𝑦₃₁ = 1 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 1 × 𝜏₃+ 𝜀₃₁ 𝑦₃₂ = 1 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 1 × 𝜏₃+ 𝜀₃₂ 𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2+ 1 × 𝜏3+ 𝜀33 𝑦₃₄ = 1 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 1 × 𝜏₃+ 𝜀₃₄

37 𝜇 𝜏2 𝜏3 𝑿 = ( 1 0 0 1 0 0 1 0 0 1 0 0 1 1 0 1 1 0 1 1 0 1 1 0 1 0 1 1 0 1 1 0 1 1 0 1) =( 14 04 04 14 14 04 1₄ 0₄ 1₄) 𝑿𝑇_{𝑿 = (}1 1 1 1 1 1 1 1 1 1 1 1_{0 0 0 0 1 1 1 1 0 0 0 0} 0 0 0 0 0 0 0 0 1 1 1 1 ) ( 1 0 0 1 0 0 1 0 0 1 0 0 1 1 0 1 1 0 1 1 0 1 1 0 1 0 1 1 0 1 1 0 1 1 0 1) 𝑿𝑇_{𝑿 = (}12 4 4_{4 4 0} 4 0 4 ) = 4 (3 1 11 1 0 1 0 1 ) = 4 (3 1 11 1 0 1 0 1 ) = 4 ( 3 13−1𝑇 13−1 𝑰3−1) secara umum 𝑿𝑇_{𝑿 = 𝑛 (} 𝑡 1𝑡−1𝑇 1𝑡−1 𝑰𝑡−1) 𝑿𝑇_{𝒚 = (}1 1 1 1 1 1 1 1 1 1 1 1_{0 0 0 0 1 1 1 1 0 0 0 0} 0 0 0 0 0 0 0 0 1 1 1 1 ) ( 𝑦₁₁ 𝑦12 𝑦13 𝑦14 𝑦21 𝑦₂₂ 𝑦₂₃ 𝑦₂₄ 𝑦₃₁ 𝑦₃₂ 𝑦₃₃ 𝑦34) = ( ∑ ∑ 𝑦_𝑖𝑗 ∑ 𝑦_2𝑗 4 𝑗=1 ∑ 𝑦3𝑗 4 𝑗=1 ) = ((4 × 3)𝑦̅4𝑦̅2 4𝑦̅3 )

38

𝑿𝑇_{𝒚 = 4 (}3𝑦̅_𝑦̅ 2 𝑦̅3

)

Kasus 3: Jika 𝜏2, = 0, vektor 𝜷 = (𝜇, 𝜏1, 𝜏3, ⋯ , 𝜏𝑡) atau 𝜷 = (𝜇, 𝜏1 , 𝜏3)

𝑦₁₁ = 1 × 𝜇 + 1 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₁ 𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2+ 0 × 𝜏3+ 𝜀12 𝑦₁₃ = 1 × 𝜇 + 1 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₃ 𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2+ 0 × 𝜏3+ 𝜀14 𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2+ 0 × 𝜏3+ 𝜀21 𝑦₂₂ = 1 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₂₂ 𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2+ 0 × 𝜏3+ 𝜀23 𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2+ 0 × 𝜏3+ 𝜀24 𝑦₃₁ = 1 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 1 × 𝜏₃+ 𝜀₃₁ 𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2+ 1 × 𝜏3+ 𝜀32 𝑦₃₃ = 1 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 1 × 𝜏₃+ 𝜀₃₃ 𝑦₃₄ = 1 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 1 × 𝜏₃+ 𝜀₃₄ 𝜇 𝜏₁ 𝜏₃ 𝑿 = ( 1 1 0 1 1 0 1 1 0 1 1 0 1 0 0 1 0 0 1 0 0 1 0 0 1 0 1 1 0 1 1 0 1 1 0 1) =( 14 14 04 14 04 04 1₄ 0₄ 1₄)

39 𝑿𝑇_{𝑿 = (}1 1 1 1 1 1 1 1 1 1 1 1_{1 1 1 1 0 0 0 0 0 0 0 0} 0 0 0 0 0 0 0 0 1 1 1 1 ) ( 1 1 0 1 1 0 1 1 0 1 1 0 1 0 0 1 0 0 1 0 0 1 0 0 1 0 1 1 0 1 1 0 1 1 0 1) 𝑿𝑇_{𝑿 = (}12 4 4_{4 4 0} 4 0 4 ) = 4 (3 1 11 1 0 1 0 1 ) = 4 (3 1 11 1 0 1 0 1 ) = 4 ( 3 13−1𝑇 13−1 𝑰3−1) secara umum 𝑿𝑇_{𝑿 = 𝑛 (} 𝑡 1𝑡−1𝑇 1_𝑡−1 𝑰_𝑡−1) 𝑿𝑇_{𝒚 = (}1 1 1 1 1 1 1 1 1 1 1 1_{1 1 1 1 0 0 0 0 0 0 0 0} 0 0 0 0 0 0 0 0 1 1 1 1 ) ( 𝑦₁₁ 𝑦₁₂ 𝑦₁₃ 𝑦₁₄ 𝑦21 𝑦22 𝑦23 𝑦24 𝑦₃₁ 𝑦₃₂ 𝑦₃₃ 𝑦₃₄) = ( ∑ ∑ 𝑦_𝑖𝑗 ∑ 𝑦1𝑗 4 𝑗=1 ∑ 𝑦_3𝑗 4 𝑗=1 ) = ( (4 × 3)𝑦̅ 4𝑦̅1 4𝑦̅₃ ) 𝑿𝑇_{𝒚 = 4 (}3𝑦̅_𝑦̅ 1 𝑦̅3 )

Kasus 4: Jika 𝜏₃, = 0, vektor 𝜷 = (𝜇, 𝜏₁, 𝜏₂, 𝜏_4,, ⋯ , 𝜏_𝑡) atau 𝜷 = (𝜇, 𝜏₁ , 𝜏₂)

𝑦₁₁ = 1 × 𝜇 + 1 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₁ 𝑦₁₂ = 1 × 𝜇 + 1 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₂ 𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2+ 0 × 𝜏3+ 𝜀13 𝑦₁₄ = 1 × 𝜇 + 1 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₄ 𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2+ 0 × 𝜏3+ 𝜀21

40 𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2+ 0 × 𝜏3+ 𝜀22 𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2+ 0 × 𝜏3+ 𝜀23 𝑦₂₄ = 1 × 𝜇 + 0 × 𝜏₁ + 1 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₂₄ 𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2+ 0 × 𝜏3+ 𝜀31 𝑦₃₂ = 1 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₃₂ 𝑦₃₃ = 1 × 𝜇 + 0 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₃₃ 𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2+ 0 × 𝜏3+ 𝜀34 𝜇 𝜏₁ 𝜏₂ 𝑿 = ( 1 1 0 1 1 0 1 1 0 1 1 0 1 0 0 1 0 1 1 0 1 1 0 1 1 0 0 1 0 0 1 0 0 1 0 0) =( 14 14 04 1₄ 0₄ 1₄ 14 04 04 ) 𝑿𝑇_{𝑿 = (}1 1 1 1 1 1 1 1 1 1 1 1_{1 1 1 1 0 0 0 0 0 0 0 0} 0 0 0 0 1 1 1 1 0 0 0 0 ) ( 1 1 0 1 1 0 1 1 0 1 1 0 1 0 1 1 0 1 1 0 1 1 0 1 1 0 0 1 0 0 1 0 0 1 0 0) 𝑿𝑇_{𝑿 = (} 14𝑇 14𝑇 14𝑇 1₄𝑇 ₀ 4 𝑇 ₀ 4 𝑇 04𝑇 14𝑇 04𝑇 ) ( 1₄ 1₄ 0₄ 14 04 14 14 04 04 ) = ( 4(3) 4(1) 4(1) 4(1) 4(1) 4(0) 4(1) 4(0) 4(1)) 𝑿𝑇_{𝑿 = (}12 4 4_{4 4 0} 4 0 4 ) = 4 (3 1 11 1 0 1 0 1 ) = 4 (3 1 11 1 0 1 0 1 ) = 4 ( 3 13−1𝑇 1₃₋₁ 𝑰₃₋₁)

41 secara umum 𝑿𝑇_{𝑿 = 𝑛 (} 𝑡 1𝑡−1𝑇 1_𝑡−1 𝑰_𝑡−1) 𝑿𝑇_{𝒚 = (}1 1 1 1 1 1 1 1 1 1 1 1_{1 1 1 1 0 0 0 0 0 0 0 0} 0 0 0 0 1 1 1 1 0 0 0 0 ) ( 𝑦11 𝑦12 𝑦13 𝑦14 𝑦₂₁ 𝑦₂₂ 𝑦₂₃ 𝑦₂₄ 𝑦31 𝑦32 𝑦33 𝑦34) = ( ∑ ∑ 𝑦𝑖𝑗 ∑ 𝑦_1𝑗 4 𝑗=1 ∑ 𝑦_2𝑗 4 𝑗=1 ) = ((4 × 3)𝑦̅4𝑦̅₁ 4𝑦̅2 ) 𝑿𝑇_{𝒚 = 4 (}3𝑦̅_𝑦̅ 1 𝑦̅₂)

Apa pun batasan yang dibuat tentang, selalu memberikan hasil sama 𝑿𝑇_{𝑿 = 𝑛 (} 𝑡 1𝑡−1𝑇 1𝑡−1 𝑰𝑡−1) 𝑿 = [ 1_𝑛 1_𝑛 0_𝑛 ⋯ 0_𝑛 1_𝑛 0_𝑛 1_𝑛 ⋯ 0_𝑛 1𝑛 0𝑛 0𝑛 ⋯ 0𝑛 ⋮ ⋮ ⋮ ⋮ ⋮ 1_𝑛 0_𝑛 0_𝑛 ⋯ 1_𝑛 1𝑛 −1𝑛 −1𝑛 ⋯ −1𝑛] , 𝜷 = [ 𝜇 𝜏1 ⋮ 𝜏𝑡−1 ]

Memperlihatkan matriks di atas

Kasus 1: 𝜏₃ = − 𝜏₁− 𝜏₂ ; 𝜷 = (𝜇, 𝜏₁, 𝜏₂, , ⋯ , 𝜏_𝑡−1) atau 𝜷 = (𝜇, 𝜏₁ , 𝜏₂), 𝜏₃ = 0 𝑦₁₁ = 1 × 𝜇 + 1 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₁ 𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2+ 0 × 𝜏3+ 𝜀12 𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2+ 0 × 𝜏3+ 𝜀13 𝑦₁₄ = 1 × 𝜇 + 1 × 𝜏₁ + 0 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₁₄ 𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2+ 0 × 𝜏3+ 𝜀21 𝑦₂₂ = 1 × 𝜇 + 0 × 𝜏₁ + 1 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₂₂ 𝑦₂₃ = 1 × 𝜇 + 0 × 𝜏₁ + 1 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₂₃ 𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2+ 0 × 𝜏3+ 𝜀24 𝑦₃₁ = 1 × 𝜇 − 1 × 𝜏₁ − 1 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₃₁ 𝑦₃₂ = 1 × 𝜇 − 1 × 𝜏₁ − 1 × 𝜏₂+ 0 × 𝜏₃+ 𝜀₃₂ 𝑦33 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2+ 0 × 𝜏3+ 𝜀33

42 𝑦34 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2+ 0 × 𝜏3+ 𝜀34 𝜇 𝜏1 𝜏2 𝑿 = ( 1 1 0 1 1 0 1 1 0 1 1 0 1 0 1 1 0 1 1 0 1 1 0 1 1 −1 −1 1 −1 −1 1 −1 −1 1 −1 −1) =( 14 14 04 1₄ 0₄ 1₄ 1₄ −1₄ −1₄) 𝑿𝑇_{𝑿 = (}1 1 1 1 1 1 1 1_{1 1 1 1 0 0 0 0 −1 −1 −1 −1}1 1 1 1 0 0 0 0 1 1 1 1 −1 −1 −1 −1) ( 1 1 0 1 1 0 1 1 0 1 1 0 1 0 0 1 0 1 1 0 1 1 0 1 1 −1 −1 1 −1 −1 1 −1 −1 1 −1 −1) 𝑿𝑇_{𝑿 = (}12 0 0_{0 8 4} 0 4 8 ) = 4 (3 0 00 2 1 0 1 2 ) 𝑿𝑇_{𝑿 = (} 1₄𝑇 ₁ 4 𝑇 ₁ 4 𝑇 14𝑇 04𝑇 −14𝑇 0₄𝑇 ₁ 4 𝑇 ₋₁ 4 𝑇 ) ( 14 14 04 1₄ 0₄ 1₄ 1₄ −1₄ −1₄)=( 12 0 0 0 8 4 0 4 8 ) = 4 (3 0 00 2 1 0 1 2 )

Anak matriks bagian (21), berukuran (3-1)×(3-1) memiliki struktur (𝑰𝑡−1+1𝑡−11𝑡−1𝑇 ) = (𝑰₃₋₁+1₃₋₁1₃₋₁𝑇 ₎

(2 1

1 2) = (1 00 1) + (11) (1 1) = (1 00 1) + (1 11 1)