AMRI ILMMA
030501702x
UNIVERSITAS INDONESIA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
DEPARTEMEN MATEMATIKA
DEPOK
2009
Skripsi ini diajukan sebagai salah satu syarat
untuk memperoleh gelar Sarjana Sains
Oleh
AMRI ILMMA
030501702x
DEPOK
2009
PERSAMAAN STRUKTURAL NONLINEAR NAMA : AMRI ILMMA
NPM : 030501702X
SKRIPSI INI TELAH DIPERIKSA DAN DISETUJUI
DEPOK, JULI 2009
Dra. RIANTI SETIADI, M.Si MILA NOVITA S.Si, M.Si PEMBIMBING I PEMBIMBING II
Tanggal Lulus Ujian Sidang Sarjana : 7 Juli 2009
PENGUJI I : Mila Novita, S.Si., M.Si.
PENGUJI II : Alhaji Akbar B., S.Si., M.Sc.
KATA PENGANTAR
Alhamdulillah, segala puji bagi Allah Sang Maha Pengasih dan
Penyayang yang telah memberikan nikmat dan karunianya sehingga penulis dapat menyelesaikan tugas akhir ini dengan baik. Tak lupa shalawat dan salam dihaturkan kepada Nabi Muhammad SAW yang telah membawa petunjuk bagi seluruh umat manusia.
Penulis menyadari bahwa tugas akhir ini tidak mungkin dapat diselesaikan dengan baik tanpa bantuan dari berbagai pihak. Ungkapan terima kasih secara khusus penulis berikan kepada Mama yang dengan sabar selalu membantu, memotivasi, memberikan kasih sayangnya yang sangat besar kepada penulis. Kepada Papa yang telah pergi lebih dulu menemui Sang Pencipta, penulis sangat berterima kasih atas segala kerja kerasnya ketika Papa masih bersama penulis sehingga penulis bisa menyelesaikan kuliah dan sampai sekarang bisa menjalani kehidupan ini dengan baik. Maafkan penulis belum bisa berbakti lebih banyak kepada Papa, semua kasih sayangmu sangat penulis rindukan. Penulis berharap semua yang telah penulis lakukan dapat membuat kalian bangga, Mama dan Papa. Terima kasih pula kepada Mas Adi dan Mba Achha yang telah banyak memberikan inspirasi bagi penulis.
1. Ibu Dra. Rianti Setiadi M.Si selaku pembimbing I yang telah
memberikan bahan yang sangat menantang kepada penulis. Terima kasih atas bantuan, motivasi, perhatian, kepercayaan, dan inspirasi penulis selama ini. Penulis berharap tugas akhir ini dapat membuat Ibu puas dan bangga.
2. Mba Mila Novita S.Si, M.Si selaku pembimbing II yang telah sabar dalam memeriksa tugas akhir ini, membantu penulis dalam menemukan pembuktian rumus-rumus, dan memberikan banyak masukan yang baik dalam menyempurnakan tugas akhir ini.
3. Ibu Rustina selaku pembimbing akademik yang telah banyak membantu penulis dalam mengambil keputusan mulai dari pertama masuk kuliah hingga penulis lulus.
4. Ibu Sasky yang telah banyak memberikan kasih sayang dan perhatiannya kepada penulis.
5. Seluruh dosen di Departemen Matematika UI atas semua ilmu yang telah diberikan. Doakan penulis agar ilmu ini berguna bagi bangsa dan agama.
6. Staf di Departemen Matematika UI yang telah banyak membantu penulis dalam berbagai hal.
7. Widya Wahyuni tesayang yang selalu memberikan motivasi dan semangat ketika penulis sedang jenuh, selalu memberikan nasihat ketika penulis sedang bingung, dan selalu ada ketika penulis membutuhkan.
8. Teman-teman angkatan 2005: Akmal, Angel, Wicha, Bunda Ardy, Puji, Shally, Gyo, Ratna, Melati, om Teha, Karlina, QQ, Aya, Mery, Miranti, Rani, My Sis Fika, Pute, Aini, Rif’ah, Rara, Yanuar, Ranti, Trian, Ridwan, Aris, Hairu, Yuni, Nafia, Dian, Mia, Hamdan, Raisa, Nisma, Othe, Asep, Sae, serta teman-teman yang juga mengerjakan skripsi: May, Ida, Stevani, Rifkos,
Cungky, Shinta, Ratih, Riesa, Khuri, Syarah, Maul, Uun, Iif, Edi, Gele, Bembi, dan Gunung.
9. Teman-teman angkatan 2003, 2004, 2006, 2007, dan 2008. 10. Terima kasih khusus kepada: Yanuar yang telah membantu
membuatkan program dengan sabar dan teliti, Hamdan yang telah meminjamkan komputernya untuk menjalankan program, May yang telah membantu mengurus persyaratan kolokium ketika penulis sedang sakit, Ajat ’04 yang telah membantu menurunkan rumus, Novianti ’04 yang telah memberi banyak sekali inspirasi dari skripsinya, Rimbun ’04 yang telah memberikan banyak nasihat dan semangat, dan Bembi ’03 yang turut membantu merevisi program.
Semoga tugas akhir ini dapat memberikan banyak menfaat bagi yang membacanya. Akhirnya, Penulis menyadari bahwa masih terdapat
kekurangan dalam karya tulis ini sehingga penulis mengharapkan masukan dan kritik terhadap karya tulis ini dari berbagai pihak.
ABSTRAK
Tugas akhir ini secara umum bertujuan untuk membahas model persamaan struktural nonlinear (Nonlinear Structural Equation Model atau NLSEM), yaitu suatu model yang mengkombinasikan analisis faktor dan analisis regresi untuk tujuan analisis suatu hipotesis yang menyatakan hubungan antara variabel-variabel laten yang diukur oleh variabel-variabel indikator dimana terdapat hubungan yang nonlinear antar variabel latennya. Penaksiran parameter dalam model persamaan struktural nonlinear dicari dengan menggunakan taksiran Maksimum Likelihood melalui Algoritma EM (Expectation Maximization). Karena rumitnya proses komputasi, pada E-Step akan digunakan algoritma Metropolis-Hastings. Metode tersebut akan
diterapkan untuk melihat pola hubungan antara kepercayaan beragama, kepuasan dalam pekerjaan, dan interaksi antara keduanya dalam
mempengaruhi kepuasan hidup seseorang. Hasil analisis data menunjukkan bahwa meningkatnya tingkat kepercayaan beragama dan kepuasan dalam pekerjaan akan meningkatkan kepuasan hidup, namun dihambat oleh pengaruh interaksinya.
Kata kunci: Nonlinear SEM, taksiran Maksimum Likelihood, algoritma EM, algoritma Metropolis-Hastings.
ix + 98 hal ; lamp
DAFTAR ISI
Halaman
KATA PENGANTAR ... i
ABSTRAK ... iv
DAFTAR ISI ... v
DAFTAR GAMBAR ... vii
DAFTAR TABEL ... viii
DAFTAR LAMPIRAN ... ix BAB I. PENDAHULUAN ... 1 1.1 Latar Belakang ... 1 1.2 Perumusan Masalah ... 2 1.3 Tujuan Penelitian ... 2 1.4 Pembatasan Masalah ... 3 1.5 Sistematika Penulisan ... 3
BAB II. LANDASAN TEORI... 5
2.1 Model Persamaan Struktural ... 5
2.2 Taksiran Maksimum Likelihood ... 18
2.3 Algoritma EM ... 19
2.5 Integral Monte Carlo ... 24
2.6 MCEM... 25
2.7 Rantai Markov ... 25
2.8 Algoritma Metropolis Hastings ... 27
BAB III. MODEL PERSAMAAN STRUKTURAL NONLINEAR ... 33
3.1 Model ... 33
3.2 Taksiran Maksimum Likelihood pada Nonlinear SEM ... 37
3.3 E-Step Menggunakan Algoritma Metropolis-Hastings ... 42
3.4 M-Step ... 47
BAB IV. CONTOH APLIKASI ... 49
4.1 Sumber Data ... 49
4.2 Analisis Data ... 51
4.3 Hasil Taksiran dan Interpretasinya ... 53
BAB V. PENUTUP ... 61
5.1 Kesimpulan ... 61
5.2 Saran ... 62
DAFTAR PUSTAKA ... 63
DAFTAR GAMBAR
Halaman Gambar 2.1. Contoh diagram model persamaan struktural ... 8 Gambar 3.1. Contoh diagram model persamaan struktural nonlinear ... 34 Gambar 4.1. Grafik taksiran parameter , 21 , 42 untuk setiap 63
iterasi ... 55 Gambar 4.2. Grafik taksiran parameter , 11 , dan 12 untuk setiap 13
iterasi ... 55 Gambar 4.3. Grafik taksiran parameter sampai 1 untuk setiap 6
iterasi ... 56 Gambar 4.4. Grafik taksiran parameter sampai 11 untuk setiap 66
iterasi ... 56 Gambar 4.5. Grafik taksiran parameter , 11 , 12 untuk setiap iterasi .. 57 22
Gambar 4.6. Grafik taksiran parameter untuk setiap iterasi ... 57 Gambar 4.7. Diagram Model Nonlinear SEM dengan hasil taksiran
parameter ... 58 Gambar 1 Lampiran 6. Contoh output grafik program NLSEM ... 94
DAFTAR TABEL
Halaman Tabel 4.1. Taksiran Maksimum Likelihood untuk data ICPSR ... 54
DAFTAR LAMPIRAN
Halaman
LAMPIRAN 1: Penurunan MLE SEM Biasa ... 66
LAMPIRAN 2: Pembuktian Algoritma EM ... 69
LAMPIRAN 3: Penurunan Statistik Cukup ... 73
LAMPIRAN 4: Penurunan M-Step ... 76
LAMPIRAN 5: Data ICPSR ... 87
BAB I PENDAHULUAN
1.1 LATAR BELAKANG
Model Persamaan Struktural atau Structural Equation Model (SEM) adalah teknik multivariat yang mengkombinasikan analisis faktor dan analisis regresi untuk tujuan analisis suatu hipotesis yang menyatakan hubungan antara variabel-variabel laten yang diukur oleh variabel-variabel indikator. Secara umum, SEM dapat dibagi menjadi dua bagian utama, yaitu model pengukuran yang menggambarkan hubungan antara variabel laten dengan variabel-variabel indikatornya, dan model struktural yang menggambarkan hubungan antara variabel-variabel laten.
Selama ini, SEM digunakan lebih kepada hubungan linear antara variabel-variabel laten, tetapi dalam beberapa permasalahan sering terjadi hubungan yang non linear diantara variabel laten. Jika terjadi hubungan yang non linear diantara variabel laten maka SEM yang mengasumsikan hubungan linear diantara variabel laten kurang tepat untuk diterapkan. Karena itu akan dicoba untuk mengembangkan model persamaan struktural yang telah ada dengan memperhitungkan ketidakliniearan hubungan antar variabel laten ke dalam model. Model persamaan struktural yang memperhitungkan hubungan
nonlinear antar variabel laten ke dalam model dikenal dengan Model Persamaan Struktural Non Linear (Non Linear SEM).
Dalam model persamaan struktural yang mengasumsikan hubungan linear antar variabel laten, penaksiran parameter dilakukan dengan berbagai metode sesuai dengan keadaan data. Salah satu metode yang sering
digunakan adalah dengan metode Taksiran Maksimum Likelihood. Yang menjadi masalah dalam tugas akhir ini adalah bagaimana mencari taksiran parameter pada model persamaan struktural non linear dengan
menggunakan metode taksiran maksimum likelihood. Permasalahan ini yang akan dicoba untuk diselesaikan dalam tugas akhir ini.
1.2 PERUMUSAN MASALAH
Bagaimana cara mencari taksiran parameter dalam model persamaan struktural non linear dengan menggunakan metode taksiran maksimum likelihood.
1.3 TUJUAN PENELITIAN
Mencari taksiran parameter dalam model persamaan struktural non linear dengan menggunakan metode taksiran maksimum likelihood.
1.4 PEMBATASAN MASALAH
Permasalahan dalam tugas akhir ini dibatasi hanya pada penaksiran parameter dengan metode taksiran maksimum likelihood dan tidak dilakukan pengujian model.
1.5 SISTEMATIKA PENULISAN
Bab I Pendahuluan
Bab ini berisi latar belakang masalah, perumusan masalah, tujuan penulisan, pembatasan masalah, dan sistematika penulisan. Bab II Landasan Teori
Bab ini berisi pembahasan mengenai konsep dasar yang akan digunakan dalam pembentukan model persamaan struktural
nonlinear, meliputi: model persamaan struktural, taksiran maksimum likelihood, algoritma EM (Expectation-Maximization), algoritma EM untuk Regular Exponential Family, integral monte carlo, MCEM, rantai Markov, dan algoritma MH (Metropolis-Hastings).
Bab III Model Persamaan Struktural Nonlinear
Bab ini berisi pembahasan mengenai model persamaan struktural nonlinear, meliputi: model umum, taksiran maksimum likelihood, dan penerapan algoritma EM pada model persamaan struktural nonlinear
Bab IV Contoh Aplikasi
Bab ini berisi contoh aplikasi, yaitu mencari model persamaan struktural nonlinear dengan satu variabel laten endogen yang dibentuk oleh dua variabel laten eksogen dan interaksinya. Bab V Penutup
BAB II
LANDASAN TEORI
Bab ini membahas beberapa pengertian dasar yang diperlukan pada pembahasan bab-bab berikutnya, yaitu mengenai model persamaan struktural, taksiran maksimum likelihood, algoritma EM (Expectation-Maximization), algoritma EM untuk Regular Exponential Family, integral monte carlo, MCEM, rantai Markov, dan algoritma MH (Metropolis-Hastings).
2.1 MODEL PERSAMAAN STRUKTURAL
Model persamaan struktural atau Structural Equation Model (SEM) adalah suatu teknik pemodelan statistik yang merupakan penggabungan dari analisis faktor dan analisis regresi yang dapat menyatakan hubungan antara variabel-variabel laten yang diukur oleh variabel-variabel indikator. Karena variabel laten yang digunakan dalam SEM diukur oleh variabel indikator yang sudah tertentu jumlahnya, maka analisis faktor yang digunakan adalah
analisis faktor konfirmatori. Dalam SEM bisa terdapat suatu sistem persamaan simultan yang merupakan sistem persamaan dimana suatu variabel dependen dalam suatu hubungan dependensi dapat menjadi variabel bebas pada hubungan dependensi selanjutnya. Sebelum
mempelajari SEM lebih jauh, akan dijelaskan terlebih dahulu beberapa istilah dan notasi yang digunakan dalam SEM.
Jöreskog (1973) dan Bollen (1989) mengemukakan bahwa ada tiga istilah untuk variabel random yang digunakan dalam SEM, yaitu variabel laten, variabel indikator, dan variabel error. Variabel indikator (disebut juga variabel terobservasi / manifes) adalah variabel yang dapat diukur secara langsung, misalnya tinggi badan, IPK, pendapatan, dan sebagainya. Variabel laten (disebut juga variabel konstruk / faktor / tak terobservasi) adalah
variabel yang tidak dapat diukur secara langsung, melainkan diukur oleh variabel-variabel indikator. Variabel error adalah variabel yang
merepresentasikan variabilitas dari variabel endogen yang tidak dapat dijelaskan oleh variabel eksogen.
Berdasarkan peranannya dalam model, variabel-variabel laten yang digunakan dalam SEM dibedakan menjadi variabel laten eksogen dan variabel laten endogen. Variabel laten eksogen adalah variabel laten yang tidak dipengaruhi oleh variabel laten sebelumnya di dalam model. Sedangkan variabel laten endogen adalah variabel laten yang ditentukan oleh variabel-variabel laten sebelumnya/lainnya di dalam model. Tidak seperti model linear, SEM memungkinkan adanya korelasi antar variabel laten eksogen.
Notasi-notasi yang digunakan dalam diagram jalur SEM adalah sebagai berikut:
Bentuk persegi panjang menunjukkan bahwa variabel y adalah variabel indikator.
Bentuk lingkaran atau elips menunjukkan variabel yang tidak dapat diukur secara langsung. Variabel laten , error model pengukuran , dan error model sruktural termasuk ke dalam variabel yang tidak dapat diukur secara langsung sehingga diberi lambang lingkaran.
Variabel pada pangkal anak panah mempengaruhi variabel pada ujung anak panah.
Anak panah dua arah melengkung menunjukkan hubungan korelasi antara kedua variabel yang dihubungkan.
Di bawah ini akan diberikan contoh SEM dengan notasi-notasi variabel yang digunakan. Misalkan terdapat diagram jalur SEM sebagai berikut:
Gambar 2.1. Contoh diagram model persamaan struktural
Berdasarkan hubungan antar variabel pembentuknya, SEM terdiri dari dua bagian, yaitu:
1) Model pengukuran yang mewakili komponen analisis faktor konfirmatori, yaitu model yang menyatakan hubungan variabel laten dan variabel indikator yang membentuknya.
Dari diagram SEM di gambar 1, dapat dibuat persamaan model pengukuran untuk variabel indikator
1 2
(1) y y y sebagai berikut: 1 1 1 1 11 2 2 1 2 21 y y
atau dalam bentuk matriks:
1 1 1 11 1 2 2 2 21 y y yaitu: ( 2 1) ( 2 1) ( 2 1) (1 1) ( 2 1) (1) (1) (1) (1) (1)y
μ
Λ
ξ
ε
dimana y1 dan y2 adalah variabel-variabel indikator pembentuk variabel
laten , 1
1 dan 2 adalah intercept,
1 dan adalah variabel-variabel error pengukuran, dan 2
11 dan 21 adalah faktor loading yang menunjukkan loading dari
variabel indikator pada variabel laten yang dibentuknya.
Secara umum, model pengukuran untuk variabel
1 2 1
(1)
y y y y p ukuran
1 1
p yang merupakan variabel indikator
dari variabel laten endogen
1 2 1
(1)
ξ q ukuran
1 1
(1) (1) (1) (1) (1)
y μ Λ ξ ε (2.1.1) dimana μ adalah matriks intercept ukuran (1) p 1 1, Λ adalah matriks (1)
dari faktor loading (faktor loading menunjukkan loading dari variabel indikator pada variabel laten yang dibentuknya) ukuran p q1 1, dan ε (1)
adalah matriks ukuran p 1 1 dari error pengukuran.
Persamaan model pengukuran untuk variabel indikator
3 4 5 6
(2) y y y y y adalah: 3 3 2 3 32 4 4 2 4 42 5 5 3 5 52 6 6 3 5 62 y y y y atau dalam bentuk matriks:
3 3 3 32 4 4 2 4 42 5 5 3 5 53 6 6 6 63 0 0 0 0 y y y y yaitu: ( 4 1) ( 4 1) ( 4 2) ( 2 1) ( 4 1) (2) (2) (2) (2) (2)
y
μ
Λ
ξ
ε
dimana y y y3, , dan 4 5 y6 adalah variabel-variabel indikator pembentuk
variabel laten 2 dan 3,
3, , dan 4 5 6 adalah variabel-variabel error pengukuran, dan
32, 42, 53 dan 63 adalah faktor loading yang menunjukkan loading dari variabel indikator pada variabel laten yang dibentuknya.
Secara umum, model pengukuran untuk variabel
1 1 1 2 1 2
(2)
y yp yp ypp ukuran
2 1
p yang merupakan variabel
indikator dari variabel laten eksogen
1 1 1+2 1 2
(2) ξ q q q q ukuran 2 1 q adalah (2) (2) (2) (2) (2) y μ Λ ξ ε (2.1.2) dimana μ adalah matriks intercept ukuran (2) p 2 1, Λ adalah matriks (2)
dari faktor loading ukuran p2q2, dan ε adalah matriks ukuran (2) p 2 1
dari error pengukuran.
Dari model pengukuran untuk variabel indikator y dan (1) y yang (2)
telah dijelaskan sebelumnya, dapat dibuat model pengukuran untuk seluruh variabel indikator y
y(1) y(2)
dalam bentuk matriks:1 1 1 11 2 2 2 21 1 3 3 3 32 2 4 4 4 42 3 5 5 5 53 6 6 6 63 0 0 0 0 0 0 0 0 0 0 0 0 y y y y y y yaitu: (6 1) (6 1) (6 3) (3 1) (6 1)
y
μ
Λ
ξ
ε
dimana y1 dan y2 adalah variabel-variabel indikator pembentuk variabel
laten , 1
3 4
y dan y adalah variabel-variabel indikator pembentuk variabel laten , 2
y5 dan y6 adalah variabel-variabel indikator pembentuk variabel
laten , 3
1 2 6
, ,
adalah intercept,
1, , ,2 6 adalah variabel-variabel error pengukuran, dan
11, 21, , 63 adalah faktor loading yang menunjukkan loading dari variabel indikator pada variabel laten yang dibentuknya.
Secara umum, model pengukuran untuk variabel
1 2
(1) (2)
y y y y y y p ukuran p (dengan 1
1 2
merupakan variabel-variabel indikator dari variabel laten
1 2
(1) (2) ξ ξ ξ q ukuran q (dengan 1 1 2 q q q ) adalah y μ Λξ ε (2.1.3)dimana μ
μ(1) μ(2)
adalah matriks intercept ukuran p , 1(1) (2) Λ 0 Λ
0 Λ adalah matriks dari faktor loading ukuran p q , dan
1 2
(1) (2)
ε ε ε p adalah matriks ukuran p dari error 1
pengukuran.
Asumsi-asumsi untuk model pengukuran adalah: 1. Eε(1)Eε(2)0
2. ε tidak berkorelasi dengan (1) ξ , (1) ξ , dan (2) ε (2)
3. ε tidak berkorelasi dengan (2) ξ , (1) ξ , dan (2) ε (1)
2) Model struktural adalah model yang menyatakan hubungan kausal antar variabel laten melalui sistem persamaan simultan.
Dari diagram SEM di gambar 1, dapat dijelaskan mengenai model struktural sebagai berikut:
1 2 3 1
12 13
1
1
2
1 12 13 3 0 yaitu: (1 1) (1 1) (1 2) ( 2 1) (1 1) (1) (1 1) (1) (2)ξ
Π
ξ
Γ ξ
δ
dimana menyatakan pengaruh variabel eksogen 12 terhadap variabel 2
endogen , 1
menyatakan pengaruh variabel eksogen 13 3
terhadap variabel endogen , 1
adalah kovarians antara variabel eksogen 23 dan 2 , dan 3
matriks Π ukuran (1 1) adalah matriks yang berisi parameter 11
yang menyatakan pengaruh variabel endogen terhadap variabel 1
endogen , berdasarkan diagram SEM di gambar 1, nilai 1
11 0
karena tidak ada pengaruh variabel endogen terhadap dirinya 1
sendiri.
Secara umum, model struktural mempunyai bentuk sebagai berikut:
(1) (1) (2)
ξ Πξ Γξ δ (2.1.4) Dimana:
1 1 2 (1)
=
q
ξ
adalah matriks ukuran q 1 1 dari variabel-variabel latenendogen, 1 1 1 2 1 2 (2)
=
q q q q
ξ
adalah matriks ukuran q 2 1 dari variabel-variabel lateneksogen,
Π adalah matriks koefisien untuk variabel laten endogen ukuran
(1) (1)
q q , Γ adalah matriks koefisien untuk variabel laten eksogen ukuran q(1)q(2), dan δ adalah matriks error struktural ukuran q . (1) 1
Asumsi-asumsi untuk model struktural adalah: 1. E
δ 02. δ tidak berkorelasi dengan ξ (2)
3.
I Π
nonsingularDari penjelasan sebelumnya, dapat disimpulkan bahwa SEM secara umum dapat dituliskan dalam dua bentuk model, yaitu:
1. Model pengukuran (1) (1) (1) (1) (1) y μ Λ ξ ε (2) (2) (2) (2) (2) y μ Λ ξ ε 2. Model struktural (1) (1) (2) ξ Πξ Γξ δ
Dalam SEM, matriks kovariansi memegang peranan yang sangat penting karena pengujian kecocokan model dilakukan dengan
membandingkan matriks kovariansi dari model dengan matriks kovariansi sampel. Misalkan S adalah matriks kovariansi sampel dari variabel-variabel indikator. Matriks S untuk contoh diagram SEM pada gambar 1 adalah:
1 1 2 1 6 1 2 2 2 6 1 6 2 6 6var cov , cov ,
cov , var cov ,
cov , cov , var
S y y y y y y y y y y y y y y y
Misalkan pula Σ θ
adalah matriks kovariansi dari model, dimana θ adalah vektor dari parameter dalam model. Pada contoh diagram SEM di gambar 1, Σ θ
dapat dinyatakan sebagai berikut:
1 1 1 1 1 2 1 6 11 1 1 1 1 2 2 1 2 2 2 1 2 2 6 11 21 21 1 1 1 1 6 6 3 6 2 6 6 6 3 6 11 62 62var cov , cov ,
cov , var cov ,
cov , cov , var
Σ θ y y y y y y y y y y y y y y y
Dapat ditunjukkan bahwa bentuk umum matriks Σ θ
di atas adalah sebagai berikut:
1 1 1 (1) (1) 1 (1) (2) 1 (2) (1) (2) (2) 2 Λ I Π ΓΦΓ Ψ I Π Λ Ψ Λ I Π ΓΦΛ Σ θ Λ ΦΓ I Π Λ Λ ΦΛ Ψ (2.1.5) dimana
2 2 ( ) (2) (2)Φq q E ξ ξ matriks kovariansi dari ξ (2)
1 1
( )
Ψ q q E δδ matriks kovariansi dari δ
1 1
1(p p) E (1) (1)
Ψ ε ε matriks kovariansi dari ε (1)
2 2
2(p p) E (2) (2)
Ψ ε ε matriks kovariansi dari ε (2)
Penurunan persamaan (2.1.5) dapat dilihat pada Bollen (1989) dalam “Structural Equation with Latent Variable”.
Parameter-parameter yang tidak diketahui, yaitu Π, Γ, Φ, Ψ , Ψ1,
dan Ψ2 akan diestimasi sedemikian sehingga nilai dari entri-entri pada
matriks kovariansi Σ θ
dekat dengan nilai dari entri-entri pada matriks S. Salah satu cara yang biasa digunakan untuk mendapatkan taksiran tersebut adalah taksiran maksimum likelihood atau Maximum Likelihood Estimator (MLE). MLE menaksir parameter dengan memaksimumkan probabilitas (likelihood) bahwa matriks kovariansi populasi sama dengan matrikskovariansi sampel. Fungsi maksimum likelihood dapat dituliskan sebagai berikut:
1
log log ML F Σ θ tr SΣ θ S p (2.1.6) Untuk lebih jelasnya mengenai pernurunan persamaan di atas, dapat dilihat di lampiran 1.2.2 TAKSIRAN MAKSIMUM LIKELIHOOD
Misalkan X X1, 2, , Xn adalah suatu sampel random berukuran n dari suatu distribusi dengan pdf f x
; , yang bergantung pada , disebut ruang parameter. Karena X X1, 2, , Xn merupakan sample random, pdfbersama dari X X1, 2, , Xn dapat dinyatakan sebagai:
1, , , ;2 n
1;
2;
n;
f x x x f x f x f x (2.2.1) Pdf bersama dari X X1, 2, , Xn mengandung parameter , sehingga
persamaan (2.2.1) dapat dituliskan sebagai suatu fungsi dari , sebut L
.
1 2 1 2 1 , , , ; ; ; ; ; n n n i i L f x x x f x f x f x f x
(2.2.2)
Akan dicari yang memaksimumkan L
. Untuk mempermudah perhitungan dalam mencari nilai , L
dapat dimodifikasi ke dalam bentuk ln, karena nilai yang memaksimumkan ln L
sama dengan nilai yang memaksimumkan L
. Sehingga persamaan (2.2.2) dimodifikasi menjadi:
1 1 ln ln ; ln ; n i i n i i L f x f x
(2.2.3)Nilai yang memaksimumkan ln L
, diperoleh denganmendifferensialkan ln L
terhadap dan menyamakannya dengan 0, dan memastikan bahwa turunan keduanya kurang dari 0.
2 2 ln 0 ln 0 d L d d L d (2.2.4)Nilai u X X
1, 2, , Xn
yang memaksimumkan ln L
disebut sebagai taksiran maximum likelihood dari dan dinotasikan dengan ˆ.2.3 ALGORITMA EM
Algoritma EM merupakan suatu algoritma yang bersifat iteratif yang dapat digunakan untuk mencari MLE dimana terdapat variabel dalam model
yang merupakan variabel laten. Misalkan Z adalah suatu variabel laten.
1, , ,2 n
Y Y Y
Y adalah observed variable, yang mempunyai joint pdf p
y, . Sebut L
y, adalah fungsi log likelihood dari Y, yaitu:
, log
,L y p y (2.3.1) Misalkan p
y, ,z
p
x, adalah pdf bersama dari Y dan Z, dengan adalah parameter dalam model. Karena, seperti yang telah dinyatakan pada pemisalan awal, Z adalah variabel laten, maka salah satu cara untuk mencari taksiran yang memaksimumkan fungsi likelihood dari Y adalah dengan menggunakan algoritma EM. Prinsip dari algoritma EM dapat dijelaskan menjadi 2 bagian sebagai berikut:
1) E-Step
E-step dilakukan untuk mencari
, t 1
log
, ,
, ˆt 1 Zlog
, ,
| , ˆt 1
Q E p y z y
p y z p z y dz (2.3.2) dimana: 1 ˆ t adalah taksiran pada iterasi ke-(t-1).
0
adalah suatu nilai taksiran awal yang diberikan. 2) M-Step
Pada M-step, maksimumkan
ˆ 1
ˆ 1log , , , t log , , t
E p y z y E p x y terhadap untuk mendapatkan taksiran pada iterasi ke-t, sebut . ˆt
Proses E-step dan M-step ini akan dilakukan terus secara iteratif sampai sebanyak s iterasi, yaitu sampai didapatkan suatu estimasi untuk yang konvergen atau ˆs ˆs1 cukup kecil.
Dapat ditunjukkan di lampiran 2 bahwa iterasi algoritma EM seperti yang dijelaskan melalui E-step dan M-step diatas akan meningkatkan nilai L
y, pada setiap iterasinya.2.4 ALGORITMA EM UNTUK REGULAR EXPONENTIAL FAMILY
Pada bagian ini akan dibahas tentang algoritma EM untuk regular exponential family pada kasus dimana terdapat lebih dari satu parameter yang dibentuk menjadi suatu vektor parameter θ .
Pdf bersama dari X, yaitu p x θ
, , dikatakan berasal dari regular exponential family jika:
, exp
( ) ( ) ( )
p x θ θ t x b θ c x (2.4.1) dimana θ adalah transpose dari vektor parameter θ , ( )t x adalah statistik
Akan dicari ekspektasi dari statistik cukup ( )t x , pertama perhatikan
bahwa:
log , , log exp ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) t E p z E b c E b c E b E c y θ θ t x θ x θ t x θ x θ t x θ x (2.4.2)
Nilai θ yang memaksimumkan ekspektasi di (2.4.2) dapat dicari dengan menyelesaikan:
log , , 0 ( ) ( ) ( ) 0 ( ) ( ) 0 ( ) ( ) t E p z E b E c b E b E y θ θ θ t x θ x θ θ θ θ t x θ θ t x θ (2.4.3)sehingga didapatkan ekspektasi dari statistik cukup ( )t x , yaitu
( ) b( ) E θ t x θ .Kemudian dalam mencari ekspektasi pada E-step, perlu dihitung
, t 1
log
, , t
,ˆt 1 Q θ θ E p y z θ y θ , yaitu:
1
1 1 1 1 ˆ ˆlog , , , log exp ( ) ( ) ( ) ,
ˆ ( ) ( ) ( ) , ˆ ˆ ( ) , ( ) ( ) | , t t t t t t E p z E b c E b c E b E c y θ y θ θ t x θ x y θ θ t x θ x y θ θ t x y θ θ x y θ (2.4.4)
Setelah itu pada M-step akan dicari nilai θ yang memaksimumkan ekspektasi di (2.4.4), yaitu dengan menyelesaikan:
1 1 1 1 1 ˆ log , , , 0 ˆ ˆ ( ) , ( ) ( ) | , 0 ˆ ˆ ( ) , ( ) ( ) | , 0 t t t t t t E p z E b E c E b E c y θ y θ θ θ t x y θ θ x y θ θ θ t x y θ θ x y θ θ θ θ (2.4.5) dimana θ Iθ (matriks identitas) dan E c( ) | ,ˆt1 0
θ x y θ karena ( )c x tidak
bergantung kepada θ . Maka persamaan (2.4.5) menjadi:
1 1 ( ) ˆ ( ) , 0 ( ) ˆ ( ) , t t b E b E θ t x y θ θ θ t x y θ θ (2.4.6)
Dengan mensubtitusikan persamaan (2.4.3) ke (2.4.6) didapat:
( ) ( ) , ˆt 1E t x Et x y (2.4.7)
Persamaan (2.4.7) menghasilkan suatu penyederhanaan dalam algoritma EM pada kasus pdf bersama data lengkap X yang berasal dari regular exponential family. Yaitu untuk memaksimumkan Q
θ θ, t1
di setiapiterasinya, hanya perlu menyelesaikan persamaan (2.4.7) dengan menggunakan sisi kanan persamaan, yaitu hanya perlu dihitung nilai ekspektasi dari statistik cukup ( )t x bersyarat y saja (tidak perlu untuk menghitung seluruh nilai ekspektasi dari Q
θ θ, t1
).2.5 INTEGRAL MONTE CARLO
Integral Monte Carlo adalah suatu metode yang digunakan untuk mengaproksimasi nilai integral tentu dari suatu fungsi dengan cara
membangkitkan bilangan acak dari suatu populasi dengan distribusi tertentu. Umumnya Integral Monte Carlo digunakan untuk mengaproksimasi nilai integral dari suatu fungsi yang kompleks yang nilai eksak integralnya sulit diperoleh secara analitik.
Misalkan ingin dihitung nilai integral tentu dari suatu fungsi ( )h x yang kompleks: ( ) b a h x dx
(2.5.1)Misalkan fungsi ( )h x dapat dituliskan sebagai hasil kali dua buah fungsi ( )f x dan pdf ( )p x yang didefinisikan pada interval ( , )a b , maka perhatikan bahwa
( ) ( ) ( ) ( ) [ ( )] b b p x a a h x dx f x p x dx E f x
(2.5.2)yaitu integral pada (2.5.1) dapat dituliskan sebagai expektasi dari ( )f x di sepanjang densitas ( )p x . Sehingga jika diambil sejumlah besar bilangan bilangan acak x x1, , 2 , xn dari densitas ( )p x , maka nilai integral pada
(2.5.1) dapat diaproksimasi dengan
( ) 1 1 ( ) [ ( )] ( ) b n p x i i a h x dx E f x f x n
(2.5.3)2.6 MONTE CARLO EXPECTATION MAXIMIZATION (MCEM)
Monte Carlo Expectation Maximization (MCEM) adalah suatu algoritma yang menggunakan metode Monte Carlo dalam mengaproksimasi nilai ekspektasi pada E-Step dalam algoritma EM. Seperti yang telah dijelaskan sebelumnya, dalam E-Step akan dicari:
, t 1
log
, ,
, ˆt 1 Zlog
, ,
| , ˆt 1
Q E p y z y
p y z p z y dz Nilai log
, ,
| , ˆt 1
Z p z p z dz
y y inilah yang akan dicari dengan menggunakan integral monte carlo. Untuk melakukannya, pertamabangkitkan nilai-nilai z1, z , 2 , zn dari distribusi p z
| ,y ˆt1
, kemudian nilaiekspektasinya dapat dihitung sebagai berikut:
1 1 | ,ˆ 1 ˆ log , , | , log , , 1 log , , t t p z Z n i p z p z dz E p z p z n
y y y y y (2.6.1) 2.7 RANTAI MARKOVMisalkan Xt menyatakan variabel random X pada saat t , dan misalkan hasil nilai-nilai X yang mungkin terdapat di dalam suatu ruang keadaan (state space).
Rantai Markov atau Markov Chain adalah suatu barisan dari variabel random X dimana jika terdapat nilai keadaan yang sekarang maka keadaan di masa depan saling bebas dengan keadaan di masa lalu. Dengan kata lain, satu-satunya informasi untuk memprediksi keadaan di masa depan adalah keadaan saat ini saja, sedangkan keadaan-keadaan sebelumnya tidak mempengaruhi, yaitu secara formal:
1 1 0 0
1 1
Pr Xt st |X s , , Xt st Pr Xt st |Xt st (2.7.1) Perubahan dari suatu keadaan ke keadaan yang lain disebut dengan transisi, sedangkan probabilitas perubahan dari suatu keadaan ke keadaan lain
disebut dengan probabilitas transisi. Probabilitas transisi dari keadaan si ke keadaan s dalam satu tahap dilambangkan dengan j P i j
, P i
j
, yaitu
,
Pr
t 1 j| t i
P i j P i j X s X s (2.7.2) Misalkan j
t Pr
Xt sj
menyatakan probabilitas bahwa rantai markov berada dalam keadaan j pada saat t , dan π
t menyatakan vektor baris yang berisi probabilitas-probabilitas yang meliputi seluruh ruangkeadaan pada saat t . Probabilitas bahwa rantai memiliki nilai keadaan si pada saat t dapat diberikan oleh persamaan Chapman-Kolomogrov, yaitu: 1
1 1 1 Pr Pr | .Pr , i t i t i t k t k k k k k k t X s X s X s X s P k i t P k i t
(2.7.3)Persamaan Chapman-Kolomogrov di atas juga dapat dituliskan dalam bentuk matriks. Misalkan P adalah matriks probabilitas transisi yang elemen
ke ,i j nya adalah P i j
, , maka persamaan Chapman-Kolomogrov di atas menjadi:
t 1
tπ π P (2.7.4)
Rantai markov akan mencapai distribusi π yang stasioner jika *
memenuhi:
* *
π π P (2.7.5)
Syarat cukup pada rantai markov untuk distribusi yang stasioner adalah dipenuhinya persamaan detailed balance, yaitu untuk setiap i dan j berlaku:
, *
, *j k
P j k P k j (2.7.6) Syarat cukup di atas mengimplikasikan π πP , karena jika syarat cukup tersebut dipenuhi, maka elemen ke-j dari πP untuk setiap j adalah
j i
, j
, j
, j i i i P i j P j i P j i
πPyang memenuhi definisi distribusi yang stasioner pada persamaan (2.7.5).
2.8 ALGORITMA METROPOLIS-HASTINGS
Salah satu masalah dalam menerapkan Integral Monte Carlo adalah dalam memperoleh sampel dari densitas yang sangat kompleks. Masalah tersebut dapat diatasi dengan menggunakan Algortima Metropolis Hastings
(MH). Algoritma MH akan digunakan untuk membangkitkan sampel dari suatu densitas tujuan dengan menggunakan bantuan dari densitas awal yang mudah untuk diambil sampelnya. Algoritma ini pertama kali diperkenalkan oleh Metropolis (1953) kemudian disempurnakan oleh Hastings (1970).
Misalkan akan diambil sampel dari suatu populasi dengan pdf ( )p dimana ( )p f( ) / K, dengan K adalah konstan yang tidak diketahui. Dengan menggunakan Algoritma MH, dapat dihasilkan suatu urutan pengambilan dari distribusi ( )p . Sebelumnya perlu ditentukan suatu distribusi lompatan (jumping distribution) q( , ) yang merupakan 1 2
probabilitas mengembalikan nilai jika diberikan nilai 2 . Distribusi ini 1
disebut juga sebagai Proposal Distribution atau Candidate-Generating Distribution. Satu-satunya pembatasan pada distribusi lompatan dalam Algoritma Metropolis adalah distribusinya simetrik, yaitu q( , ) 1 2 q( , ) 2 1 .
Cara kerja Algoritma Metropolis adalah sebagai berikut: 1. Ambil sembarang nilai awal yang memenuhi 0 f( ) 00 .
2. Pada iterasi ke-m, yaitu dengan menggunakan nilai m1 yang sekarang,
hasilkan titik kandidat * dari * 1
( m , ) q .
3. Ketika titik kandidat * telah didapatkan, hitung rasio dari densitas pada
titik kandidat (*) dan titik kandidat yang sekarang ( 1 m ), yaitu: * * 1 1 ( ) ( ) ( m ) ( m ) p f p f (2.8.1)
4. Jika lompatannya meningkatkan densitas (yaitu > 1), maka ambil titik kandidat tersebut, yaitu tetapkan *
t
, kemudian kembali ke langkah ke-2. Jika lompatannya menurunkan densitas (yaitu < 1), maka *
diterima dengan probabilitas . Artinya jika diambil suatu sampel U dari distribusi uniform (0,1) , maka titik kandidat * tersebut akan diterima
jika nilai U , sebaliknya tolak titik kandidat * tersebut. Jika titik
kandidat * ditolak, maka ulangi langkah ke-2 dan ambil titik kandidat
lain sampai titik kandidat yang dihasilkan diterima.
Kita dapat merangkum Algoritma Metropolis dengan dengan pertama-tama menghitung * 1 ( ) min ,1 ( m ) f f (2.8.2)
kemudian mengambil titik kandidat * dengan probabilitas . Proses
tersebut akan menghasilkan Rantai Markov ( , , 0 1 , , )k , karena
probabilitas dari m1 ke hanya bergantung kepada m m1 dan bukan
0 2
( , ,m ). Misalkan setelah k iterasi proses tersebut mencapai distribusi yang stasioner, maka sampel (k1, , k M ) adalah M buah sampel yang
Hastings (1970) mengembangkan Algoritma Metropolis dengan
menggunakan sembarang distribusi lompatan q( , ) (tidak harus simetrik) 1 2
dan menetapkan probabilitas penerimaan untuk suatu titik kandidat sebagai:
* * 1 * 1 1 ( ) ( , ) min ,1 ( ) ( , ) m m m f q f q (2.8.3)
Algoritma di atas disebut sebagai Algoritma Metropolis-Hastings (MH). Untuk menunjukkan bahwa algoritma Metropolis-Hasting menghasilkan rantai markov yang distribusi stasionernya adalah p x
, cukup ditunjukkan bahwa probabilitas transisi pada algoritma MH memenuhi persamaan (2.7.6).Dalam algoritma MH, sampel diambil dari q x y
,
dan diterima dengan probabilitas
x y, , maka probabilitas transisinya diberikan oleh:
, Pr , , , .min ,1 , p y q y x x y q x y x y q x y p x q x y (2.8.4)Dari persamaan (2.7.6), jika probabilitas transisi pada algoritma MH memenuhi
P x y p x P yx p y (2.8.5) atau
,
,
,
,
q x y x y p x q y x y x p ymaka dapat disimpulkan bahwa algoritma MH menghasilkan rantai markov yang distribusi stasionernya adalah p x
. Selanjutnya akan ditunjukkanbahwa persamaan (2.8.5) dipenuhi oleh setiap pasang kemungkinan nilai x dan y pada algoritma MH, yaitu jika:
1. q x y p x
,
q y x p y
,
.Hal ini menyebabkan
, , 1 , q y x p y x y q x y p x dan
, , 1 , q x y p x y xq y x p y , yaitu
x y,
y x,
, yang mengakibatkan:
,
,
P x y p x q x y p x dan P y x p y
,
q y x p y
,sehingga P x y p x
,
P y x p y
,
, yaitu persamaan (2.8.5) dipenuhi. 2. q x y p x
,
q y x p y
,
.Pada kasus ini,
,, 1 p y q y x p x q x y dan
,, 1 p x q x y p y q y x , yang menyebabkan:
,
, , p y q y x x y p x q x y dan
y x,
1 sehingga
, , , , , , , , , , P x y p x q x y x y p x p y q y x q x y p x p x q x y q y x p y q y x y x p y P y x p y 3. q x y p x
,
q y x p y
,
. Pada kasus ini,
,, 1 p y q y x p x q x y dan
,,
1 p x q x y p y q y x , yang menyebabkan:
x y,
1 dan
, , , p x q x y y x p y q y x sehingga
, , , , , , , , , , P y x p y q y x y x p y p x q x y q y x p y p y q y x q x y p x q x y x y p x P x y p x yaitu memenuhi persamaan (2.8.5).
Karena persamaan (2.8.5) selalu terpenuhi untuk setiap pasang kemungkinan nilai x dan y, maka terbukti bahwa algoritma MH
BAB III
MODEL PERSAMAAN STRUKTURAL NONLINEAR
3.1 MODEL
Model Persamaan Struktural Nonlinear atau Nonlinear Structural Equation Model (Nonlinear SEM) adalah suatu model persamaan struktural yang memperhitungkan hubungan yang nonlinear antar variabel laten.
Perhatikan kembali diagram SEM di gambar 1 dengan beberapa perubahan notasi sebagai berikut:
Gambar 3.1. Contoh diagram model persamaan struktural nonlinear
dimana pada model tersebut terdapat satu variabel laten endogen ( ) dan 1
dua variabel laten eksogen (2 dan ). Kemudian pertimbangkan terdapat 3
hubungan nonlinear, misalkan terdapat interaksi antara variabel laten
eksogen dan 2 yang mempengaruhi variabel laten endogen 3 . Misalkan 1
interaksi antara variabel laten eksogen dan 2 dilambangkan dengan 3 2 3
Maka dari diagram SEM pada gambar 2 di atas, dapat dijelaskan mengenai model struktural dengan melibatkan interaksi variabel laten eksogen dan 2 sebagai berikut: 3
1 2 3 2 3 1
11 12 13
atau dalam bentuk matriks:
2 1 1 3 1 11 12 13 2 3 0 yaitu: (1 1) (1 1) (1 3) (1 1) (1) (1 1) (1)(
(2) (3 1))
ξ
Π
ξ
Γ
H
ξ
δ
dimana menyatakan pengaruh variabel eksogen 11 2
terhadap variabel endogen , 1
menyatakan pengaruh variabel eksogen 12 terhadap variabel 3
endogen , 1
menyatakan pengaruh interaksi variabel eksogen 13 dan 2 3
terhadap variabel endogen , 1
Π adalah matriks ukuran (1 1) yang berisi parameter yang 11
menyatakan koefisien variabel endogen dalam model pada 1
Secara umum, model struktural untuk nonlinear SEM dapat dituliskan sebagai berikut: (1) (1) ( (2)) ξ Πξ ΓH ξ δ (3.1.1) Dimana: 1 1 2 (1)
=
q
ξ
adalah matriks ukuran q 1 1 dari variabel-variabel laten endogen,1 1 1 2 1 2 (2)
=
q q q q
ξ
adalah matriks ukuran q 2 1 dari variabel-variabel lateneksogen, 1 (2) 2 (2) (2) (2)
(
)
(
)
(
)=
(
)
th
h
H
h
ξ
ξ
ξ
ξ
adalah matriks ukuran t dimana t adalah banyaknya 1fungsi dari variabel laten eksogen, h h1, , 2 , ht adalah fungsi dari ξ dimana (2) 2
t q , Π adalah matriks koefisien untuk variabel laten endogen ukuran
1 1
q q , Γ adalah matriks koefisien untuk H(ξ(2)) ukuran q t1 , dan δ adalah
berdistribusi N 0 Φ
,
dan N
0 Ψ,
dimana Φ adalah matriks kovarians dari(2)
ξ dan Ψ adalah matriks kovarians dari δ .
Sebut Π0 Iq1Π dimana I adalah matriks identitas ukuran q1 q q1 1.
Model struktural dalam persamaaan (3.1.1) nonlinear dalam variabel laten
(2)
ξ tetapi linear dalam matriks parameter Π dan Γ, sehingga parameter
dalam model dapat ditaksir.
Sebut Λ
Π Γ
dan (1) (2) ( ) ( ) ξ ξ ξ G H , maka (3.1.1) dapat pula ditulis sebagai:
(1) ( )
ξ ΛG ξ δ (3.1.2) Sedangkan model pengukuran pada nonlinear SEM sama dengan
model pengukuran pada SEM biasa, yaitu:
y μ Λξ ε (3.1.3)
Diasumsikan ε berdistribusi N
0 Ψ,
dimana Ψ adalah matriks kovarians dari ε dan ε independen terhadap ξ .3.2 TAKSIRAN MAKSIMUM LIKELIHOOD PADA NONLINEAR SEM
MLE pada nonlinear SEM akan dicari dengan menggunakan algoritma EM. Sedangkan algoritma EM itu sendiri baru dapat dilakukan untuk mencari MLE jika minimal terdapat satu variabel yang merupakan variabel laten.
Misalkan Y
y y1, , ..., 2 yn
adalah matriks yang berisi sampel acak ukuran n dari variabel indikator yang diambil dari suatu populasi dengan model persamaan struktural nonlinear yang telah didefinisikan padapersamaan (3.1.1) dan (3.1.3), Z
ξ ξ1, , ..., 2 ξn
adalah matriks dari variabellaten, dan θ adalah vektor parameter yang mengandung semua parameter yang tidak diketahui dalam μ, Λ, Λ , Φ, Ψ, dan Ψ .
Ide dasar dalam penaksiran parameter pada nonlinear SEM ini adalah dengan mempertimbangkan penambahan data dimana data Y yang
terobservasi ditambahkan dengan data variabel laten Z, sehingga algoritma EM dapat dilakukan.
Misalkan X
Y Z,
adalah himpunan data yang telah ditambahkan dan
, ,
log
,
L Y Z θ p X θ adalah fungsi log likelihood dari θ berdasarkan X. Dari (3.1.1) dan (3.1.3), maka L X θ
,
dapat dijabarkan sebagai berikut:
(1) (2)
(2)
, log , log , , log | , . , log | , . | , . , L p p p p p p p X θ X θ Y Z θ Y Z θ Z θ Y Z θ ξ ξ θ ξ θ (3.2.1)Sebelumnya perhatikan bahwa jika suatu variabel random X yang berdistribusi multivariat normal dipartisi menjadi 1
2 X X X dengan mean
1 2 μ μ
μ dan matriks kovariansi
11 12 21 22 Σ Σ Σ
Σ Σ , maka distribusi dari X1
bersyarat X2 adalah multivariat normal
X X1| 2
N
μ Σ, dimana
1 1 12 22 2 2 μ μ Σ Σ X μ (3.2.2) 1 11 12 22 21 Σ Σ Σ Σ Σ (3.2.3)Selanjutnya partisi X menjadi Y X Z dengan mean Y Z μ μ μ dan matriks kovariansi YY YZ ZY ZZ Σ Σ Σ Σ Σ , dimana:
E E E E Y μ Y μ Λξ ε μ Λ ξ ε μ
E E Z μ Z ξ 0
0 E E E E E E E E E E YY ZZ ZZ Σ YY Y Y μ Λξ ε μ Λξ ε μμ μ Λξ ε μ ξ Λ ε μμ μμ μξ Λ με Λξμ Λξξ Λ Λξε εμ εξ Λ εε μμ μμ Λ ξξ Λ εε μμ ξ ε μμ ΛΣ Λ Ψ μμ ΛΣ Λ Ψsuku lain bernilai nol karena E