BAB 4. METODE ESTIMASI PARAMETER DARI DISTRIBUSI WAKTU KERUSAKAN
Estimasi reliabilitas membutuhkan pengetahuan distribusi waktu kerusakan yang mendasari dari komponen atau sistem yang dimodelkan. Untuk memprediksi reliabilitas atau mengestimasi MTTF komponen atau sistem yang dikenai uji hidup dipercepat, diperlukan estimasi parameter dari distribusi probabilitas yang menggambarkan waktu kerusakan populasi yang dilakukan uji.
Keakuratan estimasi parameter tergantung pada ukuran sampel dan metode yang digunakan untuk estimasi parameter. Statistik yang dihitung dari sampel yang digunakan untuk estimasi parameter populasi disebut estimator. Suatu estimator yang baik mempunyai sifat-sifat: tak bias, konsisten, efisien dan sufiisien. Statistik yang digunakan untuk estimasi parameter populasi, 𝜃, disebut suatu estimator titik untuk 𝜃, dinotasikan 𝜃 . Ada 3 metode yang banyak digunakan untuk estimasi parameter dari populasi yaitu metode momen, metode maximum likelihood dan metode kuadrat terkecil.
Metode Momen
Ide utama dari metode momen adalah menyamakan karakteristik sampel tertentu seperti mean dan varians untuk nilai-nilai yang diharapkan populasi yang bersesuaian dan kemudian menyelesaikan persamaan yang dihasilkan untuk mendapatkan nilai perkiraan parameter tidak diketahui.
Jika 𝑥1, 𝑥2, … , 𝑥𝑛 mewakili himpunan data, maka momen ke k sampel adalah 𝑀𝑘 =1
𝑛 𝑥𝑖𝑘
𝑛
𝑖=1
Jika 𝜃1, 𝜃2, … , 𝜃𝑚 adalah parameter yang tidak diketahui dari populasi, maka estimator momen 𝜃 1, 𝜃 2, … , 𝜃 𝑚 diperoleh dengan menyamakan momen sampel m yang pertama dengan momen populasi m yang pertama yang bersesuaian dan menyelesaikan untuk 𝜃1, 𝜃2, … , 𝜃𝑚.
Contoh 4.1:
Misal bahwa 𝑥1, 𝑥2, … , 𝑥𝑛 mewakili suatu sampel random dari suatu distribusi Eksponensial dengan parameter 𝜆. Bagaimana estimasi 𝜆?
Jawab:
Pdf dari distribusi Eksponensial adalah 𝑓 𝑥 = 𝜆𝑒−𝜆𝑥 dan 𝐸 𝑋 =1
𝜆 . Menggunakan momen pertama sampel 𝑀1 = 𝑥𝑖
𝑛𝑖=1
𝑛 = 𝐸 𝑋 =1
𝜆 . Jadi estimasi dari 𝜆 adalah 𝜆 = 𝑛
𝑥𝑖 𝑛𝑖=1
.
Contoh 4.2:
Sebuah produsen sistem data wireless menggunakan sinar inframerah yang ditransmisikan antara perangkat yang dipasang pada bagian luar gedung untuk menyediakan link data kecepatan tinggi. Ukuran sinar inframerah memiliki efek langsung pada reliabilitas sistem dan kemampuannya untuk mengurangi efek dari kondisi cuaca seperti salju dan kabut yang menghalangi jalur sinar tsb. Data ditransmisikan secara kontinyu menggunakan sinar inframerah dan waktu sampai terjadi kerusakan dalam jam (tidak menerima data yang ditransmisikan) dicatat sebagai berikut:
47, 81, 127, 183, 188, 221, 253, 311, 323, 360, 489, 496, 511, 725, 772, 880, 1,509, 1,675, 1,806, 2,008, 2,026, 2,040, 2,869, 3,104, 3,205.
Dengan asumsi bahwa waktu kerusakan mengikuti distribusi eksponensial, tentukan parameter distribusi menggunakan metode momen. Perkirakan reliabilitas sistem saat = 1000 jam. (Perhatikan bahwa data di atas dihasilkan dari sebuah distribusi eksponensial dengan parameter 1/ 𝜆 = 1000).
Jawab:
Parameter dari distribusi Eksponensial adalah 𝜆 = 𝑛
𝑥𝑖
𝑛𝑖=1
= 25
26209= 0,00095387.
atau 1
𝜆 = 1048,36.
Ini sangat dekat dengan nilai parameter yang sama yang digunakan dalam menghasilkan data. Jelas, selama meningkatnya jumlah observasi, parameter yang diestimasi (𝜆 ) dengan cepat mendekati parameter dari distribusi waktu kerusakan yang sebenarnya.
Contoh 4.3
Misal 𝑥1, 𝑥2, … , 𝑥𝑛 adalah suatu sampel random dari suatu distribusi gamma yang mempunyai pdf :
𝑓 𝑥 = 1
Γ(𝛼)𝛽𝛼𝑥𝛼−1𝑒−𝑥 𝛽 𝑥 > 0, 𝛼 ≥ 0, 𝛽 > 0 Gunakan metode momen untuk mendapatkan estimasi parameter 𝛼 dan 𝛽.
Jawab:
Sebagaimana yang telah ditunjukkan dalam Bab 1, mean dan varians dari distribusi gamma, berturut-turut adalah: 𝐸 𝑋 = 𝛼𝛽 dan 𝑉 𝑋 = 𝛼𝛽2 = 𝐸 𝑋2 − 𝐸[𝑋] 2.
𝐸[𝑋] diganti dengan estimator 𝑀1 dan 𝐸 𝑋2 diganti dengan estimator 𝑀2, diperoleh 𝑀1 = 𝛼𝛽 dan 𝑀2− 𝑀12= 𝛼 𝛽 2.
Penyelesaian dua persamaan di atas secara simultan menghasilkan 𝛽 =(𝑀2− 𝑀12)
𝑀1 dan 𝛼 = 𝑀12 (𝑀2− 𝑀12) . Contoh 4.4:
Sebuah produsen komputer pribadi melakukan suatu uji burn-in pada 20 monitor komputer dan mendapatkan (dalam jam) sebagai berikut: 130, 150, 180, 40, 90, 125, 44, 128, 55, 102, 126, 77, 95, 43, 170, 130, 112, 106, 93, 71.
Asumsikan bahwa populasi dari waktu kerusakan yang utama mengikuti distribusi gamma dengan parameter 𝛼 dan 𝛽. Tentukan estimasi parameter- parameter ini!
Jawab:
Mula-mula, tentukan 𝑀1 dan 𝑀2 sebagai berikut:
𝑀1 = 𝑛𝑖=1𝑥𝑖
𝑛 =2067
20 = 103,35 dan 𝑀2 = 1
20 𝑥𝑖2 = 1
20× 244823 = 12241,15 . Selanjutnya, tentukan estimasi parameter-parameternya:
𝛽 =12241,15 − 103,35 2
103,35 = 15,09 dan 𝛼 = (103,35)2
12241,15 − (103,35)2= 6,847.
Jadi rata-rata suatu monitor hidup yang diharapkan adalah 𝛼 𝛽 = 103,3 jam.
Contoh 4.5:
Gunakan metode momen untuk mengestimasi parameter 𝜇 dan 𝜎2 dari distribusi normal.
Jawab:
Pdf dari distribusi normal:
𝑓 𝑥 = 1
𝜎 2𝜋𝑒−12 𝑥−𝜇𝜎
2
.
Momen pertama 𝑀1 dan momen kedua 𝑀2 dari distribusi di atas berturut-turut adalah 𝑀1 = 𝑥
𝜎 2𝜋𝑒−12 𝑥−𝜇𝜎
2 𝑥 𝑑𝑥
−𝑥
dan 𝑀2= 𝑥2 𝜎 2𝜋𝑒−
1 2
𝑥−𝜇 𝜎
2𝑑𝑥 𝑥
−𝑥
Dengan menggunakan transformasi 𝑧 =𝑥−𝜇
𝜎 , kemudian mengintegralkannya (lihat kembali catatan mata kuliah Statistika Matematika II) maka diperoleh nilai-nilai 𝑀1 dan 𝑀2 sebagai berikut:
𝑀1 = 𝜇 = 1 𝑛 𝑥𝑖
𝑛
𝑖=1
dan 𝑀2= 𝜇2+ 𝜎2= 1 𝑛 𝑥𝑖2
𝑛
𝑖=1
.
Jadi estimasi untuk parameter 𝜇 dan 𝜎2 adalah
𝜇 =1 𝑛 𝑥𝑖
𝑛
𝑖=1
dan 𝜎 2 = 1
𝑛 𝑥𝑖2− 1 𝑛 𝑥𝑖
𝑛
𝑖=1 2
=
𝑛
𝑖=1
1
𝑛 𝑥𝑖 − 𝑥 2
𝑛
𝑖=1
Metode momen merupakan metode sederhana untuk memperkirakan parameter distribusi waktu kerusakan yang tersedia yaitu distribusi yang mendasari diketahui.
Kesalahan dalam memperkirakan parameter adalah minimum ketika distri- busi yang mendasari simetris dengan tidak ada skewness dan ketika waktu kerusakan tidak tersensor atau terpotong.
Selang Kepercayaan
Setelah penentuan estimasi titik parameter distribusi, selanjutnya menentukan selang kepercayaan yang mana parameter yang diperkirakan dekat dengan nilai-nilai sebenarnya dari populasi. Selang kepercayaan untuk parameter 𝜃 adalah
𝑃[𝐿𝐶𝐿 ≤ 𝜃 ≤ 𝑈𝐶𝐿] = 1 − 𝛼
di mana LCL adalah batas bawah kepercayaan dan UCL adalah batas atas kepercayaan.
Misalkan sampel random 𝑥1, 𝑥2, … , 𝑥𝑛 diambil dari suatu populasi dengan mean 𝜇 dan varians 𝜎2. Misal 𝑥 adalah estimator titik untuk 𝜇. Jika n besar (n≥30), maka 𝑥 kira-kira memiliki suatu distribusi normal dengan mean 𝜇 dan varians 𝜎2/𝑛, atau 𝑍 = 𝑥 −𝜇
𝜎 𝑛 memiliki suatu distribusi normal standar. Untuk sembarang nilai 𝛼 dapat ditemukan suatu nilai 𝑍𝛼 2 sedemikian sehingga 𝑃 −𝑍𝛼 2≤ 𝑍 ≤ +𝑍𝛼 2 = 1 − 𝛼.
Atau dapat ditulis
1 − 𝛼 = 𝑃 −𝑍𝛼 2≤ 𝑥 − 𝜇
𝜎 𝑛≤ +𝑍𝛼 2 = 𝑃 −𝑍𝛼 2 𝜎
𝑛 ≤ 𝑥 − 𝜇 ≤ +𝑍𝛼 2 𝜎 𝑛 = 𝑃 𝑥 − 𝑍𝛼 2 𝜎
𝑛 ≤ 𝜇 ≤ 𝑥 + 𝑍𝛼 2 𝜎 𝑛 Sehingga diperoleh selang
𝑥 − 𝑍𝛼 2 𝜎
𝑛, 𝑥 + 𝑍𝛼 2 𝜎 𝑛
membentuk selang kepercayaan dari parameter yang diestimasi 𝑥 untuk 𝜇 dengan koefisien kepercayaan 1 − 𝛼.
Contoh 4.6:
Pandang waktu kerusakan dari contoh 4.4. Tentukan suatu selang kepercayaan untuk mean waktu kerusakan dengan koefisien kepercayaan 0,95.
Jawab:
Dari data diperoleh 𝑥 = 103,35 dan 𝑠 = 40,52 , 𝑠 adalah estimasi dari standar deviasi 𝜎.
Karena ukuran sampel kecil (< 30), lebih tepat menggunakan distribusi t daripada distribusi normal dalam menentukan selang kepercayaan. Jadi selang kepercayaan adalah 𝑥 ± 𝑡𝛼 2 𝜎
𝑛 , dengan 1 − 𝛼 = 0,95 . Dari tabel diperoleh 𝑡0,025= 2,093 dan substitusi s untuk 𝜎, didapat 103,35 ± 2,093 ×40,52
20 atau 103,35 ± 18,96 atau (84,39 , 122,31).
Dengan kata lain, dengan tingkat kepercayaan 95% bahwa mean waktu kerusakan yang sebenarnya terletak antara 84,39 dan 122,31 jam.
Metode Maksimum Likelihood
Metode kedua dalam estimasi parameter dari suatu distribusi probabilitas didasarkan pada fungsi likelihood. Misal dipunyai n pengamatan adalah 𝑥1, 𝑥2, … , 𝑥𝑛 yang masing-masing mempunyai suatu pdf 𝑓 𝑥𝑖, 𝜃 . Fungsi likelihood adalah suatu fungsi dari 𝜃 yaitu
𝑙 𝜃 = 𝑓 𝑥1, 𝜃 … 𝑓 𝑥𝑛, 𝜃 = 𝑓 𝑥𝑖, 𝜃
𝑛
𝑖=1
.
Jika 𝜃 adalah anggota suatu selang terbuka dan 𝑙 𝜃 terdiferensial dan mempunyai suatu nilai maksimum pada selang tersebut, maka MLE adalah suatu penyelesaian dari persamaan maksimum likelihood
𝑑
𝑑𝜃𝑙 𝜃 = 0.
Beberapa nilai dari 𝜃 yang memaksimumkan 𝑙 𝜃 juga akan memaksimumkan log likelihood 𝐿 𝜃 , maka untuk perhitungan yang cepat, sebagai bentuk alternatif dari persamaan maksimum likelihood adalah
𝑑
𝑑𝜃log 𝑙 𝜃 = 0.
Contoh 4.7:
Banyak cacat dalam suatu lini produksi ditemukan mengikuti distribusi Poisson dengan suatu rata-rata μ yang tidak diketahui. Dua sampel random diambil dan banyaknya unit-unit yang cacat adalah 10 dan 12. Tentukan estimasi kemungkinan maksimum (MLE) dari μ?
Jawab:
Probabilitas yang mempunyai x unit dari suatu distribusi Poisson adalah 𝑃 𝑥 =𝑒−𝜇𝜇𝑥
𝑥! 𝑥 = 0,1,2, … Probabilitas yang mempunyai 10 dan 12 cacat berturut-turut adalah:
𝑃 10 =𝑒−𝜇𝜇10
10! dan 𝑃 12 =𝑒−𝜇𝜇12 12!
Fungsi likelihood 𝑙 𝑥, 𝜇 adalah perkalian dari 𝑃 10 dan 𝑃 12 , yaitu:
𝑙 𝑥, 𝜇 =𝑒−𝜇𝜇10
10! × 𝑒−𝜇𝜇12
12! = 𝑒−2𝜇𝜇22
(10! 12!). (𝑥 = 10,12)
Evaluasi dari persamaan di atas untuk nilai-nilai yang berbeda dari μ dapat disederhanakan dengan mengambil logaritma dari 𝑙 𝑥, 𝜇 . Misal
𝐿 𝑥, 𝜇 = log 𝑙(𝑥, 𝜇) dan logaritma dari fungsi likelihood adalah
𝐿 𝜇 = 22 log 𝜇 − 2𝜇 − log(10! 12!) Derivatif dari 𝐿 𝜇 terhadap 𝜇 adalah
𝑑𝐿(𝜇) 𝑑𝜇 =22
𝜇 − 2 = 0 Jadi estimasi terbaik dari 𝜇 adalah 22/2=11.
Contoh 4.8:
Anggap bahwa pabrik Integrated Circuits mengambil 3 sampel random dari sekumpulan yang sama dari ukuran 10, 15 dan 20 unit. Pada pemeriksaan ditemukan bahwa sampel- sampel ini berturut-turut mempunyai 2, 3 dan 5 yang cacat. Bagaimana estimasi kemungkinan maksimum (MLE) dari 𝜃?
Jawab:
Karena 3 sampel diambil dari sekumpulan produksi yang sama, distribusi probabilitas yang mendasari mempunyai parameter yang sama 𝜃. Probabilitas 3 hasil adalah:
10
2 𝜃2− 1 − 𝜃 8; 15
3 𝜃3− 1 − 𝜃 12; 25
5 𝜃5− 1 − 𝜃 20 Fungsi likelihood secara sederhana merupakan hasil kali dari 3 probabilitas:
𝑙 𝜃 = 10
2 𝜃2− 1 − 𝜃 8 15
3 𝜃3− 1 − 𝜃 12 25
5 𝜃5− 1 − 𝜃 20 =𝐾𝜃10(1 − 𝜃)40, di mana 𝐾 adalah suatu konstan yang meliputi semua suku yang tidak melibatkan 𝜃.
𝐿 𝜃 = log 𝐾 + 10 log 𝜃 + 40 log(1 − 𝜃) 𝑑𝐿(𝜃)
𝑑𝜃 = 0 +10 𝜃 − 40
1 − 𝜃= 0 Jadi estimasi terbaik dari 𝜃 adalah 1/5.
MLE dari Distribusi Ekxponensial
Pdf dari distribusi eksponensial dengan parameter 𝜆 adalah 𝑓 𝑥, 𝜆 = 𝜆𝑒−𝜆𝑥. Pdf dari n pengamatan 𝑥1, 𝑥2, … , 𝑥𝑛 adalah 𝑓 𝑥, 𝜆 = 𝜆𝑒−𝜆𝑥 𝑖 = 1,2, … , 𝑛.
Fungsi likelihood:
𝑙 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜆 = 𝑓 𝑥1, 𝜆 𝑓 𝑥2, 𝜆 … 𝑓 𝑥𝑛, 𝜆 = 𝑓 𝑥1, 𝜆
𝑛
𝑖=1
= 𝜆𝑛 𝑒−𝜆𝑥𝑖
𝑛
𝑖=1
= 𝜆𝑛𝑒−𝜆 𝑛𝑖=1𝑥𝑖
Logaritma dari fungsi likelihood:
𝐿 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜆 = 𝑛 log 𝜆 − 𝜆 𝑥𝑖
𝑛
𝑖=1
Derivatif dari 𝐿 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜆 terhadap 𝜆 adalah
𝜕𝐿 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜆
𝜕𝜆 =𝑛
𝜆− 𝑥𝑖
𝑛
𝑖=1
= 0 Jadi estimasi terbaik dari 𝜆 adalah n/ 𝑛𝑖=1𝑥𝑖 .
(Hasil MLE dari 𝜆 sama seperti estimasi yang diperoleh menggunakan metode momen).
Contoh 4.9:
Suatu uji reliabilitas dilakukan pada sampel yang terdiri dari 6 komponen elektronik untuk mengestimasi MTTF. Berikut adalah waktu kerusakan dari komponen-komponen tersebut:
25, 75, 150, 230, 430 dan 700 jam. Bagaimana bentuk laju kerusakan dan tentukan MLE dari parameter distribusi waktu kerusakan yang mendasari?
Jawab:
MTTF adalah 260 jam dan standar deviasi adalah 232 jam. Karenan mean dan deviasi standar hampir sama, maka distribusi eksponensial dapat digunakan untuk mewakili distribusi waktu kerusakan.
Jadi estimasi terbaik dari 𝜆 adalah 𝜆 = 𝑛
𝑥𝑖
𝑛𝑖=1
= 6
1610= 3,726 x 10−3 kerusakan per jam.
MLE dari Distribusi Rayleigh
Distribusi Rayleigh digunakan untuk merepresentasikan distribusi waktu kerusakan dari komponen yang menunjukkan laju kerusakan meningkat secara linier. Pdf dari distribusi Rayleigh adalah
𝑓 𝑥 = 𝜆𝑥𝑒−𝜆𝑥
2
2
di mana 𝜆 adalah parameter dari distribusi Rayleigh.
Fungsi likelihood untuk n pengamatan 𝑥1, 𝑥2, … , 𝑥𝑛 adalah
𝑙 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜆 = 𝑓 𝑥1, 𝜆 𝑓 𝑥2, 𝜆 … 𝑓 𝑥𝑛, 𝜆 = 𝜆𝑥𝑖𝑒−𝜆𝑥
2
2 𝑛
𝑖=1
= 𝜆𝑛𝑋𝑒−𝜆2 𝑛𝑖=1𝑥𝑖2 di mana 𝑛𝑖=1𝑥𝑖 = 𝑋
Logaritma dari fungsi likelihood:
𝐿 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜆 = 𝑛 log 𝜆 + log 𝑋 −𝜆 2 𝑥𝑖2
𝑛
𝑖=1
Derivatif dari 𝐿 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜆 terhadap 𝜆 adalah
𝜕𝐿 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜆
𝜕𝜆 =𝑛
𝜆−1 2 𝑥𝑖2
𝑛
𝑖=1
= 0
𝜆 = 2𝑛 𝑥𝑖2
𝑛𝑖=1
.
Contoh 4.10:
Waktu kerusakan berikut diamati ketika dilakukan suatu uji reliabilitas: 15, 21, 30, 39, 52 dan 68 jam. Anggap bahwa distribusi Rayleigh dipandang sebagai distribusi yang tepat untuk merepresentasikan waktu kerusakan ini. Tentukan parameter dari distribusi ini.
Berapa mean dan deviasi standar dari waktu kerusakan?
Jawab:
Parameter dari distribusi Rayleigh adalah 𝜆 = 2𝑛
𝑥𝑖2
𝑛𝑖=1
= 2 × 6
10415= 0,00115 kerusakan per jam.
Mean dan deviasi standar dari waktu kerusakan adalah 𝜇 = 𝜋
2𝜆 = 36,92 jam dan 𝜎 = 2 𝜆 1 −𝜋
4 = 19,3 jam.
MLE dari Distribusi Normal
Pdf dari pengamatan 𝑥 dari suatu distribusi normal dengan mean 𝜇 dan variansi 𝜎2 yang tidak diketahui
𝑓 𝑥 = 1
𝜎 2𝜋𝑒−12 𝑥−𝜇𝜎
2
Fungsi likelihood untuk n pengamatan 𝑥1, 𝑥2, … , 𝑥𝑛 adalah
𝑙 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜇, 𝜎 = 1 𝜎 2𝜋
𝑛
𝑒−12 𝑥1𝜎−𝜇
𝑛 2
𝑖=1
Logaritma dari fungsi likelihood:
𝐿 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜇, 𝜎 = 𝑛 log 1 𝜎 2𝜋−1
2 𝑥 − 𝜇 𝜎
𝑛 2 𝑖=1
. Derivatif dari 𝐿 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜇, 𝜎 terhadap 𝜇 adalah
𝜕𝐿 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜇, 𝜎
𝜕𝜇 = 1
𝜎2 𝑥𝑖− 𝑛𝜇
𝑛
𝑖=1
= 0
𝜇 =1 𝑛 𝑥𝑖
𝑛
𝑖=1
. Derivatif dari 𝐿 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜇, 𝜎 terhadap 𝜎 adalah
𝜕𝐿 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜇, 𝜎
𝜕𝜎 = 𝜕
𝜕𝜎 𝑛 log 1
𝜎 2𝜋− 𝑛 log 𝜎 −1
2 𝑥 − 𝜇 𝜎
𝑛 2 𝑖=1
= −𝑛
𝜎− 𝑥𝑖− 𝜇 2
2𝜎3 −2 =1
𝜎 −𝑛 + (𝑥𝑖− 𝜇)2 𝜎2
𝑛
𝑖=1
= 0
𝜎2 =1
𝑛 𝑥𝑖− 𝜇 2
𝑛
𝑖=1
atau 𝜎 2 =1
𝑛 𝑥𝑖− 𝜇 2
𝑛
𝑖=1
. Hasil yang sama sebagaimana diperoleh dengan metode momen.
Contoh 4.11:
Anggap bahwa diterapkan penekanan pada komponen-komponen dan waktu kerusakan yang sesuai membentuk pasangan pengamatan 𝑥1, 𝑦1 , … , 𝑥𝑛, 𝑦𝑛 yang mengikuti model
𝐸 𝑌 = 𝛼 + 𝛽𝑥 dan Var 𝑌 = 𝜎2.
di mana Y adalah variabel random berdistribusi normal dan independen. Gunakan pendekatan maksimum likelihood untuk mengestimasi parameter 𝛼 dan 𝛽.
Jawab:
Karena Y berdistribusi normal dan independen, maka log likelihood adalah 𝐿 𝑥1, 𝑦1 , … , 𝑥𝑛, 𝑦𝑛 ==−𝑛
2 log 2𝜋 − 𝑛 log 𝜎 − 1
2𝜎2 𝑦𝑖− 𝛼 − 𝛽𝑥𝑖 2 .
Dua suku pertama dari sisi kanan dari persamaan tersebut di atas adalah independen terhadap 𝛼 dan 𝛽. Karena itu untuk meminimumkan log likelihood, cukup untuk meminimumkan suku
𝐾 = 𝑦𝑖− 𝛼 − 𝛽𝑥𝑖 2
𝑛
𝑖=1
.
Ambil derivatif parsial dari 𝐾 terhadap 𝛼 dan 𝛽 dan samakan derivatif dengan nol mennghasilkan 2 persamaan linier dalam 𝛼 dan 𝛽. Penyelesaian persamaan tersebut adalah:
𝛽 = 𝑦𝑖(𝑥𝑖− 𝑥 )
(𝑥𝑖− 𝑥 )2 dan 𝛼 = 𝑦 − 𝛽 𝑥 . di mana
𝑥 =1
𝑛 𝑥𝑖 dan 𝑦 =1
𝑛 𝑦𝑖 .
Kadang-kadang dalam menemukan estimator maksimum likelihood (MLE), tidak diperoleh ekspresi bentuk tertutup untuk estimasi parameter, karena itu perlu menggunakan metode lain, antara lain seperti: metode gradien likelihood dan metode iteratif Newton.
estimator maksimum likelihood adalah konsisten, efisien dan tak bias. Bias dari estimator menurun seiring meningkatnya banyaknya pengamatan. Metode tersebut memerlukan perhitungan yang sederhana untuk distribusi yang mempunyai parameter tunggal tetapi mungkin memerlukan perhitungan yang panjang untuk distribusi yang mempunyai parameter dua atau lebih. Lebih lanjut, metode tersebut dapat diaplikasikan untuk data tersensor maupun data tidak tersensor.
Matriks Informasi dan Matriks Varians Kovarians
Salah satu manfaat utama dari penggunaan estimator maksimum likelihood untuk mendapatkan parameter distribusi adalah bahwa logaritma dari fungsi likelihood dapat dimanfaatkan dalam menyususn matriks informasi Fisher (atau matriks Hessian).
Kebalikan (invers) dari hasil matriks dikenal sebagai matriks Varians Kovarians.
Berikut adalah definisi matriks varians kovarians (atau secara sederhana disebut matriks kovarians). Jika 𝑋1, 𝑋2, … , 𝑋𝑘 adalah variabel random berdistribusi identik dan
independen satu dengan yang lain dengan suatu pdf 𝑓 𝑥, 𝜃0 , dimana 𝜃0 mempunyai k komponen dan nilai 𝜃 yang sebenarnya, maka matriks kovarians didefinisikan sebagai
Var(𝜃1) Cov(𝜃1, 𝜃2) Cov(𝜃1, 𝜃3) … Cov(𝜃1, 𝜃𝑘) Cov(𝜃1, 𝜃2) Var(𝜃2) Cov(𝜃2, 𝜃3) … Cov(𝜃2, 𝜃𝑘)
⋮
Cov(𝜃1, 𝜃𝑘) Cov(𝜃2, 𝜃𝑘) … … Var(𝜃𝑘)
di mana Cov(𝜃𝑖, 𝜃j) adalah kovarians dari 𝜃𝑖 dan 𝜃𝑗 dan Var(𝜃𝑖) adalah variansi dari 𝜃𝑖. Matriks kovarians ini dapat diperoleh dari matriks informasi.
Ketika ukuran sampel data meningkat, bias MLE menurun, estimator menjadi tak bias secara asimptotis. Dengan kata lain
𝑛→𝑥lim𝐸 𝜃 𝑖 = 𝜃𝑖 𝑖 = 1,2, … , 𝑘.
Untuk mendapatkan varians dan kovarians asimptotis dari estimator, pertama susun matriks informasi I, berkenaan likelihood sebagai suatu fungsi variabel random yang diamati dalam suatu sampel yang diberikan.
Elemen ke ij dari matriks informasi I adalah 𝐼𝑖𝑗 = 𝐸 −𝜕2𝐿(𝜃; 𝑋)
𝜕𝜃𝑖𝜕𝜃𝑗 .
Matriks invers, 𝐼−1, dengan elemen ke ij ditunjukkan oleh 𝐼𝑖𝑗 adalah matriks varians kovarians dari 𝜃 , sehingga
Var 𝜃 𝑖 = 𝐼𝑖𝑖 dan Cov 𝜃 𝑖, 𝜃 𝑗 = 𝐼𝑖𝑗 . Contoh 4.12:
Suatu sampel random 𝑥1, 𝑥2, … , 𝑥𝑛 mengikuti suatu distribusi normal dengan parameter 𝜇 dan 𝜎2. Gunakan matriks informasi untuk mendapatkan estimasi variansi dari 𝜇 dan 𝜎 .
Jawab:
Logaritma dari fungsi likelihood dari distribusi normal adalah 𝐿 𝑥1, 𝑥2, … , 𝑥𝑛; 𝜇, 𝜎 = 𝑛 log 1
𝜎 2𝜋− 𝑛 log 𝜎 −1
2 𝑥 − 𝜇 𝜎
𝑛 2 𝑖=1
. Derivatif parsial dari L terhadap 𝜇 dan 𝜎 adalah
𝜕𝐿
𝜕𝜇= 1
𝜎2 𝑥𝑖− 𝑛𝜇
𝑛
𝑖=1
dan 𝜕𝐿
𝜕𝜎= 1
𝜎 −𝑛 + (𝑥𝑖− 𝜇)2 𝜎2
𝑛
𝑖=1
𝜕2𝐿
𝜕𝜇2 =−𝑛
𝜎2 ; 𝜕𝐿
2
𝜕𝜇 𝜕𝜎= −2
𝜎3 𝑥𝑖− 𝑛𝜇
𝑛
𝑖=1
dan 𝜕𝐿2
𝜕𝜎2= 𝑛 𝜎2 − 3
𝜎4 𝑥𝑖− 𝑛𝜇
𝑛
𝑖=1
2
Dalam rangka menyusun matriks informasi, dari persamaan derivatif kedua dari L ditentukan nilai harapannya, yaitu
𝐸 𝜕2𝐿
𝜕𝜇2 =−𝑛
𝜎2 = −𝑙11 ; 𝐸 𝜕𝐿2
𝜕𝜇 𝜕𝜎 = 0 = −𝑙12= −𝑙21 dan 𝐸 𝜕𝐿2
𝜕𝜎2 =−2𝑛
𝜎2 = −𝑙22 . Sehingga matriks informasi I disusun sebagai
𝐼 = 𝑛 𝜎2 0
0 2𝑛 𝜎2 dan 𝐼−1= 𝜎2 𝑛 0 0 𝜎2 2𝑛 Matriks varians dan kovarians, 𝐼−1 adalah
Var(𝜇 ) Cov(𝜇 , 𝜎 )
Cov(𝜇 , 𝜎 ) Var(𝜎 ) = 𝜎2 𝑛 0 0 𝜎2 2𝑛 . Contoh 4.13:
Sebuah timbangan pemeriksa adalah sebuah peralatan yang memiliki tiga komponen utama:
skala, pengontrol, dan alat pengalih. Khususnya dalam sistem produksi kecepatan tinggi seperti yang ditemukan dalam industri makanan kaleng atau industri manufaktur farmasi, satu atau lebih timbangan pemeriksa biasanya dipasang dalam sistem untuk memastikan bahwa bobot dari produk berada dalam batas spesifikasi yang dapat diterima. Jika produk tidak memenuhi spesifikasi, itu dialihkan jauh dari produk diterima. Alat pengalih, menjadi sistem mekanis, merupakan komponen yang paling rentan terhadap kegagalan. Berikut waktu kegagalan (dalam minggu) dari alat pengalih yang diamati:
14, 18, 18, 20, 21, 22, 22, 20, 17, 17, 15, 13
Anggap bahwa pengamatan mengikuti suatu distribusi normal dengan mean 𝜇 dan variansi 𝜎2. Tentukan 𝜇 , 𝜎 dan matriks varians kovarians!
Jawab:
𝜇 , dan 𝜎 diperoleh sebagai berikut:
𝜇 =1 𝑛 𝑥𝑖
𝑛
𝑖=1
= 1
12 × 217 = 18,08 dan 𝜎 2=1
𝑛 𝑥𝑖− 𝜇 2
𝑛
𝑖=1
= 8,409 atau 𝜎 = 2,9.
Matriks varians dan kovarians adalah
𝐼−1= 𝜎2 𝑛 0
0 𝜎2 2𝑛 = 0,700 0 0 0,350 . Jadi variansi 𝜇 adalah 0,700 dan variansi dari 𝜎 adalah 0,350.
