PENAKSIR MAKSIMUM LIKELIHOOD DENGAN
METODE ITERASI NEWTON - RAPHSON
Haposan Sirait
1dan Rustam Efendi
21,2Dosen Program Studi Matematika FMIPA Universitas Riau.
Abstrak: Makalah ini menyajikan tentang menentukan penaksir maksimum likelihood
̂ dari suatu parameter yang memiliki fungsi densitas probabilitas .
Penaksir maksimum likelihood ̂ akan ditentukan dengan suatu metode iterasi Newton- Raphson. Penaksir yang diperoleh merupakan hampiran penaksir maksimum likelihood.
Kata Kunci:Penaksir maksimum likelihood , fungsi densitas probabilitas, iterasi Newton-Raphson
PENDAHULUAN
Sebagai syarat awal dalam menganalisa data statistik yaitu mengidentifikasi distribusi probabilitas dari karakteristik. Oleh karena parameter dari distribusi probabilitas tersebut adalah sebagai penentu dari suatu karakteristik, hal ini akan menjadi perlu untuk menaksir parameter.Dalam makalah ini diasumsikan bahwa bentuk matematis distribusi probabilitas diketahui (contoh : Binomial ; Normal ; dan lain sebagainya), akan tetapi parameter distribusi ( p untuk binomial; μ dan σ2 untuk normal, dan seterusnya ) tidak diketahui. Untuk memperoleh informasi semacam itu, tentunya diawali dengan mengambil sampel random dari populasi.
Selanjutnya akan ditaksir parameter melalui data dari sampel random yang diambil dari suatu populasi.
Dalam analisa statistik , penaksir titik dari suatu parameter populasi sangat berperan aktif guna untuk mengetahui fenomena alam[4] misalnya ingin mengestimasi proporsi produk yang rusak dari suatu proses produksi, ataupun rata- rata waktu sembuh pasien yang menjalani operasi tertentu.
Dalam makalah ini akan disajikan secara sistematis suatu metode yang digunakan untuk menentukan penaksir
titik yaitu metode maksimum likelihood , dimana metode maksimum likelihood merupakan suatu metode yang mempunyai prinsip menentukan penaksir titik titik suatu parameter dengan peluang maksimum. Penaksir yang diperoleh dengan metode maksimum likelihood disebut sebagai penaksir maksimun likelihood . Penaksir maksimum likelihood suatu parameter dari distribusi probabilitas (Mungkin tidak ada, ada, atau banyak ). Untungnya sering diperoleh satu estimator dengan sifat yang baik.
Langkah yang dilakukan ,apabila memungkinkan yaitu dengan mendifferensialkan fungsi likelihood terhadap parameter, selanjutnya disamakan dengan nol yang disebut dengan persamaan likelihood . Namun dalam menentukan Penaksir Maksimum Likelihood , pada persamaan likelihood terkadang sulit dilakukakan secara analitik atau dengan kata lain tidak diperolehnya penaksir titik secang eksak , hal ini dikarenakann bentuk persamaan likeliohood yang sangat kompleks . Untuk kasus yang demikian Penaksir Maksimum Likelihood ditempuh dengan cara iterasi numerik yaitu dengan netode newton Raphson.
Penaksir Maksimum Likelihood
Misalkan merupakan sampel random yang berasal dari popoulasi X dengan fungsi densitas probabilitas yang tergantung pada . yaitu . Dikarenakan bahwa
merupakan sampel random maka fungsi juga merupakan variabel acak. Suatu fungsi yang diamati misalnya
disebut sebagai statistik, dan disebut juga suatu penaksir dari yang dinotasikan dengan ̂ [3] . Akan tetapi menghadapi persoalan mencari penaksir titik ada tiga metode yang populer, yaitu metode momen, metode maksimum likelihood dan metode
B es‟[2]. N mun d l m m k l h ini
yang akan disajikan yaitu suatu metode yang menurut intuisi, wajar dalam menghasilkan penaksir yang mungkin baik untuk diselidiki yaitu penaksir maksimum likelihood, seperti dinyatakan dalam definisi berikut :
Definisi1:[2]Misalkan f ungsi kepadatan peluang gabungan untuk variable random dengan nilai sampel . Fungsi likelihood dari sampel nya adalah
(1)
Definisi 2 : [2]Misalkan
merupakan sampel random yang berasal dari populasi X dengan fungsi kepadatan peluang yang tergantung pada . yaitu
dengan adalah parameter yang tidak diketahui. Maka Fungsi likelihood gabungannya adalah :
∏ (2)
Definisi 3 :[2] Misalkan
merupakan sampel random yang berasal dari popoulasi X dengan fungsi probabilitas yang tergantung pada
. yaitu dengan adalah parameter yang tidak diketahui. Maka Fungsi likelihood gabungannya adalah:
∏ (3) Definisi 4 : Taksiran maksimum likelihood untuk adalah nilai yang
memaksimumkan fungsi
likelihood .Dengan kata lain ̂
̂ , sedemikian sehingga
( ̂) { }maka ̂
̂ , disebut penaksir
maksimum likelihood.
Dalam manentukan penaksir maksimum likelihood, cukup hanya membutuhkan fungsi likelihood dan kemudian memaksimumkan fungsi likelihood terhadap parameter yang akan ditaksir. Dalam beberapa kasus, untuk memudahkan memaksimumkan fungsi likelihood, kadang kala dikerjakan dengan melakukan transformasi logaritma natural (ln)terhadap fungsi likelihood,selanjutnya disebut sebagai log fungsi likelihood .Alasan tersebut tentunya dapat diterima dikarenakan logaritma natural merupakan fungsi increasing. Sehingga nilai yang membuat maksimum fungsi likelihood, jika ada, akan merupakan nilai sama yang membuat maksimum lof fungsi likelihood. Berikut ini merupakan prosedur menentukan penaksir maksimum likelihood :
1. Menentukan fungsi likelihood, L(θ). 2. Melakukan transformasi logaritma
natural dari L(θ).
3. Melakukan differensial ln L(θ) terhadap θ, dan kemudian menyamakan hasil dervativnyadengan nol (persamaan likelihood ).
4. Menentukan akar persamaan likekelihood (θ ) ,yang disebut sebagai penaksir maksimumlikelihood ( ̂ )
Metode Newton-Raphson Dalam Satu Dimensi
maka : √
adalah akar dari
persamaan kuadrat, artinya bila x
disubstitusikan kedalam persamaan tersebut maka akan memenuhi persamaan diatas.
Secara umum, persoalannya ataupun permasalahannya adalah dalam fungsi yaitu mencari harga untuk persamaan:
(4)
dengan dapat berupa fungsi Aljabar, atau Transenden dan diasumsikan dapat didifferensialkan.
Di dalam praktek, fungsi yang hendak dicari akarnya, tidak mempunyai rumus tertentu seperti pada persamaan kuadrat. Dalam arti belum ada metode untuk mendapatkan penyelesaian eksak. Bila demikian halnya, perlu diusahakan suatu metode numerik untuk dapat menyelesaikan persoalan tersebut. Dengan kata lain dalam kondisi demikian ada beberapa pendekatan yang akan dilakukan yaitu :
1. Pendekatan atau penyederhanaan perumusan persoalan sehingga dapat diselesaikan .
2. Mengusahakan diperolehnya jawaban pendekatan dalam persoalan yang perumusannya eksak.
3. Gabungan dari kedua cara pendekatan diatas.
Pada umumnya, metode numerik tidak menyatakan diperolehnya jawab eksak(tepat) tetapi memperoleh perumusan metode yang menghasilkan jawaban pendekatan yang berbeda dari jawab yang eksak, sebesar suatu nilai yang dapat diterima berdasarkan pertimbangan praktis, akan tetapi cukup dapat memberikan penghayatan pada persoalan yang dihadapi. Metode numerik untuk mendapatkan pendekatan yang berhasil adalah dengan teknik iterasi. Metode iterasi akan konvergen bila pendekatan makin mendapatkan hasil tertentu.
Kembali kepada permasalahan mencari akar , maka untuk mendapatkan nilai akarnya, digunakan metode pendekatan yang meliputi dua tahap yaitu :
1. Penentuan akar pendekatan
2. Akar pendekatan dijabarkan lagi untuk mendapatkan ketelitian yang diinginkan.
Teorema : (Deret Taylor) . Misalkan
, dengan B bilangan bulat positip. Misalkan suatu interval I=[a,b] sehingga f
dan turunan kontinu pada I
dan ada pada (a,b). Jika maka untuk sebarang terdapat titik
c diantara dan sehingga :
Beberapa metode numerik dalam penentuan akar pendekatan telah banyak diperkenalkan, antara lain metode Newton-Raphson[1]. Langkah yang dilakukan dalam metode Newton-Raphson dari persoalan ( 4 ), yaitu dengan menggunakan ekspansi deret Taylor berderajat satu yaitu:
(5) Dengan
.
Apabila , pada persamaan (5) , maka :
(6)
Dengan demikian apabila x , menyatakan sebagai nilai tebakan awal, kemudian disubtitusikan kedalam persamaan (6), diperolehlah
(7)
Dengan menyatakan nilai pada iterasi ke- m dan nilai tebakan awal dinotasikan dengan . Persamaan (7) dinamakan metode ierasi Newton Raphson.
mempunyai turunan f'dan f '' yang error memenuhi persamaan yang berbentuk
Penaksir Maksimum Likelihood Dengan Metode Newton Raphson
Untuk kasus menetukan penaksir maksimum likelihood, yaitu dengan menentukan akan dari persamaan likelihood:
(8)
Dengan ; fungsi likelihood dari sampel Dari persamaan (7), diperoleh suatu algoritma iterasi untuk menentukan penaksir maksimum likelihood yang diberikan dengan formula : sampel random yang berasal dari populasi
X yang berdistribusi gamma dengan parmeter dan .Akan ditentukan penaksir penaksir maksimum likelihood untuk parameter dengan metode Newton –Raphson, dengan langkah sebagai berikut yang diketahui bahwa populasi berarti fungsi
Dengan melakukan transformasi logaritma natural persamaan (10) diperoleh :
( )
∑ ∑ (11)
Selanjutnya dilakukan derivative parsial persamaan (11) terhadap dan kemudian disamakan dengan nol diperolehlah : disebut sebagai persamaan likelihood.Dari persamaan (13) diperolehlah:
(14)
Selanjutnya disubstitusikan persamaan (14) kedalam persamaan (12 ) , maka : Dengan memanfaatkan persamaan (9), diperolehlah iterasi penaksir maksiumu likelihood untuk yaitu :
Kemudian nilai iterasi digunakan untuk menentukan nilai taksiran .Nilai iterasi yang diperoleh dinamakanlah penaksir maksimum likelihood dengan iterasi metode Newton- Raphson.
KESIMPULAN
tidak dapat diperoleh secara eksak , dan estimator yang diperoleh merupakan nilai pendekatan estimator.
TINJAUAN PUSTAKA
A.M.Ostrowsky, 1973, Solusion of equations in Euclidean and Banach space, third edition.Academic Press.,New York
Bain, J Lee & Engelhardt, Max. 1992.
Introduction to Probability and Mathematical Statistics second edition
Duxbury Press. California.
Feller W. 1967. An Introduction Probability Theory and Its Application (vol. 1): 3rd edition. Willey, New York.
George, G Roussas. 1973. A First Course in Mathematical Statistics. Wesley, Philippines.
