Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
DAN METODE GAUSS NEWTON DALAM PENAKSIRAN
PARAMETER REGRESI NONLINIER
SKRIPSI
SRIDEWI NAINGGOLAN
070823007
FAKULTAS MATEMATIKA
ILMU PENGETAHUAN ALAM DEPARTEMEN
MATEMATIKA UNIVERSITAS SUMATERA UTARA
MEDAN
2009
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
PERBANDINGAN METODE MARQUARDT COMPROMISE DAN METODE GAUSS NEWTON DALAM PENAKSIRAN PARAMETER
REGRESI NONLINIER
SKRIPSI
Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai Sarjana Sains
SRIDEWI NAINGGOLAN 070823007
FAKULTAS MATEMATIKA
ILMU PENGETAHUAN ALAM DEPARTEMEN MATEMATIKA UNIVERSITAS SUMATERA UTARA
MEDAN
PERSETUJUAN
Judul : PERBANDINGAN METODE MARQUARDT
COMPROMISE DAN METODE GAUSS NEWTON DALAM PENAKSIRAN PARAMETER REGRESI NONLINIER
Kategori : SKRIPSI
Nama : SRIDEWI NAINGGOLAN
Nomor Induk Mahasiswa : 070823007
Program Studi : SARJANA (S1) MATEMATIKA Departemen : MATEMATIKA
Fakultas : MATEMATIKA DAN ILMU PENGETAHUAN ALAM (FMIPA) UNIVERSITAS SUMATERA UTARA
Diluluskan di
Medan, 15 Juli 2009 Komisi Pembimbing :
Pembimbing 2 Pembimbing 1
Drs. H. Haluddin Panjaitan Dra. Rahmawati Pane, M.Si.
NIP 130701888 NIP 131474682
Diketahui/Disetujui oleh
Departemen Matematika FMIPA USU Ketua,
Dr. Saib Suwilo, M.Sc. NIP 131796149
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
PERNYATAAN
PERBANDINGAN METODE MARQUARDT COMPROMIE DAN METODE GAUSS NEWTON DALAM PENAKSIRAN PARAMETER REGRESI
NONLINIER
SKRIPSI
Saya mengakui bahwa skripsi ini adalah hasil kerja saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing disebutkan sumbernya.
Medan, Juli 2009
SRIDEWI NAINGGOLAN 070823007
PENGHARGAAN
Puji dan syukur penulis panjatkan kepada Tuhan yang Maha Kuasa yang telah memberikan anugerahnya sehingga skripsi ini dapat diselesaikan dengan sebaik-baiknya.
Ucapan terimakasih saya sampaikan kepada Ibu Dra. Rahmawati Pane, M.Si dan Bapak Drs.H.Haluddin Panjaitan selaku pembimbing pada penyelesaian skripsi ini dan juga kepada Drs. Pengarapen Bangun M.Si dan Drs. Ramli Barus M.Si selaku penguji skripsi yang telah mengarahkan saya serta telah meluangkan waktu, tenaga, pikiran, dan bantuannya sehingga skripsi saya ini dapat selesai tepat waktu.
Ucapan terima kasih juga kepada ketua dan sekretaris departemen Dr. Saib Suwilo, M.Sc dan Drs. Henri Rani Sitepu, M.Si., dan kepada ketua Program Studi Ekstensi Matematika Bapak Drs. Marwan harahap, M.Eng, Dekan dan Pembantu dekan Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Sumatera Utara, semua dosen pada Departemen Matematika FMIPA USU, pegawai di FMIPA USU, dan rekan-rekan kuliah. Akhirnya, tidak terlupakan kepada Orang Tua saya dan semua keluarga yang selama ini memberikan bantuan dan dorongan yang diperlukan. Semoga segala bentuk bantuan yang telah diberikan mendapat balasan yang jauh lebih baik dari Tuhan Yang Maha Kuasa.
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
ABSTRAK
Regresi Nonlinier adalah regresi yang memuat parameter nonlinier, artinya jika parameter tersebut diturunkan terhadap parameter itu sendiri maka hasil turunannya masih mengandung parameter itu sendiri (masih tetap nonlinier). Estimasi regresi dilakukan untuk menentukan estimator parameter regresi. Metode yang digunakan mengestimasi parameter model regresi nonlinier adalah nonlinear least square dimana secara konseptual sama dengan metode least square pada model regresi linear. Skripsi ini bertujuan untuk membandingkan penaksiran parameter regresi nonlinear dengan menggunakan metode Marquardt Compromise dan metode Gauss Newton. Dari analisa yang dilakukan didapat bahwa metode Marquardt dan metode Gauss Newton dapat menaksir parameter dalam kasus nonlinier dan menghasilkan galat ke nilai yang paling minimum.
ABSTRACT
Nonlinear Regression is regression that contain nonlinear parameter, it means that if the parameter is derivated to parameter it self, hence the result of it is derivative still contain that parameter (Intrisically nonlinear). Regression estimation is done to detemine estimator of regression parameter. One of the method that used to estimate nonlinear regression model parameter is nonlinear least square where conceptually it’s equal to least square method at linear regression model. The skripsi purpose to compare estimate with the Marquardt Compromise and Gauss Newton method. Both of the method can use to implies estimator nonlinear least square and minimizes sum square error.
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
DAFTAR ISI Halaman Persetujuan iii Pernyataan iv Penghargaan v Abstrak vi Abstract vii
Daftar Isi viii
Bab 1 Pendahuan 1 1.1 Latar belakang 1.2 Perumusan Masalah 3 1.3 Pembatasan Masalah 3 1.4 Tujuan Penelitian 3 1.5 Kontribusi Penelitian 3 1.6 Metodologi Penelitian 4 1.7 Tinjauan Pustaka 4
Bab 2 landasan Teori 6
2.1 Penaksiran Parameter 6
2.2 Turunan Parsial 8
2.3 Deret Taylor 8
2.4 Regresi Nonlinier 9
2.5 Kuadrat Terkecil dalam Kasus Nonlinier 10
2.6 Metode Marquardt Compromise 13
Bab 3 Pembahasan 14
3.1 Pendugaan Parameter suatu Sistem Nonlinear 14
3.2 Jumlah Kuadrat Galat 16
3.3 Algoritma Marquardt Compromise 17
3.4 Algoritma Gauss Newton 17
3.5 Penyelesaian contoh 18
Bab 4 Kesimpulan dan Saran 30
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
PENDAHULUAN
1.1 Latar Belakang
Pada umumnya dalam suatu penelitian tidak diketahui secara tepat nilai-nilai parameter dari distribusi teoritis dimana sampel diambil. Hal ini terjadi karena tidak terambilnya seluruh unsur populasi yang akan diteliti. Intinya ditemukan kesulitan untuk menentukan sampel yang representatif yang dapat mewakili populasi dengan metode dan cara yang efektif. Adapun sampel yang digunakan untuk menduga parameter disebut penaksir parameter dan angka yang merupakan hasilnya disebut penaksiran secara statistik.
Misalkan sebuah variabel acak X berdistribusi normal dengan parameter θ . Parameter θ dapat berupa mean populasi, simpangan baku populasi, koefisien regresi populasi dan sebagainya. Parameter θ adalah parameter yang akan ditaksir. Penaksiran dapat digolongkan menjadi dua bagian, yaitu penaksiran titik dan penaksiran selang. Sedangkan cara untuk melakukan penaksiran ada bermacam-macam diantaranya, momen, simpangan kuadrat terkecil, kemungkinan maksimum ataupun sifat penaksiran takbias linear terbaik. Salah satu dari beberapa metode yang digunakan untuk menaksir parameter adalah metode kuadrat terkecil nonlinier yang secara konseptual sama dengan metode kuadrat terkecil linier. Dalam penelitian ini metode yang digunakan untuk menaksir parameter adalah dengan metode kuadrat terkecil pada model regresi nonlinier. Regresi nonlinier digunakan apabila dalam kasus tidak tersedianya informasi yang pasti tentang bentuk hubungan antara peubah responden peubah bebas. Ada beberapa model regresi nonlinier diantaranya:1) Model Parabola, 2) Model
Eksponensial, 3) Model Logistik. Dalam Skripsi ini Penulis membicarakan Regresi Nonlinier pada model Eksponensial.
Penaksiran parameter model nonlinier akan menghasilkan nilai yang berbeda untuk penaksir yang sama karena galat acaknya mempunyai fungsi pembangkit. Oleh karena itu, berbeda dengan kuadrat terkecil pada model linier, penaksir atau estimator metode kuadrat terkecil yang diterapkan pada model nonlinier ditentukan dengan melakukan suatu prosedur atau algoritma yang dapat menjamin bahwa penaksir tersebut secara nyata memenuhi kriteria dari fungsi tujuan, yaitu memberikan jumlah kuadrat galat pada nilai yang paling minimum.
Dengan perkatan lain, dalam penentuan penaksir pada model nonlinier diperlukan pengetahuan mengenai teori titik optimum secara statis. Berdasarkan teori, untuk menentukan titik optimum yang diyakini sebagai solusi dalam penentuan penaksir model nonlinier akan digunakan operasi turunan pertama dan kedua. Turunan yang pertama digunakan dalam prosedur itersasi diterapkan didalam algoritma Gauss Newton dan model iterasi jalan tengah marquardt. Algoritma Gauss Newton digunakan untuk menyelesaikan penaksiran kuadrat terkecil. Metode ini sering disebut metode linearisasi yang menggunakan expansi deret Taylor untuk menghampiri model regresi nonlinier menjadi bentuk linier. Sedangkan metode marquardt juga merupakan suatu metode penyelesaian penaksiran kuadrat terkecil yang merupakan kompromi atau jalan tengah antara metode linierisasi dengan metode Stepest descent (turunan tercuram).
Dari uraian diatas penulis tertarik memilih judul penelitian: ”Perbandingan metode Marquardt Compromise dan metode Gauss Newton dalam
penaksiran parameter regresi Nonlinier”.
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
Masalah yang akan dibahas dalam penelitian ini adalah bagaimana cara menaksir parameter dalam regresi nonlinier menggunakan metode Marquardt dan metode Gauss Newton serta membandingkan kedua metode tersebut.
1.3 Batasan Masalah
Ruang lingkup dari penelitian ini dibatasi pada penaksiran parameter model regresi nonlinier pada model Eksponensial dengan menggunakan metode iterasi jalan tengah Marquardt dan metode gauss Newton dan hanya mendapatkan penaksiran parameter saja.
1.4 Tujuan Penelitian
Tujuan penelitian ini adalah untuk membandingkan penaksir parameter pada model regresi nonlinier melalui iterasi Marquardt dan iterasi Gauss Newton sehingga dapat diketahui metode mana yang lebih efisien menyelesaikan penaksiran parameter regresi nonlinier.
1.5 Kontribusi Penelitian
Kontribusi penelitian ini adalah menambah pengetahuan dalam regresi nonlinier dan bagaimana menaksir parameternya.
1.6 Metode Penelitian
Dalam penelitian ini penulis melakukan studi literatur dengan mengumpulkan bahan yang membahas mengenai regresi nonlinier dan metode kuadrat terkecil pada kasus nonlinier. Adapun langkah-langkah penelitian ini adalah sebagai berikut:
2. Menaksir parameter pada model eksponensial dalam regresi nonlinier dengan metode kuadrat terkecil
3. Melakukan iterasi dengan iterasi jalan tengah Marquardt dan iterasi Gauss Newton.
4. Kedua iterasi dilakukan sampai hasilnya konvergen
5. Menyelesaikan contoh kasus dengan menggunakan metode Marquardt dan metode Gauss Newton.
6. Membandingkan penaksiran yang dilakukan melalui iterasi jalan tengah Marquardt dan iterasi Gauss Newton.
1.7 Tinjauan Pustaka
(Draper and Smith, 1966)
Secara umum model nonlinier dapat ditulis sebagai berikut:
(
ξ ξ ξ θ θ θ)
+ε = f k p Y 1, 2,, ; 1, 2,, Dengan galat parameter bebas peubah respon peubah Y = = = = ε θ ξPersamaan dapat diperingkas menjadi:
( )
ξ θ +ε = f , Y Atau( )
y f( )
ξ,θ E =Jika diasumsikan bahwa E
( )
ε =0 dan diasumsikan galat-galatnya tidak berkorelasi, yang berarti V( )
ε =σ2Pada umumnya
(
2)
, 0
~ σ
ε N yang berarti galat-galatnya berdistribusi normal serta saling bebas satu sama lain.
Bila n data amatannya berbentuk:
ku u
u u
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
Untuk u=1,2,,n dapat dituliskan dalam bentuk alternatifnya
( )
u u fY = ξ,θ +ε
Dengan ε adalah galat ke u u=1,2,n dapat diperingkas menjadi
( )
u u f Y = ξ,θ +ε dengan(
u u ku)
u ξ ξ ξ ξ = 1 , 2 ,,Asumsi kenormalan dan kebebasan galat dapat dituliskan sebagai :
(
2)
, 0 ~ σ ε N I(
ε ε εn)
ε = 1, 2,, 0= Vektor nol I = Matriks IdentitasDan keduanya berukuran sama
Jumlah kuadrat galat untuk model nonlinier didefenisikan sebagai:
( )
∑
{
(
)
}
= − = n u u u f Y S 1 2 ,θ ξ θ (Gallant, 1942) Atau( )
{
(
)
}
2 1 ,∑
= − = n u u u f Y SSEθ ξ θ (Steven C Chapra)Terdapat banyak kasus dalam rekayasa dimana model-model taklinear harus dicocokkan pada data. Dalam konteks yang sekarang model-model ini didefenisikan sebagai model yang mempunyai ketergantungan taklinier pada parameter-parameternya. Misalnya: f
( )
x a(
1 e a1x)
0 − − =Tidak terdapat cara untuk memanipulasi persamaan ini sehingga sesuai dengan bentuk umum persamaan:
e z a z a z a z a y= 0 0 + 1 1+ 2 2++ m n +
(Mohammad Ehsanul Karim)
Metode Gauss Newton atau yang sering disebut metode linearisasi menggunakan expansi deret Taylor untuk menghampiri model regresi nonlinier menjadi bentuk linier dan menggunakan kuadrat terkecil untuk menaksir parameter. Misalkan modelnya berbentuk
( )
u u f Y = ξ,θ +ε dan p θ θ θ10, 20,,adalah nilai-nilai awal bagi parameter-parameterθ1,θ2,θp
Nilai-nilai awal itu mungkin merupakan dugaan kasar belaka atau mungkin pula merupakan nilai-nilai dugaan awal bersasarkan informasi yang tersedia. Nilai-nolai awal itu diharapka n akan diperbaiki dalam proses iterasi.
(Sanjoyo,2006)
Metode Jalan Tengah Marquardt mengaplikasikan metode iterasi seperti halnya pada Metode Gauss Newton yaitu bertujuan menghasilkan jumlah kuadrat galat yang paling minimum.
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
LANDASAN TEORI
2.1. Penaksiran Parameter
Dengan statistika dapat disimpulkan karakteristik populasi yang dapat dipelajari berdasarkan data yang diambil baik secara sampling ataupun sensus. Sehingga dengan keperluan tersebut diambil sampel yang representatif, dan berdasarkan hasil analisis terhadap sampel tersebut dapat diambil kesimpulan mengenai populasi yang diteliti. Adapun sampel yang digunakan untuk menduga parameter disebut penaksir parameter, dan angka yang merupakan hasilnya disebut penaksiran secara statistik. Penaksir sendiri juga merupakan peubah acak. Teori penaksiran dibagi dalam dua golongan yaitu penaksiran titik dan penaksiran selang. Sedangkan cara melakukan penaksiran ada bermacam-macam diantaranya adalah cara momen, simpangan kuadrat terkecil, kemungkinan maksimum ataupun sifat penaksiran tak bias linear yang terbaik.
Suatu penaksiran akan menghasilkan bermacam-macam penaksir.Diantara penaksir-penaksir itu haruslah dipilih mana yang terbaik yang dapat dipakai sebagai penghampir parameter populasi. Oleh karena itu perlu diketahui ciri-ciri penaksir yang baik. Penaksir yang baik harus memenuhi beberapa syarat, tergantung kepada besar ukuran sampelnya. Akan diuraikan beberapa defenisi yang berkaitan dengan kriteria penaksir yang baik. Kriteria penaksir yang baik meliputi ketakbiasan, efisiensi, dan konsistensi.
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
(1) Ketakbiasan
θˆ merupakan penduga tak bias (unbias estimator) dari θ jika E
( )
θˆ =θ. Sebuah penduga dikatakan tak bias kalau rata-rata dari seluruh kemungkinan sampel akan sama dengan nilai parameter dari populasi yang diduga.Tetapi kritria tak bias saja tak cukup selama variansi sebagai ukuran penyebaran suatu penaksir tak bias diketahui. Yang diinginkan penaksir takbias dengan variansi terkecil yang merupakan kriteria efisiensi.
(2) Efisiensi
θˆ merupakan penduga yang efisien (efficient estimator) bagi θ apabila nilai θˆ memiliki varians atau standar deviasi yang lebih kecil dibandingkan dengan penduga lainnya. Kalau ada penduga yang takbias
1
ˆ
θ dan θ dimana varians atau standar deviasi dari penduga ˆ2
1
ˆ
θ lebih kecil dibandingkan varians atau standar deviasi pendugaθ , maka ˆ2 θ relative ˆ1 lebih efisien dibandingkan dengan θ . ˆ2
(3) Konsistensi
θˆ merupakan penduga konsisten (consistent estimator) bagi θ apabila nilai θˆ cenderung mendekati nilai parameter θ untuk n (besarnya sampel) yang semakin besar mendekati tak hingga
(
n→∞)
. Jadi ukuran sampel yang besar cenderung memberikan penduga titik yang lebih baik dibandingkan ukuran sampel kecil. X merupakan penduga konsisten dariµ , sebab apabila n→N, maka X →µ.
Dari contoh ini jelas, kalau n= N maka X =µ. 2 = 1
∑
(
X −X)
2 nS i
merupakan penduga konsisten dari σ2 = 1
∑
(
−µ)
2i
X n
(4) Penduga yang cukup
θˆ merupakan penduga yang cukup (sufficient estimator) bagi θ apabilaθˆ mencakup seluruh informasi tentang θ yang terkandung didalam sampel. 2.2. Turunan Parsial
Misalkan z= f
( )
x,y fungsi 2 variabel yang terdfenisi disekitar titik( )
x,y , turunan parsial dari f terhadap x adalah turunan z terhadap x dan ytetap konstanTurunan parsial z= f
( )
x,y terhadap x ditulis:( ) ( )
x y f x y f x z x ∂ , = , ∂ = ∂ ∂didefenisikan sebagai berikut:
( )
( )
(
) ( )
h y x f y h x f y x f y x f x x h , , lim , , 0 − + = = ∂ ∂ →Turunan parsial z= f
( )
x,y terhadap yditulis:( )
( )
(
) ( )
k y x f k y x f y x f y x f y y k , , lim , , 0 − + = = ∂ ∂ → 2.3 Deret TaylorDeret Taylor dapat memberikan nilai hampiran bagi suatu fungsi pada suatu titik, berdasarkan nilai fungsi dan derivatifnya pada titik yang lain. Suku pertama dari deret Taylor adalah f
( )
xi+1 ≈ f( )
Xi dan disebut aproksimasi orde nol. Hubunganini hendak menunjuk bahwa nilai fungsi f pada titik yang baru, f
(
Xi+1)
adalah sama dengan nilai fungsi pada titik yang lama f( )
Xi . Bila fungsi mengalami perubahan suku, sehingga dikembangkan aproksimasi orde 2 yaitu:( )
Xi f( )(
Xi Xi Xi)
f + ' +1−
Dan secara umum deret Taylor dirumuskan sebagai berikut:
(
)
( )
( )(
)
( )(
)
( )( )(
)
n n i i i n I I i i i i i i X X R n X f x x X f X X X f X f X f +1 ≈ + +1 − + +1 − 2 + + +1− + ! ! 2 " ' Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
( )
( )
(
)
1 1 1 + + − = n n n h n f R ξDengan indeks n menyatakan aproksimasi orde ke n dan ξ adalah suatu nilai X
dalam selang interval X hingga i Xi+1. Dan h adalah Xi+1−Xi.
2.4 Regresi Nonlinier
Model nonlinier (yaitu nonlinier dalam parameter yang akan diduga) dapat dibagi menjadi dua bagian yaitu model linier intrinsik dan model nonlinier Intrinsik.
(1) Model linier Intrinsik
Jika suatu model adalah linier intrinsik, maka model ini dapat dinyatakan melalui transformasi yang tepat terhadap peubahnya kedalam bentuk linier baku. Contoh:
(
t e)
eks
Y = θ1 +θ2 2 +
Persamaan ini dapat ditransformasi melalalui pelogaritmaan dengan basis e , menjadi bentuk, lnY=θ1+θ2t2 +e
Yang bersifat linier dalam parameter-parameternya. (2) Model nonlinier intrinsik
Jika suatu model nonlinier intrinsik maka model ini tidak dapat diubah menjadi bentuk baku. Contoh:
[
e e]
e Y t − t + − = −2 −1 2 1 1 θ θ θ θ θModel ini tidak mungkin dapat diubah kedalam suatu bentuk linier dalam parameternya.
Regresi nonlinier adalah regresi yang memuat parameter nonlinier, artinya jika parameter tersebut diturunkan terhadap parameter itu sendiri maka hasil turunannya masih mengandung parameter itu sendiri. Estimasi dilakukan untuk menentukan estimator parameter regresi. Salah satu metode yang digunakan untuk mengestimasi parameter model regresi nonlinier adalah kuadrat terkecil nonlinier dimana secara konseptual sama dengan metode kuadrat terkecil pada model regresi linier.
Terdapat banyak kasus dalam rekayasa dimana model-model nonlinier harus dicocokkan pada data. Dalam konteks ini model-model ini didefenisikan sebagai model yang mempunyai ketergantungan nonlinier pada parameter-parameternya. Seperti halnya dengan kuadrat terkecil, regresi nonlinier didasarkan pada penentuan nilai-nilai parameter yang meminimumkan jumlah kuadrat galatnya. Namun dalam kasus nonlinier, penyelesaian haruslah berjalan dengan cara iterasi dan bergantung pada nilai-nilai dugaan awal.
2.5 Metode Kuadrat Terkecil dalam Kasus Nonlinier
Metode kuadrat terkecil atau seing disebut dengan metode OLS (Ordinary Least Square) diperkenalkan oleh Carl Friedrich Gauss, seorang matematikawan Jerman. Penaksir- penaksir yang dihasilkan berdasarkan metode kuadrat terkecil adalah bersifat tak bias dan konsisten. Didalam kenyataannya, salah satu penaksir tak bias linier memiliki varians yang minimum, sehingga disebut penaksir takbias linier terbaik (Best Linear Unbiased Estimator/BLUE). Sifat ini merupakan dasar dari dalil Gauss- markov theorem yaitu sebagai berikut:
Dalil Gauss Markov : Berdasarkan sejumlah asumsi tertentu pendugaan berdasarkan metode kuadrat terkecil akan menghasilkan penduga takbias linier terbaik (Best Linear Unbiased Estimator/ BLUE), dengan koefisien regresi memiliki varians yang minimum.
Namun demikian berbeda dengan kuadrat terkecil dalam model linier, penaksiran parameter pada kuadrat terkecil dalam model nonlinier ditentukan dengan melakukan suatu prosedur atau algoritma yang dapat menjamin bahwa penaksir tersebut secara nyata memenuhi kriteria dari fungsi tujuan yaitu memberikan jumlah kuadrat galat pada nilai yang paling minimum atau memberikan nilai maksimum pada fungsi likelihood. Notasi Baku yang digunakan untuk kuadrat terkecil nonlinier berbeda dengan yang digunakan untuk kasus kuadrat terkecil linier. Misalkan model yang diberikan berbentuk sebagai berikut:
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
(
)
e f Y = ξ1,ξ2,ξk;θ1θ2,θp + Dilambangkan dengan(
ξ ξ ξk)
ξ = 1, 2,,(
θ1,θ2, ,θp)
' θ = Maka persamaannya dapat ditulis menjadi
( )
e f Y = ξ,θ + Atau( )
Y f( )
ξ,θ E =Bila data amatannya berbentuk
ku u
u u
Y ,ξ1 ,ξ2 ,,ξ
Untuk u=1, 2,n maka dapat dituliskan modelnya kedalam bentuk:
(
u u k p)
uu f e
Y = ξ1 ,ξ2 ,ξ ;θ1,θ2,θ + dan dapat diperingkas bentuknya menjadi:
(
u)
uu f e
Y = ξ ,θ +
Jumlah kuadrat galat untuk persamaan nonlinier ditulis sebagai berikut:
( )
{
(
)
}
2 1 ,∑
= − = n u u u f Y S θ ξ θKarena y dan u ξ merupakan amatan, dan bersifat tetap, maka jumlah kuadrat u
tersebut merupakan fungsi dari θ . Nilai taksiran kuadrat terkecil bagi θ akan dilambangkan denganθˆ. Nilai taksiran ini tidak lain adalah nilai yang meminimumkan S
( )
θ . Untuk menemukan nilai taksiran kuadrat terkecil θˆ , terlebih dahulu persamaan jumlah kuadrat galat dideferensialkan terhadap θ . Ini akan menghasilkan ppersamaan normal, yang harus diselesaikan untuk memperoleh θˆ . Persamaan normal tersebut berbentuk :( )
( )
{
(
)
} (
θ)
θ θ θ ξ θ ξ θ θ ˆ , , = ∂ ∂ − = ∂ ∂ i u u u i f f Y SUntuk i=1,2,,p sedangkan besaran dalam kurung adalah turunan dari
(
ξ ,u θ)
f terhadap θ dengan semua i θ diganti dengan i θˆ yang bersubskrip sama, jika f
(
ξ ,u θ)
merupakan fungsi linier, maka nilai dugaan f(
ξ ,u θ)
tersebutmerupakan fungsi dari ξ saja dan tidak mengandung u θˆ sama sekali. Misalnya jika
(
u)
u u pm f ξ ,θ =θ1ξ +θ2ξ2 +θ Maka p i f iu i , , 2 , 1 = = ∂ ∂ ξ θdan tidak bergantung pada θ . Ini mengakibatkan persamaan normalnya terdiri atas persamaan- persamaan linier dalam θ1,θ2,θp. Bila modelnya tidak linier dalam θ , maka sama halnya dengan persamaan normalnya. Sekarang akan diilustrasikan dengan suatu contoh sederhana berupa penaksiran suatu parameter θ didalam sebuah moel nonlinier. Misalnya akan diperoleh persamaan normal untuk mendapatkan nilai taksiran kuadrat terkecilθˆ bagi parameter θ dalam model Y = f
( )
θ,t +ε dengan f( )
θ,t =e−θt misalkan n pasangan amatan yang tersedia adalah(
Y1,t1) (
, Y2,t2) (
,, Yn,tn)
. Melalui pendifrensialan parsial terhadapθ diperoleh t te f θ θ − − = ∂ ∂
yang menghasilkan persamaan normal tunggal. Selanjutnya persamaan normal tunggal dapat ditulis sebagai berikut:
[
]
[
ˆ]
0 1 ˆ = − − − = −∑
tu u n u t u e t e Y θ θ Atau 0 ˆ 2 ˆ 1 = −∑
∑
− = n u t u t u n u u u u t e e t Y θ θPerhatikan bahwa dengan hanya satu parameter dan suatu model nonlinier yang relatif sederhana , penentuan nilai θˆ melalui penyelesaian persaman normal tidaklah mudah. Bila parameternya lebih banyak dan modelnya lebih rumit, penyelesaian persamaan- persamaan normalnya bisa sangat sulit, dan hampir dalam semua kasus, pemecahannya harus menggunakan metode iteratif yang dapat dijumpai pada metode iterasi Marquardt dan metode iterasi Gauss Newton.
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
2.6 Metode Marquardt Compromise (Jalan tengah Marquardt)
Metode ini dikembangkan oleh D.W Marquardt atau sering juga disebut metode Levenberg Marquardt adalah salah satu metode didalam pendugaan nonlinier. Metode Marquardt merupakan kompromi atau jalan tengah antara metode linearisasi (atau deret Taylor) dengan metode turunan tercuram (Stepest Descent). Metode Marquardt mengaplikasikan metode iterasi seperti halnya pada metode Gauss Newton yaitu meminimumkan jumlah kuadrat galat, bedanya hanya terletak pada penambahan perkalian skalarλ dan matriks identitas I . Secara k umum metode Marquardt Compromise dinyatakan sebagai berikut:
( ) ( )
(
)
( )
( )
θ θ θ θ λ θ θ θ θ ˆ 1 1 ' ˆ = − + ∂ ∂ + − = t D D nIk S n n n n n( ) ( )
(
)
1 ' + − = n k n n n Z Z I p θ θ λ Dengan nθ = Nilai dugaan awal parameter
1
ˆn+
θ = Parameter yang ditaksir
( ) ( )
n nD
Dθ ' θ = Matriks yang dihasilkan dari data
n λ = Perkalian skalar n t = Panjang langkah k I = Matriks Identitas
( )
( )
n S θ θ θ ˆ ∂ ∂ = Persamaan Normal2.7 Metode Gauss Newton
Metode Gauss Newton merupakan suatu algoritma untuk meminimumkan jumlah kuadrat galat. Konsep kunci yang mendasari teknik tersebut adalah uraian deret Taylor yang digunakan untuk menyatakan persamaan nonlinier semula dalam suatu bentuk hampiran yang linier. Dengan demikian, teori kuadrat terkecil dapat digunakan untuk memperoleh taksiran-taksiran baru dari parameter yang bergerak kearah yang meminimumkan galat tersebut.
Secara umum iterasi gauss Newton dinyatakan sebagai berikut:
( )
( )
( )
( )[
θ θ]
( )
θ( )(
( )
ξ θ)
θ θˆ 1 D 'D 1D ' Yt f , n n n n n+ = + − − Dengan nθ = Nilai dugaan awal parameter
1
ˆn+
θ = Parameter yang akan ditaksir
( )
( )
nDθ = Matrik yang dihasilkan dari data
( )
(
Yt− f ξ,θ)
= Vektor yang dihasilkan dari perbedaan antara pengukuran dan prediksiMetode Gauss Newton dimulai dengan nilai awal untuk parameter regresi yaitu
1 1
0,θ , θp−
θ dan didalam penaksirannya dirobah menjadi ( ) ( ) ( )0 1 0 1 0 0 ,g , ,gp− g
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
PEMBAHASAN
3.1 Pendugaan Parameter suatu Sistem Nonlinier
Pada sebagian masalah nonlinier,cara yang sering dilakukan dan ternyata berhasil adalah menuliskan persamaan normal secara terinci dan mengembangkan suatu teknik iteratif untuk memecahkannya.Apakah cara ini berhasil atau tidak bergantung pada persamaan normalnya dan metode iterasi yang digunakan, dalam memperoleh taksiran parameter. Diantaranya adalah :1) Metode Gauss Newton (metode linearisasi), 2) Metode Stepest Descent (Turunan tercuram), 3) Marquardt Compromise ( jalan tengah Marquardt). Dan metode-metode ini dapat diselesaikan dengan menggunakan program komputer.
Metode Gauss Newton menggunakan hasil-hasil kuadrat terkecil dalam beberapa tahap. Misalkan model yang ditentukan berbentuk:
( )
u u fY = ξ,θ +ε
Dan θ10,θ20,,θp0 adalah nilai-nilai awal bagi parameter-parameter θ0,θ1,,θp
Nilai-nilai awal itu merupakan taksiran kasar belaka atau mungkin pula merupakan nilai-nilai dugan awal berdsarkan informasi yang tersedia. (Misalnya perkiraan berdasarkan informasi yang diperoleh dari perhitungan lain yang serupa atau yang diperkirakan benar oleh peneliti berdasarkan pengalaman dan pengetahuannya). Nilai-nilai awal itu diharapkan akan diperbaiki dalam proses iterasi.
Bila dilakukan penguraian deret Taylor bagi f
( )
ξ,θ disekitar titik(
10 20 0)
0 θ ,θ ,θp
θ = dan membatasi penguraian sampai turunan pertama, maka dapat dikatakan bahwa, bila θ dekat pada θ maka 0
(
)
(
)
(
)
(
0)
ˆ 1 0 , , , i i p i i u u u f f f θ θ θ θ ξ θ ξ θ ξ θ θ − ∂ ∂ + = = =∑
Bila ditetapkan(
)
(
)
0 , , 0 0 0 0 0 θ θ θ θ ξ θ θ β θ ξ = ∂ ∂ = − = = i u iu i i i u u f Z f fMaka bentuknya menjadi
u p i iu i u u f Z Y −
∑
β +ε =1 0 0 0Dengan kata lain persamaan tersebut sudah berbentuk linier. Oleh karena itu dapat ditaksir parameter-parameter i ,i 1,2, ,p
0
=
β dengan cara menerapkan
teori kuadrat terkecil. Bila ditetapkan
{
}
0 0 0 2 2 0 1 1 0 0 0 2 0 1 0 0 0 0 2 0 1 0 0 2 0 1 0 2 0 22 0 12 0 1 0 21 0 11 , f Y f Y f Y f Y f Y y b b b b n p Z Z Z Z Z Z Z Z Z Z Z Z Z Z n n u u p iu pn n n pu u u p p − = − − − − = = × = = Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
Misalnya, dengan notasi yang sudah jelas maksudnya, maka taksiran bagi
(
0 0)
2 0 1 0 β ,β , ,βp β = diberikan oleh(
)
(
0)
0 1 0 0 0 Z 'Z Z 'Y f b = − −dengan demikian vektor b akan meminimumkan jumlah kuadrat galat. o
3.2 Jumlah Kuadrat Galat (Sum Square Error)
Penaksiran Kuadrat terkecil dari θ adalah meminimumkan jumlah kudrat galat dari parameterθ yaitu θˆ , didefenisikan sebagai:
( )
{
( )
}
2 1 ,∑
= − = n i i f Y S θ ξ θUntuk menghitung jumlah kuadrat galat dapat juga dilakukan dengan menggunakan matrik sebagai berikut:
( )
[
( )
]
[
( )
]
( )
[
f(
)
f( )
f( )
]
Y[
Y Y Yn]
f f Y f Y S , , , , , , , , , 1 2 1 = = − − = θ ξ θ ξ θ ξ θ θ θ θUntuk menemukan nilai dugaan kuadrat terkecil θˆ , persamaan
( )
θ[
Y f( )
θ]
[
Y f( )
θ]
S = − − dideferensialkan terhadap θ dan akan menghasilkan
ppersamaan normal. Persamaan normal itu berbentuk:
(
)
( )
(
)
θ θ θ θ θ θ ξ θ ξ θ θ ξ ˆ 1 ˆ 1 , , , = = = = ∂ ∂ − ∂ ∂∑
∑
i n i i n i i f f f YDan selanjutnya dapat dilakukan penaksiran parameter model nonlinier dengan menggunakan kuadrat terkecil dan melakukan pengiterasian dengan menggunakan iterasi Gauss Newton dan iterasi jalan tengah Marquardt.
3.3 Algoritma Marquardt Compromise
Menentukan nilai awal yaitu θ00,θ10,,θp0−1 dan didalam pengiterasiannya notasi
awal berubah menjadi 0
1 0
1 0
0,g , ,gp−
g . Selanjutnya menyelesaiakan persamaaan
normal dari suatu model regresi nonlinier yang akan ditaksir, dan kemudian menentukan nilai perkalian skalar dinotasikan dengan λ dengan 0<λ≤1 dan matriks identitas I. Iterasi pada metode ini akan berhenti pada saat nilai iterasi tersebut sudah konvergen.
Persamaan iterasi ditulis sebagai berikut :
( ) ( )
(
)
( )
( )
θ θ θ θ λ θ θ θ θ ˆ 1 1 ' ˆ = − + ∂ ∂ + − = t D D nIk S n n n n nDan pada proses iterasi notasi parameter yang ditaksir akan menjadi
( ) ( )
(
)
( )
( )
n g n k n n n n n n g g S I g D g D t g g ∂ ∂ + − = − +1 1 ' λ3.4 Algoritma Gauss Newton
Pada umumnya proses iterasi Gauss Newton dilakukan dengan langkah sebagai berikut:
1) Dianggap θˆ( )0 sebagai estimasi awal untuk θ 2) Hitung θˆ( )i+1 =θˆ( )0 +bi
3) Nilai θˆ( )i+1 digunakan sebagai nilai untuk menghampiri model linier
4) Kemudian kembali lagi ke langkah pertama dan menghitung nilai buntuk setiap iterasi, nila b yang baru ditambahkan kepada penaksiran yang didapat dari iterasi sebelummya.
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
3.5 Penyelesaian Contoh
Contoh
Pernyatan masalah: Cocokkan fungsi f
(
Xi;θ0,θ1)
=θ0(
1−exp(
−θ1Xi)
)
pada data sebagai berikut:Tabel 3.5.1 Data yang harus dicocokkan pada fungsi
x y 0,25 0,28 0,75 0,57 1,25 0,68 1,75 0,74 2,25 0,79
(Sumber: Buku Metode Numerik oleh Steven C Chapra halaman 318-319)
Gunakan dugaan-dugaan awal θ0 =1,00danθ1=1,00 untuk parameter-
parameter.
Penyelesaian
Dengan Bentuk f
(
Xi;θ0,θ1)
=θ0(
1−exp(
−θ1,Xi)
)
yang terdiri dari dua parameter. Digunakan kuadrat terkecil untuk meminimumkan kuadrat galat dengan terlebih dahulu menaksir parameter pada model tersebut dan selanjutnya menyelesaikan persamaan normalnya dengan iterasi jalan tengah Marquardt dan iterasi Gauss Newton.Model tersebut akan dibentuk kedalam regresi nonlinier yaitu sebagai berikut:
(
i)
i i f XY = ,θ +ε
Dengan Kuadrat terkecil Q adalah
(
)
[
]
2 1 ,∑
= − = n i k i i f X Y Q θ ; k =0,1,,p−1 Turunan parsial dari Q terhadap θ adalah k(
)
[
,]
(
,)
0 2 ˆ 1 = ∂ ∂ − − = ∂ ∂ = =∑
g k i n i i i k X f X f Y Q θ θ θ θ θg adalah vektor dari taksiran kuadrat terkecil g yaitu: k
= −1 1 0 p g g g g
Dari contoh diatas dapat diselesaikan sebagai berikut:
(
Xi)
(
(
Xi)
)
f ;θ =θ0 1−exp−θ1
Sehingga untuk contoh diatas turunan-turunan parsial fungsi terhadap parameter-parameter adalah:
(
)
(
)
(
)
(
)
i i i i i X X X f X X f 1 0 1 1 0 exp , exp 1 , θ θ θ θ θ θ θ − = ∂ ∂ − − = ∂ ∂Ubahlah simbolθ dan 0 θ1 untuk menaksir parameter dengan g dan 0 g . Akan 1
didapat persamaan normal dari turunan parsial diatas yaitu sebagai berikut:
(
)
(
)
(
(
)
)
(
(
)
)
(
)
(
1 exp(
)
)
exp(
)
0 exp 0 exp 1 exp 1 exp 1 1 0 1 0 1 0 1 1 0 1 = − − − − − = − − − − − − −∑
∑
∑
∑
i i i i i i i i i X g X g X g g X g X g Y X g Xi g g X g YPersamaan normal dapat diubah menjadi:
(
)
(
)
(
(
)
)
(
)
exp(
)
exp(
2)
0 exp 0 exp 1 exp 1 1 1 0 1 2 1 0 1 = − − − − − = − − − − −∑
∑
∑
∑
i i i i i i i i i X g X g X g X g X Y X g g X g YSridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
Karena persamaan normal diatas tidak linier didalam parameter g dan 0
1
g maka cara yang tepat untuk menyelesaikan persamaan normal diatas adalah dengan menggunakan metode numerik untuk melakukan penaksiran secara iterasi. Metode numerik yang sering kali dipakai untuk menyelesaikan permasalahan didalam penaksiran parameter model nonlinier adalah Metode Gauss Newton dan Metode Marquardt compromise.
Dengan menggunakan algoritma Gauss Newton, langkah awal adalah menentukan nilai awal terlebih dahulu kemudian dihampiri dengan rata-rata respon f
(
Xi,θ)
untuk n pengamatan oleh bentuk linier mengunakan ekspansi deret Taylor disekitar nilai awal 0k g diperoleh pengamatan ke i
(
)
(
( ))
(
)
(
( )0)
0 ˆ 1 0 0 , , , f X g f X g X f k g p k k i i i − ∂ ∂ + ≈ = − =∑
θ θ θ θ θ Dan ( ) ( ) ( ) = − 0 1 0 1 0 0 p g g g g adalah vektor dari parameter nilai awal
Sekarang akan disederhanakan notasi:
( )
(
)
( ) ( ) ( )(
)
( )0 ( )0 ˆ 0 0 0 0 0 , , g k i ik k k k i i X f D g g X f f = ∂ ∂ = − = = θ θ θ θ βHampiran deret Taylor
(
)
(
( ))
(
)
(
0( )0)
ˆ 1 0 0 , , , f X g f X g X f k g p k k i i i − ∂ ∂ + ≈ = − =∑
θ θ θ θ θuntuk rata-rata respon pengamatan ke i notasinya akan disederhanakan menjadi
(
)
( )∑
− ( ) ( ) = + ≈ 1 0 0 0 0 , p k k ik i i f D X f θ βDan hampiran untuk model regresi nonlinier Yi = f
(
Xi,θ +)
εi akan menjadi( ) ( ) ( ) i p k k ik i i f D Y ≈ +
∑
β +ε − = 1 0 0 0 0Dari bentuk diatas fi( )0 digeser kekiri akan menjadi
( )0
i i f
Y − dengan akan diperoleh pendekatan model regresi linier sebagai berikut:
( ) ( ) i n D Y i p k k ik i 1, , 1 0 0 0 = + ≈
∑
− = ε β Karena ( )0 ( )0 i i i Y f Y = −Maka akan didapat pendekatan didalam bentuk matriks seperti dibawah ini:
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) = = − − = + ≈ − × − − × × 0 1 0 0 1 0 0 1 , 0 0 0 1 , 1 0 10 0 0 0 1 1 0 1 0 0 0 p p p n n p p n n n n D D D D D f Y f Y Y D Y β β β ε β
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
Selanjutnya parameter β dapat ditaksir dari persamaan normal pada model ( )0 regresi linier sederhana dan diperoleh:
( )0
(
( )0 ( )0)
1 ( )0 ( )0'
'D D Y
D
b = −
Dimana b( )0 adalah vektor dari koefisien regresi kuadrat terkecil yang akan ditaksir. Dan dapat digunakan untuk memperoleh taksiran parameter regresi berikutnya dengan koefisien regresi gk( )1 .
( )1 ( )0 ( )0
k k
k g b
g = + .
Kriteria perhitungan kuadrat terkecil untuk koefisien regresi awal g( )0 dinotasikan
dengan ( )
[
(
( ))
]
( )(
)
2 1 0 2 1 0 0 ,∑
∑
= = − = − = n i i i n i i i f Y g X f Y SSEDari contoh sebelumnya dapat diselesaikan dengan iterasi Gauss Newton sebagai berikut
Untuk lebih memudahkan pengiterasian dapat dilakukan dengan penerapan matriks: ( ) ( )
(
)
( )(
( ))
( )(
)
( )(
( ))
( )(
)
( )(
( ))
( )(
)
( )(
( ))
( )(
)
( )(
( ))
= − − − − − − − − − − − − − − − = × 2371 , 0 8946 , 0 3041 , 0 8262 , 0 3581 , 0 7135 , 0 3543 , 0 5276 , 0 1947 , 0 2212 , 0 exp exp 1 exp exp 1 exp exp 1 exp exp 1 exp exp 1 5 0 1 1 0 0 5 0 1 4 0 1 1 0 0 4 0 1 3 0 1 1 0 0 3 0 1 2 0 1 2 0 0 2 0 1 1 0 1 1 0 0 1 0 1 0 2 5 X g X g X g X g X g X g X g X g X g X g X g X g X g X g X g D( )
(
)
( ) ( )(
(
( ))
)
(
)
(
)
(
)
( )(
)
( ) ( )(
(
( ))
)
( )(
)
( ) ( )(
(
( ))
)
( )(
)
( ) ( )(
(
( ))
)
( )(
)
( ) ( )(
(
( ))
)
8946 , 0 exp 1 , 8264 , 0 exp 1 , 7153 , 0 exp 1 , 5276 , 0 exp 1 , 2212 , 0 25 , 0 1 exp 1 1 exp 1 , 5 0 1 0 0 0 5 0 5 4 0 1 0 0 0 4 0 4 3 0 1 0 0 0 3 0 3 2 0 1 0 0 0 2 0 2 0 1 0 0 0 1 0 1 = − − = = = − − = = = − − = = = − − = = = − − = − − = = X g g f g X f X g g f g X f X g g f g X f X g g f g X f X g g f g X f iUntuk : Yi =0,28 maka penyimpangannya dapat dihitung sebagai berikut:
( ) ( ) 0588 , 0 2212 , 0 28 , 0 0 1 0 1 =Y − f = − = Y i
Sehingga vektor Y( )0 terdiri dari perbedaan antara pengukuran dan prediksi model: ( ) ( ) ( ) ( ) ( ) ( ) ( )
(
(
( ))
)
( )(
(
( ))
)
( )(
(
( ))
)
( )(
(
( ))
)
( )(
(
( ))
)
− − − = − − − − − = − − − − − − − − − − − − − − − = − − − − − = × 1046 , 0 0862 , 0 0335 , 0 0424 , 0 0588 , 0 8946 , 0 79 , 0 8262 , 0 74 , 0 7153 , 0 68 , 0 5276 , 0 57 , 0 2212 , 0 28 , 0 exp 1 exp 1 exp 1 exp 1 exp 1 5 0 1 0 0 5 4 0 1 0 0 4 3 0 1 0 0 3 2 0 1 0 0 2 1 0 1 0 0 1 0 5 5 0 4 4 0 3 3 0 2 2 0 1 1 0 1 5 X g g Y X g g Y X g g Y X g g Y X g g Y f Y f Y f Y f Y f Y YSridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
Sehingga untuk semua data pengamatan akan didapat:
( )
[
(
( ))
]
( )(
)
(
) (
) (
) (
) (
)
0247490 , 0 1046 , 0 0862 , 0 0335 , 0 0424 , 0 0588 , 0 , 2 2 2 2 2 2 1 0 2 1 0 0 = − + − + − + + = − = − =∑
∑
= = n i i i n i i i f Y g X f Y SSE ( )0(
( )0 0)
1 ( )0 ( )0 ' 'D D Y D b = − ( ) ( ) = = 4404 , 0 9489 , 0 9489 , 0 3193 , 2 2371 , 0 8946 , 0 3041 , 0 8262 , 0 3581 , 0 7153 , 0 3543 , 0 5276 , 0 1947 , 0 2212 , 0 2731 , 0 3041 , 0 3581 , 0 3543 , 0 1947 , 0 8946 , 0 8262 , 0 7135 , 0 5276 , 0 2212 , 0 ' 0 0 D D ( ) ( )(
)
(
) (
)
− − = − − = − 1676 , 19 8421 , 7 8421 , 7 6397 , 3 3193 , 2 9489 , 0 9489 , 0 4404 , 0 9489 , 0 . 9489 , 0 4404 , 0 . 3193 , 2 1 ' 0 1 0 D D ( ) ( )(
)
− − = − − − = 0365 , 0 1533 , 0 1046 , 0 0862 , 0 0335 , 0 0424 , 0 0588 , 0 2731 , 0 3041 , 0 3581 , 0 3543 , 0 1947 , 0 8946 , 0 8262 , 0 7135 , 0 5276 , 0 2212 , 0 ' 0 0 Y DOleh karena itu: ( ) − = − − − − = 50256923 , 0 27172936 , 0 0365 , 0 1533 , 0 1676 , 19 8421 , 7 8421 , 7 6397 , 3 0 b
Maka akan diperoleh penaksiran kuadrat terkecil g : ( )1
( ) ( ) ( ) = − + = + = 50256923 , 1 72826923 , 0 50256923 , 0 27172936 , 0 1 1 0 0 1 b g g
Dengan cara yang sama seperti diatas dapat diperoleh iterasi berikutnya sehingga didapat iterasi yang menghasilkan galat yang paling minimum
Iterasi g 0 g SSE 1
0 1,0000 1,0000 0,0247490 1 0,7282 1,5025 0,0243422 2 0,7911 1,6774 0,0006622
3 0,7921 1,6774 0,0006622
Dari hasil iterasi yang ketiga telah diperoleh iterasi yang konvergen, sehingga itterasi dapat berhenti dan didapat MSE sebagai berikut:
0002206 , 0 2 5 000662 , 0 = − = − = p n SSE MSE
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
Dengan menggunakan algoritma Marquardt, langkah awal yang dilakukan adalah menentukan nilai awal yaitu θ00,θ10,,θp0−1 dan didalam pengiterasiannya notasi nilai awal tersebut akan berubah menjadi g00,g10,g0p−1, selanjutnya menyelesaikan persamaan normal dari suatu model regresi nonlinier yang akan ditaksir, setelah itu akan ditentukan nilai skalar dari setiap iterasi yang dinotasikan dengan λ dimana 0<λj ≤1dan biasanya nilai λ merupakan faktor dari 10. Dan
iterasi akan berhenti pada saat nilai iterasi tersebut sudah konvergen yaitu
ε θ θk 1+ − k ≤
Persamaan iterasi ditulis sebagai berikut:
( )
(
( ) ( )
)
( )
( )
θ θ θ θ λ θ θ θ θ ˆ 1 1 ' ˆ = − + ∂ ∂ + − = n tn D n D n nIk S nPada proses iterasi notasi parameter yang ditaksir menjadi:
( )
(
( ) ( )
)
( )
( )
gn k n n n n n n g g S I g D g D t g g ∂ ∂ + − = − +1 1 ' λUntuk lebih memahami metode Marquardt kemudian akan diselesaikan contoh yang sebelumnya. Diambil nilai awal taksiran untuk model
(
Xi)
(
(
Xi)
)
f ;θ =θ0 1−exp−θ1 yang sama dengan nilai awal yang diberikan pada metode Gauss Newton yaitu g0( )0 =1,00 dan g1( )0 =1,00. Sehingga dapat diketahui metode mana yang lebih efisien atau metode yang lebih cocok digunakan dalam contoh ini. Nilai awal tersebut dapat digunakan untuk mencari nilai taksiran berikutnya.
Dengan menggunakan persamaan iterasi diatas maka dapat dilakukan perhitungan seperti dibawah ini. Dari matriks sebelumnya yaitu:
( ) ( )
(
)
= 4404 , 0 9489 , 0 9489 , 0 3193 , 2 ' 0 0 D D( ) ( )
(
)
[
]
( ) ( )(
)
[
]
− − = + = + = + − 1678 , 19 8421 , 7 8421 , 7 6397 , 3 ' 4404 , 0 9489 , 0 9489 , 0 3193 , 2 1 0 0 1 00001 , 0 4404 , 0 9489 , 0 9489 , 0 3193 , 2 ' 1 0 0 0 0 k n k n I D D I D D λ λ ( )( )
( )( )
(
(
)
)
(
(
)
)
(
)
(
)
(
(
)
)
(
(
)
)
(
)
(
)
(
(
)
)
(
)
(
)
(
(
)
)
(
(
)
)
(
(
)
)
(
)
(
)
( )( )
( )( )
(
)
(
)
(
)
(
)
(
)
(
)
{
}
(
)
(
)
(
)
(
)
{
}
0365 , 0 ) 9487 , 0 9122 , 0 ( 0 5 , 4 exp 25 , 2 exp 25 , 2 5 , 0 exp 25 , 0 exp 25 , 0 1 25 , 2 exp 77 , 1 75 , 0 exp 47 , 0 25 , 0 exp 07 , 0 0 0 2 exp exp exp 1533 , 0 ) 3192 , 2 1659 , 2 ( 0 25 , 2 exp 1 75 , 1 exp 1 25 , 1 exp 1 75 , 0 exp 1 25 , 0 exp 1 1 25 , 2 exp 1 79 , 0 75 , 1 exp 1 74 , 0 25 , 1 exp 1 68 , 0 75 , 0 exp 1 57 , 0 25 , 0 exp 1 28 , 0 0 0 exp 1 exp 1 1 1 0 1 1 1 2 2 2 2 2 2 1 0 1 0 0 = − − = − − − + + − − − − − + + − + − − = = − − − − − = ∂ ∂ = − − = − − + − − + − − + − − + − − − − − + − − + − − + − − + − − − = = − − − − − = ∂ ∂∑
∑
∑
∑
i i i i i i i i i X g X g X g X g X Y g g S X g g X g Y g g S ( ) ( )[
]
( )
( )( ) − = − − = ∂ ∂ + − 50256923 , 0 27172936 , 0 0365 , 0 1533 , 0 1369 , 19 8421 , 7 8421 , 7 6397 , 3 ' 0 1 0 n n k n g g S I D D λSridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
Sehingga akan didapat:
( ) ( ) = − − = 50256923 , 1 72826923 , 0 50256923 , 0 27172936 , 0 1 1 1 0 1 0 g g ( )
(
)
[
]
( )(
)
(
) (
) (
) (
) (
)
0247490 , 0 1046 , 0 0862 , 0 0335 , 0 0424 , 0 0588 , 0 , 2 2 2 2 2 2 1 0 1 0 = − + − + − + + = − = − =∑
∑
= = n i i i n i i i f Y g X f Y SSE ( ) ( ) ( ) ( ) ( ) ( )(
(
( ))
)
( )(
(
( ))
)
( )(
(
( ))
)
( )(
(
( ))
)
( )(
(
( ))
)
− − − = − − − − − = − − − − − − − − − − − − − − − = − − − − − 1046 , 0 0862 , 0 0335 , 0 0424 , 0 0588 , 0 8946 , 0 79 , 0 8262 , 0 74 , 0 7153 , 0 68 , 0 5276 , 0 57 , 0 2212 . 0 28 , 0 exp 1 exp 1 exp 1 exp 1 exp 1 5 1 1 1 0 5 4 1 1 1 0 4 3 1 1 1 0 3 2 1 1 1 0 2 1 1 1 1 0 1 1 51 51 1 41 4 1 3 3 1 2 2 1 1 1 X g g Y X g g Y X g g Y X g g Y X g g Y f Y f Y f Y f Y f YDengan cara yang sama diatas dapat diperoleh iterasi berikutnya sehingga didapat iterasi yang menghasilkan galat yang paling minimum dan menjadi konvergen kenilai 0,001 yaitu sebagai berikut:
Iterasi g 0 g 1 SSE
0 1,0000 1,0000 0,0247490 1 0,7282 1,5025 0,0243422 2 0.7911 1,6774 0,0006622 3 0,7921 1,6774 0,0006622
Dari penyelesaian dengan dua metode ditatas dapat diketahui bahwa dengan metode Marquardt dan metode Gauss Newton sama-sama menghasilkan galat yang paling minimum pada iterasi yang ketiga.
Sridewi Nainggolan : Perbandingan Metode Marquardt Compromise Dan Metode Gauss Newton Dalam Penaksiran Parameter Regresi Nonlinier, 2010.
KESIMPULAN DAN SARAN
4.1 KESIMPULAN
Dari analisa yang dilakukan didapat bahwa metode Marquardt dan metode Gauss Newton dapat menyelesaikan penaksiran parameter dalam kasus nonlinier dan kedua metode itu menghasilkan jumlah kuadrat galat ke nilai yang paling minimum. Metode Marquardt telah dikembangkan untuk mengatasi kekurangan kekurangan yang terdapat dalam Metode Gauss Newton seperti kekonvergenan yang mungkin melambat dan kemungkinan berosilasi secara lebar. Dan dalam masalah-masalah yang praktis kedua metode lainnya dapat diterapkan sama baiknya seperti Metode Marquardt.
4.2 SARAN
Dalam tulisan ini penulis hanya membahas tentang penaksiran parameter regresi non linier model eksponensial dengan operasi turunan pertama yaitu metode Marquardt dan metode Gauss Newton. Bagi para pembaca yang tertarik untuk mengembangkan penelitian ini dapat menyelesaikan penaksiran parameter regresi nonlinier dengan metode lainnya misalnya dengan menggunakan operasi turunan kedua dan dengan model yang lain.
DAFTAR PUSTAKA
Ananth Ranganathan, The Levenberg- Marquardt, 2004 (Jurnal, diakses 20 April2009)
Chapra. C. Steven and Canale. P. Raymond. 1988. Metode Numerik. Pt Gramedia Pustaka Utama, anggota IKAPI, Jakarta.
Danapriatna, Nana dan Setiawan Rony. 2005. Pengantar Statistika. Penerbit Graha Ilmu, Yogyakarta.
Draper, N.R. and Smith, H. 1966. Analisis Regresi Terapan. Pt Gramedia Pustaka Utama, anggota IKAPI, Jakarta.
Davidian, M.1966. Nonlinear Regression. New York.
Gallant, A. Ronald. 1942. Nonlinear Statistical Models. New York: Jhon Wiley & Son
Mohammad Ehsanul Karim, Nonlinear Models, University of Dhaka. (Jurnal, diakses 28 Maret 2009)
Neter, Jhon and Wasserman, William. 1985. Applied Linear Statistical Models. Printed in the United States of America.
Sanjoyo, Nonlinear estimation, 2006 ( Jurnal, diakses 28 Maret 2009)
Soelistiyo. 2001. Dasar-Dasar Ekonometrika. Yogyakarta:BPPE. Supranto,J .1981. Statistik Teori dan Aplikasi. Erlangga. Jakarta