xiii INTISARI
Analisis Fleksibel Bayesian Untuk Regresi Kuantil Terpenalti Dengan Menggunakan Algoritma MCMC Gibbs Sampling
Oleh
Afifka Fitri Nugrahwati 10/300375/PA/13232
Regresi kuantil terpenalti dapat digunakan untuk mengatasi keterbatasan regresi linear dalam menganalisis data yang bentuknya tidak simetris, terdapat pencilan dan distribusi data yang tidak homogen. Regresi kuantil terpenalti dengan LASSO (Least Absolute Shrinkage and Selection Operator) dan Adaptive Lasso penalty dapat diestimasi menggunakan metode fleksibel bayesian yakni suatu metode analisis berdasarkan pada informasi yang berasal dari sampel dan informasi prior. Gabungan informasi sampel dan informasi prior ini dinamakan posterior. Dalam mencari distribusi posterior untuk parameter yang cukup banyak sering kali mengalami kesulitan. Teknik khusus yang dapat digunakan untuk mempermudah yaitu dengan menggunakan simulasi MCMC (Marcov Chain Monte Carlo) Gibbs sampling yang juga dapat meningkatkan model fit dan mereduksi variansi dari distribusi posterior. Pada software R terdapat paket bayesQR untuk analisis regresi kuantil terpenalti dengan metode bayesian secara lengkap.
Studi kasus dalam skripsi ini membahas hubungan antara tingkat serum antigen prostat spesifik dengan sejumlah tindak klinis pada pria yang hendak menerima prostatektomi radikal.
Hasil estimasi regresi kuantil terpenalti dengan metode fleksibel bayesian dibandingkan dengan metode OLS, regresi kuantil dan regresi kuantil bayesian.
Dengan menggunakan nilai R2 dan MSE diperoleh kesimpulan bahwa regresi kuantil terpenalti dengan metode fleksibel bayesian menghasilkan estimasi yang lebih akurat dan presisi daripada estimasi dengan metode lainnya.
Kata Kunci: Regersi Kuantil Terpenalti, Lasso Penalty, Adaptive Lasso Penalty, Fleksibel Bayesian, Marcov Chain Monte Carlo, Gibbs sampling, bayesQR
xiv by
Afifka Fitri Nugrahwati 10/300375/PA/13232
Penalized quantile regression can be used to overcome the limitation of linear regression to analyze data which not symmetric, outlier existed, and distribution of data is not homogeneous. Penalized quantile regression with LASSO (Least Absolute Shrinkage and Selection Operator) and Adaptive Lasso penalty can be estimated by using flexible bayesian method which based on the information derived from the sample and prior information. The combination of sample and prior information is called by posterior. So difficult to find a posterior distribution which include by many parameters. Therefore, there is a special techniques which will make easily, that can be used by through MCMC (Marcov Chain Monte Carlo) Gibbs Sampling which make improve the model fit and reduce the variance of posterior distribution. R software provides a bayesQR package for doing bayesian analysis in penalized quantile regression completely.
The case study in this thesis is analyze the relationship between level of prostate specific antigen and number of clinical measures in men who were about to receive a radical prostatectomy.
The estimation result of penalized quantile regression using flexibel bayesian method compered with simple linear regression using OLS, quantile regression, and bayesian quantile regression method. By using value of R2 and MSE, provide a conclusion that estimation of penalized quantile regression with flexibel bayesian method more accurate and precision than others estimation.
Keywords: Penalized Quantile Regression, Lasso Penalty, Adaptive Lasso Penalty, Flexible Bayesian, Marcov Chain Monte Carlo, Gibbs sampling, bayesQR
1
BAB I PENDAHULUAN
1.1 Latar Belakang
Banyak cabang ilmu statistika yang digunakan dalam berbagai bidang, contohnya seperti ekonometri, biostatistika, psikometri, dan masih banyak yang lain. Ekonometri merupakan cabang ilmu dari bidang ekonomi yang memadukan ilmu ekonomi, matematika dan statistika. Dalam ekonometri peran statistika sangat penting yakni mengestimasi parameter yang ada dalam model ekonometri tersebut. Biostatistika dalam ilmu di bidang medis kedokteran seperti patologi, epidemologi juga digunakan untuk mengestimasi parameter. Analisis statistika yang sering digunakan dalam ekonometri, biostatistika, psikometri dan ilmu bidang lain adalah analisis regresi.
Analisis regresi digunakan untuk memodelkan berbagai permasalahan dalam bentuk matematis, dimana persamaan dalam regresi tersebut menjelaskan bagaimana hubungan antara variabel dependen atau biasa dikenal dengan respon dengan variabel independen atau prediktor. Tujuan lain dari analisis regresi adalah mengestimasi nilai dari variabel dependen berdasarkan nilai variabel independen yang diketahui. Selain itu juga dapat digunakan untuk menentukan variabel independen mana yang berkontribusi banyak dalam menentukan nilai dari variabel dependen.
Salah satu metode yang digunakan untuk menduga parameter-parameter dalam persamaan regresi adalah metode Ordinary Least Square (OLS). Secara matematis penentuan parameter regresi ini dengan cara meminimumkan jumlah kuadrat dari residualnya (Walpole, 1995). Metode OLS menghasilkan penduga yang memenuhi syarat-syarat sebagai penduga yang baik yakni memenuhi Best, Linear, Unbiased Estimator (BLUE) jika semua asumsi klasik yang berkaitan dengan residual terpenuhi. Namun pada kenyataannya asumsi normalitas dan homoskedastisitas seringkali tidak terpenuhi ketika terdapat data pencilan atau
outlier. Jika terdapat pencilan, maka data tidak berbentuk simetris sehingga nilai mean menjadi sangat peka dengan adanya outlier tersebut sehingga metode OLS kurang tepat digunakan. Biasanya peneliti akan melakukan transformasi data dengan maksud agar asumsi normalitas dan homoskedastisitas terpenuhi. Namun pada akhirnya meskipun telah dilakukan transformasi data sering kali parameter yang dihasilkan masih bias.
Dengan adanya fenomena tersebut maka berkembanglah metode baru yaitu Median Regression dengan pendekatan Least Absolute Deviation (LAD) yang dikembangkan dengan mengganti pendekatan rata-rata pada OLS menjadi median. Namun disini metode median regression hanya dapat melihat dua kelompok data yang dibagi pada nilai tengahnya saja dan ketika terdapat data yang berbentuk lonceng tidak simetris atau titik pusat data bukan terletak pada mediannya melainkan terletak pada potongan kuantil tertentu, maka metode ini juga dirasa kurang tepat untuk digunakan.
Selanjutnya dikembangkan metode regresi kuantil yang tidak membutuhkan asumsi galat dalam model dan estimatornya bersifat tegar (robust) terhadap pencilan (outlier) pada variabel dependen. Pendekatan regresi kuantil yaitu dengan memisahkan atau membagi data yang dicurigai ada perbedaan nilai taksiran pada kuantil-kuantil tertentu. Lebih lanjut regresi kuantil sudah mulai berkembang dengan cepat dan sangat populer bukan lagi di bidang ekonometri namun juga di ilmu sosial, kedokteran dan kesehatan. Metode penduga parameter untuk regresi kuantil juga dikembangkan dengan penalized likelihood dengan menggunakan alat Least Absolute Shrinkage Selection Operator (LASSO), Smoothly Clipped Absolute Deviation (SCAD), Adaptive Lasso dan lain sebagainya. Dengan menggambungkan metode Lasso dan Adaptive Lasso nantinya dapat menghasilkan regresi yang robust dengan penduga parameter yang BLUE dan lebih mengecilkan galat dari model regresi kuantil.
Dalam penarikan sampel, biasanya diperoleh informasi parameter yang akan diestimasi. Jika informasi tersebut dimasukkan dalam analisis data, maka metode estimasi yang digunakan tidak memungkinkan untuk memasukkan
3
informasi tersebut. Oleh karena itu diperlukan metode estimasi yang dapat melibatkan parameter yang akan diestimasi. Analisis fleksibel bayesian telah diperkenalkan dan dikembangkan oleh Bayes. Metode fleksibel bayesian dalam mengestimasi parameter memanfaatkan informasi awal dan bentuk distribusi awal (prior) dari suatu populasi. Informasi ini kemudian digabungkan dengan informasi dari sample. Dalam hal ini peneliti harus menentukan distribusi prior dari parameter yang ditaksir. Distribusi prior dapat berasal dari data penelitian sebelumnya atau berdasarkan intuisi peneliti. Dugaan penentuan distribusi parameter sangatlah subyektif (Hogg dan Craig, 1978). Setelah informasi data digabungkan dengan informasi prior, maka didapatkan distribusi posterior yang nantinya akan menjadi parameter regresi.
Secara analitik, memperoleh marginal posterior merupakan hal yang sulit.
Dalam model yang rumit, mengintegralkan parameter dari distribusi posterior bersama atau menentukan kenormalan dari distribusi posterior secara umum adalah hal yang sangat sulit dan tak mungkin dilakukan. Metode bayesian mengatatasi permasalahan ini dengan menggunakan bantuan algoritma MCMC (Markov Chain Monte Carlo) yaitu Gibbs sampling. Dengan bantuan algoritma ini dengan mudah mendapatkan distribusi posterior bahkan dalam kasus yang kompleks.
1.2 Pembatasan Masalah
Pembatasan masalah sangat diperlukan dalam penulisan skripsi ini agar terfokus pada suatu poin saja dan tidak terjadi penyimpangan dari tujuan semula.
Model regresi kuantil terpenalti memiliki ruang lingkup yang sangat luas untuk dibahas. Oleh karena itu dalam skripsi ini hanya akan dibahas estimasi model regresi kuantil terpenalti dengan alat LASSO dan adaptive LASSO dengan menggunakan metode fleksibel bayesian dan dengan algoritma Markov Chain Monte Carlo (MCMC) Gibbs sampling serta terbatas pada model regresi kuantil dengan hubungan linear dengan melibatkan semua variabel independen yang sudah terbukti secara teoritis.
1.3 Tujuan Penulisan
Berdasarkan latar belakang dan batasan masalah diatas, maka tujuan penulisan skripsi ini adalah sebagai berikut :
1. Mempelajari perkembangan analisis regresi khususnya regresi kuantil terpenalti.
2. Mempelajari metode estimasi OLS dan fleksibel bayesian untuk mengestiamsi parameter pada model regresi kuantil terpenalti.
3. Mempelajari penerapan algoritma MCMC Gibbs sampling dalam estimasi model regresi kuantil terpanalti dengan metode fleksibel bayesian.
4. Mengaplikasikan regresi kuantil terpenalti dengan fleksibel bayesian untuk menganalisis hubungan korelasi antara prostate spesific antigen dengan sejumlah tindak klinis pada pria yang hendak menerima prostatektomi radikal.
1.4 Tinjauan Pustaka
Model regresi merupakan model yang paling sering digunakan dalam bidang ekonometri. Regresi kuantil dikenalkan oleh Koenker dan Basset pada tahun 1978. Regresi ini dikembangkan karena ada beberapa kekurangan yang belum bisa tercover dari regresi linear sederhana. Regresi ini berguna untuk menganalisis sejumlah data yang bentuknya tidak simetris dan juga berguna jika distribusi tidak homogen. Regresi kuantil adalah regresi yang tegar (robust) terhadap data pencilan (outlier).
Pada tahun 2001 Keming Yu dan Rana A. Moyeed mempopulerkan metode bayesian pada regresi kuantil. Mereka memperkenalkan gagasan regresi kuantil menggunakan fungsi likelihood yang didasarkan pada asymmetric laplace distribution. Penggunaan distribusi ini merupakan cara alami dan efektif untuk pemodelan regresi kuantil bayesian. Yu dan Moyeed juga memperkenalkan regresi kuantil bayesian menggunakan algoritma MCMC untuk inferensi posteriornya. Dalam metodenya mereka menggunakan algoritma Metropolis- Hasting untuk menganalisis kuantil bayesian.
5
Lebih lanjut Reich, et al pada tahun 2010 memperkenalkan metode fleksibel bayesian untuk regresi kuantil. Dikatakan fleksibel karena metode ini tidak mengharuskan asumsi parametrik atau tidak mengharuskan bentuk distribusi residual. Kemudian seiring berkembangnya ilmu banyak peneliti yang mengembangkan regresi kuantil dengan menggunakan penalized likelihood dalam mengestimasi parameternya salah satunya adalah Tibshirani pada tahun 1996. Ia memperkenalkan seleksi variabel dengan penalized likelihood dengan LASSO (least absolute shrinkage selection operator), SCAD (Smoothly clipped absolute deviation), Adaptive LASSO dan lain-lain.
Pada tahun 2010 Li, et al mengenalkan Bayesian Regularized Quantile regression dengan menggunakan penalti LASSO, group LASSO dan net penalti.
Alhamzawi, et al pada tahun 2011 juga mengenalkan Bayesian Adaptive Lasso Quantile Regresion. Dan tahun 2012 Alkenani, et al memperkenalkan Penalized Flexibel Bayesian Quantile Regression dengan LASSO dan Adaptive LASSO dengan asumsi distribusi galat infinite mixture of Gaussian Densities.
Pada tahun 2002, Thionas mengembangkan regresi kuantil Bayesian dengan algoritma Gibbs sampling. Selanjutnya tahun 2009, Hiedo Kozumi dan Kobayashi mengembangkan regresi kuantil Bayesian dengan metode MCMC dengan bantuan algoritma Gibbs Sampling yang berdasarkan pada mixture representation dari asymmetric laplace distribution. Mereka memaparkan dengan algoritma tersebut dengan mudah menemukan densitas dari posterior. Pada Tahun 2013, Rahim Alhamzawi menyempurnakan tulisan sebelumnya dalam bentuk tesis yang juga membahas regresi kuantil bayesian, selain itu pada tahun yang sama Annisa Hanif dalam skripsinya membahas regresi kuantil dengan menggunakan estimasi bayesian. Hanif menggunakan metode MCMC dengan algoritma Gibbs sampling.
1.5 Metode Penulisan
Metode yang digunakan dalam penulisan skripsi ini adalah studi literatur yang didapat dari perpustakaan, buku-buku, jurnal-jurnal, dan situs-situs internet yang berhubungan dengan tema skripsi ini. Pengerjaan skripsi ditunjang oleh
perangkat lunak (software) SPSS 16, Eviews 6.0, R 3.0.0 dengan package lmtest, quantreg, MCMCpack dan bayesQR untuk mencari nilai estimasi parameter regresi kuantil terpenalti dengan metode fleksibel bayesian.
1.6 Sistematika Penulisan
Skripsi ini disusun dengan sistematika penulisan sebagai berikut:
BAB I PENDAHULUAN
Bab ini berisi tentang latar belakang penulisan skripsi, pembatasan masalah dalam skripsi, tujuan yang ingin dicapai dalam penulisan, tinjauan pustaka, metode penulisan yang digunakan, dan sistematika penulisan yang memberikan arah dan tujuan penulisan skripsi ini.
BAB II DASAR TEORI
Bab ini membahas tentang dasar-dasar teori penunjang yang mendasari dan mendukung pembahasan regresi kuantil terpenalti dengan metode fleksibel bayesian.
BAB III PEMBAHASAN
Bab ini akan membahas pokok tema skripsi penjabaran tenteng regresi kuantil terpenalti serta penerapan metode fleksibel bayesain dan penggunaan algoritma Gibbs sampling.
BAB IV STUDI KASUS
Bab ini menjelaskan studi kasus yang dilakukan, estimasi parameter dengan metode OLS, dan fleksibel bayesian pada regresi kuantil terpenalti. Data yang digunakan adalah data sekunder yang bersumber dari sebuah jurnal biostatistika. Data menunjukkan hubungan korelasi antara prostate spesific antigen dengan sejumlah tindak klinis pada pria yang hendak menerima prostatektomi radikal.
BAB V PENUTUP
Bab ini membahas tentang kesimpulan dari materi yang telah dibahas dari skripsi ini. Serta saran atas kekurangan dari hasil pembahasan yang bisa diberikan sebagai bahan acuan untuk penelitian lanjutan.
7
BAB II
LANDASAN TEORI
2.1 Matriks
2.1.1 Definisi matriks
Matriks adalah suatu jajaran persegi empat dari bilangan-bilangan yang disusun dalam baris dan kolom. Suatu matriks dinyatakan dalam bentuk:
= ⋮ ⋮ ⋮ (2.1)
Dimana menyatakan baris dan menyatakan kolom.
Suatu matriks yang hanya terdiri dari satu kolom disebut matriks kolom (vektor kolom) dan suatu matriks yang hanya terdiri dari satu baris disebut matriks baris (vektor baris).
Ada beberapa jenis matriks, diantaranya adalah sebagia berikut:
1.) Matiks identitas
Adalah matriks bujur sangkar dengan elemen diagonal utamanya 1 dan elemen lainnya 0. Matriks ini dinyatakan dengan .
2.) Matriks singular dan nonsingular
Jika adalah matriks bujur sangkar, terdapat matriks yang ukurannya sama sedemikian rupa sehingga = = maka disebut dapat dibalik (invertible) dan B disebut invers dari A. Jika matriks tidak dapat didefinisikan maka disebut sebagai matriks singular. Matriks singular memiliki nilai determinan sama dengan nol dan tidak memiliki invers, dan sebaliknya jika B dapat didefinisikan, memiliki determinan tak nol dan memiliki invers disebut matrik nonsingular.
3.) Matriks Diagonal
Suatu matriks bujur sangkar yang semua entrinya tidak terletak pada diagonal utama adalah nol.
4.) Matriks Simetrik
Suatu matriks bujur sangkar adalah simetrik jika = 5.) Matriks Idempoten
Adalah matriks yang didefinisikan sebagai = , dan juga didefinisikan bahwa = yang artinya bahwa hasil perkalian matriks
dengan dirinya sendiri adalah matriks itu sendiri.
6.) Matriks Definit Positif
Suatu matriks simetrik A disebut matriks yang definit positif jika >
0 untuk sembarang vektor ≠ 0 . Matriks A adalah matriks simetrik definit positif jika dan hanya jika minimal terdapat satu akar karakteristiknya yang lebih dari nol.
= = ⋮ ⋮ ⋮
| | =
| | =
| | =
Matriks A akan definit positif jika | |, | |, … , | | > 0 7.) Matriks Semi Definit Positif
Matriks empirik disebut semi definit positif jika ≥ 0 untuk sembarang vektor ≠ 0.
2.1.2 Perkalian matriks
Jika adalah matriks dan adalah matriks maka hasil kali (cross product) AB adalah matriks yang entri-entrinya ditentukan sebagai berikut:
Untuk mencari entri pada baris dan kolom dari , pisahkan baris dari matriks dan kolom dari . Kalikan entri-entri yang bersesuaian dari baris dan kolom tersebut kemudian jumlahkan hasil yang diperoleh.
9
2.1.3 Transpose matriks
Jika A adalah matriks mxn maka transpose dari A dinyatakan dengan didefinisikan sebagai matriks nxm yang didapatkan dengan mempertukarkan baris-baris dan kolom-kolom dari A, sehingga kolom pertama dari adalah baris pertama dari A, kolom kedua dari adalah baris kedua dari A, begitu setersnya.
Sifat-sifat transpose:
1.) (( ) ) =
2.) ( + ) = + ( − ) = −
3.) ( ) = dengan k adalah skalar sembarang 4.) ( ) =
2.1.4 Determinan matriks
Suatu hasil kali elementer (elementary product) dari suatu matriks A, nxn adalah hasil kali dari n entri dari A, yang tidak satupun berasal dari baris atau kolom yang sama. Misalkan A adalah matriks bujursangkar, fungsi determinan dinotasikan dengan didefinisikan sebagai jumlah semua hasil kali elementer bertanda dari A. Angka ( ) disebut determinan dari A.
det( ) = ∑ ± … (2.2)
Teorema 2.1.3 Misalkan A adalah matriks bujur sangkar.
a) Jika A memiliki satu baris atau satu kolom bilangan nol, maka ( ) = 0
b) ( ) = ( )
2.1.5 Invers matriks
Jika A adalah matriks bujursangkar, dan jika terdapat B yang ukurannya sama sedemikian rupa sehingga AB = BA = I maka A disebut dapat dibalik (invertible) dan B disebut sebagai invers dari A, dinotasikan dengan .
= | | ( ) (2.3)
dimana | | ≠ 0 dan ( )adalah transpose dari matriks kofaktor dari . Sifat-sifat invers:
1.) Jika B dan C keduanya invers dari matriks A, maka B = C
2.) = =
3.) ( ) =
2.1.6 Trace matriks
Jika A adalah sebuah matriks bujursangkar, maka trace dari A yang dinyatakan sebagai tr(A), didefinisikan sebagai jumlah entri-entri pada diagonal uatama A. Trace dari A tidak dapat didefinisikan jika A bukan matriks bujur sangkar.
2.2 Probabilitas Bersyarat dan Independensi 2.2.1 Probibilitas bersyarat
Definisi 2.2.1 Misalkan A adalah kejadian dengan P(A) > 0, maka probabilitas bersyarat ( | )didefinisikan sebagai:
( | ) = ( ∩ )( ) (2.4)
dengan P(B) ≠ 0 (Bain dan Engelhardt, 1992).
Teorema 2.2.1 Untuk setiap kejadian A dan B diperoleh,
( ∩ ) = ( ) ( | ) = ( ) ( | ) (2.5)
Persamaan (2.5) juga dikenal dengan Multiplication Theorem of Probability (Bain dan Engelhardt, 1992).
2.2.2 Hukum Total Probabilitas
Teorema 2.2.2 Jika B1, ..., Bkadalah kejadian saling asing lengkap, maka untuk setiap kejadian A diperoleh,
( ) = ∑ ( ) ( | ). (2.6)
Bukti:
Kejadian ∩ , ∩ , … , ∩ adalah kejadian saling asing. Maka berlaku:
( ) = ( ∩ ).
Hasil dari teorema 2.2.2 merupakan aplikasi dari persamaan (2.5) untuk setiap indeks.
Dalam beberapa kondisi, kejadian A tidak dipengaruhi oleh kejadian B atau sebaliknya kejadian B tidak dipengaruhi kejadian A. Kondisi ini dikatakan A independen dengan B (Bain dan Engelhardt, 1992).
11
2.2.3 Kejadian independen
Definisi 2.2.3.1 Dua kejadian A dan B disebut kejadian yang independen bila
( ∩ ) = ( ) ( ) (2.7)
(Bain dan Engelhardt, 1992).
Teorema 2.2.3 Bila A dan B independen maka dan B, A dan ,dan independen.
Bukti :
Untuk dan B. Perhatikan B = ( ∩ ) ∪ ( ∩ )karena ( ∩ ) dan ( ∩ ) saling asing maka ( ) = ( ∩ ) + ( ∩ ), yang berarti ( ∩ ) = ( ) − ( ∩ ). Karena A dan B independen maka
( ∩ ) = ( ) ( ) atau ( ∩ ) = ( ) − ( ) ( ) =
( ) 1 − ( ) = ( ) ( ).
Untuk dan . Perhatikan A = ( ∩ ) ∪ ( ∩ )karena ( ∩ ) dan ( ∩ ) saling asing maka ( ) = ( ∩ ) + ( ∩ ), yang berarti ( ∩ ) = ( ) − ( ∩ ). Karena A dan B independen maka
( ∩ ) = ( ) ( ) atau ( ∩ ) = ( ) − ( ) ( ) =
( ) 1 − ( ) = ( ) ( ).
Untuk dan . Perhatikan = ( ∩ ) ∪ ( ∩ )karena ( ∩ ) dan ( ∩ ) saling asing maka ( ) = ( ∩ ) + ( ∩ ), yang berarti ( ∩ ) = ( ) − ( ∩ ). Karena dan B independen maka ( ∩ ) = ( ) ( ) atau ( ∩ ) = ( ) −
( ) ( ) = ( ) 1 − ( ) = ( ) ( ).
(Bain dan Engelhardt, 1992).
Definisi 2.2.3.2 Kejadian , , … , disebut independen bila
1. ) ( ∩ … … ∩ ) = ( )
2. ) ∩ … … ∩ = ( )
untuk setiap { , , … , } ⊆ {(1,2, … , } (Bain dan Engelhardt, 1992).
2.3 Variabel Random
Definisi 2.3.1 Suatu variabel random X adalah suatu fungsi yang didefinisikan di sekitar himpunan sampel S yang menghubungkan suatu nilai riil, X(e)=x, dengan setiap kemungkinan hasil e dalam S (Bain dan Engelhardt, 1992).
2.3.1 Variabel random diskret
Definisi 2.3.2 Jika kumpulan dari semua kemungkinan nilai pada variabel random dan X suatu kumpulan yang dapat dihitung x1, x2, ..., xn, maka X disebut variabel random diskret. Fungsi dari variabel random diskret ( ) = ( = ) dengan x = x1, x2, ..., xn yang memberikan probabilitas pada tiap kemungkinan nilai x, discrete probability density function (pdf diskret). Fungsi f(x) adalah pdf diskret jika dan hanya jika memenuhi kedua sifat yaitu ( ) ≥ 0 untuk semua i, dan ∑∀ ( ) = 1. Fungsi F(x) adalah cumulative distribution function (CDF)untuk variabel random X yang didefinisikan untuk semua x yaitu F(x) = P[X ≤ x] (Bain dan Engelhardt, 1992).
2.3.2 Variabel random kontinu
Definisi 2.3.3 Suatu fungsi f(x) adalah pdf untuk variabel random kontinu jika dan hanya jika memenuhi sifat
( ) ≥ 0
∫ ( ) = 1
( ≤ ≤ ) = ( )
dan fungsi F(x) = P[X ≤ x ] yang memberikan harga peluang pada suatu interval (-∞, ] untuk setiap nilai x yang mungkin dinamakan sebagai fungsi distribusi kumulatif (cumulative distribution function). CDF dari suatu variabel random kontinu X didefinisikan untuk setiap bilangan real x:
( ) = ( ≤ ) = ( )
(Bain dan Engelhardt, 1992).
13
2.4 Ekspektasi ,Variansi, Skewnes, dan Kurtosis 2.4.1 Ekspektasi variabel random
Jika X merupakan variabel random dengan pdf f(x), maka nilai ekspektasi dari X didefinisikan sebagai berikut :
kontinu X
jika dx x f x X E
diskrit X jika x
xf X
E
x
, ,
(2.8)
Sifat-sifat ekspektasi sebagai berikut :
1. ( ± ) = ( ) ± ( ) (2.9)
Untuk kasus diskret
( ± ) = ( ± ). ( )
= ∑ ( ) ± ∑ ( )
= ( ) ± ( )
Untuk kasus kontinu
( ± ) = ( ± ). ( )
= ∫−∞∞ 1. ( ) ± ∫ . ( )
= ( ) ± ( )
2. ( + ) = ( ) + , a dan b merupakan konstan (2.10)
Untuk kasus diskret
( + ) = ( + ). ( )
= ∑ ( ) + ( )
= ∑ ( ) +
= ( ) +
Untuk kasus kontinu
( + ) = ( + ) ( )
= ∫ ( ) + ∫ ( )
= ( ) +
= ( ) +
3. ( ) = ( ) ( ), jika X1 dan X2 independen (2.11)
Untuk kasus diskret
( ) = ( ) ( )
= ∑ ( ). ∑ ( )
= ( 1) ( 2)
Untuk kasus kontinu
( ) = ( ) ( )
= ∫ ( ) ∫ ( )
= ( ) ( ) 2.4.2 Variansi variabel random
Variansi dari variabel random didefinisikan sebagai berikut:
Var(X) = [( − ]
= ( ) − 2 ( ) +
= ( ) − ( ( )) (2.12)
Variansi dari variabel aX+b didefinisikan sebagai berikut:
Var(aX+b) = [( + − − )]
= E[ ( − ) ]
= ( ) (2.13)
2.4.3 Skewnes dan kurtosis variabel random
Skewnes dan kurtosis dari variabel random didefinisikan sebagai berikut:
( ) = ( ) =( [(( ) ])) (2.14)
Diberikan gambar untuk lebih jelas memahami kemiringan kurva densitas (skewnes) dan ketebalan kurva densitas (kurtosis) sebagai berikut :
15
Gambar 2.1 Skewnes dan kurtosis
Terlihat pada gambar diatas bahwa nilai skewnes positif distribusinya miring kekiri (skewed to left) sebaliknya untuk skewnes negatif distribusinya miring kekanan (skewed to right). Untuk kasus kurtosis, semakin besar nilai kurtosis menghasilkan kurva yang runcing (leptokurtik), sebaliknya semakin kecil menghasilkan kurva tebal (platikurtik).
2.5 Moment Generating Function
Definisi 2.5 Jika X adalah variabel random, maka nilai harapan
( ) = ( ) (2.15)
yang disebut moment generating function (MGF) dari X jika nilai ini ada untuk semua nilai di t pada interval dengan bentuk –h <t < h untuk h>0 (Bain dan Engelhardt, 1992).
Teorema 2.5 Jika , , … , variabel random independen dengan MGF ( ) maka MGF dari = ∑ adalah :
( ) = ( ) … ( ) (2.16)
(Bain dan Engelhardt, 1992).
Bukti :
Diketahui jika = ( ) = …
( ) = ( )
= ( ) … ( )
= ( ) … ( )
2.6 Distribusi Variabel Random
Distribusi variabel random yang digunakan pada pembahasan bab selanjutnya adalah sebagai berikut
2.6.1 Distribusi normal
Variabel random X dikatakan berdistribusi normal dengan mean μ dan variansi dinotasikan dengan ~ (µ, ) apabila memiliki bentuk fungsi densitas probabilitas :
( ) = √ exp(− ( ) ) (2.17)
untuk −∞ < < ∞, dengan −∞ < µ < ∞ dan 0 < < ∞ (Bain dan Engelhardt, 1992).
2.6.2 Distribusi normal multivariat
Himpunan variabel random kontinu = { , … , } dikatakan berdistribusi normal multivariat dengan mean μ dan kovariansi Σ dinotasikan dengan ~ (µ,Σ) apabila memiliki bentuk fungsi densitas probabilitas bersama :
( ) =
( ) |∑| exp − ( − ) ( − ) (2.18)
dengan −∞ < < ∞, −∞ < < ∞, −∞ < ( ) < ∞, = 1,2, … ,
= 1,2, … , , dan = [ … ], = [ … ], Σ = .
Dimana = ( ) dan Σ adalah matriks kovariansi nonsingular (Bain dan Engelhardt, 1992).
2.6.3 Distribusi eksponensial
Variabel random kontinu X dikatakan berdistibusi eksponensial apabila X memiliki fungsi densitas probabilitas :
( ) = , ≥ 0
0 , < 0 (2.19)
dimana > 0 dan ( ) = , ( ) = (Bain dan Engelhardt, 1992).
2.6.4 Distribusi gamma
Variabel random kontinu X dikatakan berdistribusi gamma apabila X memiliki fungsi densitas probabilitas :
( ) = ( ) (2.20)
17
dengan 0 < < ∞, > 0, > 0, dan Γ( ) > 0 Γ( )merupakan fungsi gamma dimana Γ( ) = ∫ (Bain dan Engelhardt, 1992).
2.6.5 Distribusi inverse gamma
Variabel random kontinu X dikatakan berdistibusi inverse gamma apabila X memiliki fungsi densitas probabilitas :
( ) = ( ) (2.21)
dengan 0 < < ∞, > 0, > 0, dan Γ( ) > 0 Γ( ) merupakan fungsi gamma dimana Γ( ) = ∫ (Bain dan Engelhardt, 1992).
2.7 Kuantil
Misalkan X adalah variabel random kontinu dengan fungsi distribusi kumulatif F(x), kuantil ke – untuk 0 < < 1 adalah ( ) = { : ( ) ≥ ).
Median dari − berperan sebagai ukuran pusat.
2.8 Fungsi Karakteristik
Fungsi karakteristik adalah salah satu jenis transformasi yang sering digunakan pada teori peluang dan statistika. Fungsi karakteristik dari suatu variabel random X, dinotasikan dengan ( ), didefinisikan sebagai berikut :
( ) = (2.22)
dimana, −∞ < < ∞, dan = √−1 merupakan unit imajiner.
Sama halnya dengan fungsi pembangkit momen, fungsi karakteristik dapat digunakan untuk menghitung momen dari variabel random X, selain itu fungsi karakteristik dapat juga digunakan untuk menentukan fungsi distribusi dari suatu variabel random.
2.9 Analisis Regresi Linear Ganda
Menurut Walpole (1995) analisis regresi adalah salah satu metode statistik yang digunakan untuk memprediksi nilai dari satu variabel dependen dari satu atau lebih variabel independen.
Analisis regresi linear ganda merupakan analisis regresi dengan dua atau lebih variabel independen. Regresi linear ganda dapat ditulis dengan bentuk persamaan :
= + + + … + + , = 1,2, … (2.23) dimana :
= konstanta
, , … , =koefisien kemiringan parsial T = Banyaknya observasi
Jika disajikan dalam bentuk matriks, maka persamaan regresi diatas dapat ditulis sebagai berikut :
⋮ =
1 …
1⋮ ⋮ 1
⋮ ⋮ ⋮ + ⋮
atau dapat ditulis
= + (2.24)
dimana :
Y = vektor pengamatan respon berukuran (T x 1) X = variabel independen berukuran T x (k+1)
= vektor koefisien variabel independen berukuran (k+1) x 1
= vektor error berukuran (T x 1)
Asumsi yang harus dipenuhi dalam model regresi linear diantaranya sebagai berikut :
1.) Model regresi linear dalam parameter.
2.) Galat berdistribusi normal, ~ (0, ).
3.) Nilai-nilai prediktor X fixed dalam penarikan sampel berulang, atau dengan kata lain X bersifat nonstokastik, maka E( ) = sehingga
~ ( , ).
4.) Nilai ekspektasi dari error random untuk nilai X yang diberikan adalah nol, [ | ] = 0 , = 1,2,3, … , .
5.) Error bersifat homoskedastis, artinya variansi dari untuk semua observasi sama.
6.) Error bersifat noautokorelasi, yaitu korelasi antara dan , ≠ adalah nol.
19
( , ) = ( , )
( ) ( )
= [ − ( )][ − ( )]
Karena ( ) = ( ) = 0
= [ ]
= 0
= 0 (2.25)
7.) Kovariansi antara dengan adalah nol.
( , ) = [ − ( )][ − ( )]
karena ( ) = 0 , maka
= [ ( − ( ))]
= ( ) − ( ) ( )
= ( ) − 0
= ( )
= 0 (2.26)
8.) Tidak ada multikolinearitas antar variabel prediktor, artinya tidak ada hubungan linear sempurna antara variabel-variabel prediktor.
2.10 Ordinary Least Square (OLS)
Untuk mengestimasi parameter dalam model regresi linear seperti pada persamaan (2.24), dapat dilakukan dengan menggunakan metode kuadrat terkecil (ordinary least square). Estimasi parameter dengan metode ini diperoleh dengan cara meminimalkan jumlah kuadrat dari error persamaan terhadap parameter. Estimator OLS ini mempunyai sifat Best Linear Unbiased Estimator (BLUE).
Asumsi Ordinary Least Equare (OLS) :
1.) X bersifat deterministik atau variabel independennya bersifat independen terhadap error.
2.) Rank (X) = (k +1) atau X full rank atau semua baris dan kolom pada X bersifat linear independen.
3.) ( ) = 0 atau nilai ekspektasi dari error bernilai nol.
4.) ( ′) = , atau tidak ada heteroskedastisitas dari komponen error.
5.) > 0 dan tidak ada batasan nilai untuk nilai . 6.) berdistribusi normal multivariat.
Dengan menggunakan metode OLS, maka estimator untuk dapat dicari sebagai berikut :
= − (2.27)
= ( − ) ( − )
= − − +
Karena =
= − 2 + (2.28)
( )= ( − 2 + )
= ( )
− 2 ( )
+ ( )
= −2 + 2 (2.29)
( )= 0 sehingga −2 + = 0
=
( ) = ( )
= ( )
= ( ) (2.30)
Untuk menunjukkan bahwa benar-benar minimum, maka hasil dari derivatif kedua dari jumlah kuadrat error harus lebih besar dari nol.
( )= ( ( − 2 + )
)
= (−2 + 2 ) = 2
Karena 2 adalah matriks definit positif maka 2 > 0, sehingga =
( ) minimum.
21
Estimator OLS bersifat Best Linear Unbiased Estimator (BLUE), untuk membuktikan sifat ini akan ditunjukkan bahwa tak bias, linear dan mempunyai variansi minimum. Berikut bukti untuk BLUE :
1.) Tak bias
Suatu estimator dikatakan tak bias jika ekspektasi dari estimator tersebut sama dengan nilai dari parameternya.
( ) = ( ( ) )
= ( ) ( + )
= ( ( ) + ( ) )
= (( ) + )
= ( ) ( ) +
= 0 +
= 2.) Linear
Linear yang dimaksud adalah linear dalam parameter. Artinya bahwa memiliki hubungan linear dengan variabel dependennya. Dengan kata lain perubahan nilai akan dipengaruhi oleh variabel dependennya. Secara matematis, = ( ) terlihat bahwa merupakan fungsi linear dari Y.
3.) Variansi minimum
Suatu estimator akan dikatakan lebih efisien jika estimator ini memiliki varian yang lebih kecil dari varian yang dihasilkan oleh estimator lain yang juga tak bias dan linear. Untuk menunjukkan bahwa estimator OLS adalah estimator yang best maka ditunjukkan bahwa estimator OLS ini memiliki varian lebih kecil daripada varian estimator lain yang juga tak bias dan linear, Jika hasil pembandingan dengan cara pengurangan itu menghasilkan suatu matriks yang semi definit positif maka estimator dari metode OLS dikatakan lebih efisien atau best. Matriks kovarian dari adalah sebagai berikut :
− − = ( ( ) − )(( ) − )′)
= ( ( ) ( ) )
= ( ) ( ) ( )
= ( ) ( )
= ( ) (2.31)
Diambil sembarang estimator ∗ = dimana adalah matriks berukuran (k+1) x T yang tidak bergantung pada Y atau dengan kata lain estimator ini adalah parameter yang nilainya tidak diketahui.
Pada kondisi ini estimator yang linear untuk adalah estimator least square yaitu = ( ) sehingga ∗ = ( + )
= ( + )( + )
= ( + ) + ( + )
= ( ) + ( ) + ( ) + ( )
= ( + ) + ( + ) (2.32)
Dengan = ( ) dan adalah matriks (k+1) x T yang konstan dan tidak tergantung pada Y. Jika ∗ adalah estimator tak bias maka akan dibuktikan bahwa ( ∗) = adalah sebagai berikut :
( ∗) = ( + ) + ( + )
= (( ) ) + ( ) + [( + ) + ]
= ( ) + 0 =
Terbukti bahwa ∗ adalah estimator tak bias dengan = 0, dan karena
= ( ) = maka:
∗ − = (( + ) + ( + ) ) −
= − + + ( + ) = ( + )
Dan kovarian dari ∗ adalah
( ∗) = [( ∗ − )( ∗ − ) ]
= ( + ) ( + )
= [( + ) ( + )′ ]
= ( + ) ( )( + )
= ( + ) ( + )
= ( + )( + ) (2.33)
23
Nilai dari ( + )( + )
( + )( + ) = ( + )(( ) + )
= ( ( )′ + ( )′) + + +
= ( ) +
karena = = 0 sehingga didapatkan :
( ∗) = (( ) + )
( ∗) − ( ) = (( ) + ) - ( )
= (2.34)
Matriks adalah matriks yang semi definit positif karena ≥ 0. Jika
= 0 maka estimator alternatif ini akan menjadi estimator dari metode OLS.
Sehingga dapat disimpulkan bahwa estimator OLS memiliki varian yang minimum, sehingga merupakan estimator yang best.
2.11 Uji Asumsi Klasik
Model regresi berganda dibangun atas beberapa asumsi klasik yang diperlukan untuk mendapatkan estimator OLS yang bersifat BLUE. Berikut merupakan keterangan singkat tentang uji asumsi klasik dari model regresi.
a. Uji Multikolinearitas
Dalam model regresi diasumsikan tidak memuat hubungan dependensi linear antar variabel independen. Jika terjadi korelasi kuat yang muncul, maka akan terjadi multikolinearitas. Jika hal ini terjadi maka akan menghasilkan estimasi yang tidak valid dan memiliki standar error yang tinggi.
Multikolinearitas dapat terjadi akibat adanya kesalahan metode dalam pengumpulan data, kurang tepat dalam melakukan spesifikasi model, dan model bersifat overdetermined yang artinya jumlah variabel independen lebih banyak daripada jumlah data.
Penyelesaian masalah ini ada berbagai cara yaitu menambah lebih banyak observasi, menguluarkan variabel independen yang memiliki korelasi yang kuat, mengkombinasikan data time series dengan cross sectional, mentransformasikan variabel independen atau melakukan analisis regresi bayesian atau ridge.
Uji multikolinearitas ini dapat dideteksi dengan adanya koefisien determinasi tinggi namun t hitung tiap koefisien tidak signifikan, adanya korelasi tinggi antara variabel independen, nilai VIF >10, dan TOL < 0,1
dengan = dan = .
b. Uji Heteroskedastisitas Galat
Uji ini bertujuan untuk menganalisis apakah variansi galat bersifat tetap atau konstan atau berubah-ubah. Dalam regresi OLS, diasumsikan sedemikian sehingga variansi dari masing-masing residual bersyarat terhadap pemilihan prediktor merupakan suatu konstanta yang bernilai sama. Keadaan ini disebut homoskedastisitas, dilambangkan ( ) = dengan = 1,2,3, . . , . Bila terjadi heteroskedastisitas maka kesimpulan apapun yang kita ambil dalam regresi OLS akan meyesatkan (misleading). Hal ini terjadi dikarenakan adanya data outlier, adanya kekeliruan spesifikasi model dan sebagainya.
Deteksi adanya heteroskedastisitas dapat dilakukan secara grafis dengan membuat scatterplot antara dengan . Jika sebaran dari plot ini membentuk pola tertentu yang tidak acak maka terdapat heteroskedastisitas, dan sebaliknya. Selain itu uji statistik yang dapat dilakukan adalah uji Breuch- Pagan, atau yang lebih umum dikenal dengan uji White. Uji BP dilakukan dengan menghitung statistik BP = ∑ dari regresi semu antara residual kuadrat terstandarisasi = ⁄ , = ∑ .
dengan hipotesis sebagai berikut:
H0: Asumsi homoskedastisitas terpenuhi H1: Asumsi homoskedastisitas tidak terpenuhi
Menolak H0 jika BP > untuk suatu nilai (tingkat signifikansi) tertentu, yang nilainya biasanya 0,05.
Untuk menyelesaikan masalah ini dapat dilakukan estimasi model dengan metode weight least square (WLS), mentransformasi variabel independen, menggunakan estimasi white yang bersifat heteroscedasticity consistent, melakukan regresi kuantil.
25
c. Uji Autokorelasi Residual
Dalam asumsi OLS klasik, residual bersifat independen satu dengan yang lain. Bila terjadi autokorelasi akan menghasilkan spesifikasi model yang bias.
Autokorelasi orde 1 dapat dideteksi dengan metode grafik, uji run, uji Durbin- Watson, Ljung-Box, Breuch-Godfrey dan sebagainya. Metode grafik dengan membuat scatterplot antara residual ke-i ( ̂ ) dengan residual ke-i+1( ̂ ) atau dengan residual ke-i-1( ̂ ). Jika plot tersebut membentuk trend linear dapat dicurigai bahwa ada autokorelasi pada residual.
Uji statistika yang sering digunakan adalah Durbin-Watson, yang dirumuskan sebagai berikut:
=∑ ∑( ̂ ̂̂ )
dengan n = jumlah data. Setelah mendapatkan nilai d, lalu kita membandingkan dengan nilai du dan dl yang tersedia pada tabel kritik Durbin-Watson. Berikut merupakan aturan pengambilan keputusan uji Durbin-Watson:
Tabel 2.1 Aturan keputusan uji Durbin-Watson
Hipotesis nol Keputusan Jika d berada pada
rentang Tidak ada korelasi
positif Menolak H0 0 < <
Tidak ada korelasi
positif Tidak ada keputusan ≤ ≤
Tidak ada korelasi
negatif Menolak H0 4 − ≤ ≤
Tidak ada korelasi
negatif Tidak ada keputusan 4 − ≤ ≤ 4 −
Tidak ada korelasi
positif dan negatif Tidak Menolak H0 ≤ ≤ 4 −
Apabila galat mengandung autokorelasi dapat dilakukan penanganan yaitu estimasi dengan menggunakan metode generalized least square, melakukan respesifikasi model dengan memasukkan komponen lag variabel dependen atau independen ke dalam model, atau dengan menggunakan pendekatan estimator Newey-West yang bersifat heteroscedasticity and autocorrelation consistent.
d. Uji normalitas galat
Salah satu uji asumsi yang sering disorot adalah uji normalitas residual.
Yaitu dimana akan mengecek residual berdistribusi normal atau tidak. Jika residual tidak berdistribusi normal maka prediksi dan estimasi parameternya menjadi tidak valid dan reliabel. Deteksi untuk uji ini dapat dilakukan dengan berbagai cara, secara visual dapat dengan melihat histogram dari residualnya ( = − ). Bila histogram membentuk genta/lonceng yaitu memiliki satu puncak ditengah maka dapat dikatakan residual berdistribusi normal dan sebaliknya.
Selain itu dapat pula dengan membuat PP atau QQ plot yang merupakan scatterplot residual pada salah satu sumbu dengan harga harapannya probabilitas kumulatif dari distribusi normal. Teknik ini dipandang lebih argumentatif dibanding histogram karena membandingkan antara distribusi empirik data dengan distribusi teoritik normal.
Secara uji statistik dapat digunakan uji kesesuaian distribusi. Uji ini lebih bisa meyakainkan karena terdapat nilai p-value uji sehingga kesimpulan lebih meyakinkan. Beberapa contoh uji kesesuaian distribusi yaitu Uji Chi-square, Kolmogorov-Smirnov, Liliefors, Anderson-Darling dan Jarque-Bera. Untuk sampel besar sering dilakukan uji Jarque-Bera, dengan nilai statistik JB adalah:
= +( )
dimana S = skewnes, K= kurtosis dan n= banyak data. Untuk pengujian ini digunakan hipotesis,
H0: Residual berdistribusi normal H1: Residual tidak berdistribusi normal
Menolak H0jika JB > untuk suatu nilai (tingkat signifikansi) tertentu, yang nilainya biasanya 0,05.
Uji ini sering sekali tidak terpenuhi karena data dilapangan banyak yang mengandung outlier dan distrbusi dari data tidak simetris, sehingga residual tidak berdistribusi normal. Penanganan untuk masalah ini adalah dengan
27
melakukan transformasi data yang sesuai atau melakukan analisis regresi kuantil.
2.12 Fungsi Likelihood Definisi 2.12 Fungsi likelihood
Misalkan , , … , merupakan sampel random dari distribusi besyarat X diberikan dengan fungsi densitas probabilitas ( | ). Fungsi densitas bersama dari = ( , , … , ) diberikan adalah
( | ) = ( | ) ( | ) … ( | ) = ∏ ( | ) (2.35) ( | ) dinamakan fungsi likelihood. Fungsi likelihood juga dapat ditulis sebagai ( | ) (Bain dan Engelhardt, 1992).
2.13 Penalized Function
Penalized function merupakan fungsi penting dalam menentukan dan pada estimasi terpenalti. Penalized function sering digunakan pada metode regresi linear, regresi logistik, regresi poisson, cox proportional hazard model, regresi kuantil dan masih banyak yang lain. Beberapa macam penalized function yang biasa digunakan adalah L1 absolute value (LASSO), L2 quadratic (Ridge), kombinasi L1 dan L2 (Naive elastic net), fussed LASSO, weighted LASSO (Adaptive LASSO), SCAD, penalti nonconcav.
Diberikan , , … , berdistribusi Gaussian yang tidak diketahui mean vektor dan matrik kovariannya , sehingga dinotasikan dengan
~( , ), dimana = ( , , … , ) . Diberikan matrik kovarian sampel dinotasikan dengan , yang berisikan elemen yaitu ∑ − ̅ ( − ̅ ) / , dimana ̅ = ∑ dan ̅ = ∑ yang berarti mean sampel dari kompenen ke j dan ke k. Kemudian diberikan matrik ketepatan = Σ yang diestimasi dengan memaksimumkan dua kali fungsi log-likelihoodnya diperoleh persamaan berikut ini:
2 ( ) = − + c (2.36)
dimana adalah trace dari matriks dan c adalah konstanta. Sesuai dengan rangka penalized likelihood, estimasi untuk matriks ketepatan yang lebih kecil adalah dengan persamaan berikut:
max∈ − − ∑ ∑ (2.37)
dimana adalah elemen ke i,j dari matrik dan adalah parameter yang bersesuaian (tuning parameter).
Untuk LASSO penalty digunakan L1 penalized function dengan (| | =
| |). (Tibshirani,1996). Sedangkan untuk adaptive LASSO yang pada dasarnya adalah versi pembobotan dari LASSO penalty dengan beberapa bobot terpilih yang benar. Didefinisikan bobot adaptive dengan = 1/ untuk > 0 dan estimasi dari = , . Kemudian dengan memasukkan adaptive LASSO penalty ke persamaan 2.51 maka kita peroleh
max∈ − − ∑ ∑ (2.38)
(Zou, 2006).
2.14 Teorema Bayes
Salah satu teorema yang banyak digunakan dalam statistika yang pertama kali diterbitkan oleh seorang menteri yang juga seorang matematis bernama Thomas Bayes pada tahun 1973. Aturan ini nantinya menjadi salah satu dasar lahirnya suatu pendekatan baru dalam estimasi dan inferensi statistika yaitu metode bayesian.
Teorema 2.14 Aturan Bayes
Jika , , … , adalah himpunan kejadian saling asing lengkap maka untuk j = 1,2, ..., k berlaku :
= ∑ (2.39)
(Bain dan Engelhartd, 1992).
Bukti:
Diberikan , , … , ,merupakan kejadian saling asing maka:
( ) = ( )
29
Dari pembahasan sebelumnya diperoleh :
( ) = ( ) ( | )
Sehingga
( ) = ( ) ( | )
Kemudian di peroleh = ( ) =∑ .
2.15 Analisis Bayesian
Analisis Bayesian adalah suatu analisis yang berdasarkan pada informasi sampel (sample information) dan informasi prior (prior information). Gabungan dari informasi sampel dan informasi prioe disebut informasi posterior (posterior information).
Dalam analisis bayesian, parameter dianggap sebagai variabel random.
Parameter ini dilambangkan . Distribusi dari disebut distribusi prior dilambangkan dengan ( ). Informasi sampel direpresentasikan sebagai perkalian densitas probabilitas x bersyarat , dilambangkan dengan notasi ∏ ( | ) = ( | ), dinamakan fungsi likelihood. Fungsi likelihood sudah dibahas di pembahasan sebelumnya.
2.15.1 Distribusi posterior
Berdasarkan Subanar (2006), distribusi posterior ( | )adalah distribusi bersyarat parameter jika diberikan data observasi x, yang secara matematis dinyatakan dengan:
( | ) = ( , )( ) (2.40)
dimana,
( , ) = ( | ) ( ) (2.41)
dan distribusi marginal dari x adalah :
( ) = ∫ ( | ) ( ) (2.42)
Distribusi posterior pada persamaan (2.40) dengan menggunakan metode Box-Tiao ditulis dengan ;
( | ) ∝ ( | ) ( ) (2.43)
2.15.2 Distribusi prior sekawan (conjugate prior distribution)
Adanya kesulitan yang mungkin dihadapi dalam menghitung ( | ) membuat statistisi Bayesian mengembangkan konsep tentang disribusi prior sekawan yang merupakan suatu keluarga distribusi dan bertujuan untuk menyederhanakan perhitungan.
Definisi 2.15.2 Distribusi prior sekawan
Misalkan F adalah keluarga yang berkaitan dari distribusi ( | ). Keluarga parametrik P dari distribusi prior ( ) disebut keluarga sekawan (conjugate family) untuk F bila distribusi posterior ( | ) berada dalam keluarga P untuk semua ∈ (Berger,1985).
Sifat sekawan suatu keluarga distribusi dalam setiap situasi tergantung pada bentuk fungsi likelihood, dan fungsi likelihood ini tergantung pada model statistik yang dipilih (Subanar, 2006).
2.15.3 Prior tak informatif dan prior tak sejati
Prior tak informatif (noninformative prior) adalah prior yang tidak memuat informasi tentang (tidak ada yang lebih disukai dari yang lain). Sedangkan prior tidak sejati (improper prior) jika ∫ ( ) ≠ 1 (Subanar,2006).
2.15.4 Estimasi titik bayesian
Misalkan ingin dicari estimator titik dari . Dari pandangan bayesian, maka persoalannya menjadi pencarian ( ) yang merupakan nilai prediksi dari bila nilai x dan distribusi posterior ( | ) diketahui. Pencarian ( ) ini tidak terlepas dari fungsi kerugian ( , ( )) dan bagaimana memilih ( ) sehingga risiko bayesiannya minimum (Subanar,2006).
Definisi 2.15.4.1 Risiko Bayes ( , ( )) didefinisikan sebagai , ( ) = , ( ) = [ ( ( , ( ))| ] (Subanar,2006).
Definisi 2.15.4.2 Risiko posterior ( , ( ) relatif terhadap distribusi posterior ( | ) didefinisikan sebagai
( , ( ) = ( , ( ) ( | ) ( , ( ) ( | )
31
(Subanar,2006).
Estimator Bayes adalah estimator yang meminimumkan ( , ( ). Dalam praktiknya pencarian estimator bayes lebih mudah melalui estimator yang meminimumkan risiko posterior seperti yang akan ditunjukkan dalam teorema dibawah ini.
Teorema 2.15.4.1 Misalkan terdapat fungsi ( ) yang meminimumkan risiko posterior ( , ( ), maka ( ) adalah estimator Bayes (Subanar,2006).
Bukti:
Akan dibuktikan untuk kasus kontinu. Untuk kasus diskret dapat dibuktikan secara analog dengan kasus kontinu. Risiko bayes untuk fungsi ( )adalah
, ( ) = , ( )
= [ ( ( , ( ))| ]
= , ( ) ( | ) ( )
= , ( ) ( , )
= ∫ ∫ , ( ) ( ) ( ) (2.44)
Integral bagian dalam pada persamaan (2.55) adalah risiko posterior. Karena ( ) tak negatif, maka minimum , ( ) sama dengan minimum , ( ) sehingga teorema terbukti.
Teorema 2.15.4.2 Dalam kasus fungsi kerugian kuadratis, yaitu , ( ) =
− ( ) maka estimator Bayes adalah mean dari distribusi posterior, yaitu ( | ) (Subanar,2006).
Bukti:
, ( ) = − ( ) ( | )
= ( | ) + ( ) ( | ) − 2 ( ) ( | )
Harga ( )yang meminimumkan , ( ) didapat dengan mendiferensikan , ( ) terhadap ( ) dan menyamakannya dengan nol. Sehingga diperoleh
, ( )
( ) = 2 ( ) ( | ) − 2 ( | ) = 2 ( ) − 2 ( | ) Karena , ( )( ) = 0, sehingga ( ) = ( | ). Selanjutnya untuk mengecek apakah ( ) minimum, maka turunan kedua dari , ( ) terhadap ( ) > 0.
Diperoleh ( ), ( ) = 2 − 0 = 2. Karena ( ), ( ) = 2 > 0 maka ( )minimum dan merupakan estimator Bayes yaitu ( ) = ( | ).
2.15.5 Metode markov chain monte carlo (MCMC)
Metode MCMC adalah metode komputasi yang digunakan untuk memperoleh sampel dari distribusi posterior. Tujuan dasar metode MCMC adalah mensimulasikan nilai-nilai sampel dari distribusi posterior untuk suatu vektor parameter. Secara umum sampel yang dibangkitkan dari distribusi posterior berkorelasi, namun korelasi ini cenderung menghilang seiring meningkatnya interval pengambilan sampel. Dengan demikian, jika update sampel yang besar dilakukan, grup terakhir dari barisan sampel ( ), ( ), … , ( ) mewakili sampel dari distribusi posterior. Iterasi ( ), ( ), … , ( ) dikenal dengan nama burn-in dan tidak mewakili sampel dari distribusi posterior (Hamada et al, 2008).
Iterasi dalam metode MCMC harus dilakukan sampai diperoleh hasil yang konvergen. Brooks dan Gelman (1998) mengukur kekonvergenan dari m rantai dalam MCMC dengan menggunakan nilai potential scale reduction factor, .
= + 1
− − 1
dimana:
= +
= ( )∑ ∑ ( − )
= ∑ ( − )
m : jumlah rantai
n : jumlah iterasi
: variabel random
: nilai iterasi ke-t dari rantai ke-j
33
: rata-rata nilai pada rantai ke-j
: rata-rata keseluruhan nilai
Nilai diberikan secara otomatis oleh software. Apabila nilai untuk setiap parameter mendekati 1, maka iterasi dikatakan konvergen.
Dilihat dari sudut pandang yang lebih umum, algoritma MCMC menghasilkan random-walk dari distribusi peluang. Dengan mengambil sejumlah langkah yang cukup pada random-walk, algoritma simulasi MCMC menuju ke ruang sampel yang sebanding dengan peluang posteriornya. Untuk tujuan inferensi, kita dapat meringkas iterasi pada random-walk sehingga kita akan meringkas sampel independen dari distribusi posterior.
2.15.6 Gibbs sampling
Algoritma Gibbs sampling merupakan salah satu algoritma yang menerapkan metode MCMC. Dalam algoritma ini dibutuhkan distribusi posterior lengkap untuk semua parameter. Anggap bahwa vektor parameter dapat dipartisi menjadi q komponen = ( , , … , ) dan dinotasikan distribusi bersyarat lengkap dengan :
( | , … , , ) ( | , … ,⋮ , )
Berikut adalah alur dari algoritma Gibbs sampling:
1.) Inisialisai nilai ( )= ( ), ( ), … , ( ), 2.) Membangkitkan ( )~ | ( ), ( ), … , ( ), 3.) Membangkitkan ( )~ | ( ), ( ), … , ( ),
4.) Melakukan dengan analog hingga membangkitkan Membangkitkan
( )~ | ( ), ( ), … , ( ),
5.) Mengulangi kembali kangkah 2 sampai 4 sebanyak jumlah iterasi.
2.16 Pemilihan Model
MSE (Mean Square Error) dan
Kriteria dalam pemilihan model terbaik ada beberapa macam, diantaranya yaitu dengan menggunakan nilai SSE dan . Model terbaik adalah model yang memiliki nilai MSE terkecil dan terbesar. Rumus untuk mencari MSE dan adalah sebagai berikut:
= ∑ ( ) dengan adalah data hasil observasi, adalah data hasil estimasi dan n adalah jumlah observasi dan p adalah jumlah variabel independen ditambah kontan.
= 1 − dimana = ∑ ( − ) dimana adalah rata-
rata data hasil observasi.
(Zulaela, 2010).
