MODEL REGRESI MULTIVARIAT BAYESIAN
DENGAN DISTRIBUSI PRIOR NONINFORMATIF JEFFREYS
Firda Amalia, Dewi Retno Sari Saputro, Purnami Widyaningsih Program Studi Matematika FMIPA
Abstrak. Metode Bayesian merupakan metode yang dapat digunakan untuk
meng-estimasi parameter model regresi multivariat. Dalam metode Bayesian terdapat dua dis-tribusi yaitu disdis-tribusiprior danposterior. Distribusiprior Jeffreys merupakan jenis dis-tribusiprior noninformatif, yaitu distribusiprior yang digunakan ketika tidak diketahui informasi parameter. Penelitian ini bertujuan untuk mengestimasi parameter model re-gresi multivariat menggunakan metode Bayesian dengan distribusi prior noninformatif Jeffreys. Distribusiprior noninformatif Jeffreys dikalikan dengan informasi data sampel menggunakan teorema Bayes yang hasilnya proporsional dengan distribusiposterior yang digunakan untuk mengestimasi parameter. Berdasarkan hasil dan pembahasan, estimasi parameter merupakan nilai ekspektasi dari distribusi posterior marginalnya. Namun dalam perhitungan estimasi parameter melibatkan integral fungsi yang sulit ditentu-kan nilai integralnya sehingga digunaditentu-kan pengambilan sampel dengan algoritme Markov chain Monte Carlo (MCMC) Gibbs sampling sebagai pendekatan dalam mengestimasi parameternya.
Kata kunci: model regresi multivariat, metode Bayesian, prior noninformatif Jeffreys, Gibbs sampling
1. PENDAHULUAN
Model regresi adalah model yang digunakan untuk mendapatkan suatu ben-tuk hubungan antara variabel respon dengan variabel prediktor yang dipengaruuhi oleh parameter yang tidak diketahui dalam model. Model regresi dengan satu vari-abel respon disebut model regresi univariat, sedangkan model regresi dengan dua atau lebih variabel respon yang saling berkorelasi disebut model regresi multivariat (Mendes. [12]). Pada model regresi terdapat parameter yang merupakan karakter-istik populasi. Untuk mendapatkan nilai parameter dilakukan estimasi parameter.
Menurut Bolstad [6], jika dalam mengestimasi parameter hanya ada infor-masi sampel, maka digunakan metode klasik. Namun, jika inforinfor-masi distribusi awal sampel dijadikan faktor pertimbangan dalam estimasi parameter, maka di-gunakan metode Bayesian. Dalam metode Bayesian informasi sampel yang diguna-kan adalah fungsi likelihood dan informasi distribusi awal sampel sebagai distri-busi prior. Fungsi likelihood adalah fungsi probabilitas bersama dari sampel ran-dom. Metode Bayesian didasarkan pada teorema Bayes. Menurut Harris et al. [9] perhitungan pada metode Bayesian adalah mengalikan fungsi likelihood dengan distribusi prior yang hasilnya proporsional dengan distribusi posterior. Distribusi posterior dipengaruhi oleh pemilihan distribusi prior.
digunakan distribusiprior informatif. Sebaliknya, jika informasi parameter tidak di-ketahui, maka digunakan distribusi prior noninformatif. Menurut Yangand Berger [16], terdapat empat jenis distribusi prior noninformatif yaitu uniform, Jeffreys, reference, dan informasi data maksimal. Distribusiprior noninformatif Jeffreys me-rupakan pengembangan distribusi prior noninformatif uniform.
Distribusi prior noninformatif uniform digunakan oleh Sinay and Hsu [13] untuk mengestimasi parameter model regresi multivariat Bayesian. Berbeda de-ngan Sinay and Hsu [13] pada penelitian ini digunakan distribusi prior noninfor-matif Jeffreys yang dapat mengatasi masalah invariant yang tidak dapat diatasi menggunakan distribusiprior noninformatifuniform. Distribusiprior noninformatif Jeffreys merupakan prior noninformatif yang biasa digunakan pada model regresi multivariat Bayesian (Sun and Berger [14]). Penelitian tentang distribusi prior noninformatif Jeffreys sebelumnya dilakukan oleh Amalia dkk. [1] yang menggu-nakan distribusiprior noninformatif Jeffreys untuk menentukan estimasi parameter model regresi linier sederhana. Pada tahun 2017 Amalia et al. [2] mengembang-kan penelitian Amalia dkk. [1] dengan menggunamengembang-kan distribusi prior noninformatif Jeffreys untuk menentukan estimasi parameter model regresi multivariat, namun tidak dilakukan penerapannya. Dalam penelitian ini dilakukan estimasi parameter model regresi multivariat menggunakan metode Bayesian dengan distribusi prior noninformatif Jeffreys serta penerapannya.
2. MODEL REGRESI MULTIVARIAT
Menurut Johnson and Wichern [11], model regresi multivariat adalah model regresi yang memiliki m variabel respon Y1,Y2, ...,Ym dan r variabel prediktor
X1,X2, ...,Xr dengan observasi sebanyakn. Model regresi multivariat adalah
Y1 =β01+β11X1+β21X2+...+βr1Xr+ε1
Y2 =β02+β12X1+β22X2+...+βr2Xr+ε2
...
Ym =β0m+β1mX1+β2mX2+...+βrmXr+εm.
(2.1)
Model regresi (2.1) dikonstruksikan dalam bentuk matriks sebagai
Yj×m =Xj×(r+1)β(r+1)×m+εj×m. (2.2)
Nm(Xjβ,Σ) dengan fungsi densitas probabilitasnya adalah f(Yj|β,Σ) = (2π)
−m
2 |Σ|− 1
2 exp(−1
2(Yj−Xjβ)
′Σ−1(Y
j−Xjβ)). (2.3)
3. METODE BAYESIAN
Inti perhitungan metode Bayesian adalah menentukan fungsi likelihood dan distribusiprior yang kemudian dikalikan dan hasilnya proporsional dengan distribusi posterior yang digunakan untuk mengestimasi parameter. Fungsi distribusi prior
dinotasikan sebagai f(θ) dengan θ adalah parameter. Sedangkan fungsi likelihood dinotasikan sebagaif(Y|θ) yaitu fungsi probabilitas bersama dari sampel randomY apabila θ diketahui. Menurut Gelman et al. [8] fungsi distribusiposterior merupa-kan fungsi probabilitas bersyarat θ dengan Y diketahui. Fungsi distribusi posterior dinyatakan sebagai
f(θ|Y) = f(θ, Y) f(Y) =
f(θ)f(Y|θ)
f(Y) ∝f(θ)f(Y|θ). (3.1)
4. HASIL DAN PEMBAHASAN
Pada pembahasan ini diuraikan tentang fungsi likelihood untuk model regresi multivariat, distribusi prior noninformatif Jeffreys, distribusi posterior, dan esti-masi parameter. Setelah dilakukan penjabaran secara teoritis, dilakukan penerapan estimasi parameter model regresi multivariat Bayesian dengan distribusiprior non-informatif Jeffreys pada data posisi simpanan masyarakat di Provinsi Papua dan Papua Barat.
4.1. Fungsi Likelihood. Menurut Bain and Engelhardt [4], fungsi likelihood
me-rupakan fungsi kepadatan probabilitas bersama darijvariabel randomYj1, Yj2, ..., Yjm dengan j = 1,2, ..., n dan dinotasikan sebagai
f(Y|θ) = n ∏
j=1
f(Yj|θ) =f(Y1|θ)f(Y2|θ)....f(Yn|θ).
Berdasarkan fungsi densitas probabilitas (2.3) dikonstruksi fungsi kepadatan proba-bilitas bersama (fungsi likelihood) untuk n observasi dengan parameter β dan Σ. Fungsi likelihood untuk model regresi multivariat adalah
f(Y|β,Σ) = n ∏
j=1
(2π)−m
2 |Σ|− 1
2 exp(−1
2(Yj −Xjβ)
′Σ−1(Y
j−Xjβ))
n(Y¯ −Xjβ)′(Y¯ −Xjβ)))) = ((2π)−nm
2 |Σ|−
n
2 exp
(
tr
(
−n
2(Y¯ −Xjβ)
′Σ−1(Y¯ −X
jβ)− 1 2Σ
−1S ))
dengan Y¯ = 1
n ∑n
4.2. Distribusi Prior Noninformatif. Menurut Harriset al. [9] pengetahuan
tentang distribusi prior dapat diperoleh dari pendapat para ahli atau mengguna-kan kembali distribusi posterior penelitian sebelumnya. Tetapi jika pengetahuan tentang distribusi prior tidak pasti, hilang, atau diabaikan, maka digunakan dis-tribusi prior noninformatif. Distribusi prior Jeffreys merupakan salah satu je-nis distribusi prior noninformatif dan merupakan akar kuadrat informasi Fisher yang ditulis sebagai f(θ) =√I(θ), dengan I(θ) adalah informasi Fisher (Yang and Berger [16]). Berdasarkan Bain and Engelhardt [4] informasi Fisher ditulis sebagai I(θ) =−Eθ
[∂2logf(Y|θ)
∂θ2
]
.
Terdapat empat langkah dalam menentukan fungsi distribusi prior Jeffryes. Langkah pertama adalah menentukan fungsi ln likelihood, yaitu
lnf(Y|β,Σ) = −−nm
Langkah kedua adalah menentukan fungsi distribusi prior noninformatif Jeffreys untuk β, yaitu
Diberikan model regresi multivariat dengan m dimensi sehingga fungsi distribusi prior Jeffreys untuk β adalah
f(β) =f(β1, ...,βm) =f(β1)×...×f(βm) =Σ−
Langkah ketiga adalah menentukan fungsi distribusi prior noninformatif Jeffreys untuk Σ, yaitu Langkah keempat menentukan fungsi distribusi prior noninformatif Jeffreys untuk f(θ) dengan θ = (β,Σ) diasumsikan β dan Σ independen, untuk model regresi multivariat m dimensi, fungsi distribusi prior noninformatif Jeffreys untuk model regresi multivariat adalah f(θ) = f(β)f(Σ) = Σ−m2Σ−1 =Σ−
m+2 2 .
4.3. DistribusiPosterior. Setelah diperoleh fungsilikelihood dan distribusiprior
ditentukan distribusi posterior. Persamaan (3.1) diterapkan untuk menentukan dis-tribusi posterior untuk model regresi multivariat dengan parameter θ = (β,Σ). Fungsi distribusi posterior untuk model regresi multivariat adalah
f(β,Σ|Y)∝
Berdasarkan karakteristik (4.1) fungsi distribusiposterior marginal untukβ dinyata-kan sebagai f(β|Y) =Σ
−12SΣ−1)). Setelah diperoleh fungsi distribusiposterior marginal, ditentukan esti-masi parameternya.
4.4. Estimasi Parameter. Estimasi parameter ditentukan dari nilai ekspektasi variabel random fungsi distribusiposterior marginal dan berupa estimasi titik untuk mean β dan variansi Σ(Diana dan Soehardjoepri [7]). Diberikan β adalah matriks parameter regresi berukuran (r+1)×msehingga estimasi parameter untukβadalah
ˆ
dan estimasi parameter untuk Σadalah
ˆ
Pada persamaan (4.2) dan (4.3) terlihat bahwa untuk mengestimasi parameterβdan Σ melibatkan integral fungsi yang sulit ditentukan nilai integralnya. Oleh karena itu diperlukan pendekatan dengan melakukan pembangkitan sampel random yang sesuai dengan karakteristik distribusi posterior marginal masing-masing parameter menggunakan algoritme MCMC Gibbs sampling.
Pada metode Bayesian, parameter dianggap sebagai variabel random sehingga memiliki sebaran data dan dapat didekati dengan suatu distribusi tertentu. Ber-dasarkan karakteristik dari fungsi distribusi posterior marginal f(β|Y) dapat di-lakukan pendekatan terhadap fungsi densitas probabilitas normal multivariat se-hingga diperoleh (β|Y) ∼ Nm(Y¯,Σn). Sedangkan fungsi distribusi posterior mar-ginal f(Σ|Y) dilakukan pendekatan terhadap distribusi invers Wishart sehingga diperoleh (Σ|Y)∼IW(S−1, n). Langkah selanjutnya adalah membangkitkan
sam-pel random dari distribusiposterior marginal dengan menggunakan algoritme MCMC Gibbssampling. Nilai estimasi parameter merupakan nilai rata-rata sampel random hasil bangkitan dari distribusi posterior marginal.
Berikut algoritme MCMC Gibbs sampling
(1) mengkonstruksi model regresi multivariat sehingga diperoleh β dan Σ, (2) melakukan inisialisasi nilai β(0) dan Σ(0) berdasarkan nilai β dan Σ yang
diperoleh dari langkah 1,
(3) menentukan nilaiY(1) ∼Nm(Xβ(0),Σ(0)), (4) membangkitkan β(1)|Y(1) ∼Nm(Y¯,Σn|β(0)),
(5) membangkitkan Σ(1)|Y(1) ∼IW(S−1, n|Σ(0)), dan
(6) mengulangi langkah 3, 4, dan 5 sebanyak M pengulangan hingga diper-oleh sampel bangkitan β(M)|Y(M) ∼ Nm(Y¯,Σn|β(M−1)) dan Σ(M)|Y(M) ∼ IW(S−1, n|Σ(M−1)).
Hasil algoritme MCMC Gibbs sampling adalah sampel bangkitan berupa barisan matriks (β(1),β(2), ...,β(M)) dan (Σ(1),Σ(2), ...,Σ(M)). Estimasi parameter untuk
ˆ
β = M1 ∑Mi=1β(i) dan estimasi parameter untuk ˆΣ= M1 ∑Mi=1Σ(i).
4.5. Penerapan. Pada penelitian ini dilakukan estimasi parameter model re-gresi multivariat Bayesian pada data posisi simpanan masyarakat dalam rupiah di Provinsi Papua dan Papua Barat dari Januari 2010 hingga April 2017 yang ber-sumber dari website Bank Indonesia [5]. Variabel respon pada penelitian ini adalah posisi simpanan masyarakat dalam rupiah di Provinsi Papua sebagai Y1 dan posisi
simpanan masyarakat dalam rupiah di Provinsi Papua Barat sebagaiY2. Sedangkan variabel prediktornya adalah faktor-faktor yang memengaruhi posisi simpanan ma-syarakat, yaitu kurs rupiah terhadap dolar sebagai X1, banyaknya uang kartal yang beredar sebagai X2, dan suku bunga bank sebagai X3. Sebelum dilakukan estimasi
parameter, dilakukan uji asumsi model regresi multivariat yaitu kelinieran, korelasi antar variabel respon, dan uji normal multivariat untuk variabel respon.
4.5.1. Estimasi Parameter. Setelah semua asumsi regresi multivariat terpenuhi
di-tentukan estimasi parameter β dan Σmenggunakan algoritme MCMC Gibbs sam-pling. Diberikan nilai awal atau inisialisasi β(0) dan Σ(0) dengan
β(0)=
(
1924.71 1.596244 0.0353771 −2161.565
−1681.133 1.012348 0.0082238 −1310.033
Selanjutnya membangkitkan sampel random dari distribusi posterior marginal un-tuk β(i)|Y(i) ∼ N2(Y¯,Σn|β(i
−1)) dan Σ(i)|Y(i) ∼ IW(S−1, n|Σ(i−1)) dengan i =
1,2, ...,40000. Dari sampel hasil bangkitan, ditentukan nilai rata-rata untukβ(i) |Y(i)
dan Σ(i)
|Y(i) yang merupakan nilai estimasi parameternya. Nilai estimasi
para-meternya diberikan pada Tabel 1.
Tabel 1. Nilai estimasi parameter dan interval kofidensi untuk βbdan Σb
Parameter Estimasi Persentil 2.5 Persentil 97.5 Keterangan ˆ
β01 1405.43 1381.328 1429.32 Signifikan
ˆ
β11 1.328982 1.082272 1.572229 Signifikan ˆ
β21 0.0430088 0.0355236 0.0507074 Signifikan
ˆ
β31 -1788.845 -1806.157 -1771.668 Signifikan ˆ
β02 -2399.581 -2433.248 -2366.478 Signifikan
ˆ
β12 0.5335725 0.3818261 0.6789981 Signifikan ˆ
β22 0.0201185 0.0156094 0.0247714 Signifikan ˆ
β32 -399.6135 -441.4142 -357.0286 Signifikan
ˆ
Σ11 1820164 1341990 2474915 Signifikan
ˆ
Σ21 452920.7 223688.1 736121.1 Signifikan
ˆ
Σ22 661584.4 485329.2 893097.3 Signifikan
Berdasarkan Tabel 1, nampak bahwa semua estimasi parameter pada model regresi multivariat signifikan, yang artinya bahwa semua parameter mempunyai pe-ngaruh yang signifikan terhadap variabel respon. Estimasi parameterβdan Σ ditulis sebagai
1405.4 1.328982 0.0430088 −1788.845
−2399.581 0.5335725 0.0201185 −399.6135
)
dengan ˆΣ12= ˆΣ21. Hasil estimasi parameter tersebut dikonstruksikan dalam model
regresi multivariat (2.1) dan ditulis sebagai
ˆ
Y1 = 1405.4 + 1.328982X1+ 0.0430088X2−1788.845X3
ˆ
Berdasarkan sistem persamaan model regresi multivariat tersebut dapat disimpulkan bahwa kenaikan nilai kurs dan banyaknya uang kartal akan meningkatkan simpanan rupiah masyarakat di Papua dan Papua Barat, namun meningkatnya suku bunga akan menurunkan simpanan rupiah masyarakat di Papua dan Papua Barat.
5. Kesimpulan
Estimasi parameter model regresi multivariat menggunakan metode Bayesian diperoleh dengan menentukan nilai ekspektasi dari variabel random fungsi distri-busi posterior marginal f(β|Y) dan f(Σ|Y). Namun dalam perhitungan estimasi parameter melibatkan integral fungsi yang sulit ditentukan peyelesaiannya sehingga digunakan pengambilan sampel dengan algoritme MCMC Gibbs sampling sebagai pendekatan dalam mengestimasi parameternya. Hasil algoritme MCMC Gibbs sam-pling diperoleh sampel bangkitan berupa barisan matriks (β(1),β(2), ...,β(M)) dan
(Σ(1),Σ(2), ...,Σ(M)). Estimasi parameter untuk ˆβ = M1 ∑Mi=1β(i)dan estimasi para-meter untuk ˆΣ= 1
M ∑M
i=1Σ (i).
DAFTAR PUSTAKA
[1] Amalia, F., D.R.S. Saputro, dan T.J.Parmaningsih,Estimasi Parameter Model Regresi Linier Sederhana Bayes dengan Distribusi Prior Noninformatif, Seminar Nasional 2016 Matematika dan Pendidikan Matematika, 2016.
[2] Amalia, F., D.R.S. Saputro, and P. Widyaningsih, Parameter Estimation of Multivariate Multiple Regression Model using Bayesian with Noninformative Jeffreys’ Prior, International Conference on Science, Mathematics, Environment, and Education (ICoSMEE), 2017, (under review).
[3] Asriadi, A.,Simulasi Stokastik menggunakan Algoritma Metropolis Hastings, JMAP (Jurnal Matematika dan Pembelajaran) Jurusan Matematika FMIPA UNJ6(2007), no 2, pp.45-52.
[4] Bain, L. J. and M. Engelhardt,Introduction to Probability and Mathematical Statistics, second ed., Buxbury Press, Inc., California, 1992.
[5] Bank Indonesia, [Bank Indonesia], Statistik Ekonomi dan Keuangan Indonesia, Jakarta, 2017 [6] Bolstad, W. M.,Introduction to Bayesian Statistics, 2 ed., New Jersey: Wiley, 2007.
[7] Diana, E.M. dan Soehardjoepri, Pendekatan Metode Bayesian untuk Kajian Estimasi Para-meter Distribusi Log-Normal untuk Non-Informatif Prior, Jurnal Sains dan Seni ITS5(2016),
no 2, pp.14-16.
[8] Gelman,A., J.B.Carlin, H.S.Stern, D.B.Dunson, A.Vehtari, and D.B.Rubin, Bayesian Data Analysis, 2 ed., New York: Chapman and Hall, 2004.
[9] Harris, P., M. Cox, C. Matthews, I. Smith, and L. Wrigh,A Guide to Bayesian Inference for Regression Problems, European Metrologu Research Programme (EMRP), (2015), pp. 5-13. [10] Iswari, A.A.I.A.C., I.W.Sumarjaya, dan I.G.A.M.Srinadi, Analisis Regresi Bayes Linear
Se-derhana dengan Prior Noninformatif, E-Jurnal Matematika3(2014), no.2, pp.38-44.
[11] Johnson, R. and D.W.Wichern,Applied Multivariate Statistical Analysis, 6 ed., Pearson Edu-cation, Inc., America, 2007.
[12] Mendes., M.,Multivariate Multiple Regression Analysis Based on Principal Component Scores to Study Relationships between Some Pre- and Post-slaughter Traits of Broilers, Jurnal of Agricultural Sciences,17(2011), pp.77-83
[13] Sinay, M.S. and J.S.J. Hsu,Bayesian Inferensi of a Multivariate Regression Model, Jurnal of Probability and Statistics,2014 (2014), pp. 1-13.
[14] Sun, D. and J.O.Berger,Objective Priors for the Multivariate Normal Model, ISBA 8th World Meeting on Bayesian Statistics, 2006.
[15] Walsh, B.,Markov Chain Monte Carlo and Gibbs Sampling, Lecture Notes for EEB 581, 2004. [16] Yang, R. and J.O.Berger,A Catalog of Noninformative Priors, Technical Report, Dake
