ANALISIS MODEL REGRESI LINIER DENGAN MENGGUNAKAN METODE BAYES SKRIPSI FINI ARDIANI BR DAMANIK

ANALISIS MODEL REGRESI LINIER DENGAN MENGGUNAKAN METODE BAYES. SKRIPSI. FINI ARDIANI BR DAMANIK 160803015. S1 MATEMATIKA DEPARTEMEN MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2020. Universitas Sumatera Utara.

ANALISIS MODEL REGRESI LINIER DENGAN MENGGUNAKAN METODE BAYES. SKRIPSI Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar Sarjana Sains. FINI ARDIANI BR DAMANIK 160803015. S1 MATEMATIKA DEPARTEMEN MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2020. Universitas Sumatera Utara.

Universitas Sumatera Utara.

i Universitas Sumatera Utara.

ANALISIS MODEL REGRESI LINIER DENGAN MENGGUNAKAN METODE BAYES. ABSTRAK. Analisi regresi linier Bayes adalah suatu metode yang digunakan untuk menjelaskan hubungan antara variabel dependen dan variabel independen dengan mempertimbangkan informasi awal (prior), sehingga sangatlah penting untuk mempertimbangkan bentuk distribusi prior yang digunakan. Dalam metode Bayes distribusi prior akan dikombinasikan dengan fungsi Likelihood untuk menghasilkan distribusi posterior, yang selanjutnya akan menjadi dasar inferensi. Pemilihan prior yang berbeda akan menghasilkan inferensi yang berbeda pula. Metode yang digunakan dalam penelitian ini yaitu studi literatur. Langkah-langkah yang dilakukan yaitu menjelaskan mengenai estimasi parameter dan uji signifikansi parameter regresi linier dengan menggunakan metode Bayes, serta melakukan analisis error untuk membandingkan model estimasi terbaik yang dihasilkan dengan menggunakan prior non-informatif dan prior konjugat dengan menggunakan metode Bayes pada contoh kasus. Berdasarkan pembahasan diperoleh kesimpulan bahwa estimasi parameter Bayes yang dihasilkan dengan menggunakan prior non-informatif sama dengan metode OLS, sedangkan jika menggunakan prior konjugat estimasi parameter Bayes merupakan harga harapan distribusi posterior. Uji signifikansi metode Bayes dilakukan dengan melakukan uji hipotesis, dengan menentukan distribusi marginal posterior untuk mendapatkan statistik uji dan probabilitas posterior. Kata kunci : Metode Bayes, Regresi Linier, Distribusi Prior, Distribusi Posterior, Distribusi Normal.. ii Universitas Sumatera Utara.

LINEAR REGRESSION ANALYSIS MODEL USING THE BAYESIAN METHOD. ABSTRACT. Bayes linear regression analysis is a method used to explain the relationship between dependent variables and independent variables taking into account prior information, so it is important to consider the form of prior distribution used. In the Bayes method the prior distribution will be combined with the Likelihood function to produce a posterior distribution, which will then become the basis for inference. Selection of different priors will produce different inferences. The method used in this research is the study of literature. The steps taken are explaining the parameter estimation and significance test of the linear regression parameters using the Bayes method, as well as conducting an error analysis to compare the best estimation model produced using non-informative priors and prior conjugates using the Bayes method in the case examples. Based on the discussion, it can be concluded that estimation of Bayes parameters produced using non-informative prior is the same as OLS method, whereas if using prior conjugate Bayes parameter estimation is the expected price of posterior distribution. The significance test of the Bayes method is done by testing the hypothesis, by determining the posterior marginal distribution to obtain test statistics and posterior probabilities. Keywords: Bayes Method, Linear Regression, Prior Distribution, Posterior Distribution, Normal Distribution.. iii Universitas Sumatera Utara.

iv Universitas Sumatera Utara.

DAFTAR ISI. PENGESAHAN TUGAS AKHIR ABSTRAK ABSTRACT PENGHARGAAN DAFTAR ISI DAFTAR TABEL DAFTAR GAMBAR DAFTAR LAMPIRAN BAB 1 PENDAHULUAN 1.1 Latar Belakang 1.2 Rumusan Masalah 1.3 Batasan Masalah 1.4 Tujuan Penulisan 1.5 Manfaat Penulisan BAB 2 TINJAUAN PUSTAKA 2.1 Analisi Regresi 2.2 Teorema Bayes 2.3 Distribusi Peluang Kontiniu 2.4 Distribusi Normal 2.5 Distribusi Prior 2.6 Distribusi Prior Proper Dan Improper 2.7 Prior Lokasi dan Skala Uniform 2.8 Distribusi Posterior 2.9 Estimasi Parameter Regresi Linier OLS 2.10 Kriteria Evalusi 2.11 Uji Hipotesis 2.12 Markov Chain Monte Carlo 2.13 Probabilitas Posterior BAB 3 METODE PENELITIAN 3.1 Metode Penelitian Kepustakaan 3.2 Data 3.3 Analisi Data BAB 4 HASIL DAN PEMBAHASAN 4.1 Metode Bayes 4.2 Regresi Linier Bayes 4.3 Estimasi Parameter Regresi Linier Sederhana Prior NonInformatif 4.4 Estimasi Parameter Regresi Linier Berganda Prior Non-. Halaman i ii iii iv v vii viii ix 1 2 2 3 3 4 5 6 7 10 11 11 14 15 17 18 19 20 21 21 21 24 25 26 31. v Universitas Sumatera Utara.

Informatif 4.5 Estimasi Parameter Regresi Linier Sederhana Prior Konjugat 4.6 Estimasi Parameter Regresi Linier Berganda Prior Konjugat 4.7 Uji Signifikansi Parameter Regresi Linier 4.7.1 Uji Signifikansi Regresi Linier Sederhana 4.7.2 Uji Signifikansi Regresi Linier Berganda 4.8 Contoh Kasus BAB 5 KESIMPULAN DAN SARAN 5.1 Kesimpulan 5.2 Saran DAFTAR PUSTAKA LAMPIRAN. 34 43 49 49 52 57 63 64 66 68. vi Universitas Sumatera Utara.

DAFTAR TABEL. Nomor Judul Tabel 4.1 Data tingkat pengkat penghuni kamar hotel berbintang dan jumlah kedatangan Wisman ke Indonesia 4.2 Kriteria evaluasi model regresi linier sederhana 4.3 Data IPM, UHH, HLS, RLS dan pengeluaran perkapita di setiap Provinsi di Indonesia 4.4 Tabel kriteria evaluasi model regresi linier berganda. Halaman 57 59 60 62. vii Universitas Sumatera Utara.

DAFTAR GAMBAR. Nomor Judul Gambar 2.1 Kurva Distribusi Normal 2.2 Kurva normal mean 𝜃 2.3 Kurva normal mean 𝑘 = 𝜃 −1. Halaman 7 12 13. 2.4. Kurva transformasi prior log 𝜃 dan fungsi Likelihood. 13. 4.1. Kurva data tingkat penghuni kamar hotel bintang dan jumlah kedatangan Wisman. 58. viii Universitas Sumatera Utara.

DAFTAR LAMPIRAN. Nomor Judul Halaman Lampiran 1 Estimasi regresi linier menggunakan SPSS 68 2 Estimasi parameter regresi linier berganda dengan SPSS 69 3 Source code estimasi parameter regresi linier sederhana 70 dengan R 4 70 Output estimasi parameter regresi linier sederhana dengan R 5 Source code estimasi parameter regresi linier berganda 71 dengan R 6 73 Output estimasi regresi linier berganda dengan R 7 Perhitungan RSME, MAD, MAPE regresi linier sederhana 73 denga Ms. Excel 8 Perhitungan RSME, MAD, MAPE regresi linier berganda 80 denga Ms. Excel. ix Universitas Sumatera Utara.

1. BAB 1 PENDAHULUAN. 1.1 Latar Belakang Ada beberapa tujuan dari analisis regresi diantaranya yaitu untuk melihat seberapa besar pengaruh variabel independen terhadap variabel dependenya dan membuat model estimasi yang dapat digunakan dalam peramalan. Model regresi adalah model yang digunakan untuk mendapatkan suatu bentuk hubungan antara variabel dependen dan variabel independen yang dipengaruhi oleh parameter yang tidak diketahui dalam model (Saputro, 2018). Terdapat dua jenis model regresi linier yaitu regresi linier sederhana dan regresi linier berganda. Pembentukan model regresi dilakukan dengan mengestimasi parameter model regresi, sehingga akan menghasilkan koefisien regresi untuk setiap variabel independen (Diana SP, 2018). Ada beberapa metode statistik yang dapat digunakan dalam model regresi linier, salah satunya inferensi statistik. Inferensi statistik dapat dicari dengan menggunakan metode Frequentist (klasik) dan metode Bayes. Ordinary Least Square (OLS) adalah salah satu metode Frequentist yang sering digunakan dalam membentuk model regresi linier. Metode Bayes berbeda dengan metode Frequentist, dalam metode Frequentist, data adalah satu-satunya sumber informasi yang secara eksplisit diperhitungkan dalam inferensi statistik. Dalam metode Bayes, inferensi dilakukan dengan menggabungkan data saat ini (informasi sampel) dan informasi yang telah ada (informasi prior). Menurut Box dan Tio (1973), jika dalam pemodelan regresi hanya menggunakan informasi data sampel (data saat ini) dalam analisisnya, maka cukup dengan menggunakan metode klasik untuk memodelkanya. Namun, jika distribusi dari informasi data awal ingin dijadikan pertimbangan dalam inferensi statistik, maka dapat digunakan metode Bayes. Dalam metode Bayes informasi sampel yang digunakan yaitu dalam bentuk fungsi Likelihood, dimana fungsi Likelihood merupakan fungsi probabilitas bersama sampel acak. Metode Bayes memandang parameter sebagai variabel yang menggambarkan informasi awal tentang parameter sebelum pengamatan dilakukan dan dinyatakan dalam suatu distribusi yang disebut dengan distribusi prior. Setelah pengamatan dilakukan, informasi dalam distribusi prior dikombinasikan dengan informasi data sampel melalui teorema Bayes dan hasilnya dinyatakan dalam bentuk distribusi posterior yang selanjutnya menjadi dasar. Universitas Sumatera Utara.

2. untuk inferensi di dalam metode Bayes. Setelah distribusi posterior terbentuk, maka dapat diperoleh estimasi parameter dan uji hipotesis Bayes untuk parameter yang diestimasi. Distribusi posterior dipengaruhi oleh pemilihan distribusi prior, pemilihan prior secara umum dilakukan dengan melihat diketahui atau tidak diketahuinya informasi tentang parameter jika informasi tentang parameter tidak diketahui, maka akan digunakan distribusi prior non-informatif. Namun, jika informasi tentang parameter diketahui dan informasi tersebut ingin dimasukan kedalam analisis data, maka akan digunakan distribusi prior informatif dan akan dipilih distribusi prior yang memiliki bentuk konjugat dengan distribusi posteriornya. Diana (2018) dan Auqino (2019) melakukan penelitian tentang penerapan metode Bayes untuk membuat model regresi linier Bayes dengan menggunakan prior konjugat, serta Saputro (2018) melakukan penelitian tentang estimasi parameter regresi berganda Bayes dengan menggunakan prior non-informatif. Dalam penelitian ini akan dilakukan analisis model regresi linier menggunakan metode Bayes dengan prior non-informatif dan prior konjugat. Dari uraian di atas, penulis memberi judul penelitian ini dengan “Analisis Model Regresi Linier Dengan Menggunakan Metode Bayes”.. 1.2 Rumusan Masalah 1. Bagaimana menentukan estimasi parameter regresi linier sederhana dan berganda distribusi prior non-informatif dan konjugat dengan menggunakan metode Bayes. 2. Bagaimana menguji signifikansi parameter regresi linier sederhana dan berganda distribusi prior non-informatif dan konjugat dengan menggunakan metode Bayes. 3. Bagaimana membandingkan estimasi model regresi linier sederhana dan berganda distribusi prior non-informatif dan konjugat pada contoh kasus menggunakan kriteria RMSE, MAD dan MAPE. 1.3 Batasan Masalah Permasalahan yang akan dibahas dalam penulisan ini dibatasi pada : 1. Model regresi linier sederhana dan regresi linier berganda. 2. Uji signifikansi parameter regresi linier berdasarkan distribusi prior noninformatif dengan metode Bayes.. Universitas Sumatera Utara.

3. 3. Distribusi prior informatif yang digunakan merupakan distribusi prior konjugat. 4. Regresi linier yang digunakan diasumsikan berdistribusi normal. 5. Tidak membahas sifat estimasi yang baik yakni takbias, konsisten, variansi minimum dan statistik cukup. 1.4 Tujuan Penelitian Tujuan dari penulisan ini yaitu : 1. Mengetahui cara estimasi parameter regresi linier sederhana dan bergada distribusi prior non-informatif dan prior konjugat menggunakan metode Bayes. 2. Mengetahui cara menguji signifikansi parameter regresi linier sederhana dan berganda distribusi prior non-informatif dan prior konjugat menggunakan metode Bayes. 3. Mengetahui perbandingan estimasi model regresi linier sederhana dan berganda distribusi prior non-informatif dan konjugat pada contoh kasus menggunakan kriteria RMSE, MAD dan MAPE. 1.5 Manfaat Penlitian 1. Bagi Peneliti : Dari penulisan ini diharapkan dapat memberikan manfaat yaitu secara teoritis dapat menambah pengetahuan tentang metode estimasi parameter regresi alternatif dengan menggunakan metode Bayes, dan secara praktis dapat memberikan jalan keluar apabila diketahui informasi awal (prior) dari suatu data yang dapat digunakan untuk mengestimasi parameter regresi. 2. Bagi Pihak lain : Sebagai bahan pertimbangan bagi pihak-pihak yang bersangkutan dalam mengestimasi parameter regresi, serta memberikan wawasan bagi pembaca.. Universitas Sumatera Utara.

4. BAB 2 TINJAUAN PUSTAKA. 2.1 Analisis Regresi Ada beberapa tujuan dari analisis regresi diantaranya yaitu untuk menjelaskan seberapa besar variabel independen mempengaruhi variabel dependenya serta untuk membuat model estimasi yang dapat digunakan dalam peramalan. Model regresi adalah model yang digunakan untuk mendapatkan suatu bentuk hubungan antara variabel dependen dan variabel independen yang dipengaruhi oleh parameter yang tidak diketahui dalam model (Saputro, 2018). Analisis regresi linier dapat dibedakan menjadi 1. Analisi regresi linier sederhana (simple linear regression analysis), dalam. regresi linier sederhana hanya terdapat satu variabel independen 𝑋 dan satu variabel dependen 𝑌, adapun model regresi linier sederhana yaitu (2.1) 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝜀𝑖 , 𝑖 = 1, … , 𝑛 Keterangan: 𝑦𝑖 𝛽0 , 𝛽1 𝑥𝑖 𝜀𝑖. : Variabel dependen : Parameter regresi atau koefisien regresi yang tidak diketahui nilainya : Variabel independen : Galat acak. 2. Analisi regresi linier. berganda (multiple linear regression analysis) mempelajari ketergantungan suatu variabel dependen pada lebih dari satu variabel independen dan dalam regresi linier berganda terdapat dua atau lebih variabel independen. Model regresi linier berganda yaitu (2.2) 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + ⋯ + 𝛽𝑝 𝑥𝑖𝑝 + 𝜀𝑖 , 𝑖 = 1, … , 𝑛 Keterangan: 𝑦𝑖 𝛽0 , … , 𝛽𝑝. : Variabel dependen : Parameter regresi atau koefisien regresi yang tidak diketahui nilainya 𝑥𝑖1 , … , 𝑥𝑖𝑝 : Variabel independen : Galat acak 𝜀𝑖 Model regresi linier berganda dapat ditulis dalam bentuk matriks yaitu 𝑌 = 𝑋𝛽 + 𝜀. (2.3). Universitas Sumatera Utara.

5. dimana 𝑦1 1 𝑥11 𝑦2 1 𝑥21 𝑌=[⋮] 𝑋=[ ⋮ ⋮ 𝑦𝑛 1 𝑥𝑛1. 𝑥12 𝑥22 ⋮ 𝑥𝑛2. … 𝑥1𝑝 𝜀1 𝛽0 … 𝑥2𝑝 𝜀2 𝛽1 ] 𝛽=[ ] 𝜀=[⋮] ⋮ … ⋮ … 𝑥𝑛𝑝 𝜀𝑛 𝛽𝑝. Serta matriks 𝑌 berordo (𝑛 × 1), matriks 𝑋 berordo (𝑛 × (𝑝 + 1)), matriks 𝛽 berordo ((𝑝 + 1) × 1) dan matriks 𝜀 berordo (𝑛 × 1). 2.2 Teorema Bayes Peluang terjadinya suatu kejadian 𝐴 bila diketahui kejadian 𝐵 telah terjadi disebut peluang bersyarat dan dinyatakan dengan 𝑝(𝐴|𝐵). Lambang 𝑝(𝐴|𝐵) dapat dibaca dengan ‘peluang kejadian 𝐴 terjadi dengan syarat kejadian 𝐵 diketahui’ dan dapat dirumuskan sebagai 𝑝(𝐴 ∩ 𝐵) 𝑝(𝐵|𝐴)𝑝(𝐴) = ,𝐴 > 0 𝑝(𝐵) 𝑝(𝐵) dua kejadia 𝐴 dan 𝐵 dikatakan independen jika dan hanya jika 𝑝( 𝐴 | 𝐵 ) =. (2.4). 𝑝(𝐴|𝐵) = 𝑝(𝐴) 𝑃(𝐵|𝐴) = 𝑝(𝐵) jika tidak demikian 𝐴 dan 𝐵 dikatakan dependen. Teorema Bayes dikemukakan oleh seorang pendeta Inggris pada tahun 1763 yang bernama Thomas Bayes. Teorema Bayes ini kemudian disempurnakan oleh Laplace. Teorema Bayes digunakan untuk menghitung probabilitas terjadinya suatu peristiwa berdasarkan pengaruh yang diperoleh dari hasil observasi. Teorema Bayes menerangkan hubungan antara probabilitas terjadinya peristwiwa 𝐴 dengan syarat peristiwa 𝐵 telah terjadi dan probabilitas terjadinya peristiwa 𝐵 dengan syarat peristiwa 𝐴 terjadi. Teorema Bayes didasarkan pada prinsip bahwa tambahan informasi dapat memperbaiki probabilitas yang dihasilkan. Apabila kejadian 𝐴1 , … , 𝐴𝑘 merupakan suatu sekatan (partisi) dalam ruang sampel 𝑆, dengan 𝑝(𝐴𝑖 ) ≠ 0 untuk 𝑖 = 1, … , 𝑘. Misalkan 𝐵 adalah suatu kejadian sembarang dalam 𝑆 dengan 𝑝(𝐵) ≠ 0 (Walpole dan Myers, 1995), maka. Universitas Sumatera Utara.

6. 𝑝(𝐴𝑛 ∩ 𝐵) 𝑝(𝐴𝑛 )𝑝(𝐵|𝐴𝑛 ) = , 𝑛 = 1, … , 𝑘 ∑𝑘𝑖=1 𝑝(𝐴𝑖 ∩ 𝐵) ∑𝑘𝑖=1 𝑝(𝐴𝑖 ) 𝑝(𝐵|𝐴𝑖 ) persamaan (2.5) di atas merupakan bentuk dari teorema Bayes. 𝑝( 𝐴 𝑛 |𝐵 ) =. 2.3. (2.5). Distribusi Peluang Kontiniu. Suatu distribusi variabel acak kontiniu memiliki peluang nol pada setiap titik 𝑥, karena itu distribusi peluangnya tidak bisa disajikan kedalam bentuk tabel. 2.3.1 Fungsi kepadatan probabilitas Walpole dan Myers (1995), fungsi 𝑝(𝑥) dikatakan sebagai probability density function (pdf) atau fungsi kepadatan probabilitas dari variabel acak kontiniu 𝑋, yang didefinisikan diatas himpunan bilangan ril 𝑅, bila 1. 2.. 𝑝(𝑥 ) ≥ 0, untuk semua 𝑥 ∈ 𝑅 ∞ ∫−∞ 𝑝(𝑥 )𝑑𝑥 = 1. 3.. 𝑝(𝑎 < 𝑋 < 𝑏) = ∫𝑎 𝑝(𝑥 )𝑑𝑥. 𝑏. distribusi kumulatif 𝐹(𝑥) untuk pdf 𝑝(𝑥) yaitu ∞. 𝐹(𝑥 ) = 𝑝(𝑋 = 𝑥 ) = ∫ 𝑝(𝑥 )𝑑𝑥 , 𝑢𝑛𝑡𝑢𝑘 − ∞ < 𝑥 < ∞. (2.6). −∞. 2.3.2 Distribusi Peluang Marginal Walpole dan Myers (1995), fungsi 𝑝(𝑥, 𝑦) adalah sebuah distribusi peluang marginal atau fungsi dari variabel acak kontiniu 𝑋 dan 𝑌 bila. 2.. 𝑝(𝑥, 𝑦) ≥ 0 untuk semua (𝑥, 𝑦) ∞ ∞ ∫−∞ ∫−∞ 𝑝(𝑥, 𝑦)𝑑𝑥𝑑𝑦 = 1. 3.. 𝑝[(𝑋, 𝑌) ∈ 𝐴] = ∬𝐴 𝑝(𝑥, 𝑦)𝑑𝑥𝑑𝑦. 1.. distribusi bersama untuk variabel acak kontiniu 𝑋 dan 𝑌 sendiri didefinisikan sebagai ∞. ∞. 𝑔(𝑥 ) = ∫−∞ 𝑝(𝑥, 𝑦) 𝑑𝑦 dan 𝑔(𝑦) = ∫−∞ 𝑝(𝑥, 𝑦) 𝑑𝑥. (2.7). misalkan 𝑋 dan 𝑌 merupakan dua variabel acak diskrit maupun kontiniu dengan fungsi peluang marginal 𝑝(𝑥, 𝑦) dan fungsi kepadatan peluang (pdf) masing-masing 𝑝(𝑥) dan 𝑝(𝑦). Variabel acak 𝑋 dan 𝑌 dikatakan independen jika dan hanya jika. Universitas Sumatera Utara.

7. 𝑝(𝑥, 𝑦) = 𝑝(𝑥 )𝑝(𝑦) untuk semua (𝑥, 𝑦) dalam daerah definisinya. 2.4. Distribusi Normal. Salah satu distribusi yang penting dalam statistika yaitu distribusi normal atau sering disebut dengan distribusi Gauss, dimana distribusi normal memiliki kurva yang berbentuk lonceng.. Gambar 2.1: Kurva Distribusi Normal. Fungsi kepadatan peluang (pdf) variabel acak normal 𝑋, dengan rataan 𝜇 dan variansi 𝜎 2 yaitu 1. 𝑝(𝑥|𝜇, 𝜎) =. 𝑒. 1 −( )[(𝑥−𝜇)/𝜎]2 2. √2𝜋 𝜎 dengan 𝜋 = 3,14159 … dan 𝑒 = 2,71828 …. , −∞ < 𝑥 < ∞. (2.8). apabila 𝜇 dan variansi 𝜎 2 merupakan rataan dan variansi dari distribusi normal, maka perhitungan rataan dan variansi yaitu ∞. 𝐸(𝑋) =. ∫ 𝑥 𝑝(𝑥 ) 𝑑𝑥 −∞ ∞. =. ∫𝑥 −∞. = misalkan 𝑡 = (. 1 √2𝜋𝜎 2. 1 √2𝜋𝜎 2 𝑥−𝜇 𝜎. exp (−. ∞. ∫ 𝑥 exp (− −∞. 1 (𝑥 − 𝜇)2 ) 𝑑𝑥 2𝜎 2. 1 (𝑥 − 𝜇)2 ) 𝑑𝑥 2𝜎 2. ), maka. Universitas Sumatera Utara.

8. 𝑥 = 𝜎𝑡 + 𝜇 𝑑𝑥 = 𝜎 𝑑𝑡 𝑥 2 = (𝜎𝑡 + 𝜇)2 = 𝜎 2 𝑡 2 + 2𝜎𝑡𝜇 + 𝜇2 sehingga 𝐸(𝑋) menjadi 𝐸(𝑋) = = = misalkan 𝑧 =. 𝐸(𝑋) =. = =. ∞. 1 √2𝜋𝜎 2 1 √2𝜋𝜎 2 1 √2𝜋𝜎 2 1 2 𝑡 2. ∫ 𝑥 exp (− −∞ ∞. 1 (𝑥 − 𝜇)2 ) 𝑑𝑥 2𝜎 2. ∫ (𝜎𝑡 + 𝜇) exp (− −∞ ∞. ∫ 𝑡 exp (− −∞. 1 2 𝑡 ) 𝑑𝑡 2𝜎 2. 1 2 𝑡 ) 𝑑𝑡 2𝜎 2. dan 𝑑𝑧 = 𝑡 𝑑𝑡, sehingga 𝐸(𝑋) menjadi. 1 √2𝜋𝜎 2 1 √2𝜋𝜎 2 1 √2𝜋𝜎 2 1. ∞. ∫ 𝑥 exp (− −∞ ∞. 1 (𝑥 − 𝜇)2 ) 𝑑𝑥 2𝜎 2. ∫ (𝜎𝑡 + 𝜇) exp (− −∞ ∞. 1 2 𝑡 ) 𝑑𝑡 2𝜎 2 ∞. 1 1 ∫ 𝜎𝑡 exp (− 2 𝑡 2 ) 𝑑𝑡 + ∫ 𝜇 exp (− 2 𝑡 2 ) 𝑑𝑡 2𝜎 2𝜎. −∞. −∞. ∞. ∞. 1 1 𝜎 ∫ 𝑡 exp (− 2 𝑡 2 ) 𝑑𝑡 + 𝜇 ∫ exp (− 2 𝑡 2 ) 𝑑𝑡 = 2𝜎 2𝜎 √2𝜋𝜎 2 −∞. =. =. =. = =. 1 √2𝜋𝜎 2 1 √2𝜋𝜎 2. ∞. [𝜎(0) + 𝜇 ∫ exp (− −∞ ∞. −∞. 1 2 𝑡 ) 𝑑𝑡] 2𝜎 2. [𝜎(0) + 2𝜇 ∫ exp (− 0. 1 2 𝑡 ) 𝑑𝑡] 2𝜎 2. 1. 1 𝜋 )] [𝜎 (0) + 2𝜇 ( √ 2 1/(2𝜎 2 ) √2𝜋𝜎 2 1 √2𝜋𝜎 2 1 √2𝜋𝜎 2. 𝜋 )] [0 + 𝜇 (√ 1/(2𝜎 2 ) [𝜇 (√2𝜋𝜎 2 )]. = 𝜇. Universitas Sumatera Utara.

9. Untuk menentukan variansi dari ditribusi normal dapat dilakukan dengan menggunakan rumus 𝑆 2 (𝑋) = 𝐸 (𝑋 2 ) − (𝐸 (𝑋))2 dimana ∞. ∫ 𝑥 2 𝑝(𝑥 )𝑑𝑥. 𝐸 (𝑋 2 ) =. −∞ ∞. 1. ∫ 𝑥2. =. misalkan 𝑡 =. 𝐸 (𝑋 2 ) =. √2𝜋𝜎 2 𝜎. ∫ 𝑥 2 exp (−. 1 (𝑥 − 𝜇)2 ) 𝑑𝑥 2 2𝜎. ∞. 1 𝑥−𝜇. 1 (𝑥 − 𝜇)2 ) 𝑑𝑥 2𝜎 2. √2𝜋𝜎 2. −∞. =. exp (−. −∞. , maka 𝑥 = 𝜎𝑡 + 𝜇 dan 𝑑𝑥 = 𝜎 𝑑𝑡, sehingga 𝐸 (𝑋 2 ) menjadi ∞. 1 √2𝜋𝜎 2 1. 1 ∫ (𝜎𝑡 + 𝜇)2 exp (− 𝑡 2 ) 𝜎 𝑑𝑡 2. −∞ ∞. ∞. 1 1 ([ ∫ 𝜎 2 𝑡 2 exp (− 𝑡 2 ) 𝑑𝑡] + [2𝜎𝜇 ∫ 𝑡 exp (− 𝑡 2 ) 𝑑𝑡] = 2 2 √2𝜋 −∞. ∞. −∞. 1 + [𝜇2 ∫ exp (− 𝑡 2 ) 𝑑𝑡]) 2 = =. −∞. ∞. 1. 1 𝜎 2 ∫ 𝑡 2 exp (− 𝑡 2 ) 𝑑𝑡 + 0 + 𝜇2 2 √2𝜋 𝜎. 2. ∞. −∞. 1 ∫ 𝑡 2 exp (− 𝑡 2 ) 𝑑𝑡 + 𝜇2 2 √2𝜋 −∞. 2𝜎 2 Γ((2 + 1)/2) =. √2𝜋. 1 (2 (2)). (2+1)/1. + 𝜇2. 2𝜎 2. 3 Γ ( ) 2√2 + 𝜇2 √2𝜋 2 2𝜎 2 √𝜋 = 2√2 + 𝜇2 √2𝜋 2 = 𝜎 2 + 𝜇2 maka variansi dari distribusi normal yaitu =. Universitas Sumatera Utara.

10. 𝑆 2 (𝑋). = 𝐸 (𝑋 2 ) − (𝐸 (𝑋))2 = (𝜎 2 + 𝜇2 ) − (𝜇)2 = (𝜎 2 + 𝜇 2 ) − 𝜇 2 = 𝜎2 Distribusi peubah acak normal dengan rataan nol dan variansi satu disebut distribusi nomal baku. 2.5 Distribusi Prior Dalam inferensi Bayes, parameter 𝜃 diperlukan sebagai variabel, maka 𝜃 akan mempunyai nilai dalam sebuah domain dengan densitas 𝑝(𝜃) dan densitas inilah yang akan dinamakan sebagai distribusi prior dari 𝜃, dengan adanya informasi dari prior ini maka akan dikombinasikan dengan data sampel yang digunakan dalam membentuk distribusi posterior . Prior merupakan bentuk distribusi Frequentist yang merupakan reprensentasi objektif pada suatu parameter yang lebih rasional untuk dipercayai, atau prior merupakan suatu representasi subjektifitas seseorang dalam memandang sebuah parameter menurut penilaianya sendiri, sehingga permasalahan pokok agar prior dapat interpretatif yaitu bagaimana memilih distribusi prior untuk suatu parameter yang tidak diketahui namun sesuai dengan permasalahan yang ada. Permasalahan utama dalam metode Bayes adalah bagaimana memilih distribusi prior 𝑝(𝜃), dimana prior menunjukan ketidakpastian tentang parameter 𝜃 yang tidak diketahui. Disribusi prior dikelompokan menjadi dua kelompok berdasarkan fungsi Likelihoodnya (Mursyid, 2018) . . Berkaitan dengan bentuk distribusi hasil identifikasi pola datanya. 1. Distribusi prior konjugat, mengacu pada acuan analisis model terutama dalam pembentukan fungsi Likelihoodnya sehingga dalam penentuan prior konjugat selalu dipikirkan mengenai penentuan pola distribusi prior yang mempunyai bentuk konjugat dengan fungsi densitas peluang pembangun Likelihoodnya. 2. Distribusi prior non-konjugat, apabila pemberian pada suatu model tidak mengindahkan pola pembentukan fungsi Likelihoodnya. Berkaitan dengan penentuan masing-masing parameter pada pola distribusi prior tersebut. 1. Distribusi prior informatif mengacu pada pemberian nilai parameter dari distribusi prior yang telah dipilih baik distribusi prior konjugat atau tidak, pemberian nilai parameter ini akan sangat mempengaruhi bentuk distribusi yang akan didapatkan pada informasi data yang diperoleh.. Universitas Sumatera Utara.

11. 2.. Distribusi prior non-informatif, pemilihanya tidak didasarkan pada data yang ada atau distribusi prior yang tidak mengandung informasi tentang parameter 𝜃, salah satu pendekatan dari non-informatif adalah metode Jeffrey’s.. Distribusi prior dari suatu parameter 𝜃 merupakan fungsi kepadatan probabilitas yang menggambarkan tingkat keyakinan nilai 𝜃. Distribusi prior diperoleh sebelum melakukan analisis data.. 2.6 Distribusi Prior Proper Dan Improper Properti dasar dari fungsi kepadatan peluang 𝑝(𝑥) adalah integral ataupun penjumlahanya sama dengan satu (Box dan Tiao, 1973). Berdasarkan sifat probabilitas density function (pdf) suatu bilangan acak 𝑋 yaitu ∫ 𝑝(𝑥) 𝑑𝑥 ∑ 𝑝(𝑥). = 1 , 𝑥 𝑘𝑜𝑛𝑡𝑖𝑛𝑖𝑢 = 1 , 𝑥 𝑑𝑖𝑠𝑘𝑟𝑖𝑡. jika 𝑋 berdistribusi uniform dalam interval −∞ dan ∞, maka 𝑝(𝑥 ) = 𝑘, −∞ < 𝑥 < ∞, 𝑘>0 persamaan (2.9) menunjukan 𝑝(𝑥) bukanlah fungsi proper pdf, karena ∞. ∞. ∫ 𝑝(𝑥 )𝑑𝑥 = 𝑘 ∫ 𝑑𝑥 −∞. (2.9) (2.10). −∞. dimana 𝑝(𝑥 ) = 𝑘 biasa disebut improper densitas, misalkan 𝑝(𝑥 ) = 𝑘𝑥 −1 , 0 < 𝑥 < ∞, 𝑘 > 0 hal ini juga merupakan improper densitas, dimana (2.9) dan (2.10) merupakan densitas skala dari distribusi prior. Dalam hal ini dapat dilihat bahwa suatu fungsi dari suatu bilangan acak 𝑋 yang memiliki fungsi kepadatan peluang 𝑝(𝑥) dapat dikatakan sebagai fungsi proper, jika ∫ 𝑝(𝑥 ) = 1 untuk 𝑥 merupakan bilangan kontiniu atau ∑ 𝑝(𝑥 )𝑑𝑥 = 1 untuk 𝑥 merupakan bilangan diskrit, dan sebaliknya suatu fungsi dari bilangan acak 𝑋 yang memiliki fungsi kepadatan peluang 𝑝(𝑥) dimana ∫ 𝑝(𝑥 )𝑑𝑥 = 𝑘, maka fungsi tersebut dapat dikatakan sebagai fungsi improper. 2.7. Prior Lokasi dan Skala Uniform. Dalam kondisi dimana inferensi dilakukan dengan menggunakan metode Bayes menggunakan prior non-informatif, maka dalam hal ini fungsi Likelihood mendominasi distribusi priornya sehingga hasil estimasi parameter yang dihasilkan akan cenderung bersifat objektif, dimana pengetahuan tentang data yang diekspresikan dalam bentuk fungsi Likelihood lebih mendominasi distribusi priornya dikarenakan tidak terdapatnya informasi tentang prior.. Universitas Sumatera Utara.

12. Misalkan untuk kasus vektor data berdistribusi normal dengan mean 𝜇 dan variansi 𝜎 2 diketahui data terlihat hanya melalui rata-rata sampel 𝑦̅ (Box dan Tio, 1973).. Gambar 2.2 Kurva normal mean 𝜃. Gambar (2.2) mengilustrasikan distribusi prior non-informatif 𝜃, dimana prior 𝜃 berdistribusi uniform yang mengindikasikan ketidaktahuan tentang informasi prior dan dapat dinyatakan dalam (2.11) 𝑝( 𝜃 ) = 𝑐 dimana (2.1) menggambarkan densitas skala dalam interval (𝑎, 𝑏) yang pada 1. 1. dasarnya memiliki bentuk densitas 𝑝(𝜃) = 𝑏−𝑎, namun karena 𝑝(𝜃) = 𝑏−𝑎 tidak mendefinisikan fungsi proper dari distribusi uniform takterhingga sehingga digunakanlah densitas uniform takterhingga pada persamaan (2.11) untuk mendefinisikan fungsi proper distribusi uniform, dimana ∫ 𝑝(𝜃)𝑑𝜃 = 1, karena hal ini tidak berpengaruh terhadap hasil estimasi yang diperoleh sehingga akan dipilih konstanta positif 𝑐 = 1, sehingga densitas skala untuk parameter 𝜃 dapat ditulis 𝑝(𝜃) = 1. Melalui gambar (2.4) juga dapat dilihat bahwa hanya lokasi dari kurva fungsi Likelihood yang berubah sesuai dengan perubahan dari rata-rata sampel 𝑦̅, sehingga untuk kasus vektor data yang berdistribusi normal dengan mean 𝜃 dan variansi 𝜎 2 perubahan dari rata-rata sampel 𝑦̅ hanya mempengaruhi lokasi dari fungsi Likelihood saja.. Universitas Sumatera Utara.

13. Gambar 2.3: Kurva normal mean 𝑘 = 𝜃 −1. Gambar (2.3) merupakan bentuk kurva untuk mencerminkan distribusi prior 𝜃 yang dirubah kedalam bentuk 𝑝(𝜃) = 𝑘 = 𝜃 −1 . Dapat dilihat bahwa jika distribusi prior dirubah dan rata-rata sample 𝑦̅ berubah, maka perubahan tersebut mempengaruhi bentuk serta lokasi dari fungsi Likelihood, namum dalam hal ini priornya tidak berdistribusi uniform. Dari gambar (2.2) dan (2.3) dapat dilihat bahwa bentuk dari distribusi prior akan mempengaruhi fungsi Likelihoodnya, sehingga dapat dikatakan bahwa fungsi Likelihood bersifat priori. Untuk kasus prior non-informatif, 𝜃 haruslah berdistribusi uniform untuk mencerminkan ketidaktahuan tentang parameter 𝜃. Oleh karena itu densitas dari parameter 𝜃 harus ditransformasi agar priornya berdistribusi unifom.. Gambar 2.4 Kurva transformasi prior log 𝜃 dan fungsi Likelihood. Gambar (2.2) merupakan bentuk kurva yang dihasilkan dari prior yang telah ditransofmasi kedalam bentuk log 𝜃, dapat dilihat bahwa prior 𝜃 yang telah ditransformasi memiliki bentuk kurva yang mendekati garis lurus (mendekati mendatar), dan mendatar pada lokasi-lokasi tertentu yaitu dibawah kurva fungsi Likelihood, sehingga priornya memiliki distribusi uniform pada lokasi tertentu saja.. Universitas Sumatera Utara.

14. Dapat dilihat juga bahwa perubahan rata-rata sampel 𝑦̅ dan pentransformasian bentuk prior hanya merubah lokasi dari kurva fungsi Likelihoodnya saja. Prior 𝜃 disebut dengan densitas lokasi yang berdistribusi uniform secara lokal pada lokasi-lokasi yang diinginkan yaitu di dalam 𝜃 itu sendiri dan dapat ditulis sebagai 1 𝜃 bukanlah sebuah konstanta dan tidak menggambarkan bahwa. (2.12). 𝑝(𝜃) = 𝜃 −1 =. dimana. 1 𝜃. 1 𝜃. merupakan. 1. distribusi uniform untuk parameter 𝜃, tetapi 𝜃 merupakan suatu bentuk pertimbangan dari hasil transformasi parameter 𝜆 = log 𝜃, dimana 𝜆 memiliki densitas yaitu 𝑑𝜃 𝑝(𝜆) ∝ 𝑝(𝜃) | | 𝑑𝜆 ∝ 𝑝(𝑒 𝜆 )𝑒 𝜆 ∝ 𝑒 −𝜆 𝑒 𝜆 ∝ 1 sehingga log 𝜃 dapat dianggap berdistribusi lokal uniform, hal inilah yang menunjukan bahwa 𝜃 merupakan prior lokal uniform, dimana densitas lokasi 𝜆 𝑑𝜃. proporsional terhadap 𝑝(𝜃) |𝑑𝜆 | yang bernilai satu dan ∫ 𝑝(𝜆)𝑑𝜆 = 1 sehingga fungsi ini dapat dikatakan fungsi proper yang memiliki densitas lokasi yaitu. 1 𝜃. .. 2.8 Distribusi Posterior Distribusi posterior adalah salah satu distribusi yang harus diketahui dalam inferensi Bayes. Untuk memperoleh distribusi posterior terlebih dahulu tentukan distribusi prior dan fungsi Likelihoodnya, distribusi posterior didapat dengan mengalikan distribusi prior dengan fungsi Likelihood (Box dan Tiao, 1973). (2.13) 𝑝𝑜𝑠𝑡𝑒𝑟𝑖𝑜𝑟 ∝ 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 × 𝑝𝑟𝑖𝑜𝑟 Distribusi posterior untuk 𝜃, jika diketahui pengamatan 𝑦 yang merupakan gabungan dari informasi prior dan informasi vektor data, sehingga 𝑝(𝑦|𝜃)𝑝(𝜃) 𝐿(𝜃|𝑦)𝑝(𝜃) (2.14) = 𝑝(𝑦) ∫ 𝑝(𝑦|𝜃 )𝑝(𝜃) 𝑑𝜃 Distribusi posterior adalah distribusi prior yang disesuaikan dengan informasi vektor data. Secara umum distribusi posterior dirumuskan sebagai 𝑝 ( 𝜃 |𝑦 ) =. 𝑝(𝜃 |𝑦) =. 𝑝(𝑥1 , … , 𝑥𝑛 |𝜃 )𝑝(𝜃) ∫ 𝑝(𝑥1 , … , 𝑥𝑛 |𝜃)𝑝(𝜃)𝑑𝜃. Universitas Sumatera Utara.

15. dimana 𝑝(𝑥1 , … , 𝑥𝑛|𝜃 ) merupakan probabilitas bersyarat vektor data dan 𝑝(𝜃) merupakan distribusi prior. 2.9 Estimasi Parameter Regresi Linier OLS Walpole dan Myers (1995), disamping anggapan bahwa galat 𝜀𝑖 dalam model 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝜀𝑖 merupakan peubah acak dengan rataan nol, berdistribusi normal dengan variansi 𝜎 2 dan 𝜀1 , 𝜀2 , … , 𝜀𝑛 saling bebas. Akan ditentukan parameter regresi, sedemikian rupa sehingga dengan meminimumkan 𝐽𝐾𝐺 = ∑ 𝜀𝑖2 = ∑(𝑦𝑖 − 𝑦̂𝑖 )2 = ∑(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 )2. (2.15). turunkan persamaan (2.14) terhadap 𝛽0 dan 𝛽1 , maka diperoleh 𝜕𝐽𝐾𝐺 = −2 ∑(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 ) = ∑ 𝑦𝑖 − 𝑛𝛽0 − 𝛽1 ∑ 𝑥𝑖 = 0 𝜕𝛽0. (2.16). dan 𝜕𝐽𝐾𝐺 = −2 ∑(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 )𝑥𝑖 = ∑ 𝑦𝑖 𝑥𝑖 − 𝛽0 ∑ 𝑥𝑖 − 𝛽1 ∑ 𝑥𝑖 𝑥𝑖 = 0 (2.17) 𝜕𝛽1 dimana 𝛽0 dan 𝛽1 merupakan estimator untuk 𝛽̂0 dan 𝛽̂1 , persamaan (2.16) dan (2.17) menjadi suatu sistem persamaan linier yang disebut dengan persamaan normal yaitu ∑ 𝛽̂0 + 𝛽̂1 ∑ 𝑥𝑖 = ∑ 𝑦𝑖. (2.18). 𝛽̂0 ∑ 𝑥𝑖 + 𝛽̂1 ∑ 𝑥𝑖 𝑥𝑖 = ∑ 𝑦𝑖 𝑥𝑖 dari persamaan (2.18) yang pertama diperoleh ∑ 𝑥𝑖 ∑ 𝑥𝑖 𝛽̂0 = − 𝛽̂1 = ∑ 𝑦𝑖 𝑥𝑖 = 𝑦̅ − 𝛽̂1 𝑥̅ 𝑛 𝑛 ∑𝑥 ∑𝑦 dengan 𝑥̅ = 𝑛 𝑖 dan 𝑦̅ = 𝑛 𝑖 dan dari persamaan (2.18) yang kedua diperoleh ∑ 𝑦𝑖 𝑥𝑖 − (. (2.19). ∑ 𝑦𝑖 ∑ 𝑥𝑖 ∑ 𝑥𝑖 𝑥𝑖 − 𝛽̂1 ( )) ∑ 𝑥𝑖 − 𝛽1 (∑ 𝑥𝑖 𝑥𝑖 − )=0 𝑛 𝑛 𝑛. sehingga. 𝛽̂1. (∑ 𝑥𝑖 )(∑ 𝑦𝑖 ) 𝑛 = ∑ ( 𝑥 𝑖 )2 ∑ 𝑥𝑖 𝑥 𝑖 − 𝑛 ∑ 𝑥𝑖 𝑦𝑖 − 𝑛𝑥̅ 𝑦̅ = ∑ 𝑥𝑖2 − 𝑛𝑥̅ 2 ∑ 𝑦𝑖 𝑥𝑖 −. Universitas Sumatera Utara.

16. ∑ 𝑥𝑖 𝑦𝑖 − 𝑥̅ ∑ 𝑦𝑖 𝑦̅ ∑ 𝑥𝑖 + 𝑛𝑥̅ 𝑦̅ ∑ 𝑥𝑖2 − 2𝑥̅ ∑ 𝑥𝑖 + 𝑛 𝑥̅ 2 ∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) = ∑(𝑥𝑖 − 𝑥̅ )2 persamaan (2.20) juga dapat ditulis dengan =. 𝛽̂1 = ∑ 𝑤𝑖 (. (2.20). (𝑦𝑖 − 𝑦̅) ) (𝑥𝑖 − 𝑥̅ ). dimana 𝛽̂0 dan 𝛽̂1 merupakan estimasi parameter untuk regresi linier sederhana, (𝑥 −𝑥̅ ). dengan 𝑤𝑖 = (𝑥𝑖−𝑥̅ ) dan 𝑖. (𝑦𝑖 −𝑦̅) (𝑥𝑖 −𝑥̅ ). merupakan slope garis antara titik pusat (𝑥̅ , 𝑦̅) dan titik. data (𝑥𝑖 , 𝑦𝑖 ), jadi slope 𝛽̂1 pada estimasi garis regresi merupakan rata-rata dari beberapa slope. Dengan kata lain, 𝛽̂1 merupakan rata-rata terboboti, dimana bobotnya adalah 𝑤𝑖 , dengan 𝑤𝑖 harus non-negatif dan jumlahnya sama dengan satu (𝑦𝑖 − 𝑦̅) ≡ (𝑦̂𝑖 − 𝑦̅) + (𝑦𝑖 − 𝑦̂𝑖 ) bila ruas kiri dan kanan dikuadratkan dan kemudian dijumlahkan, maka diperoleh ∑(𝑦𝑖 − 𝑦̅)2 = ∑{(𝑦̂𝑖 − 𝑦̅) + (𝑦𝑖 − 𝑦̂𝑖 )}2 = ∑(𝑦̂𝑖 − 𝑦̅)2 + ∑(𝑦𝑖 − 𝑦̂𝑖 )2 + 2 ∑(𝑦̂𝑖 − 𝑦̅) + (𝑦𝑖 − 𝑦̂𝑖 ). (2.21). perhatikan perkalian silang persamaan (2.21) ∑(𝑦̂𝑖 − 𝑦̅)(𝑦𝑖 − 𝑦̂𝑖 ) = ∑ 𝑦̂ 𝑖 (𝑦𝑖 − 𝑦̂ 𝑖 ) − 𝑦̅ ∑(𝑦𝑖 − 𝑦̂ 𝑖 ) berdasarkan persamaan normal, maka bagian ruas kanan sama dengan nol sehingga ∑(𝑦𝑖 − 𝑦̂𝑖 ) = ∑ 𝑦𝑖 − 𝛽̂0 − 𝛽̂1 𝑥𝑖 = 0 maka persamaan (2.21) bagian ruas kananya juga sama dengan nol, karena ∑ 𝑦̂ 𝑖 (𝑦𝑖 − 𝑦̂ 𝑖 ) = ∑(𝛽̂0 − 𝛽̂1 𝑥𝑖 ) ((𝑦𝑖 − 𝑦̂ 𝑖 )) = 𝛽̂ ∑(𝑦 − 𝑦̂ ) + 𝛽̂ ∑(𝑦 − 𝑦̂ ) 𝑥 0 1 𝑖 𝑖 𝑖 𝑖 𝑖 = 0 + 𝛽̂ ∑(𝑦 − 𝛽̂ − 𝛽̂ 𝑥 )𝑥 1 𝑖 0 1 𝑖 𝑖 = 0 sehingga persamaan (2.21) dapat ditulis menjadi. Universitas Sumatera Utara.

17. ∑(𝑦𝑖 − 𝑦̅)2 = ∑(𝑦̂𝑖 − 𝑦̅)2 + ∑(𝑦𝑖 − 𝑦̂𝑖 )2. (2.22). persamaan (2.22) merupakan persamaan dasar dalam analisis regresi. Ruas kiri disebut jumlah kuadrat total (JKT) atau jumlah kuadrat variasi dan menyatakan jumlah penyimpangan 𝑦 disekitar rata-ratanya. Untuk mengestimasi parameter regresi linier berganda yamg memiliki model 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖1 + ⋯ . +𝛽𝑝 𝑋𝑖𝑝 + 𝜀𝑖 dan dalam bentuk matriks dapat ditulis sebagai 𝑌 = 𝑋𝛽 + 𝜀 dengan taksiran modelnya yaitu 𝑌̂ = 𝑋𝛽̂ , dimana estimasi parameter dilakukan dengan meminimumkan bentuk kuadrat dari (2.23) 𝐽𝐾𝐺 = (𝑦 − 𝑋𝛽 )𝑇 (𝑦 − 𝑋𝛽 ) = 𝑦 𝑇 𝑦 − 2𝑦 𝑇 𝑋𝛽 + 𝛽 𝑇 𝑋 𝑇 𝑋𝛽 turunkan persamaan (2.15) terhadap 𝛽 𝜕(𝑦 𝑇 𝑦 − 2𝑦 𝑇 𝑋𝛽 + 𝛽 𝑇 𝑋 𝑇 𝑋𝛽 ) 𝜕(𝑦 𝑇 𝑋𝛽 − 2(𝛽 𝑇 𝑋 𝑇 𝑋𝛽) + 𝛽 𝑇 𝑋 𝑇 𝑦) = 𝜕𝛽 𝜕𝛽 𝑇 𝑇 𝜕(𝑦 𝑋𝛽 − 2(𝛽 𝑋 𝑇 𝑋𝛽) + 𝛽 𝑇 (𝑋 𝑇 𝑦)) = 𝜕𝛽 𝑇 𝑇 𝜕((𝑦 𝑋)𝛽 − 2𝛽 (𝑋 𝑇 𝑋)𝛽 + 𝛽 𝑇 (𝑋 𝑇 𝑦)) = 𝜕𝛽 𝑇 𝑇 = 𝑦 𝑋 − 2𝑋 𝑋𝛽 + 𝑋 𝑇 𝑦 = 𝑦 𝑇 𝑋 − (𝑋 𝑇 𝑋𝛽 + 𝑋 𝑇 𝑋𝛽) + 𝑋 𝑇 𝑦 = 𝑦 𝑇 𝑋 − 𝑋 𝑇 𝑋𝛽 − 𝑋 𝑇 𝑋𝛽 + 𝑋 𝑇 𝑋𝛽 = 𝑦 𝑇 𝑋 − 𝑋 𝑇 𝑋𝛽 Selanjutnya hasil turunan dari persamaan (2.23) terhadap 𝛽 disamakan dengan nol, sehingga 0 = 𝑦 𝑇 𝑋 − 𝑋 𝑇 𝑋𝛽 𝑋 𝑇 𝑋𝛽 = 𝑦 𝑇 𝑋 𝑦𝑇𝑋 ̂ = 𝛽 𝑋𝑇 𝑋 = (𝑋 𝑇 𝑋)−1 𝑦 𝑇 𝑋 2.10 Kriteria Evaluasi Model Kriteria evaluasi digunakan untuk mengevaluasi model regresi linier yang dihasilkan dengan melihat error. Kriteria evaluasi yang digunakan dalam tulisan ini yaitu Root Mean Square Error (RMSE), Mean Absolute Deviation (MAD), dan Mean Absolute Persentage Error (MAPE) (Sungkawa, 2011).. Universitas Sumatera Utara.

18. . Root Mean Square Error (RMSE). RMSE merupakan nilai dari rata-rata dari jumlah kuadrat kesalahan, juga dapat menyatakan ukuran besarnya kesalahan yang dihasilkan oleh suatu model perkiraan. (𝑦𝑖 − 𝑦̂𝑖 )2 𝑅𝑆𝑀𝐸 = √∑ 𝑛 𝑖=1 𝑛. . (2.25). Mean Absolute Deviation (MAD). MAD menyatakan penyimpangan ramalan dalam unit yang sama pada data , dengan merata-ratakan nilai absolut error (penyimpangan) seluruh hasil peramalan. Nilai absolut berguna untuk menghindari nilai penyimpangan positif dan penyimpangan negatif yang saling meniadakan. Persamaan MAD yaitu ∑𝑛𝑖=1|𝑌(𝑡) − 𝑌′(𝑡)| 𝑀𝐴𝐷 = 𝑛 . (2.26). Mean Absolute Persentage Error (MAPE). MAPE merupakan ukuran ketepatan relatif yang digunakan untuk mengetahui persentase penyimpangan hasil peramalan, dengan persamaan sebagai berikut 𝑀𝐴𝑃𝐸 =. 𝑛 1 ∑ |𝑃𝐸𝑖 | 𝑛 𝑖=1. (2.27). dengan galat persentasi (Percentage Error/ 𝑃𝐸𝑖 ) yaitu 𝑃𝐸𝑖 = (. 𝑦 − 𝑦̂ ) × 100% 𝑦. 2.11 Uji Hipotesis Walpole dan Myers (1995), hipotesis statistik adalah suatu anggapan atau pernyataan yang mungkin benar atau tidak mengenai satu populasi atau lebih. Pengambilan keputusan dalam pengujian hipotesis dapat didasarkan pada uji statistik, dimana uji statistik yang biasa digunakan berdasarkan nilai 𝑧, uji-t dan uji-𝐹, dengan 𝑧= 𝑡=. 𝑋̅ − 𝜇 𝜎/√𝑛 𝑋̅ − 𝜇 𝑠/√𝑛. (2.28) (2.29). dan. Universitas Sumatera Utara.

19. ∑(𝑦̂𝑖 − 𝑦̅)2 /𝑘 ∑(𝑦̂𝑖 − 𝑦̅)2 /𝑘 (2.30) 𝐹= = ∑(𝑦𝑖 − 𝑦̅)2 /(𝑛 − 𝑘 − 1) 𝑆2 Adapun langkah-langkah uji signifikansi parameter dengan menggunakan metode Bayes yaitu (Birkes dan Dodge, 1993) 1. Menentukan hipotesis nol dan hipotesis alternatif yaitu (Variabel independen memiliki hubungan yang signifikan  𝐻0 : 𝜃 = 𝜃0 terhadap varabel dependenya) (Variabel independen tidak memiliki hubungan yang  𝐻1 : 𝜃 ≠ 𝜃0 , signifikan terhadap varabel dependenya) 𝜃 > 𝜃0 atau 𝜃 < 𝜃0 2. Menentukan taraf signifikansi 𝛼 3. Pilih uji statistik yang sesuai dan tentukan daerah kritisnya (Bila keputusan diambil berdasarkan pada probabilitas posterior 𝑝(𝐻0 |𝑦), maka tidak perlu menentukan daerah kritis) 4. Hitung probabilitas posterior 𝑝(𝐻0 |𝑦) atau nilai uji statistik dari data yang diperoleh 5. Kesimpulan: Tolak 𝐻0 jika uji statistik yang dihasilkan memiliki nilai dalam daerah kritis (atau jika nilai probabilitas posterior 𝑝(𝐻0 |𝑦) lebih kecil dari 1. 𝑝 (𝐻0 = 2) dan sebaliknya. 2.12 Markov Chain Monte Carlo Menurut Auqino (2019), estimasi parameter regresi liner Bayes dapat dilakukan dengan menggunakan algoritma Markov Chain Monte Carlo (MCMC), MCMC merupakan suatu metode yang digunakan untuk membangkitkan sampel acak dari distribusi peluang dengan membentuk rantai markov sesuai dengan distribusi yang digunakan. Algoritma MCMC digunakan pada model yang sangat rumit dan dapat mengestimasi distribusi posterior secara tepat. Salah satu algoritma yang dapat digunakan pada MCMC yaitu Gibbs sampling. Menurut Saputro (2018), algoritma Gibbs sapling adalah kejadian khusus dari Metropolis Hasting, karena parameternya yang diperkirakan lebih dari satu. Sampel akan diperoleh dengan menggunakan algoritma MCMC Gibbs sampling, dimana estimasi parameter diperoleh setelah menghitung nilai rata-rata sampel acak yang dihasilkan. Gibss sampling bisa diterapkan apabila distribusi probabilitas bersama (joint probability distribution) tidak diketahui secara eksplisit, tetapi distribusi bersyarat (conditional distribution) dari tiap-tiap variabel diketahui. Algoritma Gibbs sampling bisa dituliskan sebagai berikut (Amalia, 2016). Universitas Sumatera Utara.

20. Langkah 1 Langkah 2. : Tentukan nilai awal 𝛽 0 = (𝛽 (0) , … . , 𝛽 (0) ) 𝑛 1 : Ulangi langkah 2 untuk 𝑗 = 1, … , 𝑀 (𝑗+1). Bangkitkan 𝛽1. (𝑗+1). Langkah 3. (𝑗). (𝑗). (𝑗). (𝑗). dari 𝑝1 (𝛽0 |𝛽2 , … , 𝛽𝑝 ). Bangkitkan 𝛽2 dari 𝑝2 (𝛽1 |𝛽2 , … , 𝛽𝑝 ) ⋮ (𝑗+1) (𝑗) (𝑗) Bangkitkan 𝛽𝑝 dari 𝑝𝑝 (𝛽𝑝 |𝛽2 , … , 𝛽𝑝−1 ) : Kembalikan nilai {𝛽1 , … . , 𝛽 𝑀 }. densitas 𝑝1 , … , 𝑝𝑝 disebut distribusi bersyarat penuh, dan densitas yang digunakan untuk simulasi. Dalam Gibbs sampling tidak ada mekanisme penerimaan dan penolakan semua sampel hasil simulasi diterima. iterasi pada algoritma Gibbs sampling ini akan berhenti jika trace plot sudah konvergen, apabila belum konvergen diperlukan tambahan iterasi hinggga trace plot telah konvergen.. 2.13 Probabilitas Posterior Menurut Birkes dan Dodge (1993), dalam metode Bayes pengujian hipotesis untuk menghitung uji statistik dan 𝑝 − 𝑣𝑎𝑙𝑢𝑒 dilakukan dengan menghitung probabilitas distribusi posterior bahwa hipotesis yang dilakukan benar, diamana 𝑝 − 𝑣𝑎𝑙𝑢𝑒 merupakan probabilitas bahwa 𝐻0 adalah benar. 𝑝 − 𝑣𝑎𝑙𝑢𝑒 dapat dicari dengan dengan menghitung 𝑝(𝐷∗ |𝐻), dimana 𝐷∗ merupakan peristiwa dari data yang dilakukan melalui percobaan yang dilakukan secara berulang yang menghasilkan statistik uji yang besar atau lebih besar dari statistik uji percobaan aktual, dan 𝐻 menunjukan hipotesis nol. Probabilitas posterior hipotesis nol yaitu 𝑝(𝐻|𝐷), diamana 𝐷 menunjukan data dari percobaan berulang yang sama dengan data dari percobaan aktual, sehingga 𝑝 − 𝑣𝑎𝑙𝑢𝑒 dan probabilitas posterior dapat dianggap sebagai probabilitas bersyarat yang melibatkan hipotesis 𝐻 dan data 𝐷 tetapi dengan kondisi yang berlawanan dan 𝑝(𝐷 |𝐻)𝑝(𝐻) probabilitas posterior hipotesis nol dapat dirumuskan dengan 𝑝(𝐻 |𝐷) = . 𝑝(𝐷) Untuk menghitung 𝑝(𝐻|𝐷) perlu diketahui distribusi dari vektor data bersyarat pada nilai parameter, dimana vektor data diasumsikan berdistribusi normal dan menentukan distribusi priornya, dimana probabilitas prior hipotesis nol 𝑝(𝐻) harus 1. ditentukan, dengan 𝑝(𝐻) = 2.. Universitas Sumatera Utara.

21. BAB 3 METODOLOGI PENELITIAN. 3.1 Metode Penelitian Kepustakaan Penulisan penelitian ini dilakukan dengan menggunakan metode pustaka atau studi literatur, dimana penelitian dilakukan dengan membaca serta pengambilan data-data yang berasal dari buku-buku, artikel ataupun jurnal yang mendukung dalam penelitian ini. 3.2 Data Data yang digunakan pada penelitian ini merupakan data sekunder yang berasal dari website Badan Pusat Statistik (BPS), dengan mengambil data tingkat penghuni kamar pada hotel berbintang 1, 2, 3, 4 dan 5 (dalam persen) sebagai variabel dependen (𝑌) dan data jumlah kedatangan wisatawan mancanegara (Wisman) ke Indonesia dari tahun 2004 sampai 2018 sebagai variabel independen (𝑋) pada regresi linier sederhana, serta data indeks pembangunan manusia (IPM) sebagai variabel dependen (𝑌) dan data umur harapan hidup saat lahir (UHH), harapan lama sekolah (HLS), rata-rata lama sekolah (RLS) dan pengeluaran perkapita yang disesuaikan (Rp .000) pada setiap provinsi di Indonesia tahun 2019 berturut-turut sebagai variabel independen 𝑋1 , 𝑋2 , 𝑋3 , 𝑋4 pada regresi linier berganda. 3.3 Analisis Data Analisi merupakan hal yang dilakukan penulis dalam penelitian ini, dimana analisis dilakukan untuk memecahkan masalah yang akan diamati. Tahapan analisi yang akan dilakukan yaitu 1. Mengestimasi parameter regresi linier sederhana dan berganda dengan menggunakan metode Bayes pada prior non-informatif dan prior konjugat. Tahapan estimasi parameter regresi linier dengan metode Bayes pada prior non-informatif yaitu  Menentukan distribusi prior non-informatif untuk parameter 𝜃  Menentukan fungsi Likelihood melalui distribusi vektor data  Menentukan distribusi posterior dengan cara mengalikan fungsi Likelihood dengan distribusi prior.  Mengestimasi parameter regresi linier dibawah distribusi posterior dengan nenurunkan ln distribusi posterior terhadap parameter 𝜃.. Universitas Sumatera Utara.

22. Tahapan estimasi parameter regresi linier dengan metode Bayes pada prior konjugat yaitu   . . Menentukan fungsi Likelihood melalui vektor data. Menentukan distribusi prior, dimana prior yang dipilih yaitu prior konjugat. Menentukan distribusi posterior dengan cara mengalikan fungsi Likelihood dengan distribusi prior konjugat, sehingga distribusi posterior yang dihasilkan memiliki bentuk yang sama dengan distribusi priornya. Mengestimasi parameter regresi linier dibawah distribusi posterior dengan menurunkan ln distribusi posterior terhadap parameter 𝜃.. 2. Melakukan uji signifikansi parameter regresi linier. Pengujian signifikansi parameter regresi linier dilakukan dengan melakukan pengujian hipotesis bahwa hipotesis yang dilakukan benar, dengan menggunakan probabilitas posterior atau dengan menggunakan uji-t dan uji-F. Langkah-langkah pengujian hipotesis parameter regresi linier sederhana yaitu  Menentukan hipotesis nol 𝐻0 dan hipotesis alternatif 𝐻1 .  Menentukan taraf signifikansi 𝛼.  Menentukan uji statistik. Pengujian hipotesis parameter regresi linier dilakukan dengan menggunakan probabilitas posterior 𝑝(𝐻0 |𝑦) atau dengan menggunakan uji stastistik, uji satistik yang akan dilakukan yaitu uji-t, dimana sebelum melakukan uji-t terlebih dahulu tentukan distribusi marginal posteriornya dengan cara menginteralkan distribusi joint posterior terhadap parameter 𝜃.  Menentukan daerah kritisnya (bila keputusan didasarkan pada nilai probabilitas posterior 𝑝(𝐻0 |𝑦), maka daerah kritis tidak perlu ditentukan).  Menghitung uji statitik dari data.  Kesimpulan: Tolak 𝐻0 jika uji statistik memiliki nilai didalam daerah kritis (atau tolak 𝐻0 jika probabilitas posterior 𝑝(𝐻0 |𝑦) lebih kecil dari 1. pada 𝑝(𝐻0 ) = 2). Langkah-langkah pengujian hipotesis parameter regresi linier berganda yaitu  Menentukan hipotesis nol 𝐻0 dan hipotesis alternatif 𝐻1 .  Menentukan taraf signifikansi 𝛼.  Menentukan uji statistik. Pengujian hipotesis parameter regresi linier dilakukan dengan menggunakan probabilitas posterior 𝑝(𝐻0 |𝑦) atau. Universitas Sumatera Utara.

23. .  . dengan menggunakan uji stastistik, uji satistik yang akan dilakukan yaitu uji-t dan uji-F, dimana sebelum melakukan uji-t terlebih dahulu tentukan distribusi marginal posteriornya dengan cara menginteralkan distribusi joint posterior terhadap parameter 𝜃. Menentukan daerah kritisnya (bila keputusan didasarkan pada nilai probabilitas posterior 𝑝(𝐻0 |𝑦), maka daerah kritis tidak perlu ditentukan). Menghitung uji statitik dari data. Kesimpulan: Tolak 𝐻0 jika uji statistik memiliki nilai didalam daerah kritis (atau tolak 𝐻0 jika probabilitas posterior 𝑝(𝐻0 |𝑦) lebih kecil dari 1. pada 𝑝(𝐻0 ) = 2). 3. Contoh kasus regresi linier sederhana dan berganda pada prior non-informatif dan prior konjugat.. Universitas Sumatera Utara.

24. BAB 4 HASIL DAN PEMBAHASAN 4.1 Metode Bayes Dalam metode Frequentist estimasi parameter dan pengujian hipotesis biasanya dilakukan berdasarkan pada informasi sampel yang diperoleh dari populasi namun pada prakteknya, ketika melalukan inferensi tentang parameter populasi terkadang akan dijumpai situasi dimana diperoleh informasi tambahan tentang parameter pupolasi, dimana informasi tersebut berasal dari data sebelumnya (prior) (Birkes dan Dodge, 1993). Metode Bayes merupakan metode yang digunakan untuk mengestimasi parameter serta menguji hipotesis dengan cara menggabungkan informasi sampel dengan informasi yang berasal dari data sebelumnya (prior) (Box dan Tio, 1973). Sebelum mengaplikasikan metode Bayes kedalam masalah regresi linier, terlebih dahulu akan diberikan mengenai garis besarnya. Misalkan 𝑦1 , … , 𝑦𝑛 adalah vektor data dari 𝑛 pengamatan yang memiliki distribusi probabilitas 𝑝(𝑦|𝜃) serta 𝑦1 , … , 𝑦𝑛 saling independen dan nilai 𝑦1 , … , 𝑦𝑛 bergantung pada nilai dari 𝑝 parameter 𝜃1 , … , 𝜃𝑝 yang memiliki distribusi probabilitas 𝑝(𝜃), kemudian 𝑝(𝑦|𝜃 )𝑝(𝜃) = 𝑝(𝑦, 𝜃) = 𝑝(𝜃|𝑦)𝑝(𝑦) Distribusi bersyarat 𝜃 jika diberikan data pengamatan 𝑦 yaitu 𝑝(𝑦|𝜃)𝑝(𝜃) 𝑝(𝑦). 𝑝( 𝜃 | 𝑦 ) =. (4.1). dimana 𝑝(𝑦) juga dapat ditulis dengan. 𝑝(𝑦) = 𝐸 𝑝(𝑦|𝜃 ) = 𝑐. −1. ∫ 𝑝(𝑦|𝜃)𝑝(𝜃)𝑑𝜃 , 𝜃 𝑘𝑜𝑛𝑡𝑖𝑛𝑖𝑢 ={ ∑ 𝑝(𝑦|𝜃 )𝑝(𝜃). , 𝜃 𝑑𝑖𝑠𝑘𝑟𝑖𝑡. (4.2). Alternatif dari penulisan persamaan (4.1) yaitu. dimana 𝑐 =. 1 ∫ 𝑝(𝑦|𝜃)𝑝(𝜃)𝑑𝜃. (4.3) 𝑝(𝜃 |𝑦) = 𝑐 𝑝(𝑦|𝜃)𝑝(𝜃) 1 = 𝑝(𝑦)𝑑𝑦 yang merupakan sebuah konstanta karena tidak ∫. mengandung parameter 𝜃. Persamaan (4.1) dan (4.3) disebut teorema Bayes, dimana 𝑝(𝜃) disebut distribusi prior, 𝑝(𝑦|𝜃) disebut distribusi bersyarat dari vektor data 𝑦. Universitas Sumatera Utara.

25. dengan syarat 𝜃, 𝑝(𝜃|𝑦) disebut distribusi posterior, 𝑐 merupakan konstanta normalisasi. Dikarenakan 𝑝(𝑦|𝜃 ) sebuah fungsi yang dianggap bukan berasal dari vektor data 𝑦 namun dari parameter 𝜃, oleh karena itu menurut Fisher (1992) 𝑝(𝑦|𝜃 ) disebut fungsi Likelihood dan dapat ditulis sebagai 𝐿(𝜃|𝑦) sehingga teorema Bayes dapat ditulis ulang menjadi 𝑝(𝜃|𝑦) ∝ 𝐿(𝜃|𝑦)𝑝(𝜃) 𝐷𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑠𝑖 𝑝𝑜𝑠𝑡𝑒𝑟𝑖𝑜𝑟 ∝ 𝐹𝑢𝑛𝑔𝑠𝑖 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 × 𝐷𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑠𝑖 𝑝𝑟𝑖𝑜𝑟. (4.4). Persamaan (4.4) dapat dibaca sebagai distribusi posterior proporsional terhadap (∝) perkalian antara fungsi Likelihood dengan distribusi prior. Sebelum menganalisis dan menginterprestasi data, terlebih dahulu taksir apa yang diketahui tentang nilai parameter, hal ini yang menjadi bentuk dari distribusi probabilitas untuk parameter 𝜃 yang memiliki bentuk 𝑝(𝜃). 4.2 Regresi Linier Bayes Dalam model regesi linier berganda 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + ⋯ + 𝛽𝑝 𝑥𝑖𝑝 + 𝜀𝑖 maka estimasi parameter untuk 𝛽0 , … , 𝛽𝑝 dengan menggunakan metode Bayes dilakukan dibawah distribusi posterior. Misalkan untuk vektor data 𝑦1 , … , 𝑦𝑛 berdistribusi normal dengan rataan 𝜇 dan variansi 𝜎 2 memiliki distribusi probabilitas yaitu 𝐿(𝜃 |𝑦) =. 1 √2𝜋𝜎 2. 𝑒𝑥𝑝 (−. 1 (𝑦 − 𝑋𝛽 )2 ) 2𝜎 2. dimana 𝐿(𝜃 |𝑦) merupakan fungsi Likelohood dari vektor data. Distribusi posterior diperoleh dengan cara mengalikan fungsi Likelihood dengan distribusi priornya, penentuan distribusi prior dipengaruhi oleh diketahui ataupun tidak ditetahuinya informasi tentang parameter 𝜃, jika informasi tentang parameter 𝜃 diketahui dan informasi tersebut ingin dimasukan kedalam inferensi maka metode Bayes merupakan metode alternatif yang dapat dijadikan sebagai jalan keluarnya. Dalam hal ini, prior yang dipilih merupakan prior berdistribusi informatif. Namun, jika informasi prior tentang parameter 𝜃 tidak diketahui maka prior yang dipilih merupakan prior berdistribusi non-informatif. Untuk prior berdistribusi noninformatif dapat diperoleh dengan cara menentukan terlebih dahulu densitas lokasi dan densitas skalanya selanjutnya dari densitas lokasi dan skala yang diperoleh tersebut nantinya distribusi prior non-informatif diperoleh (Box dan Tio, 1973).. Universitas Sumatera Utara.

26. Setelah distribusi prior diperoleh, maka kalikan fungsi Likelihood dengan distribusi priornya untuk menghasilkan distribusi posterior, yang selanjutnya estimasi parameternya didapat dengan menurunkan logaritma dari distribusi posterior terhadap parameter 𝜃. 4.3 Estimasi Parameter Regresi Linier Sederhana Prior Non-informatif Estimasi parameter regresi linier Bayes untuk parameter 𝛽0 dan 𝛽1 merupakan nilai harapan dari distribusi posteriornya (Walpole dan Myers, 1995). Diasumsikan bahwa 𝜀 merupakan variabel random berdistribusi normal dengan rataan 𝜇𝑌|𝑋 dan variansi 𝜎 2 atau dapat ditulis dalam bentuk 𝜀~𝑁(𝜇𝑌|𝑋 , 𝜎 2 ). Estimasi parameter 𝜃 dilakukan dibawah distribusi posterior dengan menurunkan distribusi ln posterior terhadap parameter 𝜃. Langkah pertama yaitu menentukan distribusi priornya, distribusi prior noninformatif diperoleh dengan cara mengalikan densitas skala parameter 𝛽0 dan 𝛽1 atau 𝑝(𝛽0 ) dan 𝑝(𝛽1 ) dengan densitas lokasi 𝜎 2 yaitu 𝑝(𝜎 2 ) (Birkes dan Dodge, 1995). . Densitas Lokasi Birkes dan Dodge (1993), misalkan probability density function (pdf) untuk parameter 𝜎 2 yaitu 1 (4.5) 𝑝(𝜎 2 ) = (𝜎 2 )−1 = 2 𝜎 dimana 𝜎 2 memiliki densitas yang berdistribusi uniform pada lokasi-lokasi tertentu yaitu pada 𝜎 2 sendiri dan menggambarkan bahwa tetapi. 1 𝜎2. 1 𝜎2. 1 𝜎2. bukanlah sebuah konstanta dan tidak. merupakan distribusi uniform untuk parameter 𝜎 2 ,. merupakan suatu bentuk pertimbangan dari parameter 𝜆 = log 𝜎 2 ,. dimana 𝜆 memiliki densitas yaitu 𝑝(𝜆) ∝ 𝑝(𝜎 2 ) |. 𝑑𝜎 2 | 𝑑𝜆. ∝ 𝑝(𝑒 𝜆 )𝑒 𝜆 ∝ 𝑒 −𝜆 𝑒 𝜆 ∝ 1 sehingga log 𝜎 2 berdistribusi uniform, hal inilah yang menunjukan bahwa 𝜎 2 merupakan prior lokasi uniform, sehingga densitas lokasi prior non-informatif yaitu 1 𝑝 (𝜎 2 ) = 2 𝜎. Universitas Sumatera Utara.

27. . Densitas skala Dalam Birkes dan Dodge (1995), distribusi prior non-informatif regresi linier sederhana untuk parameter 𝛽0 dan 𝛽1 , dengan 𝛽0 dan 𝛽1 independen yaitu 𝑝(𝛽0 ) dan 𝑝(𝛽1 ) yang merupakan densitas skala dalam interval (𝑎, 𝑏) yang berbentuk 1. 1. 𝑝(𝛽0 ) = (𝑏−𝑎) dan 𝑝(𝛽1 ) = (𝑏−𝑎) densitas tersebut menunjukan bahwa parameter 𝛽0 dan 𝛽1 berdistribusi uniform terhingga, sehingga bentuk tersebut tidak dapat digunakan karena tidak mendefinisikan fungsi proper untuk distribusi uniform takterhingga, sehingga digunakan densitas uniform takterhingga dengan bentuk (4.6) 𝑝(𝑥 ) = 𝑘, −∞ < 𝑥 < ∞, 𝑘>0 namum bentuk (4.6) tersebut tidak mendefinisikan densitas proper, oleh karena itu akan dipilih konstanta positif 𝑘 untuk parameter 𝛽0 dan 𝛽1 sehingga 𝑝(𝛽0 ) = 𝑘 dan 𝑝(𝛽1 ) = 𝑘 dengan 𝑘 ∈ ∞. Agar 𝑝(𝛽0 ) dan 𝑝(𝛽1 ) menjadi fungsi proper maka haruslah ∫ 𝑝(𝛽0 )𝑑𝛽0 = 1 dan ∫ 𝑝(𝛽1 )𝑑𝛽1 = 1, karena hal ini tidak berpengaruh pada penentuan distribusi posterior sehingga akan digunakan distribusi prior dengan densitas 𝑝(𝛽0 ) = 1 dan 𝑝(𝛽1 ) = 1. sehingga distribusi prior non-informatif gabungan untuk parameter 𝛽0 , 𝛽1 dan 𝜎 2 yaitu (4.7) 𝑝(𝛽0 , 𝛽1 , 𝜎 2 ) = 𝑝(𝛽0 )𝑝(𝛽1 )𝑝(𝜎 2 ) 1 = 1×1× 2 𝜎 1 = 𝜎2 selanjutnya yaitu menentukan fungsi Likelihoodnya, dimana akan diasumsikan vektor data 𝑦1 , … , 𝑦𝑛 berdistribusi normal yang memiliki pdf yaitu 𝑝(𝑦𝑖 |𝛽0 , 𝛽1 , 𝜎 2 ) = −. 1 √2𝜋𝜎 2. 𝑒𝑥𝑝 (−. 1 (𝑦 − 𝑋𝛽 )2 ) 2𝜎 2. maka fungsi Likelihood 𝑛 pengamatan berdasarkan pdf vektor data yaitu 𝐿(𝛽0 , 𝛽1 , 𝜎 2 |𝑦) =. 𝑛. 𝑝(𝑥𝑖 |𝛽0 , 𝛽1 , 𝜎 2 ). ∏. ∝ −. 𝑖=1. 1. √2𝜋𝜎 2. 𝑒𝑥𝑝 (−. 1 (𝑦 − 𝑋𝛽 )2 + ⋯ + (𝑦𝑛 − 𝑋𝛽 )2 ) 2𝜎 2 1. Universitas Sumatera Utara.

28. 1 ∑(𝑦𝑖 − 𝑋𝛽 )2 ) 2 2 2𝜎 √2𝜋𝜎 1 1 2 𝑒𝑥𝑝 (− 2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) ) ∝ − 2 2𝜎 √2𝜋𝜎 ∝ −. 1. 𝑒𝑥𝑝 (−. (4.8). langkah selanjutnya yaitu menetukan distribusi posteriornya dengan cara mengalikan distribusi prior pada persamaan (4.7) dengan fungsi Likelihood pada persamaan (4.8) (4.9) 𝑝(𝛽0 , 𝛽1 , 𝜎 2 |𝑦) ∝ 𝐿(𝛽0 , 𝛽1 , 𝜎 2 |𝑦)𝑝(𝛽0 , 𝛽1 , 𝜎 2 ) 1 1 1 2 𝑒𝑥𝑝 (− 2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) ) × 2 ∝ − 2 2𝜎 𝜎 √2𝜋𝜎 1 1 1 2 × 2 𝑒𝑥𝑝 (− 2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) ) ∝ − 2𝜎 √2𝜋𝜎 2 𝜎 1 1 2 𝑒𝑥𝑝 (− 2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) ) ∝ − 2 2 2𝜎 √2𝜋𝜎 × 𝜎 1 1 2 𝑒𝑥𝑝 (− 2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) ) ∝ 𝑐− 2𝜎 √𝜎 2 × 𝜎 2 𝑛 1 2 (4.10) ∝ 𝑐(−𝜎)− 2 −2 𝑒𝑥𝑝 (− 2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) ) 2𝜎 selanjutnya menentukan ln distribusi posterior, dimana ln ditribusi posterior pada persamaan (4.10) yaitu 1 2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) )) 2 2𝜎 𝑛 1 − −2 2 ( ) ln 𝑐 − 𝑙𝑛 𝜎 𝑙𝑛 (𝑒𝑥𝑝 (− ∑(𝑦𝑖 = 2(𝜎 2 )2 𝑛. ln 𝑝(𝛽0 , 𝛽1 , 𝜎 2 |𝑦) = ln (𝑐(−𝜎)− 2 −2 𝑒𝑥𝑝 (−. 2. − (𝛽0 + 𝛽1 𝑥𝑖 )) )) 1 (4.11) ∑(𝑦𝑖 2 2 = 2 (𝜎 ) 2 − (𝛽0 + 𝛽1 𝑥𝑖 )) lalu turunkan persamaan ln distribusi posterior pada persamaan (4.11) terhadap 𝛽0 , 𝛽1 dan 𝜎 2 1. ln 𝑐 − (𝑛 − 2)ln(𝜎)−2 +. 1 2 1 𝜕(ln 𝑝(𝛽0 , 𝛽1 , 𝜎 2 |𝑦)) 𝜕 (ln 𝑐 − (𝑛 − 2)ln(𝜎)−2 + ( 2 )2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) ) 2 𝜎 = 𝜕𝛽0 𝜕𝛽. −2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) = 2 (𝜎 2 )2. 0. (4.12). Universitas Sumatera Utara.

29. 1 2 1 𝜕(ln 𝑝(𝛽0 , 𝛽1 , 𝜎 2 |𝑦)) 𝜕 (ln 𝑐 − (𝑛 − 2)ln(𝜎)−2 + ( 2 )2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) ) 2 𝜎 = 𝜕𝛽1 𝜕𝛽. −2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )𝑥𝑖 ) = 2(𝜎 2 )2. 1. (4.13). dan 1 2 1 𝜕(ln 𝑝(𝛽0 , 𝛽1 , 𝜎 2 |𝑦)) 𝜕 (ln 𝑐 − (𝑛 − 2)ln(𝜎)−2 + ( 2 )2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) ) 2 𝜎 = 𝜕𝜎 2 𝜕𝜎 2 (𝑛 − 2) 1 (4.14) 2 = + 3 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) 2𝜎 𝜎 selanjutnya hasil turunan dari ln distribusi posterior terhadap 𝛽0 , 𝛽1 dan 𝜎 2 pada persamaan (4.12), (4.13) dan (4.14) disamakan dengan nol. −2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) 2(𝜎 2 )2 −2(∑ 𝑦𝑖 − 𝑛𝛽0 + 𝛽1 ∑ 𝑥𝑖 ) 2(𝜎 2 )2 − ∑ 𝑦𝑖 − 𝑛𝛽0 + 𝛽1 ∑ 𝑥𝑖 (𝜎 2 )2 𝑛𝛽0 − 𝛽1 ∑ 𝑥𝑖 ( 𝜎 2 )2 𝑛𝛽0 + 𝛽1 ∑ 𝑥𝑖 𝛽̂0. −2 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )𝑥𝑖 ) 2(𝜎 2 )2 −2((∑ 𝑦𝑖 𝑥𝑖 ) − 𝑛𝛽0 ∑ 𝑥𝑖 + 𝛽1 ∑ 𝑥𝑖 𝑥𝑖 ) 2 (𝜎 2 )2 −(∑(𝑦𝑖 𝑥𝑖 ) − 𝑛𝛽0 ∑ 𝑥𝑖 + 𝛽1 ∑ 𝑥𝑖 𝑥𝑖 (𝜎 2 )2 𝑛𝛽0 ∑ 𝑥𝑖 + 𝛽1 ∑ 𝑥𝑖 𝑥𝑖 (𝜎 2 ) 2 𝑛𝛽0 ∑ 𝑥𝑖 + 𝛽1 ∑ 𝑥𝑖 𝑥𝑖 𝛽1 ∑ 𝑥𝑖 𝑥𝑖 𝛽̂1. = 0 = 0 = 0 =. ∑ 𝑦𝑖 (𝜎 2 )2. = ∑ 𝑦𝑖 =. ∑ 𝑦𝑖 − 𝛽̂1 ∑ 𝑥𝑖 𝑛. (4.15). = 0 = 0 = 0 =. (∑ 𝑦𝑖 𝑥𝑖 ) (𝜎 2 )2. = ∑(𝑦𝑖 𝑥𝑖 ) = ∑(𝑦𝑖 𝑥𝑖 ) − 𝑛𝛽0 ∑ 𝑥𝑖 ∑(𝑦𝑖 𝑥𝑖 ) − 𝑛𝛽0 ∑ 𝑥𝑖 = ∑ 𝑥𝑖 𝑥𝑖. Universitas Sumatera Utara.

30. 𝛽̂1 = 𝛽̂1 =. 𝑛 ∑(𝑦𝑖 𝑥𝑖 ) − (∑ 𝑥𝑖 )(∑ 𝑦𝑖 ) 𝑛 ∑ 𝑥 𝑖 𝑥 𝑖 − (∑ 𝑥 𝑖 )2 ∑(𝑥𝑖 − 𝑥̅ ) ∑(𝑦𝑖 − 𝑦̅) ∑(𝑥𝑖 − 𝑥̅ )2. (4.16). dan (𝑛 − 2) 1 2 + 3 ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) 2𝜎 𝜎 1 (𝑛 − 2) 2 = ( )) ∑(𝑦 − 𝛽 + 𝛽 𝑥 𝑖 0 1 𝑖 𝜎3 2𝜎 1 2 (𝑛 − 2) = ( )) ∑(𝑦 − 𝛽 + 𝛽 𝑥 𝑖 0 1 𝑖 𝜎2 (𝑛 − 2)𝜎 2 = ∑(𝑦 − (𝛽 + 𝛽 𝑥 ))2 𝑖 0 1 𝑖 0 =. 2. 𝜎̂. 2. 𝜎̂ 2 𝜎̂ 2 𝜎̂ 2 𝜎̂ 2 𝜎̂ 2 𝜎̂ 2. ∑(𝑦𝑖 − (𝛽0 + 𝛽1 𝑥𝑖 )) = (𝑛 − 2) ∑(𝑦𝑖 − 𝑦̅)2 − 2𝛽̂1 ∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) + 𝛽̂12 ∑(𝑥𝑖 − 𝑥̅ )2 = (𝑛 − 2) 2 ̂ ̂ 𝐽 − 2𝛽1 𝐽𝑥𝑦 + 𝛽1 𝐽𝑥𝑥 = 𝑦𝑦 (𝑛 − 2) 𝐽 − 2𝛽̂1 (𝛽̂1 𝐽𝑥𝑥 ) + 𝛽̂12 𝐽𝑥𝑥 = 𝑦𝑦 (𝑛 − 2) 2 ̂ 𝐽 − 2𝛽1 𝐽𝑥𝑥 + 𝛽̂12 𝐽𝑥𝑥 = 𝑦𝑦 (𝑛 − 2) ̂ 𝐽 − 𝛽12 𝐽𝑥𝑥 = 𝑦𝑦 (𝑛 − 2) 𝐽 − 𝛽̂1 𝐽𝑥𝑦 (4.17) = 𝑦𝑦 (𝑛 − 2). ̂. ∑ 𝑦 −𝛽 ∑ 𝑥 ∑(𝑥 −𝑥̅ ) ∑(𝑦 −𝑦̅) karena 𝛽̂0 = 𝑖 𝑛 1 𝑖 dan 𝛽̂1 = 𝑖∑(𝑥 )2𝑖 sehingga 𝜇̂ dapat ditulis 𝑖 −𝑥̅. = 𝛽̂0 + 𝛽̂1 𝑥̅ ∑ 𝑦𝑖 − 𝛽̂1 ∑ 𝑥𝑖 ∑(𝑥𝑖 − 𝑥̅ ) ∑(𝑦𝑖 − 𝑦̅) = +( 𝑥̅ ) 𝑛 ∑(𝑥𝑖 − 𝑥̅ )2 Dapat dilihat bahwa hasil estimasi parameter yang dihasilkan pada regresi linier sederhana prior non-informatif menggunakan metode Bayes sama dengan hasil estimasi parameter dengan menggunakan metode OLS. 𝜇̂. Universitas Sumatera Utara.

31. 4.4 Estimasi Parameter Regresi Linier Berganda Prior Non-Informatif Hal pertama yang harus dilakukan dalam mengestimasi parameter regresi linier berganda prion non-informatif yaitu menentukan distribusi priornya, dimana prior yang digunakan yaitu 𝛽 dan 𝜎 2 serta memiliki pdf yang sama dengan pdf prior noninformatif regresi linier sederhana yaitu 1. 𝑝(𝛽 ) = 1 dan 𝑝(𝜎 2 ) = 𝜎2 sehingga distribusi prior gabungan untuk parameter 𝛽 dan 𝜎 2 yaitu 𝑝(𝛽 )𝑝(𝜎 2 ) 1 = 1× 2 𝜎 1 (4.18) = 𝜎2 langkah selanjutnya yang perlu dilakukan dalam mengestiasi parameter yaitu menentukan fungsi Likelihoodnya yaitu 𝑝( 𝛽, 𝜎 2 ). =. 𝐿(𝛽, 𝜎 2 |𝑦) = 𝑝(𝑦𝑖 |𝛽, 𝜎 2 ) 𝑛. = ∏ 𝑝(𝑥𝑖 |𝛽, 𝜎 2 ) 𝑖=1. −1 (𝑦𝑖 − 𝑥1 𝛽)2 + ⋯ + (𝑦𝑛 − 𝑥𝑛 𝛽)2 ) 2 2 2𝜎 √2𝜋𝜎 1 −1 𝑒𝑥𝑝 ( 2 (𝑦 − 𝑋𝛽 )2 ) ∝ − 2𝜎 √2𝜋𝜎 2 1 −1 (4.19) 𝑒𝑥𝑝 ( 2 (𝑦 − 𝑋𝛽 )𝑇 (𝑦 − 𝑋𝛽)) ∝ − 2 2𝜎 √2𝜋𝜎 selanjutnya yaitu menentukan distribusi posterior dengan cara mengalikan fungsi Likelihood persamaan (4.19) dengan distribusi prior persamaan (4.18) yaitu ∝ −. 1. 𝑒𝑥𝑝 (. 𝑝(𝛽, 𝜎 2 |𝑦) ∝ 𝐿(𝛽, 𝜎 2 |𝑦)𝑝(𝛽, 𝜎 2 ) 1 −1 1 𝑒𝑥𝑝 ( 2 (𝑦 − 𝑋𝛽 )𝑇 (𝑦 − 𝑋𝛽)) × 2 ∝ − 2𝜎 𝜎 √2𝜋𝜎 2 1 −1 𝑒𝑥𝑝 ( 2 (𝑦 − 𝑋𝛽 )𝑇 (𝑦 − 𝑋𝛽)) ∝ − (2𝜋)𝑛/2 𝜎 𝑛 𝜎 2 2𝜎 1 −1 ∝ 𝑐 − 𝑛 2 𝑒𝑥𝑝 ( 2 (𝑦 − 𝑋𝛽 )𝑇 (𝑦 − 𝑋𝛽)) 𝜎 𝜎 2𝜎 −1 ∝ 𝑐 −𝜎 −𝑛 𝜎 −2 𝑒𝑥𝑝 ( 2 (𝑦 𝑇 𝑦 − 2𝛽 𝑇 𝑋 𝑇 𝑦 + 𝛽 𝑇 𝑋 𝑇 𝑋𝛽 )) 2𝜎 𝑛 −1 ∝ 𝑐 −𝜎 − 2 −2 𝑒𝑥𝑝 ( 2 (𝑦 𝑇 𝑦 − 2𝛽 𝑇 𝑋 𝑇 𝑦 + 𝛽 𝑇 𝑋 𝑇 𝑋𝛽 )) (4.20) 2𝜎. Universitas Sumatera Utara.

32. lalu menentukan ln distribusi postrerior pada persamaan (4.20) yaitu −1 𝑇 (𝑦 𝑦 − 2𝛽 𝑇 𝑋 𝑇 𝑦 + 𝛽 𝑇 𝑋 𝑇 𝑋𝛽 ))) 2𝜎 2 𝑛 −1 𝑇 − −2 2 ) ln 𝑒𝑥𝑝 ( (𝑦 𝑦 − 2𝛽 𝑇 𝑋 𝑇 𝑦 ln 𝑐 𝑙𝑛 (−𝜎 = 2𝜎 2 𝑛. ln 𝑝 (𝛽, 𝜎 2 |𝑦) = 𝑙𝑛 (𝑐 −𝜎 − 2 −2 𝑒𝑥𝑝 (. + 𝛽 𝑇 𝑋 𝑇 𝑋𝛽 )) 1 −1 𝑇 − 2 ) ln 𝑒𝑥𝑝 ( (𝑦 𝑦 − 2𝛽 𝑇 𝑋 𝑇 𝑦 ln 𝑐 (𝑛 − 2)𝑙𝑛 (−𝜎 = 2𝜎 2. + 𝛽 𝑇 𝑋 𝑇 𝑋𝛽 )) 1. =. ln 𝑐 (𝑛 − 2) ln (−𝜎 −2 ) −. 1 𝑇 1 𝑦 𝑦 + 2𝛽 𝑇 𝑋 𝑇 𝑦 2 2 2𝜎 2𝜎. (4.21) 1 𝑇 𝑇 𝛽 𝑋 𝑋𝛽 2𝜎 2 selanjutnya distribusi ln posterior pada persamaan (4.21) akan diturunkan terhadap 𝛽 dan 𝜎 2 yaitu −. 1 1 1 1 𝑇 𝑇 𝜕 ln 𝑝 (𝛽, 𝜎 2 |𝑦) 𝜕 (ln 𝑐 (𝑛 − 2) ln (−𝜎−2 ) − 2 𝑦𝑇 𝑦 + 2 2𝛽 𝑋𝑇 𝑦 − 2 𝛽 𝑋𝑇 𝑋𝛽) = 2𝜎 2𝜎 2𝜎 𝜕𝛽. 𝜕𝛽. 1 𝑇 1 1 1 = 𝑋 𝑦 − 2 𝑋 𝑇 𝑋𝛽 + 2 𝑋 𝑇 𝑋𝛽 − 2 𝑋 𝑇 𝑋𝛽 2 𝜎 𝜎 𝜎 𝜎 1 𝑇 1 𝑇 = 𝑋 𝑦 − 2 𝑋 𝑋𝛽 𝜎2 𝜎. (4.22). dan 𝜕 ln 𝑝 (𝛽, 𝜎 2 |𝑦) = 𝜕𝜎 2 =. 1. 𝜕 (ln 𝑐 (𝑛 − 2) ln (−𝜎−2 ) −. 1 𝑇 1 1 𝑇 𝑇 𝑇 𝑇 𝛽 𝑋 𝑋𝛽 ) 2𝑦 𝑦+ 2 2𝛽 𝑋 𝑦 − 2𝜎 2𝜎 2𝜎2 𝜕𝜎 2. (𝑛 − 2) 1 1 + 3 𝑦 𝑇 𝑦 + 3 2𝛽 𝑇 𝑋 𝑇 𝑦 2𝜎 2𝜎 2𝜎 1 𝑇 𝑇 − 3 𝛽 𝑋 𝑋𝛽 2𝜎. (4.23). lalu hasil turunan distribusi ln posterior terhadap 𝛽 dan 𝜎 2 pada persamaan (4.22) dan (4.23) disamakan dengan nol hingga diperoleh estimasi parameternya 𝜕 ln 𝑝 (𝛽, 𝜎 2 |𝑦) = 𝜕𝛽. 0. Universitas Sumatera Utara.

33. 0 = −. 1 𝑇 𝑋 𝑦 𝜎2 1 𝑇 𝑋 𝑦 𝜎2 𝑋 𝑇 𝑋𝛽 𝛽̂. = = = =. 1 𝑇 1 𝑇 𝑋 𝑦 − 𝑋 𝑋𝛽 𝜎2 𝜎2 1 − 2 𝑋 𝑇 𝑋𝛽 𝜎 1 𝑇 𝑋 𝑋𝛽 𝜎2 𝑋𝑇 𝑦 (𝑋 𝑇 𝑋)−1 𝑋 𝑇 𝑦. (4.24). dan (𝑛 − 2) 1 1 1 + 3 𝑦 𝑇 𝑦 + 3 2𝛽 𝑇 𝑋 𝑇 𝑦 − 3 𝛽 𝑇 𝑋 𝑇 𝑋𝛽 2𝜎 2𝜎 2𝜎 2𝜎 (𝑛 − 2) 1 𝑇 1 1 𝑇 𝑇 𝑇 𝑇 = − 𝑦 𝑦 + 3 2𝛽 𝑋 𝑦 − 3 𝛽 𝑋 𝑋𝛽 2𝜎 2𝜎 3 2𝜎 2𝜎 𝑇 (𝑛 − 2) 𝑦 𝑦 + 2𝛽 𝑇 𝑋 𝑇 𝑦 − 𝛽 𝑇 𝑋 𝑇 𝑋𝛽 = − 2𝜎 2𝜎 3 𝑇 𝑇 𝑇 𝑦 𝑦 + 2𝛽 𝑋 𝑦 − 𝛽 𝑇 𝑋 𝑇 𝑋𝛽 (𝑛 − 2) = 𝜎2 2 = 𝑇 𝑇 (𝑛 − 2)𝜎 𝑦 𝑦 + 2𝛽 𝑋 𝑇 𝑦 − 𝛽 𝑇 𝑋 𝑇 𝑋𝛽 𝑦 𝑇 𝑦 + 2𝛽 𝑇 𝑋 𝑇 𝑦 − 𝛽 𝑇 𝑋 𝑇 𝑋𝛽 2 = 𝜎̂ (𝑛 − 2) 𝑇 ̂ (𝑦 − 𝑋𝛽 ) (𝑦 − 𝑋𝛽̂ ) (4.25) 𝜎̂ 2 = (𝑛 − 2) Untuk mengestimasi parameter 𝜇 juga dapat diperoleh dengan menggunakan turunan ln posterior terhadap 𝛽 pada persamaan (4.21) lalu disamakan dengan nol sehingga diperoleh estimasi parameternya 0 =. 𝜕 ln 𝑝 (𝛽, 𝜎 2 |𝑦) = 𝜕𝛽 0 = −. 1 𝑇 𝑋 𝑦 = 𝜎2 𝑦̂ =. 𝑦̂ = karena 𝑦 = 𝜇𝑌|𝑋 , maka. 0 1 𝑇 1 𝑇 𝑋 𝑦 − 𝑋 𝑋𝛽 𝜎2 𝜎2 1 − 2 𝑋 𝑇 𝑋𝛽 𝜎 1 𝑇 𝑋 𝑋𝛽 𝜎2 1 𝑇 𝑋 𝜎2 𝑋𝛽̂. (4.26). 𝜇̂ 𝑌|𝑋 = 𝑋𝛽̂. Universitas Sumatera Utara.

34. Dapat dilihat bahwa hasil estimasi parameter regresi linier berganda prior noninformatif dengan menggunakan metode Bayes sama dengan hasil estimasi parameter dengan menggunakan metode OLS. 4.5 Estimasi Parameter Regresi Linier Sederhana Prior Konjugat Hal pertama yang harus dilakukan dalam mengestimasi parameter regresi linier sederhana prior konjugat yaitu menentukan fungsi Likelihood untuk vektor data, diasumsikan untuk vektor data 𝑦1 , … , 𝑦𝑛 ~𝑁(𝜇, 𝜎 2 ) maka fungsi Likelihoodnya yaitu 𝐿(𝛽0 , 𝛽1 , 𝜎 2 |𝑦) ∝ 𝑝(𝑦𝑖 |𝛽0 , 𝛽1 , 𝜎 2 ) 1 1 ∝ − exp (− 2 [(𝑦1 − 𝑋𝛽 )2 + ⋯ 2 2𝜎 √2𝜋𝜎 + (𝑦𝑛 − 𝑋𝛽 )2 ]) 1 [∑(𝑦𝑖 − 𝑋𝛽 )2 ]) 2𝜎 2 √2𝜋𝜎 2 1 1 2 exp (− 2 [∑(𝑦𝑖 − 𝜇𝑌|𝑋 ) ]) (4.27) ∝ − 2𝜎 √2𝜋𝜎 2 dengan 𝜇𝑌|𝑋 = 𝛽0 + 𝛽1 𝑥𝑖 sehingga persamaan (4.27) dapat ditulis ulang sedemikian rupa sehingga fungsi Likelihood berdistribusi normal dalam (𝑦 − 𝑦̂) dan karena ∝ −. 2. 1. exp (−. = ∑[(𝑦𝑖 − 𝑦̅) + (𝑦̅ − 𝜇𝑌|𝑋 )]. ∑(𝑦𝑖 − 𝜇𝑌|𝑋 ). 2. = ∑(𝑦 − 𝑦̅)2 + 2 ∑(𝑦 − 𝑦̅) (𝑦 − 𝜇 ) 𝑖 𝑖 𝑖 𝑌|𝑋 + ∑(𝑦̅ − 𝜇𝑌|𝑋 ). 2. = ∑(𝑦 − 𝑦̅)2 + 2𝛽 ∑(𝑦 − 𝑦̅) (𝑥 − 𝑥̅ ) 𝑖 1 𝑖 𝑖 (4.28). + 𝛽1 2 ∑(𝑥𝑖 − 𝑥̅ )2. + 𝑛(𝛽0 − 𝑦̅)2 selanjutnya karena ∑(𝑦𝑖 − 𝑦̅)2 = 𝐽𝑦𝑦 , ∑(𝑦𝑖 − 𝑦̅) (𝑥𝑖 − 𝑥̅ ) = 𝐽𝑥𝑦 , dan ∑(𝑥𝑖 − 𝑥̅ )2 = 𝐽𝑥𝑥 , maka persamaan (4.28) menjadi 2. ∑(𝑦𝑖 − 𝜇𝑌|𝑋 ) dan karena. 1 √2𝜋. = 𝐽𝑦𝑦 + 2𝛽1 𝐽𝑥𝑦 + 𝛽1 2 𝐽𝑥𝑥 + 𝑛(𝛽0 − 𝑦̅)2. merupakan sebuah konstanta, maka fungsi Likelihood pada persamaan. (4.27) menjadi. Universitas Sumatera Utara.

35. 𝐿(𝛽0 , 𝛽1 , 𝜎 2 |𝑦) ∝ 𝑐 × − 1 exp (− 1 [𝐽 + 2𝛽 𝐽 + 𝛽 2 𝐽 1 𝑥𝑦 1 𝑥𝑥 𝜎 𝑛/2 2𝜎 2 𝑦𝑦 + 𝑛(𝛽0 − 𝑦̅)2 ]) 1 [𝐽𝑦𝑦 + 2𝛽1 𝐽𝑥𝑦 + 𝛽1 2 𝐽𝑥𝑥 ]) 2 ∝ 2𝜎 × −(𝜎)−𝑘/2 1 exp (− 2 [𝑛(𝛽0 − 𝑦̅)2 ]) 2𝜎 𝐽𝑥𝑦 2 [𝛽 − 1 𝑛+𝑘 𝐽𝑥𝑥 ] − ] ∝ 𝑐 × −(𝜎) 2 exp − [ 2𝜎 2 𝐽𝑥𝑥 ( ) (4.29) × −(𝜎)−𝑘/2 𝑐 × −(𝜎)−. 𝑛+𝑘 2. exp (−. 2. (𝛽0 − 𝑦̅) exp (− [ ] ) 2𝜎 2 𝑛 persamaan (4.29) merupakan suatu bentuk perkalian dari fungsi Likelihood untuk parameter 𝛽0 dan 𝛽1 yaitu 𝐿(𝛽0 , 𝛽1 , 𝜎 2 |𝑦). ∝ 𝐿(𝛽0 , 𝜎 2 |𝑦) × 𝐿(𝛽1 , 𝜎 2 |𝑦) 2. ∝. (𝛽0 − 𝑦̅) [𝑐 × −(𝜎)−𝑛+𝑘/2 exp (− [ ] )] 𝑐 2𝜎 2 𝑛 [ (4.30) 𝐽𝑥𝑦 2 [− 𝐽 ] 𝑥𝑥 ] × −(𝜎)−𝑘/2 exp − [ 2𝜎 2 𝐽𝑥𝑥 ( )] Fungsi Likelihood pada persamaan (4.30) akan diparameterisasi untuk mendapatkan nilai (𝛽̂0 )0 dan (𝛽̂1 )0 dengan cara menurunkan ln Likelihood terhadap parameter 𝜃 lalu disamakan dengan nol hingga diperoleh hasil estimasi parameter yang diinginkan, dimana ln fungsi Likelihood untuk parameter 𝛽0 dan 𝛽1 yaitu 2. ln 𝐿(𝛽0 , 𝜎 2 |𝑦) = ln (𝑐 × −(𝜎)−𝑛+𝑘/2 exp (− [. (𝛽0 − 𝑦̅) ] )) 2𝜎 2 𝑛. Universitas Sumatera Utara.

36. 2. = ln 𝑐 ln −(𝜎)−𝑛+𝑘/2 ln exp (− [. (𝛽0 − 𝑦̅) ] ) 2𝜎 2 𝑛 2. = ln 𝑐 ln −(𝜎)−𝑛+𝑘/2 − [. (𝛽0 − 𝑦̅) ] 2𝜎 2 𝑛. (4.31). dan. ln 𝐿(𝛽1 , 𝜎 2 |𝑦) = ln 𝑐 × −(𝜎)−𝑘/2 exp − [ (. 𝐽𝑥𝑦 [𝛽1 − 𝐽 ] 𝑥𝑥. 2𝜎 2 𝐽𝑥𝑥. (. = ln 𝑐 ln −(𝜎)−𝑘/2 ln exp − [ (. 2. ] )). 𝐽𝑥𝑦 [𝛽1 − 𝐽 ] 𝑥𝑥. 2𝜎 2 𝐽𝑥𝑥. 2. ]. ) 𝐽𝑥𝑦 2 [𝛽1 − 𝐽 ] 𝑥𝑥 −𝑘/2 (4.32) = ln 𝑐 ln −(𝜎) ] −[ 2 2𝜎 𝐽𝑥𝑥 Lalu turunkan ln dari fungsi Likelihood untuk parameter 𝛽0 dan 𝛽1 pada persamaan (4.31) dan (4.32) terhadap 𝛽0 dan 𝛽1 2. 𝜕(ln 𝐿(𝛽0 , 𝜎 2 |𝑦)) 𝜕 (ln 𝑐 ln −(𝜎)−𝑛+𝑘/2 − [ = 𝜕𝛽0 𝜕𝛽0 = 2(. (𝛽0 − 𝑦̅) ] ) 2𝜎 2 𝑛. (𝛽0 − 𝑦̅) ) 2𝜎 2 𝑛. (4.33). dan. 𝜕(ln 𝐿(𝛽1 , 𝜎 2 |𝑦)) 𝜕 ln 𝑐 ln −(𝜎)−𝑘/2 − [ = 𝜕𝛽1 ( 𝜕𝛽1. 𝐽𝑥𝑦 [𝛽1 − 𝐽 ] 2𝜎 2 𝐽𝑥𝑥. 𝑥𝑥. 2. ] ). Universitas Sumatera Utara.

37. = 2(. 𝐽𝑥𝑦 [𝛽1 − 𝐽 ] 𝑥𝑥 2 2𝜎. ). (4.34). 𝐽𝑥𝑥 lalu hasil turunan ln fungsi Likelihood untuk 𝛽0 dan 𝛽1 terhadap 𝛽0 dan 𝛽1 pada persamaan (4.33) dan (4.34) disamakan dengan nol (𝛽0 − 𝑦̅) ) 2𝜎 2 𝑛 (𝛽0 − 𝑦̅) 0 = 𝜎2 𝑛 𝑦̅ 𝛽0 𝜎2 = 𝜎2 𝑛 𝑛 (𝛽̂0 )0 = 𝑦̅ 0 = 2(. (4.35). dan [𝛽1 − 0 = 2(. 𝐽𝑥𝑦 ] 𝐽𝑥𝑥. ) 2𝜎 2 𝐽𝑥𝑥 𝐽𝑥𝑦 [𝛽1 − 𝐽 ] 𝑥𝑥 0 = 𝜎2 𝐽𝑥𝑥 𝐽𝑥𝑦 𝛽1 𝐽𝑥𝑥 𝜎2 = 𝜎2 𝐽𝑥𝑥 𝐽𝑥𝑥 𝐽 (4.36) (𝛽̂1 )0 = 𝑥𝑦 𝐽𝑥𝑥 dimana (𝛽̂0 )0 dan (𝛽̂1 )0 merupakan estimasi parameter 𝛽0 dan 𝛽1 dari fungsi 𝐽 Likelihoodnya, karena (𝛽̂1 )0 = 𝐽𝑥𝑦 dan (𝛽̂0 )0 = 𝑦̅ , serta 𝑥 = 𝑥̅ , maka (𝜇̂ 𝑌|𝑋 )0 dapat 𝑥𝑥. ditulis dengan = (𝛽̂0 )0 + (𝛽̂1 )0 𝑥̅ 𝐽𝑥𝑦 (4.37) (𝑥̅ ) = 𝑦̅ + 𝐽𝑥𝑥 2 karena ∑(𝑦𝑖 − 𝜇𝑌|𝑋 ) pada persamaan (4.28) dapat ditulis dengan bentuk lain yaitu (𝜇̂ 𝑌|𝑋 )0. Universitas Sumatera Utara.