4. Ragam Prediksi Model Final
Keragaman pada prediksi model final juga merupakan indikator yang sangat bermakna untuk menelaah karakteristik kebaikan metode MA. Idealnya, hasil suatu prediksi memiliki keakuratan yang tinggi serta ragam setiap nilai prediksinya cukup rendah. Perhitungan ragam prediksi model final diperoleh setelah proses MA pada ketiga metode tersebut dilakukan. Pengukuran ragam ini dilakukan secara empiris melalui simulasi dengan melibatkan banyak ulangan. Misalkan simulasi proses MA dilakukan sebanyak kali ulangan, maka akan diperoleh sebanyak prediksi model final untuk masing-masing metode MA. Perhitungan ragam prediksi model final untuk amatan ke- , = , , … , , dilakukan dengan menggunakan rumus berikut ini
� ̂ =∑ℎ= (̂−ℎ− ̂̅ )
dengan ̂ merupakan nilai dugaan peubah respon pada amatan ke- , ̂ ℎ merupakan nilai dugaan peubah respon pada amatan ke- dan ulangan ke-ℎ, serta ̂̅ merupakan nilai rataan dugaan peubah respon pada amatan ke- yang dicari melalui ̂̅ =∑ℎ= ̂�ℎ. Akibatnya, jika dalam suatu peubah respon terdiri dari sebanyak amatan, maka diperoleh sebanyak nilai � ̂ . Selanjutnya satu nilai yang mewakili ragam prediksi model final ini ialah rataan dari nilai � ̂ , yaitu �̅̅̅̅̅̅̅̅̅ =̂ ∑��= � ̂�
. Simpangan bakunya dihitung dengan (� ̂ ) = √∑� (� ̂�−�̅̅̅̅̅̅̅̅̅̅)̂
�=
12
PENDEKATAN BARU: Principal Component Model Averaging
(PCMA)
Bahasan utama pada penelitian yang dilakukan terdapat pada bagian ini. Secara tersendiri, bagian ini disusun untuk menjelaskan tahapan dari pengembangan metode MA dengan memasukkan proses rotation forest, yang disebut PCMA. Meskipun algoritme yang dikembangkan mengacu pada algoritme rotation forest, namun beberapa penyesuaian dilakukan dalam kaitannya dengan penerapan pada kasus MA.
Seperti yang disebutkan sebelumnya, metode PCMA dikembangkan berdasarkan algoritme rotation forest (Rodriguez dan Kuncheva 2006). Konsep utama yang digunakan pada metode MA yaitu dengan memasukkan proses PCA untuk membentuk komponen-komponen yang saling bebas. Adanya proses ini diharapkan dapat menurunkan keragaman prediksi model akhir yang terbentuk yakni dengan mengurangi komponen kovarian dalam penentuan ragam prediksi.
Misalkan diketahui vektor kolom peubah bebas pada matriks × = [ … ], selanjutnya dibagi secara acak menjadi � anak matriks yang berisi ; = , , … , � vektor peubah bebas < , , = , , … , �; dengan ketentuan untuk yang berbeda, vektor peubah bebas pada jugaberbeda. Pada setiap anak matriks tersebut, dilakukan proses resampling dengan metode bootstrap dengan ukuran 75% dari amatan di dalamnya. Misalkan merupakan hasil proses bootstrap pada anak matriks , maka PCA dilakukan pada untuk diperoleh koefisien dari komponen utamanya, � , � , … , � �, dengan ukuran masing-masing × . Selanjutnya dibentuk matriks rotasi �
� × = [
� , � , … , � � ⋱
� , � , … , � � ]
Langkah selanjutnya membentuk komponen peubah bebas � × = [� � … � ] = � , dengan � merupakan matriks rotasi � yang telah dilakukan operasi pemindahan kolom untuk peubah bebas yang sesuai dengan . Analisis regresi dilakukan pada terhadapkandidat model dari komponen peubah bebas matriks �.
Tahapan pembentukan kandidat model dilakukan dengan mengadopsi metode GMA. Setiap komponen dari � diurutkan berdasarkan nilai korelasi terbesar dengan peubah respon , � ��� = [�[ ] �[ ]… �[ ]], dengan �[ℎ] merupakan komponen peubah bebas dengan nilai korelasi terbesar urutan ke-ℎ. Selanjutnya dari � ��� dibagi menjadi anak matriks dengan masing-masing
terdiri dari vektor kolom peubah bebas, � ��� = [�[ − + ]] = , ,…, ; = , , … , . Matriks � ���, = , , … , , inilah yang akan dibentuk kandidat
model melalui pemodelan regresi dengan peubah respon, ̂ = ̂ (� ���). Secara ringkas algoritme PCMA disajikan dalam diagram alur di bawah ini.
Gambar 1 Tahapan metode PCMA
Data matriks peubah bebas Pembentukan � anak matriks peubah bebas Bootstrap � anak matriks peubah bebas Proses PCA Pembentukan matriks �dan�
Melakukan tahapan GMA terhadap matriks �
14
EVALUASI RMA, GMA, & PCMA
Pada bagian ini akan dibahas karakteristik metode RMA, GMA, dan PCMA dalam memprediksi peubah respon pada permasalahan regresi dimensi tinggi ( ≫ ) dengan data simulasi menggunakan software R. Data regresi × = [ … ] ditetapkan dengan kondisi ≫ , = , dan = . Berdasarkan = peubah bebas, ditetapkan pula sebanyak = peubah peubah bebas yang mempengaruhi peubah respon yang ditandai dengan nilai koefisien regresi bernilai 1. Pengaruh acak � dibangkitkan mengikuti sebaran normal dengan rataan 0 dan simpangan baku 4. Misalkan matriks ̃ = [ … ], selanjutnya peubah respon diperoleh melalui persamaan
= ̃� + � = [ … ] [ � � �
] + � dengan parameter koefisien regresinya ditetapkan
� = { ; = ; = – + , = , , … , ; �
Penerapan RMA, GMA, dan PCMA dilakukan dengan jumlah peubah bebas pada kandidat model berbeda-beda, = { , , … , , , , , , , }, ukuran = , dengan ulangan = , serta dengan dua jenis tipe bobotnya, pembobotan sama dan AIC. Kajian empiris pada data simulasi yakni dengan mengukur aspek-aspek sebagai berikut:
1. kebaikan prediksi yang dilihat dari kriteria evaluasi rataan MAPE, rataan MAE, dan rataan MSE dari 1000 ulangan
2. ketakbiasan prediksi, melalui rataan bias dari 1000 ulangan
3. nilai rataan determinan dan rataan maksimum akar ciri dari matriks korelasi dari kandidat model untuk 1000 kali ulangan
4. serta ragam prediksi model final dari 1000 ulangan.
Pada praktiknya kajian empiris untuk mengukur kebaikan metode RMA, GMA dan PCMA dilakukan dengan membagi data menjadi dua bagian, data training dan data testing. Persentase data training dan testing ditetapkan dengan proporsi yang sama rata, sehingga dengan = maka banyaknya amatan pada data training dan testing masing-masing sebanyak 50. Data training digunakan dalam proses analisis untuk pembentukan model, sedangkan data testing digunakan untuk mengevaluasi hasil analisis pada data training terutama pada hasil prediksinya. Algoritme ketiga metode tersebut dijelaskan pada
langkah-Pada bagian selanjutnya akan dibahas mengenai hasil simulasi yang telah dilakukan. Hasil ini pada prinsipnya didasarkan setiap aspek-aspek pengukuran yang diteliti, yang dibagi menjadi dua bagian yakni berdasarkan data training dan testing. Hasil simulasi disajikan dalam grafik garis yang disertai wilayah selang kepercayaannya yang paling optimum melalui pengukuran kuantil 5%. Berdasarkan hasil ini nantinya dapat diperoleh visualisasi secara grafik metode mana yang lebih baik dari metode lainnya, serta kesamaan antar hasil metode tersebut. Jika wilayah selang kepercayaan yang terbentuk antar metode saling tumpang tindih, dapat dikatakan bahwa hasil antar metode tersebut tidak berbeda secara nyata.
Berdasarkan aspek pengukuran yang digunakan, MAPE, MAE, dan MSE, kebaikan prediksi pada pembobotan sama memiliki pola yang sama (Gambar 2). Sebagian besar, hasil evaluasi pada data training menunjukkan bahwa PCMA relatif serupa dengan GMA dalam ketepatan nilai prediksi peubah respon, yakni semakin besar nilai maka prediksinya akan semakin tepat. Hal ini berlaku juga pada RMA, namun dengan tingkat ketepatan yang sedikit lebih kecil. Pada data testing, pola hasil evaluasi PCMA tidak berbeda dengan GMA, yang memiliki pola non-linear. Semakin besar nilai maka akan menurunkan ketepatan prediksinya. Hal ini dikarenakan akibat dari kondisi pembangunan model dengan peubah bebas yang lebih banyak, akan membuat model tersebut overfit. Sebaliknya, hasil evaluasi RMA memiliki pola yang linear.
Gambar 3 menyajikan hasil evaluasi dengan pembobotan AIC. Hasil evaluasi dengan pembobotan AIC pada data testing memiliki kondisi yang serupa ketika menggunakan pembobotan sama. Pada data testing, metode yang paling akurat dalam melakukan prediksi ialah PCMA untuk nilai yang besar, yakni nilai evaluasi yang dihasilkan lebih kecil dibandingkan RMA dan GMA. Meskipun wilayah selang pada PCMA tumpang tindih dengan metode GMA. Hal ini mengindikasikan bahwa PCMA menghasilkan nilai evaluasi yang lebih kecil namun tidak berbeda nyata dengan hasil GMA ketika menggunakan pembobot AIC.
Hasil rataan nilai bias pada data training baik untuk pembobot sama dan AIC, memiliki pola yang serupa, nilai bias berfluktiasi pada nilai 0. Pada data testing, pola bias ketiga metode tersebut cukup berfluktuasi di nilai 0, baik untuk pembobot sama maupun AIC. Akibatnya, ketiga metode tersebut sudah dapat dikatakan cukup baik mengingat nilai bias yang dihasilkan tidak jauh dari 0, dengan kata lain prediksi ketiga metode tersebut tak bias (Gambar 4).
16
a. Rataan MAPE data training b. Rataan MAPE data testing
c. Rataan MAE data training d. Rataan MAE data testing
e. Rataan MSE data training f. Rataan MSE data testing Gambar 2 Kurva nilai MAPE, MAE dan MSE pada banyak peubah bebas yang
a. Rataan MAPE data training b. Rataan MAPE data testing
c. Rataan MAE data training d. Rataan MAE data testing
e. Rataan MSE data training f. Rataan MSE data testing Gambar 3 Kurva nilai MAPE, MAE dan MSE pada banyak peubah bebas yang
18
a. Rataan Bias data training – Bobot sama b. Rataan Bias data testing – Bobot sama
c. Rataan Bias data training – Bobot AIC d. Rataan Bias data testing – Bobot AIC Gambar 4 Kurva rataan nilai bias pada banyak peubah bebas yang berbeda ( )
untuk data simulasi
Berikutnya, dari segi aspek pengukuran rataan nilai maksimum akar ciri dan rataan determinan dari matriks korelasi keseluruhan prediksi kandidat model, diperoleh hasil yang relatif serupa antara PCMA dengan GMA (Gambar 5). Nilai maksimum akar ciri mengindikasikan pola keragaman dari prediksi kandidat model yang diperoleh. Hasil simulasi memperlihatkan bahwa untuk data training nilai maksimum akar ciri yang diperoleh relatif sama dengan kecenderungan meningkat sejalan dengan . Namun pada data testing diperoleh informasi bahwa semakin meningkatnya , maka semakin kecil nilai maksimum akar ciri yang diperoleh. Hal ini mengindikasikan semakin banyak peubah bebas dalam kandidat model maka semakin tidak beragam prediksi dari model yang diperoleh.
Nilai determinan baik pada data training dan testing, antara PCMA dan GMA cenderung konsisten dengan nilai yang sangat kecil mendekati nol, sedangkan RMA menghasilkan nilai determinan yang cenderung fluktuatif
menghasilkan prediksi peubah respon pada setiap kandidat model yang tidak saling bebas, akibatnya pembentukan model averaging yang diinginkan dapat melalui prediksi pada setiap kandidat model.
a. Rataan maksimum akar ciri matriks korelasi prediksi, data training
b. Rataan maksimum akar ciri matriks korelasi prediksi, data testing
c. Rataan determinan matriks korelasi prediksi data training
d. Rataan determinan matriks korelasi prediksi data testing
Gambar 5 Kurva rataan nilai maksimum akar ciri dan rataan determinan matriks korelasi prediksi kandidat model pada banyak peubah bebas yang berbeda ( ) untuk data simulasi
Hasil rataan ragam prediksi pada model final disajikan pada Gambar 6. Pada data training maupun data testing untuk kedua bobot, semakin besar nilai , maka semakin besar pula nilai keragaman yang dihasilkan. Namun dalam konteks pendugaan, pada data testing, PCMA mampu menghasilkan nilai prediksi dengan keragaman yang cukup rendah dibandingkan yang lain, pada nilai yang relatif banyak, meskipun dari segi selang kepecayaannya tidak berbeda nyata. Hal ini merupakan suatu hasil yang cukup mendukung penggunaan pendekatan baru
20
PCMA untuk menganalisis regresi dimensi tinggi, dengan nilai yang dianjurkan relatif lebih besar. Jadi peneliti dapat memilih PCMA untuk menghasilkan hasil yang cukup baik dalam prediksi peubah respon pada data dimensi besar.
a. Rataan ragam prediksi peubah respon, data training – bobot sama
b. Rataan ragam prediksi peubah respon, data testing – bobot sama
c. Rataan ragam prediksi peubah respon, data training – bobot AIC
d. Rataan ragam prediksi peubah respon, data testing – bobot AIC
Gambar 6 Kurva rataan ragam prediksi model final pada banyak peubah bebas yang berbeda ( ) data simulasi
Berdasarkan hasil simulasi tersebut, PCMA memiliki pola keakuratan yang cukup baik, prediksi yang tak bias dengan keragaman prediksi cukup kecil menggunakan pembobot AIC. Dengan kata lain, PCMA dapat dijadikan suatu rekomendasi pilihan dalam permasalahan regresi dimensi tinggi dalam prediksi peubah respon.
APLIKASI RMA, GMA, & PCMA
Prediksi AFB1 Melalui Profil Metilasi DNA Darah Bayi dari Kelompok Ibu/Anak di Gambia
Pada bagian sebelumnya sudah dikemukakan bahwa PCMA dapat dijadikan suatu rekomendasi metode ketika berhadapan pada kasus prediksi peubah respon dengan kondisi data peubah bebas sangat besar. Selanjutnya, bagian ini akan disajikan aplikasi PCMA dalam kasus permasalahan regresi untuk prediksi peubah respon pada data dimensi besar. Bahasan ini ditujukan sebagai gambaran contoh kasus yang dapat dijadikan acuan dalam pesoalan nyata yang berkaitan dengan prediksi pada data dimensi besar.
Sajian kasus yang digunakan ialah kasus prediksi peubah paparan intra-uterus ke aflatoksin B1 (AFB1) ibu hamil dengan menggunakan profil metilasi DNA sel darah putih bayinya. Dengan kata lain, peubah responnya ialah AFB1 serta peubah bebasnya merupakan profil metilasi DNA. Terdapat sebanyak 124 amatan ibu hamil yang diteliti. Peubah AFB1 berasal dari ibu hamil pada trimester pertama kehamilan, yang menyatakan gambaran banyaknya kandungan racun pada tubuh ibu hamil tersebut akibat memakan jagung dan kacang tanah yang tercemar. Setelah ibu hamil tersebut melahirkan, bayinya ketika umur 3 s.d. 6 bulan diambil sel darah putihnya untuk dilakukan metilasi DNA. Hasil dari metilasi DNA sel darah putih bayi tersebut memiliki 485577 profil (Vargas et al 2015). Akibatnya data peubah respon memiliki ukuran = 124 dan = 485577, yang dapat digolongkan data dimensi besar, ≫ .
Tahapan pertama pada pengolahan data yang dilakukan meliputi penyisihan profil metilasi DNA dan AFB1 yang terdapat data kosong (tidak lengkap). Proses penyisihan ini dilakukan sebagai upaya menghindari tidak berjalannya algoritme RMA, GMA, serta PCMA yang didefinisikan, karena metode yang dibangun pada penelitian ini tidak kekar terhadap data kosong. Jika terdapat data kosong pada peubah AFB1, maka baris peubah profil metilasi DNA yang bersesuaian dengan data kosong tersebut akan disisihkan. Serta jika terdapat data kosong pada peubah profil metilasi DNA, maka kolom pada profil metilasi DNA yang bersesuaian dengan data kosong tersebut akan disisihkan. Akibatnya diperoleh =480050 dan = 118 tanpa data kosong. Selanjutnya terhadap data ini, dilakukan upaya prediksi peubah respon AFB1 dengan metode RMA, GMA, dan PCMA.
Pengolahan data metilasi DNA tersebut menggunakan CPU server Intel Xeon dengan memori 48 Gb dan software R. Pada pengolahannya, dilakukan pembagian amatan data menjadi data training dan data testing dengan persentase 50%. Jumlah peubah bebas yang digunakan serupa dengan kriteria simulasi, = { , , … , , , , , , , }, karena banyaknya amatan pada proses simulasi tidak jauh berbeda dengan studi kasus. Selain itu banyaknya kandidat model ditetapkan sebanyak = , dan ditetapkan menggunakan pembobot AIC. Kriteria evaluasi MAPE, MAE, dan MSE menjadi dasar keakuratan metode yang digunakan, nilai rataan korelasi prediksi dengan aktualnya untuk setiap banyaknya peubah bebas dalam kandidat model menjadi indikator kebaikan yang digunakan.
22
a. Nilai MAPE data training b. Nilai MAPE data testing
c. Nilai MAE data training d. Nilai MAE data testing
e. Nilai MSE data training f. Nilai MSE data testing Gambar 7 Kurva nilai MAPE, MAE dan MSE pada banyak peubah bebas yang
Hasil evaluasi kebaikan antara metode RMA, GMA, dan PCMA dengan pembobot AIC disajikan pada Gambar 7. Berdasarkan grafik tersebut, PCMA menghasilkan nilai evaluasi yang lebih kecil dibandingkan RMA dan GMA. Hasil ini menunjukkan bahwa PCMA sangat efektif dalam prediksi peubah respon meskipun dengan jumlah peubah bebas yang sangat banyak. Penggunaan PCMA juga disarankan agar peubah bebas yang digunakan pada kandidat model dengan ukuran cukup banyak.
Selanjutnya, pada Tabel 1, menyajikan besarnya rataan nilai korelasi antara prediksi peubah AFB1 dengan peubah AFB1 aktualnya, yang diperoleh berdasarkan rataan semua banyaknya peubah bebas dalam kandidat model yang digunakan. Pada data training nilai rataan korelasi untuk ketiga metode tersebut yang dihasilkan cukup besar, hal ini menandakan model untuk prediksi yang dibentuk sudah sangat baik. Nilai rataan korelasi pada data testing digunakan untuk melihat pola prediksi apakah sesuai dengan aktualnya. Ternyata dengan data yang cukup besar, nilai korelasi yang dihasilkan pada data testing tidak cukup tinggi, sehingga dapat dikatakan polanya cukup beragam. Namun, pada data secara keseluruhan nilai korelasi yang dihasilkan sudah cukup baik. Pada sudut pandang lain, dari sisi metode, PCMA menghasilkan nilai rataan korelasi yang lebih besar daripada RMA dan GMA untuk data training, data testing, maupun data secara keseluruhan. Hal ini mengindikasikan pada studi kasus ini PCMA dapat diaplikasikan dengan cukup baik.
Tabel 1 Rataan korelasi antara prediksi peubah AFB1 dengan peubah AFB1 aktual untuk semua kondisi peubah bebas dalam kandidat model
Keterangan data Metode
RMA GMA PCMA
Data training 0.742 0.879 0.886 Data testing 0.003 -0.002 0.033 Keseluruhan data 0.411 0.484 0.503
Gambaran pola prediksi peubah AFB1 terhadap nilai peubah AFB1 aktualnya disajikan pada Gambar 8. Grafik ini menyatakan pola pencaran antara prediksi peubah AFB1 dengan nilai aktualnya yang dihasilkan oleh metode PCMA dengan nilai MAPE, MAE, dan MSE terbaik. Nilai prediksi PCMA terbaik diperoleh ketika peubah bebas yang digunakan pada kandidat model sebanyak 15 ( = . Hasil pola pencaran ini menandakan bahwa terbentuk pola linear antara nilai aktual AFB1 terhadap prediksinya. Dengan kata lain, terdapat kesesuaian antara nilai aktual AFB1 terhadap prediksinya.
24
Gambar 8 Plot pencaran nilai aktual peubah AFB1 dengan nilai prediksi peubah AFB1 terbaik
Berdasarkan hasil ini, PCMA dapat menjadi salah satu metode alternatif dalam prediksi peubah respon, meskipun banyaknya peubah bebas melebihi banyaknya amatannya. Akibatnya AFB1 dapat diprediksi dengan baik oleh data metilasi DNA dengan metode PCMA.
-50 0 50 100 150 200 250 300 350 400 0 100 200 300 400 500 N il ai Pr e d iksi A FB 1
SIMPULAN
Simpulan
Melalui kajian simulasi terungkap bahwa PCMA dapat dijadikan alternatif metode untuk prediksi peubah respon pada data regresi dimensi tinggi. Indikatornya ialah nilai evaluasi kebaikan MAPE, MAE, dan MSE yang cukup kecil dengan bias relatif disekitar nol (tak bias), disertai dengan rataan ragam prediksi final yang sangat kecil. Meskipun hasil evaluasi kebaikan pada PCMA tidak berbeda nyata dengan GMA, namun dari segi rataan ragam prediksi model final, PCMA mampu menghasilkan nilai yang cukup kecil dan mampu dijadikan patokan sebagai alternatif metode.
Metode PCMA dapat digunakan sebagai metode alternatif prediksi peubah respon permasalahan regresi dimensi tinggi, tentunya dengan asumsi kondisi data regresi yang digunakan tidak terdapat data kosong. Kajian kasus metilasi DNA sel darah putih dengan dimensi =480050 dan = 118, dapat diselesaikan dengan baik menggunakan PCMA untuk prediksi peubah AFB1 ibu hamil di Gambia, dengan keseluruhan data.
26
DAFTAR PUSTAKA
Ando T, Li KC. 2014. A Model-Averaging Approach for High-Dimensional Regression, Journal of the American Statistical Association. 194: 254-265. Breiman L. 2001. Random Forests, Machine Learning. 45: 5-32.
Casella G, Berger RL. Statistical Inference Second Edition. Pacific Grove (US): Duxbury Thomson Learning.
Claeskens G, Hjort NL. 2008. Model Selection and Model Averaging. New York (US): Cambridge University Press.
Hoerl AE, Kennard RW. 1970. Ridge Regression: Biased Estimation for Nonorthogonal Problems, Technometrics. 12: 55-67.
Myttenaere AD, Golden B, Grand BL, Rossi F. 2015. Using the Mean Absolute Percentage Error for Regression Models. Proceedings of the 23-th European Symposium on Articial Neural Networks, Computational Intelligence and Machine Learning (ESANN 2015). hal-01162980.
Perrone MP. 1993. Improving Regression Estimation: Averaging Methods for Variance Reduction with Extensions to General Convex Measure Optimization [disertasi]. Providence(US): Brown University.
Rodriguez JJ, Kuncheva LI. 2006. Rotation Forest: A New Classifier Ensemble Method, IEEE Transactions on Pattern Analysis and Machine Intelligence. 28: 1619-1630.
Skurichina M, Duin RPW. 2005. Combining Feature Subsets in Feature Selection. LNCS. 3541: 165-175.
Tibshirani R. 1996. Regression Shrinkage and Selection via the LASSO, Journal of the Royal Statistics Society Series B. 58: 267-288.
Vargas HH, Castelino J, Silver MJ, Salas PD, Cros MP, Durand G, Kelm FLC, Prentice AM, Wild CP, Moore SE et al. 2015. Exposure to aflatoxin B1 in utero is associated with DNA methylation in white blood cells of infants in The Gambia. International Journal of Epidemiology.1-11.
Xie H, Huang J. 2009. SCAD-Penalized Regression in High-Dimensional Partially Linear Models, The Annals of Statistics. 37: 673-696.
Zhou ZH. 2012. Ensemble Methods Foundations and Algorithms. Boca Raton(US): CRC Press
Zou H, Hastie T. 2005. Regularization and Variable Selection Via The Elastic Net, J.R.Statist.Soc.B. 67: 301-320.
LAMPIRAN
28
Lampiran 1 Algoritme simulasi Randomized Model Averaging (RMA) Lakukan untuk = { , , … , , , , , , , };
Mulai : Ulangi dari ℎ = , , … , ;
Bagi amatan data secara acak menjadi 2 bagian sama besar sebagai training dan testing;
Lakukan pada data training:
Tentukan ��; = , … , berisi peubah bebas secara acak (tanpa pengembalian);
Regresikan setiap �� dengan , simpan prediksinya ̂ ��;
Hitung prediksi model final dengan bobot sama ̂ ��
� & bobot AIC ̂ ��
��� ;
Hitung akar ciri terbesar matriks korelasi dari semua ̂ ��; = , … , ; Hitung determinan matriks korelasi dari semua ̂ ��; = , … , ; Hitung MAPE, MAD, dan MSE dari ̂ ��
� dan ̂ ��
��� ;
Hitung bias relatif (BR) dari ̂ ��
� dan ̂ ��
��� ;
Lakukan pada data testing:
Hitung akar ciri terbesar matriks korelasi dari semua ̂ ��; = , … , ; Hitung determinan matriks korelasi dari semua ��; = , … , ; Hitung MAPE, MAD, dan MSE dari ̂ ��
� dan ̂ ��
��� ;
Hitung bias relatif (BR) dari ̂ ��
� dan ̂ ��
��� ;
Selesai
Hitung rataan MAPE, MAD, dan MSE dari ̂ ��
� dan ̂ ��
��� untuk seluruh ℎ; Hitung rataan akarciri terbesar dari seluruh ulangan ℎ;
Hitung rataan determinan dari seluruh ulangan ℎ; Hitung rataan bias relatif (BR) dari seluruh ulangan ℎ; Hitung ragam antar ulangan ̂ ��
� dan ̂ ��
Lampiran 2 Algoritme simulasi General Model Averaging (GMA) Lakukan untuk = { , , … , , , , , , , }
Mulai : Ulangi dari ℎ = , , … ,
Bagi amatan data secara acak menjadi 2 bagian sama besar sebagai training dan testing;
Lakukan pada data training:
Korelasikan setiap peubah bebas dengan peubah respon; Urutkan peubah bebas berdasarkan nilai korelasinya, ���;
Bagi ���menjadi bagian, ��� = [ [ − + ]] = ,…, ; = , … , ; Regresikan setiap ��� dengan , simpan prediksinya ̂���
Hitung prediksi model final dengan bobot sama ̂���
� & bobot AIC ̂���
��� ;
Hitung akar ciri terbesar matriks korelasi dari semua ̂���; = , … , ; Hitung determinan matriks korelasi dari semua ̂���; = , … , ;