BAB II Landasan Pustaka
III.2 Pemodelan System Dynamics
III.2.4 Pengujian dan Pengembangan Model
Untuk mengetahui kesahihan model sebagai replika sistem nyata, perlu dilakukan pengujian model. Uji model dilakukan dengan membandingkan perilaku model dengan perilaku sistem yang sebenarnya yang direpresentasikan oleh data empirik di lapangan. Jika perbandingan hasil simulasi model mempunyai kesesuaian dengan data empirik, maka model dapat dinyataakan sebagai replika sistem nyata yang baik atau valid.
Validasi ialah proses untuk menguji konfidensi struktur dan perilaku model sebagai suatu representasi sistem nyata yang dapat dipercaya. Validasi diperlukan dalam upaya untuk membandingkannya dengan pola referensi dan secara terus- menerus memodifikasi dan memperbaiki struktur model. Suatu model secara struktur dapat dikatakan valid jika model tidak hanya dapat membuat reproduksi perilaku sistem, akan tetapi juga dapat mengungkapkan bagaimana sistem bekerja dalam menghasilkan perilaku tersebut.
Oleh karena itu model dapat dikatakan baik jika model dapat menambah pemahaman terhadap perilaku sistem yang dimaksud, mudah dikomunikasikan dan dapat menolong perbaikan pada sistem tersebut. Bila ada korespondensi antara model dan sistem nyata, makamodel yang dibuat dapat diterima sebagai suatu representasi persoalan yang sahih dan dapat digunakan untuk analisis kebijakan.
38
Validasi model dapat dilakukan dengan 2 cara yaitu:
Validasi melalui komparasi grafik hasil simulasi dengan data statistik; Validasi jenis ini ditampilkan dengan menyatukan representasi data empirik dan data hasil simulasi dalam satu grafik.
Validasi dengan uji statistik (Theil Statistics).
Dalam uji statistik, standar yang digunakan untuk mengukur kesalahan adalah rataan kuadrat kesalahan (mean square error; MSE), yang dinyatakan dengan persamaan berikut (Sterman, 1984) :
………….. (3.1)
dimana:
MSE = Mean Square Error; St = nilai simulasi pada waktu t; At = nilai aktual pada waktu t;
n = jumlah pengamatan (t = 1, …, n);
Semakin rendah nilai MSE menunjukan tingkat kesalahan yang kecil, dan demikian sebaliknya. Penafsiran kesalahan-kesalahan hasil simulasi dipresentasikan dengan Root Mean Square Percent Error (RMSPE), yang dinyatakan dengan persamaan berikut :
..……….. (3.2)
Kesalahan-kesalahan yang termaktub dalam MSE dapat disusun dalam 3 jenis kesalahan. Uji statistik Theil didasarkan pada perhitungan bahwa error dalam model merupakan proporsi ketidaksamaan bias (Um), ketidaksamaan varian (Us) dan ketidaksamaan kovarian (Uc). Dalam meningkatkan kepercayaan terhadap model, model yang ideal seharusnya memiliki kesalahan yang
n MSE = 1/n [(St – At)/At]2 n=1 n RMSPE =
v
1/n [(St – At)/At]2 n=139
sangat kecil dan terkonsentrasi pada UC dan US. Namun dari semua uji statistik dimaksud, penentuan signifikansi dan tingkat tolerasinya bergantung pada tujuan model dibuat dan karakteristik datanya.
Persamaan-persamaan ketidaksamaan tersebut diuraikan di bawah ini :
………….. (3.3)
………….. (3.4)
………….. (3.5)
………….. (3.6)
Dimana :
Nilai dari masing-masing besaran di atas diberikan oleh persamaan- persamaan berikut ini:
………….. (3.7) ………….. (3.8) ………….. (3.9)
( SS– SA)2 US = n 1/n [ St – At ]2 n=1
2 ( 1– r) SS . SA UC = n 1/n [ St – At ]2 n=1
UM + US + UC = 1
S = 1/n St
Aˆ = 1/n At
SS =
v
1/n [ St – S ]2SA =
v
1/n [ At – A ]2( S– A)2 UM = n 1/n [ St – At ]2 n=1
40
………….. (3.10)
………….. (3.11)
dimana:
UM = proporsi MSE karena bias US = proporsi MSE karena varian UC = proporsi MSE karena kovarian
Sˆ = rata-rata nilai simulasi
Aˆ = rata-rata nilai aktual
St = nilai simulasi pada waktu t At = nilai aktual pada waktu t SS = standar deviasi nilai simulasi SA = standar deviasi nilai aktual n = jumlah pengamatan (t = 1, …, n)
Hasil uji ketidaksamaan Theil menjelaskan hal-hal sebagai berikut:
a. Kesalahan karena bias diindikasikan dengan nilai UM yang besar, sementara nilai US dan UC kecil. Kesalahan karena bias dianggap berpotensi serius dan biasanya merupakan kesalahan dalam mengestimasi parameter. Kesalahan ini dikategorikan sebagai kesalahan sistematis antara model dengan kenyataan.
b. Kesalahan karena ketidaksamaan varian yang besar juga termasuk kesalahan sistematis. Terdapat dua kasus kesalahan yang tergolong dalam kelompok ini, yaitu:
Jika nilai US mendominasi kesalahan, dengan nilai UM dan UC kecil, berarti terdapat rata-rata yang sama dan korelasi yang tinggi, tetapi jarak varian rata-ratanya berbeda. Keadaan ini menunjukkan nilai simulasi dan nilai aktual yang mempunyai kecenderungan berbeda.
Jika US besar, tetapi memiliki rata-rata yang sama (UM = 0) dan UC kecil, berarti kesalahan terjadi karena gangguan acak (random noise)
1/n [ St – S ]2 [ At – A ]2 r =
41
atau nilai aktual mempunyai siklus yang berbeda dengan nilai simulasi. Interpretasi atas kesalahan ini sangat ditentukan oleh tujuan membuat model. Jika model dibuat untuk menyelidiki pola siklus sistem, maka kesalahan ini dapat dikategorikan sebagai kesalahan sistematis. Akan tetapi apabila tujuan membuat model untuk menganalisa perilaku jangka panjang, maka kesalahan ini tidak penting dan tidak bersifat sistematis. Kesalahan karena ketidaksamaan kovarian yang diindikasikan dengan nilai UC yang besar, sedangkan nilai UM dan US kecil. Hal ini menunjukkan bahwa nilai tiap-tiap titik (point by point) antara simulasi dengan hasil aktual tidak sama meskipun model dapat dikatakan memiliki nilai rata-rata dan kecenderungan yang sama dengan nilai aktualnya. Nilai UC yang besar merupakan indikasi terjadinya gangguan (noise) pada pola siklus (cyclical modes) pada data historis yang tidak dapat ditangkap oleh model. Kesalahan ini pada umumya bukan merupakan kesalahan sistematis.
Proses validasi harus pula dilengkapi dengan proses-proses pengujian validasi struktur dan perilaku. Selengkapnya pengujian-pengujian yang dapat dilakukan dalam suatu proses pemodelan system dynamics dapat dinyatakan dalam tabel dibawah ini.
Tabel 3.2 Pengujian-pengujian dalam System Dynamics
Uraian Pengujian Tipe
Pengujian Pertanyaan selama pengujian model Verifikasi
Struktur
Apakah struktur model konsisten dengan pengetahuan deskriptif yang relevan tentang sistem?
Verifikasi Paramater
Apakah parameter-parameter konsisten dengan pengetahuan deskriptif dan numerik mengenai sistem?
Kondisi Ekstrim
Apakah masing-masing persamaan masuk akal kendati inputnya memiliki nilai-nilai ekstrim? Kecukupan
Bts (Struktur)
Apakah konsep-konsep yang penting menyangkut persoalan telah tercakup (endogenus) dengan model ?
Proses pengujian struktur model
Konsistensi Dimensional
Apakah masing-masing persamaan konsisten secara dimensional tanpa menggunakan parameter-parameter yang tidak ada di dunia nyata ?
42
Reproduksi Perilaku
Apakah model secara endogenus membangkitkan gejala-gejala dari persoalan, mode-mode perilaku, frekuensi, dan karakteristik lain dari perilaku sistem ril ?
Anomali Perilaku
Apakah perilaku abnormal muncul jika suatu asumsi model ditiadakan ?
Family Member
Dapatkah model mereproduksi perilaku dari contoh-contoh sistem lain dalam kelas yang sama seperti model (mis.: dapatkah sebuah model perkotaan membangkitkan perilaku kota New York, Dallas, Carson City, dan Calcutta bilamana diberi parameter masing-masing kota tersebut) ? Perilaku
Mengejutkan
Apakah model menunjukkan adanya suatu mode perilaku yang sebelumnya tidak dikenali dalam sistem ril?
Kebijakan Ekstrim
Apakah model berperilaku sebagaimana mestinya bila dihadapkan pada kebijakan-kebijakan ekstrim atau input-input pengujian ?
Kecukupan Batas (Perilaku)
Apakah perilaku model sensitif terhadap penambahan atau perubahan struktur untuk mewakili teori-teori alternatif yang dapat dapat diterima ?
Sensitivitas Perilaku
Apakah perilaku model sensitif terhadap variasi- variasi yang dapat diterima dalam parameter- parameternya ?
Pengujian Perilaku Model
Karakter Statistika
Apakah output model memiliki karakter statistika yang sama dengan “output” dari sistem ril ? Perbaikan
Sistem
Apakah kinerja sistem ril meningkat melalui penggunaan model ?
Prediksi Perilaku
Apakah model dengan benar menjabarkan hasil- hasil dari kebijakan yang baru ?
Kecukupan Batas (Kebijakan)
Apakah rekomendasi kebijakan sensitif terhadap penambahan atau pengubahan struktur untuk merepresentasikan teori-teori alternatif yang dapat diterima ? Pengujian Implikasi Kebijakan Sensitivitas Kebijakan
Apakah rekomendasi-rekomendasi kebijakan sensitif dengan variasi-variasi yang masuk akal dalam parameter-parameternya ?
Dikutip dari Taufik (2008, Sumber: Diadaptasi dari Sterman (1984))
b. Pengembangan Model
Dalam tahapan-tahapan awal pemodelan sampai dengan pengujian model (dalam tiap tahapannya) mungkin saja dilakukan perubahan struktur model, baik dengan melakukan penambahan atau pengurangan struktur model. Tujuan utama dari tahap ini adalah untuk memperoleh suatu model yang sesuai dengan sistem yang sebenarnya, atau sesuai dengan tujuan-tujuan yang hendak dicapai, dan dapat dimengerti dengan baik. Pengembangan model dapat dilakukan dengan
43
menambah/mengurangi variabel, menambah/mengurangi umpan-balik, atau memperkecil/memperluas boundary model. Pengembangan model pada peinsipnya ditujukan untuk process oriented, yaitu meningkatkan pemahaman tentang struktur sistem nyata yang kita amati.