IV.7 Validasi Model
IV.7.2 Validasi Perilaku Model
Validasi perilaku model dilakukan untuk mengamati apakah perilaku model sesuai dengan perilaku sistem nyata secara statistik. Validasi perilaku ini terdiri atas uji reproduksi perilaku, uji model pada kondisi ekstrim, uji kesalahan integrasi, serta uji prediksi perilaku.
a. Uji Reproduksi Perilaku
Dalam uji reproduksi perilaku, perilaku yang dihasilkan model dibandingkan dengan perilaku sistem nyata. Variabel yang diuji adalah variabel – variabel yang dianggap penting dalam model. Alat statistik yang digunakan dalam menguji validitas kinerja model pada penelitian ini adalah Theil Inequality (U-Theil). Statistik Theil Inequality digunakan untuk mengetahui perbedaan output yang dihasilkan oleh model terhadap data aktual yang disebabkan oleh kesalahan sistematis atau karena efek random (Sterman, 2000).
Pengujian ini meliputi mean square error (MSE), mean absolute error (MAE, Bias (UM), unequal variation (US), unequal covariation (UC), serta koefisien korelasi (r). Bias terjadi apabila output model dan data aktual memiliki rataan yang berbeda, unequal variation mengindikasikan bahwa variansi antara output model dengan data aktual berbeda, sedangkan unequal covariation menjelaskan bahwa output model dan data aktual berkorelasi dengan sempurna, namun berbeda pada setiap titik – titiknya.
Pada penelitian ini, validasi dilakukan pada variabel – variabel yang menjadi kriteria performansi sistem, yaitu tingkat produksi, jumlah tenaga kerja industri, dan tingkat investasi. Validasi dilakukan pada kurun waktu 2000 – 2006, sehingga dapat dilihat perubahan konsistensi nilai simulasi terhadap nilai aktual.
• Tingkat Produksi Sari Buah
Gambar IV.16 Uji Reproduksi Perilaku Tingkat Produksi 1 – Tingkat produksi sari buah (model)
Hasil uji statistik Theil Inequality untuk tingkat produksi adalah sebagai berikut : MSE = 4,827 x 1012 UM = 0,022 US = 0,037 UC = 0,941 r = 0,974 UM = bias US = unequal variation UC = unequal covariation R = correlation coefficient
Berdasarkan pengujian pada variabel tingkat investasi, output model dan data aktual memiliki rataan dan variansi yang sama, selain itu output model dan data aktual juga berkorelasi dengan sempurna, meskipun berbeda pada setiap titik – titiknya.
• Tenaga Kerja Industri Sari Buah
Gambar IV.17 Uji Reproduksi Perilaku Jumlah Tenaga Kerja Industri Sari Buah 1 – Jumlah tenaga kerja industri sari buah (model)
Hasil uji statistik Theil Inequality untuk jumlah tenaga kerja industri adalah sebagai berikut : MSE = 6,027 x 103 UM = 0,262 US = 0,011 UC = 0,727 r = 0,819 UM = bias US = unequal variation UC = unequal covariation R = correlation coefficient
Berdasarkan pengujian pada variabel jumlah tenaga kerja, kesalahan (error) terkonsentrasi pada bias (UM). Hal ini mengindikasikan bahwa output model dan data aktual memiliki rataan yang berbeda, namun variansinya mendekati pola yang sama, dan tetap berkorelasi dengan baik meskipun berbeda pada tiap titiknya, sehingga secara statistik output model memiliki variansi dan tren yang sama dengan data. Kesalahan (error) yang terjadi antara output model dengan data aktual bukan merupakan kesalahan yang sistematis.
1 – Tingkat Investasi industri sari buah (model) 2 – Tingkat Investasi industri sari buah (aktual)
Hasil uji statistik Theil Inequality untuk tingkat investasi adalah sebagai berikut : MSE = 2,558 x 1021 UM = 0,025 US = 7,891 x 10-5 UC = 0,975 r = 0,997 UM = bias US = unequal variation UC = unequal covariation R = correlation coefficient
Berdasarkan pengujian pada variabel tingkat investasi, output model dan data aktual memiliki rataan dan variansi yang sama, selain itu output model dan data aktual juga berkorelasi dengan sempurna, meskipun berbeda pada setiap titiknya.
Semua uji statistik Theil Inequality pada ketiga variabel tersebut menunjukkan bahwa umumnya error terkonsentrasi pada bias (UM) dan unequal variation (US). Kesalahan (error) yang terjadi antara output model dengan data aktual bukan merupakan kesalahan yang sistematis. Sehingga secara keseluruhan model dapat dinilai valid berdasarkan kriteria validitas reproduksi perilaku.
b. Uji Model Pada Kondisi Ekstrim
Uji model pada kondisi ekstrim dilakukan untuk mengetahui apakah model dapat menunjukkan robustness-nya apabila pada model dilakukan input pada kondisi ekstrim. Hal ini berarti, perilaku model harus dapat mengikuti perilaku alami suatu kejadian. Model diuji pada kondisi ekstrim dengan melakukan setting nilai produkstivitas tenaga kerja menjadi sama dengan nol. Tujuannya adalah untuk menggambarkan ketersediaan tenaga kerja yang diperlukan dalam mengoperasikan barang kapital.
Gambar IV.19 Uji Perilaku Model Pada Kondisi Ekstrim
1 – Tingkat produksi sari buah
2 – Output industri sari buah untuk domestik 3 – Output industri sari buah untuk ekspor
Robustness model ditunjukkan oleh nilai tingkat produksi pada tahun 2002 dibuat sama dengan nol, sehingga tenaga kerja yang dibutuhkan untuk mengoperasikan kapital tidak ada. Hal ini mengakibatkan kegiatan produksi tidak dapat dilakukan. Variabel lain yang digunakan untuk menilai robustness pada model adalah output industri yang dialokasikan untuk pasar domestik dan output industri untuk pasar ekspor. Kedua variabel ini juga mengalami penurunan mencapai level nol pada pada saat diberlakukan kondisi ekstrim, sehingga dapat disimpulkan bahwa model telah memenuhi syarat validitas kondisi ekstrim.
c. Uji Kesalahan Integrasi
Uji kesalahan integrasi terbagi atas dua bagian, yaitu uji kesalahan pemilihan time step dan uji kesalahan pemilihan metode integrasi.
Uji kesalahan pemilihan time step dilakukan dengan melakukan simulasi pada beberapa time step yang berbeda. Tujuannya adalah untuk menguji apakah pada beberapa rentang time step yang digunakan, model tidak menunjukkan perilaku yang sangat berbeda. Model dasar disimulasikan dengan time step (interval solusi) sama dengan 0.05 tahun. Uji kesalahan pemilihan time step dilakukan dengan melakukan simulasi model dasar pada lima time step yang berbeda, yaitu 0.0125, 0.0325, 0.05, 0.0625, dan 0.125. Hasil pengujian terhadap empat variabel performansi menunjukkan bahwa pada rentang time step 0.0125 sampai 0.125 tahun, model tidak sensitif terhadap pemilihan time step. Dengan demikian, pemilihan time step pada model dasar dapat diterima.
Gambar IV.20 Uji Perilaku Tingkat Produksi Terhadap Pemilihan Time Step 1 – Tingkat produksi sari buah pada time step 0.0125
2 – Tingkat produksi sari buah pada time step 0.0325 3 – Tingkat produksi sari buah pada time step 0.05 4 – Tingkat produksi sari buah pada time step 0.0625 5 – Tingkat produksi sari buah pada time step 0.125
Gambar IV.21 Uji Perilaku Jumlah Tenaga Kerja Industri Terhadap Pemilihan Time Step
1 – Jumlah tenaga kerja industri sari buah pada time step 0.0125 2 – Jumlah tenaga kerja industri sari buah pada time step 0.0325 3 – Jumlah tenaga kerja industri sari buah pada time step 0.05 4 – Jumlah tenaga kerja industri sari buah pada time step 0.0625 5 – Jumlah tenaga kerja industri sari buah pada time step 0.125
1 – Tingkat investasi industri sari buah pada time step 0.0125 2 – Tingkat investasi industri sari buah pada time step 0.0325 3 – Tingkat investasi industri sari buah pada time step 0.05 4 – Tingkat investasi industri sari buah pada time step 0.0625 5 – Tingkat investasi industri sari buah pada time step 0.125
b. Uji Kesalahan Pemilihan Metode Integrasi Simulasi
pada uji kesalahan pemilihan metode integrasi, metode integrasi yang akan dibandingkan adalah metode Euler dan Runge-Kutta dengan fixed step. Model dasar disimulasikan dengan menggunakan metode integrasi euler (fixed step). Jika perilaku model hasil simulasi dengan metode Runge-Kutta tidak menunjukkan perbedaan yang signifikan, maka metode Euler yang digunakan pada model dapat diterima. Untuk itu, dilakukan perbandingan antara simulasi model dasar yang dilakukan dengan metode Euler dengan output simulasi dengan metode Runge-Kutta pada berbagai orde yaitu Runge-Kutta orde 2, Runge-Kutta orde 3, dan Runge-Kutta orde 4.
Gambar IV.23 Uji Perilaku Tingkat Produksi dengan Pemilihan Metode Integrasi 1 – Tingkat produksi sari buah dengan metode Euler
2 – Tingkat produksi sari buah dengan metode Runge-Kutta orde 2 3 – Tingkat produksi sari buah dengan metode Runge-Kutta orde 3 4 – Tingkat produksi sari buah dengan metode Runge-Kutta orde 4
Gambar IV.24 Uji Perilaku Jumlah Tenaga Kerja Industri dengan Pemilihan Metode Integrasi
1 – Jumlah tenaga kerja sari buah dengan metode Euler
2 – Jumlah tenaga kerja sari buah dengan metode Runge-Kutta orde 2 3 – Jumlah tenaga kerja sari buah dengan metode Runge-Kutta orde 3 4 – Jumlah tenaga kerja sari buah dengan metode Runge-Kutta orde 4
1 – Tingkat investasi industri sari buah dengan metode Euler
2 – Tingkat investasi industri sari buah dengan metode Runge-Kutta orde 2 3 – Tingkat investasi industri sari buah dengan metode Runge-Kutta orde 3 4 – Tingkat investasi industri sari buah dengan metode Runge-Kutta orde 4
d. Uji Prediksi Perilaku
Uji prediksi perilaku yang dilakukan adalah event prediction test yang memprediksi dinamika alami dari suatu kejadian, yaitu lonjakan kenaikan dan penurunan permintaan pasar. Hasil simulasi perilaku model harus menunjukkan perilaku yang logis dan tidak bertentangan dengan pemikiran rasional. Pada bagian ini akan diuji perilaku model dalam menghadapi lonjakan permintaan pada sektor industri sari buah, baik domestik maupun ekspor sebesar 150% pada tahun 2010 karena terjadi perubahan selera pasar terhadap produk industri. Untuk melakukan uji ini, pada model dasar digunakan fungsi step pada variabel permintaan pasar domestik dan permintaan pasar ekspor yang merepresentasikan lonjakan yang terjadi.
• Perilaku model dalam menghadapi lonjakan permintaan pasar.
Lonjakan permintaan tahun 2010 tidak dapat langsung ditanggapi oleh industri untuk melakukan produksi sesuai dengan lonjakan permintaan yang terjadi. Hal ini karena ketika berusaha untuk mencapai tingkat produksi yang diinginkan, industri perlu melakukan penyesuaian terlebih dahulu terhadap kapasitas produksinya melalui akuisisi kapital maupun perekrutan tenaga kerja. Proses akuisisi kapital dan perekrutan tenaga kerja memerlukan delay, pada awal tahun 2010 sampai tahun 2011, sehingga tingkat produksi dan kapasitas industri berada di bawah total permintaan produk sari buah.
Di pasar domestik, lonjakan permintaan pada tahun 2010, ditanggapi industri melalui pengiriman produk yang berasal dari inventori. Sedangkan tingkat penjualan produk sari buah tetap berada di bawah permintaan domestik maupun output industri, karena banyaknya produk sari buah impor yang masuk ke dalam negeri. Dalam model, industri memerlukan waktu 1 tahun untuk melakukan akuisisi kapital yang dipesan,
sehingga baru mulai tahun 2016, tingkat permintaan domestik baru dapat dipenuhi oleh industri. Hal ini juga terjadi pada pada pasar ekspor.
Gambar IV.26 Perilaku Model Dalam Menghadapi Lonjakan Permintaan Pasar (kriteria produksi)
1 – Total permintaan produk sari buah 2 – Tingkat produksi sari buah
3 – Kapasitas terpasang industri sari buah
1 – Permintaan domestik sari buah
2 – Tingkat penjualan produk sari buah domestik
Gambar IV.28 Perilaku Model Dalam Menghadapi Lonjakan Permintaan Pasar (kriteria pasar ekspor)
1 – Permintaan ekspor sari buah