SIDANG TUGAS AKHIR
CATATAN ATAS PENGAMBILAN KEPUTUSAN PADA KASUS
ASYMMETRIC LOSS FUNCTION
DAN PERMASALAHAN
PENGUKURAN
ERROR
PADA METODE TRENDLINE
Pembimbing : Yudha Andrian Saputra, S.T., MBA
Selisih nilai
aktual dengan
nilai Peramalan
Aktual > Peramalan Aktual < PeramalanError Positif
Error
Negatif
MAD,
MAPE,
s-MAPE
Penalty
Sama
Penalty
Berbeda
Asymmetric Loss Function
(Diebold, 2001)
Cara pengambilan keputusan
terkait metode peramalan
terbaik dengan
mempertimbangkan penalty
setiap konsekuensi
Metode Trend Line
Kuadrat
Linear
Kubik
Model Derajat
Polinomial Lebih
Besar akan Lebih
Unggul
(Diebold, 2001)
Mekanisme
Update
Data
Pengukuran
Error
Konsep Pengukuran
Error yang
fair
pada
metode Trend Line
Koefisien regresi kecil
kemungkinan = 0
Kasus
Asymmetric Loss Function
•
Bagaimana cara pengambilan keputusan pada kasus
asymmetric loss function
terkait metode peramalan
terbaik dengan mempertimbangkan penalti pada
setiap konsekuensi yang dihasilkan dari metode
peramalan ?
Pengukuran
Error
pada Metode
Trend Line
•
Bagaimana konsep pengukuran
error
yang lebih
fair
pada
metode
trend
line
dibandingkan
dengan
pengukuran
error
saat ini ?
Membuat sebuah basic framework
tentang cara pengambilan
keputusan terkait dengan metode peramalan yang terbaik pada kasus
asymmetric loss function dengan
mempertimbangkan besarnya
penalty pada setiap konsekuensi yang dihasilkan dari sebuah metode peramalan
Melakukan evaluasi terhadap pengukuran error saat ini serta memberikan konsep pengukuran
error pada metode trendline
Kasus
Asymmetric
Loss
Function
Pengukuran
Error pada
Metode
Trend Line
Data yang digunakan merupakan data
pengujian numerik
Metode pengukuran
error
yang akan
digunakan dalam penelitian ini ialah
MAPE, MAD, dan MSE.
Tinjauan
Pustaka
Loss Function
Symmetric
Loss Function
Asymmetric
Loss Function
Forecast
Error
Trend
Analysis
Penentuan nilai optimal dan pseudo optimal predictor dengan Linlin Loss
Function
( Christoffersen & Diebold, 1994)
Penentuan karakteristik optimal dan pseudo optimal predictor dengan linlin loss function
( Christoffersen & Diebold, 1994)
Perumusan model loss function yang baru dan penentuan nilai
parameter model ( Elliot, et. al, 2004)
Melakukan perbandingan optimal & pseudo optimal pada model linlin loss function
( Ulu, 2007) Melakukan evaluasi hasil peramalan
dengan model linlin loss function yang dikembangkan oleh Elliot (2004)
( Tshuciya, 2012)
Cara pengambilan keputusan pada kasus asymmetric
MSE, MAD, Tracking Signal ( Dervitsiotis, 1984)
ME, MSE, MSPE, RMSE, RMSPE, MAE, MAPE
( Diebold, 2001) PRESS Statistic
( Montgomery, 2001)
ME, MAD ( Vollmann, 2005)
MSE, MAD, MAPE, Tracking Signal
( Chopra, 2006)
Klasifikasi Metode Pengukuran Error
( Hyndman & Koehler, 2006)
MSE, MAD, MAPE (Minitab,
2004)
PENGUKURAN ERROR METODE TREND LINE SAAT INI
Kecenderungan Derajat Polinomial lebih tinggi
selalu lebih unggul
KONSEP PENGUKURAN
ERROR YANG LEBIH
FAIRPADA METODE
Pengujian Data
Analisis Perbandingan
Metode
Kesimpulan dan Saran
Penyusunan Metode
Pengujian Data
Analisis Perbandingan
Penarikan Kesimpulan Studi Literatur
Loss Function Characteristics Asymmetric Loss Function
Pengukuran Error
Asymmetric Loss Function
Error Negatif Error Positif
Besaran Konsekuensi Error Negatif Besaran Konsekuensi Error Positif Perhitungan Risiko Error Pemilihan Metode Peramalan Terbaik Persiapan
Asymmetric Loss Function umum terjadi (Diebold, 2001) Replenishment Case
Jumlah barang yang dipenuhi berdasarkan pertimbangan demand Demand Forecasting Surplus Shortage Penalty Surplus Penalty Shortages Evaluasi Metode Peramalan Pengambilan Keputusan Perhitungan Risiko Consequences Likelihood
Pengujian Pada Kasus 1
(Consumer Product)
Periode Aktual Forecast
Linear Absolute Deviation Forecast Kuadratik Absolute Deviation 1 9680 9309.5 370.5 9360.9 319.1 2 9546 9771.7 225.7 9787.7 241.7 3 9806 10233.9 427.9 10217.9 411.9 4 9764 10696.1 932.1 10651.5 887.5 5 11763 11158.3 604.7 11088.5 674.5 6 12603 11620.5 982.5 11528.8 1074.2 7 12222 12082.7 139.3 11972.5 249.5 8 12431 12544.9 113.9 12419.5 11.5 9 12923 13007.1 84.1 12870 53 10 13156 13469.3 313.3 13323.8 167.8
MAD Linear 419.4 MAD Kuadratik 409.07
Pengujian Pada Kasus 1
(Consumer Product)
Periode Aktual Forecast
Linear Error Penalti Risiko 1 9680 9309.5 370.5 0.7 259.35 2 9546 9771.7 -225.7 0.3 67.71 3 9806 10233.9 -427.9 0.3 128.37 4 9764 10696.1 -932.1 0.3 279.63 5 11763 11158.3 604.7 0.7 423.29 6 12603 11620.5 982.5 0.7 687.75 7 12222 12082.7 139.3 0.7 97.51 8 12431 12544.9 -113.9 0.3 34.17 9 12923 13007.1 -84.1 0.3 25.23 10 13156 13469.3 -313.3 0.3 93.99 209.7 Rata - rata Risiko Linear
Periode Aktual Forecast
Kuadratik Error Penalti Risiko 1 9680 9360.9 319.1 0.7 223.37 2 9546 9787.7 -241.7 0.3 72.51 3 9806 10217.9 -411.9 0.3 123.57 4 9764 10651.5 -887.5 0.3 266.25 5 11763 11088.5 674.5 0.7 472.15 6 12603 11528.8 1074.2 0.7 751.94 7 12222 11972.5 249.5 0.7 174.65 8 12431 12419.5 11.5 0.7 8.05 9 12923 12870 53 0.7 37.1 10 13156 13323.8 -167.8 0.3 50.34 217.993 Rata - rata Risiko Kuadratik
Penalti Error Positif
: 0.7
Penalti Error Negatif
: 0.3
Evaluasi metode peramalan dengan perhitungan risiko
Analisis Hasil Pengujian Kasus 1
• Evaluasi
metode
peramalan
tanpa
memperhitungkan
risiko
dapat
menghasilkan keputusan yang berbeda
dengan
evaluasi
metode
dengan
Periode Aktual Forecast Linear Absolute Deviation Forecast Kuadratik Absolute Deviation 1 16537 16013.4 523.6 15994.3 542.7 2 16012 16306.2 294.2 16299.8 287.8 3 15673 16598.9 925.9 16602.1 929.1 4 16831 16891.7 60.7 16901.3 70.3 5 17742 17184.5 557.5 17197.2 544.8 6 18446 17477.3 968.7 17490 956 7 17331 17770.1 439.1 17779.6 448.6 8 17315 18062.9 747.9 18066 751 9 18993 18355.6 637.4 18349.3 643.7 10 18429 18648.4 219.4 18629.3 200.3
MAD Linear 537.44 MAD Kuadratik 537.43
Pengujian Pada Kasus 2 (
Perishable Product
)
Penalti Error Positif
: 0.1
Penalti Error Negatif
: 0.9
Periode Aktual Forecast
Linear Error Penalti Risiko
1 16537 16013.4 523.6 0.1 52.36 2 16012 16306.2 -294.2 0.9 264.78 3 15673 16598.9 -925.9 0.9 833.31 4 16831 16891.7 -60.7 0.9 54.63 5 17742 17184.5 557.5 0.1 55.75 6 18446 17477.3 968.7 0.1 96.87 7 17331 17770.1 -439.1 0.9 395.19 8 17315 18062.9 -747.9 0.9 673.11 9 18993 18355.6 637.4 0.1 63.74 10 18429 18648.4 -219.4 0.9 197.46 2687
Rata - rata Risiko Linear
Periode Aktual Forecast
Kuadratik Error Penalti Risiko
1 16537 15994.3 542.7 0.1 54.27 2 16012 16299.8 -287.8 0.9 259.02 3 15673 16602.1 -929.1 0.9 836.19 4 16831 16901.3 -70.3 0.9 63.27 5 17742 17197.2 544.8 0.1 54.48 6 18446 17490 956 0.1 95.6 7 17331 17779.6 -448.6 0.9 403.74 8 17315 18066 -751 0.9 675.9 9 18993 18349.3 643.7 0.1 64.37 10 18429 18629.3 -200.3 0.9 180.27 2687.11
Rata - rata Risiko Kuadratik
Pengujian Pada Kasus 2 (
Perishable Product
)
Evaluasi metode peramalan dengan perhitungan risiko
Analisis Hasil Pengujian Kasus 2
• Besaran penalti dapat mempengaruhi
besar
risiko
dari
sebuah
metode
peramalan
• Memahami dan menempatkan besaran
penalti
pada
konsekuensi
yang
tepat
menjadi penting dalam pemilihan metode
peramalan berdasarkan risiko
Pengujian Pada Kasus 3 (
Consumer Product
dengan
Safety Stock
)
Periode Aktual Forecast
Linear Sisa Stock
Keputusan
Produksi Error Penalti Risiko
1 9680 9309.5 3500 13257.1 370.5 0.3 1050 2 9546 9771.7 3577.1 14011.96 -225.7 0.3 1073.13 3 9806 10233.9 4465.96 13955.06 -427.9 0.3 1339.788 4 9764 10696.1 4149.06 15103.92 -932.1 0.3 1244.718 5 11763 11158.3 5339.92 14745.02 604.7 0.3 1601.976 6 12603 11620.5 2982.02 17934.88 982.5 0.3 894.606 7 12222 12082.7 5331.88 16416.98 139.3 0.3 1599.564 8 12431 12544.9 4194.98 18385.84 -113.9 0.3 1258.494 9 12923 13007.1 5954.84 17457.94 -84.1 0.3 1786.452 10 13156 13469.3 4534.94 19709.8 -313.3 0.3 1360.482 1320.921
Rata - rata Risiko Linear
Periode Aktual Forecast
Kuadratik Sisa Stock
Keputusan
Produksi Error Penalti Risiko 1 9680 9360.9 3500 13349.62 319.1 0.3 1050 2 9546 9787.7 3669.62 13948.24 -241.7 0.3 1100.886 3 9806 10217.9 4402.24 13989.98 -411.9 0.3 1320.672 4 9764 10651.5 4183.98 14988.72 -887.5 0.3 1255.194 5 11763 11088.5 5224.72 14734.58 674.5 0.3 1567.416 6 12603 11528.8 2971.58 17780.26 1074.2 0.3 891.474 7 12222 11972.5 5177.26 16373.24 249.5 0.3 1553.178 8 12431 12419.5 4151.24 18203.86 11.5 0.3 1245.372 9 12923 12870 5772.86 17393.14 53 0.3 1731.858 10 13156 13323.8 4470.14 19512.7 -167.8 0.3 1341.042 1305.7092 Rata - rata Risiko Kuadratik
Keputusan
replenishment
= ( n x Nilai Peramalan ) – sisa stock
Penalty Error Positif : 0.7 Penalty Error Negatif : 0.3
Analisis Hasil Pengujian Kasus 3
• Keputusan replenishment
≠ Hasil forecast
• Perhitungan risiko tidak didasarkan pada
nilai error
saja, melainkan berdasarkan
nilai riil yang harus ditanggung
• Terjadinya perubahan teknik perhitungan
risiko
• Dapat saja mengubah keputusan
• Pemahaman terhadap konsep risiko
menjadi hal penting
n-data aktual Membuat model
trendline Menghitung nilai error untuk n-data Pemilihan model Menggunakan model untuk meramalkan Update data aktual periode n+1 Peramalan periode n+1 Peramalan periode n+2 n+1 data aktual Membuat model trendline Menghitung nilai error untuk n-data Pemilihan model Menggunakan model untuk meramalkan Update data aktual periode n+1 dst dst Model Trendline Menggunakan Model untuk meramalkan periode ke depan
Cek data aktual periode tersebut
Catat sebagai Error Performance
Model Trendline
Menggunakan Model untuk meramalkan
periode ke depan
Cek data aktual periode tersebut
Catat sebagai Error Performance
dst
Studi Literatur
Pengukuran Error Metode Trendline Forecasting
Penyusunan Framework Persiapan
Potential Error Performance Error
Pengujian Data Untuk Pengukuran
Error
Saat Ini
Periode Data Aktual
1 2501.8 2 2560 3 2715.2 4 2834 5 2998.6 6 3191.1 7 3399.1 8 3484.6 9 3652.7 10 3765.4 11 3771.9 12 3898.6 13 4105 14 4341.5 15 4319.6 4531.46
Periode Data Aktual
1 2501.8 2 2560 3 2715.2 4 2834 5 2998.6 6 3191.1 7 3399.1 8 3484.6 9 3652.7 10 3765.4 11 3771.9 12 3898.6 13 4105 14 4341.5 15 4319.6 16 4311.2 4481.25
Analisis Hasil Pengujian
1. Model polinomial derajat lebih tinggi menghasilkan error lebih
kecil
•Koefisien regresi akan kecil kemungkinan = 0
•Memperkecil nilai error
2. Adanya
update data
Tidak Fair
Model
ter
update
Membentuk
fitting line
baru
dengan metode
Least Square
Nilai Error menjadi
lebih kecil
Pengukuran
Potential Error
Konsep Pengukuran Error yang Ditawarkan
Periode Data Aktual 1 2501.8 2 2560 3 2715.2 4 2834 5 2998.6 6 3191.1 7 3399.1 8 3484.6 9 3652.7 10 3765.4 11 3771.9 12 3898.6 13 4105 14 4341.5 15 4319.6 2475 2975 3475 3975 4475 1 3 5 7 9 11 13 15
Peramalan Periode 16 Linear
Data Aktual Peramalan Periode 16 4531.46 2475 2975 3475 3975 4475 1 3 5 7 9 11 13 15
Error Periode 16 Linear
Data Aktual
Peramalan Periode 16 Periode Data Aktual
1 2501.8 2 2560 3 2715.2 4 2834 5 2998.6 6 3191.1 7 3399.1 8 3484.6 9 3652.7 10 3765.4 11 3771.9 12 3898.6 13 4105 14 4341.5 15 4319.6 16 4311.2 4531.46 4311.2 Error Periode 16
Pengukuran
Performance
Error
Analisis Hasil Pengujian
1. Nilai
error performance
yang dihasilkan oleh model kuadratik
dan kubik ternyata tidak selalu lebih kecil daripada nilai
error
yang dihasilkan pada model
line
ar.
2. Tidak adanya
update
data, maka tidak ada pembaruan model.
Nilai error yang dihasilkan tidak selalu lebih kecil
3.
Error performance dapat menunjukkan nilai error yang aktual
dihasilkan dari sebuah metode peramalan
4.
Harus dilakukan tracing apabila belum tersedia data peramalan
sebelumnya, sehingga tidak efisien
Kesimpulan (Kasus Asymmetric Loss Function)
1. Melakukan pengambilan keputusan terkait pemilihan metode peramalan dapat dihitung
dengan menggunakan konsep risiko yang ditimbulkan dari metode peramalan tersebut.
2. Keputusan yang diambil terkait pemilihan metode terbaik dapat berbeda ketika didasarkan
hanya pada nilai
error
dengan ketika didasarkan pada risiko yang ditimbulkan.
3. Menetapkan besaran
penalty
untuk masing
– masing konsekuensi yang tepat serta
pemahaman terhadap konteks konsekuensi untuk melihat risiko dari sebuah metode
peramalan menjadi hal yang penting untuk diperhatikan dalam melakukan evaluasi metode
peramalan karena dapat mempengaruhi hasil keputusan untuk pemilihan metode
peramalan yang terbaik.
1. Pengukuran
error
pada metode
trendline
yang ada saat ini menunjukkan
bahwa model dengan polinomial derajat yang lebih tinggi selalu
menghasilkan nilai
error
yang lebih kecil, adanya mekanisme
update
data juga menyebabkan terbentuknya
fitting line
baru yang membuat
nilai
error
menjadi lebih kecil. Tidak menunjukkan performansi error
aktual.
2. Untuk mengetahui performansi aktual dari sebuah model peramalan
trendline
, dapat dilakukan pengukuran berdasarkan
error performance.
Nilai
error performance
yang dihasilkan oleh model kuadratik dan kubik
ternyata tidak selalu lebih kecil daripada nilai
error
yang dihasilkan pada
model
line
ar.
Kesimpulan (Kasus Pengukuran Error di Metode
Trend Line)
1. Melakukan pengembangan yang lebih mendalam terkait pengukuran
error
pada
kasus
asymmetric loss function
, khususnya pada pengembangan metode
penentuan besaran
penalty
untuk masing
– masing konsekuensi dari
error
.
2. Melakukan aplikasi pengukuran
error performance
pada kasus
– kasus yang
lebih variatif agar dapat ditemukan perbedaan yang lebih mendalam
Armstrong, J. S., & Collopy, F. (1993). Error Measures for Generalizing about forecasting methods: Empirical comparisons.International Journal of Forecasting, 69-80.
Chopra, S., & Meindl, P. (2006). Supply Chain Management Strategy, Planning, and Operation.
Prentice Hall.
Christoffersen, P. F., & Diebold, F. X. (1996). Further Results on Forecasting and Model Selection Under Asymmetric Loss. Journal of Applied Econometrics, 561-572.
Christoffersen, P. F., & Diebold, F. X. (1994). Optimal Prediction Under Asymmetric Loss. Economic Theory, 808-817.
Coleman, C. D., & Swanson, D. A. (2007). On MAPE-R as a measure of cross-sectional estimation and forecast accuracy. Journal of Economic and Social Measurement, 219-233.
Dervitsiotis, K. N. (1984).Operations Management.McGraw-Hill. Diebold, F. X. (2001).Elements of Forecasting.South Western.
Elliot, G., Komunjer, I., & Timmermann, A. (2004). Estimation and Testing of Forecast Rationality under Flexible Loss. Review of Economic Studies, 1107-1125.
Elliot, G., Komunjer, I., & Timmermann, A. (2004). Estimation and Testing of Forecast Rationality under Flexible Loss.Review of Economic Studies, 1107-1125.
Goodwin, P., & Lawton, R. (1999). On the asymmetry of the symmetric MAPE. International Journal of Forecasting, 405-408.
Granger, C. (1969). Prediction with a generalized cost of error function. Operational Research Quarterly, 199-207.
Lee, T.-H. (2007). Loss Functions in Time Series Forecasting. California: University of California.
Makridakis, S. (1993). Accuracy measures: Theoretical and Practical Concerns.International Journal of Forecasting, 522-529.
Mentzer, J. T., & Cox, J. E. (1984). Familiarity, application, and performanceof sales forecasting techniques.Journal of Forecasting, 37-42.
Mentzer, J. T., & Kahn, K. (1995). Forecasting Technique Familiarity,Satisfaction, Usage, and Application.Journal of Forecasting, 465-476.
Montgomery, D. C. (2002). Applied Statistics and Probability For Engineers. John Willey & Sons.
Paul Goodwin, R. L. (1999). On the Asymmetry of Symmetric MAPE. International Journal of Forecasting, 405-408.
Rob J. Hyndman, A. B. (2006). Another Look at Measures of Forecast Accuracy.
Interbational Journal of Forecasting , 679-688.
Swanson, D. A., Tayman, J., & Bryan, T. M. (2007). MAPE-R: A Rescaled Measure of Accuracy for Cross-Sectional Forecasts. San Diego: University of California.
Tshuciya, Y. (2012). Evaluating Japanese corporate executives’ forecasts under an asymmetric. Economic Letters , 601-603.
Ulu, Y. (2007). Optimal Prediction under LINLIN Loss : Empirical Evidence. International Journal of Forecasting, 707-715.
Vollmann, T. E., Berry, W. L., & Whybark, D. C. (1997). Manufacturing Planning and Control System. Ohio: McGraw-Hill.
