DSF - Forecasting dan Evaluasi

(1)

Pusdiklat - Kementerian Komunikasi dan Informatika #JadiJagoanDigital

Data Science Fundamental

Model Forecasting dan Evaluasi

(2)

ESTIMASI

1

FORECASTING

2

KLASIFIKASI

3

CLUSTERING

4

ASOSIASI

5

(3)

Forecasting (Prediksi/Peramalan)

(4)

Learning Objective

Peserta mampu:

A. Membangun model dengan algoritma Forecasting

B. Mengevaluasi model

(5)

FORECASTING

Peramalan/ forecasting merupakan prediksi nilai-nilai sebuah variabel berdasarkan kepada nilai yang diketahui dari variabel tersebut atau variabel yang berhubungan. Meramal juga dapat didasarkan pada keahlian judgment, yang pada gilirannya didasarkan pada data historis dan pengalaman.

Teknis analisis prediktif sama seperti estimasi dimana label/target/data bertipe numerik, perbedaannya adalah forecasting menggunakan data time series (rentetan waktu)

Digunakan untuk berbagai tujuan, seperti mengantisipasi pengeluaran masa depan, menentukan bagaimana mengalokasikan anggaran, dll.

Perlu diingat: tidak ada satupun yang bisa memprediksi data masa depan 100% akurat setiap saat.

Terkadang forecasting berdasarkan intuisi (judgmental forecasting methods, misal seorang CEO berpengalaman meramal pola pasar di masa depan) lebih akurat daripada statistical forecasting methods.

Metode ini biasa dilakukan ketika data historis berjumlah sedikit atau bahkan tidak ada sama sekali.

(6)

Forecasting (Peramalan/Prediksi)

Metode time series forecasting adalah metode peramalan yang menggunakan waktu sebagai dasar dari peramalan.

Metode ini menggunakan pendekatan statistik dengan menggunakan data historis untuk meramal data di masa depan.

Diasumsikan bahwa pola data masa lalu akan berlanjut pada masa yang akan datang.

Beberapa metode peramalan (forecasting)

• Metode Free Hand (Simple Average)

• Metode Moving Average

• Metode Weighted Moving Average

• Metode Exponential Smothing

• Metode Regresi Linear (Causal Forecasting)

• Metode interpolasi Gregory-Newton / Adaptive Exponential Smothing

• Metode Holt-Winter, dll

(7)

Penerapan Forecasting

(8)

Penerapan Forecasting

(9)

Pola Data Time Series (1)

Trend

Komponen jangka panjang yang mendasari

pertumbuhan (atau penurunan) suatu data runtut waktu.

Merupakan pergerakan data sedikit demi sedikit meningkat atau menurun.

(10)

Siklikal

Pola dalam data yang terjadi setiap beberapa tahun. Contohnya fluktuasi atau siklus dari data runtut waktu akibat perubahan kondisi ekonomi.

(11)

Pola Data Time Series (3)

Musiman (Seasonal)

Pola data yang berulang pada kurun waktu

tertentu. fluktuasi musiman yang sering dijumpai pada data kuartalan,bulanan atau mingguan.

(12)

Eratik (Random)

Pola data permintaan dalam jangka panjang tidak dapat digambarkan oleh ketiga pola lainnya.

(13)

Memahami Stationarity

• Stationarity adalah karakteristik penting dalam time-series.

• Data yang stasioner (stationary) adalah data yang rataan dan variansinya konstan (constant statistical properties), dan kovarian-nya bukan merupakan fungsi waktu.

• Untuk mendeteksi apakah data kita stasioner atau tidak, maka bisa dibuat line plot-nya atau lakukan perhitungan Dickey-Fuller test, di mana:

• Nilai p>0,05, maka datanya tidak stasioner

• Nilai p<0,05, maka datanya stasioner

• Idealnya, kita ingin memiliki data yang stasioner agar mudah diprediksi. Jika tidak stasioner, maka bisa dilakukan

transformasi agar menjadi stasioner.

Contoh data yang stasioner

Contoh data yang tidak stasioner

Sumber: https://towardsdatascience.com/the-complete-guide-to-time-series-analysis-and-forecasting-70d476bfe775

(14)

Memahami Stationarity

Sumber: https://medium.datadriveninvestor.com/step-by-step-time-series-analysis-d2f117554d7e

(15)

Memahami Stationarity

(16)

Memahami Stationarity

(17)

Bagaimana Jika tidak Stasioner?

Jika datanya tidak stasioner, maka kita bisa melakukan transformasi :

Differencing

Menghitung selisih antara data sekarang dengan data sebelumnya

Seasonality differencing

• Menghilangkan pola seasonality dengan mencari perbedaan antara season sekarang dengan season sebelumnya.

• Ilustrasi lihat halaman berikutnya

Log-transform, square root, atau power-transform

Melakukan transformasi data dengan salah satu dari tiga metode di atas untuk menstabilkan variansi yang tidak konstan di data.

(18)

Seasonality Differencing

Sumber: Hillier, F.S., Lieberman, G.J. Nag, B., Basu, P., Introduction to Operations Research, 10th Edition, McGraw-Hill, Singapore, 2017.

1

2

3

4

Sekarang pola seasonality-nya menjadi minim

(19)

Memahami Random Noise di Time Series

Setiap data time-series ada random noise yang membuat data di periode ke depannya selalu berbeda dari data periode sebelumnya.

Untuk bisa mengurangi random noise maka bisa dilakukan smoothing (penghalusan pola).

Dengan smoothing, variasi data yang random tadi menjadi berkurang dan membuka komponen tren dan siklus (cyclic) yang dimiliki oleh data.

Dua metode smoothing yang umum :

• Averaging

• Exponential smoothing

(20)

Teknik Forecasting

M I N I S T R Y O F F I N A N C E D A T A A N A L Y T I C S C O M M U N I T Y

https://towardsdatascience.com/holt-winters-exponential-smoothing-d703072c0572

• Gunakan teknik ini jika kita berpendapat bahwa semakin lama data, maka semakin tidak relevan (bobot mengecil secara eksponensial untuk data yang semain lama).

• Tidak cocok jika data memiliki trend dan seasonality.

• Nilai prediksi didapatkan dengan menghitung nilai rata- rata data masa lalu (sebanyak n data) yang semuanya diberi bobot yang sama.

• Cara pembobotan bisa logarithmic, linear, quadratic, cubic, atau exponential

• Teknik ini mengatasi kelemahan metode ES, di mana metode Holt ES bisa digunakan untuk data yang memiliki tren.

• Namun metode ini masih tidak cocok jika datanya memiliki seasonality.

• Metode ini adalah hasil modifikasi Holt ES, di mana metode Holt-Winters ES bisa digunakan untuk data yang memiliki tren dan seasonality.

(21)

Evaluasi

(22)

Evaluasi Forecasting

Cara melakukan evaluasi forecasting dan estimasi adalah dengan melihat tingkat error dari prediksi yang dihasilkan.

Metode yang paling banyak digunakan adalah Root Mean Square Error (RMSE)

(23)

Evaluasi Forecasting (RMSE)

RMSE adalah Metode pengukuran dengan mengukur perbedaan nilai dari prediksi/forecasting sebuah model sebagai estimasi atas nilai yang diobservasi.

Root Mean Square Error adalah hasil dari akar kuadrat Mean Square Error.

RMSE dapat berkisar dari 0 hingga ∞

RMSE dapat berorientasi negatif dimana nilai yang lebih rendah menunjukkan nilai yang lebih baik.

Jika nilai RMSE lebih kecil, hal ini berarti bahwa nilai yang diprediski dekat dengan nilai yang diamati atau observasi, dan sebaliknya.

(24)

Studi

Kasus

(25)

Studi Kasus 1 – Temperature

Buatlah model untuk meramalkan temperature, perhatikan petunjuk yang diberikan : 1. Gunakan data datatraining-temp.csv

2. Pilih metode forecasting (linear regresi)

3. Masukkan data testing menggunakan datatest-temp.csv 4. Hitung evaluasi model

(26)

Atribut Data datatraining-temp.csv

• No, identifier

• Temperature, Celcius

• CO2, ppm

• Humidity

(27)

Set Role

No → ID

Temperature → Label

(28)

Linear Regression

(29)

Evaluasi

• Masukkan data testing

• Set Role 2 , label = temperature

• Masukan ke Apply Model

• Tambahkan performance untuk evaluasi

(30)

Visualisasi Prediksi

(31)

Studi Kasus 2 – Minimal Temperature (Univariant)

Buatlah model untuk meramalkan minimal temperature, perhatikan petunjuk yang diberikan : 1. Gunakan data daily_min_temp.csv

2. Lakukan Windowing Data

3. Split data (90% training dan 10% untuk testing) 4. Lakukan Apply model

(32)

Atribut Data

• Date : date

• Temp : Label

Karena data hanya memiliki atribut yang sedikit untuk meningkatkan akurasi gunakan windowing

(33)

Windowing Data

• Pilih Windowing Data

• Ceklist include special atribute

• Ubah windows size= 4

• Ubah horizon attribute = Temp

• Horizon size =1

(34)

Split Data

• Pilih Split Data

• Ubah Partitions menjadi 0.9 dan 0.1

(35)

Apply Model

Masukan operator linear regression, apply model dan performance (regression)

(36)

Visualisasi

(37)

Studi Kasus 3 – ARIMA Model

Buatlah model untuk meramalkan anggaran, perhatikan petunjuk yang diberikan:

1. Gunakan data anggaran.csv 2. Pilih Arima Model

3. Lakukan Apply model

Model ARIMA adalah model yang secara penuh mengabaikan independen variabel dalam membuat prakiraan.

ARIMA cocok jika observasi deret waktu (time series) secara statistik berhubungan satu sama lain (dependent).

(38)

Parameter ARIMA

• Time series atribut : Belanja

• Index = date

• p = menunjukkan order / derajat Autoregressive (AR) = jumlah time lags

• d = menunjukkan orde / derajat Differencing (pembedaan)

• q = menunjukkan order / derajat Moving Average (MA)

(39)

Parameter Apply Model

Forecast horizon = menentukan seberapa jauh untuk melakukan prediksi

(40)

Visualisasi

(41)

#JadiJagoanDigital Digital Talent Scholarship digitalent.kominfo DTS_kominfo

TERIMA KASIH