Reference
โข https://www.analyticsvidhya.com/blog/2016/01/complete-tutorial-ridge-lasso-regression-python/
โข Andrew Rosenberg, 2009, Lecture 5: Linear Regression with Regularization CSC 84020 - Machine Learning
Example Model
1
2
3
4
Bias-Variance Trade Off
โข Suatu model, ketika terjadi
overfitting: bias kecil, variansi besar
โข Ketika underfitting: bias besar, variansi kecil
โข Semakin kompleks suatu model, maka akan terjadi overfitting
Avoid Overfitting
Subset Selection
โข Methods:
โข Best Subset Selection
โข Stepwise Selection
โข Forward
โข Backward
โข Hybrid Approach
Problem Solution
1. Akurasi prediksi: memiliki bias kecil, tapi variansi besar. Dapat ditingkatkan dengan menyusutkan beberapa koefisien ke 0, sehingga akan mengurangi variansi.
Regularization
Nilai koefisien pada example model. Dimana
Ridge Regression
Rumus error ketika regresi tidak diregulasi
Rumus error ketika regresi diregulasi dengan ๏ฟฝ norm (Ridge Regression)
Example
โข Contoh hasil regulasi
Regulasi dengan nilai
ln ๏ฟฝ = ๏ฟฝ = ๏ฟฝ =
Regulasi dengan nilai
ln ๏ฟฝ = โ 8 ๏ฟฝ = ๏ฟฝโ 8
Lasso Regression
Summary
Summary:
1. Subset Selection, Ridge and LASSO are decreasing complexity, decreasing
variance, increasing bias (slower), and increasing interpretability of a model.
2. Ridge does โt perfor a varia le sele tio , ut LASSO does (regresi ridge tidak
menyeleksi variabel. Regresi lasso menyeleksi variabel dengan memberi nilai 0
pada variabel yang tidak signifikan.)
