Pendahuluan
Seleksi peubah merupakan isu penting dalam regresi terutama ketika jumlah kovariat sangat besar dan tidak saling bebas. Tibshirani (1996) mengusulkan teknik lasso (least absolute shrinkage and selection operator), sebuah metode baru yang saat ini populer untuk seleksi peubah dan penyusutan (shrinkage) koefisien penduga parameter. Lasso menambahkan penalti L1 (disebut juga regularisasi
L1) terhadap fungsi tujuan pendugaan model regresi yang menghasilkan dua
keuntungan: seleksi dan penyusutan. Kegunaan dari penyusutan adalah untuk mencegah timbulnya overfit akibat terjadi kolinieritas dari kovariat (Hastie et al.
2008). Pendugaan parameter pada teknik lasso tidak dapat dilakukan dalam bentuk formula tertutup, tetapi menggunakan optimisasiconvex. Tibshirani (1996) menggunakan pemrograman kuadratik, salah satu metode dalam optimisasiconvex
untuk mendapatkan solusi dari lasso dan Efron et al. (2004) mengembangkan metode LAR (Least Angle Regression) yang menghitung jalur (path) koefisien lebih efisien. Bab ini memberikan kajian literatur metode lasso (regresi linier dengan regularisasi L1) dan melakukan simulasi untuk menentukan metode terbaik
dibandingkan dengan metode regresi komponen utama pada data kovariat yang terkondisi buruk.
Metode regresi komponen utama merupakan salah satu metode yang sering digunakan dalam pemodelan linier dengan kovariat terkondisi buruk. Tahap pertama pada metode regresi komponen utama adalah melakukan analisis komponen utama terhadap peubah-peubah kovariat untuk mendapatkan komponen utama/peubah laten yang ortogonal. Tahap kedua adalah memodelkan antara respons dengan skor komponen utama sebagai peubah kovariat. Banyaknya komponen utama yang digunakan dalam pemodelan ditentukan oleh grafik scree plot, proporsi keragaman, dan nilai akar ciri.
Tinjauan Pustaka
Teknik lasso (least absolute shrinkage and selection operator) yang bertujuan mengatasi masalah dalam keakuratan pendugaan dan interpretasi dengan mempertahankan keuntungan-keuntungan metode regresi bertatar (stepwise) dan regresi gulud (ridge) dikembangkan oleh Tibshirani (1996). Pada regresi linier ganda, teknik lasso meminimumkan jumlah kuadrat sisaan dengan memberikan penalti L1 pada koefisien parameternya. Misalkan terdapat vektor input XT =
(x1,x2, . . . ,xp)digunakan untuk memprediksi luaran nilai Yyang berupa bilangan
riil. Model regresi linier memiliki bentuk:
f(X) =β0+
p
∑
j=1
Untuk menduga β = (β0,β1, . . . ,βp)T, metode kuadrat terkecil meminimumkan
jumlah kuadrat sisaan (Hastie et al. 2008), yaitu dengan meminimumkan persamaan: JKS(β) = N
∑
i=1 (yi−f(xi))2= N∑
i=1 yi−β0− p∑
j=1 xi jβj !2 (2.2)yang dapat ditulis dalam catatan matriks, dengan X berukuran N×(p+1) danyyy
adalah vektor-N, sebagai :
JKS(β) = (yyy−Xβ)T(yyy−Xβ). (2.3) JKS(β) minimum didapatkan dengan cara mendiferensialkan JKS(β) terhadapβ secara kalkulus, yang menghasilkan persamaan dalam bentuk:
XTyyy=XTXβ (2.4) yang disebut sebagai persamaan normal.
Jika XTX adalah matriks berpangkat penuh, maka dugaan β akan menghasilkan solusi unik, yaitu:
ˆ
β= XTX−1
XTyyy. (2.5)
Apabila XTX tidak berpangkat penuh atau mendekati singular, maka ˆβ yang diperoleh menjadi tidak stabil. Regresi gulud diperkenalkan oleh Hoerl dan Kennard (1970) (dalam Draper dan Smith (1998)) diusulkan sebagai salah satu metode untuk menangani ketidakstabilan penduga kuadrat terkecil ini. Regresi gulud memberikan penalti koefisien regresi dalam norm L2 atau secara spesifik
mendugaβdengan meminimumkan JKS(β)dengan kendala: p
∑
j=1
β2j ≤t, t≥0. (2.6)
Masalah regresi gulud ini dapat ditulis dengan cara lain dalam bentuk persamaan lagrange yaitu memininumkan jumlah kuadrat sisaan terkendala:
JKS(β,λ) = (yyy−Xβ)T(yyy−Xβ) +λkβk22 λ≥0. (2.7) Solusi regresi gulud didapat dengan cara yang sama seperti pada metode kuadrat terkecil, yaitu dengan meminimumkan jumlah kuadrat sisaan JKS(β,λ) sehingga memperoleh persamaan dalam bentuk:
XTyyy= (XTX+λI)β. (2.8) Dengan cara ini dapat dijamin(XTX+λI)selalu berpangkat penuh walaupunXTX
tidak berpangkat penuh dengan cara mengambil λ≥0. Untuk λ=0 persamaan ini adalah persamaan normal seperti yang diperoleh menggunakan metode kuadrat
11 terkecil. Solusi yang unik dapat diperoleh dalam bentuk tertutup:
ˆ
βgulud= XTX+λI−1XTyyy. (2.9)
Penduga koefisien yang diperoleh menggunakan metode regresi gulud tidak
equivariant (Hastie et al. 2008), artinya penduga koefisien tersebut tidak dapat
diperbandingkan hasilnya jika peubah asal tidak dibakukan. Oleh karena itu untuk pendugaan ˆβgulud ini sebelumnya disarankan untuk membakukan skala dari peubah asal sehingga memiliki nilai harapan nol dan ragam satu (Hastie et al. 2008). Penduga koefisien regresi hasil dari regresi gulud akan disusutkan ke arah nol seiring dengan peningkatan nilai λ. Tetapi, penyusutan ini tidak dapat dilakukan untuk seleksi peubah secara otomatis dikarenakan secara simultan koefisien yang diduga mungkin tidak bernilai nol.
Tibshirani (1996) mengembangkan metode lasso yang mengubah kendala dalam regresi gulud menjadi dalam bentuk norm L1, yaitu: ∑pj=1|βi| ≤t atau disebut juga dengan istilah regularisasi L1. Solusi dari lasso yang dituliskan dalam
bentuk persamaan lagrange adalah meminimumkan:
JKS(β,λ) = (yyy−β0−Xβ)T(yyy−β0−Xβ) +λkβk1. (2.10)
Untuk mendapatkan solusi penduga koefisien tidak dapat diperoleh dalam bentuk tertutup, tetapi harus menggunakan pemrograman kuadratik (Tibshirani 1996) yang merupakan bagian dari optimisasi convex Boyd dan Vandenberghe (2004). Dampak yang terjadi dari pengubahan kendala ini sangat besar, yaitu menyebabkan koefisien menyusut ke arah nol seperti dalam regresi gulud dan beberapa koefisien menghasilkan nilai nol secara tepat.
Ide dasar metode lasso berasal dari Non-negative Garrotte (Breiman 1995) yang meminimumkan fungsi berikut terhadapc=cj:
N
∑
i=1 (yi− p∑
j=1 cjxi jβˆj)2 dengan kendala cj≥0, p∑
j=1 cj≤t, (2.11)dalam hal ini ˆβj adalah penduga kuadrat terkecil biasa. Metode NN-Garrotte ini tidak terdefinisikan ketika p>N (yang bukan merupakan topik panas pada tahun 1995) (Tibshirani 2011). Pada sekitar tahun tersebut, beberapa metode yang mirip dengan lasso telah dikembangkan berdasarkan penalti L1, sepertibridge regression
oleh Frank dan Friedman tahun 1993 dan basis pursuit oleh Chen et al. (1998) (dalam Tibshirani (2011)). Setelah publikasi pertama tahun 1996 sampai tahun 2002, makalah metode lasso dengan pendekatan pemrograman kuadratik ini tidak mendapatkan perhatian. Tetapi setelah tahun 2002, metode lasso mulai menjadi perhatian setelah dikembangkan algoritma lar (Least Angle Regresion) oleh Efron, Hastie, Johnstone dan Tibshirani yang dipublikasikan tahun 2004 (Tibshirani 2011). Efron et al. (2004) mengembangkan algoritma lar yang digunakan untuk menduga model regresi linier dalam bentuk model umum:
E(Y|X=x) = f(x) =β0+βMφ1(x) +βMφ2(x) +. . .+βMφM(x), (2.12) dalam hal ini φM adalah fungsi nonlinier dari prediktor X asli. Modifikasi dari
lar untuk lasso menghasilkan efisiensi algoritma dalam menduga solusi penduga koefisien lasso dengan komputasi yang lebih cepat dibandingkan pemrograman kuadratik. Selain untuk menduga koefisien lar dan lasso, algoritma lar ini juga dimodifikasi untuk digunakan dalam menduga koefisien regresiforward stagewise
dan regresi bertatar, sehingga kemudian namanya dikenal sebagai lars (untuk lar, lasso,forward stagewisedan regresi bertatar).
Pendugaan Parameter dengan Metode Iterasi
Perhatikan kembali permasalahan lasso sebagai berikut:
arg min βk ( (y−β0− p
∑
k=1 βkxk)T(y−β0− p∑
k=1 βkxk) +λ p∑
k=1 |βk| ) .Misalkan f(βk,λ) = (y−∑kp=1βkxk)T(y−∑kp=1βkxk) +λ ∑kp=1|βk|, solusi dari lasso untuk setiap βj diperoleh dengan mendiferensialkan f(βk,λ) terhadap βj sama dengan nol yang akan memberikan teorema sebagai berikut.
Teorema 1: Terdapatλjyang membuat ˆβjbernilai nol, yaitu: λj≥ |2xTjr−j|, dalam hal inir−j=y−∑k6=jβˆkxk. Bukti. ∂ ∂βj f(βk,λ) =0= ∂ ∂βj ( yTy−2yT p
∑
k=1 βkxk+ ( p∑
k=1 βkxk)T( p∑
k=1 βkxk) +λ p∑
k=1 |βk| ) =−2yTxj+2xTj p∑
k=1 βkxk+λsign(βj) =−xTjy+xTj p∑
k=1 βkxk+ λ 2 sign(βj) =xTj p∑
k=1 βkxk−y ! +λ 2 sign(βj) =βjxTjxj+xTj∑
k6=j βkxk−y ! +λ 2 sign(βj) =βjxTjxj−xTj y−∑
k6=j βkxk ! +λ 2 sign(βj) Notasi:xTjxj=kxjk2, sehingga: =βjkxjk2−xTj y−∑
k6=j βkxk ! +λ 2 sign(βj)13 =βj− xTj y−∑k6=jβkxk kxjk2 +λsign(βj) 2kxjk2
Misalkanr−j=y−∑k=6 jβkxk, maka penduga dariβjadalah: ˆ βj= xTjr−j kxjk2 − λ 2kxjk2 sign(βj)
Perhatikan λ dan kxjk2 selalu positif, sedangkan xTjr−j searah tandanya dengan koefisienβj.
Perhatikan daerah sebagai berikut:
• x
T jr−j
kxjk2 > λ
2kxjk2 ⇒sign(βj) bernilai +. Hal ini berimplikasi
ˆ βj= xTjr−j kxjk2 − λ 2kxjk2 • x T jr−j kxjk2 <− λ
2kxjk2 ⇒sign(βj) bernilai -. Hal ini berimplikasi
ˆ βj= xTjr−j kxjk2 + λ 2kxjk2 • 0 < x T jr−j kxjk2 < λ
2kxjk2 ⇒ sign(βj) bernilai +. Hal ini berimplikasi sign( ˆβj)
memiliki tanda - yang berkebalikan dengan sign(βj). Oleh karena itu, maka ˆ
βjsecara asimtotik sama dengan 0
• −2kxλjk2 <
xTjr−j
kxjk2 < 0⇒ sign(βj) bernilai -. Hal ini berimplikasi sign( ˆβj)
memiliki tanda + yang berkebalikan dengan sign(βj). Oleh karena itu, maka ˆ
βjsecara asimtotik sama dengan 0.
Sehinggaλj≥ |2xTjr−j|akan membuat ˆβj bernilai nol.
Teorema 2: Terdapat λ minimum yang membuat semua ˆβj bernilai nol, yaituλ=2max(|xTjy|).
Bukti. Berdasarkan fakta bahwa λj ≥ |2xTjr−j| menghasilkan ˆβj bernilai nol
dan jika semua ˆβj bernilai nol maka r−j =y. Maka λ minimum adalah sebesar maxλj=2max(|xTjy|).
Dari pembuktian Teorema 1 diperoleh solusi dari dari lasso sebagai berikut: ˆ βj= xTjr−j kxjk2 − λ 2kxjk2 ,λ<2x T jr−j xTjr−j kxjk2 + λ 2kxjk2 ,−λ>2x T jr−j 0 ,λ≥ |2xTjr−j| (2.13)
Perhatikan solusi dari lasso tidak dapat dilakukan dengan cara langsung menggunakan formula tersebut, tetapi harus dilakukan secara iterasi karena masing-masing ˆβjtergantung pada ˆβklain. Algoritma untuk solusi iterasi kemudian diusulkan sebagai berikut:
1. Bakukan kovariat (X) 2. Tetapkan i=0, ˆβ0=0
3. Untukλ=0 sampaiλ=2max(|xTjy|)
(a) i = i+1
(b) Untuk j=1 sampai p
i. Hitungr−j=y−∑k6=jβik−1xk
ii. Hitung ˆβjmenggunakan formula pada Persamaan 2.13. (c) ulangi (a) dan (b) sampai(βˆi−βˆi−1)<ie−6
4. Penduga akhir ˆβditentukan dengan pendekatan validasi silang.
Implementasi algoritma di atas dalam perangkat lunak komputasi statistik R disajikan pada Lampiran 1.
Perbandingan Teknik Regularisasi L1dengan Analisis Komponen Utama Data
Dua data kovariat terkondisi buruk digunakan dalam kajian ini, yaitu data presipitasi dari luaran GCM, yaitu luaran ensemble dari banyak model CMIP5
(multi-model ensemble Phase 5 Couple Model Intercomparisson Project) dengan
skenario perubahan iklim moderat RCP (Representative Concentration Pathways) 4.5 (Tayloret al.2012) selanjutnya disingkat sebagai CMIP5, dan data presipitasi hasil interpolasi kombinasi data observasi permukaan dan satelit dalam bentuk grid dari GPCP (Global Precipitation Climatology Project) versi 2.2 (Adleret al.2003) selanjutnya disingkat sebagai GPCP.
Pemilihan data kovariat untuk simulasi didasarkan adanya perbedaan karakteristik kedua data CMIP5 dan GPCP, yaitu berdasarkan nilai koefisien korelasi pasangan kovariat dan hasil pereduksian dimensi menggunakan analisis komponen utama. Banyaknya pasangan yang memiliki nilai mutlak korelasi >
0.6 dari data presipitasi luaran GCM CMIP5 sebanyak 91.24% (1073 dari 1176 pasangan), sedangkan dari data observasi GPCP hanya 23.55% (277 dari 1176 pasangan). Koefisien korelasi hasil luaran GCM CMIP5 keseluruhannya memiliki tanda positif sedangkan koefisien korelasi dari data observasi GPCP memiliki tanda negatif sebanyak 308 pasangan (26.19%). Secara teori, banyaknya pasangan koefisien korelasi yang tinggi akan menyebabkan pendugaan model menggunakan metode kuadrat terkecil menjadi tidak stabil dan memiliki galat prediksi yang besar.
15 Analisis komponen utama digunakan sebagai teknik pra pemrosesan untuk mendapatkan peubah-peubah laten yang saling ortogonal dan merupakan kombinasi linier dari kovariat-kovariatnya. Banyaknya peubah laten yang digunakan untuk analisis lanjut ditentukan umumnya oleh minimal dua dari tiga hal berikut, yaitu: grafik screeplot, proporsi keragaman kumulatif dan besarnya nilai ragam yang ditunjukkan oleh akar ciri. Banyaknya komponen utama menggunakan grafik
screeplot ditentukan oleh perubahan ragam yang tidak signifikan (ditunjukkan
oleh grafik batang/plot yang stasioner), sedangkan proporsi keragaman kumulatif umumnya diambil nilai>75%. Pada penelitian ini digunakan proporsi keragaman kumulatif>90% dan nilai akar ciri mengambil nilai yang>1.
Grafikscreeplot yang diperoleh dari luaran GCM CMIP5 dan data observasi GPCP disajikan pada Gambar 2.1. Pada luaran grafik screeplot, baik untuk luaran GCM CMIP5 maupun data observasi GPCP menyarankan untuk mengambil banyaknya peubah laten yang ortogonal sebanyak 3 komponen utama. Terlihat dalam kedua grafik setelah komponen ketiga, keragaman dari komponen keempat dan selanjutnya sudah menuju stabil.
Gambar 2.1 Grafikscreeplothasil analisis komponen utama luaran model CMIP5 dan data observasi GPCP versi 2.2
Proporsi keragaman kumulatif untuk tiga komponen utama pertama dari luaran GCM CMIP5 sudah memberikan nilai di atas 90%, yaitu sebesar 97.30%, tetapi tiga komponen utama pertama dari data observasi GPCP baru memberikan nilai 76.70% (Tabel 2.1). Proporsi keragaman kumulatif di atas 90% diberikan oleh delapan komponen utama pertama. Nilai ragam yang dicirikan oleh akar ciri dari tiga komponen utama untuk luaran CMIP5 dan delapan komponen utama untuk data observasi GPCP sudah diperoleh >1. Oleh karena itu, analisis selanjutnya menggunakan tiga peubah laten (skor KU1-KU3) untuk pendugaan model dari kovariat luaran CMIP5 dan delapan peubah laten (skor KU1-KU8) untuk data observasi GPCP.
Tabel 2.1 Proporsi keragaman kumulatif untuk luaran GCM CMIP5 dan data observasi GPCP
Komponen Utama CMIP5 GPCP
Akar Ciri Proporsi Akar Ciri Proporsi
1 13.33 88.14% 16.82 45.87% 2 3.99 96.04% 12.19 69.97% 3 1.60 97.31% 6.44 76.70% 4 1.57 98.53% 5.30 81.24% 5 0.90 98.93% 4.67 84.77% 6 0.85 99.29% 3.71 87.00% 7 0.49 99.41% 3.10 88.56% 8 0.48 99.53% 3.06 90.08% 9 0.37 99.59% 2.78 91.33% 10 0.31 99.64% 2.40 92.26% Metode
Tahapan kajian perbandingan teknik lasso dengan regresi komponen utama adalah sebagai berikut:
1. Menetapkan skenario parameterβ
Parameterβdigunakan dua skenario, yaitu:
• kombinasi parameter β= 0.7 (perwakilan<1), 0, dan 3.0 (perwakilan
>1) masing-masing sebanyak 16, 17 dan 16.
• βseragam sebesar 0.7 (perwakilan<1) sebanyak 49. 2. Membangkitkan data respons
Data respons dibangkitkan dari sebaran normal dengan menggunakan persamaan y = Xβ+ε, dalam hal ini ε ∼ Normal(0,σ2). Tiga nilai σ
digunakan dalam simulasi yaituσ=1, 5, dan 10. 3. Menduga nilai dugaan dengan teknik lasso
Nilai dugaan dengan teknik lasso digunakan dengan menggunakan model
y=β0+β1x1+. . .+βkxk dalam hal ini k adalah banyaknya kovariat yang terseleksi dengan menggunakan nilai validasi silang terkecil, dan xk adalah data presipitasi ke-k dari data kovariat luaran CMIP5 atau GPCP.
4. Menduga nilai dugaan dengan regresi komponen utama
Nilai dugaan dengan regresi komponen utama digunakan dengan menggunakan model y = β0 +β1KU1+ . . .+ βkKUk dalam hal ini k adalah banyaknya komponen utama, dan KUk adalah data skor komponen utama ke-k dari data kovariat luaran CMIP5 atau GPCP.
5. Proses pembangkitan data dan pendugaan nilai tengah di ulang sebanyak 100 kali
6. Pemilihan Metode Pendugaan Terbaik
Metode pendugaan terbaik ditentukan melalui nilai penduga galat yang terkecil. Nilai Root Means Square Error (RMSE) dan Root Means Square
17 RMSEP merupakan metode untuk mengukur perbedaan antara nilai prediksi dengan nilai aktual yang didefinisikan sebagai berikut:
RMSE atau RMSEP=
s
∑ni=1(Yi−Yˆi)2
n (2.14)
dalam hal ini Yi adalah nilai observasi/aktual, ˆYi adalah nilai dugaan ke-i dan nadalah banyaknya observasi dalam pendugaan. Nilai RMSEP diduga menggunakan teknik validasi silang 10-fold. Kebaikan dari suatu metode ditentukan oleh nilai RMSE dan RMSEP yang paling kecil.
Hasil dan Pembahasan
Untuk menentukan metode mana yang terbaik dalam menangani data kovariat terkondisi buruk dilakukan simulasi data dengan beberapa skenario. Skenario simulasi memperhatikan berbagai kemungkinan yang akan mempengaruhi hasil pendugaan model. Dua karakteristik kovariat digunakan dalam kajian yaitu luaran CMIP5 mewakili data kovariat yang mengandung kolinier tinggi/berkorelasi tinggi dan data observasi GPCP yang mengandung kolinier rendah/tidak banyak yang berkorelasi. Dua kemungkinan nilaiβdalam simulasi ini mewakili dari kombinasi dari tiga nilai yaitu nilai <1, tidak berpengaruh (0), dan nilai >1, dan koefisien
β seragam dengan nilai < 1. Kemungkinan koefisien β seragam > 1 tidak digunakan karena teknik lasso akan menghasilkan penduga kuadrat terkecil (Soleh dan Aunuddin 2013). Peubah respons dalam simulasi dibangkitkan dari sebaran normal dengan 3 kemungkinan nilai simpangan bakuσ=1, 5, dan 10. Oleh karena itu terdapat 12 skenario yang digunakan dalam kajian ini, yaitu kombinasi antara karakteristik kovariat, kemungkinan nilaiβ, dan simpangan baku dari respons.
Sebaran hasil nilai statistik RMSE untuk kovariat dari GPCP disajikan pada Gambar 2.2. Secara umum teknik lasso memberikan rataan nilai RMSE yang lebih kecil dibanding dengan metode regresi komponen utama. Pada skenario
β kombinasi, sebaran nilai RMSE dari pendugaan teknik lasso (regularisasi L1)
memiliki keragaman yang lebih kecil dibanding dengan skenarioβ<1. Semakin besar keragaman data (σsemakin besar), keragaman nilai RMSE dari teknik lasso juga semakin membesar. Berbeda dengan teknik lasso, metode regresi komponen utama memberikan keragaman dan rataan nilai RMSE yang stabil. Keragaman dan rataan nilai RMSE dari dugaan menggunakan metode regresi komponen utama lebih besar dibanding teknik lasso, tetapi semakin besar keragaman respons sebenarnya, keragaman dan rataan nilai RMSE dari teknik lasso semakin mendekati keragaman dan rataan nilai RMSE dari metode regresi komponen utama.
Hasil yang relatif sama ditunjukkan oleh nilai RMSE dari kovariat luaran CMIP5 (Lampiran 2). Sebaran nilai RMSE yang diperoleh dari pendugaan dengan skenario β kombinasi memiliki keragaman yang lebih kecil dibanding dengan skenario β seragam<1, dan semakin besar keragaman data respons sebenarnya, maka keragaman nilai RMSE dari penduga teknik lasso juga semakin membesar.
Pada skenario β kombinasi, keragaman dan rataan nilai RMSEP dari pendugaan menggunakan teknik lasso memiliki karakteristik yang relatif sama dengan keragaman dan rataan nilai RMSE baik pada kovariat data observasi GPCP maupun luaran CMIP5 (Lampiran 3 dan Lampiran 4). Tetapi pada skenario β
seragam<1, semakin besar ragam respons sebenarnya, metode regresi komponen utama memberikan rataan nilai RMSEP yang lebih kecil dibanding dengan teknik lasso.
19
Simpulan
Pengembangan teknik lasso (regularisasi L1) dapat diimplementasikan ke
dalam bahasa pemrograman R menggunakan teknik iterasi. Hasil simulasi menunjukkan teknik lasso memberikan pendugaan nilai RMSE yang lebih kecil dibanding dengan metode regresi komponen utama, tetapi keragaman dari nilai RMSE dipengaruhi oleh keragaman respons sebenarnya. Semakin besar ragam respons, maka keragaman nilai RMSE dari teknik lasso juga semakin besar. Keragaman nilai RMSE dari metode regresi komponen utama memiliki perubahan yang tidak terlalu signifikan dibanding dengan teknik lasso. Metode regresi komponen utama memberikan nilai RMSEP terkecil pada skenario beta seragam
<1 dan keragaman respons yang besar. Secara umum, teknik lasso merupakan metode terbaik kecuali pada kasusβsebenarnya seragam kecil (<1) dan keragaman dari respons yang besar, dalam hal ini metode regresi komponen utama lebih baik.