PENERAPAN METODE LASSO DALAM PENENTUAN
PENGARUH UTAMA DAN INTERAKSI YANG SIGNIFIKAN
PADA HASIL PERCOBAAN FAKTORIAL PECAHAN
BENNY ROBBY KURNIAWAN
DEPARTEMEN STATISTIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR
PERNYATAAN MENGENAI SKRIPSI DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA
Dengan ini saya menyatakan bahwa skripsi berjudul Penerapan Metode LASSO dalam Penentuan Pengaruh Utama dan Interaksi yang Signifikan pada Hasil Percobaan Faktorial Pecahan adalah benar karya saya dengan arahan dari komisi pembimbing dan belum diajukan dalam bentuk apa pun kepada perguruan tinggi mana pun. Sumber informasi yang berasal atau dikutip dari karya yang diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks dan dicantumkan dalam Daftar Pustaka di bagian akhir skripsi ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut Pertanian Bogor.
ABSTRAK
BENNY ROBBY KURNIAWAN. Penerapan Metode LASSO dalam Penentuan Pengaruh Utama dan Interaksi yang Signifikan pada Hasil Percobaan Faktorial Pecahan. Dibimbing oleh BAGUS SARTONO dan CICI SUHAENI.
Analisis regresi dapat diterapkan pada berbagai macam data termasuk pada data hasil percobaan. Rancangan Faktorial Pecahan (RFP) banyak digunakan untuk mengatasi masalah biaya pada percobaan yang melibatkan banyak faktor. Penentuan pengaruh utama maupun interaksi yang signifikan adalah salah satu tujuan dari suatu percobaan faktorial. Namun, penentuan pengaruh utama maupun interaksi yang signifikan pada RFP cukup rumit, karena jumlah observasi lebih sedikit daripada pengaruh utama maupun interaksi yang akan diduga pengaruhnya. Adanya pembauran juga menjadi masalah pada RFP. Pada penelitian ini digunakan Metode Least Absolute Shrinkage and Selection Operator (LASSO) dengan mempertimbangkan prinsip heredity, hierarchy, dan sparsity untuk menyelesaikan masalah pada RFP. Hasil penelitian menunjukkan bahwa hasil dari metode LASSO pada data simulasi hampir sama dengan pengaruh utama maupun interaksi yang sengaja ditentukan berpengaruh signifikan. Untuk data percobaan real juga menghasilkan hasil yang hampir sama dengan metode lain untuk data yang sama.
Kata kunci: Algoritma LAR, LASSO, Penentuan pengaruh signifikan, RFP.
ABSTRACT
BENNY ROBBY KURNIAWAN. The Application of LASSO method in Determination of Main Effect and Significant Interaction in Fractional Factorial Experiment Results. Supervised by BAGUS SARTONO and CICI SUHAENI.
Regression analysis can be applied to a wide variety of data, including the experimental data. Fractional Factorial Design (FFD) is widely used to address cost issues in the experiment involving many factors. Effect determination of the main effect as well as a significant interaction was one of the goals of a factorial experiment. However, it is quite complicated, because the number of observations less than the main effect and the interaction that will supposedly influence. The existence of confounding is also an issue in the FFD. The method used in this study are Least Absolute Shrinkage and Selection Operator (LASSO) by considering the principle of heredity, hierarchy, and sparsity to solve problems in the FFD. The results showed that simulated data is almost the same in LASSO method as the main effect as well as the interaction that deliberately determined to have a significant effect. Real experimental data also yield almost the same results with other methods for the same data.
Skripsi
sebagai salah satu syarat untuk memperoleh gelar Sarjana Statistika
pada
Departemen Statistika
PENERAPAN METODE LASSO DALAM PENENTUAN
PENGARUH UTAMA DAN INTERAKSI YANG SIGNIFIKAN
PADA HASIL PERCOBAAN FAKTORIAL PECAHAN
BENNY ROBBY KURNIAWAN
DEPARTEMEN STATISTIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR
Judul Skripsi : Penerapan Metode LASSO dalam Penentuan Pengaruh Utama dan Interaksi yang Signifikan pada Hasil Percobaan Faktorial Pecahan
Nama : Benny Robby Kurniawan NIM : G14100053
Disetujui oleh
Dr Bagus Sartono, SSi, MSi Pembimbing I
Cici Suhaeni, SSi, MSi Pembimbing II
Diketahui oleh
Dr Anang Kurnia, SSi, MSi Ketua Departemen
PRAKATA
Puji syukur penulis panjatkan kepada Allah SWT yang telah memberikan rahmat dan karunia-Nya sehingga penulis dapat menyelesaikan karya ilmiah yang
berjudul “Penerapan Metode LASSO dalam Penentuan Pengaruh Utama dan
Interaksi yang Signifikan pada Hasil Percobaan Faktorial Pecahan”. Karya ilmiah ini merupakan salah satu syarat untuk mendapatkan gelar Sarjana Statistika pada Departemen Statistika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor.
Penulis mengucapkan terima kasih kepada semua pihak yang telah membantu dalam menyelesaikan karya ilmiah ini, antara lain:
1. Bapak Dr Bagus Sartono, SSi, MSi dan Ibu Cici Suhaeni, SSi, MSi selaku pembimbing yang telah sabar dalam memberikan banyak saran dan nasihat selama penulisan karya ilmiah ini.
2. Bapak La Ode Abdul Rahman, SSi, MSi selaku dosen penguji skripsi yang telah memberikan banyak saran dan masukan dalam penulisan karya ilmiah ini.
3. Seluruh Dosen pengajar Departemen Statistika atas ilmu yang bemanfaat yang telah diberikan.
4. Bapak Agus Irianto dan Ibu Indah Diarini selaku orang tua penulis, serta adik-adik atas doa, kasih sayang, dan dukungan kepada penulis.
5. Seluruh Staf Tata Usaha Departemen Statistika IPB yang selalu bersedia direpotkan sehingga segala proses adminitrasi berjalan dengan lancar. 6. Rekan satu bimbingan, Hariz, Rizky, Najih, dan Dewi Lestari sebagai teman
satu perjuangan satu dosen bimbingan yang selalu memberikan dukungan dan masukannya.
7. Budi, Dony F, Raedi, Abrar, Aulia atas semangat dan kebersamaannya. 8. Fika Rizki Lestari atas doa dan dukungannya sehingga penulis bersemangat
untuk menyelesaikan karya ilmiah ini.
9. Teman-teman Statistika 47 atas motivasi dan dukungannya selama ini. Semoga karya ilmiah ini dapat bermanfaat bagi semua pihak. Penulis mohon maaf atas segala kekurangan dan kesalahan yang terdapat dalam pembuatan karya ilmiah ini.
DAFTAR ISI
DAFTAR TABEL viii
DAFTAR GAMBAR viii
DAFTAR LAMPIRAN viii
PENDAHULUAN 1
Latar Belakang 1
Tujuan Penelitian 2
Manfaat Penelitian 2
TINJAUAN PUSTAKA 2
LASSO 2
LAR 3
Validasi Silang Lipat K 3
Rancangan Faktorial Pecahan 4
METODE 5
Data 5
Prosedur Analisis Data 6
HASIL DAN PEMBAHASAN 7
Penerapan LASSO pada data simulasi 7
Penerapan LASSO pada data percobaan real 11
SIMPULAN 13
DAFTAR PUSTAKA 14
RIWAYAT HIDUP 17
DAFTAR TABEL
1 Susunan Rancangan Faktorial Pecahan 23-1 5
2 Perbandingan peubah yang sengaja dibuat berpengaruh signifikan
dengan hasil metode LASSO 9
3 Korelasi peubah interaksi AD, BL, dan JK dengan peubah faktor utama dan peubah interaksi dua faktor yang mengandung peubah faktor utama
C 9
4 Perbandingan peubah yang sengaja dibuat berpengaruh signifikan dengan hasil metode LASSO mempertimbangkan prinsip heredity 10 5 Hasil ulangan RFP non regular menggunakan metode LASSO pada data
simulasi 11
6 Perbandingan peubah yang berpengaruh signifikan hasil metode
LASSO dengan metode lain 13
7 Perbandingan peubah yang berpengaruh signifikan hasil metode LASSO dengan metode lain mempertimbangkan prinsip heredity 13
DAFTAR GAMBAR
1 Plot pergerakan koefisien regresi untuk data simulasi RFP regular 7 2 Plot pergerakan koefisien regresi untuk data simulasi RFP non regular 7
3 Nilai MSE data simulasi RFP regular 8
4 Nilai MSE data simulasi RFP non regular 8
5 Plot pergerakan koefisien regresi untuk data III 12 6 Plot pergerakan koefisien regresi untuk data IV 12
7 Nilai MSE data III 12
8 Nilai MSE data IV 12
DAFTAR LAMPIRAN
1 Peubah bebas yang masuk dalam model untuk setiap tahapan pada metode LASSO dan nilai |beta|/max|beta| pada data simulasi RFP
regular 15
2 Peubah bebas yang masuk dalam model untuk setiap tahapan pada metode LASSO dan nilai |beta|/max|beta| pada data simulasi RFP non
regular 15
3 Peubah bebas yang masuk dalam model untuk setiap tahapan pada metode LASSO dan nilai |beta|/max|beta| pada data percobaan real
(Data III) 16
4 Peubah bebas yang masuk dalam model untuk setiap tahapan pada metode LASSO dan nilai |beta|/max|beta| pada data percobaan real
1
PENDAHULUAN
Latar Belakang
Analisis regresi merupakan suatu alat statistika yang dapat digunakan untuk mengevaluasi hubungan sebab akibat antar peubah. Metode Kuadrat Terkecil (MKT) adalah salah satu metode yang sering digunakan untuk pendugaan parameter dalam pemodelan regresi. Pendugaan koefisien regresi dengan menggunakan MKT diperoleh dengan menyelesaikan rumus ̂ , dengan ̂ sebagai vektor parameter yang akan diduga, matriks X adalah matriks peubah bebas, dan adalah vektor observasi. Salah satu asumsi dari MKT yang harus dipenuhi adalah jumlah observasi (n) harus lebih besar dari jumlah peubah bebas (p) supaya matriks memiliki invers (non singular). Jika jumlah n≤ p maka matriks bersifat singular dan tidak memiliki invers sehingga pendugaan koefisien regresi menggunakan MKT tidak dapat dilakukan. Analisis regresi dapat diterapkan pada berbagai macam data termasuk pada data hasil percobaan. Adanya peubah bebas dan peubah tak bebas yang memiliki hubungan sebab akibat memungkinkan terbentuknya suatu model regresi pada data hasil percobaan (Draper & Smith 1992).
Salah satu rancangan percobaan yang sering melibatkan peubah bebas lebih banyak dari pada jumlah observasi adalah Rancangan Faktorial Pecahan (RFP). Rancangan Faktorial Pecahan banyak digunakan untuk mereduksi jumlah kombinasi perlakuan yang dicobakan dari keseluruhan kombinasi perlakuan secara lengkap. Hal ini dapat meminimalisir biaya dalam suatu percobaan khususnya dalam percobaan yang melibatkan banyak faktor atau taraf. Pada percobaan faktorial selain faktor utama, interaksi antar faktor juga penting untuk dilihat pengaruhnya. Menurut Wu & Hamada (2000) dari banyaknya faktor yang dicobakan maupun interaksinya tidak semuanya berpengaruh signifikan mengikuti prinsip sparsity. Untuk itu, penting untuk dilakukan pemilihan faktor dan interaksi antar faktor yang berpengaruh signifikan. Masalah yang timbul pada RFP adalah jumlah observasi kurang dari jumlah faktor utama maupun interaksi yang akan diduga pengaruhnya, sehingga pemodelan regresi menggunakan MKT tidak bisa digunakan dan pengujian signifikansi pengaruh menggunakan Analisis ragam juga tidak bisa digunakan.
Usulan metode yang dapat digunakan untuk memecahkan masalah pada RFP dalam memilih faktor utama dan interaksi yang berpengaruh signifikan dalam Wu & Hamada (2000) yaitu Metode I yang menerapkan stepwise regression untuk melakukan seleksi peubah bebas yang dilakukan secara iteratif. Metode ini mempertimbangkan prinsip hierarchy yaitu pengaruh dengan ordo lebih rendah lebih penting daripada pengaruh dengan ordo lebih tinggi, pengaruh dengan ordo sama memiliki kepentingan yang sama dan prinsip heredity yaitu untuk pengaruh interaksi yang signifikan, setidaknya ada satu pengaruh utama yang terlibat juga signifikan.
2
bahkan tepat ke nol sehingga metode ini sekaligus dapat berfungsi sebagai seleksi peubah. Metode ini menghasilkan model yang stabil walaupun mengorbankan sedikit bias. Solusi LASSO didapatkan menggunakan Algoritma Least Angle Regression (LAR) yang dimodifikasi. Hasil modifikasi LAR untuk LASSO dapat digunakan ketika jumlah observasi kurang dari jumlah peubah bebas (Hastie et al. 2008). Penelitian ini memberikan solusi alternatif untuk melakukan penentuan faktor utama maupun interaksi yang berpengaruh signifikan pada RFP menggunakan metode LASSO dengan mempertimbangkan prinsip heredity, hierarchy, dan sparsity. Solusi LASSO didapatkan dari hasil modifikasi LAR untuk LASSO dengan pemilihan faktor utama maupun interaksi yang signifikan menggunakan Validasi Silang Lipat K.
Tujuan Penelitian
Tujuan dari penelitian ini adalah mengkaji potensi penerapan metode LASSO dalam menentukan pengaruh utama dan pengaruh interaksi yang signifikan pada Rancangan Faktorial Pecahan.
Manfaat Penelitian
Penelitian ini diharapkan dapat memberikan solusi alternatif pada bidang rancangan percobaan khususnya pada RFP untuk menentukan pengaruh utama dan pengaruh interaksi yang signifikan. Hal ini sangat membantu peneliti khususnya pada penelitian yang melibatkan banyak faktor sehingga RFP dapat digunakan untuk meminimalisir biaya tanpa bingung mencari alat analisisnya.
TINJAUAN PUSTAKA
LASSO
Metode Least Absolute Shrinkage and Selection Operator (LASSO) merupakan salah satu teknik regresi penyusutan. Metode ini menghasilkan ragam yang kecil sehingga membuat model yang dihasilkan menjadi lebih stabil dibanding MKT walaupun mengorbankan sedikit bias. LASSO juga dapat digunakan untuk mengatasi masalah multikolinearitas. Penduga koefisien pada metode LASSO ( ̂LASSO) diperoleh dengan cara meminimumkan persamaan
berikut:
∑ ( ∑ ) ,
3 nilai t kurang dari t0 menyebabkan ̂LASSO menyusut ke nol bahkan tepat nol. Hal
ini menyebabkan LASSO dapat digunakan sebagai metode untuk seleksi peubah. Kendala L1 ini membuat peubah yang penting / berpengaruh tetap berada dalam model, sedangkan yang kurang penting akan disusutkan sampai ke nol sehingga menghasilkan model yang efisien. Pendugaan koefisien LASSO diperoleh dengan menentukan batas yang dibakukan, yaitu s = t / ∑| ̂ | dengan t = ∑| ̂ | dan ̂ adalah penduga kuadrat terkecil. Nilai optimal s dapat diperoleh dengan validasi silang (Tibshirani 1996). Pendugaan koefisien LASSO tidak dapat diperoleh dalam bentuk tertutup. Solusi dari LASSO dapat diperoleh dengan persamaan kuadratik (optimasi) dan dengan algoritma LAR. Metode LASSO mulai dikenal setelah ditemukannya algoritma LAR.
LAR
Least Angle Regression (LAR) merupakan suatu metode seleksi peubah yang algoritmanya dapat dimodifikasi untuk mendapatkan solusi LASSO. Pada prinsipnya, metode ini hampir sama dengan metode forward selection, yaitu membangun model dengan cara memasukkan peubah satu persatu ke dalam model. Algoritma LAR sangat efisien digunakan karena sangat cepat dan prediktif (Efron et al. 2004). Algoritma LAR untuk menyelesaikan solusi LASSO adalah sebagai berikut:
1. Bakukan prediktor (x) sehingga memiliki nilai tengah nol dan ragam satu. Mulai dengan r = y- ̅, dan , , ... , = 0.
2. Cari prediktor yang paling berkorelasi dengan r.
3. Ubah nilai dari 0 bergerak menuju koefisien kuadrat terkecil ( ), sampai kompetitor lain memilik korelasi sebesar korelasi dengan sisaan sekarang.
4. Ubah nilai dan bergerak ke arah koefisien kuadrat terkecil bersama dari sisaan sekarang dengan ( , ), sampai kompetitor lain memiliki korelasi yang cukup dengan sisaan akibat ( , ). Jika koefisien bukan nol mencapai nilai nol, keluarkan peubah tersebut dari gugus peubah aktif dan hitung kembali arah kuadrat kecil bersama.
5. Ulangi langkah nomor empat sampai semua p prediktor telah masuk. Setelah min(N-1, p) langkah, solusi dari model penuh untuk kuadrat kecil diperoleh (Hastie et al. 2008).
Validasi Silang Lipat K
4
Lipat K adalah salah satu metode validasi silang. Dalam validasi silang Lipat K, seluruh data dibagi secara acak ke dalam k subcontoh. Salah satu subcontoh digunakan untuk validasi model, sedangkan k-1 subcontoh digunakan sebagai set data latih. Proses validasi silang dilakukan berulang sampai k kali, dengan masing-masing k subcontoh digunakan satu kali sebagai validasi model. Nilai prediksi sisaan diduga menggunakan Validasi Silang Lipat K dengan menyelesakan persamaan berikut :
MSE = ∑ ∑ ( ̂ )
dengan adalah peubah respon ke-i pada set data tes T, dan ̂ adalah dugaan y untuk pada saat Lipat ke-k tidak digunakan dalam membentuk suatu model. Nilai k yang biasanya digunakan adalah lima atau sepuluh (Izenman 2008).
Rancangan Faktorial Pecahan
Rancangan Faktorial Pecahan (RFP) adalah bentuk khusus dari percobaan faktorial dimana perlakuan yang dicobakan hanya sebagian saja dari seluruh kombinasi perlakuan yang mungkin. Rancangan Faktorial Pecahan banyak digunakan jika faktor yang dicobakan berjumlah besar. Taraf yang digunakan biasanya berjumlah sedikit yaitu dua atau tiga karena RFP digunakan pada percobaan screening. Percobaan screening adalah sebuah percobaan yang merupakan tahap awal dari suatu percobaan besar yang bertujuan untuk mengetahui faktor-faktor yang berpengaruh besar terhadap respon dan biasanya percobaan dilakukan tanpa ulangan (Montgomery 2001).
Rancangan faktorial pecahan 2k-p adalah rancangan faktorial yang berisi sebanyak 2k-p kombinasi perlakuan dari sebanyak 2k kombinasi perlakuan pada rancangan 2k penuh. Rancangan ini melibatkan k faktor dimana masing-masing faktor memiliki dua taraf dan (1/2)p fraksi dari seluruh kombinasi perlakuan yang ada. Karena hanya sebagian perlakuan saja yang dicobakan, timbul masalah pembauran (confounding) dimana pengaruh utama atau interaksi faktor tidak dapat diduga secara bebas karena terbaur satu sama lain. Jika dua pengaruh saling terbaur, salah satu pengaruh didapatkan dengan menganggap pengaruh lainnya bernilai nol atau diabaikan. Biasanya pengaruh ordo tingkat tinggi dapat diabaikan karena ordo yang lebih rendah dianggap lebih penting (Wu & Hamada 2000).
5 Tabel 1 Susunan Rancangan Faktorial Pecahan 23-1
Kombinasi Dapat dilihat pada Tabel 1 bahwa Pengaruh C dibangkitkan dengan generator C = AB. Tabel 1 terbagi menjadi dua bagian, bagian pertama dimana pada kolom ABC bernilai tanda plus semua sedangkan bagian kedua bernilai minus semua. Untuk bagian pertama, defining relation dari rancangan tersebut adalah I = ABC dimana I bernilai positif. Sehingga pola pembauran diperoleh sebagai berikut :
A = A I = A ABC = A2BC = BC B = B I = B ABC = AB2C = AC C = C I = C ABC = ABC2 = AB
Rancangan faktorial pecahan dengan jumlah perlakuan yang dicobakan tidak sebanyak 2k-p untuk faktor dengan dua taraf disebut RFP non regular. Tidak seperti RFP regular, pembauran pada rancangan ini dapat terbaur sebagian. RFP non regular dapat dibangkitkan dengan orthogonal array (Wu & Hamada 2000).
METODE
Data
Data yang digunakan pada penelitian ini adalah dua data hasil simulasi dan dua data percobaan real RFP yang diambil dari buku. Data simulasi ingin membandingkan hasil peubah bebas yang sengaja dibuat signifikan dengan hasil yang didapatkan menggunakan Algoritma LAR yang dimodifikasi untuk menghasilkan solusi LASSO. Data percobaan real RFP digunakan untuk melihat hasil dari metode LASSO dibandingkan dengan metode lain untuk data yang sama. Semua taraf dari faktor-faktor yang digunakan pada penelitian ini adalah dua taraf. 1. Data I dan II adalah data simulasi yang dibangkitkan menggunakan RFP
regular dan non regular yang terdiri atas peubah bebas yaitu faktor utama dan interaksinya yang berupa kontras yang terdiri dari +1 dan -1 yang pembentukannya mengikuti pembentukan RFP, peubah respon, dan error dengan beberapa kriteria yang ditentukan oleh peneliti. Proses pembangkitan gugus data dilakukan sebagai berikut:
6
utama juga dibuat kontras untuk interaksi. Dalam penelitian ini dibatasi hanya interaksi dua faktor saja. RFP yang digunakan adalah RFP 29-5 dengan generator E = ABC, F = BCD, G = ACD, H = ABD, J = ABCD. Untuk data RFP non regular digunakan Rancangan Plackett-Burman (Wu & Hamada 2000) dalam pembuatan kontrasnya dengan 11 pengaruh utama (A, B, C, D, E, F, G, H, J, K, L).
b. Membangkitkan sisaan (ε) sebanyak 16 yang menyebar N~(0, 4) untuk RFP regular dan sebanyak 12 untuk RFP non regular yang menyebar N~(0, 9).
c. Menentukan pengaruh mana yang akan dibuat berpengaruh signifikan, dengan modelnya sebagai berikut :
= 25 + 30 + 70 + 10 + , untuk RFP regular dan = 5 + 3 + + 4 + 2 + , untuk RFP non regular, yang dalam bentuk matriks dapat ditulis = X + , dimana adalah respon yang dibangkitkan dan matriks X adalah nilai kontras. Besarnya parameter ditentukan oleh peneliti.
2. Data III adalah data real yang diambil dari buku Wu & Hamada (2000). Data percobaan mengenai proses pada pandai besi yang diteliti oleh Hunter, Hodi, dan Eager (1982) menggunakan Rancangan Plackett-Burman dengan tujuh pengaruh utama dengan jumlah observasi adalah 12 dan peubah responnya adalah waktu pengerjaan.
3. Data IV adalah data real yang diambil dari buku Montgomery (2001). Data percobaan pada proses pembentukan material menggunakan RFP regular 26-2 dengan peubah respon adalah besarnya material yang menyusut.
Prosedur Analisis Data
Analisis dalam penelitian ini dibantu dengan R i386 3.0.1 software dengan menggunakan paket LARSdan Ms. Excel 2010. Tahapan analisis yang dilakukan dalam penelitian ini adalah sebagai berikut:
1. Melakukan pemilihan peubah bebas yang berpengaruh signifikan menggunakan Algoritma LAR yang dimodifikasi untuk solusi LASSO. Dalam penelotian ini peubah bebasnya adalah faktor utama dan interaksi antar faktor. Interaksi yang digunakan dibatasi sampai interaksi dua faktor saja.
a. Membuat plot pergerakan koefisien regresi terhadap batas yang dibakukan s = t / ∑| ̂ | dengan t = ∑| ̂ | dan ̂ adalah penduga kuadrat terkecil.
b. Memilih model terbaik dengan menggunakan Validasi Silang Lipat K. 2. Mencari pola pembauran yang terbentuk dengan menggunakan korelasi
pearson dengan rumus sebagai berikut :
∑ ∑ ∑
√ ∑ ∑ ∑ ∑
7 3. Melakukan pengkajian terhadap hasil yang telah didapat pada langkah satu,
dengan mempertimbangkan prinsip heredity dengan melihat pola pembauran pada langkah dua untuk mendapatkan hasil akhir.
4. Bandingkan hasil yang didapatkan pada langkah tiga, dengan hasil dari metode lain dengan data yang sama pada data hasil percobaan real. Untuk data simulasi bandingkan hasilnya dengan peubah bebas yang dibuat signifikan.
HASIL DAN PEMBAHASAN
Penerapan LASSO pada data simulasi
Penentuan peubah bebas yang signifikan diawali dengan pembuatan plot pergerakan koefisien regresi terhadap nilai s yang nantinya akan dipilih nilai s berapa yang meminimumkan MSE. Plot pergerakan koefisien regresi dapat dilihat pada Gambar 1 dan 2.
Gambar 1 memperlihatkan bahwa peubah nomor sembilan yaitu J masuk pada iterasi pertama, dimana peubah J adalah peubah yang paling berkorelasi dengan sisaan. Kemudian koefisien dari J bergerak dari angka nol sampai peubah lainnya masuk yaitu peubah G ketika nilai s = t / ∑| ̂ | dengan t = ∑| ̂| dan ̂ adalah penduga kuadrat terkecil dalam gambar ditulis |beta|/max|beta| bernilai 0.2885 dan seterusnya sampai semua peubah masuk ke dalam model. Notasi s disini adalah besarnya koefisien penyusutan dari LASSO yang dibakukan. Tidak semua peubah masuk dalam model untuk disusutkan. Peubah yang masuk ke dalam model ada sebanyak jumlah observasi dikurangi satu dalam hal ini dari 45 peubah yang akan diduga pengaruhnya hanya masuk sebanyak 15 peubah yang kemudian akan disusutkan. Peubah-peubah yang masuk ke dalam model secara satu persatu dapat dilihat pada Lampiran 1. Algoritma LAR untuk LASSO
Gambar 1 Plot Pergerakan koefisien regresi untuk data simulasi RFP regular
8
memasukkan peubah dari yang paling berpengaruh sampai ke yang tidak berpengaruh. Peubah yang tidak masuk ke dalam model adalah peubah yang nilai pengaruhnya lebih kecil dari peubah terakhir yang masuk ke dalam model atau berbaur dengan pengaruh yang ada dalam model. Gambar 2 juga memperlihatkan proses yang sama bagaimana peubah masuk satu persatu ke dalam model untuk menggunakan Validasi Silang Lipat K dengan membagi plot menjadi beberapa bagian. Pada penelitian ini plot dibagi menjadi 100 bagian sehingga didapatkan 100 model yang akan ditentukan model terbaiknya. Model terbaik dipilih berdasarkan nilai MSE yang minimum. Mode fraction lebih teliti dibandingkan mode step, karena pencarian nilai MSE dapat dicari pada 100 bagian sedangkan mode step hanya pada setiap tahapan saja. Nilai MSE untuk kedua data simulasi menggunakan Validasi Silang Lipat K ditampilkan pada Gambar 3 dan 4.
Nilai dari MSE yang dihasilkan menggunakan mode fraction berbeda setiap pemanggilan fungsinya. Pencarian nilai MSE yang minimum dilakukan berulang kali sampai konvergen pada suatu nilai. Dapat dilihat pada Gambar 3 dan 4 MSE dari RFP regular dan non regular berturut-turut konvergen sekitar 0.95 dan 0.2. Nilai ini dipilih secara subjektif oleh peneliti dengan melihat plot MSE yang dilakukan secara berulang ulang dan dipilih MSE yang minimum. Nilai 0.95 dan 0.2 berada pada tahap empat untuk RFP regular maupun RFP non regular. Dapat dilihat pada Lampiran 1 dan 2 pada tahap empat ini ada empat peubah yang terdeteksi berpengaruh signifikan dan sisanya pengaruhnya akan disusutkan ke nol atau tidak signifikan. Perbandingan peubah yang sengaja dibuat signifikan dengan hasil metode LASSO dapat dilihat pada Tabel 2.
Gambar 4 Nilai MSE data simulasi RFP non regular
9 Tabel 2 Perbandingan peubah yang sengaja dibuat berpengaruh signifikan dengan
hasil metode LASSO
Peubah signifikan Hasil metode LASSO RFP regular B, G, BG, CG B, G, J, AD
RFP non regular C, F, J, CF, FJ C, AD, BL, JK
Terlihat pada Tabel 2 bahwa hasil metode LASSO berbeda dengan peubah yang sengaja dibuat signifikan tetapi hasil ini bukan hasil akhir dari tahapan analisis. Hasil akhir didapatkan dengan melihat pengaruh-pengaruh yang saling terbaur antar peubah dengan melihat korelasi antar peubah. Untuk RFP regular korelasi hanya bernilai nol dan satu. Jika korelasi antar peubah bernilai satu maka pengaruhnya saling terbaur secara penuh dan jika nol antar pengaruhnya saling bebas. Untuk RFP non regular bisa selain nol dan satu artinya pengaruh dapat terbaur secara parsial. Pola pembauran pada RFP regular hasil dari metode LASSO adalah B = GJ, G = BJ, J = AF = BG = CH = DE, AD = BH = CG = EF. Untuk itu dengan mempertimbangkan prinsip heredity, peubah faktor utama J bisa diganti dengan BG karena peubah B dan G terdeteksi berpengaruh signifikan dan peubah AD bisa diganti dengan CG karena peubah faktor utama G terdeteksi berpengaruh signifikan. Untuk RFP non regular karena peubah faktor utama yang terdeteksi signifikan adalah peubah C maka akan dilihat pola pembauran dari AD, BL, dan JK yang berkorelasi dengan peubah faktor utama dan interaksi dua faktor yang mengandung peubah faktor utama C untuk memenuhi prinsip heredity yang hasilnya ditampilkan pada Tabel 3.
10
Makna dari besarnya korelasi pada Tabel 3 adalah contoh AD = -1/3 B artinya pengaruh AD berbaur sepertiga bagian dengan B, bagian lainnya berbaur dengan pengaruh lainnya sehingga sulit untuk menentukan berapa besarnya suatu pengaruh pada RFP non regular. Hasil korelasi menunjukkan bahwa pengaruh AD, BL, dan JK banyak berbaur secara parsial dengan pengaruh faktor utama dan interaksi dua faktor yang mengandung pengaruh C sehingga tidak dapat ditentukan sebenarnya pengaruh AD, BL, dan JK berbaur dengan pengaruh faktor utama dan pengaruh interaksi dua faktor yang mana. Sebagai alat bantu untuk memudahkan analisis, peneliti menggunakan solusi alternatif untuk mengatasi masalah pembauran pada RFP non regular yaitu dengan menggunakan metode LASSO dalam dua tahap. Tahap pertama memilih peubah yang signifikan pada peubah faktor utama terlebih dahulu. Pada tahap kedua, peubah yang terpilih pada tahap pertama ditambah dengan interaksi dua faktor peubah utama terpilih.
Hasil yang diperoleh pada tahap pertama, Metode LASSO memilih peubah faktor utama C dan F. Tahap kedua digunakan peubah C, F, dan CF untuk dilihat peubah mana yang berpengaruh signifikan. Hasil yang didapatkan bahwa plot dari MSE terus turun dan minimum disekitar satu artinya semua peubah yang digunakan berpengaruh signifikan. Sehingga hasil akhir ditampilkan pada Tabel 4. Tabel 4 Perbandingan peubah yang sengaja dibuat berpengaruh signifikan dengan
hasil metode LASSO mempertimbangkan prinsip heredity Peubah signifikan Hasil metode LASSO RFP regular B, G, BG, CG B, G, BG, CG
RFP non regular C, F, J, CF, FJ C, F, CF
Tabel 4 menunjukkan bahwa metode LASSO untuk RFP regular menghasilkan peubah yang berpengaruh signifikan sama persis dengan peubah yang sengaja dibuat berpengaruh signifikan pada saat simulasi. Untuk RFP non regular dengan menggunakan dua tahap metode LASSO hanya mampu menghasilkan tiga peubah yang berpengaruh signifikan sedangkan dua peubah F dan FJ dianggap tidak berpengaruh signifikan. Peubah F dan FJ pada RFP non regular tidak terdeteksi signifikan menggunakan metode LASSO karena kedua peubah tersebut memiliki pengaruh yang kecil sedangkan error yang dibangkitkan memiliki ragam yang besar.
11 Tabel 5 Hasil ulangan RFP non regular menggunakan metode LASSO pada data
simulasi
Ulangan Peubah signifikan 1 C, AD, BL, JK
2 C, BL, CF, DE, GJ, JK 3 C, AE, BL, DE, DF, GK, HK 4 C, AE, DE, GJ
5 C, AD, BL, CF, DE, GJ, HL, JK 6 C, AE, BH, BL, GK, GK
7 C, AE, AK, CL, DK, GJ
8 B, C, AK, BL, CE, DE, GJ, HL 9 DE, JK
10 C, F, BH, DE, GK, HL, JK
Perbedaan peubah yang dihasilkan untuk setiap ulangannya pada RFP non regular, disebabkan karena pembauran secara parsial. Sehingga hasil yang disajikan pada Tabel 5 tidak dapat ditarik kesimpulan. Oleh karena itu, LASSO dengan satu tahap menghasilkan hasil yang tidak konsisten sehingga lebih cocok digunakan LASSO menggunakan dua tahap untuk mengatasi masalah pembauran pada RFP non regular.
Penerapan LASSO pada data percobaan real
Setelah diterapkan pada data simulasi dan hasilnya relatif sama, metode LASSO akan dicobakan menggunakan data real hasil percobaan RFP. Data III dan data IV adalah data real yang telah dianalisis menggunakan metode lain yang nantinya akan dibandingkan dengan hasil dari metode LASSO. Data III dianalisis dengan metode I pada Wu dan Hamada (2000) yang didasarkan pada stepwise regression secara iteratif dengan mempertimbangkan prinsip hierarchy dan heredity. Data IV dianalisis menggunakan Analisis ragam dan untuk menentukan faktor maupun interaksi antar faktor yang berpengaruh digunakan Normal probabilty plot (Montgomery 2001).
12
Sama seperti data simulasi pengaruh masuk satu persatu kedalam model, dapat dilihat pada Gambar 5, dua peubah awal yang masuk adalah peubah yang paling berpengaruh yaitu peubah nomor 28 dan 6 (FG, F) karena ketika penambahan nilai s cukup jauh untuk memasukkan peubah ketiga artinya peubah ketiga tidak terlalu berpengaruh penting terhadap respon. Untuk menentukan pengaruh yang signifikan dapat dilihat dari nilai MSE yang paling minimum menggunakan Validasi Silang Lipat K dapat dilihat pada Gambar 7 dan 8 sebagai berikut.
Pada Gambar 7 terlihat bahwa MSE minimum sekitar 0.6 yang terletak pada tahap tiga dengan peubah yang masuk dalam model berturut-turut FG, F, dan AE sedangkan pada Gambar 8 MSE minimum sekitar 0.7 yang terletak pada tahap tiga dengan peubah yang masuk dalam model berturut-turut B, A, AB. Perbandingan hasil metode LASSO dengan metode lain ditampilkan pada Tabel 6.
Gambar 5 Plot Pergerakan koefisien regresi untuk data III
Gambar 6 Plot Pergerakan koefisien regresi untuk data IV
13 Tabel 6 Perbandingan peubah yang berpengaruh signifikan hasil metode LASSO
dengan metode lain
Metode lain Hasil metode LASSO
Data III F, FG F, FG, AE
Data IV A, B, AB A, B, AB
Terlihat pada Tabel 6 bahwa metode LASSO menghasilkan hasil yang sama dengan hasil dari metode lain pada data IV. Dilihat dari korelasinya, pengaruh utama A dan B tidak beralias dengan interaksi dua faktor sedangkan interaksi AB beralias dengan CE sehingga hasil dari metode LASSO sudah memenuhi prinsip heredity. Untuk data III perlu dilihat pola pembauran untuk pengaruh FG dan AE. Hasil dari korelasinya adalah AE berkorelasi sepertiga dengan pengaruh B, C, D, F, BF, CF, DF, dan FG sedangkan FG berkorelasi sepertiga dengan pengaruh A, B, C, D, dan E.
Seperti pada kasus data simulasi, tidak dapat ditentukan pengaruh yang signifikan dengan pasti mengingat pola pembauran yang cukup rumit pada RFP non regular. Jika metode LASSO dilakukan dengan dua tahap, dengan tahap pertama melakukan pemilihan pada peubah faktor utama saja, metode LASSO menghasilkan peubah faktor utama F saja yang signifikan sehingga tidak dapat dilanjutkan pada tahap dua karena peubah faktor utama yang signifikan hanya satu. Untuk itu hasil akhir dengan mempertimbangkan prinsip heredity dapat ditampilkan pada Tabel 7.
Tabel 7 Perbandingan peubah yang berpengaruh signifikan hasil metode LASSO dengan metode lain mempertimbangkan prinsip heredity
Metode lain Hasil metode LASSO
Data III F, FG A, E, F, FG, AE
Data IV A, B, AB A, B, AB
SIMPULAN
14
DAFTAR PUSTAKA
Draper N, Smith H. 1992. Analisis Regresi Terapan. Ed ke-2. Sumantri B, penerjemah. Jakarta (ID): Gramedia Pustaka Utama. Terjemahan dari: Applied Regression Analysis.
Efron B, Hastie E, Johnstone I, Tibshirani R. 2004. Least Angle Regression (with discussions). Annals of Statistics 32(2): 407-499.
Hastie T, Thibsirani R, Friedman J. 2008. The Elements of Statistical Learning. Data Mining, Inference, and Prediction. Ed ke-2. New York (US): Springer. Izenman AJ. 2008. Modern Multivariate Statistical Techniques: Regression,
Classification, and Manifold Learning. New York (US): Springer.
Montgomery DC. 2001. Design and Analysis of Experiments. Ed ke-5. Singapore (SG): John Wiley & Sons, Inc.
Tibshirani R. 1996. Regression Shrinkage and Selection via the LASSO. Journal of the Royal Statistical Society Series B 58(1): 267-288.
15 Lampiran 1. Peubah bebas yang masuk dalam model untuk setiap tahapan pada
metode LASSO dan nilai |beta|/max|beta| pada data simulasi RFP regular
Tahap Peubah yang masuk ke dalam model |beta|/max|beta|
1 J 0,295237234
Tahap Peubah yang masuk dalam model |beta|/max|beta|
16
(Lanjutan)
Tahap Peubah yang masuk dalam model |beta|/max|beta| 21 BL, AD, HL, AG, BF, BH, BE, DL, BG, JL 0,609906429
Tahap Peubah yang masuk ke dalam model |beta|/max|beta|
1 FG 0,000918816
Tahap Peubah yang masuk ke dalam model |beta|/max|beta|
17
RIWAYAT HIDUP
Penulis dilahirkan di Jember pada tanggal 25 Juni 1992, sebagai anak pertama dari tiga bersaudara pasangan Agus Irianto dan Indah Diarini. Tahun 2004 penulis lulus dari SD Negeri Kepatihan 1 Jember, Kemudian melanjutkan pendidikan di SMP Negeri 2 Jember dan lulus tahun 2007. Selanjutnya, pada tahun 2010 penulis menyelesaikan pendidikannya di SMA Negeri 1 Jember dan pada tahun yang sama diterima di Institut Pertanian Bogor melalui jalur Undangan Seleksi Masuk IPB (USMI). Penulis diterima sebagai mahasiswa Departemen Statistika, Fakultas Matematika dan Ilmu Pengetahuan Alam (FMIPA) Institut Pertanian Bogor dengan mayor Statistika dan minor Matematika Keuangan dan Aktuaria.
