IMPLEMENTASI DAN PENGUJIAN SISTEM
4.2. Implementasi Model
4.2.1. Implementasi Model Extreme Gradient Boosting
Pada proses klasifikasi dengan metode XGBoost, lakukan perhitungan untuk mendapatkan nilai prediksi awal (X) dan nilai residual error (Y) dengan menerapkan persamaan 2.4 dan persamaan 2.5. Berikutnya dilanjutkan dengan melatih model tersebut berdasarkan nilai prediksi yang sudah dihasilkan dari model sebelumnya. Kemudian, dilanjutkan hingga ke model berikutnya hingga M kali hingga menghasilkan model yang baik. Contoh perhitungan nilai prediksi awal dan residual error dengan menerapakan base_score = 0, diuraikan di tabel 4.1.
Tabel 4.1. Implementasi XGBoost
X (Review Kalimat) 1. aku tidak suka pakai karena ini buat kulit jadi iritasi dan kering. padahal aku beli ini cukup mahal
Y (Label Manual) Harga -1
Y (Label manual) Kemasan
0
Y (Label manual) Kualitas -1
Y (Label manual) Aroma 0
X (Review Kalimat) 2. ini harum dan wangi floral banget. kondisi botol juga bagus dan cantik. untuk harga ini cukup terjangkau.
Y (Label Manual) Harga 1
Y (Label manual) Kemasan
1
Y (Label manual) Kualitas 0
Y (Label manual) Aroma 1
F0(x) -1
40
Tabel 4.1. Implementasi XGBoost (Lanjutan)
Ŷ = Y - f0 (x) Harga 1 – (-1) = 2
Ŷ = Y - f0 (x) Kemasan 1 – (-1) = 2
Ŷ = Y - f0 (x) Kualitas 0 – (-1) = 1
Ŷ = Y - f0 (x) Aroma 1 – (-1) = 2
X (Review Kalimat) 3. bahan aktif produk ini cukup bau dan menyengat. dan untuk kemasan ini gampang pecah
Y (Label Manual) Harga 0
Y (Label manual) Kemasan
-1
Y (Label manual) Kualitas 0
Y (Label manual) Aroma -1
X (Review Kalimat) 4. di kulit aku ini buruk sekali. jerawat muncul. untuk harga ini cukup murah
Y (Label Manual) Harga 1
Y (Label manual) Kemasan
0
Y (Label manual) Kualitas -1
Y (Label manual) Aroma 0
Tabel 4.1. Implementasi XGBoost (Lanjutan)
X (Review Kalimat) 5. produk ini cukup mahal. di wajah juga harum. kondisi botol juga kokoh dan cantik
Y (Label Manual) Harga -1
Y (Label manual) Kemasan
1
Y (Label manual) Kualitas 0
Y (Label manual) Aroma 1
X (Review Kalimat) 6. aku beli yang kecil cukup praktis dan cantik. produk ini juga cukup harum. namun di wajah jadi iritasi
Y (Label Manual) Harga 0
Y (Label manual) Kemasan
1
Y (Label manual) Kualitas -1
Y (Label manual) Aroma 1
Berdasarkan perhitungan pada tabel 4.1 akan menghasilkan model yang sudah dilatih (M1) dengan hasil nilai prediksi f1(x) dan residual error (Ŷ1) yang akan digunakan untuk melatih model (M2) sehingga menghasilkan nilai perdiksi f2(x) dan residual error (Ŷ2). Berikutnya dilakukan perulangan proses sebanyak M kali dengan menerapkan parameter n_estimator yaitu 100. Sehingga perulangan itu dilakukan hingga nilai prediksi yang diperoleh f100(x) dan
42
residual error (Ŷ100). Gambar 4.10 merupakan contoh dari pohon Extreme Gradient Boosting pada penelitian ini. Gambar tersebut merupakan salah satu contoh pengimplementasian metode Extreme Gradient Boosting pada penelitian ini.
Gambar 4.10. Contoh Pohon Extreme Gradient Boosting 4.3.Pengujian Sistem
Proses pengujian sistem pada penelitian ini, dilakukan dengan menggunakan jumlah data secara bertahap. Pengujian dengan data secara bertahap dilakukan untuk memperoleh tingkat performa yang terbaik dengan menerapkan sejumlah data yang berbeda, yaitu sejumlah 300 data, 500 data, 800 data, 1000 data, 1200 data, dan 1500 data. Setiap jumlah data tersebut dibagi menjadi data latih dan data uji dengan rasio 0,8:0,2. Hasil pada setiap uji menggunakan keragaman jumlah data tersebut ialah sebagai berikut:
1. Pengujian dengan menggunakan 300 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 240 sebagai data latih dan 60 sebagai data uji. Pada gambar 4.11 merupakan hasil uji penerapan 300 data dan visualisasi heatmap pada confussion matrix untuk aspek harga.
Gambar 4.11. Pengujian 300 Data Aspek Harga
2. Pengujian dengan menggunakan 300 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 240 sebagai data latih dan 60 sebagai data uji. Pada gambar 4.12
merupakan hasil uji penerapan 300 data dan visualisasi heatmap pada confussion matrix untuk aspek kemasan.
Gambar 4.12. Pengujian 300 Data Aspek Kemasan
3. Pengujian dengan menggunakan 300 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 240 sebagai data latih dan 60 sebagai data uji. Pada gambar 4.13 merupakan hasil uji penerapan 300 data dan visualisasi heatmap pada confussion matrix untuk aspek kualitas produk.
Gambar 4.13. Pengujian 300 Data Aspek Kualitas
4. Pengujian dengan menggunakan 300 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 240 sebagai data latih dan 60 sebagai data uji. Pada gambar 4.14 merupakan hasil uji penerapan 300 data dan visualisasi heatmap pada confussion matrix untuk aspek aroma.
Gambar 4.14. Pengujian 300 Data Aspek Aroma
Berdasarkan nilai akurasi yang ditampilkan pada setiap Gambar 4.11 hingga Gambar 4.14, bahwa dengan menerapkan sejumlah 300 data, nilai akurasi yang dihasilkan adalah sebesar 85,55%.
44
5. Pengujian dengan menggunakan 500 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 400 sebagai data latih dan 100 sebagai data uji. Pada gambar 4.15 merupakan hasil uji penerapan 500 data dan visualisasi heatmap pada confussion matrix untuk aspek harga.
Gambar 4.15. Pengujian 500 Data Aspek Harga
6. Pengujian dengan menggunakan 500 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 400 sebagai data latih dan 100 sebagai data uji. Pada gambar 4.16 merupakan hasil uji penerapan 500 data dan visualisasi heatmap pada confussion matrix untuk aspek kemasan.
Gambar 4.16. Pengujian 500 Data Aspek Kemasan
7. Pengujian dengan menggunakan 500 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 400 sebagai data latih dan 100 sebagai data uji. Pada gambar 4.17 merupakan hasil uji penerapan 500 data dan visualisasi heatmap pada confussion matrix untuk aspek kualitas produk.
Gambar 4.17. Pengujian 500 Data Aspek Kualitas
8. Pengujian dengan menggunakan 500 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 400 sebagai data latih dan 100 sebagai data uji. Pada gambar 4.18 merupakan hasil uji penerapan 500 data dan visualisasi heatmap pada confussion matrix untuk aspek aroma.
Gambar 4.18. Pengujian 500 Data Aspek Aroma
Berdasarkan nilai akurasi yang ditampilkan pada setiap Gambar 4.15 hingga Gambar 4.18, bahwa dengan menerapkan sejumlah 500 data, nilai akurasi yang dihasilkan adalah sebesar 86,75%.
9. Pengujian dengan menggunakan 800 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 640 sebagai data latih dan 160 sebagai data uji. Pada gambar 4.19 merupakan hasil uji penerapan 800 data dan visualisasi heatmap pada confussion matrix untuk aspek harga.
Gambar 4.19. Pengujian 800 Data Aspek Harga
10. Pengujian dengan menggunakan 800 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 640 sebagai data latih dan 160 sebagai data uji. Pada gambar 4.20 merupakan hasil uji penerapan 800 data dan visualisasi heatmap pada confussion matrix untuk aspek kemasan.
46
Gambar 4.20. Pengujian 800 Data Aspek Kemasan
11. Pengujian dengan menggunakan 800 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 640 sebagai data latih dan 160 sebagai data uji. Pada gambar 4.21 merupakan hasil uji penerapan 800 data dan visualisasi heatmap pada confussion matrix untuk aspek kualitas produk.
Gambar 4.21. Pengujian 800 Data Aspek Kualitas
12. Pengujian dengan menggunakan 800 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 640 sebagai data latih dan 160 sebagai data uji. Pada gambar 4.22 merupakan hasil uji penerapan 800 data dan visualisasi heatmap pada confussion matrix untuk aspek aroma.
Gambar 4.22. Pengujian 800 Data Aspek Aroma
Berdasarkan nilai akurasi yang ditampilkan pada setiap Gambar 4.19 hingga Gambar 4.22, bahwa dengan menerapkan sejumlah 800 data, nilai akurasi yang dihasilkan adalah sebesar 88%.
13. Pengujian dengan menggunakan 1000 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 800 sebagai data latih dan 200 sebagai data uji. Pada gambar 4.23 merupakan hasil uji penerapan 800 data dan visualisasi heatmap pada confussion matrix untuk aspek harga.
Gambar 4.23. Pengujian 1000 Data Aspek Harga
14. Pengujian dengan menggunakan 1000 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 800 sebagai data latih dan 200 sebagai data uji. Pada gambar 4.24 merupakan hasil uji penerapan 800 data dan visualisasi heatmap pada confussion matrix untuk aspek kemasan.
Gambar 4.24. Pengujian 1000 Data Aspek Kemasan
15. Pengujian dengan menggunakan 1000 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 800 sebagai data latih dan 200 sebagai data uji. Pada gambar 4.25 merupakan hasil uji penerapan 800 data dan visualisasi heatmap pada confussion matrix untuk aspek kualitas.
Gambar 4.25. Pengujian 1000 Data Aspek Kualitas
48
16. Pengujian dengan menggunakan 1000 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 800 sebagai data latih dan 200 sebagai data uji. Pada gambar 4.26 merupakan hasil uji penerapan 800 data dan visualisasi heatmap pada confussion matrix untuk aspek aroma.
Gambar 4.26. Pengujian 1000 Data Aspek Aroma
Berdasarkan nilai akurasi yang ditampilkan pada setiap Gambar 4.23 hingga Gambar 4.26, bahwa dengan menerapkan sejumlah 1000 data, nilai akurasi yang dihasilkan adalah sebesar 88,5%.
17. Pengujian dengan menggunakan 1200 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 960 sebagai data latih dan 240 sebagai data uji. Pada gambar 4.27 merupakan hasil uji penerapan 1200 data dan visualisasi heatmap pada confussion matrix untuk aspek harga.
Gambar 4.27. Pengujian 1200 Data Aspek Harga
18. Pengujian dengan menggunakan 1200 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 960 sebagai data latih dan 240 sebagai data uji. Pada gambar 4.28 merupakan hasil uji penerapan 1200 data dan visualisasi heatmap pada confussion matrix untuk aspek kemasan.
Gambar 4.28. Pengujian 1200 Data Aspek Kemasan
19. Pengujian dengan menggunakan 1200 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 960 sebagai data latih dan 240 sebagai data uji. Pada gambar 4.29 merupakan hasil uji penerapan 1200 data dan visualisasi heatmap pada confussion matrix untuk aspek kualitas.
Gambar 4.29. Pengujian 1200 Data Aspek Kualitas
20. Pengujian dengan menggunakan 1200 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 960 sebagai data latih dan 240 sebagai data uji. Pada gambar 4.30 merupakan hasil uji penerapan 1200 data dan visualisasi heatmap pada confussion matrix untuk aspek aroma.
Gambar 4.30. Pengujian 1200 Data Aspek Aroma
Berdasarkan nilai akurasi yang ditampilkan pada setiap Gambar 4.27 hingga Gambar 4.30, bahwa dengan menerapkan sejumlah 300 data, nilai akurasi yang dihasilkan adalah sebesar 88,75%.
50
21. Pengujian dengan menggunakan 1500 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 1200 sebagai data latih dan 300 sebagai data uji. Pada gambar 4.31 merupakan hasil uji penerapan 1500 data dan visualisasi heatmap pada confussion matrix untuk aspek harga.
Gambar 4.31. Pengujian 1500 Data Aspek Harga
22. Pengujian dengan menggunakan 1500 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 1200 sebagai data latih dan 300 sebagai data uji. Pada gambar 4.32 merupakan hasil uji penerapan 1500 data dan visualisasi heatmap pada confussion matrix untuk aspek kemasan.
Gambar 4.32. Pengujian 1500 Data Aspek Kemasan
23. Pengujian dengan menggunakan 1500 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 1200 sebagai data latih dan 300 sebagai data uji. Pada gambar 4.33 merupakan hasil uji penerapan 1500 data dan visualisasi heatmap pada confussion matrix untuk aspek kualitas.
Gambar 4.33. Pengujian 1500 Data Aspek Kualitas
24. Pengujian dengan menggunakan 1500 jumlah data. Dengan menerapkan rasio 0,8:0,2, sehingga sejumlah 1200 sebagai data latih dan 300 sebagai data uji. Pada gambar 4.34 merupakan hasil uji penerapan 1500 data dan visualisasi heatmap pada confussion matrix untuk aspek aroma.
Gambar 4.34. Pengujian 1500 Data Aspek Aroma
Berdasarkan nilai akurasi yang ditampilkan pada setiap Gambar 4.31 hingga Gambar 4.34, bahwa dengan menerapkan sejumlah 1500 data, nilai akurasi yang dihasilkan adalah sebesar 90%. Sehingga, diperoleh kesimpulan bahwa dengan menerapkan sejumlah 1500 data, hasil akurasi dan performa kerja dari metode XGBoost cukup baik. Pengujian sistem bertujuan untuk memeriksa performa sistem yang telah berfungsi dengan baik sesuai dengan yang diharapkan.
Penggunaan data berupa dataset review poduk kecantikan yang telah dipaparkan pada bagian sebelumnya. Kalimat review tersebut akan diberi label secara manual berdasarkan isi kalimat dan aspek produk yang sudah ditentukan. Model yang telah dilatih akan disimpan pada proses training dan akan diuji performanya dengan menggunakan data testing berupa review produk.
Pada tabel 4.2 merupakan hasil pengujian beberapa sampel data yang digunakan pada proses uji sistem.
Tabel 4.2. Hasil Pengujian Sistem
Kalimat Kelompok Aspek
Harga Kemasan Kualitas Aroma 1. walaupun ini mahal, namun cukup harum dan
dingin di wajah. kemasan produk juga cukup kokoh dan bagus
-1 1 0 1
2. sangat cocok untuk kulit yang kering karena bantu untuk lembab. selain itu, kemasan produk ini juga sangat praktis dan bahan kuat
0 1 1 0
3. menurut aku produk ini sangat mahal. setelah aku pakai ternyata buat kulit iritasi dan semakin buruk.
untuk aroma aku suka karena harum
-1 0 -1 1
4. beli ini karena harga murah, lalu ada bau alkohol yang menyengat dan kemasan produk ini juga gampang pecah dan jelek
1 -1 0 -1
52
Tabel 4.2. Lanjutan Hasil Pengujian
Kalimat Kelompok Aspek
Harga Kemasan Kualitas Aroma 5. di wajah ada sensasi dingin. aroma produk ini
sangat harum di wajah. kemasan terbuat dari bahan yang kuat dan juga praktis. untuk harga juga cukup terjangkau
1 1 0 1
6. sangat ringan diwajah. tidak lengket. ampuh untuk melindungi wajah. wangi dan juga enak banget. sayang kemasan sangat gampang pecah
0 -1 1 1
7. beli karena cukup terjangkau. kemasan sangat bagus dan cantik. hanya saja aroma ini bau dan aneh. dan membuat kulit jadi iritasi
1 1 -1 -1
8. menurutku harga memang mahal. selain itu, kemasan juga gampang pecah dan jelek. tapi juga suka karena harum
-1 -1 0 1
9. produk membuat wajah jadi kusam, buruk dan iritasi. sia-sia karena kemasan juga gampang pecah dan retak
0 -1 -1 0