BAB IV. HASIL DAN PEMBAHASAN
4.3. Data Preparation
4.3.8. Bag Of Word Creator
Pada tahap ini Node ini menciptakan kantong kata (BoW) dari seperangkat dokumen. Tujuan tahap ini adalah membentuk term dari komentar yang ada.
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Tabel 4.11. menunjukan term yang terbentuk dari komentar melalui proses Bag Of Word Creator
Tabel 4.11. Term yang terbentuk dari proses Bag Of Word Creator
Proses Bag Of Word Creator
Komentar Term
habis update video diupload masuk ker darft coba video info anggar upload
Pada tahap ini karakter yang ada dilakukan pembobotan term yang sudah terbentuk. Pada tabel 4.12 menggambarkan nilai dari objek term yang terbentu
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Senang[]
Bangga[]
Kamera[]
Kotak[]
Mohon[]
0,167 0,167 0,167 0,167 0,167
1,508 2,699 2,523 3 1,404
Sumber: Hasil Penelitian
4.4. Modelling
Modelling merupakan fase pemilihan teknik mining dengan menentukan algoritma yang akan digunakan dalam mengolah data. Sedangkan tools yang digunakan adalah KNIMEversi 4.1.2. Hasil pengujian model yang dilakukan adalah mengklasifikasikan data reviewdengan menggunakan algoritma SVM, KNN dan Naive Bayes dengan menggunakan model Partitioning dan Cross Validation. Berikut adalah desain model pengolahan data review aplikasi tik-tok dengan menggunakan KNIME:
Sumber: hasil penelitian
Gambar 4.3. Model Penelitian pengolahan data review aplikasi tik-tok
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Berdasarkan Gambar 4.3. Merupakan model penelitian yang di buat untuk pengolahan data review dari pengguna aplikasi tik-tok yang ada di playstore, dari data yang ada penulis mencoba menggunakan algoritma KNN, SVM dan NB untuk menentukan hasil accuracy dan ROC. Pada tahap dalam penelitian ini di awali dengan excel reader, string to document, pre-processing, document vector, category to class, column filter, cross validation, partitioning, SVM learner, naive bayes learner, SVM predictor, naive bayes predictor, K-Nearest Neighbor, scoring dan ROC curve. Berikut adalah tahap modelling dalam penelitian ini:
1. Read Data Excel
Permodelan awal menggunakan excel reader sebagai media untuk membaca file dataset yang terdiri ulasan positif dan ulasan negatif , data yang dibaca dalam bentuk excel yang terdiri dari dua kolom yaitu kolom komentar dan label negatif dan positif
Sumber: hasil penelitian
Gambar 4.4 Hasil Output tabel Read Data Excel
2. String To Document
Pada tahap string to Document adalah untuk mengonversi string yang di tentukan ke dokumen. Setelah tahap pembacaan dataset yang kemudian di dalam proses Node String To Document proses selanjutnya adalah tahap preprocessing.
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri Sumber: hasil penelitian
Gambar 4.5. Hasil Output tabel String to document
3. Preprocessing
. Pada preprocessing ini dokumen secara keseluruhan di seragamkan mulai dari menfilter notasi (@), hastag (#), tanda baca (. , ?) serta tanda baca lainya, menfilter kata yang kurang dari N karakter, menyeragamkan dokumen menjadi huruf kecil semua atau huruf besar, tokenisasi serta pembobotan term TF-IDF.
Sumber: hasil penelitian
Gambar 4.6.Hasil Output preprocessing
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
4. Document Vector
Setelah tahap Preprocessing tahap selanjutnya adalah tahap node Documen Vector digunakan untuk mengubah tipe data pada kolom yang telah difilter menjadi dokumen.
Sumber: hasil penelitian
Gambar 4.7. Hasil Output Document Vector
5. Categori To Class
Selanjutnya proses node Category To Class, Proses ini digunakan untuk menentukan kelas yang digunakan sebagai label atau kategori adalah postif dan negatif, kelas ini nantinya akan menunjukkan hasil klasifikasi dari tiap-tiap algoritma yang digunakan dalam penelitian ini.
Sumber: hasil penelitian
Gambar 4.8. Hasil Output Category To Class
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
6. Column Filter
Selanjutnya adalah proses node column Filter digunakan untuk menfilter data yang ada antara data training dan data testing.
Sumber: hasil penelitian
Gambar 4.9. Hasil Output dari column Filter 7. Partitioning
Metode evaluation yang digunakan adalah partitioning dimana metode ini membagi dataset secara otomatis menjadi data training dan data testing.
Sumber: hasil penelitian
Gambar 4.10. Hasil Output First Partition
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri Sumber: hasil penelitian
Gambar 4.11. Hasil Output Secon Partition
8. Cross Validation
Model evaluation yang digunakan selanjutnya adalah cross validation yang membagi menjadi 9 kali data training dan 1 kali data testing.
Sumber: hasil penelitian
Gambar 4.12. Hasil Output X-Partitioning data training
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri Sumber: hasil penelitian
Gambar 4.13. Hasil Output X-Partitioning data testing
Pada node SVM learner dan naive bayes learner berfungsi sebagai penghubung untuk menggunakan algoritma predictor yaitu SVM predictor dan naive bayes predictor sebagai penentu klasifikasi. Pada node K-Nearest Neighbour merupakan salah satu algoritma yang digunakakan untuk mengklasifikasikan data yang akan menghasilkan nilai akurasi yang diperoleh.
Sedangkan ROC untuk menampilkan kurva ROC yang juga menunjukkan nilai AUC.
4.4.1 Desain Model Partitioning
Berikut adalah desain model menggunakan partitioning dengan proses pengujian menggunakan metode SVM, KNN, dan NB yang di gunakan dengan KNIME sebagi berikut:
Sumber: hasil penelitian
Gambar 4.14. Model Partitioning
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
1. Model Partitioning dengan metode SVM
Berikut ini desain proses pengujian model partitioning SVM yang di gunakan menggunakan KNIME
Sumber: hasil penelitian
Gambar 4.15 Desain Model Proses SVM
BerdasarkanGambar 4.15.dapat di lihat desain proses di dalam model Partitioning dengan menggunakan metode SVM . Pada pengujian ini data yang digunakan adalah data bersih yang telah melalui proses preprocessing. Pada node SVM learner berfungsi sebagai penghubung untuk menggunakan algoritma predictor yaitu SVM predictor sebagai penentu klasifikasi. Nilai akurasi dapat dilihat dari scorer, sedangkan ROC untuk menampilkan kurva ROC yang juga menunjukkan nilai AUC.
2. Model Partitioning dengan metode Naive Bayes
Berikut ini desain proses pengujian model Partitioning NB yang di gunakan menggunakan KNIME
Sumber: hasil penelitian
Gambar 4.16. Desain Model Proses NB
Gambar 4.16menunjukan desain proses di dalam model Partitioning dengan menggunakan metode SVM . Pada pengujian ini data yang digunakan adalah data bersih yang telah melalui proses preprocessing. Pada node naive
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
bayes learner berfungsi sebagai penghubung untuk menggunakan algoritma predictor yaitu naive bayes predictor sebagai penentu klasifikasi. Nilai akurasi dapat di lihat pada node scorer, sedangkan ROC untuk menampilkan kurva ROC yang juga menunjukkan nilai AUC.
3. Model Partitioning dengan metode KNN
Berikut ini desain proses pengujian model Partitioning KNN yang di gunakan menggunakan KNIME
Sumber: hasil penelitian
Gambar 4.17. Desain Model Proses KNN
Gambar 4.17.menunjukan desain proses di dalam model Partitioning dengan menggunakan metode KNN. Pada pengujian ini data yang digunakan adalah data bersih yang telah melalui proses preprocessing. Pada node K-Nearest Neighbour merupakan salah satu algoritma yang digunakakan untuk mengklasifikasikan data yang akan menghasilkan nilai akurasi yang diperoleh.
Sedangkan ROC untuk menampilkan kurva ROC yang juga menunjukkan nilai AUC.
4.4.2. Desain Model Cross Validation
Berikut adalah desain model menggunakan Cross Validation dengan proses pengujian menggunakan metode SVM, KNN, dan NB yang di gunakan dengan KNIME sebagi berikut:
1. Model Cross Validation dengan metode SVM
Berikut ini desain proses pengujian model Cross Validation SVM yang di gunakan menggunakan KNIME
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri Sumber: hasil penelitian
Gambar 4.18. Desain Model Proses SVM
Gambar 4.18. menunjukan desain proses di dalam model Cross Validation dengan menggunakan metode SVM. Pada proses cross validation ini melakukan 10 kali iterasi yaitu dengan melakukan 9 kali data training dan 1 kali data testing.
Nilai accuracy, precicion dan recall dapat di lihat pada node scorer, sedangkan ROC untuk menampilkan kurva ROC yang juga menunjukkan nilai AUC.
2. Model Cross Validation dengan metode NB
Berikut ini desain proses pengujian model Cross ValidationNB yang di gunakan menggunakan KNIME
Sumber: hasil penelitian
Gambar 4.19. Desain Model Proses NB
Gambar 4.19. menunjukan desain proses di dalam model Cross Validationdengan menggunakan metode NB. Pada proses cross validation ini melakukan 10 kali iterasi yaitu dengan melakukan 9 kali data training dan 1 kali data testing. Nilai accuracy, precicion dan recall dapat di lihat pada node scorer, sedangkan ROC untuk menampilkan kurva ROC yang juga menunjukkan nilai AUC.
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
3. Model Cross Validation dengan metode KNN
Berikut ini desain proses pengujian model Cross Validation KNN yang di gunakan menggunakan KNIME
Sumber: hasil penelitian
Gambar 4.20. Desain Model Proses KNN
Gambar 4.20. menunjukan desain proses di dalam model Cross Validation dengan menggunakan metode KNN. Pada proses cross validation ini melakukan 10 kali iterasi yaitu dengan melakukan 9 kali data training dan 1 kali data testing.
Nilai accuracy, precicion dan recall dapat di lihat pada node scorer, sedangkan ROC untuk menampilkan kurva ROC yang juga menunjukkan nilai AUC.
4.5. Evaluation
Hasil pengujian model partitioning dengan klasifikasi SVM, Naive Bayes, KNN digunakan untuk mengetahui nilai accuracy, precision, recall, dan AUC.
Cross validation juga digunakan sebagai model validasi. Data yang dianalisa adalah data review aplikasi.Berikut ini adalah hasil dari confusion matrix dan kurva ROC:
4.5.1. Hasil evaluasi dengan metode SVM 1. Hasil evaluasi dengan Validasi Partitionong
Hasil evaluasi dataset dengan algoritma SVM dengan model evaluasi validasi partitioningmenunjukan nilai akurasi sebesar 84,43%. akurasi yang diperoleh ditunjukkan dengan confussion matrix yang terbentuk sebagai berikut:
Tabel 4.13. Confussion matrix dengan metode SVM Partitioning
Document Positif Negatif Precision
Positif 127 34 0,907
Negatif 13 126 0,787
Recall 0,789 0,906
Sumber: hasil penelitian
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Tabel 4.13. menunjukkan hasil evaluasi menggunakan algoritma SVM Partitioning sebesar 84,43%.. confussion matrix yang terbentuk dari proses pengolahandata review aplikasi. Confusion matrix memberikan penilaian performance klasifikasi berdasarkan objek benar dan salah.
Selain confussion matrix tingkat akurasi juga didukung oleh kurva ROC, Berikut di bawah ini memampilkan kurva ROC dari algoritma SVM:
Sumber: hasil penelitian
Gambar 4.21. ROC curve dari algoritma SVM Partitioning
Kurva ROC SVM yang terbentuk dari hasil pengolahan dataset review aplikasi, Nilai AUC yang dihasilkan dari gambar 4.21 adalah sebesar 0,9305.
Berdasarkan uraian di atas maka dapat di simpulkan bahwa pengolahan data dengan menggunakan metode SVM dengan model validasi partitioning pada review aplikasi Tiok-Tok mendapatkan nilai accuracy 84,43%., Recall 0,789, precision 0,907dan AUC 0,9305.
2. Hasil evaluasi dengan Cross Validation
Hasil evaluasi dataset dengan algoritma SVM dengan model evaluasi Cross validation menunjukan nilai akurasi sebesar 87,26%. akurasi yang diperoleh ditunjukkan dengan confussion matrix yang terbentuk sebagai berikut:
Tabel 4.14. Confussion matrixdengan metode SVM Cross Validation
Document Positif Negatif Precision
Positif 417 82 0,903
Negatif 45 453 0,847
Recall 0,836 0,91
Sumber: hasil penelitian
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Tabel 4.14. menunjukkan hasil evaluasi menggunakan algoritma SVM Cross Validation menunjukkan nilai akurasi sebesar 87,26%. confussion matrix yang terbentuk dari proses pengolahandata review aplikasi. Confusion matrix memberikan penilaian performance klasifikasi berdasarkan objek benar dan salah.
Selain confussion matrix tingkat akurasi juga didukung oleh kurva ROC, Berikut di bawah ini memampilkan kurva ROC dari algoritma SVM:
Sumber: hasil penelitian
Gambar 4.22. ROC curve dari algoritma SVM Cross Validation
Kurva ROC SVM yang terbentuk dari hasil pengolahan dataset review aplikasi, Nilai AUC yang dihasilkan dari gambar 4.22. adalah sebesar 0,9716.
Berdasarkan uraian di atas maka dapat di simpulkan bahwa pengolahan data dengan menggunakan metode SVM dengan metode cross validation pada review aplikasi Tiok-Tok mendapatkan nilai accuracy 87,26%, Recall 0,836, precision 0,903 dan AUC 0,9716.
4.5.2. Hasil evaluasi dengan metode Naive Bayes 1. Hasil evaluasi dengan Partitionong
Hasil evaluasi dataset dengan algoritma NB dengan model evaluasi validasi partitioning menunjukan nilai akurasi sebesar 53,67 % diperoleh ditunjukkan dengan confussion matrix yang terbentuk sebagai berikut:
Tabel 4.15. Confussion matrix dengan metode Naive Bayes partitioning
Document Positif Negatif Precision
Positif 161 0 0,537
Negatif 139 0 0
Recall 1 0
Sumber: hasil penelitian
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Tabel 4.15. menunjukkan hasil evaluasi menggunakan algoritma Naive Bayes partitioning menunjukkan nilai akurasi sebesar 53,67 % .confussion matrix yang terbentuk dari proses pengolahandata review aplikasi. Confusion matrix memberikan penilaian performance klasifikasi berdasarkan objek benar dan salah.
Selain confussion matrix tingkat akurasi juga didukung oleh kurva ROC, Berikut di bawah ini memampilkan kurva ROC dari algoritma Naive Bayes:
Sumber: hasil penelitian
Gambar 4.23. ROC curve dari algoritma Naive Bayes partitioning
Kurva ROC Naive Bayesyang terbentuk dari hasil pengolahan dataset review aplikasi, Nilai AUC yang dihasilkan dari gambar 4.23. adalah sebesar 0,5000.
Berdasarkan uraian di atas maka dapat di simpulkan bahwa pengolahan data dengan menggunakan metode Naive Bayes pada review aplikasi Tiok-Tok mendapatkan nilai accuracy 53,67 %, Recall 1, precision 0,537 dan AUC 0,5000.
2. Hasil evaluasi dengan Cross Validation
Hasil evaluasi dataset dengan algoritma NB dengan model evaluasi Cross validation menunjukan nilai akurasi sebesar 51,96%. akurasi yang diperoleh ditunjukkan dengan confussion matrix yang terbentuk sebagai berikut:
Tabel 4.16. Confussion matrixdengan metode NB Cross Validation
Document Positif Negatif Precision
Positif 499 0 0,51
Negatif 479 19 1
Recall 1 0,038
Sumber: hasil penelitian
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Tabel 4.16. menunjukkan hasil evaluasi menggunakan algoritma NB Cross Validation menunjukkan nilai akurasi sebesar 51,96%. confussion matrix yang terbentuk dari proses pengolahandata review aplikasi. Confusion matrix memberikan penilaian performance klasifikasi berdasarkan objek benar dan salah.
Selain confussion matrix tingkat akurasi juga didukung oleh kurva ROC, Berikut di bawah ini memampilkan kurva ROC dari algoritma NB:
Sumber: hasil penelitian
Gambar 4.24. ROC curve dari algoritma Naive Bayes Cross Validation Kurva ROC Naive Bayes yang terbentuk dari hasil pengolahan dataset review aplikasi, Nilai AUC yang dihasilkan dari gambar 4.24. adalah sebesar 0,5000.
Berdasarkan uraian di atas maka dapat di simpulkan bahwa pengolahan data dengan menggunakan metode Naive Bayes pada review aplikasi Tiok-Tok mendapatkan nilai accuracy 51,96%, Recall 1, precision 0,51 dan AUC 0,5000.
4.5.3. Hasil evaluasi dengan metode KNN 1. Hasil evaluasi dengan Partitionong
Hasil evaluasi dataset dengan algoritma KNN dengan mencari nilai K terbaik dengan melakukan percobaan pada nilai k=3, k=5, k=7, k=9, k=11, k=13, k=15, k=17, k=19, k=21, k=23, k=25, k=27, k=29, dan k=31 dengan model evaluasi validasi partitioning menunjukan nilai akurasi terbaik dengan nilai k=3 sebesar 77,33% diperoleh ditunjukkan dengan confussion matrix yang terbentuk sebagai berikut:
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Tabel 4.17. Confussion matrix dengan metode KNN Partitioning
k 3
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Tabel 4.17 menunjukkan hasil evaluasi menggunakan algoritma KNN Partitioning dengan nilai k=3 menunjukkan nilai akurasi sebesar 77,33%
confussion matrix yang terbentuk dari proses pengolahan data review aplikasi.
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Confusion matrix memberikan penilaian performance klasifikasi berdasarkan objek benar dan salah.
Selain confussion matrix tingkat akurasi juga didukung oleh kurva ROC, Berikut di bawah ini memampilkan kurva ROC dari algoritma KNN:
Sumber:hasil penelitian
Gambar 4.25. ROC curve dari algoritma KNN Partitioning
Kurva ROC Naive Bayesyang terbentuk dari hasil pengolahan dataset review aplikasi, Nilai AUC yang dihasilkan dari gambar 4.25 adalah sebesar 0,8821.
Berdasarkan uraian di atas maka dapat di simpulkan bahwa pengolahan data dengan menggunakan metode Naive Bayes pada review aplikasi Tiok-Tok mendapatkan nilai accuracy 77,33% Recall 0.652, Precision 0.897, dan AUC 0,8821.
2. Hasil evaluasi dengan Cross Validation
Hasil evaluasi dataset dengan algoritma KNN dengan model evaluasi Cross validation menunjukan nilai akurasi terbaik dengan melakukan percobaan pada nilai k=3, k=5, k=7, k=9, k=11, k=13, k=15, k=17, k=19, k=21, k=23, k=25, k=27, k=29, dan k=31 dengan menghasilkan nilai terbaik jumlah k=3 sebesar 81,363 %.. akurasi yang diperoleh ditunjukkan dengan confussion matrix yang terbentuk sebagai berikut:
Tabel 4.18. Confussion matrixdengan metode KNN Cross Validation
k 3
Accuracy 81,946% AUC: 0,8574
True P True N Class Precision
Pred, P 364 135 0,89
Pred, N 45 453 0,77
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
k 21
Accuracy 74,223% AUC: 0,913
True P True N Class Precision
Pred, P 257 242 0,945
Pred, N 15 483 0,666
Class Recall 0,515 0,97
k 23
Accuracy 74,122% AUC: 0,8742
True P True N Class Precision
Pred, P 256 243 0,945
Pred, N 15 483 0,665
Class Recall 0,513 0,97
k 25
Accuracy 73,521% AUC: 0,917
True P True N Class Precision
Pred, P 250 249 0,943
Pred, N 15 483 0,66
Class Recall 0,501 0,97
k 27
Accuracy 73,42% AUC: 0,8445
True P True N Class Precision
Pred, P 247 252 0,95
Pred, N 13 485 0,658
Class Recall 0,495 0,974
k 29
Accuracy 72,818% AUC: 0,9031
True P True N Class Precision
Pred, P 241 258 0,949
Pred, N 13 485 0,653
Class Recall 0,483 0,974
k 31
Accuracy 72,818% AUC: 0,934
True P True N Class Precision
Pred, P 238 261 0,96
Pred, N 10 488 0,652
Class Recall 0,477 0,98
Sumber: hasil penelitian
Tabel 4.18 menunjukkan hasil evaluasi menggunakan algoritma KNN Cross Validation menunjukkan nilai akurasi sebesar 81,946%. confussion matrix yang terbentuk dari proses pengolahan data review aplikasi. Confusion matrix memberikan penilaian performance klasifikasi berdasarkan objek benar dan salah.
Selain confussion matrix tingkat akurasi juga didukung oleh kurva ROC, Berikut di bawah ini memampilkan kurva ROC dari algoritma KNN:
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Sumber: hasil penelitian
Gambar 4.26. ROC curve dari algoritma KNN Cross Validation
Kurva ROC KNN yang terbentuk dari hasil pengolahan dataset review aplikasi, Nilai AUC yang dihasilkan dari gambar 4.26. adalah sebesar 0,8574.
Berdasarkan uraian di atas maka dapat di simpulkan bahwa pengolahan data dengan menggunakan metode Naive Bayes pada review aplikasi Tiok-Tok mendapatkan nilai accuracy 81,946% Recall 0,729, Precision 0,89, dan AUC 0,8574.
4.5.4. Rangkuman
Hasil dari percobaan dengan menggunakan 3 metode dengan menghasilkan accuracy, precision, recall dan AUC antara algoritma SVM, Naive Bayes, dan KNN yang telah dilakukan dengan penggunaan model pratitioning dan cross validation dapat di tarik kesimpulan sebagai berikut:
1. Hasil Evaluasi Dengan Metode Partitioning
Tabel 4.19. Perbandingan Accuracy, Precision, Recall dan AUC Partitioning
Algoritma Sentimen Accuracy Precision Recall AUC SVM Positif
84,43% 0,907 0,789
0,9305
Negatif 0,787 0,906
NB Positif
53,67 % 0,537 1
0,5000
Negatif 0 0
KNN (K-3) Positif
77,33% 0.897 0.652
0,8821
Negatif 0.694 0.914
Sumber: Hasil Penelitian
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
2. Hasil Evaluasi Dengan Menggunakan Model Cross Validation
Tabel 4.20. Perbandingan Accuracy, Precision, Recall dan AUC Cross Validation
Algoritma Sentimen Accuracy Precision Recall AUC SVM Positif
3. Grafik Perbandingan Hasil Evaluasi
Gambar 4.27. Grafik Perbandingan Hasil Evaluasi
Dalam penelitian ini, hasil perhitungan dengan menggunakan ketiga metode yang pertama dengan menggunakan model Partitionong hasil dengan metode SVM mendapatkan nilai akurasi 84,43%. dengan nilai AUC sebesar 0,9305, perhitungan dengan metode KNN nilai akursinya 77,33% dengan nilai AUC sebesar 0,8821 dan perhitungan dengan metode Naive Bayes mendapatkan nilai akurasi sebesar 51,00% dengan nilai AUC sebesar 0,5000, Sedangkan untuk pengolahan data dengan model Cross validation dengan metode SVM menghasilkan akurasi sebesar 87,26% dengan nilai AUC sebesar 0,9716,
0.00%
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
perhitungan dengan menggunakan metode KNN nilai akurasinya sebesar 81,946%
dengan nilai AUC sebesar 0,899 dan dengan metode NB nilai akurasinya sebesar 51,96% dengan nilai AUC sebesar 0,5000.
Dapat disimpulkan bahwa pengolahan data dengan menggunakan metode SVM, KNN dan NB dengan menggunakan model Partitioning dan Cross Validation dapat di ketahui bahwa metode SVM dengan model Cross Validation menghasilkan nilai accuracy terbaik dibandingkan dengan menggunakan metode NB dan KNN dengan nilai accuracy sebesar 87,26% karena metode ini mengenali persebaran pola kata dalam kalimat berdasarkan data komentar yang diolah menggunakan tools KNIME Analytics Platform sehingga digunakan untuk mengetahui komentar tersebut positif atau negatif. Sedangkan untuk accuracy terendah dengan menggunakan algortima Naive Bayes karena metode ini berbasis probabilitas munculnya kata dalam setiap kalimat sehingga menghasilkan accuracy terendah.
4.6. Deployment
Berdasarkan hasil evaluasi dari proses pengujian dengan algoritma SVM, KNN, NB dengan percobaan dua model yaitu Partitioning dan Cross Validation maka dapat dilihat bahwa hasil pengujian model tertinggi dari seluruh hasil pengujian algoritma adalah SVM dengan model Partitioning. Maka dari itu bobot yang akan digunakan dalam tahap deployment ini yaitu berdasarkan dari hasil pengujian algoritma SVM Partitioning.
Setelah didapatkan korpus datad ari hasil evaluasi, korpus data tersebut dapat dimasukkan ke dalam database untuk proses deployment aplikasi analisis sentimen Aplikasi Tik-Tok. Berikut adalah tampilan Flowchart dari Aplikasi Analisis Sentimen Tik-Tok yang dibuat:
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Gambar 4.28. Flowchart Aplikasi Sentimen Aplikasi Tik-Tok
Berdasarkan flowchart pada gambar 4.28 di atas dapat dilihat bahwa dalam aplikasi Sentimen Aplikasi Tik-Tok dalam melakukan input analisis teks yaitu dengan cara manual yaitu teks review diketik atau diinput secara manual dan yang kemudian akan dilakukan proses text preprocessing.
Berikut di bawah ini pada gambar 4.29 adalah menu index atau halaman Home dari aplikasi analisis Sentimen aplikasi Tik-Tok ketika pertama kali dibuka:
Gambar 4.29. Halaman Home Aplikasi Analisa Sentimen Tik-Tok
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri
Setelah masuk kedalam Halaman Home, untuk masuk ke menu utama diperlukan login terlebih dahulu dengan menggunakan user dan password. Klik menu login pada tombol kanan atas, akan muncul tampilan login inputkan user dan password seperti pada gambar 4.30 di bawah ini:
Gambar 4.30. Halaman Login
Setelah dilakukan Input User dan Password dan klik tombol login maka akan masuk ke halaman menu utama yang sekaligus menampilkan menu Dashboard di mana dalam menu dashboard terdapat tampilan Pie Chart dan tabel Sentimen Analisis Tik-Tok seperti pada gambar 4.31 dibawah ini:
Setelah dilakukan Input User dan Password dan klik tombol login maka akan masuk ke halaman menu utama yang sekaligus menampilkan menu Dashboard di mana dalam menu dashboard terdapat tampilan Pie Chart dan tabel Sentimen Analisis Tik-Tok seperti pada gambar 4.31 dibawah ini: