Pengaruh Oversampling dan Cross Validation Pada Model Machine Learning Untuk Sentimen Analisis Kebijakan Luaran Kelulusan
Mahasiswa
Mufida Rahayu, Ardytha Luthfiarta*, Lailatul Cahyaningrum, Alya Nurfaiza Azzahra Fakultas Ilmu Komputer, Teknik Informatika, Universitas Dian Nuswantoro, Semarang, Indonesia Email: 1[email protected], 2,*[email protected], 3[email protected],
Email Penulis Korespondensi: [email protected]
Abstrak−Menteri Pendidikan, Kebudayaan, Riset dan Teknologi mengeluarkan kebijakan baru tentang standar kelulusan mahasiswa S1 dan D4. Kebijakan ini disampaikan tanggal 29 Agustus 2023 pada live streaming youtube kemendikbudristek di seminar Merdeka Belajar episode 26 : Transformasi Standar Nasional dan Akreditasi Pendidikan Tinggi. Kebijakan tersebut menimbulkan berbagai macam tanggapan positif dan negatif dimasyarakat. Berdasarkan permasalah tersebut penelitian ini melakukan analisis sentimen bagaimana sikap dan tanggapan masyarakat terkait hal tersebut, sehingga dapat berguna untuk masyarakat kedepannya. Penelitian ini menggunakan dua algoritma Naïve Bayes Classifier (NBC) dan K-Nearest Neighbor (KNN) dengan pengumpulan data yang dilakukan melalui komentar video youtube mendapatkan jumlah dataset sebanyak 1085 data. Setelah itu masuk pada pre-processing data yang kemudian dilakukan pelabelan menggunakan metode Lexicon-based dengan metode stemming Sastrawi. Dataset dikelompokkan menjadi sentimen positif dan sentimen negatif di mana hasil pelabelan menunjukkan data label yang tidak seimbang. Maka dilakukan metode oversampling Synthetic Minority Over- sampling Technique (SMOTE) supaya data dapat seimbang dan menghasilkan akurasi yang baik. Hasil pengujian setelah dilakukan teknik SMOTE menunjukkan algortima NBC memiliki akurasi tertinggi dibandingkan dengan KNN. Hasil akurasinya yaitu 74%, precision 74.6%, recall 74% dan f1-score 73.9%. Sementara KNN menghasilkan akurasi 50.2%, precision 75.2%, recall 50.2% dan f1-score 34.5 %.
Kata Kunci: Standar Kelulusan; Analisis Sentimen; Naïve Bayes Classifier; K-Nearest Neighbor; Lexicon-based; Youtube;
SMOTE
Abstract−The Minister of Education, Culture, Research and Technology issued a new policy on graduation standards for undergraduate and postgraduate students. This policy was delivered on August 29, 2023, on live streaming YouTube Kemendikbudristek at the Merdeka Belajar seminar episode 26: Transformation of National Standards and Higher Education Accreditation. The policy has caused various kinds of positive and negative responses in the community. Based on this problem, this research analyzes the sentiment of how the attitude and response of the community regarding this matter, so that it can be useful for the community in the future. This research uses two algorithms Naïve Bayes Classifier (NBC) and K-Nearest Neighbor (KNN) with data collection done through YouTube video comments getting a total dataset of 1085 data. After that, enter the data pre-processing which is then labeled using the Lexicon-based method with the stemming Sastrawi method.
Datasets are grouped into positive sentiment and negative sentiment where the labeling results show unbalanced label data.
Then the oversampling method Synthetic Minority Over-sampling Technique (SMOTE) is performed so that the data can be balanced and produce good accuracy. The test results after the SMOTE technique show that the NBC algorithm has the highest accuracy compared to KNN. The accuracy results are 74%, precision 74.6%, recall 74% and f1-score 73.9%. While KNN produces an accuracy of 50.2%, precision of 75.2%, recall of 50.2%, and f1-score of 34.5%.
Keywords: Graduation Standards; Sentiment Analysis; Naïve Bayes Classifier; K-Nearest Neighbor; Lexicon-based;
YouTube; SMOTE
1. PENDAHULUAN
Skripsi atau tugas akhir merupakan persyaratan yang harus dipenuhi mahasiswa untuk memperoleh gelar sarjana sebagai bukti mampu menyelesaikan akademiknya dalam melakukan penelitian sesuai dengan bidang studinya [1]. Menteri Pendidikan, Kebudayaan, Riset dan Teknologi (Mendikbudristek) telah mengeluarkan kebijakan baru mengenai standar kelulusan mahasiswa S1 dan D4 yang diatur dalam Peraturan Mendikbudristek Nomor 53 Tahun 2023 tentang Penjamin Mutu Pendidikan Tinggi [2], salah satunya tidak diwajibkannya menyusun skripsi bagi mahasiswa sebagai syarat wajib mendapatkan gelar sarjana. Kebijakan ini resmi diumumkan pada video live streaming Youtube Kemendikbudristek RI di seminar Merdeka Belajar Episode 26: Transformasi Standar Nasional dan Akreditasi Pendidikan Tinggi tanggal 29 Agustus 2023 [3]. Adanya kebijakan tersebut memunculkan berbagai macam opini setuju dan kurang setuju di masyarakat. Saat ini belum ada penelitian yang secara khusus membahas dan menganalisis kebijakan tidak diwajibkannya untuk menyusun skripsi. Oleh karena itu, penelitian ini ingin melakukan analisis sentimen terkait dengan kebijakan tersebut.
Analisis sentimen adalah suatu proses yang menggunakan metode komputasi seperti metode statistik dan machine learning untuk menggali opini atau pendapat seseorang dalam bentuk teks. Metode ini dapat digunakan untuk mengidentifikasi aspek-aspek tertentu dalam sebuah teks seperti subjektivitas, kategori sentimen, kategori emosi, pola sikap, kepribadian, dan lain-lain [4]. Terdapat beberapa algoritma yang digunakan dalam analisis sentimen, namun pada penelitian ini hanya menggunakan dua algoritma Naïve Bayes Classifier (NBC) dan K- Nearest Neighbor (KNN).
Kedua algortima tersebut banyak digunakan oleh penelitian lain karena menghasilkan akurasi model yang baik [5]. Seperti penelitian yang dilakukan oleh Citra dkk yaitu membandingkan kedua algoritma NBC dan KNN pada sentimen review aplikasi mobile JKN menghasilkan akurasi NBC 61,15% dan KNN 87,59% [6]. Pada penelitian Naufal dkk tentang analisis sentimen terhadap isu resesi tahun 2023 di Indonesia menggunakan metode NBC menghasilkan akurasi sebesar 77%. Penelitian yang dilakukan oleh Harry dan Ilka yaitu analisis sentimen pada pembatalan Indonesia sebagai tuan rumah Piala Dunia FIFA U-20 menggunakan Naïve Bayes menghasilkan akurasi sebesar 84% [7]. Kemudian penelitian yang dilakukan oleh Antonius, dkk untuk analisis sentimen ulasan aplikasi tripadvisor dengan metode Support Vector Machie (SVM), K-Nearest Neighbor (KNN) dan Naïve Bayes (NB) mendapatkan hasil akurasi pada algoritma KNN sebesar 89,02% dan NBC sebesar 88,65% [8]. Pada penelitian yang dilakukan Dede dkk yaitu analisis sentimen terhadap elektabilitas Ganjar Pranowo di Tahun Politik 2024 menggunakan algoritma KNN menghasilkan akurasi 99% dan NBC menghasilkan hasil akurasi 97% [9].
Berdasarkan penelitian-penelitian terkait sebelumnya, penelitian ini menggunakan dua algoritma NBC dan KNN untuk membandingkan algortima mana yang paling baik dalam melakukan pengujian. Algoritma NBC memiliki kelebihan menganggap setiap kata atau token di dalam dokumen ada fitur yang masing-masing berdiri sendiri [10]. Namun, seiring dengan adanya penambahan jumlah fitur, perhitungan probabilitas bersyaratnya semakin sulit dilakukan dengan cepat. Algoritma KNN merupakan salah satu metode yang mudah dipelajari, cukup fleksibel ketika bekerja untuk fungsi kesamaan dan ketidaksamaan karena prediksi label dapat dihitung di antara k tetangga terdekat [11]. Namun jika data train yang digunakan besar, waktu komputasinya tinggi, sebab setiap data test dihitung jaraknya.
Pengumpulan data pada penelitian ini melalui ulasan komentar pada video youtube menggunakan API yang disediakan dengan keyword search ‘skripsi tidak diwajibkan’, ‘skripsi ditiadakan’, dan ‘skripsi diganti jurnal’, serta menambahkan id video mendapatkan 1085 data. Setelah pengumpulan data, langkah selanjutnya yaitu pelabelan data menggunakan metode lexicon-based. Metode ini termasuk metode yang sederhana, praktis dan mudah dalam analisis sentimen, karena pelabelan yang dilakukan dinilai berdasarkan nilai polaritasnya untuk mengetahui apakah termasuk sentimen positif, netral atau negatif [12]. Kemudian setelah pelabelan data, didapatkan data yang tidak seimbang maka digunakan metode oversampling Synthetic Minority Over-sampling Technique (SMOTE) untuk melakukan balancing terhadap data yang dikumpulkan.
Berdasarkan latar belakang tersebut penelitian ini bertujuan untuk mengetahui hasil dari analisis yang dilakukan terhadap kepuasan masyarakat dalam kebijakan terkait dengan tidak diwajibkan skripsi bagi mahasiswa S1 dan D4 serta menjadi saran dan perbaikan untuk pemerintah khususnya Kemendikbudristek.
2. METODOLOGI PENELITIAN
2.1 Tahapan Penelitian
Tahapan penelitian digunakan untuk mengidentifikasi, mengolah dan menganalisis sebuah data dengan tujuan membantu peneliti dalam menyusun tahapan - tahapan kerangka kerja supaya terstruktur dan logis. Tahapan penelitian bisa dilihat pada Gambar 1 berikut.
Gambar 1. Tahapan Penelitian
2.2 Pengumpulan Data
Pengumpulan data diambil dari komentar video youtube yang menyinggung tentang kebijakan baru Kemendikbud terkait tidak diwajibkannya skripsi bagi mahasiswa S1 dan D4 dengan teknik scrapping menggunakan python pada google colab. Total data yang didapatkan sebanyak 1085 data.
2.3 Pre-processing
Pre-processing merupakan proses pemilihan informasi pada setiap dokumen dengan tujuan menghapus data, mengurangi kosa kata yang berlebihan, dan membersihkan dari kata yang kurang efektif [13]. Tahapan pre- processing dilakukan setelah memperoleh data, diantaranya:
2.3.1 Cleaning
Proses cleaning yaitu menghapus karakter khusus maupun tanda baca yang tidak diperlukan, seperti titik, koma, tanda seru, tanda tanya, menghapus emoji, angka, hastag, url dan mention yang tidak relevan [13]. Agar data lebih bersih dan dapat diproses secara mudah pada tahap berikutnya.
2.3.2 Case Folding
Case folding digunakan untuk menyamakan kata pada dataset menjadi huruf kecil atau besar sesuai dengan aturan [14]. Tujuannya untuk memastikan konsisten kata-kata apabila ada kata yang serupa, namun beda satu huruf saja, tidak memiliki arti yang berbeda. Misalnya “Skripsi” dan “skripsi” dianggap sama.
2.3.3 Tokenization
Tokenization merupakan proses memecah kalimat pada dataset menjadi kata supaya memudahkan dalam proses selanjutnya [15]. Misalnya “Menulis dengan pensil” maka dipecah menjadi “Menulis”, “dengan”, “pensil”.
2.3.4 Filtering
Filtering merupakan proses untuk menghilangkan kata-kata yang tidak memiliki arti seperti kata imbuhan, supaya tidak mempengaruhi proses analisis pada penelitian [16].
2.3.5 Stemming
Stemming merupakan proses menghapus imbuhan awal dan akhir pada sebuah kata supaya menjadi kata dasar.
Stemming pada penelitian ini menggunakan library Sastrawi pada python [15].
2.4 Labeling Data
Setelah pengumpulan data dan pre-processing, dilakukan pelabelan pada dataset yang sudah diproses. Pemberian label ini digunakan untuk mengkategorikan apakah kalimat tersebut memiliki makna positif, netral atau negatif.
Hal ini dilakukan untuk memudahkan dalam melakukan proses analisis dan pengambilan keputusan. Pelabelan dataset pada penelitian ini menggunakan kamus lexicon, di mana kamus ini berbasis lexicon based yang memberikan nilai bobot pada kata berdasarkan skor polaritas. Lexicon based memiliki dua kamus dalam pengkategorian yaitu kamus positif dan negatif [7]. Ketika proses sortir data, total dari bobot data menghasilkan positif, negatif atau netral maka diberikan bobot pada data tersebut.
2.5 Pembobotan TF-IDF
Term Frequency-Inverse Document Frequency (TF-IDF) merupakan metode statistik yang digunakan dalam pemrosesan bahasa alami dan pengambilan informasi. TF-IDF merupakan kombinasi dari dua proses TF dan IDF, yang digunakan untuk mengubah atau mentranformasi data teks menjadi vektor (angka). TF menghitung jumlah kata yang sering muncul dalam sebuah kalimat atau bahasan, sedangkan IDF mengukur seberapa pentingnya sebuah kata dalam dokumen [14]. Jika frekuensi kemunculan suatu kata semakin tinggi, maka pembobotan TF- IDF semakin besar. Namun apabila ada kata lain yang masuk, dan semakin sering muncul maka pembobotannya menurun [17]. Rumus pembobotan kata TF-IDF dapat dilihat pada nomor 1, nomor 2 dan nomor 3 berikut ini : tf = 0,5 + 0,5 x tf
max (tf) (1)
idft= log N
dft (2)
Wt,d= tft,d x idft (3)
Keterangan :
𝑡𝑓 : banyaknya kata yang dicari pada sebuah dokumen
𝑚𝑎𝑥 (𝑡𝑓) : jumlah kemunculan terbanyak term pada dokumen yang sama
𝑁 : jumlah semua dokumen
𝑑𝑡𝑓 : jumlah dokumen yang mengandung term
𝑖𝑑𝑓 : inversed document frequency (log2 (D/df))
𝑑 : dokumen ke-d
𝑡 : kata ke-t dari data kunci
𝑊 : bobot dokumen ke-d terhadapt kata ke-t 2.6 Balancing Data
Balancing data merupakan proses menyeimbangkan data pada setiap kelas dalam dataset. Tujuannya untuk meningkatkan akurasi dari hasil analisis yang dilakukan. Penelitian ini menggunakan salah satu metode balancing yaitu SMOTE. SMOTE merupakan metode yang membuat sampel sintetik dari kelas minoritas dengan cara mengambil sampel dari kelas minoritas dan menggabungkan sampel tersebut dengan sampel terdekat untuk membuat sampel sintetik baru [18].
2.7 Analisis Model
Pemodelan klasifikasi yang digunakan adalah NBC dan KNN di mana untuk mendapatkan hasil accuracy, recall, precision, dan f1_score yang maksimal diantara kedua model tersebut, pengujiannya dilakukan secara terpisah dengan dataset yang sama. Selain itu juga untuk membandingkan hasil akurasi dari kedua model.
2.7.1 Naïve Bayes Classifier (NBC)
NBC merupakan algoritma yang berdasar pada teorema Bayes. Algoritma NBC termasuk algoritma paling umum digunakan untuk klasifikasi karena penggunaannya sederhana, efisien, dan mudah untuk dipahami [19]. Klasifikasi yang digunakan pada metode NBC adalah probabilitas dan statistik dengan memprediksi peluang di masa depan berdasarkan pengalaman dari data-data sebelumnya [20]. Bentuk umum dari perhitungan NBC dapat dilihat pada Persamaan nomor 4 berikut :
𝑃(𝐻|𝑋) =𝑃(𝑋|𝐻).𝑃(𝐻)
𝑃(𝑋) (4)
Keterangan :
𝑋 : data dengan class yang belum diketahui 𝐻 : hipotesis data X merupakan suatu class spesifik
𝑃(𝐻|𝑋) : probabilitas hipotesis H berdasar kondisi X (posteriori probability) 𝑃(𝐻) : probabilitas hipotesis H (prior probability)
𝑃(𝑋|𝐻) : probabilitas X berdasar kondisi hipotesis H 𝑃(𝑋) : probabilitas dari X
2.7.2 K-Nearest Neighbor (KNN)
K-NN merupakan salah satu algoritma klasifikasi dari 10 algortima teratas yang digunakan dalam data mining [21]. KNN digunakan pada berbagai aplikasi seperti pattern recognition, computer vision dan machine learning.
KNN terdiri dari operasi-operasi independen [22] yang digunakan untuk mengelompokkan data baru berdasarkan jarak k terdekatnya. Cara kerjanya dengan mencari jumlah k terdekat dan paling mirip diantara semua data train pada semua kelas yang dimasukkan, kemudian menentukan kelas data baru dengan keputusan yang diambil berdasarkan hasil dari mayoritas label dari jumlah k yang dimasukkan [11].
2.8 Evaluasi
Tahap ini digunakan untuk menilai seberapa baik model klasifikasi dalam menghasilkan akurasi pada percobaan sebelumnya, di mana pengukuran nilai digunakan untuk membandingkan seberapa efisien dari kinerja kedua model. Untuk mengetahui seberapa efisien model dalam kinerjanya digunakan confusion matrix. Confusion matrix merupakan salah satu metode machine learning yang menggunakan matriks 2 x 2 untuk mengevaluasi efektivitas suatu model dan menampilkan semua hasil klasifikasi benar dan salah. Variable yang diukur terdiri dari true positive (TP), false positive (FP), true negative (TN) dan false negative (FN). Dari pengukuran confusion matrix dapat menentukan nilai accuracy, recall, precision, dan f1_score. Tampilan confusion matrix dapat dilihat pada tabel 1.
Tabel 1. Confusion Matrix Actual Values
Predicted Values
Positive Negative
Positive
True Positive False Positive
Negative
False Negative True Negative
3. HASIL DAN PEMBAHASAN
Setelah tahap preprocessing dan perhitungan TF-IDF, selanjutnya dilakukan pengujian model. Data train dan data test yang digunakan untuk menguji semua dataset dimulai dari 60% - 90% (data train) 10% - 40% (data test).
Model yang pertama kali diuji adalah NBC.
3.1 Pengumpulan Data
Dataset pada penelitian ini berasal dari ulasan komentar video youtube dengan teknik pengambila data yaitu scrapping menggunakan python pada google colab. Pengampilan data ini menggunakan API youtube dan memasukkan id video yang ingin diambil datanya. Kata kunci yang digunakan adalah ‘skripsi tidak diwajibkan’.
‘skripsi ditiadakan’, dan ‘skripsi diganti jurnal’. Scrapping dilakukan dalam kurun waktu 2 bulan dari semenjak Kemendikbud mengeluarkan kebijakan luaran tidak wajib skripsi dan mendapatkan jumlah total 1085 data. Setiap kali melakukan scrapping, jumlah data yang didapatkan berbeda. Pertama kali melakukan scrapping hanya mendapatkan 14 data, lalu 500 data hingga scrapping yang terakhir mendapatkan 1085.
3.2 Pre-processing
Tahapan pre-processing dilakukan setelah scrapping data untuk dibersihkan datanya dari noise supaya dalam pemrosesan menjadi lebih mudah dan cepat. Hasil dari pre-processing dapat dilihat pada tabel 2.
Tabel 2. Pre-processing Cleaning Alur Pre-
processing Sebelum Sesudah
Cleaning '@Kemdikbud_RI ingin berikan keleluasaan pd perguruan tinggi menentukan syarat kelulusan mahasiswanya. Tak hrs berupa skripsi
KemdikbudRI ingin berikan keleluasaan pd perguruan tinggi menentukan syarat kelulusan mahasiswanya Tak hrs berupa skripsi
Tabel 3. Pre-processing Case Folding Case
Folding
KemdikbudRI ingin berikan keleluasaan pd perguruan tinggi menentukan syarat kelulusan mahasiswanya Tak hrs berupa skripsi
kemdikbudri ingin berikan keleluasaan pd perguruan tinggi menentukan syarat kelulusan mahasiswanya tak hrs berupa skripsi
Tabel 4. Tahapan Pre-processing Tokenization, Filtering dan Stemming Alur Pre-
processing Sebelum Sesudah
Tokenizing kemdikbudri ingin berikan keleluasaan pd perguruan tinggi menentukan syarat kelulusan mahasiswanya tak hrs berupa skripsi
kemdikbudri, ingin, berikan, keleluasaan, pd, perguruan, tinggi, menentukan, syarat, kelulusan, mahasiswanya, tak, hrs, berupa, skripsi
Filtering kemdikbudri ingin berikan keleluasaan pd perguruan tinggi menentukan syarat kelulusan mahasiswanya tak hrs berupa skripsi
kemdikbudri ingin berikan keleluasaan pada perguruan tinggi menentukan syarat kelulusan mahasiswanya tak harus berupa skripsi
Stemming kemdikbudri ingin berikan keleluasaan pada perguruan tinggi menentukan syarat kelulusan mahasiswanya tak harus berupa skripsi
kemdikbudri ingin beri leluasa pada guru tinggi tentu syarat lulus mahasiswa tak harus rupa skripsi
Setelah pre-processing selesai dengan jumlah 1085 data mentah, selanjutnya dilakukan pengecekan apakah data ada yang duplikat. Dari 1085 menjadi 1076 data yang siap untuk diproses pada tahap berikutnya.
3.3 Labeling Data
Data yang sudah bersih dibagi kedalam dua kategori yaitu positif dan negatif. Pelabelan ini berdasarkan kamus lexicon sehingga proses dilakukan secara sistem. Proses ini menggunakan algortima stemming Sastrawi.
Ketentuan dalam pelabelan ini jika nilai polaritas lebih besar sama dengan 0 maka diberi label sentimen positif dan jika nilai polaritas kurang dari 0 maka diberi label sentimen negatif. Hasil dari pelabelan metode lexicon dapat dilihat pada tabel 4 berikut:
Tabel 5. Hasil labeling data menggunakan metode Lexicon Based
Text Nilai
Polaritas Sentimen dibalik perbincangan hangat mengenai skripsi yang tidak diwajibkan sebagai syarat lulus
seorang mahasiswa ternyata banyak manfaat bagi sistem pendidikan di indonesia
7 Positif
acak acakan bapak ini skripsi sebagai ujian terahir bagi mahasiswa kok malah tidak diwajibkan
-11 Negatif skripsi yang menjadi syarat kelulusan bagi mahasiswa s dan d kini tidak lagi diwajibkan
nadiem mengatakan ketentuan itu tertuang dalam peraturan menteri pendidikan
-2 Negatif
Text Nilai
Polaritas Sentimen setuju dong tapi ya kembali lagi bahwa skripsi jangan dihapuskan 0 Positif ingin berikan keleluasaan pd perguruan tinggi menentukan syarat kelulusan
mahasiswanya tak hrs berupa skripsi
3 Positif
3.4 Pembobotan TF-IDF
Setelah dilakukan pelabelan maka selanjutnya proses pembobotan dokumen berbentuk teks menjadi vektor dengan TF-IDF. Hasil dari pembobotannya dapat dilihat pada tabel 5 berikut :
Tabel 6. Pembobotan dengan TF-IDF Urutan pada dokumen TF-IDF
(0, 1875) 0.15278314955519526 (0, 995) 0.0943034437623798 (0, 3876) 0.16033331444667887 (0, 4777) 0.1981291948548959
(0, 299) 0.19501604745831816
Kolom 1 (0, 1875) pada baris pertama, angka 0 merupakan dokumen pertama, angka 1875 adalah urutan kata yang berada dalam penggabungan kata. Penjelasan yang ada pada kolom TF-IDF yaitu 0.15278314955519526 merupakan hasil pembobotan kata dengan TF-IDF pada kolom pertama.
3.5 Balancing Data
Balancing data pada penelitian ini digunakan SMOTE untuk menghasilkan model yang baik. Karena terjadi ketidakseimbangan data atau imbalance data dari tahap pelabelan menggunakan lexicon yang dapat menyebabkan performa dari akurasi model buruk. Pelabelan menggunakan lexicon menghasilkan nilai tabel negatif lebih tinggi daripada positif, maka dari itu perlu adanya peningkatan pada label positif supaya mendapatkan hasil model yang baik. Hasil oversampling menggunakan SMOTE dapat dilihat pada tabel berikut.
Tabel 7. Hasil Setelah Oversampling SMOTE
Label Sebelum Oversampling Setelah Oversampling SMOTE
Positif 489 587
Negatif 587 587
3.6 Pengujian model
Pada pengujian model ini dilakukan pada dataset sebelum dilakukan SMOTE untuk mengetahui model mana yang memiliki performa dan hasil akurasi yang baik. Penelitian ini menggunakan dua model yaitu NBC dan KNN. Data train dan data test yang digunakan dimulai dari 60% - 90% (data train) 10% - 40% (data test).
3.6.1 Pengujian dengan Naïve Bayes Classifier (NBC)
Pada pengujian NBC dilakukan sebanyak 3 kali menggunakan random split, stratified dan juga k-fold cross validation. Dari pengujian tersebut mendapatkan hasil ujinya yang dapat dilihat pada tabel 7, tabel 8 dan tabel 9 berikut.
Tabel 8. Hasil Pengujian NBC Random Split
Training Testing Accuracy Precision Recall F1_score
60% 40% 0.675 0.676 0.675 0.675
70% 30% 0.681 0.679 0.681 0.669
80% 20% 0.676 0.672 0.676 0.657
90% 10% 0.640 0.634 0.640 0.603
Hasil pengujian menggunakan random split didapatkan akurasi paling tinggi 68.1% pada data train 70%
data test 30%. Untuk meningkatkan hasil akurasi tersebut, diuji kembali menggunakan stratified dengan hasil akurasi pada tabel 8.
Tabel 9. Hasil Pengujian NBC Random Stratified
Training Testing Accuracy Precision Recall F1_score
60% 40% 0.636 0.691 0.636 0.586
70% 30% 0.638 0.695 0.638 0.588
80% 20% 0.634 0.676 0.634 0.589
90% 10% 0.648 0.685 0.648 0.612
Pada pengujian stratified didapatkan hasil tertinggi adalah 64.8% pada data train 90% dan data test 10%.
Selanjutnya diuji kembali menggunakan k-fold cross validation untuk memaksimalkan hasil akurasi, k yang digunakan yaitu k = 2 hingga k = 10.
Tabel 10. Hasil Pengujian NBC k-Fold Cross Validation k Rata-rata Accuracy
2 0.621
3 0.645
4 0.664
5 0.660
6 0.648
7 0.656
8 0.657
9 0.660
10 0.657
Pengujian pada k-fold cross validation mendapatkan hasil akurasi tertinggi yaitu di k = 4 dengan akurasi 66,4%. Dari pengujian random split, random stratified dan k-fold cross validation didapatkan hasil akurasi tertinggi menggunakan random split yaitu 68,1% dengan data train 70% dan data test 30%.
3.6.2 Pengujian dengan K-Nearest Neighbor (KNN)
Pengujian KNN juga dilakukan sebanyak 3 kali menggunakan random split, stratified dan k-fold cross validation.
Pada pengujian KNN menggunakan nilai k = 7. Hasil pengujinya dapat dilihat pada tabel 11, tabel 12 dan tabel 13 berikut.
Tabel 11. Hasil Pengujian KNN Random Split
Training Testing Accuracy Precision Recall F1_score
60% 40% 0.606 0.629 0.606 0.608
70% 30% 0.607 0.618 0.607 0.609
80% 20% 0.630 0.636 0.630 0.632
90% 10% 0.620 0.625 0.620 0.622
Hasil pengujian menggunakan random split didapatkan akurasi paling tinggi 63% pada data train 80% data test 20%. Untuk meningkatkan hasil akurasi tersebut, diuji kembali menggunakan stratified untuk hasil akurasinya bisa dilihat pada tabel 11.
Tabel 12. Hasil Pengujian KNN Random Stratified
Training Testing Accuracy Precision Recall F1_score
60% 40% 0.626 0.628 0.626 0.627
70% 30% 0.625 0.630 0.625 0.626
80% 20% 0.569 0.573 0.569 0.570
90% 10% 0.546 0.547 0.546 0.547
Pada pengujian stratified didapatkan hasil tertinggi adalah 62.6% pada data train 60% dan data test 40%.
Selanjutnya diuji kembali dengan menggunakan k-fold cross validation untuk memaksimalkan hasil akurasi, k yang digunakan yaitu k = 2 hingga k = 10
Tabel 13. Hasil Pengujian KNN k-Fold Cross Validation k Rata-rata Accuracy
2 0.544
3 0.555
4 0.559
5 0.551
6 0.559
7 0.560
8 0.560
9 0.566
10 0.571
Pengujian menggunakan k-fold cross validation mendaaptkan hasil akurasi tertinggi yaitu di k = 10 dengan akurasi 57,1%. Dari pengujian random split, random stratified dan k-fold cross validation didapatkan hasil akurasi tertinggi menggunakan random split yaitu 63% dengan data train 80% dan data test 20%.
3.7 Pengujian Dataset setelah di SMOTE
Hasil pengujian dataset yang tidak menggunakan oversampling SMOTE paling tinggi di 68% random split menggunakan NBC pada data train 70% data test 30%. Setelah dilakukan SMOTE mendapatkan hasil akurasi yang lebih baik dari sebelumnya. Hasilnya dapat dilihat pada tabel 14 dan tabel 15 berikut:
Tabel 14. Hasil NBC setelah SMOTE
Training Testing Accuracy Precision Recall F1_score
60% 40% 0.730 0.739 0.730 0.727
70% 30% 0.722 0.729 0.722 0.720
80% 20% 0.740 0.746 0.740 0.739
90% 10% 0.678 0.716 0.678 0.672
Pada tabel 13 hasil akurasi tertinggi dari model NBC setelah oversampling menggunakan SMOTE adalah 74,6% pada data train 80% dan data test 20%.
Tabel 15. Hasil KNN setelah SMOTE
Training Testing Accuracy Precision Recall F1_score
60% 40% 0.500 0.250 0.500 0.333
70% 30% 0.501 0.751 0.501 0.338
80% 20% 0.502 0.752 0.502 0.345
90% 10% 0.466 0.754 0.466 0.306
Sedangkan pada tabel 14 hasil akurasi tertinggi dari model KNN setelah oversampling menggunakan SMOTE adalah 50,2% pada data train 80% dan data test 20%.
3.8 Visualisasi Wordcloud
Hasil dari sentimen positif dan negatif pada kebijakan baru Mendikbudristek tentang tidak diwajibkannya skripi bagi mahasiswa S1 dan D4 belum diketahui kata-kata yang termasuk dalam kelas sentimen positif dan sentimen negatif. Maka dari itu, wordcloud diperlukan untuk membantu dalam bertukar opini apakah masuk kategori sentimen positif atau negatif. Visualisasi dari wordcloud dapat dilihat pada gambar 2 berikut:
Sentimen Positif Sentimen Negatif
Gambar 2. Visualisasi Wordcloud
Frekuensi kata yang sering muncul pada sentimen positif dan sentimen negative dapat dilihat pada gambar 2. visualisasi wordcloud. Semakin besar dan tebal warnanya maka semakin sering frekuensi kata tersebut muncul.
Untuk kata sentimen positif yang paling sering muncul adalah skripsi, yang, tapi dan setuju. Sedangkan sentimen negatif kata yang paling sering muncul adalah skripsi, itu, yang dan dihapuskan.
3.9 Evaluasi
Pada tahapan ini hasil pengujian akurasi menggunakan metode NBC dan KNN divisualisasikan dalam bentuk confusion matrix ukuran 2 x 2. Hasil yang ditunjukkan merupakan hasil akurasi tertinggi setelah melakukan oversampling dari kedua metode yaitu NBC dengan akurasi 74.6% dan KNN dengan akurasi 50,2% pada data train 80% dan data test 20%. Visualisasinya dapat dilihat pada gambar berikut :
Gambar 3. Visualisasi Confusion Matrix NBC
Pada visualisasi matrix angka 22 menunjukkan True Positive (TP), 80 True Negative (TN), 94 False Positive (FP) dan 39 False Negative (FN). Hasil confusion matrix direpresentasikan dalam nilai accuracy, precision, recall dan f1-score pada gambar 4 berikut :
Gambar 4. Confusion Matrix pada nilai Accuracy, Precision, Recall dan f1-score pada NBC
Hasil klasifikasi dari metode NBC dengan oversampling menggunakan SMOTE menghasilkan akurasi tertinggi 74% dari semua pengujian menggunakan data train 60% - 90% dan data test 10% - 40%. Sentimen negatif menghasilkan precision 0.78, recall 0.67, dan f1-score 0.72. Kemudian untuk kategori sentimen positif menghasilkan precision 0.71, recall 0.81 dan f1-score 0.76.
Gambar 5. Visualisasi Confusion Matrix KNN
Pada visualisasi matrix angka 0 menunjukkan True Positive (TP), 2 True Negative (TN), 116 False Positive (FP) dan 117 False Negative (FN). Hasil confusion matrix direpresentasikan dalam nilai accuracy, precision, recall dan f1-score pada gambar 6 berikut:
Gambar 6. Confusion Matrix pada nilai Accuracy, Precision, Recall dan f1-score pada KNN
Hasil klasifikasi dari metode KNN dengan oversampling menggunakan SMOTE menghasilkan akurasi tertinggi 50% dari semua pengujian menggunakan data train 60% - 90% dan data test 10% - 40%. Sentimen negatif menghasilkan precision 1.00, recall 0.02, dan f1-score 0.03. Kemudian untuk kategori sentimen positif menghasilkan precision 0.50, recall 1.00 dan f1-score 0.66.
4. KESIMPULAN
Berdasarkan pengujian yang telah dilakukan pada kedua metode tersebut dengan jumlah dataset 1076 data clean sebelum dilakukan oversampling SMOTE menghasilkan akurasi tertinggi dengan menggunakan random split.
NBC menghasilkan akurasi 68.1%, precision 67.9%, recall 68.1% dan f1-score 66.9%. Kemudian pada KNN menghasilkan akurasi 63%, precision 63.6%, recall 63% dan f1-score 63.2%. Setelah dilakukan oversampling terdapat perubahan pada akurasi dari kedua metode. NBC menghasilkan akurasi tertinggi 74%, precision 74.6%, recall 74% dan f1-score 73.9%. Pada KNN menghasilkan akurasi 50.2%, precision 75.2, recall 50.2 dan f1-score 34.5. Melihat hasil pengujian tersebut, dapat disimpulkan bahwa metode NBC memberikan hasil lebih baik daripada KNN. Harapan untuk penelitian selanjutnya bisa mengembangkannya menggunakan algoritma yang
berbeda supaya hasilnya lebih akurat dan maksimal dalam menganalisis sentimen seselain dari youtube.
Diharapkan ketika scrapping data mencoba menggunakan media sosial lain seperti Facebook Instrgram dan Tiktok.
REFERENCES
[1] H. D. Astuti, P. Meilina, N. Amri, and M. Hasbi, “Aplikasi Pengelompokkan Abstrak Skripsi Teknik Informatika,” Pros.
Semnastek, no. November 2022, pp. 1–10, 2022, [Online]. Available:
https://jurnal.umj.ac.id/index.php/semnastek/article/view/14701.
[2] R. N. Sari, “Permendikbudristek No. 53 Tahun 2023 Tentang Penjaminan Mutu Pendidikan Tinggi,” kemendikbud.go.id, 2023. https://lldikti13.kemdikbud.go.id/2023/08/29/peraturan-terbaru-mengenai-penjaminan-mutu-pendidikan-tinggi/
(accessed Nov. 02, 2023).
[3] R. L. Pratama, “Nadiem Umumkan Aturan Baru, Mahasiswa S1 Kini Tidak Wajib Buat Skripsi,” kompas.tv, 2023.
https://www.kompas.tv/pendidikan/438914/nadiem-umumkan-aturan-baru-mahasiswa-s1-kini-tidak-wajib-buat- skripsi?page=all (accessed Oct. 30, 2022).
[4] B. M. Akbar, A. T. Akbar, and R. Husaini, “Analysis of Sentiments and Emotions about Sinovac Vaccine Using Naive Bayes,” Telematika, vol. 19, no. 2, p. 185, 2022, doi: 10.31315/telematika.v19i2.7601.
[5] J. Ortiz-Bejar, E. S. Tellez, M. Graff, D. Moctezuma, and S. Miranda-Jimenez, “Improving k Nearest Neighbors and Naïve Bayes Classifiers through Space Transformations and Model Selection,” IEEE Access, vol. 8, pp. 221669–221688, 2020, doi: 10.1109/ACCESS.2020.3042453.
[6] D. A. M. Reza, A. M. Siregar, and Rahmat, “Penerapan Algoritma K-Nearest Neighbord Untuk Prediksi Kematian Akibat Penyakit Gagal Jantung,” Sci. Student J. Information, Technol. Sci. , vol. III, no. 1, pp. 105–112, 2022.
[7] H. Setiawan and I. Zufria, “Analisis Sentimen Pembatalan Indonesia Sebagai Tuan Rumah Piala Dunia FIFA U-20 Menggunakan Naïve Bayes,” vol. 7, no. 3, pp. 1003–1012, 2023, doi: 10.30865/mib.v7i3.6144.
[8] A. M. Ndapamuri, D. Manongga, and A. Iriani, “Analisis Sentimen Ulasan Aplikasi Tripadvisor Dengan Metode Support Vector Machine, K-Nearest Neighbor, Dan Naive Bayes,” INOVTEK Polbeng - Seri Inform., vol. 8, no. 1, p. 127, 2023, doi: 10.35314/isi.v8i1.3260.
[9] D. Sandi, E. Utami, and K. Kusnawi, “Analisis Sentimen Publik Terhadap Elektabilitas Ganjar Pranowo di Tahun Politik 2024 di Twitter dengan Algoritma KNN dan Naïve Bayes,” J. Media …, vol. 7, pp. 1097–1108, 2023, doi:
10.30865/mib.v7i3.6298.
[10] S. Khomsah, “Jurnal Penelitian Pos dan Informatika Naive Bayes Classifier Optimization on Sentiment Analysis of Hotel Reviews Optimasi Naive Bayes Classifier Pada Sentiment Analysis Komentar Pelanggan Hotel,” vol. 10, no. 2, pp. 157–
168, 2020, doi: 10.17933/jppi.2020.100206.
[11] W. Xing and Y. Bei, “Medical Health Big Data Classification Based on KNN Classification Algorithm,” IEEE Access, vol. 8, pp. 28808–28819, 2020, doi: 10.1109/ACCESS.2019.2955754.
[12] D. Hernikawati, “Kecenderungan Tanggapan Masyarakat Terhadap Vaksin Sinovac Berdasarkan Lexicon Based Sentiment Analysis,” J. Ilmu Pengetah. dan Teknol. Komun., vol. 23, no. 1, pp. 21–31, 2021, [Online]. Available:
http://dx.doi.org/10.33169/iptekkom.23.1.2021.21-31.
[13] R. N. Ikhsani and F. F. Abdulloh, “Optimasi SVM dan Decision Tree Menggunakan SMOTE Untuk Mengklasifikasi Sentimen Masyarakat Mengenai Pinjaman Online,” vol. 7, pp. 1667–1677, 2023, doi: 10.30865/mib.v7i4.6809.
[14] S. Sumayah, F. Sembiring, and W. Jatmiko, “Analysis of Sentiment of Indonesian Community on Metaverse Using Support Vector Machine Algorithm,” J. Tek. Inform., vol. 4, no. 1, pp. 143–150, 2023, doi:
10.52436/1.jutif.2023.4.1.417.
[15] R. Puspitasari, Y. Findawati, M. A. Rosid, P. S. Informatika, and U. M. Sidoarjo, “Sentiment Analysis of Post-Covid-19 Inflation Based on Twitter Using the K-Nearest Neighbor and Support Vector Machine Analisis Sentimen Terhadap Inflasi Pasca Covid-19 Berdasarkan Twitter Dengan Metode Klasifikasi K-Nearest Neighbor Dan,” vol. 4, no. 4, pp. 1–
11, 2023.
[16] J. Muliawan, E. Dazki, and R. D. Kurniawan, “SENTIMENT ANALYSIS OF INDONESIA ’ S CAPITAL CITY RELOCATION USING THREE ALGORITHMS : NAÏVE BAYES , KNN , AND RANDOM FOREST ANALISIS SENTIMEN PEMINDAHAN IBU KOTA NEGARA INDONESIA MENGGUNAKAN TIGA ALGORITMA : NAÏVE BAYES , KNN , DAN RANDOM,” vol. 4, no. 5, pp. 1227–1236, 2023.
[17] S. Supangat, M. Z. Bin Saringat, and M. Y. F. Rochman, “Predicting Handling Covid-19 Opinion using Naive Bayes and TF-IDF for Polarity Detection,” MATRIK J. Manajemen, Tek. Inform. dan Rekayasa Komput., vol. 22, no. 2, pp. 173–
184, 2023, doi: 10.30812/matrik.v22i2.2227.
[18] I. Alarab and S. Prakoonwit, “Effect of data resampling on feature importance in imbalanced blockchain data:
Comparison studies of resampling techniques,” Data Sci. Manag., vol. 5, no. 2, pp. 66–76, 2022, doi:
10.1016/j.dsm.2022.04.003.
[19] S. Ruan, H. Li, C. Li, and K. Song, “Class-specific deep feature weighting for naïve bayes text classifiers,” IEEE Access, vol. 8, pp. 20151–20159, 2020, doi: 10.1109/ACCESS.2020.2968984.
[20] M. Asfi and N. Fitrianingsih, “Implementasi Algoritma Naive Bayes Classifier sebagai Sistem Rekomendasi Pembimbing Skripsi,” J. Nas. Inform. dan Teknol. Jar., vol. 5, pp. 45–50, 2020, [Online]. Available:
https://jurnal.uisu.ac.id/index.php/infotekjar/article/view/2536.
[21] S. Zhang and J. Li, “KNN Classification With One-Step Computation,” IEEE Trans. Knowl. Data Eng., vol. 35, no. 3, pp. 2711–2723, 2023, doi: 10.1109/TKDE.2021.3119140.
[22] H. Younes, A. Ibrahim, M. Rizk, and M. Valle, “An Efficient Selection-Based kNN Architecture for Smart Embedded Hardware Accelerators,” IEEE Open J. Circuits Syst., vol. 2, no. April, pp. 534–545, 2021, doi:
10.1109/ojcas.2021.3108835.
