Optimasi Naive Bayes dan Cosine Similarity Menggunakan Particle Swarm Optimization Pada Klasifikasi Hoax Berbahasa Indonesia

(1)

Optimasi Naive Bayes dan Cosine Similarity Menggunakan Particle Swarm Optimization Pada Klasifikasi Hoax Berbahasa Indonesia

Arfan Yoga Aji Nugraha, Ferian Fauzi Abdulloh^*

Fakultas Ilmu Komputer, S1 Informatika, Universitas AMIKOM Yogyakarta, Yogyakarta, Indonesia Email: ¹[email protected], ^2,*[email protected]

Email Penulis Korespondensi : [email protected]

Abstrak−Maraknya peredaran berita hoax di era teknologi informasi kian meresahkan, oleh karena itu di era ini sangat diperlukan algoritma untuk melakukan klasifikasi berita hoax, dalam penelitian ini peneliti berfokus pada optimalisasi akurasi klasifikasi berita hoax dalam dokumen text. Algoritma yang akan digunakan adalah Naive Bayes dan cosine similarity yang sebelumnya telah dilakukan pemilihan feature menggunakan algoritma particle swarm optimization. Dalam penelitian ini didapat kesimpulan bahwa setelah dilakukan feature selection dengan menggunakan PSO pada algoritma naive bayes akurasi yang didapatkan mengalami peningkatan dari 0.91 menjadi 0.93 sedangkan pada algoritma cosine similarity akurasinya meningkat dari 0.62 menjadi 0.73 setelah dilakukan pemilihan feature dengan menggunakan PSO

Kata Kunci: Hoax; Klasifikasi Text; Naive Bayes; Cosine Similarity; PSO

Abstract−The widespread circulation of hoax news in the information technology era is increasingly troubling, therefore in this era an algorithm to classify hoax news is necessary, in this study researchers focused on optimizing the accuracy of hoax news classification in text documents. The algorithm that will be used is Naive Bayes and cosine Similarity which previously has been applied with particle swarm optimization algorithm. In this study, it was concluded that after feature selection using PSO in the Naive Bayes algorithm the accuracy obtained increased from 0.91 to 0.93 while in the cosine similarity algorithm the accuracy increased from 0.62 to 0.73 after feature selection using PSO

keywords: Hoax; Text classification; Naive Bayes; Cosine Similarity; PSO

1. PENDAHULUAN

Di era yang serba digital dan terkoneksi ini masyarakat semakin dimudahkan untuk mendapatkan informasi.

Ditemukanya smartphone adalah titik balik yang kian mempermudah pertukaran informasi dapat terjadi dimana saja dan kapan saja, hal ini kian memudahkan masyarakat dalam mencari informasi.

Sayangnya berita dan informasi di media sosial tidak terjamin ke faktual an nya. Selain itu meskipun sebuah informasi dinyatakan faktual, seorang individu dapat menganggapnya sebagai informasi palsu bilamana informasi tersebut tidak mendukung pandangan yang ia percayai. Dengan demikian dibutuhkan alat pendeteksi yang dapat mengklasifikasikan apakah suatu informasi atau berita merupakan berita hoax atau fakta tanpa tendensi bias apapun. Hoax adalah informasi yang tidak benar serta memiliki tendensi untuk menyesatkan persepsi dari seseorang[1].

Banyak Algoritma yang telah ditemukan untuk melakukan klasifikasi berita hoax berdasarkan isi konten dari suatu berita, beberapa diantaranya adalah naive bayes, dalam beberapa penelitian sebelumnya naive bayes adalah algoritma yang sering digunakan dan memiliki akurasi yang tinggi [3], namun masih sangat memungkinkan untuk di optimalisasikan. Disamping naive bayes, cosine similarity adalah salah satu algoritma yang bisa digunakan untuk mengklasifikasi dokumen text dengan kedua algoritma ini kita dapat mengklasifikasikan sebuah dokumen text ke dalam sebuah kelas berdasarkan feature yang tergantung di dalamnya, akan tetapi tidak semua feature yang ada dalam sebuah dokumen dapat menjadi syarat untuk mendapatkan model machine learning yang baik. Sehingga pemilihan serta pemisahan feature mana yang tidak diperlukan dan yang bernilai menjadi suatu hal yang sangat penting [2], dengan feature selection menggunakan algoritma PSO yang dilakukan pada penelitian sebelumnya terbukti dapat meningkatkan akurasi dari algoritma klasifikasi yang ada[3][7][17][18]. Oleh karena hal tersebut diatas, menggabungkan PSO sebagai fitur selektor, dengan algoritma klasifikasi naïve bayes dan cosine similarity diharapkan mampu meningkatkan akurasi.

Penelitian ini bertujuan untuk membuktikan apakah dengan pemilihan fitur menggunakan algoritma particle swarm optimization dapat meningkatkan akurasi dari algoritma klasifikasi naive bayes dan cosine similarity, dan mencari tahu pengaruh dari penggunaan jumlah perulangan dan jumlah partikel yang digunakan selama proses feature selection, dengan harapan semoga dengan adanya penelitian ini dapat melengkapi penelitian yang telah ada.

2. METODOLOGI PENELITIAN

2.1 Tahapan Penelitian

Penelitian ini terdiri atas beberapa tahap, dimulai dari pengumpulan dataset, preprocessing hingga tahap klasifikasi, untuk detail tahapan penelitian, disajikan dapat dilihat pada gambar 1.

(2)

Gambar 1. Tahapan Penelitian

dataset yang digunakan dalam penelitian ini adalah 300 buah text yang terdiri dari 150 narasi hoax yang didapatkan dari proses parsing pada website http://turnbackhoax.id dan 150 berita fakta yang didapat dari proses parsing website http://detik.com. Potongan corpus kami tampilkan pada gambar 2. atau untuk lebih jelasnya kami memvisualisasikan pada gambar 3.

Gambar 2. Dataset

Gambar 3. Komposisi Corpus

(3)

Dalam tahap ini data text yang belum terstruktur akan diproses hingga siap diolah. Dalam pemrosesannya kita akan melakukan beberapa hal, yaitu :

2.1.1.1 Case Folding

Dalam sebuah dokumen tentu akan terdapat penggunaan huruf besar dan kecil, dengan case folding semua kata dalam sebuah text document akan diubah menjadi lowercase, contohnya :

Kata Berita, berita dan beriTa akan dianggap sebagai berita.

Hal ini dilakukan karena apabila tidak dilakukan casefolding maka kata kata diatas akan dianggap sebagai feature yang berbeda, padahal nyatanya kata tersebut memiliki makna yang sama sehingga harusnya memiliki bobot yang sama setelah proses pembobotan.

2.1.1.2 Stopword removal

Dalam bagian ini kita akan memecah kata kata yang ada dalam dokumen menjadi sebuah list lalu menghilangkan kata kata yang ada dalam stopword, biasanya stopword berisi kata yang dianggap tidak bernilai contohnya adalah kata ganti manusia dan lain lain. Setelah tahap ini selesai kita akan mendapatkan feature dari setiap dokumen.

2.1.1.3 Stemming

setelah mendapatkan feature dari tiap dokumen, sebelum dilakukan pembobotan, feature feature tersebut perlu di stemming terlebih dahulu. stemming adalah proses merubah suatu kata turunan kembali menjadi kata dasarnya [4]. contohnya kata Memukul akan diubah menjadi pukul setelah dilakukan Stemming. dalam penelitian ini proses stemming akan dibantu dengan library sastrawi.

2.1.2 Pembobotan

Dalam tahap ini dokumen akan direpresentasikan ke dalam bentuk array/vektor. Vektor tersebut dihitung berdasarkan elemen pembentuk dari suatu dokumen, dalam hal ini kata. Dalam penelitian ini kita akan menggunakan pembobotan TF-IDF. TF-IDF adalah pembobotan yang umum digunakan dan terkenal sebagai algoritma pembobotan yang memiliki hasil yang akurat dan mudah diimplementasikan [11].

Pembobotan TF-IDF adalah pembobotan yang dihitung dengan mengalikan hasil TF yang merupakan jumlah kata dalam suatu document dengan IDF(inverse document frequency) yang merupakan jumlah kemunculan kata pada semua document, secara umum rumus tf-idf dinyatakan dengan

𝑊_𝑑𝑡 = 𝑇𝐹_𝑑𝑡∗ 𝐼𝐷𝐹_𝑡 (1)

2.1.3 Pemilihan Feature

Particle swarm optimisation atau PSO merupakan algoritma optimisasi yang sering digunakan mudah diimplementasikan, sangat simpel dan umum digunakan[5]. algoritma ini terinspirasi dari perilaku kawanan burung saat mencari makanan[5][12].

dalam algoritma pso terdapat 3 variabel yang penting, yaitu partikel, pbest dan gbest. partikel adalah representasi dari individu yang akan mencari solusi terbaik lalu pbest merupakan posisi terbaik yang pernah dicapai suatu partikel, sedangkan gBest yaitu posisi terbaik dari keseluruhan partikel dalam swarm.

Particle akan bergerak ke arah Pbest atau Gbest nya, hingga akhirnya menemukan posisi Gbest terbaik, untuk lebih jelasnya hal ini diilustrasikan pada gambar 4.

Parameter pBest dan gBest berfungsi untuk menghitung kecepatan partikel lalu kecepatan digunakan untuk menghitung posisi partikel untuk iterasi berikutnya [5].

Gambar 4. Ilustrasi PSO

Selanjutnya rumus yang digunakan pada algoritma PSO disajikan dalam Persamaan berikut Rumus update kecepatan (velocity):

𝑉₁¹= 𝑊𝑉₁¹+ 𝐶₁𝑟𝑎𝑛𝑑₁× (𝑃𝑏𝑒𝑠𝑡₁− 𝑋₁¹) + 𝐶₂𝑟𝑎𝑛𝑑₂× (𝐺𝑏𝑒𝑠𝑡₁− 𝑋₁¹) (2)

(4)

selanjutnya posisi tiap artikel akan di update, untuk meng update lokasi tiap partikel dapat dihitung dengan formula

𝑋_𝑗^𝑘+1= 𝑋_𝑗^𝑘+ 𝑉_𝑗^𝑘+1 (3)

2.4 Klasifikasi

Klasifikasi adalah proses menghasilkan model untuk memprediksi kelas atau kategori[15]. beberapa diantara algoritma klasifikasi adalah naive bayes yang sudah sering digunakan dan juga cosine similarity.

2.4.1 Cosine Similarity

Cosine similarity adalah algoritma yang dapat menghitung tingkat kemiripan antara dua buah vektor menggunakan sudut cos di antara kedua vektor tersebut[7][11]. dalam menghitung kemiripan suatu dokumen vektor akan berisi nilai yang didapat dari proses pembobotan, apabila nilai nya mendekati 1 maka dokumen dinyatakan mirip dan apabila hasilnya 0 maka dokumen tidak mirip [14][16] dalam penelitian ini pembobotan dilakukan dengan algoritma TF-IDF. Cosine similarity untuk membandingkan kemiripan antara dokumen A dan B dinyatakan dalam formula :

𝑆𝑖𝑚𝑖𝑙𝑎𝑟𝑖𝑡𝑦 = 𝑐𝑜𝑠 𝑐𝑜𝑠(𝜃⁾ = ^𝐴×𝐵

||𝐴|| ||𝐵||= ^∑^𝑛^𝑖=1 ^𝐴^𝑖^𝐵^𝑖

√∑^𝑛_𝑖=1 𝐴_𝑖²√∑^𝑛_𝑖=1 𝐵_𝑖²

(4)

2.4.2 Naive Bayes

Naive bayes adalah algoritma yang sering digunakan dan memiliki akurasi yang tinggi [3][10]. algoritma naive bayes yang digunakan dalam penelitian ini adalah algoritma multinomial naive bayes yang sering digunakan untuk analisis text[9]. Berikut ini adalah formula dari algoritma naïve bayes

𝑃(𝑐|𝑥) = ^{𝑃(𝑥|𝑐)𝑃(𝑐)}

𝑃(𝑥) (5)

2.5 Evaluasi

Evaluasi perlu dilakukan untuk mengetahui tingkat keberhasilan dari suatu model. Dalam penelitian ini tingkat keberhasilan ditinjau dari akurasi suatu model yang dihitung dengan k-fold cross validation yaitu dengan membagi dataset ke dalam 10 bagian lalu menggunakan 1 bagian sebagai data uji dan 9 bagian sebagai data latih, begitu seterusnya secara bergantian sehingga setiap bagian pernah menjadi data latih. Lalu akurasi akhir adalah rata rata dari akurasi di tiap pengujian. pengujian dengan 10 cross fold validation dimaksudkan untuk mendapatkan akurasi yang valid atau reliabel [6]. rumus akurasi dinyatakan sebagai berikut :

𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = ^{𝑇𝑃 + 𝑇𝑁}

𝑇𝑃 + 𝐹𝑁 +𝐹𝑃 +𝑇𝑁 (6)

3. HASIL DAN PEMBAHASAN

Tahapan penelitian terdiri atas beberapa proses, dalam tahapan preprocessing, pengolahan kata dibantu dengan library Python3. Serangkaian proses preprocessing yang dilakukan dijelaskan pada Gambar 1. setelah menyelesaikan proses preprocessing didapatkan feature dengan jumlah 65061, dijelaskan pada gambar 5

Gambar 5. Total Feature

Selanjutnya dilakukan pembobotan atas feature yang sudah didapatkan, proses pembobotan pada penelitian ini menggunakan algoritma TF-IDF yang dibantu dengan modul sklearn pada bahasa pemrograman Python3.

Kemudian pada implementasi Algoritma naive bayes dan cosine similarity dilakukan dengan bantuan library Sklearn yang dijalankan dengan tools jupyter notebook. dimana pada algoritma cosine similarity kita akan mencari 3 dokumen yang memiliki tingkat kemiripan tertinggi dari dokumen pada data latih lalu mengambil nilai modus

(5)

Arfan Yoga Aji Nugraha, Copyright © 2022, MIB, Page 1448 dari ketiga dokumen tersebut. lalu dilakukan perhitungan akurasi dengan formula. Untuk mendapatkan hasil akurasi yang reliable proses penghitungan akurasi dilakukan dengan metode 10 fold cross validation dimana corpus akan dibagi menjadi 10 bagian lalu tiap bagianya digunakan sebagai data uji dan data latih secara bergantian. hasil dari pengujian akurasi 10 fold cross validation disajikan pada tabel 1

Tabel 1. Akurasi MNB dan Cosine Similarity Algoritma Akurasi

Naive Bayes 91%

Cosine Similarity 62%

Hasil akhir dari pengujian dengan skenario ini mendapatkan Akurasi model naive bayes menghasilkan akurasi sebesar 91% sedangkan untuk algoritma cosine similarity akurasinya mencapai 62%. Setelah didapatkan akurasi dari percobaan algoritma naive bayes dan cosine selanjutnya dilakukan percobaan dengan menambahkan algoritma feature selection particle swarm optimization pada kedua algoritma. Untuk pengaplikasian particle swarm optimization Digunakan program yang ditulis oleh peneliti menggunakan bahasa pemrograman python, dengan PSO akan terdapat beberapa iterasi. setiap iterasi akan dilakukan perhitungan akurasi dari algoritma yang digunakan pada setiap particle, dalam penelitian ini cosine similarity dan naive bayes dimana pada setiap iterasinya akan dihasilkan akurasi dari tiap particle lalu akurasi tersebut akan menjadi Pbest dari tiap particle dan akurasi terbaik pada iterasi saat ini akan menjadi GBest nya.tiap iterasi akan menghasilkan model dengan akurasi yang sama atau lebih baik dari iterasi sebelumnya, dalam algoritma particle swarm optimization ini juga digunakan 10 fold cross validation untuk mendapatkan akurasi yang reliable. Selanjutya akan dilakukan pengaplikasian Algoritma feature selection dalam penelitian ini kita menggunakan algoritma particle swarm optimization dengan menggunakan parameter C1 sebesar 1, C2 sebesar 2 dan weight sebesar 0.7 jumlah particle 30 dan iterasi sebanyak 100 kali dalam proses PSO akan didapatkan daftar feature yang digunakan dan tidak digunakan untuk mengaplikasikanya dalam pembuatan model kita akan mengurangi feature yang ada pada data tes dan data train.

PSO akan menghasilkan vector yang berisi angka 0 dan 1 , dimana 1 mewakili feature yang akan digunakan dan angka 0 akan mewakili feature yang dibuang. Selanjutnya index feature yang memiliki nilai 0 pada vector Particle Swarm Optimization akan dibuang. Berikut ini adalah gambar yang menyajikan daftar feature dan keterangan apakah feature tersebut akan dipakai. Dalam percobaan ini kami menggunakan algoritma naïve bayes pada gambar 6 kami tampilkan hasil feature dan keterangan apakah feature dipilih atau tidak.

Gambar 6. Feature dan status penilihan feature

Dalam percobaan diatas setelah dilakukan penghitungan Panjang data yang memiliki status 1 dihasilkan jumlah 4636 atau dapat dilihat pada gambar 7, atau dapat disimpulkan dalam percobaan ini terdapat 4636 feature yang digunakan lalu setelah dilakukan perhitungan akurasi dengan 10 cross fold validation, model yang kita buat ini mendapat akurasi sebesar 92.3%

Gambar 7. Jumlah feature setelah PSO

Untuk melengkapi percobaan penggunaan PSO dilakukan penggantian parameter jumlah iterasi untuk algoritma naïve bayes dan cosine similarity, iterasi yang digunakan ialah 5, 15, 45 dan 100 kali iterasi, untuk hasil percobaan berbagai macam iterasi pada algoritma naive bayes dapat dilihat pada tabel 2.

(6)

Tabel 2. Akurasi MNB dengan berbagai iterasi Jumlah Iterasi Akurasi

5 92%

15 92.3%

45 92%

100 92.3%

Sedangkan untuk percobaan berbagai macam iterasi pada algoritma cosine similarity hasilnya dapat dilihat pada tabel 3.

Tabel 3. Cosine Similarity dengan berbagai iterasi Jumlah Iterasi Akurasi

5 70%

15 72%

45 72%

100 73%

Dari kedua tabel diatas dapat dilihat bahwa setelah proses perhitungan akurasi dengan modul sklearn.metrics dengan mengimport accuracy score yang disediakan oleh module scikit.learn bahwa akurasi percobaan algoritma particle swarm optimization dengan berbagai macam iterasi menunjukkan hasil yang beragam, untuk algoritma Cosine Similarity hasil terbaik ada pada 15 dan 45 iterasi dengan 70% akurasi lalu pada algoritma naive bayes akurasi terbaik ada pada 15 dan 100 iterasi yakni dengan tingkat akurasi mencapai 92.3%.

Dalam proses pengujian kami mencoba untuk melihat bagaimana nilai Gbest pada setiap iterasinya, hasilnya terlihat bahwa pada setiap iterasi nilai Gbest akan memiliki nilai yang sama atau lebih besar daripada sebelumnya, untuk hasil pengujian ini kami tampilkan akurasi pada saat pengujian menggunakan 15 iterasi particle swarm optimization pada kedua algoritma pada gambar 8 dan gambar 9

Gambar 8. Gbest pada tiap iterasi PSO-Cosine Similarity

Gambar 9. Gbest pada tiap iterasi PSO-MNB

Berikutnya kami mencoba untuk mengganti parameter partikel dengan beberapa partikel yang berbeda yaitu, 5 partkel, 15 partikel, 45 partikel dan 100 partikel , lalu untuk jumlah iterasi dari tiap pengujiannya kami menggunakan 30 kali iterasi, untuk hasil dari pengujian pada algoritma naive bayes dapat dilihat pada tabel 4.

Tabel 4. Akurasi MNB dengan berbagai jumlah particle Jumlah partikel Akurasi

5 91.6%

15 92%

45 92%

(7)

100 93%

Sedangkan untuk algoritma cosine similarity, hasil percobaan berbagai macam jumlah partikel dapat dilihat pada tabel 5.

Tabel 5. Cosine Similarity dengan berbagai jumlah particle Jumlah particle Akurasi

5 68%

15 68%

45 69%

100 70%

Terlihat pada tabel 4 bahwa terjadi peningkatan saat nilai particle diubah, akurasi meningkat dari 92.6%

saat menggunakan 5 partikel lalu meningkat hingga 92% saat menggunakan 15 dan 45 partikel hingga pada 100 partikel nilai akurasi mencapai 93%. Namun tabel 5 terlihat bahwa semakin banyak partikel yang digunakan pada algoritma particle swarm optimization meningkatkan akurasi dari sebuah model dimana saat menggunakan 5 particle terlihat bahwa akurasi hanya mencapai 68% lalu akurasi naik ke angka 69% saat menggunakan 45 dan menjadi 70% saat menggunakan 100 particle. Berikut ini akurasi perbandingan sebelum dan sesudah penggunaan algoritma feature selection particle swarm optimization kami tampilkan pada tabel 6

Tabel 6. Cosine Similarity dengan berbagai jumlah particle Algoritma Akurasi

Naïve Bayes 91%

Cosine Similarity 62%

PSO-Naïve Bayes 93%

PSO-Cosine Simillarity 73%

4. KESIMPULAN

Setelah dilakukan pengujian dapat disimpulkan bahwa algoritma particle swarm optimization dapat digunakan untuk mengoptimalkan algoritma klasifikasi,setelah diaplikasikan ke algoritma naive bayes akurasinya meningkat sebanyak 1% dari 91% ke 92.3%, sedangkan pada saat diaplikasikan ke algoritma cosine similarity akurasinya meningkat cukup drastis, yakni dari 62% menjadi 70%. dalam penelitian ini juga menghasilkan fakta bahwasanya algoritma naive bayes selalu memiliki hasil yang lebih baik daripada algoritma cosine similarity. selain itu dalam penelitian ini juga dapat diketahui bahwa apabila jumlah partikel yang digunakan semakin besar maka kesempatan untuk mendapatkan gbest terbaik juga semakin tinggi. sedangkan untuk jumlah iterasi memang dapat meningkatkan akurasi dari suatu model namun semakin tinggi jumlah iterasi tidak menjamin bahwasanya akurasinya akan lebih tinggi dari akurasi dari particle swarm optimization dengan jumlah iterasi yang lebih rendah.

REFERENCES

[1] H. Agus Santoso, E. Hari Rachmawanto, A. Nugraha, A. Aji Nugroho, D. Rosal Ignatius Moses Setiadi, and R. Suko Basuki, “Hoax classification and sentiment analysis of Indonesian news using Naive Bayes optimization,” Telkomnika (Telecommunication Computing Electronics and Control), vol. 18, no. 2, pp. 799–806, Apr. 2020, doi:

10.12928/TELKOMNIKA.V18I2.14744.

[2] A. Pandhu Wijaya and H. Agus Santoso, “Improving The Accuracy of Naïve Bayes Algorithm for Hoax Classification Using Particle Swarm Optimization,” isemantic, 2018.

[3] T. Sinta Peringkat, S. Dirjen Penguatan RisBang Kemenristekdikti, and R. Wati, “PENERAPAN ALGORITMA NAIVE BAYES DAN PARTICLE SWARM OPTIMIZATION UNTUK KLASIFIKASI BERITA HOAX PADA MEDIA SOSIAL,” Jurnal Ilmu Pengetahuan dan teknologi Komputer, vol. 5, 2020.

[4] D. Wahyudi, T. Susyanto, D. Nugroho, P. Studi Teknik Informatika, S. Sinar Nusantara Surakarta, and P. Studi Sistem Informasi, “IMPLEMENTASI DAN ANALISIS ALGORITMA STEMMING NAZIEF & ADRIANI DAN PORTER PADA DOKUMEN BERBAHASA INDONESIA,” jurnal ilmiah sinus, vol. 15, 2017.

[5] S. Khomsah, “Naive Bayes Classifier Optimization on Sentiment Analysis of Hotel Reviews,” Jurnal Penelitian Pos dan Informatika, vol. 10, no. 2, p. 157, Dec. 2020, doi: 10.17933/jppi.2020.100206.

[6] F. Tempola, M. Muhammad, and A. Khairan, “PERBANDINGAN KLASIFIKASI ANTARA KNN DAN NAIVE BAYES PADA PENENTUAN STATUS GUNUNG BERAPI DENGAN K-FOLD CROSS VALIDATION COMPARISON OF CLASSIFICATION BETWEEN KNN AND NAIVE BAYES AT THE DETERMINATION OF THE VOLCANIC STATUS WITH K-FOLD CROSS VALIDATION,” jurnal teknologi informasi dan komputer, vol. 5, no. 5, pp. 577–584, 2018, doi: 10.25126/jtiik20185983.

[7] M. Habibi, U. Jenderal, A. Yani, U. Islam, and N. Sunan Kalijaga, “Implementation of Cosine Similarity in an automatic classifier for comments Program Studi Teknik Informatika (1) (2),” JISKa, vol. 3, no. 2, pp. 110–118, 2018.

[8] A. Prasetya Wibawa et al., “Naïve Bayes Classifier for Journal Quartile Classification,” International Journal of Recent Contributions from Engineering, Science & IT (iJES), vol. 7, no. 2, p. 91, Jun. 2019, doi: 10.3991/ijes.v7i2.10659.

(8)

[9] A. Hanifa Setianingrum, D. Herwinda Kalokasari, and I. Marzuki Shofi, “IMPLEMENTASI ALGORITMA MULTINOMIAL NAIVE BAYES CLASSIFIER,” JURNAL TEKNIK INFORMATIKA, vol. 10, no. 2, pp. 109–118, Jan.

2018, doi: 10.15408/jti.v10i2.6822.

[10] H. Febtadianrano Putro, R. Tri Vulandari, and W. Laksito Yuly Saptomo, “Penerapan Metode Naive Bayes Untuk Klasifikasi Pelanggan,” Jurnal Teknologi Informasi dan Komunikasi (TIKomSiN), vol. 8, no. 2, Oct. 2020, doi:

10.30646/tikomsin.v8i2.500.

[11] V. Amrizal, “PENERAPAN METODE TERM FREQUENCY INVERSE DOCUMENT FREQUENCY (TF-IDF) DAN COSINE SIMILARITY PADA SISTEM TEMU KEMBALI INFORMASI UNTUK MENGETAHUI SYARAH HADITS BERBASIS WEB (STUDI KASUS: HADITS SHAHIH BUKHARI-MUSLIM),” JURNAL TEKNIK INFORMATIKA, vol. 11, no. 2, pp. 149–164, Nov. 2018, doi: 10.15408/jti.v11i2.8623.

[12] A. Mustika Rizki and A. Lina Nurlaili, “Algoritme Particle Swarm Optimization (PSO) untuk Optimasi Perencanaan Produksi Agregat Multi-Site pada Industri Tekstil Rumahan,” Journal of Computer, Electronic, and Telecommunication, vol. 1, no. 2, Jan. 2021, doi: 10.52435/complete.v1i2.73.

[13] T. Prahasto and F. Politeknik Negeri Bengkalis, “Fakultas Sains Matematika,” Jurnal Sistem Informasi Bisnis, vol. 01, no. 10, 2014.

[14] H. Susana and N. Suarna, “PENERAPAN MODEL KLASIFIKASI METODE NAIVE BAYES TERHADAP PENGGUNAAN AKSES INTERNET Program Studi Teknik Informatika STMIK IKMI Cirebon Jl Perjuangan No 10B Kesambi Kota Cirebon 3) Program Studi Rekayasa Perangkat Lunak STMIK IKMI Cirebon Jl Perjuangan No 10B Kesambi Kota Cirebon 4) Program Studi Komputerisasi Akuntansi STMIK IKMI Cirebon Jl Perjuangan No 10B Kesambi Kota Cirebon,” Jurnal Sistem Informasi dan Teknologi Informasi), vol. 4, no. 1, pp. 1–8, 2022.

[15] G. K. Patel, V. K. Dabhi, and H. B. Prajapati, “Clustering Using a Combination of Particle Swarm Optimization and K- means,” J. Intell. Syst., vol. 26, no. 3, pp. 457–469, 2017, doi: 10.1515/jisys-2015-0099.

[16] EA. Jacobus D. A. R. Ariantini, ““PENGUKURAN KEMIRIPAN DOKUMEN TEKS BAHASA INDONESIA MENGGUNAKAN METODE COSINE SIMILARITY,” Jurnal Teknik Informatika, vol. 9, 2016.

[17] A. Taufik Program et al., “Optimasi Particle Swarm Optimization Sebagai Seleksi Fitur Pada Analisis Sentimen Review Hotel Berbahasa Indonesia Menggunakan Algoritma Naïve Bayes,” Jurnal Teknik Komputer, vol. III, no. 2, 2017.

[18] M. Kartiko and Sfenrianto, “Accuracy for Sentiment Analysis of Twitter Students on ELearning in Indonesia using Naive Bayes Algorithm Based on Particle Swarm Optimization,” in Journal of Physics: Conference Series, Aug. 2019, vol.

1179, no. 1.