Jln. Khatib Sulaiman Dalam, No. 1, Padang, Indonesia, Telp. (0751) 7056199, 7058325 Website: ijcs.stmikindonesia.ac.id | E-mail: [email protected]
Implementasi Machine Learning dengan Algoritma Naive Bayes Terhadap Sistem Informasi Pelayanan Pemberkasan Kepegawaian di BKPSDM Kota Palembang Arief Algiffary1, Tata Sutabri2
[email protected], [email protected]
Program Studi Magister Teknik Informatika Universitas Bina Darma
Informasi Artikel Abstrak Diterima : 4 Jun 2023
Direview : 13 Jun 2023 Disetujui : 30 Jun 2023
BKPSDM Kota Palembang saat ini menghadapi tantangan dalam pelayanan pemberkasan kepegawaian yang kurang efektif dan efisien. Penelitian ini berfokus pada pengembangan sistem informasi yang memanfaatkan metode machine learning dengan algoritma Naive Bayes untuk mengklasifikasikan berkas kepegawaian yang dimasukkan. Metode ini diharapkan dapat mempermudah pegawai dalam mengajukan berkas dengan mengurangi kesalahan saat pengunggahan dan mempercepat proses pengajuan. Temuan penelitian menunjukkan bahwa sistem informasi yang diimplementasikan algoritma Naive Bayes berhasil mencapai tingkat akurasi dengan perhitungan precision, recall, dan accuracy sebesar 95,83% dalam mengklasifikasikan berkas kepegawaian dengan tepat. Penelitian ini memberikan kontribusi yang signifikan dalam meningkatkan kualitas pelayanan pemberkasan kepegawaian di BKPSDM Kota Palembang, serta diharapkan mampu memberikan landasan bagi pengembangan sistem informasi serupa dalam konteks e-Government.
Kata Kunci
e-Government, Machine Learning, Supervised Learning, Klasifikasi Dokumen, Algoritma Naive Bayes
Keywords Abstract
e-Government, Machine Learning, Supervised Learning, Document Classification, Naive Bayes Algorithm
BKPSDM Kota Palembang is currently facing challenges in providing effective and efficient employee documentation services. This research focuses on the development of an information system that utilizes machine learning methods with the Naive Bayes algorithm to classify the submitted employee documents.
The method is expected to simplify the process of document submission for employees by reducing upload errors and expediting the submission process.
The research findings demonstrate that the implemented information system, using the Naive Bayes algorithm, achieved an accuracy rate of precision, recall, dan accuracy for amount 95.83% in accurately classifying employee documents.
This research significantly contributes to improving the quality of employee documentation services at the BKPSDM Kota Palembang and is expected to provide a foundation for the development of similar information systems in the context of e-Government.
A. Pendahuluan
E-Government telah menjadi fokus utama bagi banyak negara dalam upaya meningkatkan efisiensi dan efektivitas pelayanan publik di era globalisasi ini. E- Government adalah transformasi pemerintahan melalui penggunaan teknologi informasi dan komunikasi untuk meningkatkan kinerja pemerintah dan memberikan layanan yang lebih baik kepada warga negara [1]. Salah satu bentuk penggunaan e-Government adalah pelayanan pemberkasan, suatu pelayanan yang melibatkan pengolahan dan manajemen dokumen dan berkas administrasi yang dibutuhkan dalam proses administrasi pemerintahan.
Badan Kepegawaian dan Pengembangan Sumber Daya Manusia (BKPSDM) Kota Palembang adalah sebuah lembaga pemerintah di lingkungan Pemerintah Kota Palembang yang bertanggung jawab dalam mengelola kepegawaian, pendidikan, dan pelatihan sumber daya manusia di tingkat daerah [2]. BKPSDM Kota Palembang berperan penting dalam mengatur kebijakan kepegawaian, mengembangkan kompetensi pegawai, menyelenggarakan program pendidikan dan pelatihan, serta meningkatkan kualitas SDM dalam lingkup pemerintahan Kota Palembang [3].
Selain itu, sebagai lembaga pelayanan publik, BKPSDM Kota Palembang memiliki tugas dan tanggung jawab untuk menyediakan berbagai layanan kepada pegawai dan masyarakat terkait kebutuhan administrasi kepegawaian, pengembangan kompetensi pegawai, dan program pendidikan serta pelatihan [4].
BKPSDM Kota Palembang memiliki berbagai jenis pelayanan untuk para aparatur sipil negara di wilayah terkait. Hampir seluruh urusan kepegawaian diajukan disini, seperti pengajuan dokumen kenaikan pangkat dan mutasi, usulan pensiun, permohonan tugas belajar dan diklat, perizinan cuti, peremajaan data, dan lain-lain. Namun, dengan banyaknya layanan yang ada, BKPSDM Kota Palembang belum memiliki sistem informasi dengan metode yang memudahkan pegawai dalam mengajukan dokumen untuk keperluan yang diinginkan. Sistem informasi yang ada saat ini seringkali membuat pegawai mengalami kesulitan dalam menggunakan layanan pengajuan dokumen yang diperlukan. Tidak jarang terjadi kesalahan saat pengunggahan dokumen yang diperlukan, terutama pada pegawai yang tidak terbiasa dengan perkembangan teknologi. Untuk mengatasi masalah ini, penerapan metode machine learning dengan algoritma klasifikasi terhadap berkas yang dimasukkan dapat menjadi solusi yang efektif dalam membantu para pegawai untuk mengajukan dokumen dengan lebih mudah. Penggunaan metode ini diharapkan dapat mengurangi kesalahan yang terjadi selama proses pengajuan dokumen, meningkatkan efisiensi, dan mempermudah akses bagi para pegawai dalam melengkapi keperluan administratif mereka. Inovasi ini dapat membantu BKPSDM Kota Palembang meningkatkan pelayanan kepegawaian mereka dan menjadi contoh bagi institusi serupa dalam memanfaatkan teknologi machine learning untuk memperbaiki proses administrasi yang kompleks, mengingat belum ada institusi pemerintahan dalam bidang kepegawaian yang menggunakan machine learning dalam pengelolaan berkas kepegawaiannya.
Menurut [5], machine learning adalah cabang dari kecerdasan buatan yang mempelajari dan mengembangkan algoritma yang memungkinkan komputer untuk belajar dari data dan melakukan prediksi atau pengambilan keputusan berdasarkan pola dan informasi yang terkandung dalam data. Dalam konteks pelayanan pemberkasan, penerapan machine learning telah menunjukkan potensi yang
signifikan untuk meningkatkan kualitas dan kecepatan pengolahan dokumen serta pengklasifikasian berkas administrasi.
Klasifikasi dokumen merupakan salah satu tugas dari machine learning.
Klasifikasi dokumen adalah bidang penelitian yang mengembangkan metode untuk memberikan label terhadap suatu dokumen sesuai dengan kategorinya secara otomatis berdasarkan isi dokumen [6]. Klasifikasi dokumen bertujuan untuk mengelompokkan dokumen yang tidak terstruktur ke dalam kelompok-kelompok yang menggambarkan isi dari dokumen.
Salah satu algoritma machine learning yang sering digunakan dalam klasifikasi dokumen adalah Naive Bayes [7]. [8] berpendapat algoritma Naive Bayes adalah algoritma klasifikasi yang berdasarkan pada teorema Bayes dengan asumsi bahwa setiap atribut yang ada dalam data adalah independen satu sama lain.
Algoritma ini dapat digunakan untuk mengklasifikasikan data ke dalam kategori atau kelas yang relevan berdasarkan pada probabilitasnya.
[9] melakukan penelitian mengenai pengklasifikasian dokumen tugas akhir mahasiswa menggunakan algoritma Naive Bayes. Metode klasifikasi ini mencapai tingkat akurasi sebesar 90,8%. [10] juga melakukan pengklasifikasian terhadap dokumen berita hoax dengan menggunakan algoritma Naive Bayes. Hasil penelitian membuktikan bahwa algoritma Naive Bayes terbukti dapat digunakan secara efektif untuk mengklasifikasikan berita hoax secara otomatis dengan nilai recall mencapai 85% dan nilai precision 89%. Bahkan, berdasarkan penelitian [11] algoritma Naive Bayes dapat dikatakan memiliki hasil akurasi lebih baik dibanding dengan algoritma pengklasifikasian lainnya, seperti Support Vector Machine.
B. Metode Penelitian
Penelitian dilakukan di Assessment & IT Center BKPSDM Kota Palembang menggunakan Apple Macbook Pro 13.3” dengan spesifikasi M2 Chip with 8-core CPU, 8 GB RAM, 256 GB SSD, dan macOS Monterey. Secara umum, tahapan pada penelitian ini sebagai berikut:
1. Melakukan studi literatur.
2. Mempersiapkan data latih serta data uji.
3. Mengembangkan sistem informasi
4. Melakukan pengujian terhadap sistem informasi yang dikembangkan.
5. Menganalisa hasil pengujian yang dilakukan.
6. Membuat kesimpulan dari hasil penelitian.
1. Pengumpulan Data
Data yang digunakan adalah berkas kepegawaian sebanyak 420 data set, terdiri dari 300 data latih dan 120 data uji dalam bentuk *.pdf yang diperoleh dari kumpulan berkas kepegawaian pada BKPSDM Kota Palembang. Data dikumpulkan dengan cara meminta berkas kepegawaian yang disimpan oleh BKPSDM Kota Palembang dalam bentuk *.pdf kemudian dikonversikan ke dalam bentuk *.txt.
2. Pengembangan Sistem
Penelitian ini mengembangkan sistem informasi dengan algoritma Naive Bayes untuk melakukan klasifikasi terhadap berkas yang diujikan. Berikut ini merupakan tahap pengembangan sistem:
Gambar 1. Tahapan Pengembangan Sistem Penjelasan pada gambar 1 adalah sebagai berikut:
1. Input adalah proses memasukkan sekumpulan berkas yang akan diproses.
Berkas merupakan sebuah teks yang berupa string dengan file *.txt.
2. Text preprocessing adalah proses untuk mempersiapkan teks menjadi data yang kemudian dapat diolah oleh sistem [12]. Tujuan dari text preprocessing adalah untuk menghilangkan karakter-karakter selain huruf dan menyeragamkan kata, memecah kalimat menjadi kata, mengurangi volume kosakata, dan mengembalikan kata ke kata dasar. Tahap-tahap pada text preprocessing meliputi :
1. Case Folding, merupakan proses untuk mengubah seluruh karakter alfabet dalam berkas menjadi huruf kecil serta menghilangkan seluruh karakter non-alfabet.
2. Parsing, merupakan proses pemecahan kalimat dalam berkas menjadi kata.
3. Stopwords Removal, merupakan proses penyaringan kata-kata yang sering muncul dan tidak penting. Stopwords dapat berupa kata depan, kata penghubung, dan kata pengganti. Proses ini menyisakan kata-kata penting dalam sebuah berkas teks dan diharapkan memiliki bobot yang tinggi.
4. Stemming, merupakan proses pengembalian kata berimbuhan menjadi kata dasar. Variasi imbuhan dapat berupa awalan (prefix), akhiran (suffix), sisipan (infix), dan kombinasi antara awalan dan akhiran (confix).
3. Words Weighting, setiap kata-kata yang telah diproses diberikan bobot untuk dihitung agar menghasilkan kata-kata yang bisa mewakili kategori serta mengefisiensikan basis data. Words Weighting adalah proses memberikan nilai atau bobot ke sebuah kata berdasarkan kemunculannya pada suatu berkas [13].
Rumus yang digunakan adalah term frequency-inverse document frequency (TF- IDF). TF-IDF adalah metode pembobotan kata dengan menghitung nilai TF dan
Text Preprocessing
Words Weighting
Classificating Input
Output
juga menghitung kemunculan sebuah kata pada koleksi berkas secara keseluruhan. Pada pembobotan ini, jika kemunculan term pada sebuah berkas tinggi dan kemunculan term tersebut pada berkas lain rendah, maka bobotnya akan semakin besar. Begitupun sebaliknya. Tujuan penghitungan IDF adalah untuk mencari kata-kata yang benar-benar merepresentasikan suatu berkas pada suatu koleksi. Perhitungan TF-IDF dirumuskan sebagai berikut:
TF−IDF= TF.log(n
DF)
4. Classificating adalah proses untuk menghitung nilai probabilitas suatu berkas menggunakan algoritma Naive Bayes dan mengkategorikan berkas tersebut.
Algoritma Naive Bayes adalah suatu metode klasifikasi yang didasarkan pada teorema Bayes. Naive Bayes adalah algoritma klasifikasi probabilistik sederhana yang menghitung sejumlah probabilitas dengan menggabungkan frekuensi dan kombinasi nilai dari data set yang diberikan [14]. Algoritma ini mengasumsikan bahwa setiap atribut dalam setiap kategori adalah independen satu sama lain.
Keuntungan menggunakan Naive Bayes adalah bahwa algoritma ini hanya memerlukan sedikit data latih untuk menentukan parameter yang diperlukan dalam proses klasifikasi. Naive Bayes adalah metode supervised learning dalam machine learning yang berarti memerlukan data latih sebelum melakukan proses klasifikasi [15]. Terdapat dua proses dalam melakukan klasifikasi berkas menggunakan algoritma Naive Bayes, yaitu proses pelatihan dan proses klasifikasi:
1. Proses Pelatihan, digunakan untuk memperoleh informasi yang mewakili suatu kategori, yang kemudian akan diproses dan membentuk pengetahuan berupa nilai probabilitas pada setiap kata. Proses ini akan menghasilkan kata-kata yang mewakilkan berkas pada kategori tersebut.
Perhitungan untuk mendapatkan nilai probabilitas kata sebagai berikut:
P= Word′s Frequency Total Document(s)
2. Proses Klasifikasi, digunakan untuk mengklasifikasikan berkas. Selama proses klasifikasi, digunakan algoritma Naive Bayes setelah memperoleh nilai probabilitas dari proses pelatihan. Persamaan teorema Naive Bayes untuk klasifikasi berkas sebagai berikut:
P(Class|Doc) =P(Class).P(Class|Doc) P(Doc)
5. Output merupakan berkas yang telah terklasifikasi ke dalam kategori berdasarkan proses-proses sebelumnya dan disimpan di dalam basis data berkas terklasifikasi.
3. Pengujian Sistem
Pengujian yang dilakukan merupakan pengujian confusion matrix. Confusion matrix adalah sebuah metode yang digunakan untuk mengevaluasi performa dari
suatu model klasifikasi. Matriks ini memberikan gambaran tentang sejauh mana model tersebut mampu memprediksi dengan benar dan salah. Confusion matrix biasanya digunakan dalam konteks masalah klasifikasi dengan dua atau lebih kelas.
Confusion matrix terdiri dari empat elemen utama: true positive, false positive, true negative, dan false negative. Elemen ini digunakan untuk menghitung matriks evaluasi seperti precision, recall, dan accuracy. Precision mengukur tingkat ketepatan antara jawaban yang diberikan oleh sistem dan informasi yang diminta oleh pengguna. Recall mengukur tingkat keberhasilan sistem dalam menemukan kembali informasi yang diminta. Sementara accuracy menggambarkan tingkat kesesuaian antara nilai prediksi dan nilai aktual.
Untuk menghitung precision, recall, dan accuracy dapat menggunakan persamaan berikut:.
Precision= TP (TP + FP)
Recall= TP (TP + FN)
Accuracy= (TP + TN) (TP + FP +TN + FN) C. Hasil dan Pembahasan
1. Hasil Proses Pelatihan
Sebelum memasuki proses pengujian, terlebih dahulu menyiapkan data latih.
Data latih adalah kumpulan data yang digunakan untuk melatih model atau algoritma dalam supervised learning. Data latih tersebut telah diklasifikasikan secara manual terlebih dahulu sebagai metode untuk memberikan pembelajaran awal pada algoritma Naive Bayes-nya. Kemudian data latih tersebut dimasukkan ke sistem dan disimpan. Setelah itu, data latih tersebut dilakukan proses pelatihan oleh sistem. Setelah proses pelatihan selesai, sistem dapat digunakan untuk proses pengujian.
Tabel 1. Daftar Jumlah Data Latih
No Jenis Layanan Jumlah
1 Pengajuan Kenaikan Pangkat 50
2 Pengajuan Mutasi 50
3 Usulan Pensiun 50
4 Permohonan Tugas Belajar dan Diklat 50
5 Perizinan Cuti 50
6 Peremajaan Data 50
Total 300
Proses berikutnya adalah menyiapkan data uji, yang belum diketahui kategorinya oleh sistem. Data uji adalah kumpulan data yang digunakan dalam supervised learning untuk menguji sistem yang telah dilatih sehingga dapat diketahui kemampuan sistem mengenai tingkat akurasinya.
Tabel 2. Daftar Jumlah Data Uji
No Jenis Layanan Jumlah
1 Pengajuan Kenaikan Pangkat 20
2 Pengajuan Mutasi 20
3 Usulan Pensiun 20
4 Permohonan Tugas Belajar dan Diklat 20
5 Perizinan Cuti 20
6 Peremajaan Data 20
Total 120
2. Hasil Proses Pengujian
Berikut ini merupakan hasil pengujian terhadap kemampuan sistem dalam melakukan klasifikasi terhadap data yang digunakan. Tabel 3 menunjukkan hasil terhadap jumlah berkas yang berhasil terklasifikasi.
Tabel 3. Daftar Jumlah Berkas Terklasifikasi
No Jenis Layanan Terklasifikasi
1 Pengajuan Kenaikan Pangkat 20
2 Pengajuan Mutasi 20
3 Usulan Pensiun 20
4 Permohonan Tugas Belajar dan Diklat 20
5 Perizinan Cuti 20
6 Peremajaan Data 20
Total 120
Berdasarkan tabel di atas, dapat dikatakan bahwa sistem informasi dapat melakukan klasifikasi terhadap data yang digunakan dengan baik. Hal ini ditandai dengan berhasilnya sistem informasi dalam melakukan klasifikasi terhadap seluruh data yang digunakan.
Berikutnya, pengujian tingkat akurasi dilakukan untuk mengetahui seberapa baik sistem informasi dalam menentukan kategori yang tepat terhadap data yang diuji dengan confusion matrix. Berikut merupakan tabel yang berisi confusion matriks terhadap kelas yang digunakan:
Tabel 4. Tabel Confusion Matrix Multi-Class Classification
Pangkat Mutasi Pensiun Diklat Cuti Peremajaan
Pangkat 19 0 0 0 0 1
Mutasi 0 19 0 0 0 1
Pensiun 0 0 19 0 0 1
Diklat 0 0 0 20 0 0
Cuti 0 0 0 0 20 0
Peremajaan 1 1 0 0 0 18
Tabel 4 menunjukkan hasil terhadap jumlah berkas yang berhasil terklasifikasi sesuai kategori dan yang tidak berhasil terklasifikasi sesuai kategori.
Berdasarkan data-data di atas, ditemukan beberapa hasil pengujian yang tidak tepat. Dapat dilihat bahwa berkas dengan kategori “Peremajaan Data”-lah yang memiliki jumlah kesalahan yang paling banyak dibanding kategori lain, yaitu sebanyak 2 kesalahan. Untuk kategori “Pengajuan Kenaikan Pangkat”, “Pengajuan Mutasi”, dan “Usulan Pensiun” memiliki jumlah kesalahan masing-masing 1
kesalahan, sedangkan kategori “Permohonan Tugas Belajar dan Diklat” dan
“Perizinan Cuti” tidak memiliki jumlah kesalahan.
Dari pengujian di atas didapatkan kesimpulan bahwa pemilihan dokumen latih yang dimasukkan ke dalam data latih memiliki pengaruh terhadap hasil klasifikasi. Berkas dengan banyaknya kosakata yang memiliki ciri khusus dan bervariasi membuat hasil klasifikasi lebih baik. Jika dilihat dari hasil pengujian, kategori “Peremajaan Data” memiliki berkas-berkas dengan ciri khusus yang hampir sama dengan kategori “Pengajuan Kenaikan Pangkat”, “Pengajuan Mutasi”, dan “Usulan Pensiun” sehingga memungkinkan untuk terjadinya kesalahan pengklasifikasian diantara keduanya. Sepengamatan penulis sebagai salah satu pegawai terkait, berkas-berkas yang dibutuhkan dalam proses peremajaan data memang membutuhkan berkas-berkas yang sama ketika berurusan dengan proses kenaikan pangkat, pengajuan mutasi, dan usulan pensiun. Hal itu jugalah yang membuat sistem informasi melakukan kesalahan dalam klasifikasi berkas dengan kategori “Pengajuan Kenaikan Pangkat”, “Pengajuan Mutasi”, dan “Usulan Pensiun”.
Sedangkan kategori lainnya memiliki berkas dengan isi yang memiliki banyak ciri khusus yang membuat berkas dalam kategori-kategori ini berbeda dengan kategori satu sama lain, sehingga membuat jumlah kesalahan klasifikasi menjadi sedikit bahkan memungkinkan untuk tidak terjadi kesalahan satu pun.
Tabel 5. Perhitungan Precision, Recall, dan Accuracy
No Jenis Layanan Precision Recall Accuracy
1 Pengajuan Kenaikan Pangkat 95% 95% 95%
2 Pengajuan Mutasi 95% 95% 95%
3 Usulan Pensiun 95% 100% 95%
4 Permohonan Tugas Belajar dan Diklat 100% 100% 100%
5 Perizinan Cuti 100% 100% 100%
6 Peremajaan Data 90% 85% 90%
Rata-Rata 95,83% 95,83% 95,83%
Berdasarkan tabel 4 dan 5, dapat disimpulkan bahwa sistem informasi dapat mengklasifikasikan dengan benar sebanyak 115 berkas dari total 120 berkas yang diujikan dengan tingkat akurasi dengan perhitungan precision, recall, dan accuracy yang sama besar, sebesar 95,83%. Dalam kasus ini, perhitungan precision, recall, dan accuracy memiliki nilai yang sama besar dikarenakan setiap kategori memiliki jumlah berkas diujikan yang sama.
Secara garis besar, sistem informasi sudah memiliki kinerja yang sangat baik karena berhasil mencatatkan tingkat akurasi di atas 90% untuk setiap jenis pelayanan yang diujikan.
D. Simpulan
Berdasarkan hasil pembahasan di atas maka dapat ditarik kesimpulan bahwa Sistem Informasi Pelayanan Pemberkasan Kepegawaian dengan algoritma Naive Bayes memiliki tingkat akurasi dengan perhitungan precision, recall, dan accuracy sebesar 95,83% dengan berhasil mengklasifikasikan sebanyak 115 berkas dari 120 berkas yang diujikan. Hal ini menunjukkan bahwa sistem informasi tersebut dapat digunakan untuk meningkatkan efektifitas dan efisiensi pelayanan pemberkasan kepegawaian pada BKPSDM Kota Palembang.
Algoritma Naive Bayes merupakan algoritma dalam supervised learning yang membutuhkan data latih sebagai metode pembelajaran sehingga diharapkan, dalam praktiknya, untuk memperbanyak data latih agar mampu meningkatkan tingkat akurasi dari sistem informasi tersebut yang mampu meminimalisir kesalahan dalam mengklasifikan berkas yang dibutuhkan.
E. Referensi
[1] B. G. Sudarsono and S. P. Lestari, “KAJIAN LITERATUR MODEL KONSEPTUAL KEBERHASILAN E-GOVERNMENT,” KOMIK Konf. Nas. Teknol. Inf. Dan Komput., vol. 2, no. 1, Oct. 2018, doi: 10.30865/komik.v2i1.981.
[2] M. A. Algiffary and T. Sutabri, “ANALISIS TINGKAT KUALITAS LAYANAN E- LAPKIN MENGGUNAKAN METODE E-SERVQUAL PADA PEMERINTAH KOTA PALEMBANG,” RESTIKOM Ris. Tek. Inform. Dan Komput., vol. 5, no. 1, 2023.
[3] T. Mirza, “IMPLEMENTASI KEBIJAKAN SISTEM INFORMASI PEGAWAI DAERAH (SIPD) BERDASARKAN PERPRES NOMOR 95 TAHUN 2018 (Studi Pada BKPSDM Kota Palembang),” vol. 1, 2018.
[4] T. Ishak, M. Muhammad, and N. Nurmayana, “Peran Badan Kepegawaian Pengembangan Sumberdaya Manusia (BPSDM) terhadap Kinerja Pegawai Negeri Sipil,” HUMANIS J. Ilmu Adm. Negara, vol. 6, no. 1, pp. 52–68, Apr. 2020, doi: 10.52137/humanis.v6i1.13.
[5] B. Siswoyo, “MultiClass Decision Forest Machine Learning Artificial Intelligence,” J. Appl. Inform. Comput., vol. 4, no. 1, pp. 1–7, Jan. 2020, doi:
10.30871/jaic.v4i1.1155.
[6] F. R. Hariri, E. Utami, and A. Amborowati, “Learning Vector Quantization untuk Klasifikasi Abstrak Tesis,” Creat. Inf. Technol. J., vol. 2, no. 2, p. 128, Apr. 2015, doi: 10.24076/citec.2015v2i2.43.
[7] L. Efrizoni, S. Defit, M. Tajuddin, and A. Anggrawan, “Komparasi Ekstraksi Fitur dalam Klasifikasi Teks Multilabel Menggunakan Algoritma Machine Learning Comparison of Feature Extraction in Multilabel Text Classification Using Machine Learning Algorithm,” MATRIK J. Manaj. Tek. Inform. Dan Rekayasa Komput..
[8] Alvina Felicia Watratan, Arwini Puspita. B, and Dikwan Moeis, “Implementasi Algoritma Naive Bayes Untuk Memprediksi Tingkat Penyebaran Covid-19 Di Indonesia,” J. Appl. Comput. Sci. Technol., vol. 1, no. 1, pp. 7–14, Jul. 2020, doi:
10.52158/jacost.v1i1.9.
[9] M. A. Algiffary, M. Fachrurrozi, and N. Yusliani, “Implementation of Document Classification using Naïve Bayes Classifier for the Performance and Level of Accuracy of Document Searching using Boyer- Moore Algorithm,” vol. 2, no. 1, 2016.
[10] H. Mustofa and A. A. Mahfudh, “Klasifikasi Berita Hoax Dengan Menggunakan Metode Naive Bayes,” Walisongo J. Inf. Technol., vol. 1, no. 1, p. 1, Nov. 2019, doi:
10.21580/wjit.2019.1.1.3915.
[11] N. I. Widiastuti, E. Rainarli, and K. E. Dewi, “Peringkasan dan Support Vector Machine pada Klasifikasi Dokumen,” J. INFOTEL, vol. 9, no. 4, p. 416, Nov. 2017, doi: 10.20895/infotel.v9i4.312.
[12] W. F. Mahmudy and A. W. Widodo, “KLASIFIKASI ARTIKEL BERITA SECARA OTOMATIS MENGGUNAKAN METODE NAIVE BAYES CLASSIFIER YANG DIMODIFIKASI”.
[13] A. Deolika, K. Kusrini, and E. T. Luthfi, “ANALISIS PEMBOBOTAN KATA PADA KLASIFIKASI TEXT MINING,” J. Teknol. Inf., vol. 3, no. 2, p. 179, Dec. 2019, doi:
10.36294/jurti.v3i2.1077.
[14] R. N. Devita, H. W. Herwanto, and A. P. Wibawa, “Perbandingan Kinerja Metode Naive Bayes dan K-Nearest Neighbor untuk Klasifikasi Artikel Berbahasa indonesia,” J. Teknol. Inf. Dan Ilmu Komput., vol. 5, no. 4, p. 427, Oct. 2018, doi:
10.25126/jtiik.201854773.
[15] D. Sartika and D. I. Sensuse, “Perbandingan Algoritma Klasifikasi Naive Bayes, Nearest Neighbour, dan Decision Tree pada Studi Kasus Pengambilan Keputusan Pemilihan Pola Pakaian,” vol. 1, no. 2, 2017.
