Algoritma Naïve Bayes Classifier Untuk Analisis Sentiment Pengguna Twitter Terhadap Provider By.u

(1)

Algoritma Naïve Bayes Classifier Untuk Analisis Sentiment Pengguna Twitter Terhadap Provider By.u

Ike Verawati^*, Bagas Sonas Audit

Ilmu Komputer, Informatika, Universitas Amikom Yogyakarta, Yogyakarta, Indonesia Email: ^1,*[email protected], ²[email protected]

Email Penulis Korespondensi: [email protected]

Abstrak−Perkembangan internet yang meningkat beberapa tahun terakhir menyebabkan orang-orang dengan mudah untuk memberikan opininya terhadap sesuatu produk. By.u sebagai produk baru penyedia layanan internet membuat banyak user barunya saling memberikan opini. Banyak user by.u memberikan opininya melalui media sosial khususnya twitter. Dari permasalahan tersebut dilakukan penelitian menggunakan analisis sentimen. Tahapan penelitian terdiri dari pengumpulan data dari media sosial twitter, preprocessing data, pembobotan data TF-IDF dan klasifikasi menggunakan algoritma Naïve Bayes Classifier. Untuk mendapatkan evaluasi hasil yang terbaik, maka dilakukan perbandingan data latih dan data uji. Klasifikasi data dilakukan dengan cara otomatis setelah pembersihan data dalam proses preprocessing. Label data hasil klasifikasi otomatis ada 2, yaitu positif dan negatif. Dataset setelah klasifikasi akan digunakan sebagai data latih dan data uji. Dataset yang akan diujikan dibedakan menjadi 3 jumlah, yaitu jumlah 1000 dataset, 2000 dataset, dan 3000 dataset. Pengujian dilakukan sebanyak 3 kali untuk setiap dataset. Pengujian akurasi dilakukan menggunakan confusion matrix. Hasil pengujian dengan akurasi tertinggi diperoleh classifier nave Bayes dengan model multinomial 85%.

Kata Kunci: Naïve Bayes Classifier; Sentiment Analysis; Classification; Text Mining; Twitter

Abstract−The development of the internet which has increased in recent years has made it easy for people to give their opinion on a product. By.u, as a new internet service provider, has made many new users share their opinions with each other. Many by.u users give their opinions through social media, especially twitter. From these problems, research was conducted using sentiment analysis. The research stages consisted of collecting data from social media Twitter, preprocessing data, weighting TF-IDF data and classifying using the Naïve Bayes Classifier algorithm. To get the best evaluation results, a comparison of training data and test data was carried out. Data classification is done automatically after cleaning the data in the preprocessing process. There are 2 labels for the data resulting from the automatic classification, namely positive and negative. The datas et after classification will be used as training data and test data. The datasets to be tested are divided into 3 numbers, namely the number of 1000 datasets, 2000 datasets, and 3000 datasets. The test was carried out 3 times for each dataset. The accuracy test is carried out using a confusion matrix. The test results with the highest accuracy were obtained by the nave Bayes classifier with a multinomial model of 85%.

Keywords: Naïve Bayes Classifier; Sentiment Analysis; Classification; Text Mining; Twitter

1. PENDAHULUAN

Pada beberapaa tahun belakangan ini banyak bermunculan provider internet baru yang memikat banyak pengguna internet di indonesia. Salah satu dari provider tersebut adalah by.u yang merupakan anak dari provider tertua di indonesia yaitu telkomsel. Setelah by.u muncul banyak pengguna internet tertarik karena dengan harga yang lebih murah dari telkomsel namun kecepatan internet yang didapatkan sama, bahkan bisa jadi lebih cepat. Hal ini membuat banyak pengguna internet memberikan komentar mereka melalui sosial media, mulai dari komentar positif hingga negatif. Twitter menjadi salah satu media sosial yang digunakan oleh para pengguna internet untuk memberikan komentar dan review terhadap provider by.u. Dengan adanya fenomena tersebut, penelitian ini akan mengambil komentar dan postingan tweet dalam twitter tersebut untuk digunakan dalam analisis sentimen terhadap opini kepuasan pelanggan pada provider by.u yang masih baru ini.

Analisis sentimen adalah metode pemrosesan data yang tidak tersetruktur di ubah menjadi data terstruktur untuk mendapatkan sentiment[1]. Sentimen biasanya berkaitan dengan emosi, pendapat ataupun komentar yang dinyatakan dengan bentuk data teks. Dalam penelitian ini data text diambil dari komentar dan postingan Twitter dengan kata kunci “by.u”. Data ini dapat digunakan sebagai acuan dalam melihat sentiment pengguna internet terhadap kepuasan pada provider baru by.u. Data tersebut akan diolah untuk mengklasifikasikan opini menjadi positif atau negatif. Untuk melakukan klasifikasi data teks terdapat berbagai macam algoritma yang dapat digunakan.

Naive Bayes Classifier adalah salah satu algoritma yang di gunakan untuk klasifikasi data. Terdapat beberapa penelitian menggunakan metode Naive Bayes Classifier untuk dokomen text yang sudah pernah dilakukan di antaranya yaitu analisis sentimen perubahan ke kurikulum 2013[2], penelitian kepuasan masyarakat terhadap pemilihan presiden 2019[3], dan analisis sentimen terhadap jasa transportasi online[4]. Dari penelitian tersebut, peneliti memilih menggunakan algoritma Naïve Bayes untuk melakukan klasifikasi opini positif dan negatif terhadap provider by.u ini. Metode Naive Bayes Classifier memiliki tingkat akurasi yang baik untuk klasifikasi data text[5]. Tujuan di buatnya penelitian ini yaitu Mengetahui akurasi dari algoritma dalam klasifikasi tweet terhadap provider by.u. dan Mengetahui pengaruh jumlah dataset terhadap akurasi algoritma naive bayes classifier.

(2)

Ike Verawati, Copyright © 2022, MIB, Page 1412 Sebelumnya telah terdapat penelitian terkait analisis sentimen. Pada tahun 2017, Umi Rofiqoh dkk melakukan penelitian mengenai perbandingan hasil akurasi sentimen terhadap algoritma Support Vector Machine dengan Lexicon Based Feature, Hasilnya diperoleh tingkat akurasi sebesar 79%.[6]

Setyo Budi, (2017) melakukan penelitian analisis sentimen untuk review film menggunakan algoritma K- Means dan membandingkan hasil akurasi terhadap jumlah dataset. Hasil dari penelitian ini, untuk 600 data memiliki akurasi 58%, 1400 data memiliki akurasi 57%, dan 2000 data menghasilkan akurasi sebesar 50%.[7]

Penelitian selanjutnya dilakukan oleh Fajar Ratnawati, (2018) mengenai implementasi algoritma Naïve Bayes dengan menggunakan 5-fold cross validation, menghasilkan akurasi tertinggi 90%.[8]

2. METODOLOGI PENELITIAN

2.1 Tahapan Penelitian

Model penelitian yang akan digunakan adalah eksperimen dan evaluasi. Menggunakan software jupyter notebook dengan bahasa phyton. Tahapan penelitian ini adalah studi literatur, pengumpulan data dengan cara crawling, preprocessing data, pembobotan dengan TF-IDF, klasifikasi dengan Algoritma naïve bayes, evaluasi.

Gambar 1. Tahapan Penelitian 2.2 Analisis Sentimen

Analisis sentimen adalah teknik penyusunan bahasa, komputasi, dan text mining untuk tujuan menganalisis opini atau emosi seseorang terhadap suatu topik atau kegiatan tertentu[9], dasar analisis sentimen adalah pengelompokan suatu teks dalam satu kalimat atau data yang kemudian dapat menentukan apakah kalimat tersebut bersifat positif, negatif atau netral[10]. Sehingga dapat disimpulkan bahwa analisis sentimen merupakan proses untuk menentukan pendapat atau opini dari seseorang yang diutarakan dalam bentuk data text dan dapat ditentukan sebagai sentiment positif, negatif, atau netral.

2.3 Text Mining

Text mining adalah penambangan data teks yang dilakukan oleh komputer untuk mendapatkan sesuatu yang sebelumnya tidak diketahui informasinya yang berasal dari informasi yang diekstrak secara otomatis dari sumber yang berbeda-beda[11]. Text mining merupakan penerapan konsep data mining untuk mencari pola informasi didalamnya, data teks memilki banyak informasi yang tidak terstruktur sehingga membutuhkan proses yang panjang untuk menjadi lebih terstruktur[12]. Tahapan proses dalam text mining secara umum adalah text preprocessing dan feature selection.

2.4 Text Preprocessing

Text preprocessing merupakan tahapan untuk mengubah data teks yang tidak terstruktur menjadi terstruktur, sehingga dapat memudahkan dalam proses komuterisasi. Untuk itu diperlukan beberapa tahapan proses untuk melakukanya, yaitu :

1) Case Folding

Proses case folding adalah mengubah semua huruf didalam data teks dari huruf “a” sampai “z” menjadi huruf kecil.

2) Tokenizing

Proses tokenizing adalah pemotongan kata menjadi beberapa bagian dan di proses ini dilakukan penghapusan data yang tidak dikenali program, antara lain username, hashtag, url, tanda baca, dan emotikon.

3) Filtering

Proses filtering dilakukan untuk menghapus kata-kata yang tidak penting berdasarkan kamus stopword, contohnya kata penghubung “ke”, dan “di”, atau kata-kata yang tidak memiliki makna

4) Normalisasi

Proses normalisasi pada proses ini dilakukan perubahan kata yang tidak baku menjadi kata yang baku.

5) Stemming

Proses stemming adalah proses mengubah kata yang memiliki imbuhan menjadi kata dasar, contohnya kata memalukan akan diubah menjadi malu.

(3)

2.5 Klasifikasi

Klasifikasi bertujuan untuk memberikan label terhadap data. Dalam penlitian kali ini akan menggunakan klasifikasi secara otomatis. Untuk dapat melakukan klasifikasi secara otomatis diperlukan pemodelan data dari dataset yang telah teruji dengan label terlebih dahulu. Untuk itu diambil dataset dari Indonesian-General- Sentiment-Analysis-Dataset[13].

2.6 Pembobotan TF-IDF

Pembobotan Tf-Idf bertujuan untuk memberikan bobot nilai pada setiap kata. Dalam melakukan pembobotan ini dibutuhkan Term Frequency (TF) yaitu banyaknya kata atau term tertentu yang terdapat didalam dokumen, dan Inverse Document Frequency (IDF) yaitu frekuensi kemunculan kata atau term dalam suatu dokumen. Nilai IDF dapat dilihat dari teks atau term itu sendiri, jika tidak sering muncul maka nilainya akan lebih besar daripada nilai IDF yang sering muncul. Jika pada keseluruhan dokumen mengandung term tertentu, maka nilai IDF term akan bernilai 0. Maka dapat diartikan term yang sering muncul atau terdapat pada keseluruhan dokumen merupakan term yang tidak berguna untuk membedakan dokumen berdasarkan pola tertentu.[14] Rumus TF-IDF :

𝑊𝑑𝑡 = 𝑇𝐹𝑑𝑡 × 𝐼𝐷𝐹𝑑𝑡 (1)

2.7 Naïve Bayes Classifier

Metode Naive Bayes Classifier adalah metode algoritma klasifikasi untuk memprediksi probabilitas dan statistik, yang dimana nantinya klasifikasi akan memprediksi probabilitas pada keanggotaan kelas suatu data yang akan dimasukkan dalam kelas tertentu, sesuai dengan perhitungan probabilitasnya. Metode ini didasarkan pada teorema bayes yang ditemukan oleh Thomas Bayes[15]. Naïve Bayes Classifier dapat diartikan bahwa suatu nilai atribut kelas tidak dapat dipengaruhi maupun mempengaruhi nilai atribut lainya, penjelasan inilah yang disebut Naïve, ini mengasumsikan kemunculan term dalam sebuah kalimat tidak dapat mempengaruhi kata lainya[16]. Pada penerapannya dalam analisis sentiment term atau kata yang muncul akan memiliki bobot masing-masing yang jika ditambahkan total bobot keseluruhannya maka dapat diketahui apakah kalimat tersebut masuk ke dalam sentiment negatif atau positif. Rumus dari Naïve Bayes Classifier berdasarkan teorema bayes adalah sebagai berikut : 𝑃(𝐻|𝑋) = (𝑃(𝑋|𝐻)^𝑃(𝐻)

𝑃(𝑋)) (2)

X = Data dokumen dengan kelas yang belum diketahui.

H = Hipotetis dari data X merupakan suatu kelas spesifik.

P(H│X)= Probabilitas dari hipotesis H berdasarkan kondisi X (posteriori probability).

P(H) = Probabilitas dari hipotersis H (prior probabilty).

P(X│H)= Probabilitas X berdasarkan dari kondisi pada hipotesis H.

P(X) = Probabilitas dari X

2.8 Multinomial Naive Bayes Classifier

Multinomial Naïve Bayes Classifier merupakan salah satu variasi dari algoritma naïve bayes classifier. Algoritma ini menggunakan distribusi multinomial pada fungsi conditional probabilities. Meskipun menggunakan distribusi multinomial, algoritma ini dapat digunakan untuk kasus text mining dengan cara merubah data teks menjadi bentuk nominal yang dapat dihitung dengan nilai integer. Pada multinomial naïve bayes classifier, kelas dokumen tidak hanya diihitung dari kata yang muncul namun jumlah kemunculan kata itu sendiri[17]

2.9 Evaluasi

Pada proses ini akan menghitung performa dari sistem yang sudah dibangun, dalam hal ini adalah performa analisis sentimen. Terdapat berbagai macam perhitungan yang dapat digunakan untuk proses evaluasi, yaitu akurasi, presisi, recall, dan F-score. Untuk dapat mencari nilai-nilai tersebut yang perlu dilakukan adalah membuat confussion matrix untuk merepresentasikan hasil dari klasifikasi dataset, tabel dari hasil evaluasi klasifikasi dokumen ditunjukan sebagai berikut:

Tabel 1. Confussion Matrix

Actual Values Predicted Values

Positif Negatif

Positif TP FP

Negatif FN TN

Dari tabel tersebut dapat dilihat ada empat kemungkinan yang terjadi pada prose klasifikasi: True Positive (TP) adalah nilai yang diprediksi benar dan faktanya nilai tersebut adalah benar. False Positive (FP) adalah nilai yang diprediksi benar tetapi faktanya nilai tersebut adalah salah. True negative (TN) adalah nilai yang diprediksi salah dan faktanya nila tersebut adalah salah. Serta yang terakhir False Negative (FN) adalah nilai yang diprediksi

(4)

Ike Verawati, Copyright © 2022, MIB, Page 1414 salah tetapi nilai tersebut adalah benar. Dengan melihat tabel maka dapat dilakukan penghitungan untuk mendapatkan hasil evaluasi klasifikasi yang telah dilakukan. Rumus untuk mencari akurasi, precission, dan recall:

Accuracy = ^{(𝑇𝑃+𝑇𝑁)}

(𝑇𝑃+𝐹𝑃+𝐹𝑁+𝑇𝑁) (3)

Precission = _{(𝑇𝑃+𝐹𝑃)}^(𝑇𝑃) (4)

Recall = _{(𝑇𝑃+𝐹𝑁)}^(𝑇𝑃) (5)

3. HASIL DAN PEMBAHASAN

3.1 Pengumpulan Data

Pengumpulan data dalam penelitian ini menggunakan metode crawling dengan bantuan fitur API dari twitter.

Untuk dapat melakukan pengumpulan data, harus mendapatkan access token dari twitter dengan cara mendaftarkan aplikasinya terlebih dahulu. Setelah syarat terpenuhi maka proses pengumpulan data dapat dilakukan. Pada pengumpulan data untuk penelitian ini menggunakan kata kunci by.u dan hanya yang berbahasa indonesia yang akan diambil. Hasil dari crawling akan disimpan dalam bentuk .xlsx

Tabel 2. Data Hasil Crawling

Date Username Tweet

2021-05-23 16:50:31

pickmeuca by.U ngadat 2021-05-27

04:50:51

vvindk_w @byu_id Alhamdulillah by.u ada paket unlimited, so 1 bulan cuman bayar 140k ajaa

makasih loh min, ini beneran unlimited tanpa fup 2021-05-26

21:38:04

ayussabrina by.u jam segini dah error aja

3.2. Preprocessing Data

Inputan data dalam proses ini merupakan data teks yang masih baru diambil dari twitter, yang kemudian akan dilakukan preprocessing data dengan urutan proses case folding, tokenizing, stop word removal, normalisasi, dan yang terakhir stemming.

3.2.1 Menerjemahkan Emoticon

Pada proses awal setelah didapatkan data dari crawling twitter, dilakukan penerjemahan emoticon kedalam bentuk teks.

Tabel 3. Penerjemahan Emotikon

Tweet Tweet_Emoji

by.U ngadat by.U ngadat "wajah lelah"

@byu_id Alhamdulillah by.u ada paket unlimited, so 1 bulan cuman bayar 140k ajaa

makasih loh min, ini beneran unlimited tanpa fup

@byu_id Alhamdulillah by.u ada paket unlimited, so 1 bulan cuman bayar 140k ajaa "Wajah Dengan Air Mata Sukacita" "Hati merah"️ "Hati merah"️

makasih loh min, ini beneran unlimited tanpa fup by.u jam segini dah error aja by.u jam segini dah error aja "Wajah Cemberut"

3.2.2 Case Folding

Pada proses ini semua isi dokumen teks akan diubah menjadi huruf kecil (lower case), tujuanya untuk menyeragamkan semua isi dokumen.

3.2.3 Tokenizing

Pada tahapan ini dilakukan pemisahan kalimat menjadi potongan kata atau token, kemudian kata yang tidak digunakan seperti username, link, dan angka akan dihapus.

(5)

Tabel 4. Tokenizing

Tweet Tokenizing

by.u ngadat "wajah lelah" ['by', '.', 'ngadat', '``', 'wajah', 'lelah', "''"]

@byu_id alhamdulillah by.u ada paket unlimited, so 1 bulan cuman bayar 140k ajaa

"wajah dengan air mata sukacita" "hati merah"️

"hati merah"️

makasih loh min, ini beneran unlimited tanpa fup

['_id', 'alhamdulillah', 'by', '.', 'ada', 'paket', 'unlimited', ',', 'so', 'bulan', 'cuman', 'bayarajaa', '``', 'wajah', 'dengan', 'air', 'mata', 'sukacita', "''", '``', 'hati', 'merah',

"''", '?', '``', 'hati', 'merah', "''", '?', 'makasih', 'loh', 'min', ',', 'ini', 'beneran', 'unlimited', 'tanpa', 'fup', '?']

by.u jam segini dah error aja "wajah Cemberut" ['by', '.', 'jam', 'segini', 'dah', 'error', 'aja', '``', 'wajah', 'cemberut', "''"]

3.2.4 Stopword Removal

Pada proses ini kata yang dianggap tidak memiliki makna akan dihapus.

3.2.5 Normalisai

Pada tahap ini dilakukan proses mengubah kata tidak baku dan singaktan menjadi kata baku, serta menghapus tanda baca.

3.2.6 Stemming

Proses stemming merupakan proses mengubah kata yang ada pada dokumen menjadi bentuk dasarnya. Didalam proses ini menggunakan library sastrawi.

Tabel 5. Stemming

Tweet Stemming

by ngadat `` wajah lelah '' by ngadat wajah lelah _id alhamdulillah by paket unlimited sok cuman

bayarajaa `` wajah air mata sukacita '' `` hati merah '' `` hati merah '' terima kasih min benaran unlimited fup

id alhamdulillah by paket unlimited sok cuman bayarajaa wajah air mata sukacita hati merah hati merah terima kasih min benar unlimited fup by jam segini sudah error `` wajah cemberut '' by jam gin sudah error wajah cemberut

… …

3.3 Klasifikasi

Sebelum proses klasifikasi secara otomatis dapat dilakukan, diperlukan pemodelan dari dataset yang sudah teruji dengan label terlebih dahulu. Untuk itu diambil dataset dari Indonesian-General-Sentiment-Analysis-Dataset, sebanyak 5479 data teks dengan 2887 data negatif dan 2592 data positif.

3.3.1 TF-IDF

Dokumen teks yang sudah melewati beberapa proses sebelumnya, kemudian dimasukkan kedalam proses pembobotan dengan term frequency inverse document frequency (TF-IDF). Dalam tahap ini pemberian bobot pada satu kata harus melalui 3 proses, yang pertama menghitung term frequency atau kemunculan kata, kedua proses menghitung inverse document frequency, dan yang terakhir adalah menghitung weight atau bobot dengan cara melakukan perkalian hasil term frequency dengan inverse document frequency.

3.3.2 Klasifikasi Naïve Bayes

Setelah seluruh proses preprocessing dan pembobotan selesai barulah klasifikasi dapat dilakukan.

Tabel 6. Hasil Klasifikasi

Tweet label

by ngadat wajah lelah 0

id alhamdulillah by paket unlimited sok cuman bayarajaa wajah air mata sukacita hati merah hati merah terima kasih min benar unlimited fup

1

by jam gin sudah error wajah cemberut 0 3.4 Uji Coba Sistem

Uji coba sistem dilakukan untuk melihat kinerja sistem dalam proses klasifikasi. Dalam pengujian akan dilakukan 3 kali dengan jumlah dataset yang berbeda seperti yang telah ditentukan pada tabel 2

(6)

Pengujian Total Dataset

1 1000

2 2000

3 3000

3.5 Evaluasi Confusion Matrix

Evaluasi confusion matrix dilakukan untuk mengetahui akurasi dari hasil klasifikasi algoritma. Metode ini terdiri dari True Positive, True Negative, False Positive, dan False Negatuve. Setelah didapat data dari confusion matrix barulah accuracy, recall dan precission dapat dihitung.

3.5.1 Pengujian 1

Tabel 8. Hasil Pengujian 1 Predicted Values Positive Negative

Positive 70 (TP) 1 (FP)

Negative 19 (FN) 10 (TN)

Hasil pengujian pertama dapat dilihat dalam tabel 3, menunjukan nilai true positive (TP) adalah 22, false positive (FP) bernilai 1, false nehative (FN) bernilai 19, dan true negative (TN) bernilai 10.

Tabel 9. Hasil Pengujian 2

Predicted Class Actual Class Positive Negative

Tabel 10. Hasil Pengujian 3

Predicted Class Actual Class Positive Negative

3.6 Evaluasi Hasil Pengujian

Tabel 11. Hasil Pengujian

Pengujian Accuracy Precission Recall

1 80% 91% 35%

2 80% 93% 53%

3 85% 96% 64%

Setelah dilakukan pengujian 3 kali dengan algoritma naïve bayes classifier, menghasilkan akurasi pada pengujian pertama sebesar 80%, pengujian kedua sebesar 80%, dan pengujian ke tiga didapatkan akurasi sebesar 85%. Dari tabel 6 dapat dilihat nilai rata-rata dari accuracy, precissionm dan recall

4. KESIMPULAN

Setelah melakukan penelitian ini dapat diambil kesimpulan bahwa Algoritma Naïve Bayes Classifier dapat melakukan analisis sentimen dengan benar dan melakukan klasifikasi secara otomatis setelah melalui tahapan- tahapan proses, yaitu Preprocessing data, pembobotan kata, membuat model untuk klasifikasi otomatis dan dibuatnya data training untuk melatih klasifikasi pada data testing. Tahapan proses tersebut dapat berjalan dengan baik dan mengklasifikasikan data dengan parameter positif dan negatif. Setelah dilakukan 3 kali pengujian didapatkan hasil akurasi 80%, 80%, dan 85%. Didapatkan hasil akurasi paling tinggi pada pengujian terakhir yakni

(7)

sebesar 85%. Dengan pengujian menggunakan 3 dataset yang memiliki jumlah data yang berbeda, dan setelah mendapatkan hasil tingkat akurasi dari proses analisis sentimen dapat disimpulkan bahwa jumlah dataset dalam pengujian sangat berpengaruh terhadap tingkat akurasi Algoritma Naïve Bayes Classifier. Hal ini ditunjukan oleh hasil tingkat akurasi pada pengujian ketiga dengan 3000 dataset mendapatkan nilai akurasi 85%, lebih besar daripada pengujian pertama dengan 1000 dataset yang hanya memiliki akurasi sebesar 80%.

REFERENCES

[1] A. Shelar and C. Y. Huang, “Sentiment analysis of twitter data,” 2018, doi: 10.1109/CSCI46756.2018.00252.

[2] D. S. Pamungkas, N. A. Setiyanto, and E. Dolphina, “Analisis Sentiment Pada Sosial Media Twitter Menggunakan Naive Bayes Classifier Terhadap Kata Kunci ‘Kurikulum 2013’’,’” vol. 14, no. 4, pp. 299–314, 2015.

[3] M. D. R. W. Wahyudi, “Analisis sentimen ujaran kebencian pemilihan presiden 2019 menggunakan algoritme Naïve Bayes,” JNANALOKA, 2020, doi: 10.36802/jnanaloka.2020.v1-no1-12.

[4] B. M. Pintoko and K. M. L, “Analisis Sentimen Jasa Transportasi Online pada Twitter Menggunakan Metode Naïve Bayes Classifier,” e-Proceeding Eng., 2018.

[5] D. Olivita, Y. Vitriani, J. Teknik Informatika, F. Sains dan Teknologi, U. H. Sultan Syarif Kasim Riau Jl Soebrantas No, and S. Baru, “Perbandingan Klasifikasi Tugas Akhir Mahasiswa Jurusan Teknik Informatika Menggunakan Metode Naïve Bayes Classifier dan K-Nearest Neighbor,” J. Sains, Teknol. dan Ind., vol. 14, no. 1, pp. 79–85, 2016.

[6] U. Rofiqoh, R. S. Perdana, and M. A. Fauzi, “Analisis Sentimen Tingkat Kepuasan Pengguna Penyedia Layanan Telekomunikasi Seluler Indonesia Pada Twitter Dengan Metode Support Vector Machine dan Lexion Based Feature,” J.

Pengemb. Teknol. Inf. dan Ilmu Komput. Univ. Brawijaya, vol. 1, no. 12, pp. 1725–1732, 2017, [Online]. Available:

http://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/628.

[7] S. Budi, “Text Mining Untuk Analisis Sentimen Review Film,” Techno.COM, vol. 16, no. 1, pp. 1–8, 2017.

[8] F. Ratnawati, “Implementasi Algoritma Naive Bayes Terhadap Analisis Sentimen Opini Film Pada Twitter,” INOVTEK Polbeng - Seri Inform., vol. 3, no. 1, p. 50, 2018, doi: 10.35314/isi.v3i1.335.

[9] C. C. Aggarwal and C. X. Zhai, Mining text data, vol. 9781461432234. 2013.

[10] C. Troussas, M. Virvou, K. J. Espinosa, K. Llaguno, and J. Caro, “Sentiment analysis of Facebook statuses using Naive Bayes Classifier for language learning,” 2013, doi: 10.1109/IISA.2013.6623713.

[11] R. Feldman and J. Sanger, The Text Mining Handbook. 2006.

[12] J. Han, M. Kamber, and J. Pei, Data Mining: Concepts and Techniques. 2012.

[13] R. Ferdiana, F. Jatmiko, D. D. Purwanti, A. S. T. Ayu, and W. F. Dicka, “Dataset Indonesia untuk Analisis Sentimen,”

J. Nas. Tek. Elektro dan Teknol. Inf., vol. 8, no. 4, p. 334, 2019, doi: 10.22146/jnteti.v8i4.533.

[14] A. Rahman, W. Wiranto, and A. Doewes, “Online News Classification Using Multinomial Naive Bayes,” ITSMART J.

Teknol. dan Inf., vol. 6, no. 1, pp. 32–38, 2017.

[15] F. Handayani and S. Pribadi, “Implementasi Algoritma Naive Bayes Classifier dalam Pengklasifikasian Teks Otomatis Pengaduan dan Pelaporan Masyarakat melalui Layanan Call Center 110,” J. Tek. Elektro, vol. 7, no. 1, pp. 19–24, 2015, doi: 10.15294/jte.v7i1.8585.

[16] N. Saputra, T. B. Adji, and A. E. Permanasari, “Analisis Sentimen Data Presiden Jokowi dengan Preprocessing Normalisasi dan Stemming Menggunakan Metode Naive Bayes dan SVM,” J. Din. Inform., vol. 5, no. November, p. 12, 2015.

[17] A. H. Setianingrum, D. H. Kalokasari, and I. M. Shofi, “Implementasi Algoritma Multinomial Naive Bayes Classifier,”

J. Tek. Inform., vol. 10, no. 2, pp. 109–118, 2018, doi: 10.15408/jti.v10i2.6822.