Klasifikasi Sentimen Publik Terhadap Jenis Vaksin Covid-19 yang Tersertifikasi WHO Berbasis NLP dan KNN

(1)

Klasifikasi Sentimen Publik Terhadap Jenis Vaksin Covid-19 yang Tersertifikasi WHO Berbasis NLP dan KNN

Primandani Arsi^*, Iphang Prayoga, Muhammad Hasyim Asyari Fakultas Ilmu Komputer, Informatika, Universitas Amikom Purwokerto, Banyumas, Indonesia Email: ^1*ukhti.prima@amikompurwokerto.ac.id, ²iphangprayoga@gmail.com,³pon.jdev@gmail.com

Email Penulis Korespondensi: ukhti.prima@amikompurwokerto.ac.id

Abstrak−Epidemi virus corona menjadi wabah pada akhir tahun 2019 diseluruh dunia. Sebagian orang menghadapi pandemi tersebut dengan emosi ketakutan yang berlebihan atau bahkan ada yang biasa saja. Ungkapan emosi ketakutan tersebut dituangkan oleh mereka dalam situs jejaring sosial, dimana jejaring sosial pada masa ini menjadi sarana umum bagi sebagian orang untuk mengekspresikan emosi. Twitter menjadi sarana publik yang paling umum dalam meluapkan bentuk emosi masyarakat dipenjuru dunia sekarang ini. Guna mengakhiri pandemi ini beberapa perusahan berusaha mengembangkan vaksin covid-19, diantaranya Pfizer, AstraZeneca, dan Moderna yang telah mendapatkan lisensi dari organisasi kesehatan dunia (WHO). Namun penemuan vaksin tersebut tidak selalu disambut baik oleh sebagian masyarakat dunia. Hal ini karena dampak pasca vaksin dan jangka waktu pengembangan vaksin yang dinilai terlalu singkat untuk pengembangan sebuah vaksin. Dalam penelitian ini dilakukan analisis sentimen berdasarkan sentimen publik pada situs jejaring sosial twitter terkait jenis vaksi n covid-19 yang telah mendapatkan lisensi dari WHO menggunakan NLP (Natural Language Processing) dan algoritma machine learning. Tujuan dari penelitian ini adalah untuk mengetahui sentimen yang beredar di twitter terhadap vaksin yang tersertifikasi WHO yakni Pfizer, Moderna dan AstraZeneca berbasis NLP sebagai penentu kebijakan dan sumber referensi bagi masyarakat awam. Berdasarkan hasil penelitian yang dilakukan, sentimen poritif tertinggi pada jenis vaksin Pfizer disusul Moderna yakni 47,30% dan 46,20%. Sementara vaksin AstraZeneca mendapat peringkat sentimen terendah dari ketiganya yakni 40,09%. Kesimpulan dari penelitian ini adalah masyarakat lebih percaya pada jenis vaksin Pfizer dibandingkan dengan jenis vaksin lainnya.

Kata Kunci: Pfizer; Moderna; AstraZeneca

Abstract−The corona virus epidemic became an epidemic at the end of 2019 in the world. Some people are going through a pandemic with fear or even just being normal. The expression of fear, they discussed on social media. Now, social media is a means for some people to express their emotions namelly twitter. In order to end this pandemic the company is trying to develop a covid-19 vaccine, such as Pfizer, AstraZeneca, and Moderna which have obtained licenses from the World Health Organization (WHO). However, the discovery of the vaccine was not welcomed by some people. This is because of the post- vaccine impact and the vaccine development period which is considered too short. In this study, sentiment analysis was carried out based on public sentiment on Twitter social media about the covid-19 vaccine that has obtained a license from WHO uses NLP (Natural Language Processing) and machine learning algorithms. The purpose of this research is to find out the sentiment circulating on Twitter towards WHO-certified vaccines such as Pfizer, Moderna and AstraZeneca based on NLP as decision makers and sources of reference for the general public. Based on the research results, the highest positive sentiment was the Pfizer vaccine then Moderna, namely 47.30% and 46.20%. Meanwhile, the AstraZeneca vaccine received the lowest sentiment rating of the three, namely 40.09%.

Keywords: Pfizer; Moderna; AstraZeneca

1. PENDAHULUAN

Epidemi virus corona menjadi wabah pada akhir tahun 2019 diseluruh dunia. Virus ini diketahui dari Wuhan, China dan menyebar cepat di berbagai negara [1]. Berdasarkan data WHO tercatat korban terbanyak pada kasus pandemi covid-19 ini terjadi di negara Amerika Serikat dengan total kasus aktif per 17 November 2021 sebanyak 47,3 juta kasus dan korban meninggal dunia sebanyak 765 ribu. Banyaknya korban kasus covid-19 tersebut menjadikan sebagian besar masyarakat dunia dilanda rasa ketakutan [2][3].

Banyak negara yang menerapkan kebijakan tertentu untuk membatasi warganya dalam rangka pencegahan penularan virus yang mematikan ini [4]. Sebagian orang menghadapi pandemi tersebut dengan emosi ketakutan yang berlebihan atau bahkan ada yang biasa saja. Ungkapan emosi ketakutan tersebut dituangkan oleh mereka dalam situs jejaring sosial, dimana jejaring sosial pada masa ini menjadi sarana umum bagi sebagian orang untuk mengekspresikan emosi [3].

Twitter menjadi sarana publik yang paling umum dalam meluapkan bentuk emosi masyarakat dipenjuru dunia sekarang ini [5]. Diketahui bahwa twitter menjadi platform media sosial dengan urutan nomor satu didunia terkait dengan self expression, personal branding dan self disclosure lainnya [6]. Twitter dilengkapi dengan fitur menarik seperti direct message, trending topics, followers dan following, latest news, twitter search, dan fitur terbaru seperti liked, thread, comment dan reply[7]. Hal inilah yang menjadikan twitter menjadi platform yang selalu update dalam topik perbincangan masyarakat terkini, tidak terkecuali topik covid-19 [8].

Guna mengakhiri pandemi ini beberapa perusahan berusaha mengembangkan vaksin covid-19, diantaranya Pfizer, AstraZeneca, dan Moderna yang telah mendapatkan lisensi dari organisasi kesehatan dunia (WHO) [9].

Namun penemuan vaksin tersebut tidak selalu disambut baik oleh sebagian masyarakat dunia. Hal ini karena dampak pasca vaksin dan jangka waktu pengembangan vaksin yang dinilai terlalu singkat untuk pengembangan sebuah vaksin[10][11]. Sentimen kemudian merujuk ke bebrapa jenis vaksin yang dikembangkan oleh beberapa

(2)

Primandani Arsi, Copyright © 2023, MIB, Page 261 negara dan telah mendapat lisensi dari organisasi kesehatan dunia (WHO). Sentimen tersebut berkembang pesat di jejaring sosial twitter, hal ini menjadikan masyarakat awam yang belum mendapatkan vaksinasi berusaha mencari referensi berupa testimoni dari masyarakat di media sosial melalui penilaian terhadap beberapa jenis vaksin.

Twitter telah menjadi sumber data yang paling populer untuk pengumpulan data guna penelitian sentimen analisis dan sebagainya. Jia Xue dkk pada tahun 2021 menggunakan beberapa tagar untuk mengekstrak data dari twitter guna menganalisis sentimen dengan menerapkan algoritma machine learning pada data tersebut [12].

Dalam penelitian tersebut dihasilkan bahwa sentimen “rasa takut” menjadi wordcloud yang paling signifikan dalam sentimen covid-19. Penelitian oleh Pristiyono dkk pada tahun 2021, data twitter diekstraksi secara manual dengan teknik crawling menggunakan fungsi API twitter dengan keywords “vaccine” dan “covid-19”.

Dalam penelitiannya algoritma Naive Bayes diterapkan pada analisa sentimen dan ditemukan bahwa sebagian besar tweet mengandung sentimen negatif [13]. Penelitian selanjutnya oleh Nemes dan Attila pada tahun 2021, dalam penelitiannya ekstraksi data dari twitter menggunakan keywords “Covid-19”. Data tersebut sebelumnya diolah dengan teknik NLP dan klasifikasi sentimen dengan menggunakan algoritma RNN [14].

Penelitian selanjutnya dilakukan oleh Hung dkk pada tahun 2020, penelitian dilakukan dengan mengekstrak data mentah dari twitter menggunakan daftar kata kunci/keywords list. Untuk menentukan kata kunci yang tepat dilakukan sensus dua siklus.

Data mentah dilakukan preprocessing dengan teknik NLP dan pemodelan topik digunakan untuk menentukan struktur semantik dari tweet yang diproses menggunakan algoritma LDA. Polaritas tweet dibagi 3;

positif, negatif, netral dengan implementasi metode VADER (valence aware dictionary and sentiment reasoner)[15].

Terkait topik vaksin covid-19 ditwitter, terdapat beberapa penelitian sebelumnya dengan metode machine learning. Salah satu diantaranya adalah penelitian oleh Fitriana dkk tahun 2021. Dalam penelitiannya dataset yang digunakan adalah tweet berbahasa Indonesia berjumlah 1000 record, dengan interval waktu 1 tahun yakni awal tahun 2021 sampai dengan akhir tahun 2021. Klasifikasi sentimen vaksin covid-19 dilakukan dengan implementasi SVM dan Naive Bayes yang kemudian dibandingkan hasilnya untuk mendapatkan model dengan akurasi terbaik [16]. Penelitian selanjutnya dengan topik penelitian yang sama yakni terkait sentimen vaksin covid-19 oleh M.Lestady dkk pada tahun 2021.

Data tweet berbahasa Indonesia sebanyak 5000 record dengan 3800 sentimen positif, 800 negatif dan 400 netral. Pada teknik teks processing penulis menerapkan 4 tahapan yakni; remove punctuation, case folding, stemming dan tokenizing. Selanjutnya pemodelan dilakukan dengan penerapan algoritma RNN dan Naive Bayes dengan berbasis TF-IDF pada tiap algoritma untuk memberikan bobot pada hubungan kata (term) [17].

Penelitian selanjutnya dengan menggunakan metode yang sama seperti yang disusulkan yakni KNN, oleh Saidah dkk pada tahun 2020. Dalam penelitinnya metode machine learning KNN efektif diterapkan untuk pemodelan pada sentimen analisis dompet elektronik. Data unstructure yang bersumber dari twitter dengan keyword OVO, GOPAY dan LinkAja digunakan dalam penelitian ini. Selanjutnya sentimen pada masing-masing keywoard tersebut dibandingkan berdasarkan kelasnya [18].

Selanjutnya dengan metode KNN dalam ekperimen yang dilakukan oleh Putra & Juanita tahun 2021 menerapkan metode tersebut sebagai implementasi modelling pada analisa sentimen ulasan pengguna aplikasi bibit dan bareksa. Data ustructured yang digunakan dalam penelitian ini berupa 484 ulasan positif, 514 ulasan negatif pada sentimen aplikasi bareksa dan 541 ulasan positif serta 522 ulasan negatif pada ulasan aplikasi bibit.

Dengan pembagian data training dan tesing sebanyak 60:40 menghasilkan akurasi sebesar 85,14% untuk data bareksa dan 81,70% pada data bibit [19].

Berdasarkan latar belakang diatas, usulan dalam penelitian yang akan dilakukan adalah analisis sentimen berdasarkan sentimen publik pada situs jejaring sosial twitter terkait jenis vaksin covid-19 yang telah mendapatkan lisensi dari WHO menggunakan NLP (Natural Language Processing) dan algoritma machine learning. Usulan Algoritma machine learning dalam penelitian ini adalah KNN. KNN adalah supervised learning algorithm, hasil query instance yang baru kemudian diklasifikan berdasarkan mayoritas dari kategori pada algoritma KNN. Kelas dengan kemunculan terbanyak nantinya akan menjadi hasil dari klasifikasi.

Adapun data yang digunakan dalam penelitian ini adalah tweet terkait vaksin covid-19 merk Pfizer, AstraZeneca dan Moderna. Data tweet dari sentimen yang berkaitan dengan keyword tersebut diatas nantinya dilakukan teknik preprocessing menggunakan NLP. Data teks yang diproses selanjutnya ditentukan polaritas dan subjektivitas untuk klasifikasi sentimen, hal ini dikarenakan algoritma machine learning tidak dapat mengklasifikasi data teks [20]. Selanjutnya proses klasifikasi dengan algoritma KNN digunakan untuk pemodelan klasifikasi menjadi 3 (positif, negatif dan netral).

Kelas-kelas tersebut nantinya menentukan sentimen tweet tentang tiga jenis vaksin (Pfizer, AstraZeneca dan Moderna). Tujuan dari penelitian ini adalah untuk mengetahui sentimen yang beredar di twitter terhadap vaksin yang tersertifikasi WHO yakni Pfizer, Moderna dan AstraZeneca berbasis NLP sebagai penentu kebijakan dan sumber referensi bagi masyarakat awam.

(3)

2. METODOLOGI PENELITIAN

Dalam usulan ini, sebuah sistem diusulkan untuk menganalisis tweet tentang tiga vaksin COVID-19 (Pfizer, Moderna, dan AstraZeneca) dan menunjukkan sentimen positif/negatif/netral dalam teks menggunakan Natural Language Processing (NLP) dan algoritma machine learning KNN. Untuk mengimplementasikan sistem, pertama data tweet diambil dari Twitter dengan pencarian standar Twitter menggunakan Library Tweepy, dan data yang diambil disimpan dalam format file CSV. Data tersebut selanjutnya diproses terlebih dahulu karena berisi karakter khusus, hyperlink, retweet, emoji, dan stiker. Natural Language Processing digunakan untuk preprocessing data teks agar dapat diimplementasikan pada proses klasifikasi menggunakan algoritma machine learning KNN.

Setelah menghapus karakter khusus, proses selanjutnya adalah tokenisasi. Output proses tokenisasi selanjutnya dilakukan normalisasi dan lemmatisasi data. Setelah data diolah menggunakan NLP tahap selanjutnya adalah penentuan polaritas dan subjektivitasnya [21]. Pengklasifikasian KNN digunakan untuk klasifikasi data berdasarkan polaritas. Tahap terakhir, visualisasi data dilakukan pada data yang diklasifikasikan dan dianalisis lebih lanjut untuk perbandingan. Metode penelitian diilustrasikan seperti tampak dalam gambar 1 berikut.

Gambar 1. Metode Penelitian 2.1 Dataset

Data sentimen publik yang diusulkan dalam penelitian ini adalah vaksin covid-19 yang diperoleh dalam rentang waktu 17 November 2021 s.d 21 Februari 2022. Data diperoleh dari ekstraksi tweet melalui API twitter. Kata kunci yang disimpan kemudian menjadi objek autentifikasi. Selanjutnya “access token” dan “acces token secret “ akan di autentifikasi twitter. Gambar berikut merupakan alur kerja proses autentifikasi. Adapun target ekstraksi tweets dilakukan untuk 3 jenis vaksin yakni pfizer, moderna dan astrazaneca.

Gambar 2. Proses autentifikasi 2.2 Preprocessing

Preprocessing data dilakukan terhadap data mentah agar dapat diolah ketahap selanjutnya yakni machine learning.

Pada penelitian ini preprocessing dilakukan menggunakan metode NLP. Diawali dari data teks yang dirubah dalam bentuk lower case. Selanjutnya kata yang tidak memiliki makna dihapus dengan fungsi stopword. Adapun daftar

(4)

Salah satu preprocessing penting di penelitian ini adalah proses penggantian emoji. Selanjutnya proses penghapusan karakter khusus, seperti URL, HTML, dll. Terakhir tokenisasi, normalisasi lemmitisasi pada data teks, tampak dalam gambar 3 berikut.

Gambar 3. Preprocessing data 2.3 Polarisasi dan subjektivitas

Analisa sentimen sangat bergantung pada polarisasi dan subjektivitas dari teks. Subjektivitas berisi fakta, opini dan keinginan sedangkan polaritas mengandung luapan perasaan (emosi). Polaritas dan subjektivitas dari sebuah teks sangat diperhitungkan dalam analisa sentimen, dalam penelitian ini digunakan library python pada proses NLP berupa TextBlob. Dari data polaritas dan subjektivitas mean, median, rata-rata minimum, rata-rata maksimum dihitung pada setiap jenis vaksin. Adapun polaritas rata-rata maksimum dihitung per 10 tweet. Berikut merupakan persamaan yang digunakan dalam perhitungan.

mean = ^Ƹx

n (1)

median = ⁿ⁺¹

2 (2)

average min = (n−1)min+max

n (3)

average max = min+(n−1)max

n (4)

2.4 Klasifikasi KNN

Klasifikasi data teks diimplementasikan berdasarkan nilai polaritas. Tweet yang mengandung polaritas lebih besar (>=0) dari 0 adalah tweet positif. Tweet yang memiliki skor kurang dari 0 (<0) adalah tweet negatif dan tweet yang memiliki polaritas sama dengan 0 adalah tweet netral. Guna memperoleh hasil klasifikasi algoritma KNN di implementasikan pada data. KNN bekerja dengan mengambil sejumlah k paling dekat (tetangga) untuk acuan penentuan kelas dari data baru. KNN mengklasifikasi teks berdasarkan similarity atau kedekatanya terhadap data lain. Algoritma KNN mengklasifikasikan berdasarkan polaritas tweet. Polarisasi dibagi menjadi 3 kelas yakni,

(5)

Primandani Arsi, Copyright © 2023, MIB, Page 264 positif , negarif dan netral. Selanjutnya hasil klasifikasi akan disimpan dan dianalisis.Gambar 4 berikut merupakan alur kerja klasifikasi dengan KNN. Sedangkan jarak euclidean, dihitung dengan persamaan 4 berikut.

d (p, q) = √∑ⁿ₁₌₁(q₁− p₁)² (5)

Gambar 4. Alur klasifikasi KNN

3. HASIL DAN PEMBAHASAN

Data teks hasil crawling sebanyak 3800 tweet yang telah melalui tahap preprocessing selanjutnya melalui tahap polaritas dan subjektivitas agar dapat diimplementasikan pada algoritma KNN. Visualisasi tweet hasil klasfikasi ditunjukan dalam bentuk wordcloud. Wordcloud menunjukan kata yang paling banyak muncul dalam data berdasarkan kategori yang berbeda. Gambar 5 berikut merupakan hasil wordcloud dari tweet Pfizer, Moderna dan AstraZeneca. Polarisasi dan subjektivitas dari tweet tiga vaksin tersebut dihitung berdasarkan mean, median, rata- rata minimum dan rata-rata maximum ditunjukan dalam tabel 1 berikut.

Tabel 1. Hasil perhitungan polarisai dan subjektivitas Polarisasi

Vaksin mean median amin amax mean median amin amax

Pfizer 0,1332 0 -1 0 0,3401 0,3333 0 1

Moderna 0,1143 0 -1 0 0,3481 0,375 0 1

AstraZeneca 0,0783 0 -1 0 0,3049 0,3 0 1

Gambar 5. Wordcloud vaksin pfizer, moderna dan astrazeneca

Rerata maksimum dihitung dari polaritas 10 tweet. Hasil perhitungan kemudian disimpan dan divisualisasakn pada gambar 6 berikut. Sedangkan nilai dari polaritas dan subjektivitas pada masing-masing vaksin ditunjukan melalui diagram batang berikut (gambar 6).

(6)

Teks yang dirubah berdasarkan skor pada polaritas selanjutnya digunakan untuk klasifikasi algoritma KNN, sebab KNN tidak dapat mengolah data dalam bentuk teks. Hasil polarisasi menunjukan sentimen dari teks.

Algoritma KNN mengklasifikan skor pada 3 kelas yakni kelas positif, kelas negatif dan kelas netral untuk ketiga vaksin (pfizer, moderna dan astraZeneca. Hasil klasifikasi ditunjukan pada tabel 2.

Tabel 2. Hasil klasifikasi sentimen Name Positive Negative Netral

Pfizer 47,3 37,4 15,2

Moderna 46,2 40,7 13,15

AstraZeneca 40,09 46,05 13,86

Berdasarkan hasil klasifikasi yang ditunjukan pada tabel 2 diatas dari ketiga vaksin tersebut memiliki prosesntase yang berbeda dimana pada pfizer memiliki nilai positive tertinggi dari pada polaritas lainnya;

positif=47,30%, negatif=37,4% dan netral=15,20%. Begitu pula pada hasil klasifikasi vaksin moderna prosentasae positif memiliki nilai lebih besar yakni positif=46,20, negatif=40,7% dan netral=13,15%. Namun pada astraZeneca polaritas terbesar pada sentimen negatif =46,05, positif=40,09% dan netral 13,86%. Data dalam tabel 3 diatas juga disajikan visualisasinya dalam bentuk diagram batang berikut (gambar 8).

Gambar 6. Hasil klasifikasi Pfizer, Moderna, AstraZeneca

4. KESIMPULAN

Dalam penelitian ini eksperimen dilakukan dengan objek data teks vaksin covid-19 sebanyak 3800 sentimen yang didapatkan melalui proses crawling. Eksperimen dilakukan dengan melalukan preprocessing menggunakan

(7)

Primandani Arsi, Copyright © 2023, MIB, Page 266 metode NLP dan klasifikasi tweet dilakukan menggunakan Algoritma KNN. Berdasarkan hasil penelitian yang dilakukan, sentimen poritif tertinggi pada jenis vaksin Pfizer disusul Moderna yakni 47,30% dan 46,20%.

Sementara vaksin AstraZeneca mendapat peringkat sentimen terendah dari ketiganya yakni 40,09%. Kesimpulan dari penelitian ini adalah masyarakat lebih percaya pada jenis vaksin Pfizer dibandingkan dengan jenis vaksin lainnya.

UCAPAN TERIMAKASIH

Ucapan terimakasih kepada LPPM Universitas Amikom Purwokerto, telah memberikan apresiasi kepada tim peneliti dalam bentuk pendanaan melalui Hibah Internal Tahun 2022.

REFERENCES

[1] N. R. Yunus and A. Rezki, “Kebijakan Pemberlakuan Lockdown Sebagai Antisipasi Penyebaran Corona Virus Covid- 19,” J. Sos. Budaya Syar-i, vol. 7, no. April, 2020.

[2] Y. Dong et al., “Epidemiological Characteristics of 2143 Pediatric Patients With 2019 Coronavirus Disease in China Epidemiology of COVID-19,” Pediatrics, 2020.

[3] I. M. Agung, “Memahami Pandemi COVID-19 dalam Perspektif Psikologi Sosial,” Psikobuletin Bul. Ilm. Psikol., vol.

1, no. 2, pp. 68–84, 2020.

[4] A. Celani and P. Giudici, “Endemic – epidemic models to understand COVID-19 spatio-temporal evolution,” Spat. Stat., no. xxxx, p. 100528, 2021.

[5] C. Gu and A. Kurov, “Informational Role of Social Media: Evidence from Twitter Sentiment Assistant,” Pre-Proof, 2020.

[6] Y.-P. Lee, H. Tsai, and J.-S. Wu, “Exploring the Impact of User Personality and Self- Disclosure on the Continuous Use of Social Media,” J. Econ. Bus., vol. 3, no. 4, pp. 1324–1343, 2020.

[7] I. F. Ramadhy and Y. Sibaroni, “Analisis Trending Topik Twitter dengan Fitur Ekspansi FastText Menggunakan Metode Logistic Regression,” J. Ris. Komputer), vol. 9, no. 1, pp. 2407–389, 2022.

[8] D. Alita, Y. Fernando, and H. Sulistiani, “IMPLEMENTASI ALGORITMA MULTICLASS SVM PADA OPINI PUBLIK BERBAHASA INDONESIA DI TWITTER,” Teknokompak, vol. 14, no. 2, pp. 86–91, 2020.

[9] I. Knezevic et al., “WHO International Standard for evaluation of the antibody response to COVID-19 vaccines : call for urgent action by the scientific community,” The Lancet Microbe, vol. 5247, no. 21, pp. 1–6, 2021.

[10] N. F. Octarina, E. Kongres, and M. Mardika, “Urgensi Penemuan Vaksin Covid-19 sebagai Hak Milik Publik,” Pandecta Res. Law J., vol. 16, no. 1, pp. 106–119, 2021.

[11] P. Lumbanraja, “Pengaruh Karakteristik Individu , Gaya Kepemimpinan dan Budaya Organisasi terhadap Kepuasan Kerja dan Komitmen Organisasi ( Studi pada Pemerintah Daerah di Provinsi Sumatera Utara ),” Dikti, vol. 7, no. NO.

43/DIKTI/KEP/2008 ISSN: 1693-5241, 2009.

[12] J. Xue et al., “Twitter Discussions and Emotions About the COVID-19 Pandemic : Machine Learning Approach,” J. Med.

INTERNET Res., vol. 22, no. 11, pp. 1–14, 2020.

[13] Pristiyono, M. Ritonga, M. A. Al Ihsan, A. Anjar, and F. H. Rambe, “Sentiment analysis of COVID-19 vaccine in Indonesia using Naïve Bayes Algorithm,” in Annual Conference on Computer Science and Engineering Technology (AC2SET) 2020, 2021.

[14] L. Nemes and A. Kiss, “Social media sentiment analysis based on COVID-19,” J. Inf. Telecommun., vol. 5, no. 1, pp. 1–

15, 2021.

[15] M. Hung et al., “Social Network Analysis of COVID-19 Sentiments : Application of Artificial Intelligence Corresponding Author :,” vol. 22, pp. 1–13, 2020.

[16] F. Fitriana, E. Utami, and H. Al Fatta, “Analisis Sentimen Opini Terhadap Vaksin Covid-19 pada Media Sosial Twitter Menggunakan Support Vector Machine dan Naive Bayes,” J. Komtika (Komputasi dan Inform., vol. 5, no. 1, pp. 19–25, 2021.

[17] M. Lestandy, A. Abdurrahim, and L. Syafa’ah, “Analisis Sentimen Tweet Vaksin COVID-19 Menggunakan Recurrent Neural Network dan Naive Bayes,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 5, no. 10, pp. 802–808, 2021.

[18] S. Saidah and J. Mayary, “ANALISIS SENTIMEN PENGGUNA TWITTER TERHADAP DOMPET ELEKTRONIK DENGAN METODE LEXICON BASED DAN K – NEAREST NEIGHBOR,” J. Ilm. Inform. Komput., pp. 1–17, 2020.

[19] A. D. A. Putra and S. Juanita, “Analisis Sentimen Pada Ulasan Pengguna Aplikasi Bibit Dan Bareksa Dengan Algoritma KNN,” J. Tek. Inform. dan Sist. Inf., vol. 8, no. 2, pp. 636–646, 2021.

[20] F. M. J. M. Shamrat, P. Ghosh, M. H. Sadek, M. A. Kazi, and T. M. Shitab, “Implementation of Machine Learning Algorithms to Detect the Prognosis Rate of Kidney Disease Implementation of Machine Learning Algorithms to Detect the Prognosis Rate of Kidney Disease,” Accel. ing world’s Res., 2020.

[21] P. Ghosh et al., “Efficient Prediction of Cardiovascular Disease Using Machine Learning Algorithms With Relief and LASSO Feature Selection Techniques,” IEEE Access, vol. 9, 2021.