Analisis Sentimen Berbasis Aspek Ulasan Aplikasi Mobile JKN dengan Lexicon Based dan Naïve Bayes
Salsabila Roiqoh, Badrus Zaman*, Kartono
Fakultas Sains dan Teknologi, Sistem Informasi, Universitas Airlangga, Surabaya, Indonesia Email: 1salsabila.roiqoh-2019@fst.unair.ac.id, 2,*badruszaman@fst.unair.ac.id, 3kartono@fst.unair.ac.id
Email Penulis Korespondensi: badruszaman@fst.unair.ac.id
Abstrak−Badan Penyelenggara Jaminan Sosial (BPJS) Kesehatan adalah badan hukum penyelenggara program jaminan kesehatan masyarakat. Pada tahun 2017, BPJS Kesehatan merilis aplikasi Mobile JKN untuk menunjang berbagai kegiatan layanan Kesehatan dengan menggunakan device masing-masing. Mobile JKN seharusnya mampu memberikan layanan terbaik bagi masyarakat. Namun, aplikasi Mobile JKN masih belum sepenuhnya mendapatkan presepsi publik yang positif dan masih memiliki banyak kekurangan. Berdasarkan hal tersebut, maka perlu dilakukan evaluasi dan analisis lebih dalam untuk aplikasi Mobile JKN. Penelitian ini berfokus pada analisis sentimen berbasis aspek ulasan pengguna pada Google Play Store untuk mengevaluasi aplikasi Mobile JKN. Data ulasan yang digunakan adalah 2 versi terakhir yaitu 4.2.3 dan 4.3.0. Penelitian ini dilakukan dengan pemodelan aspek/topik menggunakan metode Latent Dirichlet Allocation dan analisis sentimen menggunakan Naïve Bayes dan Lexicon Based. Penelitian ini menghasilkan 3 aspek yaitu Pelayanan dan Fitur, Register dan Login, dan Kepuasan Pengguna. Hal ini didapatkan berdasarkan model dengan nilai coherence score tertinggi sebesar 0,6392 yang diperoleh pada looping model dengan jumlah topik 1 hingga 9, random state = 42, passes = 50, dan iteration = 60 dan 70.
Sedangkan hasil analisis sentimen, metode Naïve Bayes lebih baik dibandingkan Lexicon Based (Inset Lexicon). Hal ini terlihat dari hasil evaluasi Naïve Bayes yang lebih unggul, Naïve Bayes mendapatkan nilai akurasi tertinggi 94,75% sedangkan lexicon based dengan Inset Lexicon mendapatkan akurasi sebesar 59,99%.
Kata Kunci: Aspect Based Sentiment Analysis (ABSA); Latent Dirichlet Allocation; Lexicon Based; Naïve Bayes; Text Mining; Topic Modeling.
Abstract−Badan Penyelenggara Jaminan Sosial (BPJS) Kesehatan is a legal entity that provides social health insurance programs for the public released application called Mobile JKN to support various health services activities using users devices.
Mobile JKN has not fully received a positive public perception and still has many shortcomings. It is necessary to conduct a deeper evaluation and analysis of the Mobile JKN. This study focuses on aspect-based sentiment analysis of user reviews on the Google Play Store to evaluate the Mobile JKN. The review data used are the last two versions, 4.2.3 and 4.3.0. This study was carried out by modeling aspects/topics using the Latent Dirichlet Allocation method and sentiment analysis using Naïve Bayes and Lexicon-Based methods. This research resulted in 3 aspects, namely Services and Features, Register and Login, and User Satisfaction. This was obtained based on the model with the highest coherence score of 0.6392 obtained in the model looping with the number of topics from 1 to 9, random state = 42, passes =50, and iteration = 60. Meanwhile, based on the sentiment analysis results, the Naïve Bayes method is better than the Lexicon-Based (Inset Lexicon) method. This is evident from performance of the Naïve Bayes with the highest accuracy score of 94.75% and Lexicon Based with Inset Lexicon obtained an accuracy score of 59.99%.
Keywords: Aspect Based Sentiment Analysis (ABSA); Latent Dirichlet Allocation; Lexicon Based; Naïve Bayes; Text Mining;
Topic Modeling.
1. PENDAHULUAN
Kesehatan merupakan hak asasi yang harus dipenuhi oleh negara untuk kesejahteraan rakyatnya[1]. Sebagai bentuk upaya negara memberikan pelayanan kesehatan, Pemerintah membentuk Badan Penyelenggara Jaminan Sosial (BPJS) Kesehatan. Badan Penyelenggara Jaminan Sosial (BPJS) Kesehatan adalah badan hukum penyelenggara program jaminan kesehatan masyarakat yang menyelenggarakan program Jaminan Kesehatan Nasional-Kartu Indonesia Sehat (JKN-KIS) sebagai program perlindungan dan penjaminan atas pemenuhan kesehatan masyarakat dengan membayarkan iuran pada pemerintah. Hingga September 2022, peserta program JKN sudah mencapai 244.600.449 jiwa [2].
Untuk meningkatkan pelayanan kesehatan pada peserta JKN, pada tahun 2017, BPJS Kesehatan merilis aplikasi Mobile JKN. Aplikasi ini mampu menunjang berbagai kegiatan layanan Kesehatan dengan menggunakan device masing-masing [3]. Aplikasi Mobile JKN merupakan aplikasi teratas pada kategori kedokteran di Google Play Store Indonesia. Sebagai aplikasi penyedia layanan pemerintah, Mobile JKN seharusnya mampu memberikan layanan terbaik bagi masyarakat. Namun, aplikasi Mobile JKN masih belum sepenuhnya mendapatkan presepsi publik yang positif dan masih memiliki banyak kekurangan [4]. Berdasarkan hal tersebut, maka perlu dilakukan evaluasi dan analisis lebih dalam untuk aplikasi Mobile JKN.
Review pengguna sangat efektif digunakan untuk menemukan informasi dari prespektif pengguna sehingga dapat dijadikan acuan terhadap hal-hal yang harus diperbaiki atau belum diketahui oleh pengembang aplikasi [5].
Karena banyaknya jumlah review yang diberikan pengguna, salah satu metode yang dapat digunakan adalah analisis sentimen. Jenis analisis sentimen yang akan digunakan pada penelitian ini adalah Aspect Based Sentiment Analysis (ABSA) untuk membahas keseluruhan sentimen dengan aspek-aspek yang spesifik.
ABSA terdiri dari 2 proses yaitu aspect extraction dan sentiment analysis [6]. Aspect extraction yang digunakan adalah Topic Modeling. Teknik sentiment analysis terbagi menjadi 2 kategori yaitu lexicon-based dan
machine learning based [7]. Pada penelitian ini, akan dilakukan analisis sentimen menggunakan 2 metode tersebut.
Metode lexicon based adalah metode klasifikasi yang menggunakan kamus kata-kata opini. Kamus lexicon yang akan digunakan adalah Inset Lexicon yang memiliki akurasi yang tinggi bila dibandingkan dengan kamus lexicon berbahasa Indonesia lainnya [8]. Sedangkan untuk machine learning based, menggunakan metode Naïve Bayes.
Metode Naïve Bayes adalah metode yang sering digunakan pada klasifikasi teks. Pada penelitian [9] menunjukkan bahwa metode Naïve Bayes memiliki akurasi yang lebih tinggi dibandingkan decision tree dan random forest.
Penelitian serupa dilakukan oleh Fajri, dkk di tahun 2021 yang bertujuan untuk mengeksplorasi user review pada aplikasi Zenius untuk menentukan prioritas pelayanan penyedia aplikasi Zenius. Penelitian ini menghasilkan 6 topik yaitu live class, tryout, subject matter, user account, tutorial video, dan free learning access. Hasil klasifikasi dengan SentiStrength ID menghasilkan akurasi 92.75% [10]. Berdasarkan hasil NRS, terlihat bahwa topik yang perlu diprioritaskan adalah pada user account. Penelitian lainnya dilakukan oleh Viny Gilang Ramadhan dan Yuliant Sibaroni pada tahun 2021 dengan judul Sentiment Analysis of Public Opinion Related to Rapid Test Using LDA Method yang bertujuan untuk mengetahui opini publik mengenai rapid test. Penelitian ini menggunakan Latent Dirichlet Allocation (LDA) untuk topic modeling dan menghasilkan 4 topik utama yang dibahas yaitu convenience, service, regulation dan informative dengan hasil akurasi terbaik yaitu 94% [11].
Penelitian terkait lainnya adalah penelitian yang dilakukan oleh Shinta Prima Astusi di tahun 2020 dengan tujuan melakukan analisis sentimen berbasis aspek pada aplikasi Tokopedia untuk mengetahui kelebihan dan kekurangan aplikasi Tokopedia. Penelitian ini menghasilkan 4 topik yang dibahas yaitu kebermanfaatan, pelayanan, pengalaman belanja, dan tampilan. Hasil akurasi yang didapatkan dari analisis sentimen dengan Naïve Bayes ini adalah 92,5% [12].
Penelitian ini berfokus pada analisis sentimen berbasis aspek pada aplikasi Mobile JKN berdasarkan ulasan pengguna pada Google Play Store. Penelitian ini dilakukan dengan pemodelan aspek/topik menggunakan metode Latent Dirichlet Allocation dan klasifikasi sentimen menggunakan Naïve Bayes dan Lexicon Based. Dengan menggunakan analisis sentimen berbasis aspek pada ulasan pengguna aplikasi Mobile JKN, bisa dijadikan peluang dalam menggali informasi tentang penilaian publik terhadap aplikasi ini dari berbagai aspek yang ada serta memberikan pandangan dan pertimbangan terhadap pengembangan aplikasi kedepannya.
2. METODOLOGI PENELITIAN
2.1 Tahapan Penelitian
Secara umum, penelitian ini memiliki 8 tahapan penelitian yaitu pengumpulan data, labeling data, preprocessing, topic modeling, klasifikasi sentimen dengan metode lexicon based dan Naïve Bayes, evaluasi serta visualisasi dan analisis.Gambaran umum alur penelitian ditunjukkan pada pada Gambar 1.
Gambar 1. Alur Penelitian 2.2 Pengumpulan Data
Pengumpulan data dilakukan dengan web scraping pada ulasan pengguna Aplikasi Mobile JKN pada Google Play Store pada 2 versi terakhir, yaitu versi 4.2.3 dan 4.3.0. Pengambilan data dilakukan pada tanggal 1 Februari 2023 dengan jumlah total ulasan yang digunakan adalah 10.752 ulasan dari 10.798 data ulasan yang didapatkan dari scraping. 46 data ulasan tidak digunakan karena yang tidak memiliki arti dan ulasannya tidak sesuai dengan konteks penilaian terhadap aplikasi contohnya “99ppppp9ppp9p99p p99ga pp” dan “Rr”.
2.3 Labeling Data
Labeling Data dilakukan untuk memberikan label jenis sentimen pada setiap ulasan pengguna. Labeling dilakukan oleh 3 orang mahasiswa program studi Bahasa Indonesia dengan menggunakan metode majority voting, yaitu
sentimen setiap ulasan ditentukan berdasarkan jumlah label sentimen terbanyak yang diberikan annotator. Label yang diberikan adalah sentimen positif, sentimen negatif dan sentimen netral.
2.4 Preprocessing
Sebelum melakukan pengolahan data, hal pertama yang dilakukan adalah melakukan preprocessing pada text document [13]. Text preprocessing adalah proses yang digunakan untuk mengolah data tidak terstruktur menjadi data yang siap dipakai untuk text mining [14]. Secara general, terdapat 5 tahapan pada text preprocessing [15]
yaitu:
a. Case folding, proses preprocessing berupa pengubahan dan penyeragaman setiap huruf atau karakter pada dokumen menjadi bentuk yang sama.
b. Tokenizing, proses pemecahan kalimat menjadi kata-kata/token. Pemisahan ini dilakukan dengan menghilangkan setiap tanda baca yang ada.
c. Normalization, proses untuk mengubah teks menjadi bentuk baku/bentuk umum. Contohnya kata “sj”
merupakan kata yang berasal dari kata “saja”.
d. Filtering, proses pengambilan kata/token yang penting dan bermakna dari dokumen dengan menghilangkan stopword.
e. Stemming, proses pengubahan kata-kata yang ada, menjadi akar kata/kata dasar dengan menghilangkan semua imbuhan yang ada pada kata.
2.5 Topic Modeling dengan Latent Dirichlet Allocation
Topic Modeling adalah metode text mining yang mengidentifikasi pola dokumen dan melakukan penggolongan tiap kata menjadi topik yang menggambarkan dokumen. Metode ini menggunakan pendekatan clustering yaitu pengelompokkan kata pada teks dokumen menjadi beberapa topik tertentu [16]. Latent Dirichlet Allocation (LDA) adalah salah satu teknik pemodelan topik yang digunakan untuk memunculkan topik-topik terkait dari sebuah dokumen. LDA memiliki kemampuan yang baik pada penggunaannya di data yang besar [17].
Model LDA ditunjukkan pada Gambar 2. Generatif proses pada LDA dijelaskan sebagai berikut [18]:
1. Untuk setiap topik K ϵ {1,..,K}, dipilih probabilitas 𝛷𝑘 ~ Dir(β) 2. Untuk setiap dokumen d ϵ {1,..,M}:
a. Pilih 𝜃𝑑 ~ Dir(α)
b. Untuk setiap kata j ϵ 1,.., 𝑁𝑑 pada dokumen d:
1) Pilih topik 𝑧𝑑,𝑗 ~ multinominal (𝜃𝑑) 2) Pilih kata 𝑤𝑑,𝑗 ~ multinominal (𝜙𝑧𝑑𝑗)
Hasil dari topic modeling adalah sekumpulan topik yang berisi gugus-gugus kata yang telah terclustering berdasarkan pola dokumen [19]. Pemilihan jumlah topik menjadi salah satu yang penting dalam pemodelan. Topic coherence digunakan untuk evaluasi sebuah topic modeling dalam menentukan jumlah topik. Topic Coherence adalah pengukuran nilai dari suatu topik dengan mengukur tingkat kesamaan semantik antara kata-kata yang ada dalam topik. Semakin tinggi nilai topic coherence, maka semakin baik interpretasi sebuah topik oleh manusia, sehingga menghasilkan kualitas yang baik pada topik [20]
Gambar 2. Model Latent Dirichlet Allocation 2.6 Lexicon Based
Metode Lexicon Based (berbasis lexical) digunakan untuk mengekstraksi kalimat opini secara otomatis dengan menggunakan kamus kata-kata opini yang akan digunakan sebagai acuan dalam klasifikasinya. Kamus tersebut menjadi dasar identifikasi kalimat opini dengan menghasilkan nilai presisi yang tinggi [21]. Pendekatan berbasis lexical ini tidak memerlukan pembelajaran model dan pelatihan dataset karena merupakan pendekatan kamus (dictionary based approach). Kamus yang digunakan adalah Indonesia Sentimen (InSet) Lexicon yaitu kamus lexicon Indonesia disusun oleh Fajri Koto dan Gemal Y. Rahmaningtyas. Kamus Inset dipilih karena menghasilkan akurasi yang maksimal sebagai kamus lexicon di bahasa indonesia [8]. InSet terdiri dari 3.609 kata positif dan 6.609 kata negatif dengan masing-masingnya memiliki bobot nilai antara -5 hingga +5.
Jika sentiment score > 0, maka Sentimen Positif Jika sentiment score < 0, maka Sentimen Negatif Jika sentiment score = 0, maka Sentimen Netral 2.7 Naïve Bayes
Naïve Bayes adalah teknik klasifikasi yang menggunakan peluang statistik untuk memprediksi peluang masa depan, dengan apa yang telah terjadi sebelumnya [22]. Naïve Bayes yang dikembangkan oleh Thomas Bayes, merupakan metode klasifikasi yang sederhana dan efisien untuk klasifikasi text [23]. Naïve Bayes menghitung nilai statistik per kelas dengan pelatihan dokumen yang menghemat waktu komputasi [24]. Pada text classification, Naïve Bayes ditunjukkan pada persamaan 1 [25]:
𝑐𝑛𝑏 = 𝑎𝑟𝑔 𝑚𝑎𝑥 𝑙𝑜𝑔 𝑃(𝑐) + ∑𝑖∈𝑝𝑜𝑠𝑖𝑡𝑖𝑜𝑛𝑠𝑙𝑜𝑔 𝑃(𝑤𝑖|𝑐) (1) Dimana:
𝑤𝑖 : kata pada sebuah dokumen d 𝑃(𝑐) : Probabilitas kelas c
𝑃(𝑤𝑖|𝑐) : Probabilitas kata ke-i pada sebuah kelas c
𝑃(𝑐) didapatkan dari probabilitas sebuah dokumen ada pada sebuah kelas yang ditunjukkan pada persamaan 2.
𝑃(𝑐) = 𝑁𝑐
𝑁𝑑𝑜𝑐 (2)
Dimana:
𝑁𝑐 : Jumlah dokumen pada kelas c 𝑁𝑑𝑜𝑐 : Jumlah dokumen
Sedangkan 𝑃(𝑤𝑖|𝑐) didapatkan dari probabilitas kata pada kelas c yang ditunjukkan pada persamaan 3.
𝑃(𝑤𝑖|𝑐) = 𝑐𝑜𝑢𝑛𝑡(𝑤𝑖,𝑐)+1
∑𝑤∈ 𝑉(𝑐𝑜𝑢𝑛𝑡(𝑤,𝑐)+1)+|𝑉| (3)
Dimana:
𝑐𝑜𝑢𝑛𝑡(𝑤𝑖|𝑐) : Jumlah kata-i pada kelas c (𝑐𝑜𝑢𝑛𝑡(𝑤, 𝑐): Jumlah kata pada kelas c 𝑉 : Jumlah seluruh kata
3. HASIL DAN PEMBAHASAN
Penelitian ini menggunakan bahasa pemrograman pyhton dengan tools Google Collabs. Keseluruhan jumlah data ulasan yang dipakai adalah 10.752 ulasan. Berdasarkan hasil labeling yang telah dilakukan, didapatkan jumlah ulasan positif sebanyak 8138, ulasan negatif sebanyak 2406 dan netral sebanyak 208 seperti yang ditujukkan pada Gambar 3. Setelah melewati tahapan preprocessing, terdapat data ulasan hasil preprocessing yang menjadi list kosong. Hal ini terjadi karena data ulasan hanya berisi emoji, angka, character ataupun stopword. Maka dilakukan penghapusan terhadap data tersebut sehingga menghasilkan 10.424 baris data yang akan dipakai untuk tahapan selanjutnya.
Gambar 3. Jumlah ulasan berdasarkan sentimen 3.1 Topic Modeling
Topic modeling dilakukan dengan library gensim. Pemodelan topik dimulai dengan pembuatan dictionary dan corpus. Dictionary adalah kumpulan kata-kata unik dari keseluruhan data ulasan. Sedangkan corpus adalah matrix frekuensi dari masing-masing kata. Penentuan jumlah topik terbaik dilakukan dengan mencari topik dengan coherence score tertinggi. Maka dari itu dilakukan looping model dengan jumlah topik 1 hingga 9 seperti yang
n = 10.752
dilakukan pada penelitian [16] dan [26]. Random state yang digunakan adalah 42. Nilai passes dan iteration yang digunakan adalah 10, 20, 30, 40, 50, 60, 70, 80, 90 dan 100.
Percobaan dilakukan dengan bergantian mengubah nilai passes dan iteration. Berdasarkan hasil looping model dengan mengubah iteration dan passes, dibuat sebuah tabel yang menampilkan coherence score tertinggi dari masing-masing hasil running model. Hasil looping dengan coherence value tertinggi ditunjukkan pada Gambar 4 dimana blok warna merah menandakan hasil coherence score tertinggi di tiap passes pada berbagai iteration. Blok warna kuning menandakan hasil coherence score tertinggi di tiap iteration pada berbagai passes.
Sedangkan blok hijau menandakan hasil coherence score tertinggi pada passes dan iteration. Berdasarkan hasil looping model yang dilakukan, nilai tertinggi coherence score adalah 0,6392 pada passes 60, 70 dan iteration 50.
Gambar 4. Hasil coherence score tertinggi masing-masing iteration dan passes
Jumlah topik yang digunakan adalah 3 topik, pada model dengan iteration 50 dan passes 60, 70 sebagai model dengan coherence score tertinggi. Model pada iteration 50 dan passes 60, 70 menghasilkan model yang sama dengan coherence score 0,6392 seperti yang ditunjukkan pada Tabel 1. Bila divisualisasikan, ketiga model tersebut ter clustering masing-masing dan tidak ada yang saling tumpang tindih. Visualisasi model dengan 3 topik dengan PLDAvis ditunjukkan pada Gambar 5.
Gambar 5. Visualisasi model 3 topik menggunakan PLDAvis Tabel 1. Hasil Run Coherence Score tertinggi
Passes Iteration Hasil
60 50
Num Topic 1 has coherence values of 0.3585 Num Topic 2 has coherence values of 0.5291 Num Topic 3 has coherence values of 0.6392
Num Topic 4 has coherence values of 0.5567 Num Topic 5 has coherence values of 0.5225 Num Topic 6 has coherence values of 0.5434 Num Topic 7 has coherence values of 0.539 Num Topic 8 has coherence values of 0.5503 Num Topic 9 has coherence values of 0.5697
70 50
Num Topic 1 has coherence values of 0.3893 Num Topic 2 has coherence values of 0.5388 Num Topic 3 has coherence values of 0.6392
Num Topic 4 has coherence values of 0.5567 Num Topic 5 has coherence values of 0.5225 Num Topic 6 has coherence values of 0.5414 Num Topic 7 has coherence values of 0.539
Passes Iteration Hasil
Num Topic 8 has coherence values of 0.5503 Num Topic 9 has coherence values of 0.5697
Topic model tersebut menghasilkan 3 topik yang terdiri dari kumpulan kata dengan nilai probabilitas kata terhadap topik. Hasil topic modeling dengan 3 topik ditunjukkan pada Gambar 6.
Gambar 6. Hasil topic modeling 3 topik
Berdasarkan ketiga topik yang telah terkluster, dilakukan penentuan nama berdasarkan kata yang ada pada masing-masing topik. Berdasarkan kumpulan kata pada topik 0, menggambarkan kepuasan pengguna dengan kata kunci “bantu”, “mudah”, “mantap” dengan beberapa kata yang menggambarkan subjek seperti “layan”, “faskes”,
“ubah” dan “data”. Maka dari itu, topik 0 dinamai dengan Pelayanan dan Fitur.
Berdasarkan kumpulan kata pada Topik 1 di Gambar 4.16, terdapat kata yang merujuk pada “daftar”,
“masuk”, “login”, sehingga topik 1 dinamai dengan Register dan Login. Sedangkan berdasarkan kumpulan kata pada topik 2 pada Gambar 4.17, kebanyakan kata menggambarkan bentuk kepuasan pengguna seperti “oke”,
“bagus”, “keren” dan lain-lain. Tidak terdapat subjek lain pada topik ini, sehingga topik 2 dinamai dengan kepuasan pengguna.
Selanjutnya, setiap ulasan akan dikategorikan pada masing-masing topik berdasarkan besar probabilitas topik di setiap ulasan. Ulasan dengan nilai probabilitas topik paling besar di salah satu topiknya, maka akan masuk ke topik tersebut. Setelah masing-masing ulasan dilabeli dengan 3 topik di atas, didapatkan bahwa topik 0 (Pelayanan dan Fitur) sebanyak 4882 ulasan, topik 1(Register dan Login) sebanyak 3333 ulasan, dan topik 2 (Kepuasan Pengguna) sebanyak 2209 ulasan.
3.2 Analisis Sentimen dengan Lexicon Based
Kamus lexicon yang digunakan pada penelitian ini adalah Inset Lexicon. Inset Lexicon terdiri dari kamus positif dan kamus negatif. Berdasarkan kamus tersebut, setiap kata pada ulasan dinilai dengan score pada kamus. Hasil dari jumlah score kata positif dan kata negatif di sebuah ulasan digunakan untuk menilai sentimen ulasan tersebut.
Nilai score yang positif menunjukkan sentimen positif, score negatif menunjukkan sentimen negatif dan score 0 menunjukkan sentimen netral. Contoh hasil penilaian sentimen dengan lexicon based ditunjukkan pada Tabel 2.
Tabel 2. Contoh hasil penilaian sentimen dengan Inset Lexicon
Ulasan Kata
Terdeteksi
Score Akhir Ulasan
Sentimen
aplikasi susah, biasanya tidak seribet ini buat daftar, malah harus verifikasi nomor, dan pakai biaya pulsa sendiri. mohon di perbaiki.
aplikasi ginian ada untuk mempermudah bukan untuk mempersulit
(dibuat kolom berbeda)
-11 Negatif daftar : 1
mohon : 2 baik : 3 mudah : 4 aplikasi : -4
susah : -3 daftar : -3 pulsa : -3 mohon : -2
baik : -1 aplikasi : -4
mudah : -1
Ulasan Kata Terdeteksi
Score Akhir Ulasan
Sentimen
Aplikasi Mobile JKN ini sangat membantu sekali, Sangat mudah untuk merubah data tanpa harus datang dan Capek antri di Kantor BPJS. Cukup dirumah sambil Sarapan, Data langsung bisa dirubah.
Terima Kasih Mobile JKN.
bantu : 3
4 Positif
mudah : 4 capek : 4 rumah : 3 sarap : 3 langsung : 3
terima : 2 kasih : 2 aplikasi : -4
bantu : -4 mudah : -1
data : -3 capek : -4
data : -3 kasih : -1
Pelabelan sentimen dengan Inset Lexicon menghasilkan 4635 ulasan positif, 4618 ulasan negatif dan 1171 ulasan netral yang ditunjukkan pada Gambar 7.
Gambar 7. Jumlah ulasan berdasarkan label sentimen Inset Lexicon 3.3 Analisis Sentimen dengan Naïve Bayes
Library sklearn digunakan untuk analisis sentimen dengan metode Naïve Bayes. Metode ini dimulai dengan membuat matriks frekuensi kata pada setiap ulasan. Selanjutnya dilakukan pembagian data testing dan data training dengan train_test_split dan pemodelan dengan MultinomialNB(). Random state yang digunakan adalah 42. Pada penelitian ini dilakukan percobaan untuk mengubah banyaknya data testing dan data training dari 10%
hingga 90%. Jumlah ulasan berdasarkan masing-masing sentimen dari model Naïve Bayes ditunjukkan pada Tabel 3.
Tabel 3. Jumlah ulasan dengan perubahan data training dan testing model Naïve Bayes
3.4 Evaluasi
Berdasarkan hasil evaluasi metode lexicon based (Inset Lexicon) dan Naïve Bayes, didapatkan nilai akurasi, rata- rata precision, rata-rata recall dan rata-rata f1-score yang ditunjukkan pada Tabel 4. Metode Naïve Bayes lebih unggul daripada lexicon based. Kemudian, Naïve Bayes dengan data training 70% dan testing 30%, mendapatkan nilai yang tertinggi dibandingkan dengan komposisi presentase data testing dan training lainnya.
Metode lexicon based dengan Inset Lexicon mendapatkan hasil yang lebih rendah dibandingkan Naïve Bayes. Hal ini bisa terjadi karena terdapat kata-kata pada ulasan yang tidak ada pada kamus Inset sehingga kata tidak terdeteksi atau bernilai 0. Selain itu, juga terdapat beberapa kata yang masuk dalam kamus negatif dan positif sekaligus sehingga berpengaruh pada hasil sentimen. Contohnya kata “cepat” bernilai -3 di kamus negatif dan 3
Training (%) Testing (%) Jumlah Ulasan Positif Negatif Netral
10 90 7216 2165 1
20 80 6384 1953 3
30 70 5529 1764 4
40 60 4732 1518 5
50 50 3921 1283 8
60 40 3146 1014 10
70 30 2369 751 8
80 20 1588 491 6
90 10 803 238 2
di kamus positif, kata “mudah” bernilai -1 di kamus negatif dan 4 di kamus positif dan kata “bantu” bernilai -4 di kamus negatif dan 2 di kamus positif.
Tabel 4. Hasil evaluasi metode lexicon based dan Naïve Bayes
Metode
Data training
(%)
Data testing(%)
Akurasi (%)
Rata-rata precision (%)
Rata-rata recall (%)
Rata-rata f1-score
(%) Lexicon based
(Inset Lexicon) - - 59,99 45,96 52,16 43,36
Naive Bayes
10 90 93,63 62 61,13 61,56
20 80 93,89 62,37 61,3 61,83
30 70 94,1 63,06 69,76 62,57
40 60 94,18 62,93 61,55 62,23
50 50 94,51 63,24 61,83 62,53
60 40 94,46 63,13 61,87 62,49
70 30 94,75 64,32 70,32 64,55
80 20 94,53 63,7 67,4 63,8
90 10 94,24 62,71 61 61,84
3.5 Visualisasi dan Analisis
Berdasarkan labeling 3 topik sebelumnya, dilakukan visualisasi topik terhadap sentimennya yang ditunjukkan pada Gambar 8. Topik 0 (Pelayanan dan Fitur) dan Topik 2 (Kepuasan Pengguna) mendapatkan banyak sentimen positif dan sedikit mendapatkan ulasan negatif. Berbeda dengan Topik 1 (Register dan Login) yang mendapatkan ulasan negatif lebih banyak dari pengguna, bila dibandingkan dengan ulasan positifnya. Sedangkan ulasan dengan sentimen netral paling banyak masuk ke Topik 1 (Register dan Login).
Pada data hasil scraping, data ulasan versi 4.2.3 lebih banyak daripada versi 4.3.0. Bila dibandingkan antara versi 4.2.3 dan versi 4.3.0, keduanya menghasilkan diagram yang serupa. Topik 0 (Pelayanan dan Fitur) dan Topik 2 (Kepuasan Pengguna) memiliki sentimen positif lebih banyak, sedangkan Topik 1 (Register dan Login) memiliki ulasan dengan sentimen negatif lebih banyak. Hal ini menunjukkan bahwa meski sudah ada update ke versi 4.3.0, sentimen pengguna mengenai Register dan Login masih tetap sama, yaitu negatif.
Gambar 8. Diagram topik terhadap sentimennya
Selanjutnya dilakukan visualisasi dengan wordcloud pada masing-masing topik dan sentimennya. Semakin besar kata pada wordcloud, maka semakin banyak kata tersebut muncul pada ulasan. Gambar 9 menunjukkan topik 0 (Pelayanan dan Fitur) pada sentimen positif yang didominasi kata “bantu”, “mudah”, “mantap”, dan “manfaat”
menunjukkan bahwa aplikasi Mobile JKN cukup membantu, mudah dan bermanfaat. Kata “layan”, “sehat” dan
“cepat” saling berkaitan menunjukkan pelayanan kesehatan yang baik dan cepat. Kata “data” dan “ubah”
menunjukkan kemudahan dalam perubahan data. Kata “faskes” berkaitan dengan kemudahan pengguna melakukan pindah faskes.
Gambar 9. Wordcloud topik pelayanan dan fitur sentimen positif
Sedangkan untuk ulasan negatif pada topik Register dan Login yang ditunjukkan pada Gambar 10, kata
“aplikasi”, “daftar” dan “login” membahas kesulitan pengguna untuk login dan daftar ke aplikasi. Kata “daftar”
juga membahas tentang kendala pendaftaran antrian online pengguna. Kata “nomor”, “verifikasi”, “kode”, “pulsa”
dan “email” saling berkaitan membahas mengenai nomer/kode verifikasi yang tidak masuk. Kata “update”
berkaitan dengan error yang terjadi setelah update. Kata “data” terkait pada data pribadi yang tidak sesuai.
Gambar 10. Wordcloud topik register dan login sentimen negatif
Wordcloud topik Kepuasan Pengguna dengan sentimen positif ditunjukkan pada Gambar 11. Sentimen positif pada topik ini dipenuhi dengan kata pujian terhadap aplikasi seperti “bagus”, “oke”, “bantu”, “keren” dan lain-lain. Ulasan yang masuk pada topik dan sentimen ini sebagian besar adalah ulasan pendek yang hanya berisi pujian mengenai kepuasan pengguna aplikasi Mobile JKN.
Gambar 11. Wordcloud topik kepuasan pengguna sentimen positif
Berdasarkan hasil analisis di atas, aplikasi Mobile JKN sudah memberikan pelayanan yang membantu dan memudahkan penggunanya. Hal ini dapat dilihat dari komentar bersentimen positif pengguna Mobile JKN lebih dari 70%. Namun, masih banyak komentar negatif terkait aplikasi ini. Hal ini ditunjukkan pada Topik Register dan Login yang memiliki banyak komentar bersentimen negatif. Berikut adalah beberapa saran pengembangan aplikasi yang dapat diberikan:
a. Mempermudah sistem login dan daftar pada aplikasi karena banyak pengguna yang kesulitan ketika tahapan verifikasi.
b. Mengoptimalkan sistem verifikasi yang ada sehingga tidak menyulitkan pengguna.
c. Menyediakan kontak layanan pengguna yang mudah diakses untuk memudahkan pengguna bertanya mengenai kesulitan penggunaan aplikasi.
d. Mengoptimalkan dan memaksimalkan sistem pendaftaran antrian di aplikasi maupun pengaplikasiannya di lapangan.
e. Memperbaiki dan mengoptimalkan data pribadi pengguna sehingga tidak muncul data-data yang tidak sesuai dengan masing-masing pengguna.
Dengan beberapa saran di atas, diharapkan aplikasi mampu memberikan pelayanan yang lebih baik bagi pengguna aplikasi Mobile JKN.
4. KESIMPULAN
Berdasarkan hasil penelitian, didapatkan topik terkait aplikasi Mobile JKN ada tiga, yaitu Pelayanan dan Fitur, Register dan Login, dan Kepuasan Pengguna. Berdasarkan hasil analisis sentimen, metode Naïve Bayes lebih baik dibandingkan Lexicon Based (Inset Lexicon); Berdasarkan evaluasi, Naïve Bayes dengan data training 70% dan data testing 30% lebih unggul dibandingkan dengan presentase data training dan testing lainnya. Naïve Bayes dengan data training 70% dan data testing 30% mendapatkan nilai akurasi tertinggi 94,75%, rata-rata precision 64,32%, rata-rata recall 70,3% dan rata-rata f1-score 64,55%. Sedangkan Lexicon Based dengan Inset Lexicon mendapatkan akurasi sebesar 59,99%, rata-rata precision 45,96%, rata-rata recall 52,16% dan f1-score 43,36%.
Berdasarkan penelitian ini, dapat dilakukan pengembangan penelitian dengan menggunakan data ulasan yang lebih banyak, menggunakan metode topic modeling dengan pendekatan lainnya seperti Latent Semantic Analysis (LSA)
dan Non Negative Matrix Factorization (NMF). Selain itu, analisis sentimen menggunakan lexicon based pada penelitian ini menghasilkan akurasi yang tidak cukup tinggi. Maka dari itu, dapat dilakukan pengembangan dengan kamus lexicon lain dengan seperti VADER yang memiliki 7500 lexical feature meskipun implementasinya harus melakukan translasi kata ke Bahasa Inggris [27].
REFERENCES
[1] M. Ardinata, “Tanggung Jawab Negara terhadap Jaminan Kesehatan dalam Perspektif Hak Asasi Manusia (HAM),” Jurnal HAM, vol. 11, no. 2, hlm. 319, Agu 2020, doi: 10.30641/ham.2020.11.319-332.
[2] BPJS Kesehatan, “BPJS Kesehatan,” 20 September 2022. https://Bpjs-Kesehatan.go.Id/Bpjs/ (diakses 19 Juni 2023).
[3] BPJS Kesehatan, “Panduan Layanan JKN-KIS,” 22 September 2022. https://www.bpjs- kesehatan.go.id/bpjs/arsip/view/1477 (diakses 19 Juni 2023).
[4] T. K. Putri, B. Irawan, dan D. Zulfiani, “Presepsi Publik dalam Pelaksanaan Inovasi Pelayanan Jaminan Kesehatan Berbasis Teknologi Melalui Mobile JKN Oleh BPJS Kesehatan Indonesia,” eJournal Administrasi Publik, vol. 9, no. 4, hlm. 5710–5721, 2022. ISSN 2541-674x.
[5] P. E. P. Utomo, M. Manaar, U. Khaira, dan T. Suratno, “Analisis Sentimen Online Review Pengguna Bukalapak Menggunakan Metode Algoritma TF-IDF,” JUSS (Jurnal Sains dan Sistem Informasi), vol. 2, no. 2, hlm. 35–39, Nov 2021, doi: 10.22437/juss.v2i2.8469.
[6] W. Chen, P. Lin, W. Zhang, J. Du, dan Z. He, “Hierarchical Interactive Network for joint aspect extraction and sentiment classification,” Knowl Based Syst, vol. 256, hlm. 109825, Nov 2022, doi: 10.1016/j.knosys.2022.109825.
[7] Y. Yiran dan S. Srivastava, “Aspect-based Sentiment Analysis on mobile phone reviews with LDA,” dalam Proceedings of the 2019 4th International Conference on Machine Learning Technologies, New York, NY, USA: ACM, Jun 2019, hlm. 101–105. doi: 10.1145/3340997.3341012.
[8] Y. Fauziah, B. Yuwono, dan A. S. Aribowo, “Lexicon Based Sentiment Analysis in Indonesia Languages : A Systematic Literature Review,” RSF Conference Series: Engineering and Technology, vol. 1, no. 1, hlm. 363–367, Des 2021, doi:
10.31098/cset.v1i1.397.
[9] V. A. Fitri, R. Andreswari, dan M. A. Hasibuan, “Sentiment Analysis of Social Media Twitter with Case of Anti-LGBT Campaign in Indonesia using Naïve Bayes, Decision Tree, and Random Forest Algorithm,” Procedia Comput Sci, vol.
161, hlm. 765–772, 2019, doi: 10.1016/j.procs.2019.11.181.
[10] A. F. Akbar, H. B. Santoso, P. O. H. Putra, dan S. B. Yudhoatmojo, “User Perception Analysis of Online Learning Platform
‘Zenius’ During the Coronavirus Pandemic Using Text Mining Techniques,” Jurnal Sistem Informasi, vol. 17, no. 2, hlm.
33–47, Okt 2021, doi: 10.21609/jsi.v17i2.1065.
[11] V. G. Ramadhan dan Y. Sibaroni, “Sentiment Analysis of Public Opinion Related to Rapid Test Using LDA Method,”
Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 5, no. 4, hlm. 672–679, Agu 2021, doi:
10.29207/resti.v5i4.3139.
[12] S. P. Astuti, “Analisis Sentimen Berbasis Aspek pada Aplikasi Tokopedia menggunakan LDA dan Naïve Bayes,” B.S thesis, Fakultas Sains dan Teknologi, UIN Syarif Hidayatullah Jakarta, Jakarta, 2020.
[13] M. A. Rosid, A. S. Fitrani, I. R. I. Astutik, N. I. Mulloh, dan H. A. Gozali, “Improving Text Preprocessing For Student Complaint Document Classification Using Sastrawi,” IOP Conf Ser Mater Sci Eng, vol. 874, no. 1, hlm. 012017, Jun 2020, doi: 10.1088/1757-899X/874/1/012017.
[14] L. Hermawan dan M. B. Ismiati, “Pembelajaran Text Preprocessing berbasis Simulator Untuk Mata Kuliah Information Retrieval,” Jurnal Transformatika, vol. 17, no. 2, hlm. 188, Jan 2020, doi: 10.26623/transformatika.v17i2.1705.
[15] D. A. Prabowo dan Sudianto, “Analisis Sentimen Sepak Bola Indonesia pada Twitter menggunakan K-Nearest Neighbors dan Random Forest,” JSAI (Journal Scientific and Applied Informatics), vol. 6, no. 2, hlm. 217–227, Jun 2023, doi:
10.36085/jsai.v6i2.5337.
[16] A. Nurlayli dan Moch. A. Nasichuddin, “Topik Modeling Penelitian Dosen JPTEI UNY pada Google Scholar Menggunakan Latent Dirichlet Allocation,” Elinvo (Electronics, Informatics, and Vocational Education), vol. 4, no. 2, hlm. 154–161, Nov 2019, doi: 10.21831/elinvo.v4i2.28254.
[17] E. Wahyudi dan R. Kusumaningrum, “Aspect Based Sentiment Analysis in E-Commerce User Reviews Using Latent Dirichlet Allocation (LDA) and Sentiment Lexicon,” dalam 2019 3rd International Conference on Informatics and Computational Sciences (ICICoS), IEEE, Okt 2019, hlm. 1–6. doi: 10.1109/ICICoS48119.2019.8982522.
[18] Y. Sahria dan D. H. Fudholi, “Analysis of Health Research Topics in Indonesia Using the LDA (Latent Dirichlet Allocation) Topic Modeling Method,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 4, no. 2, hlm. 336–
344, Apr 2020, doi: 10.29207/resti.v4i2.1821.
[19] C. Naury, D. H. Fudholi, dan A. F. Hidayatullah, “Topic Modelling pada Sentimen Terhadap Headline Berita Online Berbahasa Indonesia Menggunakan LDA dan LSTM,” JURNAL MEDIA INFORMATIKA BUDIDARMA, vol. 5, no. 1, hlm. 24, Jan 2021, doi: 10.30865/mib.v5i1.2556.
[20] A. F. Hidayatullah, W. Kurniawan, dan C. I. Ratnasari, “Topic Modeling on Indonesian Online Shop Chat,” dalam Proceedings of the 2019 3rd International Conference on Natural Language Processing and Information Retrieval, New York, NY, USA: ACM, Jun 2019, hlm. 121–126. doi: 10.1145/3342827.3342831.
[21] Y. Azhar, “Metode Lexicon-Learning Based untuk Identifikasi Tweet Opini Berbahasa Indonesia,” Jurnal Nasional Pendidikan Teknik Informatika (JANAPATI), vol. 6, no. 3, hlm. 237, Jan 2018, doi: 10.23887/janapati.v6i3.11739.
[22] G. H. Herlambang, A. Nugroho, dan B. Zaman, “Klasifikasi Perkiraan Kelulusan Mahasiswa Jenjang Magister Menggunakan Metode Naive Bayes,” NJCA (Nusantara Journal of Computers and Its Applications), vol. 5, no. 1, hlm.
40–46, 2020, doi: 10.36564/njca.v5i1.186.
[23] D. Pratmanto, R. Rousyati, F. F. Wati, A. E. Widodo, S. Suleman, dan R. Wijianto, “App Review Sentiment Analysis Shopee Application In Google Play Store Using Naive Bayes Algorithm,” dalam Journal of Physics: Conference Series, Nov 2020. doi: 10.1088/1742-6596/1641/1/012043.
[24] B. Zaman, A. Justitia, K. N. Sani, dan E. Purwanti, “An Indonesian Hoax News Detection System Using Reader Feedback and Naïve Bayes Algorithm,” Cybernetics and Information Technologies, vol. 20, no. 1, hlm. 82–94, Mar 2020, doi:
10.2478/cait-2020-0006.
[25] D. Jurafsky dan J. H. Martin, “Naive Bayes and Sentiment Classification,” dalam Speech and Language Processing, Third Edition.Stanford University, 2021.
[26] Y. Matira dan I. Setiawan, “Pemodelan Topik pada Judul Berita Online Detikcom Menggunakan Latent Dirichlet Allocation,” Estimasi: Journal of Statistics and Its Application, vol. 4, no. 1, hlm. 53–63, 2023, doi:
10.20956/ejsa.vi.24843.
[27] V. Nurcahyawati dan Z. Mustaffa, “Vader Lexicon and Support Vector Machine Algorithm to Detect Customer Sentiment Orientation,” Journal of Information Systems Engineering and Business Intelligence, vol. 9, no. 1, hlm. 108–118, Apr 2023, doi: 10.20473/jisebi.9.1.108-118.
