1 IMPLEMENTASI TEXT MINING DENGAN RANDOM FOREST UNTUK ANALISIS SENTIMEN ULASAN PENGGUNA APLIKASI ALODOKTER
Nadia Fadhilah Norman, Elfizar
Mahasiswa Program Studi S1 Sistem Informasi Jurusan Ilmu Komputer
Fakultas Matematika dan Ilmu Pengetahuan Alam Kampus Bina Widya Pekanbaru, 28293, Indonesia nadia.fadhilah3903@student.unri.ac.id, elfizar@lecturer.unri.ac.id
ABSTRACT
During the COVID-19 pandemic, most people relied on the internet to find information, including health information. The process of digitizing the world of health, especially during a pandemic, was actually enough to help people get their right to health. The existence of digital health applications certainly will not replace the function of doctors and medical personnel in the world of health. Alodokter is a health platform in Indonesia. Alodokter application users can provide reviews of these application services through the review feature on the Google Play Store. The existence of this feature is one of the considerations for prospective users to download applications and can be used as an evaluation to improve application performance. Therefore, it is necessary to carry out a sentiment analysis to see an overview of the perceptions of Alodokter application users on the Google Play Store. In this study, data collection was carried out using web scraping techniques using Google Colab. The data used is user review data after it was determined that COVID-19 entered Indonesia, namely from March 2020 to May 2020 with a total of 13,225 review data. The method used in this study is Random Forest, this method produces classification accuracy performance with an accuracy rate of 96.1% as measured using the Confusion Matrix. Based on the accuracy value, it can be seen that Random Forest has good performance in processing big data.
Keywords: Sentiment Analysis, Alodokter Application, Random Forest ABSTRAK
Di masa pandemi COVID-19, kebanyakan masyarakat mengandalkan internet untuk mencari informasi, termasuk informasi kesehatan. Proses digitalisasi dunia kesehatan terutama dimasa pandemi ternyata cukup membantu masyarakat untuk mendapatkan hak kesehatannya. Adanya aplikasi kesehatan digital dipastikan tidak akan menggantikan fungsi dokter dan tenaga medis di dunia kesehatan. Alodokter merupakan salah satu platform kesehatan di Indonesia. Pengguna aplikasi Alodokter dapat memberikan ulasan terhadap layanan aplikasi tersebut melalui fitur ulasan di google play store. Adanya fitur ini menjadi salah satu pertimbangan bagi calon pengguna untuk mengunduh aplikasi serta dapat menjadi evaluasi untuk meningkatkan kinerja aplikasi.
2 Oleh karena itu, perlu dilakukan analisis sentimen untuk melihat gambaran umum persepsi pengguna aplikasi Alodokter pada google play store. Dalam penelitian ini pengumpulan data dilakukan dengan teknik web scraping menggunakan google colab.
Data yang digunakan merupakan data ulasan pengguna setelah ditetapkannya COVID- 19 masuk ke Indonesia yaitu pada Maret 2020 sampai dengan Mei 2020 dengan jumlah 13.225 data ulasan. Metode yang digunakan dalam penelitian ini adalah Random Forest, metode ini menghasilkan performa ketepatan klasifikasi dengan tingkat akurasi sebesar 96,1% yang diukur menggunakan Confusion Matrix. Berdasarkan nilai akurasi, dapat diketahui bahwa Random Forest memiliki kinerja yang baik dalam memproses big data.
Kata Kunci: Anilisis Sentimen, Aplikasi Alodokter, Random Forest PENDAHULUAN
Di masa pandemi, kebanyakan masyarakat mengandalkan internet untuk mencari informasi, termasuk informasi kesehatan. Tentunya dikarenakan banyak masyarakat yang terpapar COVID-19 dan banyak masyarakat yang stress karena khawatir dan takut tertular virus tersebut. Upaya pencegahan terus dilakukan, antara lain dengan penerapan karantina wilayah, kebijakan lockdown, sosial distancing, dan mamutuhi protokol kesehatan. Namun, kebijakan-kebijakan yang telah ditetapkan ternyata cukup berdampak pada berbagai bidang termasuk bidang kesehatan. Situasi ini juga memungkinkan hampir semua aktivitas dilakukan dengan bantuan teknologi digital.
Proses digitalisasi dunia kesehatan terutama dimasa pandemi COVID-19 ternyata cukup membantu masyarakat untuk mendapatkan haknya atas kesehatan. Hal ini terlihat dari semakin banyaknya aplikasi kesehatan digital seperti Alodokter, Halodoc, KlikDokter, WhiteCoat, AlteaCare, MySiloam, Aido Health, SehatQ dan lain sebagainya. Adanya aplikasi kesehatan digital dipastikan tidak akan menggantikan fungsi dokter dan tenaga medis di dunia kesehatan. Aplikasi kesehatan digital memberikan akses kepada pengguna untuk mendapatkan informasi kesehatan, berkonsultasi dengan Dokter, dan mendapatkan obat yang sesuai dengan kebutuhan tanpa harus keluar rumah.
Alodokter merupakan salah satu platform kesehatan di Indonesia. Pengguna aplikasi Alodokter dapat memberikan ulasan terhadap layanan aplikasi tersebut melalui fitur ulasan di google play store. Adanya fitur ini menjadi salah satu pertimbangan bagi calon pengguna untuk mengunduh aplikasi serta dapat menjadi evaluasi untuk meningkatkan kinerja aplikasi. Semakin banyak ulasan pengguna yang tersedia, semakin sulit bagi calon pengguna untuk menyimpulkan ulasan tersebut. Oleh karena itu, perlu dilakukan analisis sentimen untuk melihat gambaran umum persepsi pengguna aplikasi Alodokter pada google play store.
Penelitian ini menggunakan algoritma Random Forest. Algoritma Random Forest dipilih karena dapat mengklasifikasi data dalam jumlah besar dengan hasil akurasi tinggi, tahan terhadap outliers dan noise, serta lebih cepat dibanding bagging dan boosting. Tujuan dari penelitian ini adalah untuk mengetahui penerapan dan hasil akurasi dari penerapan algoritma Random Forest dalam melakukan klasifikasi analisis sentimen ulasan pengguna aplikasi Alodokter. Penelitian ini menguji metode yang sudah ada untuk di terapkan pada analisis sentimen ulasan pengguna aplikasi Alodokter.
3 LANDASAN TEORI
a. Aplikasi Alodokter
Aplikasi alodokter merupakan layanan konsultasi online berupa aplikasi dan situs web. Alodokter dirilis pada tahun 2016 dan sudah memiliki lebih dari 20 ribu Dokter yang telah tersertifikasi sehingga dijamin terpercaya. Dokter pada Alodokter meliputi Dokter umum, Dokter gigi, Dokter spesialis, Dokter hewan, hingga psikolog. Adapun layanan yang tersedia pada Alodokter adalah chat, buat janji, artikel, aloproteksi dan aloshop.
b. Analisis Sentimen
Menurut Liu dalam (Basryah et al., 2021) analisis sentimen atau yang biasa disebut opinion mining merupakan bidang ilmu yang menganalisa pendapat, sentimen, evaluasi, penilaian, sikap dan emosi publik terhadap suatu entitas seperti produk, jasa, organisasi, individu, permasalahan dan topik dari suatu peristiwa.
c. Text Mining
Menurut Soni dan Mathai dalam (Siringoringo & Jamaludin, 2019) analisis sentimen dan text mining adalah dua hal yang tidak dapat dipisahkan terutama jika melakukan analisis sentimen pada media sosial. Text mining merupakan studi yang lebih spesifik pada data mining untuk menemukan pola tersembunyi pada teks. Pada dasarnya, proses kerja pada text mining banyak mengambil alih dari penelitian data mining, hanya saja text mining menggunakan data yang tidak terstruktur sedangkan data mining umumnya menggunakan data yang terstruktur.
d. Random Forest
Random Forest merupakan suatu metode yang digunakan untuk klasifikasi dan regresi. Metode ini dapat mengklasifikasi data dalam jumlah yang besar dengan hasil akurasi yang bagus, kuat terhadap outliers dan noise, serta lebih cepat dibanding bagging dan boosting. Menurut Breiman dalam (Sandag, 2020) metode Random Forest adalah pengembangan dari metode CART (Classification and Regression Tree) dengan menerapkan metode Bagging (Bootstrap Aggregating) dan Random Feature Selection.
Menurut Primajaya dan Sari dalam (Adrian et al., 2021) adapun beberapa aspek penting dalam metode Random Forest yaitu: melakukan bootstrap sampling untuk membangun pohon prediksi, masing-masing pohon memprediksi dengan prediktor acak, kemudian Random Forest melakukan prediksi dengan mengombinasikan hasil dari tiap-tiap pohon klasifikasi dengan cara majority vote. Berikut tahapan dalam Random Forest:
1. Mengambil n data sampel dari data latih secara random menggunakan teknik bootstrap resampling sebanyak k pohon.
2. Membangun pohon berdasarkan data sampel yang terambil dengan melakukan pemilihan atribut untuk menentukan cabang setiap pohon.
3. Mengulangi langkah 1 dan 2 sebanyak k pohon.
4. Menghitung suara (vote) terbanyak dari setiap target prediksi yang didapat pada setiap pohon (tree), proses ini disebut (majority vote).
4 METODE PENELITIAN
a. Metodologi Penelitian
Gambar 1. Flowchart Metodologi Penelitian
b. Peralatan Yang Digunakan 1. Perangkat Keras (Hardware)
a. Laptop ASUS VivoBook dengan spesifikasi processor Intel® Core™ i5-8250U, CPU @ 1.60GHz 1.80 GHz, RAM 4 GB.
b. Flashdisk Toshiba 16 GB.
c. Printer Epson L3210.
2. Perangkat Lunak (Software)
a. Sistem Operasi Windows 10 Home Single Language 64-bit.
b. Microsoft Office, sebagai media penyusunan skripsi.
c. Python 3.9.12, sebagai bahasa pemograman yang digunakan.
d. Jupyter Notebook 6.4.8, sebagai media penulisan program.
e. Draw.io, sebagai media pembuatan skema pohon klasifikasi.
c. Pengumpulan Data
Data yang digunakan pada penelitian ini merupakan data ulasan pengguna aplikasi Alodokter pada google play store. Dalam proses pengumpulan data, penulis menggunakan teknik web scraping dengan google colab. Kategori data yang akan di scraping adalah data ulasan pengguna setelah ditetapkannya COVID-19 masuk ke Indonesia yaitu pada Maret 2020 sampai dengan Mei 2020. Selanjutnya, data hasil scraping akan disimpan pada file csv.
d. Pelabelan Data
Data yang telah diperoleh selanjutnya akan diberikan label. Label yang digunakan pada penelitian ini yaitu label positif dan label negatif. Pelabelan data dilakukan dengan cara mengelompokkan data kedalam kelas sentimen positif dan kelas sentimen negatif secara manual.
5 e. Text Preprocessing
Adapun proses text preprocessing yang akan dilakukan pada penelitian ini dapat dilihat pada Gambar 2.
Gambar 2. Proses Text Preprocessing
Data yang dimasukkan pada proses ini merupakan data asli yang belum melalui proses apapun, nantinya hasil dari proses ini akan berupa data yang sudah bersih. Proses ini dilakukan untuk mendapatkan data yang diperlukan dan membuang data yang tidak diperlukan dengan tujuan agar nantinya ketika masuk proses klasifikasi perhitungannya menjadi optimal.
1. Cleaning, proses ini membuang noise pada kalimat (angka, tanda baca, emoji dan spasi ganda).
2. Case Folding, proses ini mengubah semua huruf menjadi huruf kecil (lowercase).
3. Normalization, proses ini memperbaiki kata-kata yang salah eja ataupun disingkat dengan bentuk apapun.
4. Tokenizing, proses ini memecah kalimat menjadi token atau memecah kalimat menjadi kata per kata yang tidak saling berpengaruh.
5. Filtering, proses ini menyaring dan memilah kata-kata yang tidak bermanfaat atau bisa juga menyaring dan memilah kata-kata yang bermanfaat Dalam penelitian ini penulis menggunakan Filtering Stopword Removal yaitu menyaring dan memilah kata-kata yang tidak bermanfaat lalu menghilangkannya.
6. Stemming, proses ini menghilangkan imbuhan pada masing-masing kata sehingga menjadi kata dasar.
Berikut contoh dari keenam proses diatas dapat dilihat pada Tabel 1.
Tabel 1. Contoh Proses Text Preprocessing
Kalimat Asli Aplikasi ini sangat membantu…
Cleaning Aplikasi ini sgt membantu
Case Folding apikasi ini sgt membantu
Normalization Aplikasi ini sangat membantu
Tokenizing “aplikasi” “ini” “sangat” “membantu”
Filtering (Stopword Removal) “aplikasi” “membantu”
Stemming “aplikasi” “bantu”
f. Pembobotan TF-IDF
Data yang telah melalui proses text preprocessing selanjutnya akan dihitung bobot kata nya. Dalam proses ini, perhitungan bobot kata (term) dari sebuah dokumen dilakukan dengan menghitung masing-masing nilai Term Frequency dan Inverse Document Frequency. Hal ini dilakukan untuk menghitung berapa banyak frekuensi kemunculan suatu kata di dalam suatu dokumen dan inverse frekuensi dokumen yang mengandung kata tersebut. Rumus pembobotan TF-IDF dapat dilihat pada persamaan berikut:
6 1. Menghitung Term Frequency (TF)
... (1) : jumlah kata yang muncul pada dokumen
2. Menghitung Inverse Document Frequency (IDF):
(
) ... (2) : jumlah dokumen yang ada
: jumlah dokumen yang mengandung kata g. Pembagian Data
Data yang telah melalui proses pembobotan kata selanjutnya akan dibagi menjadi 2 bagian, yaitu data latih dan data uji. Data latih digunakan oleh algoritma Random Forest untuk membentuk model klasifikasi Random Forest, sedangkan data uji digunakan untuk mengukur sejauh mana model klasifikasi yang telah dibuat berhasil melakukan klasifikasi dengan benar. Berdasarkan teori Paretto Principle, rasio yang umum digunakan dalam pembagian data latih dan data uji adalah 80%:20% (Alwasi’a, 2020).
h. Boostrap Resampling
Metode bootstrap mengambil sampel dengan cara resampling secara random lalu melakukan pengembalian pada dataset awal, sehingga diperoleh suatu dataset baru.
Yang dimaksud dengan melakukan pengembalian pada dataset awal yaitu setelah mendapatkan observasi sampel pertama secara random, maka akan dilakukan pengembalian pada dataset awal sebelum mengambil observasi sampel berikutnya. Hal ini memungkinkan untuk mendapatkan jumlah data yang sama dengan sampel pertama yang telah dilakukan, serta memungkinkan adanya data yang terambil beberapa kali.
Dalam penelitian ini sampel bootstrap yang akan diambil adalah berukuran sama dengan data latih.
i. Perhitungan Entropy dan Information Gain
Nilai entropy merupakan nilai yang menyatakan ukuran ketidakpastian (impurity) atribut dari suatu kumpulan objek. Sedangkan nilai gain merupakan tingkat pengaruh suatu atribut terhadap ukuran efektifitas suatu variabel dalam mengklasifikasi data (Setio et al., 2020). Setelah memperoleh nilai entropy, selanjutnya dilakukan perhitungan nilai gain untuk menentukan nilai gain tertinggi. Hasil perhitungan ini digunakan untuk menentukan urutan atribut yang akan membentuk pohon klasifikasi, dimana atribut yang memiliki nilai gain tertinggi yang akan menjadi akar (root) pada pohon klasifikasi. Proses perhitungan ini dilakukan secara berulang-ulang sampai didapatkan atribut yang mencapai hasil sama dengan 0 sebagai atribut berikutnya yang akan menjadi daun (leaf) pada pohon klasifikasi, dengan catatan atribut yang telah terpilih tidak dimasukkan lagi pada perhitungan selanjutnya. Rumus perhitungan entropy dan information gain dapat dilihat pada persamaan berikut:
1. Menghitung Entropy:
... (3) : Probabilitas (Total kasus positif : Total kasus keseluruhan)
: Probabilitas (Total kasus negatif : Total kasus keseluruhan)
7 2. Menghitung Information Gain:
(( ) ) (( ) ) ... (4) : Entropi Total
: Total kasus (Ya) : Total kasus (Tidak)
: Total kasus keseluruhan (Positif) : Total kasus keseluruhan (Negatif) : Entropi kasus (Ya)
: Entropi kasus (Tidak) j. Pembentukan Tree
Metode Random Forest mengubah data menjadi pohon (tree) lalu mengubah pohon (tree) menjadi rule. Tree merupakan struktur data yang terbentuk dari root, branch dan leaf. Pohon klasifikasi yang digambarkan pada metode ini adalah seperti pohon asli namun terbalik, dimana bagian teratas dari sebuah pohon adalah akar (root) kemudian turun kebagian bawah membentuk daun (leaf), yang mana pada daun (leaf) terdapat kelas yang akan menjadi keluaran akhir dari klasifikasi.
k. Klasifikasi (Random Forest)
Klasifikasi merupakan teknik pengelompok-kan data kedalam suatu kelas yang telah ditentukan. Pohon klasifikasi yang sudah terbentuk selanjutnya akan dijadikan rule untuk mengklasifikasi data uji. Dalam metode ini Random Forest mengambil prediksi dari setiap pohon berdasarkan rule dari pohon tersebut untuk mendapatkan hasil akhir yang akan menentukan data tersebut termasuk ke dalam kategori kelas apa. Klasifikasi akan didapat dengan menghitung suara (vote) terbanyak dari setiap target prediksi yang didapat pada setiap pohon (tree), proses ini disebut (majority vote).
l. Evaluasi (Confusion Matrix)
Evaluasi dilakukan untuk melihat seberapa baik atau seberapa besar akurasi dari model klasifikasi tersebut. Dalam penelitian ini, evaluasi dilakukan dengan metode confusion matrix. Metode tersebut digunakan untuk mencari nilai accuracy, nilai precision dan nilai recall. Berikut parameter yang digunakan pada confusion matrix dapat dilihat pada Tabel 2.
Tabel 2. Parameter Confusion Matrix
Actual positive Actual Negative Predicted Positive True Positive (TP) False Positive (FP) Predicted Negative False Negative (FN) True Negative (TN)
Rumus perhitungan accuracy, precision dan recall beserta fungsi dari setiap perhitungan dapat dilihat pada persamaan berikut:
1.
... (5) 2.
... (6) 3.
... (7)
8 HASIL DAN PEMBAHASAN
a. Pengumpulan Data
Data ulasan yang digunakan merupakan data pada bulan Maret 2020 sampai dengan Mei 2020 dengan jumlah 13.225 data ulasan.
b. Pelabelan Data
Pada data ulasan yang berjumlah 13.225 dataset terdapat 11.558 data berlabel positif dan 1.667 data berlabel negatif.
c. Text Preprocessing
Pada Text preprocessing terdapat enam proses dalam text preprocessing, yaitu Cleaning, Case Folding, Normalization, Tokenizing, Filtering dan Stemming. Hasil dari proses text preprocessing adalah data yang sudah bersih, hal ini tentunya akan membuat jumlah dataset berkurang. Dataset yang sudah bersih berjumlah 12.278 data ulasan.
d. Pembobotan TF-IDF
Perhitungan bobot kata dari sebuah dokumen dilakukan dengan menghitung masing-masing nilai Term Frequency dan Inverse Document Frequency. Berikut langkah-langkah dalam menghitung bobot TF-IDF:
1. Hitung frekuensi kemunculan kata pada setiap dokumen, nilai ini disebut dengan nilai TF (Term Frequency).
2. Hitung jumlah TF pada setiap dokumen, nilai ini disebut dengan nilai DF (Document Frequency).
3. Hitung nilai IDF (Inverse Document Frequency) dari setiap kata dengan persamaan (2).
Proses pembobotan TF-IDF dilakukan dengan bantuan library pada Python yaitu TfidfVectorizer.
e. Pembagian Data (Data Latih & Data Uji)
Pada data ulasan yang berjumlah 12.278 dataset menghasilkan 9.822 data latih dan 2.456 data uji. Pembagian ini dilakukan dengan perbandingan 80%:20% secara otomatis oleh sistem.
f. Bootstrap Resampling
Dalam proses ini akan dilakukan pengambilan sampel sebanyak 100 kali, yang mana nantinya 100 sampel ini akan membentuk 100 pohon (tree) klasifikasi.
g. Pembentukan Tree
Proses pembentukan tree pada dilakukan dengan bantuan library pada Python yaitu RandomForestClassifier yang akan membentuk 100 pohon (tree) klasifikasi.
h. Klasifikasi (Random Forest)
Klasifikasi merupakan teknik pengelompok-kan data kedalam suatu kelas yang telah ditentukan. Dalam metode ini Random Forest mengambil prediksi dari setiap pohon berdasarkan rule dari pohon tersebut untuk mendapatkan hasil akhir yang akan
9 menentukan data tersebut termasuk ke dalam kategori kelas apa. Klasifikasi akan didapat dengan menghitung suara (vote) terbanyak dari setiap target prediksi yang didapat pada setiap pohon (tree), proses ini disebut (majority vote). Berikut hasil klasifikasi dengan Random Forest dapat dilihat pada Tabel 4.26.
Tabel 3. Hasil Klasifikasi
Actual positive Actual Negative Predicted Positive True Positive (2.152) False Positive (69) Predicted Negative False Negative (5) True Negative (230)
Bedasarkan Tabel 3 diketahui bahwa Random Forest menghasilkan jumlah prediksi kelas positif yang terklasifikasi benar (TP) sebanyak 2.152 ulasan dan yang terklasifikasi salah (FN) sebanyak 5 ulasan. Sedangkan jmlah prediksi kelas negatif yang terklasifkasi benar (TN) sebanyak 230 ulasan dan yang terklasifikasi salah (FP) sebanyak 69 ulasan.
i. Evaluasi (Confusion Matrix)
Evaluasi dilakukan untuk melihat seberapa baik atau seberapa besar hasil akurasi dari model klasifikasi yang telah dibuat. Dalam penelitian ini, evaluasi dilakukan dengan menggunakan metode confusion matrix.
1. Accuracy :
2. Precision :
3. Recall :
Dengan hasil accuracy, precision dan recall yang cukup tinggi, maka dapat disimpulkan bahwa tingkat ketepatan hasil prediksi menggunakan metode Random Forest secara keseluruhan cukup akurat.
KESIMPULAN
Berdasakan penelitian yang telah dilakukan mengenai analisis sentimen ulasan pengguna aplikasi Alodokter dengan Random Forest, maka dapat diambil kesimpulan sebagai berikut:
1. Gambaran umum mengenai persepsi pengguna aplikasi Alodokter pada google play store berdasarkan jumlah ulasan tertinggi pada bulan Maret 2020 sampai dengan Mei 2020 secara umum pengguna merasa puas dengan layanan aplikasi Alodokter, terlihat dari mayoritas pengguna memberikan ulasan positif (11.558 ulasan) dan diikuti ulasan negatif (1.667 ulasan). Jumlah ulasan tertinggi terjadi saat virus corona pertama kali ditetapkan masuk ke Indoneia yaitu pada bulan Maret 2020 (5.020 ulasan) diikuti bulan April 2020 (4.233 ulasan) dan bulan Mei 2020 (3.972 ulasan).
2. Penerapan metode Random Forest dalam analisis sentimen ulasan pengguna sangatlah baik, hal ini dapat dilihat dari kinerja Random Forest yang cukup baik dalam memproses big data dan menghasilkan nilai akurasi yang tinggi. Namun demikian, metode ini membutuhkan perangkat komputasi dengan spesifikasi tinggi,
10 sehingga kurang cocok untuk penelitian text mining dengan big data karena membutuhkan waktu kurang lebih 30 menit/node.
3. Dengan hasil accuracy 97%, maka dapat disimpulkan bahwa tingkat ketepatan hasil prediksi menggunakan metode Random Forest terhadap big data secara keseluruhan cukup tinggi dan akurat.
SARAN
Penelitian selanjutnya diharapkan dapat membangun sebuah sistem berbasis web sebagai alat implementasi dari model prediksi yang telah dibuat, agar dapat digunakan oleh pengguna umum untuk menguji apakah sebuah ulasan memiliki kelas positif atau negatif serta dapat melakukan perbandingan perfoma untuk melihat apakah perfoma metode Random Forest lebih baik dibanding metode lain dalam penelitian text mining.
UCAPAN TERIMA KASIH
Penulis mengucapkan terima kasih kepada bapak Elfizar, S.Si., M.Kom. yang telah membimbing, memotivasi serta membantu penelitian dan penulisan karya ilmiah ini.
DAFTAR PUSTAKA
Adrian, M. R., Putra, M. P., Rafialdy, M. H., & Rakhmawati, N. A. (2021).
Perbandingan Metode Klasifikasi Random Forest dan SVM Pada Analisis Sentimen PSBB. Jurnal Informatika Upgris, 7(1), 39.
https://doi.org/10.26877/jiu.v7i1.7099
Alwasi’a, A. (2020). Analisis Sentimen Pda Riview Aplikasi Berita Online Menggunakan Metode Maximum Entropy (Studi Kasus: Review Detikcom pada Google Play 2019.
Basryah, E. S., Erfina, A., & Warman, C. (2021). Analisis Sentimen Aplikasi Dompet Digital Di Era 4 . 0 Pada Masa Pendemi Covid-19 Di Play Store Menggunakan Algoritma Naive Bayes Classifier. SISMATIK (Seminar Nasional Sistem Informasi Dan Manajemen Informatika), 192.
Sandag, G. A. (2020). Prediksi Rating Aplikasi App Store Menggunakan Algoritma Random Forest. CogITo Smart Journal, 6(2), 171.
https://doi.org/10.31154/cogito.v6i2.270.167-178
Setio, P. B. N., Saputro, D. R. S., & Bowo Winarno. (2020). Klasifikasi Dengan Pohon Keputusan Berbasis Algoritme C4.5. PRISMA, Prosiding Seminar Nasional Matematika, 3, 65, 68.
Siringoringo, R., & Jamaludin. (2019). Text Mining dan Klasterisasi Sentimen Pada Ulasan Produk Toko Online. Jurnal Penelitian Teknik Informatika, 2(2), 315.
https://doi.org/10.34012/jutikomp.v2i1.456
