ANALISIS SENTIMEN ULASAN PENGGUNA BSI MOBILE PADA GOOGLE PLAY DENGAN PENDEKATAN SUPERVISED LEARNING
Amalia Anjani Arifiyanti1, Nurisa Rahma Shantika2, Anggy Oktaviana Syafira3
1,2,3 Sistem Informasi, Fakultas Ilmu Komputer, Universitas Pembangunan Nasional “Veteran” Jawa Timur
1[email protected], 2[email protected], 3[email protected]
Abstrak
Ulasan pengguna merupakan salah satu bentuk timbal balik dari pengguna yang sepatutnya dianalisis oleh pihak pengembang agar dapat digunakan sebagai dasar pengembangan aplikasi. Analisis sentimen dari ulasan pengguna dapat menjadi salah satu cara untuk mengetahui sentimen pengguna terhadap aplikasi. Analisis sentimen dapat dilakukan dengan pendekatan klasifikasi. Analisis sentimen dari ulasan aplikasi m-banking Bank Syariah Indonesia yaitu BSI Mobile dilakukan dengan pendekatan klasifikasi dengan menggunakan supervised machine learning. Pada penelitian ini, beberapa algoritma supervised learning diuji dan dibandingkan hasil evaluasinya. Algoritma supervised learning yang digunakan pada penelitian ini adalah Multinomial Naïve Bayes, SVM, Decision Tree, dan KNN. Hasilnya, model klasifikasi yang dibuat dengan algoritma Multinomial Naïve Bayes menghasilkan hasil evaluasi terbaik dengan nilai ROC area sebesar 0,84. Hasil ini mengungguli hasil evaluasi nilai ROC area dari SVM, Decision Trees, dan KNN yang secara berurutan hasilnya sebesar 0,82;
0,78; dan 0,77. Namun sayangnya model klasifikasi yang dihasikan ini kurang mampu dalam memprediksi sentimen negatif. Hasil confusion matrix menunjukkan bahwa model klasifikasi yang dihasilkan oleh Mulinomial Naïve Bayes memiliki kecenderungan dalam prediksi ke sentimen positif. Oleh karenanya, perlu upaya peningkatan performa model klasifikasi untuk memperbaiki akurasi prediksi. Meskipun demikian, dari hasil visualisasi wordcloud dari sentimen positif dan negatif, data yang berhasil dikumpulkan pada penelitian ini dianggap cukup memberikan gambaran kondisi sentimen pengguna saat ini. Hasil wordcloud untuk positif memberikan informasi bahwa kata ‘bantu’, ‘mudah’, ‘bagus’, dan ‘mantap’ muncul dengan frekuensi tinggi, sedangkan pada wordcloud sentimen negatif kata yang sering muncul diantaranya adalah ‘tidak’, ‘transaksi’,
‘henti’, dan ‘error’.
Kata kunci : Analisis Sentimen, Klasifikasi, Supervised Learning, Naive Bayes, SVM
1. Pendahuluan
Pengguna internet di seluruh dunia, khususnya Indonesia hingga saat ini terus mengalami peningkatan sejak internet pertama kali masuk ke Indonesia pada tahun 1988. Pada awal tahun 2022, pengguna 204.7 jiwa atau sebesar 73,7% dari populasi masyarakat Indonesia. yang sudah terhubung dengan internet. Jumlah ini cenderung mengalami peningkatan setiap tahunnya.
Selain itu, tingkat akses internet dengan menggunakan smartphone cukup tinggi yaitu sebesar 370.1 juta. (datareportal.com, 2022). Hal ini mengindikasikan bahwa tingkat akses internet oleh pengguna internet di Indonesia didominasi melalui perangkat smartphone.
Peningkatan penggunaan internet ini telah membuka banyak kesempatan baru di berbagai bidang sehingga mulai menggeser pola hidup masyarakat. Berbagai layanan digital mulai muncul untuk mendukung berbagai sektor seperti bidang pendidikan, kesehatan, pemerintahan, dan industri (Schweer & Sahl, 2017). Layanan digital ini memberikan banyak manfaat bagi penyedia layanan maupun pengguna. Salah satu inovasi yang muncul
dari perkembangan teknologi informasi dan internet ini adalah Mobile Banking (M-Banking).
M-Banking merupakan layanan digital yang ditawarkan para perbankan untuk memudahkan pengguna melakukan berbagai kegiatan transaksi melalui aplikasi pada smartphone pengguna (Singh
& Sinha, 2018). M-Banking menawarkan fleksibilitas waktu dan tempat serta efisiensi dalam bertransaksi (Laukkanen, 2017). Selain manfaat yang ditawarkan tersebut, m-banking juga menjadi media transaksi keuangan dengan tingginya adopsi e-commerce (Shaikh & Karjaluoto, 2015) di masyarakat Indonesia saat ini. Dengan meluasnya kebutuhan masyarakat terhadap efisiensi dan fleksibiltas kegiatan transaksi perbankan, maka saat ini berbagai bank di Indonesia mulai mengadopsi layanan m-banking untuk memberikan layanan digital perbankannya. Bank juga menggunakan strategi ini untuk meningkatkan performa kinerjanya sehingga mereka dapat berdaya saing dan memenangkan kepuasan para nasabahnya.
Masyarakat Indonesia mendukung dikembangkannya layanan digital bank syariah (Haidar, As-Salafiyah, & Herindar, 2022). Salah satu bank yang telah meluncurkan aplikasi m-
bangking adalah Bank Syariah Indonesia (BSI) dengan nama aplikasi BSI Mobile. Tercatat hingga Juni 2021, berdasarkan jumlah unduhan pada Google Playstore, aplikasi BSI Mobile sudah diunduh lebih dari 1 juta kali. Sebagai salah satu aplikasi mobile banking yang bisa dibilang cukup baru, BSI Mobile tentunya memerlukan penilaian terhadap aplikasinya. Penilaian tersebut akan berguna untuk mengetahui kelebihan dan kekurangan dari BSI Mobile, sehingga dapat dilakukan peningkatan dan pengembangan sesuai dengan kebutuhan pengguna di kemudian hari.
Ulasan dari para pengguna aplikasi di Google Play Store merupakan salah satu penilaian yang paling mudah untuk didapatkan. Meskipun demikian, dilihat dari jumlah ulasan yang banyak, tentunya tidak mudah untuk memilah ulasan-ulasan tersebut apakah termasuk dalam tanggapan negatif atau tanggapan positif. Pemilahan ulasan ini tentunya dibutuhkan oleh pihak pengembang BSI Mobile untuk mendapatkan informasi terkait sentimen pengguna terhadap aplikasi m-bankingnya.
Analisis sentimen dengan pendekatan klasifikasi teks dapat digunakan untuk mencapai tujuan ini (Ruslim, Adikara, & Indriati, 2019). Ulasan dari para pengguna BSI Mobile dapat diprediksi apakah sentimennya positif atau negatif. Selain itu, pada penelitian ini juga dilakukan eksplorasi mengenai kata-kata apa saja yang frekuensi kemunculannya tinggi dari masing-masing sentimen. Dari hasil ini dapat digunakan sebagai tambahan analisis mengenai dasar pengembangan aplikasi ke depannya.
Supervised machine learning digunakan pada pendekatan klasifikasi teks (Samal, Behera, &
Panda, 2017). Naive Bayes (Wiratama & Rusli, 2019), Support Vector Machines (SVM) (Ruslim et al., 2019), Decision Tree (Adnan, Sarno, &
Sungkono, 2019), dan K-Nearest Neigbour (KNN) (Bayhaqy, Sfenrianto, Nainggolan, & Kaburuan, 2018; Singla, Randhawa, & Jain, 2018) cukup populer digunakan pada klasifikasi sentimen.
Beberapa machine learning tersebut akan digunakan dalam beberapa skenario pemilihan model klasifikasi, sehingga model klasifikasi yang diterapkan di akhir merupakan model klasifikasi yang memiliki hasil performas paling optimal.
Berdasarkan uraian tersebut, pada penelitian ini dilakukan klasifikasi sentimen pada ulasan aplikasi BSI Mobile menggunakan algoritma supervised learning. Hasil dari penelitian ini diharapkan dapat memberikan informasi mengenai sentimen pengguna aplikasi BSI Mobile dan dapat dijadikan acuan bagi pihak pengembang BSI Mobile untuk meningkatkan layanannya.
2. Metodologi
Tahapan penelitian ini digambarkan pada Gambar 1 yang diawali dengan proses pengumpulan
data, kemudian dilakukan penyiapan data, pra-proses data teks, hingga tahap terakhir adalah proses uji validasi akhir.
2.1 Pengumpulan Data
Dalam penelitian ini, digunakan data ulasan dari Google Play Store tepatnya pada aplikasi BSI Mobile oleh PT Bank Syariah Indonesia, Tbk. Data ulasan yang diambil hanyalah yang berbahasa indonesia. Data yang berhasil diambil sebanyak 3066 data. Pengumpulan data dilakukan dengan metode scrapping dengan menggunakan library Google Play Scraper. Hasilnya kemudian disimpan ke dalam file dengan format CSV.
2.2 Penyiapan Data
Penelitian ini tidak meggunakan semua atribut yang dikumpulkan dari scrapping Google Play. Atribut yang digunakan adalah content dan score. Atribut content berisi ulasan pengguna aplikasi dan bertipe data teks, sedangkan atribut score berisi mengenai rating pengguna terhadap aplikasi yang rentang ratingnya adalah 1 – 5 dengan rating 1 adalah buruk dan 5 adalah sangat baik. Atribut score akan digunakan sebagai dasar pelabelan sentimen untuk data latih. Kategori sentimen yang digunakan pada penelitian ini adalah positif dan negatif. Oleh karenanya, ulasan dengan rentang skor 4 dan 5 akan diberi label sentimen positif, rentang skor 1 dan 2 akan diberi label sentimen negatif, dan data ulasan dengan rentang skor 3 akan dihapus karena dianggap sebagai sentimen netral dan tidak akan digunakan dalam penelitian ini.
Gambar 1 Alur Tahap Penelitian 2.3 Pra-Proses Data Teks
Data teks memiliki bentuk yang tidak terstruktur sehingga perlu diubah menjadi bentuk
Pengumpulan data Penyiapan data Pra-proses data teks Penanganan data kosong
Visualisasi wordcloud Pemodelan klasifikasi Evaluasi model klasifikasi
Uji validasi akhir
terstruktur, selain itu salah satu kekurangan pengolahan data teks adalah tingginya dimensi/fitur data sehingga perlu dikurangi. Hal-hal ini dilakukan pada tahapan pra-proses data teks.
Tahap pra-proses data ini merupakan tahap untuk mempersiapkan data sebelum masuk ke tahap pemodelan data atau pembagian data latih dan data uji. Tahapan pra-proses data teks pada penelitian ini dapat dilihat pada Gambar 2.
Gambar 2 Pra-Proses Teks
Tahap pertama pada pra-proses teks adalah case folding dan tokenizing. Case folding merupakan tahap dimana proses pengubahan semua semua karakter huruf pada data dari huruf kapital menjadi huruf kecil atau non kapital. Hal ini dilakukan karena huruf kapital dan non-kapital akan dikenali sebagai fitur yang berbeda. Pada proses tokenizing, dilakukan pemecahan data teks menjadi fitur-fitur yang nantinya digunakan pada tahap selanjutnya.
Emoticon dan emoji dapat digunakan sebagai fitur penting pada analisis sentimen (Arifiyanti &
Wahyuni, 2020). Oleh karenanya, identifikasi emoji dan emoticon serta penanganannya perlu dilakukan.
Penanganan emoji dan emoticon pada penelitian ini adalah dengan memecah setiap emoticon dan emoji menjadi fitur. Hal ini perlu dilakukan karena pengguna emoji dan emoticon cenderung mengetikkan emoji dan emoticon tanpa spasi.
Tahap berikutnya adalah pembersihan data.
Pada tahap ini dilakukan penghapusan tanda baca, anka, dan huruf tunggal. Hal ini dilakukan agar fitur yang diproses pada tahap pemodelan bersih dari fitur-fitur yang tidak bermakna.
Stopword merupakan kata yang tidak bermakna ataupun tidak memiliki kekhususan makna namun sering muncul dalam data teks, sebagai contoh adalah kata sambung, kata ganti orang, dan sebagainya. Stopword ini perlu dihapus dari daftar fitur sehingga tidak berdampak negatif pada proses pemodelan karena stopword sebaiknya diabaikan.
Tahap terakhir pada pra-proses data teks adalah stemming. Proses stemming dilakukan untuk mengubah suatu kata menjadi bentuk dasarnya, sebagai contoh kata “dimanjakan” diubah menjadi bentuk dasarnya yaitu “manja”. Tahap ini penting
dilakukan karena proses ini dapat mengurangi variasi fitur yang sebenarnya memiliki kata dasar yang sama.
2.4 Penanganan Data Kosong
Ditemukan cukup banyak atribut content yang berisi ulasan pengguna bernilai null atau kosong.
Hal ini diakibatkan hasil dari pembersihan data dari tahap pra-proses data teks yang dilakukan pada tahap sebelumnya. Oleh karena itu, perlu dilakukan penanganan pada atribut ini. Penanganan yang dilakukan adalah dengan melakukan penghapusan terhadap baris data (instance) yang atribut contentnya kosong.
2.5 Visualisasi Wordcloud
Wordcloud menjadi pilihan visualisasi karena metode ini dapat menunjukkan secara lugas kata/fitur yang muncul pada dataset sesuai tingkat frekuensinya. Pada tahap ini dilakukan visualisasi wordcloud dari masing-masing kelompok sentimen.
Harapannya dari visualisasi setiap kelompok sentimen akan diketahui kata/fitur yang paling sering muncul pada sentimen positif maupun sentimen negatif.
2.6 Pemodelan Klasifikasi
Pada tahap ini dilakukan pemodelan klasifikasi dengan beberapa skenario pemilihan machine learning yang digunakan dalam pembuatan model.
Machine learning yang digunakan adalah SVM, KNN, decision tree, dan naïve bayes. Untuk SVM digunakan kernel linear, sedangkan untuk naïve bayes digunakan varian multinomial naïve bayes.
Metode hold-out dengan pembagian data latih dan data uji dalam pembuatan model sebesar 80:20 dan pemilihan data dilakukan secara random.
2.7 Evaluasi Model Klasifikasi
Setelah dilakukan klasifikasi data, kemudian melakukan evaluasi model untuk mengetahui seberapa akurat model yang telah dibuat. Evaluasi model dilakukan dengan menggunakan confusion matrix dan ROC area. Confusion matrix dipilih karena melalui matrik tersebut dapat dianalisis besaran keakuratan prediksi dan salah prediksi dari model klasifikasi yang dibuat. Kategori kualitas model klasifikasi yang dihasilkan berdasarkan rentang nilai ROC (Gorunescu, 2011) dapat dilihat pada tabel 1.
Tabel 1 Kategori Kualitas
Rentang Nilai Kualitas
0.90 – 1.00 Sangat baik 0.80 – 0.90 Baik 0.70 – 0.80 Cukup 0.60 – 0.70 Buruk Case folding dan tokenizing
Penanganan emoji dan emoticon Pembersihan data Penghapusan stopwords
Stemming
Rentang Nilai Kualitas 0.50 – 0.60 Sangat buruk 2.8 Uji Validasi Akhir
Pada tahap ini, model klasifikasi yang telah dipilih diuji coba untuk memprediksi data baru. Data yang digunakan pada pengujian bukan merupakan data yang digunakan pada pembuatan model. Data baru yang digunakan pada pengujian ini sebanyak 64 baris data yang juga diambil dari ulasan pengguna aplikasi BSI yang diambil dari Google Play.
3. Hasil dan Pembahasan
Total dataset yang dikumpulkan untuk pembuatan model sebanyak 3066 baris data. Setelah melalui tahapan pra-proses data teks dan penanganan data kosong, jumlah data yang digunakan untuk pembuatan model klasifikasi berjumlah 2554 baris data. Dengan persentase jumlah sentimen positif sebesar 59,2% dan sentimen negatif sebesar 40,8%.
Fitur yang sering muncul pada pada masing masing sentimen divisualisasikan dalam bentuk wordcloud. Terdapat beberapa kata yang sering dijumpai dalam teks ulasan namun tidak dibutuhkan dalam analisis wordcloud yaitu kata “aplikasi”,
“bsm”, dan “apk”, maka dilakukan penghapusan kata-kata tersebut. Hasil dari wordcloud sentimen positif dapat dilihat pada Gambar 3, sedangkan wordcloud sentimen negatif dapat dilihat pada Gambar 4.
Gambar 3 Wordcloud Sentimen Positif Pada Gambar 3, terlihat bahwa kata/fitur yang paling banyak muncul pada data kelompok sentimen positif memiliki asosiasi dengan sentimen positif.
Fitur bantu, mudah, dan bagus muncul dengan frekuensi tinggi pada kelompok ini. Jika dilihat tidak ada fitur yang berasosiasi negatif yang muncul dalam frekuensi tinggi pada data kelompok sentimen positif. Pada gambar 4, Wordcloud pada kelompok data sentimen negatif juga menunjukkan bahwa fitur-fitur yang berasosiasi dengan sentimen negatif muncul dalam jumlah frekuensi yang tinggi seperti tidak dan henti. Dari visualisasi kedua wordcloud tersebut dapat dinyatakan bahwa fitur-fitur yang cukup representatif pada kedua jenis sentimen tidaklah sama.
Gambar 4 Worcloud Sentimen Negatif Hasil evaluasi model klasifikasi dari beberapa skenario machine learning dapat dilihat pada Gambar 5. Hasilnya nilai AUC (Area Under Curve) untuk model klasifikasi dengan SVM (kernel linear) sebesar 0,82; KNN sebesar 0,77; Decision Tree sebesar 0.78; dan Multinomial Naïve Bayes sebesar 0.84. Dari hasil ini terlihat bahwa Naive Bayes memiliki hasil evaluasi model paling baik disusul oleh SVM. Hasil evaluasi model yang dibuat dengan Naïve Bayes masuk dalam kategori baik, sehingga dapat dinyatakan model dengan Naïve Bayes diterima.
Gambar 5 Kurva ROC
Confusion matrix dari model klasifikasi dengan Naïve Bayes dapat dilihat pada Tabel 2. Pada confusion matrix terlihat bahwa salah prediksi pada sentimen negatif lebih besar dibanding salah prediksi pada sentimen positif. Salah prediksi pada sentimen negatif sebesar 16,98% sedangkan salah prediksi pada sentimen positif hanyalah sebesar 14,72%. Hal ini dimungkinkan karena proporsi data pada kelas sentimen positif lebih besar dibandingkan sentimen negatif.
Tabel 2 Confusion Matrix
Prediksi Negatif Positif Aktual
Negatif 176 36
Positif 44 255
Model klasifikasi yang dibangun menggunakan Naïve Bayes digunakan untuk memprediksi data baru sebanyak 64 baris data ulasan aplikasi data BSI.
Tingkat akurasi yang dihasilkan sebesar 87.5%.
Dengan confusion matrix pada Tabel 3.
Tabel 3 Confusion Matrix Uji Validasi Prediksi Negatif Positif Aktual
Negatif 7 6
Positif 2 49
Jika dilihat pada Tabel 3, model klasifikasi tidak cukup baik dalam memprediksi sentimen negatif yaitu dengan tingkat salah prediksi sentimen negatif sebesar 46,15%. Hal ini cukup berbanding terbalik dengan prediksi sentimen positif yang salah prediksinya sebesar 3.92%. Atau dapat dinyatakan bahwa model ini memprediksi akurat sentimen negatif sebesar 53,85% dan sentimen positif sebesar 96.78%. Pada gambar 4, meskipun pada sentimen negatif fitur yang paling banyak muncul cukup mewakili sentimen negatif namun karena jumlah data pada sentimen positif lebih banyak maka tetap dapat berdampak pada rendahnya akurasi prediksi pada sentimen negatif.
Dari hasil pengujian validasi tersebut dapat dinyatakan bahwa model klasifikasi yang dihasilkan perlu peningkatan performa terutama pada prediksi sentimen negatif. Salah satu cara peningkatannya adalah dengan menambahkan data latih untuk sentimen negatif terutama ulasan yang isi fiturnya cukup variatif sehingga fitur pada sentimen negatif dapat meningkat dan harapannya dapat memperbaiki akurasi prediksi pada sentimen negatif. Penambahan ini dapat pula dilakukan dengan metode untuk membantu menyeimbangkan kelas misalnya metode under-sampling atau over-sampling (contohnya SMOTE (Arifiyanti & Wahyuni, 2020)). Disamping itu, pada pembuatan model klasifikasi disarankan untuk menggunakan K-fold cross-validation (Santos, Soares, Abreu, Araujo, & Santos, 2018; Wardhani, Rochayani, Iriany, Sulistyono, & Lestantyo, 2019) sebagai metode pembagian datanya.
4. Kesimpulan dan Saran
Analisis sentimen dengan menggunakan metode klasifikasi dapat menjadi salah satu pilihan dalam memprediksi sentimen pengguna aplikasi. Beberapa machine learning yang diuji yaitu Naïve Bayes dan SVM menghasilkan performa model dengan kualitas baik sedangkan Decision Tree dan KNN menghasilkan kualitas model klasifikasi dalam kategori cukup. Model yang dibangun dengan Naïve Bayes dipilih karena hasil evaluasinya mengungguli machine learning lainnya yaitu dengan nilai ROC sebesar 0.84. Pada saat uji validasi, model klasifikasi menghasilkan tingkat akurasi sebesar 87,5%, akan tetapi model klasifikasi dinilai kurang baik dalam memprediksi sentimen negatif. Model ini hanya mampu memprediksi secara akurat sentimen negatif sebesar 53,85% sedangkan akurasi prediksi sentimen positif sangat baik yaitu sebesar 96.78%.
Dari hasil ini, maka disarankan dalam pengembangan model klasifikasi untuk prediksi sentimen sebaiknya proporsi data latih masing masing kelas cukup berimbang. Selain itu, data latih dari masing-masing kelas diharapkan cukup memiliki fitur yang representatif terhadap kelasnya.
Oleh karenanya, selain menambah jumlah baris data, dapat juga digunakan metode pemilihan fitur sehingga fitur yang digunakan representatif terhadap kelasnya.
Daftar Pustaka:
Adnan, M., Sarno, R., & Sungkono, K. R. (2019).
Sentiment Analysis of Restaurant Ulasan with Classification Approach in the Decision Tree- J48 Algorithm. Proceedings - 2019 International Seminar on Application for Technology of Information and Communication: Industry 4.0: Retrospect, Prospect, and Challenges, iSemantic 2019, 121–126. Institute of Electrical and Electronics Engineers Inc.
Arifiyanti, A. A., & Wahyuni, E. D. (2020). Emoji and emoticon in tweet sentiment classification.
Proceeding - 6th Information Technology International Seminar, ITIS 2020, 145–150.
Institute of Electrical and Electronics Engineers Inc.
Arifiyanti, A. A., & Wahyuni, E. D. (2020).
SMOTE: Metode Penyeimbang Kelas Pada Klasifikasi Data Mining. SCAN - Jurnal Teknologi Informasi dan Komunikasi, 15(1), 34–39. University of Pembangunan Nasional Veteran Jawa Timur.
Bayhaqy, A., Sfenrianto, S., Nainggolan, K., &
Kaburuan, E. R. (2018). Sentiment Analysis about E-Commerce from Tweets Using Decision Tree, K-Nearest Neighbor, and Naïve Bayes. 2018 International Conference on Orange Technologies, ICOT 2018. Institute of Electrical and Electronics Engineers Inc.
datareportal.com. (2022, February 15). Digital 2022:
Indonesia. Retrieved May 22, 2022, from https://datareportal.com/reports/digital-2022- indonesia
Gorunescu, F. (2011). Data mining: Concepts, models and techniques. Intelligent Systems Reference Library, 12.
Haidar, A., As-Salafiyah, A., & Herindar, E. (2022).
Sentiment Analysis of Digital Sharia Banking.
Ekonomi Islam Indonesia, 4(1), 6694–6702.
Laukkanen, T. (2017). Mobile banking.
International Journal of Bank Marketing, 35(7), 1042–1043. Emerald Publishing Limited.
Ruslim, K. I., Adikara, P. P., & Indriati. (2019).
Analisis Sentimen Pada Ulasan Aplikasi Mobile Banking Menggunakan Metode Support Vector Machine dan Lexicon Based
Features . Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 3(7).
Samal, B. R., Behera, A. K., & Panda, M. (2017).
Performance analysis of supervised machine learning techniques for sentiment analysis.
Proceedings of 2017 3rd IEEE International Conference on Sensing, Signal Processing and Security, ICSSS 2017, 128–133. Institute of Electrical and Electronics Engineers Inc.
Santos, M. S., Soares, J. P., Abreu, P. H., Araujo, H.,
& Santos, J. (2018). Cross-validation for imbalanced datasets: Avoiding overoptimistic and overfitting approaches [Research Frontier]. IEEE Computational Intelligence Magazine, 13(4), 59–76. Institute of Electrical and Electronics Engineers Inc.
Schweer, D., & Sahl, J. C. (2017). The Digital Transformation of Industry – The Benefit for Germany, 23–31. Springer, Cham. Retrieved
May 22, 2022, from
https://link.springer.com/chapter/10.1007/978- 3-319-31824-0_3
Shaikh, A. A., & Karjaluoto, H. (2015). Mobile banking adoption: A literature ulasan.
Telematics and Informatics, 32(1), 129–142.
Pergamon.
Singh, N., & Sinha, N. (2018). A Study on Mobile Banking and its Impact on Customer’s Banking Transactions: A Comparative Analysis of Public and Private Sector Banks in India.
https://doi.org/10.1177/2455265820160207, 5(2), 57–70. SAGE PublicationsSage India:
New Delhi, India.
Singla, Z., Randhawa, S., & Jain, S. (2018).
Sentiment analysis of customer product ulasans using machine learning. Proceedings of 2017 International Conference on Intelligent Computing and Control, I2C2 2017, 2018-January, 1–5. Institute of Electrical and Electronics Engineers Inc.
Wardhani, N. W. S., Rochayani, M. Y., Iriany, A., Sulistyono, A. D., & Lestantyo, P. (2019).
Cross-validation Metrics for Evaluating Classification Performance on Imbalanced Data. 2019 International Conference on Computer, Control, Informatics and its Applications: Emerging Trends in Big Data and Artificial Intelligence, IC3INA 2019, 14–
18. Institute of Electrical and Electronics Engineers Inc.
Wiratama, G. P., & Rusli, A. (2019). Sentiment analysis of application user feedback in Bahasa Indonesia using multinomial naive bayes. Proceedings of 2019 5th International Conference on New Media Studies, CONMEDIA 2019, 223–227. Institute of Electrical and Electronics Engineers Inc.
