Analisis Sentimen E-Wallet di Twitter Menggunakan Support Vector Machine dan Recursive Feature Elimination
Elza Fitriana Saraswita, Dian Palupi Rini*, Abdiansah
Faculty of Computer Science, Department Informatics Engineering, Sriwijaya University, Palembang, Indonesia.
Email: 1[email protected], 2,*[email protected], 3[email protected] Email Korespondensi: [email protected]
Abstrak−Pengelompokan terhadap sentimen positif atau negatif dalam ulasan teks semakin banyak dilakukan secara otomatis untuk mengidentifikasi. Pemilihan fitur dalam klasifikasi adalah hal masalah yangsering tidak terpecahkan. Sebagian besar pemilihan fitur terkait untuk teknik klasifikasi sentimen tidak dapat diatasi dalam hal mengevaluasi fitur signifikan yang mengurangi kinerja klasifikasi. Teknik pemilihan fitur baik dapat meningkatkan kinerja klasifikasi sentimen pada pendekatan pembelajaran mesin. Pertama, dua kumpulan data ulasan pelanggan yaitu berlabel sentimen dan diambil lalu, diproses untuk dievaluasi. Selanjutnya,metode supports vector machine (svm-rfe) dibuat dan diujikan pada dataset. Svm-rfe akan dijalankan untuk mengukur pentingnya fitur dengan memberi peringkat fitur secara berulang-ulang. Untuk klasifikasi sentimen, hanya fitur teratas dari urutan fitur peringkat yang akan digunakan. Akhirnya, kinerja diukur dengan menggunakan akurasi, presisi,recall, dan f1-score. Hasil eksperimen menunjukkan kinerja yang menjanjikan dengan tingkat akuras 81%. Tingkat pengurangan ini signifikan dalam memanfaatkan komputasi secara optimal sumber daya sambil mempertahankan efisiensi kinerja klasifikasi.
Kata Kunci: Supports Vector Machine; Sentimen Analisis; Machine Learning; Twitter; Klasifikasi
Abstract−Grouping of positive or negative sentiments in text reviews is increasingly being done automatically for identification. The selection of features in the classification is a problem that is often not solved. Most of the feature selection related to sentiment classification techniques is insurmountable in terms of evaluating significant features that reduce classification performance. Good feature selection technique can improve sentiment classification performance in machine learning approach. First, two sets of customer review data are labeled with sentiment and then retrieved, processed for evaluation. Next, the supports vector machine (svm-rfe) method is created and tested on the dataset. Svm-rfe will be run to measure the importance of the feature by rating the feature iteratively. For sentiment classification, only the top features of the ranking feature sequence will be used. Finally, performance is measured using accuracy, precision, recall, and f1-score. The experimental results show promising performance with an accuracy rate of 81%. This level of reduction is significant in making optimal use of computing resources while maintaining the efficiency of classification performance.
Keywords: Supports Vector Machine; Sentiment Analysis; Machine Learning; Twitter; Classification
1. PENDAHULUAN
Twitter sebagai salah satu mikroblog yang paling populer di Indonesia. Mikroblog seperti ini sangat memungkinkan pengguna untuk dapat mengirim dan membaca pesan, pesan ini biasa disebut kicauan (tweets).
Kicauan atau tweet ini berupa teks yang terbatas Panjang karakternya, maksimal 140 karakter ditampilkan pada halaman profil pengguna. Beberapa pengelompokan yang sering kali digunakan oleh peneliti [1], [2],[3],[4], dan [5] untuk melakukan analisis sentimen pada sosial media. Seperti menggunakan pendekatan supervised learning untuk melakukan sentimen analisis. Penggunaan sentimen analisis dapat diterapkan pada berbagai opini seperti opini kebencian, opini umum, merek dagang, dan lainnya pada media sosial[6]. Analisis sentimen membuat peneliti dapat mendeteksi bentuk kalimat emosi positif, negatif, ambigu, dan netral oleh setiap penggunanya[7]. Analisis sentimen ini dapat digunakan untuk mendapatkan informasi keadaan emosional seseorang yang ada dalam pesan yang ingin disampaikan para pengguna jejaring media sosial twitter terhadap topik atau trending yang sedang dibahas penggunanya saat itu secara Real-Time maupun tidak [8].
Pada teks bahasa indonesia juga lebih beragam dan memiliki tingkat kesulitan yang jauh lebih tinggi daripada teks berbahasa asing atau Bahasa inggris. Data yang di ambil dari twitter baik dengan cara crawling data atau scrapping data memiliki akan mempengaruhi baik dari sisi jumlah data dan kualitas data yang berbeda dan beragam. Sehingga, sangat penting untuk dapat melakukan prepemrosesan yang baik terhadap data. Karena, hal itu juga dapat mempengaruhi tingkat akurasi di akhir pengklasifikasian serta banyaknya fitur yang akan didapat untuk dilatih dan diujikan.
Saat ini sentimen analisis teks berbahasa indonesia merupakan sebuah inovasi dan kreatifitas perkembangan dalam dunia bisnis, dan ekonomi. Salah satunya dalam mengevaluasi pengunaan dompet elektronik dari sosial media. Masalahnya terletak pada peningkatan kinerja dari Support Vector Machine (SVM) yang dianggap kurang baik karena, waktu kinerja yang lamban dalam pengklasifikasian data tersebut. Penelitian yang dilakukan oleh [9]
pertama kali mengenalkan optimasi Support Vector Machine (SVM) dan Recursive Feature Elimination (RFE) sebagai sebuah algoritma pemilihan fitur dan juga algoritma klasifikasi yang dapat meningkatkan nilai akurasi dari metode Support Vector Machine (SVM). Dalam penelitian [10], [9], dan [11] penggabungan dengan seleksi fitur Recursive Feature Elimination (RFE) memiliki dampak yang baik dan dapat meningkatkan akurasi tetapi hasil yang didapatkan masih dalam keadaan yang belum maksimal terutama dalam sentimen multiclass. Penelitian [12]
membahas bagaimana cara menerapkan algoritma Recursive Feature Elimination (RFE) terhadap Metode Support
Elza Fitriana Saraswita, Copyright ©2021, MIB, Page 1196 Vector Machine (SVM). bekerja dengan cara eliminasi fitur yang berlebihan yang tidak mempunyai pengaruh terhadap suatu hal. Kemudian, eliminasi fitur yang dilakukan secara berulang adalah untuk mendapatkan fitur dengan jumlah sedikit tetapi sangat berpengaruh, untuk mengukur signifikansi hal yang akan diklasifikasikan.Dalam kasus yang sama pengelompokan analisis sentimen multiclass menggunakan metode Support Vector Machine (SVM) sudah menyentuh akurasi yang bagus dengan rata-rata 66.55% [9] tetapi, dalam hal ini peneliti meyakini masih dapat ditingkatkan. Peningkatan kinerja dalam metode Support Vector Machine (SVM) dan Recursive Feature Elimination (RFE) ini masih dapat di tingkatkan lagi. Sehingga, akan sangat berpengaruh dalam kegiatan analisis sentiment teks berbahasa indonesia dikemudian hari.
2. METODOLOGI PENELITIAN
2.1 Studi Literatur 2.1.1 Sentimen Analisis
Sentiment analysis adalah proses penggunaan text analytics untuk mendapatkan berbagai sumber data dari internet dan beragam platform media sosial. Tujuan sentimen antaralain untuk memperoleh opini dari pengguna yang terdapat pada platform tersebut. Sentiment analysis berperan sebagai alat yang dapat menujukkan sebuah emosi seseorang yang direfleksikan dengan tulisan. Sentimen memiliki 2 kategori yang membedakan antara kalimat subjektif dan objektif. Tingkatan sentimen analisis dibagi menjadi 3 bagian yaitu message level, sentence level dan aspect level. Pendapat terbagi dalam kategori pendapat eksplisit dan pendapat implisit. Bagian ini merupakan pandangan atau pendapat pribadi seseorang itu ditujukan untuk hal yang tersirat, pemberian masukan, saran, kritik atau ujaran kebencian. Pendapat yang diungkapkan secara jujur, tegas serta lugas dan jelas atau pendapat yang diungkapkan secara tidak jelas. Dengan begitu, pesan yang dibahas kepada topik tertentu membuat personal atau perusahaan dapat memperoleh masukan inti dari pengguna atau konsumen secara efisien.
2.1.2 Metode Klasifikasi Sentimen
Klasifikasi merupakan salah satu topik utama dalam data mining atau machine learning. Klasifikasi adalah suatu pengelompokan data dimana data yang digunakan tersebut mempunyai kelas label atau target. Sehingga algoritma- algoritma untuk menyelesaikan masalah klasifikasi dikategorisasikan ke dalam supervised learning atau pembelajaran yang diawasi. Pendekatan Supervised learning yang biasa digunakan terhadap pendekatan supervised learning . Penelitian yang dilakukan oleh pertama kali mengenalkan optimasi Support Vector Machine (SVM) dan Recursive Feature Elimination (RFE) sebagai sebuah algoritma pemilihan fitur dan juga algoritma klasifikasi yang dapat meningkatkan nilai akurasi dari metode Support Vector Machine (SVM).
2.1.2. Metode Klasifikasi Support Vector Machine (SVM) dan Recursive Feature Elimination (RFE)
Metode klasifikasi Support Vector Machine (SVM) pada dasarnya adalah menemukan Hyperplane terbaik dengan mengukur hyperplane pada margin, dan menemukan titik maksimumnya[9]. Dalam konteks ini, margin adalah jarak antara hyperplane dan pola terdekat di masing-masing kelas. Pola terdekat disebut Support Vector.
Kemudian, Recursive Feature Elimination (RFE) adalah metode pemilihan fitur untuk mencari yang optimal jumlah fitur dengan menggunakan besaran bobot sebagai peringkat kriteria, dikombinasikan dengan Support Vector Machine (SVM). Untuk mengoptimalkan kinerja dari metode Support Vector Machine (SVM).
2.2 Tahapan Eksperimen
Sentimen analisis memiliki beberapa tahapan sebelum dapat dilakukan pengelompokan atau klasifikasi. Tahapan sentimen secara umum dapat dilihat pada Gambar1. Text Preprocessing merupakan tahap awal dalam mempersiapkan teks yang tidak terstruktur menjadi data yang baik dan siap untuk diolah[13]. Berdasarkan ketidakteraturan struktur data teks, maka proses sistem temu kembali informasi ataupun text mining memerlukan beberapa tahap awal yang pada intinya adalah mempersiapkan agar teks dapat diubah menjadi lebih terstruktur[14].
Gambar 1. Gambar arsitektur analisis sentimen
2.3 Pengumpulan Data
Dataset penelitian ini diambil dari twitter dengan menggunakan twitterscraper dari phyton dalam bentuk CSV.
Dataset ini diambil dengan rentang waktu mulai dari 1 januari 2018 sampai 31 desember 2019. Dalam jenjang waktu tersebut, telah diambil tweet sebanyak 5.309 tweets. Terdiri dari 3 jenis sentimen yaitu positif, netral, dan negatif. Seperti yang dapat di lihat pada Gambar2.
Gambar 2. Gambar data mentah yang diambil dari twitter 1. Tahap pre-processing
Pre-processing merupakan teknik data mining yang melibatkan perubahan data mentah menjadi sebuah data yang terstruktur agar dapat diolah. Data mentah yang baru saja diambil seringkali tidak lengkap, tidak konsisten, dan mengandung banyak kesalahan. Ada beberapa tahapan dalam teknik pre-processing seperti tokenization, case folding, filtering dan stemming[15]. Teknik pre-processing terbukti dapat menyelesaikan masalah tersebut.
2. Tahap Fitur Ekstraksi
Fitur Ekstraksi dapat dijalankan setelah dataset menjadi lebih baik dan terstruktur. Tahapan ini digunakan untuk mendapatkan fitur yang ada dalam suatu teks sehingga akan digunakan sebagai klasifikasi sentimen. Pada tahapan ini yang pertama dilakukan adalah melakukan pengambilan ciri suatu objek yang dapat menggambarkan objek tersebut yaitu ekstraksi menggunakan N-Gram[16]. Jenis fitur ekstraksi tersebut meliputi bigram dan trigram.
3. Tahap fitur seleksi
Reduce Noise Feature (RNF) adalah Fitur seleksi yang digunakan untuk mengurangi fitur-fitur yang memang kemunculan katanya hanya sedikit atau sesekali kemungkinannya. Gunanya, Agar tidak terjadi ledakan data[17]. Recursive Feature Elimination (RFE) bekerja dengan mencari subset fitur dengan memulai dengan semua fitur dalam set data pelatihan dan berhasil menghapus fitur sampai jumlah yang diinginkan tetap ada[18]. Hal ini dicapai dengan menyesuaikan algoritma pembelajaran mesin tertentu yang digunakan dalam inti model, memberi peringkat fitur berdasarkan kepentingan, membuang fitur yang paling tidak penting, dan menyesuaikan kembali model. Proses ini diulang (rekursif) sampai sejumlah fitur tetap.
4. Tahap Klasifikasi
Klasifikasi atau pengelompokan merupakan teknik dalam mengelompokkan data berdasarkan data sampel menggunakan Support Vector Machine (SVM)[19].
5. Tahap Evaluasi
Pada bagian ini pengujian Hasil dari penelitian ini diukur dengan menggunakan matriks berupa akurasi, presisi, Recall dan Fl-Score[3]. Pada bagian ini peneliti menggunakan metode Support Vector Machine (SVM) sebagai metode pembanding untuk mendapatkan hasil yang terbaik dan Recursive Feature Elimination (RFE) sebagai penunjang peningkatan kinerja metode tersebut[20]. Metode ini dibagi menjadi beberapa bagian untuk memberikan peringkat pada fitur-fitur tersebut. fitur berperingkat terendah mulsi dsri 500 fitur sampai dengan 4000 fitur.
3. HASIL DAN PEMBAHASAN
Eksperimen untuk sentimen data teks berbahasa Indonesia ini dilakukan pada metode Support Vector Machine (SVM) tanpa digabungkan dengan Recursive Feature Elimination (RFE) tersebut menghasilkan confussion matriks seperti pada Gambar 1. Sehingga didapatkan perhitungan hasil analisis dengan metode SVM tanpa reduksi seleksi fitur memiliki hasil akurasi sebesar 74%.
Elza Fitriana Saraswita, Copyright ©2021, MIB, Page 1198 Gambar 1. Gambar Conffusion Matriks dengan metode SVM
Pada gambar tersebut prediksi coffusion matriks menyatakan sebelah kiri adalah label target atau real seharusnya di bawah itu hasil prediksi sehingga ada 261 data yang tepat memprediksi sentimen negatif atau -1, ada 88 data yang tepat memprediksi sentimen netral atau 0, ada 438 data yang tepat memprediksi sentimen positif atau 1, tetapi ada yang gagal. Seharusnya sentimen positif atau 1, terbaca sentimen netral atau 0 ada 96 data, seharusnya sentimen positif atau 1 terbaca -1 ada 150 data. Seharusnya sentimen positif atau 1 terbaca sentiment netral atau 0 ada 3 data. Seharusnya sentimen negatif atau -1 terbaca sebagai sentimen positif atau 1 ada 4 data, Seharusnya sentimen negatif atau -1, terbaca sentimen netral atau 0 ada 0 data, dan seharusnya sentimen netral atau 0 terbaca -1 ada 10 data. Seperti yang lebih jelas dapat dilihat pada tabel 1.
Tabel 1. Tabel Confussion Matriks sentimen dengan metode SVM Prediksi
-1 0 1
actual
-1 261 0 150
0 10 88 96
1 4 3 438
Sedangkan, dengan metode Support Vector Machine (SVM) yang digabungkan dengan Recursive Feature Elimination (RFE) Seleksi fitur dilakukan dengan membuang peringkat terendah dari fitur[21]. Kemudian, menggunakan 500 fitur sampai dengan 4000 fitur untuk di evaluasi. Sehingga, didapatkan akurasi sebesar 81%
untuk 1000 fitur . Seperti yang dapat di lihat pada Tabel 2.
Tabel 2. Tabel akurasi sentimen dengan metode SVM-RFE
No Fitur Accuracy Precision Re-Call F1-Score Waktu
1 500 0.795350 0.841670 0.753394 0.777419 6 S
2 1000 0.817835 0.868880 0.761405 0.785363 14 S
3 2000 0.776676 0.848344 0.716291 0.740030 47 S
4 3000 0.758384 0.845871 0.695474 0.719214 53 S
5 4000 0.755571 0.848396 0.695570 0.7203965 53 S
Fitur yang diuji mendapatkan hasil terbaik pada 1000 fitur yaitu 81%, seperti yang dapat dilihat pada hasil confussion matriks pada Tabel 3. Pada gambar 4 menujukkan conffusion matriks untuk metode Support Vector Machine (SVM) dan Recursive Feature Elimination (RFE).
Gambar 2. Gambar Confusion Matriks dengan metode SVM-RFE
Tabel 3 ini memperlihatkan kejelasan daari gambar 4 dimana gambar tersebut yang menyatakan sebelah kiri adalah label target atau real seharusnya di bawah itu hasil prediksi sehingga ada 838 data yang tepat memprediksi sentimen negatif atau -1, ada 253 data yang tepat memprediksi sentimen netral atau 0, ada 1055 data yang tepat memprediksi sentimen positif atau 1, tetapi ada yang gagal. Seharusnya sentiment positif atau 1, terbaca sentimen netral atau 0 ada 8 data, seharusnya sentimen positif atau 1 terbaca -1 ada 33 data. Seharusnya sentimen negatif atau -1 terbaca sebagai sentimen positif atau 1 ada 192 data dan seharusnya sentimen negatif atau -1, terbaca sentimen netral atau 0 ada 0 data, seharusnya sentimen netral atau 0 terbaca -1 ada 59 data.
Tabel 3. Tabel Confussion matriks dengan metode SVM-RFE
Prediksi
-1 0 1
actual
-1 838 0 192
0 59 253 186
1 33 8 1055
Perbandingan hasil confussion matriks untuk akurasi, presisi, recall, dan F- Score dari metode Support Vector Machine (SVM) dan Recursive Feature Elimination (RFE).dapat di lihat pada Tabel 4. Perbandingan hasil metode antara Support Vector Machine (SVM) dan Support Vector Machine (SVM) yang digabungkan dengan Recursive Feature Elimination (RFE).
Tabel 4. Tabel perbandingan hasil
Accuracy Precision Recall F-Score
SVM 0,74 0.84 0.68 0.71
SVM+RFE 0.81 0.86 0.76 0.78
4. KESIMPULAN
Analisis sentimen memiliki kinerja baik sangat diperlukan terutama untuk menghadapi perkembangan yang sangat pesat dari dokumen khususnya dokumen berbasis teks baik dari media sosial dan sebagainya[22]. Fitur seleksi dapat menyebabkan berkurangnya ukuran indeks sehingga proses retrieval suatu dokumen menjadi lebih cepat sebab jumlah indeks yang dicari menjadi lebih sedikit[23]. Besar pengaruh recursive feature elimination (RFE) sebagai seleksi fitur dalam menganalisa sentimen dompet elekronik bagi peningkatan keuntungan perusahaan dan penjualan secara online dengan pengklasifikasi support vector machine (SVM) [24]. Pada dokumen sentimen dengan teks Bahasa Indonesia yang diambil di twitter. Hasil evaluasi dari Metode support vector machine (SVM) dalam hal ini didapatkan akurasi sebesar 74% dan meningkat saat metode support vector machine (SVM) dan recursive feature elimination (RFE) digabungkan. Pada recursive feature elimination (RFE) Seleksi fitur dilakukan dengan membuang peringkat terendah dari fitur yaitu sebanyak 500 fitur sampai dengan 4000 fitur. Sehingga, didapatkan memiliki akurasi sebesar 81%. meskipun hasil yang digunakan belum maksimal.
Namun, sudah cukup memberikan peningkatan untuk mengevaluasi sebuah kasus. Hal ini membuktikan bahwa pengaruh recursive feature elimination (RFE) dapat meningkatkan kinerja dari metode support vector machine (SVM).
REFERENCES
[1] E. Susilawati, “Public Services Satisfaction Based on Sentiment Analysis.,” 2016 Int. Conf. Inf. Technol. Syst. Innov., no. ISBN : 978-1-5090-2449-0., 2016.
[2] N. D. Putranti and E. Winarko, “Analisis Sentimen Twitter untuk Teks Berbahasa Indonesia dengan Maximum Entropy dan Support Vector Machine,” IJCCS (Indonesian J. Comput. Cybern. Syst., vol. 8, no. 1, p. 91, 2014, doi:
10.22146/ijccs.3499.
[3] I. P. Windasari and D. Eridani, “Sentiment analysis on travel destination in Indonesia,” Proc. - 2017 4th Int. Conf. Inf.
Technol. Comput. Electr. Eng. ICITACEE 2017, vol. 2018-Janua, pp. 276–279, 2017, doi:
10.1109/ICITACEE.2017.8257717.
[4] R. Ferdiana, F. Jatmiko, D. D. Purwanti, A. S. T. Ayu, and W. F. Dicka, “Dataset Indonesia untuk Analisis Sentimen,”
J. Nas. Tek. Elektro dan Teknol. Inf., vol. 8, no. 4, p. 334, 2019, doi: 10.22146/jnteti.v8i4.533.
[5] D. C. Wintaka, M. A. Bijaksana, and I. Asror, “Named-entity recognition on Indonesian tweets using bidirectional LSTM-CRF,” Procedia Comput. Sci., vol. 157, pp. 221–228, 2019, doi: 10.1016/j.procs.2019.08.161.
[6] A. R. T. Lestari, R. S. Perdana, and M. A. Fauzi, “Analisis Sentimen Tentang Opini Pilkada DKI 2017 Pada Dokumen Twitter Berbahasa Indonesia Menggunakan Näive Bayes dan Pembobotan Emoji,” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 1, no. 12, pp. 1718–1724, 2017, [Online]. Available: http://j-ptiik.ub.ac.id.
[7] A. Alamsyah and F. Saviera, “A Comparison of Indonesia’s E-Commerce Sentiment Analysis for Marketing Intelligence
Elza Fitriana Saraswita, Copyright ©2021, MIB, Page 1200 Effort (case study of Bukalapak, Tokopedia and Elevenia),” 8 th Int. Conf. Sustain. Collab. Bus. , Technol. Inf. Innov., 2017, [Online]. Available: http://scbtii.telkomuniversity.ac.id/.
[8] M. CINDO, D. P. Rini, and E. Ermatita, “ANALISIS SENTIMEN PADA TWITTER MENGGUNAKAN METODE MAXIMUM ENTROPY DAN SUPPORT VECTOR MACHINE.” Sriwijaya University, 2019.
[9] D. F. Budiono, A. S. Nugroho, and A. Doewes, “Twitter sentiment analysis of DKI Jakarta’s gubernatorial election 2017 with predictive and descriptive approaches,” Proc. - 2017 Int. Conf. Comput. Control. Informatics its Appl. Emerg.
Trends Comput. Sci. Eng. IC3INA 2017, vol. 2018-Janua, pp. 89–94, 2017, doi: 10.1109/IC3INA.2017.8251746.
[10] N. S. Mohd Nafis and S. Awang, “An Enhanced Hybrid Feature Selection Technique Using Term Frequency-Inverse Document Frequency and Support Vector Machine-Recursive Feature Elimination for Sentiment Classification,” IEEE Access, vol. 9, no. Ml, pp. 52177–52192, 2021, doi: 10.1109/ACCESS.2021.3069001.
[11] F. Nurhuda, S. Widya Sihwi, and A. Doewes, “Analisis Sentimen Masyarakat terhadap Calon Presiden Indonesia 2014 berdasarkan Opini dari Twitter Menggunakan Metode Naive Bayes Classifier,” J. Teknol. Inf. ITSmart, vol. 2, no. 2, p.
35, 2016, doi: 10.20961/its.v2i2.630.
[12] R. R. Pullanagari, G. Kereszturi, and I. Yule, “Integrating airborne hyperspectral, topographic, and soil data for estimating pasture quality using recursive feature elimination with random forest regression,” Remote Sens., vol. 10, no. 7, 2018, doi: 10.3390/rs10071117.
[13] G. Shalunts, G. Backfried, and H. S. Alam, “Sentiment analysis in Indonesian and French by SentiSAIL,” Proc. - 9th Asia-Pacific Signal Inf. Process. Assoc. Annu. Summit Conf. APSIPA ASC 2017, vol. 2018-Febru, no. December, pp. 69–
75, 2018, doi: 10.1109/APSIPA.2017.8282004.
[14] D. T. Alamanda, A. Ramdhani, I. Kania, W. Susilawati, and E. S. Hadi, “Sentiment Analysis Using Text Mining of Indonesia Tourism Reviews via Social Media,” Int. J. Humanit. Arts Soc. Sci., vol. 5, no. 2, pp. 72–82, 2019, doi:
10.20469/ijhss.5.10004-2.
[15] M. W. A. Putra, Susanti, Erlin, and Herwin, “Analisis Sentimen Dompet Elektronik Pada Twitter Menggunakan Metode Naïve Bayes Classifier,” IT J. Res. Dev., vol. 5, no. 1, pp. 72–86, 2020, doi: 10.25299/itjrd.2020.vol5(1).5159.
[16] M. A. Fauzi, “JOURNAL OF SOUTHWEST JIAOTONG,” pp. 1–7, 2018.
[17] F. Romadoni, Y. Umaidah, and B. N. Sari, “Text Mining Untuk Analisis Sentimen Pelanggan Terhadap Layanan Uang Elektronik Menggunakan Algoritma Support Vector Machine,” J. Sisfokom (Sistem Inf. dan Komputer), vol. 9, no. 2, p.
247, 2020, doi: 10.32736/sisfokom.v9i2.903.
[18] A. F. Zulfikar, D. Supriyadi, Y. Heryadi, and Lukas, “Comparison performance of decision tree classification model for spam filtering with or without the recursive feature elimination (RFE) approach,” 2019 4th Int. Conf. Inf. Technol. Inf.
Syst. Electr. Eng. ICITISEE 2019, vol. 6, pp. 311–316, 2019, doi: 10.1109/ICITISEE48480.2019.9004001.
[19] S. S. Salim and J. Mayary, “Analisis Sentimen Pengguna Twitter Terhadap Dompet Elektronik Dengan Metode Lexicon Based Dan K – Nearest Neighbor,” J. Ilm. Inform. Komput., vol. 25, no. 1, pp. 1–17, 2020, doi:
10.35760/ik.2020.v25i1.2411.
[20] M. A. Fauzi, “Word2Vec model for sentiment analysis of product reviews in Indonesian language,” Int. J. Electr. Comput.
Eng., vol. 9, no. 1, p. 525, 2019, doi: 10.11591/ijece.v9i1.pp525-530.
[21] Y. T. Arifin, “KOMPARASI FITUR SELEKSI PADA ALGORITMA SUPPORT VECTOR MACHINE UNTUK ANALISIS SENTIMEN REVIEW,” vol. 3, no. September, pp. 191–199, 2016.
[22] B. H. Iswanto and V. Poerwoto, “Sentiment analysis on Bahasa Indonesia tweets using Unibigram models and machine learning techniques,” IOP Conf. Ser. Mater. Sci. Eng., vol. 434, no. 1, 2018, doi: 10.1088/1757-899X/434/1/012255.
[23] A. F. Hidayatullah, C. I. Ratnasari, and S. Wisnugroho, “Analysis of Stemming Influence on Indonesian Tweet Classification,” Telkomnika (Telecommunication Comput. Electron. Control., vol. 14, no. 2, pp. 665–673, 2016, doi:
10.12928/telkomnika.v14i2.3113.
[24] M. Shieh and C. Yang, “Multiclass SVM-RFE for product form feature selection,” vol. 35, pp. 531–541, 2008, doi:
10.1016/j.eswa.2007.07.043.
