Fakultas Ilmu Komputer
Universitas Brawijaya 959
Analisis Sentimen pada Sosial Media Twitter Terhadap Layanan Sistem Informasi Akademik Mahasiswa Universitas Brawijaya dengan Metode K-
Nearest Neighbor
Luqman Rizky Dharmawan1, Issa Arwani2, Dian Eka Ratnawati3
Program Studi Teknologi Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1luqman.rd3@gmail.com, 2issa.arwani@ub.ac.id, 3dian_ilkom@ub.ac.id
Abstrak
Sistem Informasi Akademik Mahasiswa Universitas Brawijaya (SIAM UB) merupakan sebuah layanan akademik milik Universitas Brawijaya yang digunakan untuk melayani keperluan akademik mahasiswa. Pada saat masa pergantian semester, topik mengenai SIAM UB sempat menjadi trending topik di sosial media Twitter. Twitter merupakan layanan sosial media yang cukup digemari oleh masyarakat untuk menyampaikan opini atau pendapat pada topik tertentu termasuk SIAM UB.
Penelitian ini mencoba menganalisis tweet tentang SIAM UB dengan mengklasifikasikan sebuah tweet kedalam kelas sentimen positif atau kelas sentimen negatif. Proses klasifikasi diimplementasikan di aplikasi Rapid Miner dengan metode K-Nearest Neighbor dan seleksi fitur Chi Square. Terdapat 4 proses utama untuk melakukan klasifikasi yaitu preprocessing, pembobotan term, seleksi fitur dan klasifikasi. Hasil akurasi terbaik dari proses klasifikasi diperoleh sebesar 86%. Hasil akurasi tersebut diperoleh ketika menggunakan nilai k = 3 dan menggunakan 100% fitur. Presentase jumlah fitur yang digunakan mempengaruhi nilai akurasi dimana semakin kecil presentasi fitur yang digunakan semakin kecil pula nilai akurasi klasifikasi.
Kata kunci: analisis sentimen, siam ub, rapidminer, k-nearest neighbor, seleksi fitur, chi square Abstract
Sistem Informasi Akademik Mahasiswa Universitas Brawijaya (SIAM UB) is an academic service belongs to University of Brawijaya that is used for college academic needs service. The topic about SIAM UB sometimes become trending topic at Twitter before the new semester starts. Twitter is a social media service that quite famous among citizen for giving opinion or thought through certain topic including SIAM UB. This research try to analyze some tweets about SIAM UB by classifying a tweet into the positive sentiment class or negative sentiment class. The classification process implemented on RapidMiner. The method used on this classification process is K-Nearest Neighbor and Chi Square method for feature selection. There are four main processes for the classification, which are preprocessing, term weighting, feature selection, and classification. The highest accuration score from the classification process is 86%. That accuration score was obtained when using K = 3 and using 100% feature. The percentage of the number of features which is used affects the accuracy value where the lower feature ratio is used, the accuration score became lower too.
Keywords: sentiment analysis, siam ub, rapidminer, k-nearest neighbor, feature selection, chi square
1. PENDAHULUAN
Saat ini berbagai aspek kehidupan tidak dapat lepas dari penggunaan teknologi informasi, termasuk pendidikan. Universitas Brawijaya sebagai sebuah lembaga pendidikan tinggi juga memanfaatkan teknologi informasi dalam kegiatan operasionalnya. Salah satu layanan Universitas Brawijaya yang
memanfaatkan adanya teknologi informasi dan sering digunakan oleh mahasiswanya adalah Sistem Informasi Akademik Mahasiswa atau biasa disebut dengan SIAM.
SIAM UB merupakan sebuah sistem informasi yang digunakan untuk melayani keperluan akademik mahasiswa. Salah satu layanan yang terdapat pada SIAM UB adalah layanan penyusunan Kartu Rencana Studi atau
Fakultas Ilmu Komputer, Universitas Brawijaya
KRS. Masa penyusunan KRS diatur dalam waktu tertentu dan seringkali dilaksanakan pada waktu yang bersamaan. Hal ini terkadang menjadi penyebab terjadinya masalah pada layanan SIAM UB hingga tidak dapat diakses sehingga mahasiswa gagal melakukan proses penyusunan KRS. Berbagai akibat dari kendala yang ada pada SIAM UB ini memunculkan berbagai macam opini mengenai topik masalah tersebut di kalangan mahasiswa Universitas Brawijaya yang menggunakan media sosial khususnya Twitter.
Sosial media Twitter merupakan salah satu media sosial yang memiliki pengguna dari berbagai kalangan, termasuk mahasiswa.
Dengan menulis sebuah tweet sesorang dapat berbagi informasi, berekspresi dan menyatakan pendapat secara bebas. Pada masa KRS semester ganjil tahun ajaran 2019/2020 topik mengenai SIAM UB masuk kedalam trending topic Twitter. Beberapa isi tweet berisi keluhan terhadap layanan SIAM UB yang sempat mengalami gangguan hingga tidak dapat diakses.
Setiap pendapat yang ditulis oleh pengguna melalui sebuah tweet dapat memiliki sentimen positif atau negatif. Untuk itu dibutuhkan proses analisis sentimen untuk mengklasifikasikan pendapat yang ditulis melalui tweet. Dengan adanya proses analisis sentimen tweet yang terkait dengan topik layanan SIAM UB diharapkan dapat menjadi dasar evaluasi layanan SIAM UB dan menjadi ukuran kepuasan mahasiswa terhadap layanan SIAM UB yang digunakan.
Analisis sentimen merupakan proses yang dilakukan dengan tujuan untuk melakukan analisis terhadap pendapat, sentimen, penilaian dan emosi dari pernyataan seseorang terhadap suatu domain. Terdapat berbagai kemungkinan domain mulai dari layanan, produk atau suatu peristiwa (Liu, 2012). Analisis sentimen dapat diartikan sebagai proses yang dilakukan untuk mengidentifikasi sentimen yang terdapat pada suatu teks. Proses analisis sentimen umumnya dilakukan untuk mengelompokkan teks yang terdapat pada kalimat termasuk sentimen positif atau negatif. (Nasukawa & Yi, 2003).
Metode klasifikasi yang digunakan adalah metode K-Nearest Neighbor (KNN). KNN merupakan metode pengklasifikasian data berdasarkan jarak atau nilai kemiripan data uji dengan data latih (Hardiyanto & Rahutomo, 2016). Pada tahun 2014 Bijalwan et al melakukan penelitian yang menghitung akurasi
dari tiga metode klasifikasi yaitu KNN, Term Graph dan, Naïve Bayes. Penelitian tersebut menyatakan bahwa metode KNN memiliki akurasi tertinggi yaitu 98.95%.
Salah satu tahap yang sering digunakan dalam klasifikasi adalah seleksi fitur. Tujuan proses tersebut adalah untuk memilih fitur terbaik yang akan digunakan pada proses klasifikasi (Maulida, Suyatno, & Hatta, 2016).
Penelitian ini menggunakan metode Chi Square untuk seleksi fitur. Salah satu penelitian yang menggunakan metode Chi Square dilakukan oleh Novan Dimas Pratama. Pada penelitian tersebut dilakukan pengujian klasifikasi berdasarkan variasi fitur. Penelitian ini menjelaskan bahwa dengan menggunakan metode seleksi fitur akurasi klasifikasi dapat meningkat walaupun peningkatannya tidak signifikan.
2. METODOLOGI
Pada penelitian ini, analisis sentimen layanan SIAM UB dilakukan dengan menggunakan metode KNN dan seleksi fitur Chi-Square. Diagram alir proses analisis sentimen dapat dilihat pada Gambar 1.
Gambar 1. Diagram alir proses analisis sentimen
Terdapat empat proses utama untuk melakukan klasifikasi. Tahap pertama adalah melakukan preprocessing terhadap seluruh data. Tahap preprocessing meliputi case folding, pembakuan kata, tokenization, stemming dan stopword removal.
Tahap kedua yaitu pembobotan term (TF- IDF) yang bertujuan untuk memberikan bobot
pada term dengan menghitung nilai kemunculan suatu term pada sebuah dokumen atau Term Frequency (TF), serta menghitung nilai Invers Document Frequency (IDF). Nilai TFIDF didapatkan dengan mengalikan nilai TF dan nilai IDF. Nilai TF-IDF yang didapat kemudian dinormalisasikan kemudian hasil dari normalisasi tersebut akan digunakana untuk menghitung jarak antara data latih dengan data uji.
Tahap ketiga adalah melakukan seleksi fitur Chi Square pada data latih. Metode Chi- Square akan mengukur nilai ketergantungan sebuah term t pada sebuah kelas c . Perhitungan Chi-Square dapat dilihat pada Persamaan 1.
(1) Keterangan :
t c N A
B
C
D
=
=
=
=
=
=
=
Term/kata Kelas
Jumlah data latih
Jumlah dokumen pada kelas c yang memuat kata t
Jumlah dokumen bukan kelas c yang memuat kata t
Jumlah dokumen pada kelas c yang tidak memuat kata t
Jumlah dokumen bukan kelas c yang tidak memuat kata t
Untuk mendapatkan nilai Chi Square dari suatu term dapat dilakukan dengan menjumlah hasil perhitungan nilai Chi Square dari masing masing kelas. Perhitungan nilai Chi Square tunggal dilakukan dengan menggunakan Persamaan 2.
Metode KNN adalah metode pengklasifikasian data berdasarkan jarak sebuah data dengan data yang sudah terklasifikasikan (data latih). Untuk menghitung nilai kemiripan atau jarak data uji dan data latih dilakukan dengan hitungan Cosine Similarity. Hitungan Cosine Similarity dapat dilihat pada Persamaan 3.
(3)
Keterangan : A
B Ai
Bi
=
=
=
=
Data Uji Data Latih
Bobot term yang terdapat pada data uji Bobot term yang terdapat pada data latih
3. IMPLEMENTASI
Proses klasifikasi pada penelitian ini diimplementasikan dengan menggunakan tools RapidMiner. Seluruh rangkaian proses klasifikasi pada RapidMiner dapat dilihat pada Gambar 2.
Gambar 2. Rangkaian proses klasifikasi pada RapidMiner
Proses pertama aadalah pembacaan data latih maupun data uji. Pembacaan data dilakukan dengan menggunakan operator Read Excel dan mengisi parameter directory dengan direktori file excel yang berisi data latih atau data uji. Pembacaan data dengan operator Read Excel dapat dilihat pada Gambar 3.
Gambar 3. Pembacaan data dengan operator Read Excel
Proses selanjutnya adalah pembakuan kata yang dilakukan dengan operator stem. Pada operator stem terdapat parameter directory yang diisi dengan direktori file yang berisi daftar kata baku dan kata tidak baku. Pembakuan kata dengan operator Stem dapat dilihat pada Gambar 4.
Gambar 4. . Pembakuan kata dengan operator
Fakultas Ilmu Komputer, Universitas Brawijaya Stem
Proses selanjutnya melakukan preprocessing terhadap seluruh tweet. Proses preprocessing diawali dengan case folding yang kemudian dilanjutkan dengan proses pembakuan kata, tokenization, stemming dan stopword removal. Pada RapidMiner rangkaian preprocessing terdapat pada subproses operator Process Document from Data. Rangkain preprocessing dapat dilihat pada Gambar 5.
Gambar 5. Rangkain preprocessing
Selanjutnya proses pembobotan term dilakukan dengan operator Process Document from Data dengan memilih TF-IDF pada parameter Vector Creation. Pembobotan term TF-IDF pada RapidMiner dapat dilihat pada Gambar 6.
Gambar 6. Pembobotan term TF-IDF pada RapidMiner
Setelah pembobotan term, proses selanjutnya adalah seleksi fitur dengan metode Chi Square pada data latih. Pada RapidMiner, seleksi fitur dengan metode Chi-Square dilakukan dengan menggunakan operator Weight by Chi-Squared Statistic. Setelah setiap term mendapatkan nilai Chi-Square maka nilai tersebut diseleksi berdasarkan urutan nilai tertinggi dengan operator Select by Weight.
Untuk melakukan seleksi fitur berdasarkan presentase fitur dengan nilai tertinggi maka dipilih top p% pada weight relation dan mengisi presentase fitur yang digunakan untuk parameter p. Seleksi fitur Chi-Square pada RapidMiner dapat dilihat pada Gambar 7.
Gambar 7. Seleksi fitur Chi-Square pada RapidMiner
Proses klasifikasi dengan metode KNN di aplikasi RapidMiner dilakukan menggunakan operator k-NN. Pada operator k-NN terdapat parameter k yang diisi dengan nilai k yang akan digunakan. Untuk memilih metode pengukuran jarak dengan menggunakan Cosine Similarity, maka pada parameter measure types dipilih NumericalMeasures dan pada parameter numerical measure dipilih CosineSimilarity.
Klasifikasi menggunakani metode K-NN pada RapidMiner dapat dilihat pada Gambar 8.
Gambar 8. Klasifikasi dengan metode K-NN pada RapidMiner
4. PENGUJIAN DAN ANALISIS
Berikutl merupakan hasil pengujian klasifikasi terhadap 200 data latih dan 50 data
uji. Pengujian pertama merupakan pengujian dengan menggunakan variasi nilai k untuk mendapatkan nilai k dengan akurasi tertinggi.
Setelah mendapatkan nilai k dengan akurasi tertinggi maka dilanjutkan dengan pengujian kedua yaitu pengujian variasi presentasi fitur.
4.1 Pengujian Berdasarkan Variasi Nilai K Pengujian sistem analisis sentimen dilakukan dengan mengubah nilai k untuk metode K-NN. Pengujian ini menggunakan bilangan ganjil mulai dari 1 sampai 25 sebagai variasi nilai k. Pada setiap pengujian nilai k dihitung tingkat akurasi hasil klasifikasinya.
Hasil klasifikasi benar adalah hasil klasifikasi yang memiliki nilai sama dengan sentimen yang diberikan secara manual. Hasil pengujian sistem dengan menggunakan nilai k angka ganjil mulai dari 1 sampai 25 dapat dilihat pada Gambar 9.
Gambar 9. Hasil pengujian berdasarkan variasi nilai k
Akurasi terbaik dari proses pengujian yang telah dilakukan adalah 86% dengan menggunakan nilai k = 3. Hasil tersebut diperoleh dari total klasifikasi benar sebanyak 43 data dari total 50 data yang diuji. Sedangkan hasil akurasi terendah diperoleh sebesar 54%
dengan menggunakan nilai k = 21. Hasil tersebut diperoleh dari total klasifikasi benar sebanyak 27 data dari total 50 data yang diuji.
Dari Gambar 9 dapat diamati akurasi klasifikasi relatif turun saat nilai k bertambah.
Penurunan akurasi disebabkan karena metode K-NN mempertimbangkan kelas data latih terdekat sejumlah nilai k. Semakin besar nilai k yang digunakan maka semakin banyak tetangga yang dipertimbangkan. Sehingga semakin banyak data latih dari kelas berbeda yang menjadi pertimbangan klasifikasi. Nilai akurasi
dengan nilai k = 3 menjadi yang tertinggi karena hanya mempertimbangkan kelas dari 3 tetangga terdekat.
4.2 Pengujian Berdasarkan Variasi Presentase Fitur
Pengujian berdasarkan variasi presentase fitur dilakukan untuk mengetahui pengaruh variasi fitur terhadap akurasi yang dihasilkan.
Pengujian ini menggunakan nilai k dengan akurasi terbaik yaitu k = 3. Pengujian ini dilakukan dengan 9 nilai presentase fitur.
Pengujian menggunakan presentase fitur kelipatan 10 mulai dari 20% hingga 100%.
Hasil akurasi klasifikasi dengan seleksi fitur menggunakan metode Chi Square dapat dilihat pada Gambar 10.
Gambar 10. Hasil pengujian berdasarkan presentase fitur
Akurasi terbaik dari proses pengujiani yang telah dilakukan adalah 86% dengan menggunakan nilai 100% fitur. Sedangkan hasil akurasi terendah diperoleh sebesar 60% dengan menggunakan presentasi fitur sebesar 20%.
Dari Gambar 10 dapat diamati akurasi semakin menurun ketika jumlah fitur data latih yang digunakan semakin kecil. Hal tersebut terjadi karena penggunaan lebih sedikit fitur dapat menghilangkan karakteristik dari sebuah dokumen. Hilangnya karakteristik sebuah dokumen dapat menyebabkan klasifikasi menjadi salah.
4.3 Pengujian Kata Negatif
Pengujian kata negatif dilakukan untuk melihat pengaruh keberadaan term negatif terhadap akurasi klasifikasi. Pengujian ini dilakukan dengan membandingkan akurasi klasifikasi ketika term negatif dimasukkan ke dalam daftar stopword dengan ketika term negatif tidak dimasukkan dalam daftar
50 55 60 65 70 75 80 85 90
1 3 5 7 9 11 13 15 17 19 21 23 25
Akurasi Variasi Nilai K
Nilai K
55 65 75 85 95
Akurasi Variasi Presentase Fitur
Presentase
Fakultas Ilmu Komputer, Universitas Brawijaya
stopword. Kata negatif yang digunakan pada pengujian ini yaitu kata ‘tidak’ dan ‘bukan’.
Ketika term dimasukkan ke dalam daftar stopword akurasi klasifikasinya sebesar 86%
sedangkan ketika term negatif tidak dimasukkan ke dalam stopword akurasinya menurun menjadi 80%. Hal tersebut terjadi karena penghitungan bobot term pada penelitian ini dilakukan untuk term tunggal. Penggunaan term negatif secara tunggal akan mengakibatkan ambiguitas sehingga terjadi kesalahan klasifikasi dan menurunnya akurasi klasifikasi.
5. KESIMPULAN DAN SARAN
Kesimpulan yang didapat dari penelitian yang telah dilakukan adalah sebagai berikut:
Pada penelitian ini terdapat empat proses utama yang terdapat pada sistem yaitu preprocessing, pembobotan term, seleksi fitur, serta klasifikasi KNN. Dalam tahap preprocessing terdapat beberapa proses di dalamnya mulai dari case folding, pembakuan kata, tokenization, stemming sampai stopword removal. Selanjutnya proses pembobotan term yang dimulai dengan menghitung term frequency kemudian dilanjutkan dengan menghitung inverse document frequency.
Selanjutnya pembobotan term dilakukan dengan perhitungan TF-IDF yang hasilnya dinormalisasikan dengan metode Double Normalization. Proses ketiga yaitu seleksi fitur.
Proses seleksi fitur dilakukan untuk memilih fitur terbaik yang digunakan terhadap proses klasifikasi. Seleksi fitur dilakukan pada data latih dengan menggunakan metode Chi-Square.
Proses terakhir yaitu klasifikasi K-NN dengan menghitung Cosine Similarity untuk mengetahui jarak antara sebuah data uji dan data latih. Dari hasil perhitungan jarak tersebut akan diperoleh hasil klasifikasi pada setiap dokumen uji. Setiap dokumen uji diklasifikasikan kedalam sentimen positif atau sentimen negatif.
Pengujian pertama yaitu pengujian dengan menggunakan variasi nilai k. Variasi nilai k yang digunakan adalah seluruh bilangan ganjil mulai dari 1 sampai 25. Dari hasil pengujian dengan seluruh nilai k yang ditentukan diperoleh hasil terbaik ketika menggunakan nilai k = 3. Nilai k tersebut menghasilkan nilai akurasi sebesar 86%.
Pengujian kedua yaitu pengujian yang menggunakan nilai k=3 merupakan nilai k
dengan akurasi tertinggi dan variasi fitur data latih. Presentasi fitur yang digunakan terhadap pengujian ini adalah presentase kelipatan 10 mulai dari 20% sampai 100%. Dari hasil pengujian menggunakan variasi presentase fitur didapatkan hasil bahwa penggunaan 100% fitur mendapatkan akurasi tertinggi dengan nilai akurasi sebesar 86% dan nilai akurasi semakin menurun ketika menggunakan lebih sedikit fitur.
Saran yang dapat diberikan untuk menjadi masukkan atau tambahan pada penelitian selanjutnya akurasi klasifikasi adalah menambah jumlah data latih dani data uji serta pemberian sentimen manual sebaiknya dilakukan oleh lebih banyak orang untuk mengurangi subyektifitas hasil klasifikasi sehingga didapatkan hasil sentimen yang lebih akurat.
6. DAFTAR PUSTAKA
Bijalwan, V., Kumar, V., Kumari, P., &
Pascual, J. (2014). KNN based Machine Learning Approach for Text and Document Mining. . International Journal of Database Theory, 61-70.
Davies, & Beynon, P. (2004). Databasei
Systems Third Edition. New York:
Palgrave Macmillan.
Hardiyanto, E., & Rahutomo, F. (2016).
Implementasi K-Nearest Neighbor (KNN)i Pada Klasifikasi Artikel Wikipedia Indonesia.
Harlian, M. (2006). Machine Learning Text.
Karmayasa, O., & Mahendra, I. B. (2010).
Implementasi Vector Space Model dan Beberapa Notasi Metode Term Frequency Inverse Document Frequency (TF-IDF) pada Sistem Temu Kembali Informasi. Jurnal Program Studi Teknik Informatika Universitas Udayana, 9.
Kotu, V., & Deshpande, B. (2015). Predictive Analytics and Data Mining: Concepts and Practice with RapidMiner.
Waltham: Elsevier.
Liu, B. (2012). Sentimenti Analysisi And Opinion Mining. Chicago: Morgan &
Claypool Publisher.
loka, D. S., & Santosa, B. (2017). Penerapan Text Mining untuk Melakukan Clustering Data Tweet Shopee Indonesia. JURNAL SAINS DAN
SENI ITS Vol. 6.
Mahmudy, W. F., & Widodo, A. W. (2014).
Klasifikasi Artikel Berita Menggunakan Naive Bayes Classifier yang Dimodifikasi. TEKNO, 21.
Manning, C., Raghavan, P., & Schütze, H.
(2009). Introductioni to Informationi
Retrieval. Cambridge University Press.
Maulida, I., Suyatno, A., & Hatta, H. R. (2016).
Seleksi Fitur Pada Dokumen Abstrak Teks Bahasa Indonesia Menggunakan Metode Information Gain.
Mentari, N. D., Fauzi, M. A., & Muflikhah, L.
(2018). Analisis Sentimen Kurikulum 2013 Pada Sosial Media Twitter Menggunakan Metode K-Nearest Neighbor dan Feature Selection Query Expansion Ranking.
Mentari, N. D., Fauzi, M. A., & Muflikhah, L.
(2018). Analisis Sentimen Kurikulum 2013 Pada Sosial Media Twitter Menggunakan Metode K-Nearest Neighbor dan Feature Selection Query Expansion Ranking. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer.
Nasukawa, T., & Yi, J. (2003). Sentiment Analysis: Capturing Favorability Using Natural Language Processing.
Proceedings of the 2nd International Conference on Knowledge Capture, (pp. 70-77). Florida.
Palinoan, V. W. (2014). Sistem Klasifikasi Dokumen Bahasa Jawa dengan Metode K-Nearest Neighbor (K-NN).
Panduan SIAM UB. (n.d.). Retrieved from
SIAM UB:
https://siam.ub.ac.id/panduan/panduan
%20siam.pdfi
Patel, B., & Shah, D. D. (2013). Signigicance of Stop word elimination in meta search engine. International Conference On Intelligent Systems and Signal Processing, 52-55.
Pratama, N. D., Sari, Y. A., & Adikara, P. P.
(2018). Analisis Sentimen Pada Review Konsumen Menggunakan Metode Naive Bayes Dengan Seleksi Fitur Chi Square Untuk Rekomendasi Lokasi Makanan Tradisional. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer , 2982-2988.
Putra, A. P. (2017). Analisis Sentimen Data Twitter Menggunakan Naïve Bayes dengan Negation Handling pada Data Twitter Bahasa Indonesia.
RapidMiner. (2019, 12 10). Retrieved from RapidMiner:
https://rapidminer.com/resource/
Sani, R. R., Zeniarja, J., & Luthfiarta, A.
(2016). Penerapan Algoritma K-Nearest Neighbor pada Information Retrieval dalam Penentuan Topik Referensi Tugas Akhir.
Untuk Pertama Kali, iTwitter Ungkap Jumlah Pengguna Harian. (2019, February 9).
Retrieved from Kompas:
https://tekno.kompas.com/read/2019/02 /09/11340027/untuk-pertama-kali- twitter-ungkap-jumlah-pengguna-harian Utami, L. D., & Wahono, R. S. (2015).
Integrasi Metode Information Gain untuk Seleksi Fitur dan AdaBoost untuk Mengurangi Bias pada Analisis Sentimen Review Restoran Menggunakan Algoritma Naive Bayes.
Journal of Intelligent Systems, Vol. 1, No. 2.
Vidya, N. A. (2015). Twitter Sentiment Analysis Terhadapi Brand Reputation:i
Studi Kasus PT XL AXIATA Tbk.
We Are Social; Hootsuite. (2018, January).
Digital In 2018. Retrieved from We
Are Social:
https://wearesocial.com/blog/2018/01/g lobal-digital-report-2018
