Analisis Sentimen Gofood Berdasarkan Twitter Menggunakan Metode Naïve Bayes dan Support Vector Machine
Melati Indah Petiwi, Agung Triayudi*, Ira Diana Sholihati
Fakultas Teknologi Komunikasi dan Informatika, Sistem Informasi, Universitas Nasional, Jakarta, Indonesia Email: 1[email protected], 2,*[email protected], 3,*[email protected]
Email Penulis Korespondensi: [email protected]
Abstrak−Pandemi Covid-19 di Indonesia berdampak di setiap sektor kehidupan, termasuk perekonomian. Pemerintah menerapkan pembatasan sosial yang membuat manusia harus melakukan aktivitas di dalam rumah. Karena hal tersebut manusia memilih melakukan segala hal dengan digital termasuk pesan makanan. Dengan meningkatnya minat masyarakat pada pesan makanan secara online ini, menjadikan pendapatan salah satu aplikasi pesan makanan yaitu Gojek (Gofood) mengalami peningkatan. Meskipun demikian Gofood banyak mendapatkan pro dan kontra di tengah masyarakat. Dalam hal ini masyarakat banyak memberikan pendapat mereka menggunakan media sosial terutama twitter. Tujuan Penelitian ini adalah untuk menganalisa opini masyarakat terhadap kinerja Gojek (Gofood) di Indonesia. Adapun pengelompokkannya dibagi menjadi tiga kelas yaitu kelas positif, negatif dan netral yang diuji menggunakan metode Naïve Bayes dan SVM dan membandingkan dua metode tersebut. Analisis sentimen masyarakat mengenai Gofood pada twitter menghasilkan 92,8% bernilai netral, 5,2%
bernilai positif dan 2,0% bernilai negatif. Perbandingan hasil akurasinya, metode Support Vector Machine akurasinya lebih besar dari metode Naïve Bayes, dengan nilai akurasi Support Vector Machine sebesar 83% dan 98,5% sedangkan nilai akurasi Naïve Bayes sebesar 74,6% dan 91,5%.
Kata Kunci: Covid-19; Gofood; Twitter; Naïve Bayes; Support Vector Machine
Abstract−The Covid-19 pandemic in Indonesia has an impact on every sector of life, including the economy. The government implements social activities that make people have to carry out activities at home. Because of this, humans choose to do everything digitally, including ordering food. With the application of public interest in ordering food online, the income of one of the food orders, namely Gojek (Gofood) has increased. However, Gofood has many pros and cons in the community. In this case, many people give their opinion about the use of social media, especially twitter. The purpose of this study was to analyze public opinion on the performance of Gojek (Gofood) in Indonesia. The grouping into three classes, namely positive, negative and neutral classes were tested using the Naïve Bayes and SVM methods and compared the two methods. The analysis of public sentiment regarding Gofood on Twitter resulted in 92.8% worthy neutral, 5.2% worthy positive and 2.0% worthy negative. Comparing the accuracy results, the Support Vector Machine method has greater accuracy than the Naïve Bayes method, with the Support Vector Machine accuracy values of 83% and 98.5%, while the Nave Bayes accuracy values are 74.6%
and 91.5% respectively.
Keywords: Covid-19; Gofood, Twitter; Naïve Bayes; Support Vector Machine
1. PENDAHULUAN
Hampir semua negara di dunia termasuk Indonesia, saat ini sedang menghadapi kesulitan akibat pandemi Covid- 19. Covid-19 atau Penyakit Coronavirus 2019 adalah infeksi menular yang disebabkan oleh virus novel coronavirus. Penyakit ini membuat seluruh dunia menjadi sangat waspada karena penyebarannya yang cepat. Oleh karena itu, banyak negara melakukan karantina wilayah dan pembatasan seluruh kegiatan yang ada di negaranya masing-masing sebagai upaya pengendalian penyebaran virus Covid-19 [1][2][3].
Di Indonesia sendiri, pemerintah telah mengeluarkan kebijakan karantina wilayah dan pembatasan sosial terhadap seluruh kegiatan manusia sejak bulan Maret 2020. Sehingga berdampak pada pola hidup masyarakat yang berubah, dimana aktivitas masyarakat yang tadinya memesan makanan secara langsung, beralih menggunakan media komunikasi digital. Oleh karena itu layanan food delivery menjadi pilihan dalam menghadapi pandemi Covid-19, karena dapat membuat seseorang bisa menikmati makanan dari berbagai restaurant favoritnya. Selain itu juga membuat seseorang dapat menggunakan waktunya lebih baik lagi karena tidak perlu membuang waktu di perjalanan[1][3].
Dengan pembatasan sosial di Indonesia menjadikan layanan food delivery pada masa pandemi Covid-19 berkembang dengan pesat. Melalui riset yang dilakukan oleh (Hastuti, 2019) layanan pesan antar makanan yang paling banyak dicari adalah Gofood, yang diambil dari responden yang memiliki lebih dari dua aplikasi pesan antar makanan [4]. Ini diperkuat lagi dengan riset yang dilakukan lembaga survei CLSA yang dinyatakan pada tanggal 24 Februari 2021, mengatakan bahwa mayoritas 35% masyarakat lebih memilih menggunakan Gofood dan sebesar 20% memilih aplikasi sejenisnya [5].
Adapun strategi yang dilakukan oleh Gofood yaitu dengan memberikan penawaran yang mengguntungkan kepada konsumen sehingga dapat meningkatkan minat konsumen terhadap Gofood untuk berbelanja[1][4].
Perkembangan Gofood yang meningkat pesat menghasilkan beberapa pendapat masyarakat di berbagai platfrom media sosial. Media sosial dijadikan oleh masyarakat untu berbagi perasaan mengenai apapun yang mereka rasakan. Sehingga pro dan kontra mengenai Gofood dapat dijumpai dengan cepat dan akurat [6].
Twitter merupakan salah satu media sosial yang paling banyak digunakan oleh masyarakat umum untuk berbagi informasi baik hal positif maupun negatif tentang informasi yang sedang diakses. Analisis sentimen suatu
tahapan mengumpulkan pendapat masyarakat terhadapa suatu hal seperti isu pada sosial media berbasis web.
berbagi yang Sehingga Ini menjadi acuan untuk peneliti dalam melakukan analisis tentang opini masyarakat mengenai layanan Gofood di media sosial twitter [7].
Metode yang digunakan untuk mengklasifikasi pengujian ini yaitu Naïve Bayes dan Support Vector Machine. Naïve bayes merupakan metode yang paling populer karena kemudahan penggunaannya. Metode Naïve Bayes memiliki kemampuan untuk memenuhi persyaratan diberbagai domain yang berbeda. Sedangkan keunggulan dari metode Support Vector Machine dapat mengidentifikasi hyperplane yang berbeda, yang meningkatkan margin antara dua kelas yang berbeda. Metode Support Vector Machine juga mempunyai kekurangan yaitu masalah pemilihan fitur yang tepat [3]. Analisis sentimen merupakan kegiatan mengelompokkan polaritas dari sebuah kalimat serta dapat menentukan apakah kalimat atau pendapat yang dinyatakan tersebut bersifat positif, negatif atau netral [7].
Penelitian sebelumnya oleh Ratino tentang analisis sentimen informasi Covid-19 dari setiap komentar di Instagram menggunakan metode Support Vector Machine dan Naïve Bayes dengan Particle Swarm Optimization yang terbukti meningkatkan nilai akurasi. Hasil akurasi dari metode Naïve Bayes (PSO) adalah 79,07% dan AUC 0,729, sedangkan metode Support Vector Machine (PSO) adalah 81,16% dan AUC 0,903, sehingga perbedaan akurasi mencapai 2,09%. Metode SVM dengan PSO atau tidak, selalu mendapatkan nilai akurasi yang lebih tinggi dan akurat [3].
Penelitian yang dilakukan oleh M. Wino Adi Putra dengan topik analisis sentimen dompet elektronik pada media sosial twitter menggunakan metode Naïve Bayes Classifier. Hasil penelitian menyatakan bahwa dompet elektronik GoPay mendapatkan nilai positif yang tinggi dari pengguna twitter dengan 46,67%, Dana 37,50% dan OVO 16,67%. Sedangkan nilai negatif paling tinggi yaitu OVO 63,33% diikuti oleh GoPay 53,33% dan paling kecil adalah Dana 30,00%. Sehingga penelitian merekomendasi pada masyarakat untuk menggunakan GoPay sebagai pilihan dompet elektronik [6].
Penelitian lainnya yang dilakukan oleh Enos Dwianto dengan topik analisis sentimen transportasi online dengan metode Naïve Bayes dan Support Vector Machine. Hasil yang didapatkan adalah GrabId menggunakan SVM menghasilkan class precision 66.57%, class recall 57.14%, Accuracy 84.08%, sedangkan GojekIndonesia dengan metode SVM menghasilkan yaitu class precision 54.78%, class recall 52.46%, Accuracy 69.50%.
Tujuannya adalah untuk mengetahui tingkat kepuasan pengguna yang dapat menjadi acuan bagi perusahaan untuk evaluasi peningkatan layanan [8].
Selanjutnya penelitian yang dilakukan oleh Dedi Darwis dengan topik analisis sentimen data twitter Komisi Pemberantas Korupsi Republik Indonesia dengan metode Support Vector Machine (SVM), menghasilkan nilai positif 8%, nilai negatif 77%, serta netral sebanyak 15%. Ini membuktikan bahwa opini masyarakat mengenai kinerja KPK memiliki tanggapan kurang baik [9].
Penelitian yang dilakukan oleh Mochamad Tri dengan topik analisis sentimen pada aplikasi Go-Jek menggunakan metode Support Vector Machine (SVM) dan Naïve Bayes pada komentar play store. Hasil penilitian ini bertujuan membentuk sebuah sistem yang memberikan informasi mengenai perbandingan dua metode berupa score accuracy, recall dan precission [10].
Dari latar belakang penelitian diatas, maka didapatkan permasalahan mengenai “analisis sentimen opini masyarakat tentang Gofood di media sosial twitter”. Data yang digunakan sebanyak 5000 tweet yang dianalisa dari tanggal 15 – 25 November 2021, dengan kata kunci “Gofood”.
Penelitian ini bertujuan untuk mengelompokkan komentar masyarakat menjadi tiga kelas yakni positif, negatif dan netral menggunkan metode Naïve Bayes dan Support Vector Machine sehingga dapat mengetahui seberapa puas pengguna terhadap Gofood, serta dapat membandingkan kinerja kedua metode yaitu Naïve Bayes dengan Support Vector Machine.
2. METODOLOGI PENELITIAN
2.1 Tahapan Penelitian
Penelitian ini dilakukan dengan mempelajari referensi yang relevan untuk mendapatkan pengetahuan, gambaran dan landasan teori serta konsep-konsep lainnya mengenai objek penelitian melalui buku referensi yang ada di perpustakaan, internet dan lain-lain. Penelitian ini bertujuan untuk menganalisis sentimen konsumen tentang Gofood pada media sosial twitter dengan membandingkan metode Naïve Bayes dan metode Support Vector Machine [11]. Hasil penelitian ini menjadi acuan bagi sistem layanan gofood dan digunakan untuk membandingkan dari dua metode yang lebih baik pada penelitian ini. Gambar 1 menunjukkan tahapan penelitian.
Gambar 1. Tahapan Penelitian
Pada gambar 1 menjelaskan beberapa tahapan proses penelitian yang dilakukan diantaranya tahapa awal analisis ini menggunakan jupyter notebook, melakukan crawling data twitter dengan kata kunci “Gofood”, melakukan preprocessing data, proses pemodelan menggunakan metode Naïve Bayes dan Support Vector Machine, dan menyimpulkan hasil.
2.2 Analisa Menggunakan Jupyter Notebook
Proses pengolahan data ini menggunakan aplikasi anaconda 3 dan menjalankan jupyter notebook untuk melakukan analisa sentimen menggunakan bahasa pemprograman python [12].
2.3 Crawling Data
Hasil Crawling data pada penelitian ini diambil dari komentar para pengguna Gofood di media sosial Twitter menggunakan library tweepy dan Twitter API untuk mendapatkan data dari twitter menggunakan kata kunci
“Gofood”[13]. Berikut langkah crawling data[12]:
a. Buat akun twitter developer.
b. Buka text editor jupyter notebook kemudian install “!pip install tweepy”.
c. Lakukan proses crawling data dengan memasukkan kata kunci”Gofood”.
d. Kemudia secara otomatis hasil opini masyarakat tersimpan dalam format csv file.
2.4 Preprocessing Data
Selanjutnya melakukan pemprosesan hasil crawling data twitter dengan cara membersihkan data agar dapat diproses pada tahap modelling atau pemodelan analisis data selanjutnya [14]. Gambar 2 menunjukkan tahapan Preprocessing[8]:
Gambar 2. Tahapan Preprocessing
Pada gambar 2 menunjukkan tahapan awal merupakan dataset tweet mentah merupakan hasil dari crawling data yang telah didapatkan. Selanjutnya data diolah pada proses case folding yaitu merubah semua huruf kapital dalam teks menjadi huruf kecil. Selanjutnya dilakukan filtering terhadap daftar kata tersebut. Setelah itu dilakukan tokenizing yaitu mengkasifikasikan isi teks yang awalnya berupa kalimat menjadi kata secara terpisah. Tahap selanjutnya dilakukan stopword removal yaitu proses menghapus kata-kata yang dianggap tidak penting seperti kata sambung dan kata ganti orang. Kemudian akan mendapatkan hasil dataset tweet baru atau data tweet yang
2.5 Metode Naïve Bayes
Naïve Bayes adalah cara untuk menggunakan probabilitas dan statistik. Algoritma ini ditemukan oleh seorang ilmuwan Inggris bernama Thomas Bayes. Metode ini bertujuan untuk memperkirakan peluang masa depan berdasarkan pengalaman masa lalu. Salah satu fitur utama dari metode ini adalah bahwa opini yang sangat berpengaruh akan independensi dari masing-masing kondisi[7][15].
𝑃(𝐻|𝑋) =𝑃(𝑋|𝐻)
𝑃(𝑋) . 𝑃(𝐻) (1)
𝑃𝑟𝑒𝑐𝑖𝑠𝑠𝑖𝑜𝑛 = 𝑇𝑃
𝑇𝑃+𝐹𝑃 (2)
𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃
𝑇𝑃+𝐹𝑁 (3)
Dimana:
x = Data dengan class yang belum diketahui H = Hipotesis data merupakan suatu class spesifik
P(H|X) = Probabilitas hipotesis H berdasar kondisi X (posteriori probabilitas) P(H) = Probabilitas hipotesis H (prior probabilitas)
P(X|H) = Probabilitas X berdasarkan kondisi pada hipotesis H P(X) = Probabilitas X
2.6 Metode Support Vector Machine
Support Vector Machine merupakan metode klasifikasi untuk memproses data teks menggunakan kernel linear[7].
Kernel berguna untuk menggambarkan dimensi yang lebih kecil ke dimensi lebih besar. SVM memiliki 4 kernel[11][16]:
Tabel 1. Kernel SVM Kernel linier :
𝑘(𝑥, 𝑦) = 𝑥. 𝑦
Kernel sigmoid:
𝑘(𝑥, 𝑦) = tanh(𝜎( 𝑥. 𝑦) + 𝑐 Kernel polinomial:
𝑘(𝑥, 𝑦) = (𝑥. 𝑦)
Kernel RBF:
𝐾(𝑥, 𝑦) = exp (−𝑥−𝑦 2
2𝜎2 ) Kernel Dimana:
C : constanta, d : degree, exp : eksponensial
3. HASIL DAN PEMBAHASAN
3.1 Pengumpulan Data
Salah satu hal terpenting dalam melakukan penelitian ini adalah data[10]. Pengumpulan data didapatkan dari media sosial Twitter dengan tweet berkisar mengenai Gofood. Proses pengumpulan data twitter menegnai Gofood diambil dalam jangka waktu satu minggu menghasilkan 5000 data. Pengumpulan data dilakukan secara otomatis dengan memanfaatkan tools python dan menginstall beberapa library yang dibutuhkan, hasil data yang dikumpulkan dapat disimpan dengan format .json dan .csv. Tabel 2 menunjukkan contoh crawling data mengenai opini masyarakat pada media sosial twitter[6][7][9]:
Tabel 2. Contoh Hasil Crawling Data
No. Komentar Sentimen
1.
b'@FOODFESS2 Lebih suka gofood sih soalnya otomatis make voucher yg paling
bagus diskonnya,kalo di grabfood terakhir \xe2\x80\xa6 https://t.co/ijd8TNGSuR' Positif 2. coloursplash Open today Voucher Gojek Gofood Diskon 30%, fee hanya 2k bisa
langsung dm https://t.co/P08qivKk6Y Netral
3.
b'Kesel banget sama restoran yang tutup, tapi di aplikasi Gofood nya buka! Mana
di hubungi no respon! Di cancel juga xe2\x80\xa6 https://t.co/egiwCzC9Ch' Negatif 3.2 Preprocessing Data
Tahapan ini merupakan tahapan pemprosesan data hasil dari proses crawling data hingga menjadi data yang bersih[13]. Hasil data dari preprocessing ini siap untuk di proses pada tahap proses klasifikasi[9]. Berikut tahapan dalam melakukan preprocessing:
a. Case Folding, tahapan untuk mengganti semua huruf kapital dalam teks menjadi huruf kecil. Tabel 3 menunjukkan hasil proses case folding[17].
Tabel 3. Contoh Hasil Case Folding
Teks Hasil Case Folding
@FOODFESS2 Lebih suka gofood sih soalnya otomatis make voucher yg paling bagus diskonnya,kalo di grabfood terakhir \xe2\x80\xa6 https://t.co/ijd8TNGSuR'
@foodfess2 lebih suka gofood sih soalnya otomatis make voucher yg paling bagus diskonnya,kalo di
grabfood terakhir\xe2\x80\xa6
https://t.co/ijd8tngsur'
b. Filtering merupakan tahapan pembersihan teks dari komponen yang dianggap tidak mempunyai arti untuk analisis sentimen seperti tanda baca, karakter atau simbol, angka, emoticon dan link URL. Tabel 4 menunjukkan hasil tahapan filtering[16].
Tabel 4. Contoh Hasil Filtering
Teks Hasil Filtering
@foodfess2 lebih suka gofood sih soalnya otomatis make voucher yg paling bagus diskonnya,kalo di grabfood terakhir \xe2\x80\xa6 https://t.co/ijd8tngsur'
lebih suka gofood sih soalnya otomatis make voucher yg paling bagus diskonnya kalo di grabfood terakhir
c. Tokenizing merupakan tahapan pemisahan teks kalimat menjadi potongan per kata sesuai spasi dalam teks.
Tabel 5 menunjukkan hasil tahapan tokenizing[17].
Tabel 5. Contoh Hasil Tokenizing
Teks Hasil Tokenizing
lebih suka gofood sih soalnya otomatis make voucher yg paling bagus diskonnya kalo di grabfood terakhir
[lebih], [suka], [gofood] [sih], [soalnya], [otomatis], [make], [voucher], [yg], [paling], [bagus], [diskonnya], [kalo], [di] [grabfood], [terakhir]
d. Stopword Removal merupakan poses pemilihan atau penyaringan kata pada teks yang tidak mempunyai arti seperti kata sambung, kata keterangan dan sebagainya, yang tidak diperlukan dalam pemodelan data. Tabel 6 menunjukkan hasil tahapan stopword removal[17].
Tabel 6. Contoh Hasil Stopword Removal
Teks Hasil Stopword Removal
[lebih], [suka], [gofood], [sih], [soalnya], [otomatis], [make], [voucher], [yg], [paling], [bagus], [diskonnya], [kalo], [di], [grabfood], [terakhir]
Lebih suka gofood soalnya otomatis voucher diskonnya grabfood terkahir
e. Labelling merupakan pemprosesan terhadap hasil data stopword removal, dimana hasilnya diberikan perhitungan polarity dari komentar yang diambil, sehingga mendapatkan dua klasifikasi yaitu label positif (nilai > 0) dan negatif (nilai < 0), untuk label netral (nilai = 0) tidak diproses[13].
Gambar 3. Diagram Labelling
Pada gambar 3 menunjukkan bahwa klasifikasi opini masyarakat terhadap Gofood melalui twitter terbagi menjadi bernilai netral sebesar 92,8%, bernilai positif sebesar 5,2% dan bernilai negatif sebesar 2,0%.
Pada gambar 4 menunjukkan bahwa klasifikasi opini masyarakat terhadap Gofood melalui twitter terbagi positif sebanyak 264 tweet dan negatif sebanyak 104 tweet.
3.3 Analisis Menggunakan Naïve Bayes
Analisa sentimen dengan Naïve Bayes dilakukan menggunakan bahasa python memberikan hasil laporan klasifikasi (classification report), penarikan kermbali data (recall), presisi (precision), dan hasil akurasi (accuracy)[11][15]. Hasil pengujian menggunakan metode Naïve Bayes divisualisasi dalam bentuk confusion matrix. Confusion matrix memberikan hasil perbandingan klasifikasi oleh sistem dengan hasil klasifikasi seharusnya[12] [13].
Gambar 5. Confusion Matrix
Pada gambar 5 menunjukkan bahwa Confusion matrix ini berupa matrix dengan ukuran 2 x 2 yang menyatakan setiap kelas klasifikasi positif dan negatif. Model confusion matrix menunjukkan bahwa secara benar sebanyak 2 data sebagai positif dan 54 sebagai data negatif. Selain itu model salah dalam memprediksi 19 data ke dalam kelas negatif yang seharusnya positif (False Positif), serta model menyatakan tidak ada data yang salah dalam kelas positif yang seharusnya negatif (False Negatif)[13].
Tabel 7. Hasil Confusion Matrix
Confusion Matrix Predict Class
Positif Negatif
Actual Class Positif 2 19
Negatif 0 54
Tabel 7 menunjukkan hasil confusion matrix yang digunakan untuk melakukan evaluasi model. Sehingga didapatkan perhitungan nilai akurasi menggunakan metode Naïve Bayes dengan code Python yaitu:
Gambar 6. Hasil Accuracy Naive Bayes
Gambar 6 menunjukkan hasil perhitungan matrix dengan code python yaitu 0,746 atau 74,6%. Perhitungan akurasi manual dari perhitungan matrix sebagai berikut:
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 =𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑓+𝑇𝑟𝑢𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑓
𝑇𝑜𝑡𝑎𝑙 𝑑𝑎𝑡𝑎 𝑚𝑎𝑡𝑟𝑖𝑥 𝑥 100% (4)
=56
75 𝑥 100%
= 74,6%
Akurasi memberikan gambaran seberapa akurat metode digunakan dalam mengklasifikasi data dengan benar. Sehingga dapat mengetahui seberapa akurat nilai akurasi pada kinerja sistem dalam menemukan informasi
yang diinginkan user dengan hasil yang diberikan sistem[16]. Nilai keberhasilan sistem dalam penelitian ini dengan akurasi sebesar 74,6%[8]. Selanjutnya dari hasil model confusion matrix dapat dilihat nilai precison dan recall di setiap kelas klasifikasi yang memiliki tingkat kemampuan yang berbeda-beda. Gambar 6 menunjukkan angka precision pada kelas negatif sebesar 100%, dan untuk kelas positif 74%. Nilai precision untuk menunjukkan proporsi label yang diprediksi benar dari total prediksi cukup besar untuk kelas negatif dibanding kelas positif.
Sedangkan angka recall pada kelas negatif sebesar 10% dan untuk kelas positif sebesar 100%. Ini menunjukkan kemampuan sistem dalam menemukan kembali informasi yang bernilai positif dalam dokumen rendah dibanding informasi kembali bernilai negatif[13].
3.4 Analisis Menggunakan Support Vector Machine
Akurasi Analisa sentimen dengan metode Support Vector Machine juga dilakukan dengan bahasa python memberikan hasil berupa laporan klasifikasi (classification report), kemampuan penarikan kermbali data (recall), presisi (precision), dan hasil akurasi (accuracy [15]. Berikut hasil confusion matrix:
Tabel 8. Confusion Matrix SVM
Confusion Matrix Predict Class
Positif Negatif
Actual Class Positif 23 9
Negatif 10 70
Tabel 8 menunjukkan model confusion matrix menunjukkan bahwa secara benar sebanyak 23 data sebagai positif dan 70 sebagai data negatif. Selain itu model salah dalam memprediksi 9 data ke dalam kelas negatif yang seharusnya positif (False Positif), serta model menyatakan 10 data yang salah dalam kelas positif yang seharusnya negatif (False Negatif)[11][13]. Selanjutnya hasil confusion matrix digunakan untuk melakuakn evaluasi model.
Sehingga di dapatkan perhitungan nilai akurasi menggunakan metode Support Vector Machine dengan code Python sebagai berikut:
Gambar 7. Hasil Akurasi SVM
Gambar 7 menunjukkan akurasi menggunakan metode Support Vector Machine. Akurasi memberikan gambaran seberapa akurat metode digunakan dalam mengklasifikasi data dengan benar. Sehingga dapat mengetahui seberapa besar nilai akurasi pada kinerja sistem dalam menemukan informasi yang diinginkan user dengan jawaban yang dihasilkan sistem. Nilai keberhasilan sistem dalam penelitian ini dengan akurasi sebesar 83%[8]. Perhitungan akurasi manual dari perhitungan matrix sebagai berikut:
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 =𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑓+𝑇𝑟𝑢𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑓
𝑇𝑜𝑡𝑎𝑙 𝑑𝑎𝑡𝑎 𝑚𝑎𝑡𝑟𝑖𝑥 𝑥 100% (5)
= 93
112 𝑥 100%
= 83%
Selanjutnya dapat dilihat nilai precission dan recall di setiap kelas klasifikasi yang berbeda-beda.
Precission pada kelas negatif sebesar 88,6%, dan untuk kelas positif 71,8%. Nilai precision untuk menunjukkan proporsi label yang diprediksi benar dari total prediksi cukup besar untuk kelas negatif. Sedangkan angka recall pada kelas negatif sebesar 87,5% dan untuk kelas positif sebesar 69,6%. Ini menunjukkan kemampuan sistem dalam menemukan kembali informasi yang bernilai negatif dalam dokumen tinggi dibanding informasi kembali bernilai positif [11][13].
3.5 Implementasi
Hasil implementasi penerapan metode Naïve Bayes dan Support Vector Machine berupa analisis sentimen terhadap opini masyarakat berdasakan media sosial twitter menggunakan tampilan antarmuka berbasis web.
Pengujian ini memanfaatkan data komentar twitter yang sudah di preprocessing terlebih dahulu dalam bentuk json sebanayak 1000 tweet. Sistem secara otomatis akan membagi data menjadi data latih sebesar 80% dan data uji
Gambar 8. Klasifikasi Menggunakan Metode Naive Bayes
Gambar 8 menunjukkan tampilan klasifikasi menggunakan metode Naïve Bayes. Aplikasi memberikan informasi data mana yang salah dalam memprediksi hasil oleh mesin.
Gambar 9. Hasil Akurasi menggunakan Metode Naive Bayes
Pada gambar 9 melihatkan kemampuan akurasi metode Naïve Bayes dalam mengklasifikasikan 1000 data adalah 91,5%[14]. Sistem menunjukkan klasifikasi positif secara manual sebanyak 180 tweet dan negatif sebanyak 20 tweet. Sedangkan metode Naïve Bayes memprediksi 166 tweet bernilai positif dan 17 bernilai negatif . Ini menunjukkan selish 14 tweet seharusnya negatif (false negatif) dan 3 tweet seharusnya positif (false positif).
Gambar 10. Klasifikasi Menggunkan Metode SVM
Gambar 10 menunjukkan tampilan klasifikasi menggunakan metode Support Vector Machine. Aplikasi memberikan informasi tentang data mana yang salah dalam memprediksi hasil oleh mesin.
Gambar 11. Hasil Akurasi SVM
Pada gambar 11 menunjukkan kemampuan akurasi metode Support Vector Machine dalam mengklasifikasikan 1000 data adalah 98,5%[14]. Sistem menunjukkan klasifikasi positif secara manual sebanyak
180 tweet dan negatif sebanyak 20 tweet. Sedangkan metode Support Vector Machine memprediksi benar 180 tweet bernilai positif dan 17 bernilai negatif . Ini menunjukkan 0 tweet seharusnya negatif (false negatif) dan 3 tweet seharusnya positif (false positif)[13][14].
4. KESIMPULAN
Hasil kesimpulan dari penelitian dan pembahasan yang dilakukan dengan objek Gofood maka didapatkan hasil klasifikasi komentar masyarakat kedalam tiga kelas yaitu kelas positif 5,2%, kelas netral sebesar 92,8% dan kelas negatif sebesar 2,0%. Ini menunjukkan bahwa tanggapan positif masyarakat lebih besar dari pada tanggapan negatif. Selanjutnya hasil akurasi pada penelitian ini dilakukan dengan bahasa python dan tampilan antarmuka berbasis website. Support Vector Machine menghasilkan nilai yang lebih besar dan akurat dari akurasi Naïve Bayes dalam mengelompokkan opini masyarakat berbahasa Indonesia pada media sosial Twitter. Metode Support Vector Machine menghasilkan akurasi sebesar 83% dari 5000 tweet menggunakan bahasa python dan 98,5%
melalui uji coba antarmuka dengan 1000 tweet sedangkan kemampuan akurasi Naïve Bayes sebesar 74,6% melalui bahasa python dan 91,5% menggunakan uji coba antarmuka. Ini membuktikan metode SVM lebih akurat sebagai metode pengelompokkan untuk proses analisis sentimen opini masyarakat berbahasa Indonesia pada Twitter dibandingan Naïve Bayes.
REFERENCES
[1] Q. Amalia, “Persepsi Konsumen Terhadap Faktor yang mempengaruhi Niat Menggunakan aplikasi Go-Food di Masa Pandemi COVID-19,” … Ind. Res. Work. Natl. Semin., pp. 4–5, 2021, [Online]. Available: https://jurnal.polban.ac.id/ojs- 3.1.2/proceeding/article/view/2841/2220.
[2] S. R. Pudjiastuti, , S., and N. Hadi, “the Effect of Corona Virus on the Global Climate,” Jhss (Journal Humanit. Soc.
Stud., vol. 4, no. 2, pp. 130–136, 2020, doi: 10.33751/jhss.v4i2.2456.
[3] Ratino, N. Hafidz, S. Anggraeni, and W. Gata, “Sentimen Analisis Informasi Covid-19 menggunakan Support Vector Machine dan Naïve Bayes,” J. JUPITER, vol. 12, no. 2, pp. 1–11, 2020.
[4] M. M. Ikram, “Keputusan Penggunaan Layanan GoFood Selama Masa Pandemi Covid-19,” J. Ilm. Manaj. Kesatuan, vol. 9, no. 2, pp. 71–80, 2021, doi: 10.37641/jimkes.v9i2.467.
[5] Nurbayti, “Tren Pengguna Aplikasi Go-Food di Era Digital (Studi Fenomenologi Pengguna Go-Food di Universitas Amikom Yogyakarta),” J. Komunikasi, Masy. dan Keamanan, vol. 1, no. 1, pp. 1–10, 2019.
[6] M. W. A. Putra, Susanti, Erlin, and Herwin, “Analisis Sentimen Dompet Elektronik Pada Twitter Menggunakan Metode Naïve Bayes Classifier,” IT J. Res. Dev., vol. 5, no. 1, pp. 72–86, 2020, doi: 10.25299/itjrd.2020.vol5(1).5159.
[7] D. A. Ramadhan and M. . , Erwin Budi Setiawan S.Si., “ANALISIS SENTIMEN PROGRAM ACARA DI SCTV PADA TWITTER MENGGUNAKAN METODE NAIVE BAYES DAN SUPPORT VECTOR MACHINE,” Semin. Nas.
Teknol. Fak. Tek. Univ. Krisnadwipayana, vol. 1, no. 1, pp. 739–742, 2019, [Online]. Available:
https://jurnal.teknikunkris.ac.id/index.php/semnastek2019/article/view/343/342.
[8] E. Dwianto and M. Sadikin, “Analisis Sentimen Transportasi Online pada Twitter Menggunakan Metode Klasifikasi Naïve Bayes dan Support Vector Machine,” Format J. Ilm. Tek. Inform., vol. 10, no. 1, p. 94, 2021, doi:
10.22441/format.2021.v10.i1.009.
[9] D. Darwis, E. S. Pratiwi, and A. F. O. Pasaribu, “Penerapan Algoritma Svm Untuk Analisis Sentimen Pada Data Twitter Komisi Pemberantasan Korupsi Republik Indonesia,” Edutic - Sci. J. Informatics Educ., vol. 7, no. 1, pp. 1–11, 2020, doi: 10.21107/edutic.v7i1.8779.
[10] M. Tri Anjasmoros and dan Fitri Marisa, “Analisis Sentimen Aplikasi Go-Jek Menggunakan Metode Svm Dan Nbc (Studi Kasus: Komentar Pada Play Store),” Conf. Innov. Appl. Sci. Technol. (CIASTECH 2020), no. Ciastech, pp. 489–
498, 2020.
[11] H. Setiawan, E. Utami, and S. Sudarmawan, “Analisis Sentimen Twitter Kuliah Online Pasca Covid-19 Menggunakan Algoritma Support Vector Machine dan Naive Bayes,” J. Komtika (Komputasi dan Inform., vol. 5, no. 1, pp. 43–51, 2021, doi: 10.31603/komtika.v5i1.5189.
[12] E. S. Romaito, M. K. Anam, Rahmaddeni, and A. N. Ulfah, “Perbandingan Algoritma SVM Dan NBC Dalam Analisa Sentimen Pilkada Pada Twitter,” CSRID J., vol. 13, no. 3, pp. 169–179, 2021.
[13] N. Herlinawati, Y. Yuliani, S. Faizah, W. Gata, and S. Samudi, “Analisis Sentimen Zoom Cloud Meetings di Play Store Menggunakan Naïve Bayes dan Support Vector Machine,” CESS (Journal Comput. Eng. Syst. Sci., vol. 5, no. 2, p. 293, 2020, doi: 10.24114/cess.v5i2.18186.
[14] R. Tineges, A. Triayudi, and I. D. Sholihati, “Analisis Sentimen Terhadap Layanan Indihome Berdasarkan Twitter Dengan Metode Klasifikasi Support Vector Machine (SVM),” J. Media Inform. Budidarma, vol. 4, no. 3, p. 650, 2020, doi: 10.30865/mib.v4i3.2181.
[15] A. Triayudi and W. O. Widyarto, “Comparison J48 and Naïve Bayes Methods in Educational Analysis,” J. Phys. Conf.
Ser., vol. 1933, no. 1, pp. 15–20, 2021, doi: 10.1088/1742-6596/1933/1/012062.
[16] F. Fitriana, E. Utami, and H. Al Fatta, “Analisis Sentimen Opini Terhadap Vaksin Covid - 19 pada Media Sosial Twitter Menggunakan Support Vector Machine dan Naive Bayes,” J. Komtika (Komputasi dan Inform., vol. 5, no. 1, pp. 19–25, 2021, doi: 10.31603/komtika.v5i1.5185.
[17] R. Wati et al., “Analisis Sentimen Persepsi Publik Mengenai PPKM Pada Twitter Berbasis SVM Menggunakan Python,”
vol. 06, pp. 240–247, 2021.
