Analisis Sentimen pada Ulasan Film menggunakan FeedForward Neural Network
Nama Tim:
Night Owl
Anggota Tim:
Mega Dewi Giridrawardani (NIM: 201810370311308) Aulia Ligar Salma Hanani (NIM: 201810370311317)
INFORMATIKA FAKULTAS TEKNIK
UNIVERSITAS MUHAMMADIYAH MALANG
2020/2021
ABSTRACT
Sentiment analysis is a process to understand and classify emotions (positive and negative) obtained from a text or writing. Nowadays, public opinion is an important consideration in making someone's decision to do something or buy a product. The method used in this paper is FeedForward Neural Network. FeedForward Neural Network can work more optimally with preprocessing. The performance generated by the Feedforward Neural Network model with preprocessing is better than without preprocessing. The results obtained by preprocessing are accuracy 90.65%, precision 89.61%, recall 91.48, and f1 score 90.52%
Keywords: sentiment analysis, movie review, Neural Network
ABSTRAK
Analisis Sentimen merupakan proses untuk memahami dan mengklasifikasi emosi (positif dan negatif) yang didapatkan dari sebuah teks atau tulisan. Sekarang ini, opini masyarakat menjadi pertimbangan yang penting dalam mengambil keputusan seseorang untuk melakukan sesuatu atau membeli suatu produk. Metode yang digunakan dalam makalah ini adalah FeedForward Neural Network. FeedForward Neural Network dapat bekerja lebih optimal dengan preprocessing. Performa yang dihasilkan model Feedforward Neural Network dengan preprocessing lebih bagus dibandingkan dengan tanpa preprocessing. Hasil yang didapatkan dengan preprocessing adalah accuracy 90.65%, precision 89.61%, recall 91.48, dan f1 score 90.52%
Kata kunci: analisis sentimen, ulasan film, Neural Network
PENDAHULUAN
Latar Belakang
Sentiment analysis merupakan proses yang memiliki tujuan untuk menilai isi dari dataset yang berbentuk teks menjadi bernilai positif atau negatif (Chandani, V., Wahono, R.
S., & Purwanto, P. ,2015,1). Teknik ini sangat baik untuk menentukan hasil dari review dari sebuah opini pelanggan. Sentimen merupakan pernyataan subjektif yang menggambarkan pandangan seseorang terhadap sebuah peristiwa.
Sekarang ini setiap orang bebas untuk menyampaikan opininya di berbagai ruang publik baik di dunia nyata maupun di dunia maya. Opini yang disampaikan bisa mengenai berbagai hal, salah satunya film. Dari sebuah film banyak orang yang beropini mengenai banyak hal tentang film tersebut, mulai dari tokoh yang bermain, cara tokoh memainkan peran, gaya pakaian yang dikenakan, alur cerita, cara pengambilan gambar, dan masih banyak lagi.
Berdasarkan opini tersebut, terdapat orang yang suka dan terdapat orang yang tidak suka mengenai beberapa hal pada film.
Ulasan film yang diberikan oleh pelanggan dapat memiliki dampak terhadap pelanggan lainnya. Ulasan tersebut dapat membantu orang yang terlibat dalam film tersebut untuk mengevaluasi, mengambil keputusan kedepannya, mengerti keinginan dari pelanggannya.
Sedangkan dari dan bagi sisi pelanggan ulasan tersebut dapat membentuk pemahaman
mengenai film, membangun kriteria untuk mengevaluasi film, membantu membuat keputusan yang tepat.
Dalam penelitian ini, digunakan model FeedForward untuk mengklasifikasi sentimen positif dan negatif dari ulasan film.
Tujuan
Penelitian ini bertujuan untuk:
1. Mengklasifikasi ulasan film yang memiliki sentimen positif dan negatif dengan metode Neural Network
2. Mengetahui performa dari Neural Network dari hasil pengujian klasifikasi sentimen dari ulasan film.
Manfaat
Memberikan informasi mengenai metode yang memiliki performa terbaik dari beberapa metode yang dibandingkan dalam analisis sentimen ulasan film. Hasil penelitian diharapkan bermanfaat untuk meningkatkan popularitas film.
Batasan yang digunakan
1. Penelitian ini hanya menggunakan satu kelas
2. Dataset yang digunakan sebanyak 40.000 data train, 5.000 data test, dan 5.000 data validasi
3. Dataset menggunakan bahasa inggris 4. Dataset diperoleh dari kaggle
5. Analisis sentimen hanya bernilai positif atau negatif
STUDI LITERATUR
Pada tahap ini akan menjelaskan penelitian terdahulu yang mendukung penelitian ini:
Penelitian Terdahulu
Penelitian yang dilakukan oleh Brett Duncan dan Yanqing Zhang yaitu “Neural Network for Sentiment Analysis on Twitter”. (Brett & Yanqing, 2015, 277-278)
Pada penelitian ini dilakukan klasifikasi sentiment analysis pada data Twitter menggunakan metode FeedForward Neural Network. Data tweet didapatkan dari Universitas Michigan Kompetisi Analisis Sentimen. Total 200 tweet yang digunakan, 100 menjadi positif sentiment dan 100 menjadi negatif sentiment. Dari 200 tweet menciptakan 288 kosakata, menjadikannya 288 jumlah input ke jaringan saraf 288. Pengguna metode Feedforward memiliki performa yang cukup baik, dimana akurasi yang didapatkan sebesar 74.15%.
Pada eksperimen kedua dengan menggunakan 200 tweet yang sama, namun menggunakan Principal Component Analysis (PCA) untuk mengurangi jumlah fitur pada set pelatihan dan set pengujian. Pengurangan fitur ini dilakukan karena keterbatasan memori apabila set pelatihan melebihi dari 200 tweet. Fitur yang dikurangi sebanyak 50 fitur, namun performa yang dihasil tidak seakurat pada percobaan pertama. Akurasi rata-rata pada set
pengujian 100 tweet hanya 31.04%. Hal ini membuktikan bahwa Feedforward Neural Network akan menghasilkan performa yang bagus dataset dengan jumlah data yang besar.
METODE YANG DIGUNAKAN
Dataset
Data yang digunakan pada penelitian ini adalah IMDB dataset yang berisikan 3 berkas di dalamnya yakni train, test, dan valid. Tiap-tiap berkas tersebut terdiri dari 2 kolom, kolom text yang berisikan kalimat-kalimat mengenai review film dan kolom label yang berisikan nilai sentiment dari review film yakni 0 atau 1. Dataset diperoleh dari kaggle.
Preprocessing
Sebelum dilakukan pemodelan, perlu dilakukan preprocessing karena dataset yang digunakan untuk sentiment analysis masih berupa data mentah. Pada dataset terdapat bagian- bagian yang tidak diperlukan pada proses sentiment analysis, contohnya seperti kata hubung.
Berikut preprocessing yang dilakukan:
1. Filter contractions yakni mengubah penulisan kata yang dilakukan penyingkatan seperti don’t menjadi do not.
2. Filter stopwords merupakan penghilangan kata-kata yang tidak memiliki arti.
3. Filter punctuation adalah tanda baca yang ada pada data dan perlu dihilangkan.
4. FIlter lower yakni proses mengubah huruf kapital menjadi huruf kecil seluruhnya.
5. Filter pos tag merupakan pemberian label pada kata di kalimat dengan tanda yang sesuai dengan kelas kata.
6. Filter lemmatize adalah proses penghilangan prefiks dan sufiks pada kata yang dilakukan untuk menormalisasi kata berdasarkan kata dasarnya.
Feedforward Neural Network
Neural Network merupakan salah satu algoritma dari Deep Learning. Dimana konsep dasar neural network terinspirasi dari kemampuan otak manusia yang mampu memberikan rangsangan, melakukan proses, dan memberikan keluaran.
Feed Forward merupakan Neural Network yang paling sederhana. Dimana informasi yang masuk dari input layer hingga sampai pada output layer dalam satu arah, tidak perlu melakukan perulangan.
Gambar 1. Feedforward Neural Network
Pada penelitian ini, digunakan Multi Layer Perceptron. Multi Layer Perceptron melibatkan banyak layer dalam satu arah forward. Tiap neuron yang berada pada setiap layer saling terhubung dengan semua neuron pada layer selanjutnya. Berdasarkan Gambar 1, model ini pada umumnya terdiri dari 3 Layer yaitu input layer, hidden layer, dan output layer.
Digunakan 50 node pada input layer, 6 node pada hidden layer, dan 1 node pada output layer dengan respon 0 untuk negatif sentimen dan 1 untuk positif sentimen.
Input layer menerima masukan tanpa melakukan proses apapun, kemudian nilai input akan diteruskan ke hidden unit tanpa dilewatkan ke fungsi aktivasi. Pada hidden unit input akan diproses dan dilakukan perhitungan fungsi aktivasi pada setiap node dan hasilnya akan diberikan ke layer selanjutnya. Output dari input layer diterima sebagai input bagi hidden layer.
Begitupun seterusnya hidden layer akan mengirimkan hasil untuk output layer. (Joshua, n.d., 149-150)
𝑜
𝑜= 𝑜 (∑
𝑜𝑜=1𝑜
𝑜𝑜
𝑜,𝑜+ 𝑜
𝑜)
(1)𝑜
𝑜= 𝑜(∑
𝑜𝑜=1𝑜
𝑜𝑜
𝑜,𝑜+ 𝑜
𝑜) =
𝑜(∑
𝑜𝑜=1𝑜(∑
𝑜𝑜=1𝑜
𝑜𝑜
𝑜,𝑜+ 𝑜
𝑜)𝑜
𝑜,𝑜+ 𝑜
𝑜)
(2) Persamaan (1) dan persamaan (2) merupakan persamaan untuk menghitung output pada layer yang berbeda. Dimana 𝑜, 𝑜 merupakan learning parameters. 𝛽, 𝑜 melambangkan bias. K adalah banyaknya input unit dan J merupakan banyaknya hidden units serta 𝜎melambangkan fungsi aktivasi.
HASIL PENGUJIAN
Confusion Matrix merupakan model yang digunakan untuk mengevaluasi model pada skenario pengujian. Dari evaluasi ini akan menghasilkan empat pengukuran yaitu akurasi, precision, recall, dan f1-score.
Tabel 1. Confusion Matrix
Actual Values
TRUE FALSE
Predict Values TRUE TP
(True positive)
FP (False Positive)
FALSE FN
(False Negative)
TN (True Negative) Confusion matrix terdiri dari empat nilai seperti pada Tabel 1. Keempat nilai tersebut menjadi acuan dalam pengukuran performa dari sebuah model. Hasil pengujian dilakukan menggunakan confusion matrix untuk melihat hasil performa dari model yang digunakan.
Terdapat beberapa acuan pada pengukuran performa yakni: (School of Computer Science, n.d.) 1. Accuracy yang menggambarkan keakuratan model dalam melakukan klasifikasi
dengan benar. Rumus perhitungan accuracy ditulis dengan persamaan
𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜
= 𝑜𝑜 + 𝑜𝑜
𝑜𝑜 + 𝑜𝑜 + 𝑜𝑜 + 𝑜𝑜
2. Precision menggambarkan akurasi antara data yang diminta dengan hasil prediksi yang diberikan oleh model. Rumus perhitungan precision ditulis dengan persamaan
𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜 = 𝑜𝑜
𝑜𝑜 + 𝑜𝑜
3. Recall menggambarkan keberhasilan model dalam menemukan kembali sebuah informasi. Rumus perhitungan recall ditulis dengan persamaan
𝑜𝑜𝑜𝑜𝑜𝑜 = 𝑜𝑜
𝑜𝑜 + 𝑜𝑜
4. F-1 Score menggambarkan perbandingan dari rata-rata precision dan recall. Rumus perhitungan F-1 score ditulis dengan persamaan
𝑜 − 1 𝑜𝑜𝑜𝑜𝑜
= 2 ∗ 𝑜𝑜𝑜𝑜𝑜𝑜 ∗ 𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜 𝑜𝑜𝑜𝑜𝑜𝑜 + 𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜
Dalam penelitian ini dibuat dua skenario pengujian yaitu dengan preprocessing dan tanpa preprocessing. Pengujian ini bertujuan untuk mengetahui bagaimana pengaruh preprocessing dalam melakukan klasifikasi sentimen analisis. Adapun hasil dari dua skenario pengujian ditunjukkan pada Tabel 2.
Tabel 2. Hasil Pengujian Neural Network dengan
Preprocessing
Neural Network tanpa Preprocessing
Accuracy 90.65% 89.80%
Precision 89.61% 88.57%
Recall 91.48% 90.75%
F-1 Score 90.52% 89.64%
Hasil pengujian yang ditunjukkan pada Tabel 2 terlihat bahwa Model Neural Network dengan preprocessing memiliki performa yang lebih baik. Preprocessing memiliki pengaruh terhadap performa dari sebuah model.
ANALISA ATAS HASIL PENGUJIAN
Setelah dilakukan pengujian menggunakan confusion matrix untuk melihat performa model, selanjutnya dilakukan analisa dari hasil yang diperoleh. Performa model dapat dipengaruhi oleh beberapa hal yakni:
1. Jumlah dataset yang digunakan.
2. Preprocessing yang dilakukan pada dataset.
3. Proporsi pada data train dan testing.
4. Jumlah layer yang digunakan pada model.
Jika dilihat dari Tabel 2, performa dari model dengan preprocessing dan tanpa preprocessing tidak berbeda jauh. Dilihat dari nilai akurasinya yang hanya berbeda 0.8 saja.
Selain nilai akurasi, nilai precision dan recall juga perlu ditingkatkan agar performa model dalam memprediksi dapat lebih baik. Pada model dengan preprocessing, nilai precision berarti bahwa model dapat memprediksi ulasan film adalah positif dengan benar sebanyak 89.61%.
Sebanyak 90.48% model dapat memprediksi seluruh ulasan film dengan tepat. Begitu pula dengan model tanpa preprocessing.
KESIMPULAN
Film yang bagus dapat dilihat dari ulasan yang didapatkan. Ulasan yang diberikan oleh pelanggan akan sangat berpengaruh pada pelanggan lainnya. Jika ulasan film mengandung banyak hal positif, maka pelanggan lain akan tertarik dan mendapat banyak penonton, begitupun sebaliknya.
Dalam penelitian ini dilakukan klasifikasi analisis sentimen terhadap ulasan film dengan membandingkan performa antara preprocessing dan tanpa preprocessing. Hasil akurasi dari Model dengan preprocessing lebih baik, hal ini membuktikan bahwa preprocessing berpengaruh dalam klasifikasi analisis sentimen terhadap ulasan film dengan model Feedforward Neural Network.
REFERENSI
Duncan, B., & Zhang, Y. (2015). Neural networks for sentiment analysis on Twitter.
2015 IEEE 14th International Conference on Cognitive Informatics & Cognitive Computing (ICCI*CC). doi:10.1109/icci-cc.2015.7259397.
Joshua, F. (n.d.). Feedforward Neural Network.
School of Computer Science. (n.d.). Confusion Matrix. Confusion Matrix.
https://socs.binus.ac.id/2020/11/01/confusion-matrix/
Chandani, V., Wahono, R. S., & Purwanto, P. (2015). Komparasi algoritma klasifikasi Machine Learning dan feature selection pada analisis sentimen review film. Journal of Intelligent Systems, 1(1), 56-60.
