Fakultas Ilmu Komputer
Universitas Brawijaya
1027
Klasifikasi Emosi pada Komentar YouTube Menggunakan Metode
Modified K-Nearest Neighbor (MKNN) dengan BM25 dan Seleksi Fitur
Chi-Square
Candra Ardiansyah1, Indriati2, Marji3
Program Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1[email protected], 2[email protected], 3[email protected]
Abstrak
YouTube merupakan media sosial video online terbesar di dunia yang digunakan untuk menampilkan berbagai video yang dibuat oleh pengguna dan perusahaan di bidang konten media. Setiap video yang terdapat dalam YouTube dapat dilakukan pemberian komentar berjenis teks pada kolom komentar terhadap video yang telah ditonton. Banyaknya komentar mengakibatkan content creator (pembuat video) cukup menghabiskan waktu untuk memahami setiap emosi pada komentar yang ada. Setelah dilakukan pertimbangan terhadap solusi yang digunakan untuk menyelesaikan permasalahan tersebut, penulis memilih menggunakan metode klasifikasi Modified K-Nearest Neighbor (MKNN) dengan BM25 dan seleksi fitur Chi-Square. Pengujian yang digunakan adalah 5-fold cross validation untuk mencari nilai k terbaik yang selanjutnya digunakan untuk pengujian seleksi fitur Chi-Square. Pada pengujian Chi-Square data yang digunakan adalah fold data terbaik berdasarkan nilai f-measure tertinggi pada pengujian 5-fold cross validation. Hasil yang diperoleh adalah nilai accuracy, precision,
recall, f-measure maksimal yang dicapai saat k bernilai 30 adalah 72,82%, 72,94%, 72,26%, dan
72,59%. Sedangkan pada pengujian Chi-Square pada fold data ke-4 jumlah term terbaik yang digunakan adalah sebanyak 40% dan 50%, dengan nilai accuracy, precision, recall, f-measure adalah 80,56%, 80,37%, 81,61%, dan 80,98%.
Kata kunci: klasifikasi, emosi, YouTube, Chi-Square, MKNN, BM25 Abstract
YouTube is the world's largest online video social media that is used to display various videos created by users and companies in the field of media content. Every video contained in YouTube can be done by giving a text type comment in the comments column of the video that has been watched. The large number of comments causes the content creator (video maker) to spend enough time to understand every emotion in the existing comment. After consideration of the solution used to resolve the problem, the authors chose to use the Modified K-Nearest Neighbor (MKNN) classification method with BM25 and Chi-Square feature selection. The test used is 5-fold cross validation to find the best k value which is then used for testing the Chi-Square feature selection. In Chi-Square test the data used is the best fold data based on the highest f-measure value in the 5-fold cross validation test. The results obtained are the maximum accuracy, precision, recall, f-measure values achieved when k is 30, 72,82%, 72,94%, 72,26%, and 72,59%. While the Chi-Square test on the 4th fold of data the best number of terms used is 40% and 50%, with the value of accuracy, precision, recall, f-measure is 80,56%, 80,37%, 81,61 % and 80,98%.
Keywords: classification, emotion, YouTube, Chi-Square, MKNN, BM25
1. PENDAHULUAN
YouTube merupakan media sosial video online terbesar di dunia yang digunakan untuk menampilkan berbagai macam video yang dibuat oleh pengguna dan perusahaan di bidang
konten media (Clement, 2019). Setiap orang dapat mengakses berbagai video yang tersedia dalam YouTube. Selain itu siapapun dapat membuat dan membagikan video mereka. Setiap video yang terdapat dalam YouTube dapat dilakukan pemberian like dan dislike oleh
Fakultas Ilmu Komputer, Universitas Brawijaya
orang yang menontonnya sebagai bentuk penilaian terhadap video yang telah ditonton. Pemberian like merupakan bentuk penilaian ketika seseorang menyukai video yang telah ditonton. Sedangkan dislike merupakan bentuk penilaian ketika seseorang tidak menyukai video yang telah ditonton.
Selain like dan dislike terdapat juga fitur untuk memberikan komentar berjenis teks pada kolom komentar terhadap video yang telah ditonton. Pemberian komentar merupakan bentuk pemberian masukan kepada pembuat video terhadap kualitas dan isi dari video tersebut. Berdasarkan komentar tersebut tentunya dapat diketahui bagaimana emosi seseorang setelah menonton video.
Banyaknya komentar yang menumpuk mengakibatkan content creator (pembuat video) menghabiskan waktu yang lama untuk memahami setiap komentar yang ada. Apalagi apabila video yang telah dibuat sangat banyak. Tentunya jumlah komentar akan semakin bertambah banyak juga. Membaca reaksi pada bagian komentar YouTube merupakan salah satu cara untuk memenuhi keinginan penonton oleh seorang content creator (Savigny & Purwarianti, 2017). Setiap komentar perlu dikenali emosi dari penonton karena like dan dislike saja tidak cukup. Tujuan dari pengenalan emosi adalah agar content creator dapat mengetahui bagaimana perasaan penonton setelah menonton video. Selain itu agar content creator dapat melakukan evaluasi video yang telah dibuat.
Pengenalan emosi dapat dilakukan dengan menggunakan cara klasifikasi. Klasifikasi merupakan proses untuk memberikan label kategori yang telah ditentukan ke dalam kumpulan dokumen teks (Shah & Patel, 2016). Tentunya proses klasifikasi terhadap banyak komentar pada YouTube akan lebih mudah apabila dilakukan dengan secara otomatis dengan menggunakan sistem.
Dalam melakukan proses klasifikasi diperlukan suatu adanya metode. K-Nearest
Neighbor (KNN) adalah salah satu dari 10
metode paling terkenal yang sering digunakan (Okfalisa et al., 2017). Sedangkan metode
Modified K-Nearest Neighbor (MKNN) merupakan turunan dari KNN yang dapat digunakan untuk klasifikasi. Penelitian yang dilakukan oleh Okfalisa et al., (2017) dengan menggunakan metode klasifikasi MKNN menghasilkan nilai accuracy tertinggi dengan nilai 99,51% dan rata-rata accuracy sebesar
99,20%. Sedangkan dengan menggunakan metode KNN menghasilkan nilai accuracy tertinggi dengan nilai 94,95% dan rata-rata
accuracy sebesar 93,94%.
BM25 adalah salah satu algoritme untuk mencari nilai kesamaan antar dokumen. Penelitian oleh Tinega et al., (2018) melakukan perbadingan efektifitas BM25, Boolean Model, dan Vector Space Model. Penelitian tersebut membuktikan bahwa dengan menggunakan metode BM25 diperoleh hasil yang lebih baik daripada menggunakan Boolean Model dan
Vector Space Model. Berdasarkan penelitian
tersebut disimpulkan bahwa BM25 dapat digunakan untuk menghasilkan performa yang lebih baik dalam text mining (Tinega et al., 2018)
Semakin banyaknya dokumen yang akan dilakukan klasifikasi, maka akan semakin banyak juga kata yang terdapat secara keseluruhan. Banyaknya kata yang tidak relevan dalam dokumen dapat mengakibatkan menurunnya nilai accuracy (Shah & Patel, 2016). Salah satu cara untuk menanganinya adalah dengan menggunakan seleksi fitur. Penelitian yang dilakukan oleh Uchyigit (2012) menghasilkan bahwa Chi-Square sebagai seleksi fitur mendapatkan nilai precision terbaik diantara metode seleksi fitur lainnya.
Berdasarkan permasalahan yang ada, maka dapat dilakukan penelitian dengan mengacu pada penelitian sebelumnya. Metode Modified
K-Nearest Neighbor (MKNN) dengan BM25
dan selesi fitur Chi-Square dirasa sangatlah tepat apabila diterapkan untuk menyelesaikan kasus yang ditemukan.
2. DASAR TEORI 2.1. Emosi
Emosi adalah suatu respons berupa perasaan terhadap hal - hal bersumber dari diri seseorang maupun dari faktor luar. Lazarus (1991) menjelaskan bahwa pada diri setiap orang terdapat beberapa emosi. Emosi tersebut diantaranya adalah takut, marah, rasa bersalah, jijik, malu, harapan, kasihan, lega, dan gembira, kasih sayang, cemas, dan bangga.
2.2. YouTube
YouTube merupakan media sosial video online terbesar di dunia yang digunakan untuk menampilkan berbagai macam video yang dibuat oleh pengguna dan perusahaan di bidang konten media (Clement, 2019). Content creator
merupakan sebutan untuk orang yang membuat konten berupa video dan mengunggahnya pada YouTube.
2.3. Text Classification
Text Classification diartikan sebagai pemberian label kategori yang telah ditentukan ke dalam kumpulan dokumen teks (Shah & Patel, 2016). Pada text classification diperlukan suatu dataset berupa kumpulan teks. Dataset dipisahkan sehingga terpisah antara data untuk pengujian dan pelatihan. Data latih berfungsi untuk proses pelatihan. Sedangkan data uji digunakan sebagai data untuk menguji pelatihan yang telah dilakukan.
2.4. Modified K-Nearest Neighbor
Modified K-Nearest Neighbor (MKNN)
adalah algoritme yang menganut pada algoritme KNN. Hanya saja metode MKNN terdapat proses tambahan. Yaitu penghitungan nilai validitas yang dilakukan pada data latih dan proses lainnya adalah weight voting. (Okfalisa et al., 2017). Metode MKNN dapat dilihat pada Persamaan 1, Persamaan 2, dan Persamaan 3.
𝑉𝑎𝑙𝑖𝑑𝑖𝑡𝑦(𝑥)=1 𝐻∑ 𝑆(𝑙𝑏𝑙(𝑥), 𝑙𝑏𝑙(𝑁𝑖(𝑥)) 𝐻 𝑖=1 (1) 𝑆(𝑎, 𝑏) = {10𝑎=𝑏 𝑎≠𝑏 (2) 𝑊(𝑖) = 𝑉𝑎𝑙𝑖𝑑𝑖𝑡𝑦(𝑖) 𝑥 1 1.5−𝐵𝑀25 (3) Keterangan : 𝐻 = jumlah kelas 𝑙𝑏𝑙 = label kelas 𝑎 = data ke-a
𝑏 = kelas data tetangga ke-b 𝐵𝑀25 = nilai BM25
2.5. BM25
BM25 adalah algoritme yang dapat diterapkan untuk mencari kemiripan antar dokumen. Metode BM25 menggunakan tiga atribut utama dalam suatu dokumen pada proses perhitungan. Yaitu frekuensi term, frekuensi dokumen, dan panjang dokumen (Svore & Burges, 2009). Proses penerapan metode BM25 dapat dilihat pada Persamaan 4, Persamaan 5, dan Persamaan 6. 𝐵𝑀25(𝑑,𝑞)= ∑𝑇𝑡=1(𝑊𝑑𝑥 𝑊𝑞) (4) 𝑊𝑑 = 𝑡𝑓(𝑘1+1) 𝑡𝑓+𝑘1((1−𝑏)+𝑏.𝑑𝑙 𝑎𝑣𝑑𝑙⁄ ) (5) 𝑊𝑞= 𝑙𝑜𝑔 ( 𝑁−𝑑𝑓(𝑡)+0.5 𝑑𝑓(𝑡)+0.5 ) (6) Keterangan :
𝑑𝑙 = jumlah term dokumen
𝑎𝑣𝑑𝑙 = nilai rata-rata jumlah term dokumen 𝑁 = banyaknya data latih
𝑑𝑓(𝑡) = banyaknya dokumen data latih yang mengandung term 𝑡
𝑘1 = 1,5 𝑏 = 0,75
2.6. Seleksi Fitur Chi-Square
Pemilihan fitur terbaik berdasarkan tingkat kepentingannya dari keseleruhan fitur disebut sebagai seleksi fitur (Shah & Patel, 2016).
Chi-Square adalah metode yang berfungsi mengurangi jumlah term dalam klasifikasi pada teks. Metode Chi-Square dapat dilihat pada Persamaan 7. 𝑋(𝑡, 𝑐) = ∑ 𝑁×(𝐴×𝐷−𝐶×𝐵)2 (𝐴+𝐶)(𝐵+𝐷)(𝐴+𝐵)(𝐶+𝐷) 𝐶 𝑐=1 (7) Keterangan :
𝐴 = banyaknya dokumen yang memiliki
term 𝑡 pada kelas 𝑐
𝐵 = banyaknya dokumen yang memiliki
term 𝑡 pada kelas selain kelas 𝑐
𝐶 = banyaknya dokumen tanpa term t di kelas 𝑐
𝐷 = banyaknya dokumen tanpa term 𝑡 di bukan kelas 𝑐
𝑁 = banyaknya dokumen
2.7. Confusion Matrix
Confusion Matrix adalah salah satu cara
untuk mengetahui kinerja dari metode klasifikasi yang digunakan. Berdasarkan
Confusion Matrix kemudian dihitung nilai precision, recall, accuracy, dan f-measure yang
dapat dilihat pada Persamaan 8, Persamaan 9, Persamaan 10, dan Persamaan 11.
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝑖= 𝑇𝑃𝑖 𝐹𝑃𝑖+𝑇𝑃𝑖 (8) 𝑅𝑒𝑐𝑎𝑙𝑙𝑖=𝐹𝑁𝑇𝑃𝑖 𝑖+𝑇𝑃𝑖 (9) Accuracy = ∑i𝑇𝑃𝑖 ∑ ∑𝐿𝑙 𝐿𝑘𝐸𝑙𝑘 (10) F-Measure =2×𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛×𝑅𝑒𝑐𝑎𝑙𝑙𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑅𝑒𝑐𝑎𝑙𝑙 (11)
Fakultas Ilmu Komputer, Universitas Brawijaya
Keterangan :
𝑇𝑃𝑖 = nilai True Positive kelas ke-i
𝐹𝑃𝑖 = nilai False Positive kelas ke-i 𝐹𝑁𝑖 = nilai False Negatif kelas ke-i 𝐸𝑙𝑘 = jumlah data
3. METODE PENELITIAN 3.1. Data Penelitian
Dataset yang digunakan adalah komentar YouTube berbahasa Indonesia berjumlah 721. Data tersebut dilabeli oleh pakar secara manual. Kelas yang digunakan adalah senang, sedih, dan marah. Dari 721 data tersebut ada 297 berlabel “Senang”, 223 berlabel “Sedih”, dan 201 berlabel “Marah”. Komentar yang diambil adalah bersumber dari video milik Ricis Official dengan jumlah 17.6 juta subscribers. Video yang digunakan adalah sejumlah dua video dengan tema prank.
3.2. Perancangan
Penerapan algoritme dimulai dengan melakukan text processing. Proses text
pre-processing terdiri dari case folding, cleaning, tokenizing, filtering dan stemming. Selanjutnya
dilakukan seleksi fitur menggunakan metode
Square dengan menghitung nilai Chi-Square setiap term dan kemudian diambil term-term terbaik berdasarkan nilai Chi-Square term-term
tersebut. Data yang telah dilakukan pre-proccesing kemudian dilakukan klasifikasi dan keluaran yang dihasilkan adalah kelas dari masing masing data. Diagram alir sistem dapat dilihat pada Gambar 1.
Gambar 1. Alur algoritme
4. HASIL PENGUJIAN DAN ANALISIS
Penelitian ini menggunakan pengujian pengaruh nilai k dan 5-Fold Cross Validation dan pengujian seleksi fitur Chi-Square.
4.1 Hasil Pengujian
Hasil pengujian nilai k dan 5-Fold Cross
Validation dapat dilihat pada Tabel 1.
Tabel 1. Hasil Rata-rata Pengujian 5-Fold k Accuracy Precision Recall
F-Measure 3 66,99% 67,44% 67,18% 67,30% 4 68,38% 68,79% 68,25% 68,51% 5 68,94% 69,60% 68,80% 69,18% 10 70,46% 70,61% 70,33% 70,47% 20 72,27% 72,37% 71,75% 72,05% 30 72,82% 72,94% 72,26% 72,59% 40 71,71% 72,26% 70,73% 71,48% 50 71,02% 72,26% 69,87% 71,04% 100 69,63% 71,70% 67,96% 69,76% 150 67,00% 70,97% 64,62% 67,62% 200 64,65% 72,01% 61,07% 66,04% 250 58,96% 68,27% 54,31% 60,45% 500 55,08% 63,58% 49,80% 55,83%
Berdasarkan pada Tabel 1 dapat diketahui bahwa hasil pengujian tertinggi diperoleh pada saat nilai k = 30. Hal ini dibuktikan dengan
f-measure yang mencapai nilai maksimal sebesar
72,59%, lebih besar diantara seluruh nilai k yang lain. Pengujian dilanjutkan dengan menguji seleksi fitur Chi-Square. Data yang digunakan pada pengujian ini adalah fold data terbaik berdasarkan nilai f-measure tertinggi pada pengujian 5-fold cross validation. Fold data yang digunakan adalah fold ke-4. Hasil pengujian seleksi fitur Chi-Square dan dapat dilihat pada Tabel 2.
Tabel 2. Hasil Pengujian Seleksi Fitur Chi-Square Fitur Accuracy Precision Recall
F-Measure 10% 80,56% 80,06% 81,72% 80,88% 20% 79,86% 79,49% 80,79% 80,14% 30% 79,86% 79,49% 80,79% 80,14% 40% 80,56% 80,37% 81,61% 80,98% 50% 80,56% 80,37% 81,61% 80,98% 60% 79,86% 79,49% 80,79% 80,14% 70% 79,86% 79,49% 80,79% 80,14% 80% 79,86% 79,49% 80,79% 80,14% 90% 79,86% 80,41% 79,94% 80,17% 100% 79,17% 78,61% 79,98% 79,29% Berdasarkan pada Tabel 2 bisa didapatkan informasi bahwa pengujian tertinggi terdapat pada saat jumlah fitur yang digunakan adalah
sebanyak 40% dan 50%. Kedua pengujian tersebut memiliki hasil accuracy, precision,
recall, dan f-measure tertinggi dengan nilai
80,56%, 80,37%, 81,61%, dan 80,98%.
4.2 Analisis
Grafik hasil pengujian nilai k dan 5-fold
cross validation dapat dilihat pada Gambar 2.
Gambar 2. Pengujian Nilai k pada 5-fold Berdasarkan Gambar 6.1 diketahui bahwa nilai accuracy, precision, recall dan f-measure tertinggi pada saat k bernilai 30. Sedangkan nilai accuracy, precision, recall dan f-measure akan paling rendah pada saat k bernilai 500. Hal ini menjelaskan bahwa jumlah k yang semakin banyak tidak akan selalu meningkatkan nilai evaluasi. Pada saat nilai k = 3 naik hingga k = 30, nilai accuracy, precision, recall dan
f-measure juga akan meningkat. Namun ketika
nilai k = 30 dinaikkan hingga k = 500 justru nilai accuracy, precision, recall dan f-measure menurun. Grafik hasil pengujian seleksi fitur
Chi-Square terdapat di Gambar 3.
Gambar 3. Pengujian Seleksi Fitur Chi-Square Berdasarkan grafik pengujian seleksi fitur
Chi-Square pada Gambar 3 bisa diketahui
apabila jumlah term semakin banyak yang dipakai tidak akan selalu menaikkan nilai
accuracy, precision, recall, dan f-measure.
Nilai tertinggi pada accuracy, precision, recall, dan f-measure adalah ketika jumlah term yang
digunakan adalah sebanyak 40% dan 50%, yaitu 80,56%, 80,37%, 81,61%, dan 80,98% dan 81,60%. Jumlah fitur yang hanya sebanyak 40% dan 50% mencapai hasil maksimal disebabkan pada nilai tersebut term-term dengan tingkat independensi tinggi paling berpengaruh pada klasifikasi. 10 term dengan nilai Chi-Square tertinggi dan 10 term dengan nilai Chi-Square terendah dapat dilihat pada Tabel 3.
Tabel 3. Term dan Nilai Chi-Square k
10 Fitur Tertinggi 10 Fitur Terendah
Term Nilai Term Nilai
1 nangis 96,78216 njgn 0,05361 2 sedih 88,79853 sma 0,05361 3 sampah 81,80091 bagus 0,05361 4 wkwk 77,19683 hidup 0,05361 5 ngakak 74,96861 dgn 0,05361 6 konten 70,53455 bnget 0,05361 7 kasihan 67,0907 channel 0,05361 8 wkwkwk 64,78125 mudah 0,05361 9 kasi 64,55737 vazo 0,05361 10 tega 40,32387 subscribe 0,028967
Berdasarkan Tabel 3 dapat diketahui bahwa 10 term dengan nilai Chi-Square tertinggi berperan penting dalam klasifikasi. Hal ini dikarenakan 10 term tersebut mengandung makna terhadap bagaimana seseorang menyampaikan emosi melalui teks komentar.
Tabel 4. Data pada Fold ke-4
Kelas Data TP Precision Recall
F-Measure
Senang 67 51 82,26% 76,12% 79,07% Sedih 41 35 77,78% 85,37% 81,40% Marah 36 30 81,08% 83,33% 82,19% Berdasarkan Tabel 4 dapat diketahui bahwa data pada fold ke-4 memiliki jumlah data yang berbeda pada di kelas masing - masing. Akan tetapi semakin banyak data pada kelas tersebut tidak menghasilkan precision, recall, dan
f-measure semakin tinggi. 5. KESIMPULAN
Pengaruh nilai k terhadap klasifikasi adalah
semakin besar nilai k yang digunakan tidak akan selalu meningkatkan nilai accuracy. Hal ini dibuktikan bahwa nilai accuracy meningkat saat k = 3 dinaikkan hingga k = 30. Namun nilaiFakultas Ilmu Komputer, Universitas Brawijaya
accuracy tersebut menurun saat nilai k = 30
dinaikkan hingga k = 500.
Penggunaan seleksi fitur Chi-Square sangat berpengaruh pada hasil klasifikasi. Hal ini dibuktikan bahwa nilai accuracy mencapai maksimal saat jumlah fitur yang digunakan sebanyak 40% dan 50% dengan nilai accuracy 80,56%, lebih tinggi 1,39% daripada saat tidak menggunakan seleksi fitur sama sekali.
6. DAFTAR PUSTAKA
Aramaki, E., Imai, T., Miyo, K. & Ohe, K., 2006. Patient Status Classification by using Rule based Sentence Extraction and BM25-kNN based Classifier. Proc.
of i2b2 AMIA Workshop.
Clement, J., 2019. Statista. [Online] Available at:<https://www.statista.com/topics/201 9/youtube/>
Murata, M., Kanamaru, T., Shirado, T. & Isahara, H., 2005. Using the K Nearest Neighbor Method and BM25 in the Patent Document Categorization Subtask at NTCIR-5. Tokyo.
Okfalisa, Gazalba, I., Mustakim & Reza, N.G.I., 2017. Comparative Analysis of Nearest Neighbor and Modified K-Nearest Neighbor Algorithm for Data Classification. 2017 2nd International
conferences on Information
Technology, Information Systems and Electrical Engineering (ICITISEE).
Yogyakarta.
Sarakit, P., Theeramunkong, T., Haruechaiyasak, C. & Okumura, M., 2015. Classifying Emotion in Thai YouTube Comments. 2015 6th
International Conference of
Information and Communication Technology for Embedded Systems (IC-ICTES). Tokyo.
Savigny, J. & Purwarianti, A., 2017. Emotion Classification on Youtube Comments using Word Embedding. 2017 International Conference on Advanced Informatics, Concepts, Theory, and Applications (ICAICTA). Denpasar.
Shah, F.P. & Patel, V., 2016. A Review on Feature Selection and Feature Extraction for Text Classifcation. 2016
International Conference on Wireless Communications, Signal Processing and Networking (WiSPNET).
Svore, K.M. & Burges, C.J.C., 2009. A Machine Learning Approach for Improved BM25. Proceedings of the
18th ACM Conference on Information and Knowledge Management.
Tinega, G.A., Mwangi, W. & Rimiru, R., 2018. Text Mining in Digital Libraries using OKAPI BM25 Model. International
Journal of Computer Applications Technology and Research. Kenya.
Uchyigit, G., 2012. Experimental Evaluation of Feature Selection Methods for Text Classification. 2012 9th International
Conference on Fuzzy Systems and Knowledge Discovery (FSKD 2012).
Sichuan.
Vijayarani, Ilamathi & Nithya, 2015. [online]
Available at:
<www.ijcscn.com/Documents/Volumes /vol5issue1/ijcscn2015050102.pdf>.
