Fakultas Ilmu Komputer
Universitas Brawijaya 4033
Deteksi Emosi pada Tweet Berbahasa Indonesia tentang Pembelajaran Jarak Jauh menggunakan K-Nearest Neighbor dengan Pembobotan Kata
Term Frequency-Inverse Gravity Moment
Fira Sukmanisa1, Yuita Arum Sari2, Imam Cholissodin3
Program Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1firasukmanisa@student.ub.ac.id, 2yuita@ub.ac.id, 3imamcs@ub.ac.id
Abstrak
Pada Desember 2019 di kota Wuhan, China muncul sebuah kasus yang disebut sebagai coronavirus disease 2019 (Covid-19) dan menyebar dengan cepat ke penjuru dunia. Pemerintah Indonesia menerapkan kebijakan pembelajaran jarak jauh (PJJ) untuk meminimalisir penyebaran Covid-19.
Pendapat mengenai PJJ disampaikan oleh masyarakat melalui tweet. Deteksi emosi adalah proses menggolongkan tweet ke dalam kelas emosi. Pembobotan kata merupakan permasalahan dasar dalam klasifikasi teks karena dapat memengaruhi akurasi. TF-IDF adalah salah satu pembobotan kata yang sering digunakan, namun TF-IDF bukan yang paling efektif karena mengabaikan label kelas. Oleh karena itu, deteksi emosi pada tweet dilakukan agar dapat mengetahui emosi tentang PJJ. Pada penelitian ini, deteksi emosi akan melalui beberapa proses yaitu preprocessing, pembobotan kata Term Frequency- Inverse Gravity Moment (TF-IGM), cosine similarity, klasifikasi menggunakan metode K-Nearest Neighbor (KNN), dan evaluasi menggunakan confusion matrix. Berdasarkan hasil pengujian menggunakan dataset tidak seimbang, koefisien pembobotan TF-IGM teroptimal bernilai 9 yang menghasilkan accuracy tertinggi sebesar 0,55 pada k = 25. Penggunaan koefisien pembobotan TF-IGM memberikan accuracy yang kurang stabil jika dibandingkan dengan TF-IGM tanpa koefisien pembobotan. Pembobotan kata TF-IGM dan TF-IDF memiliki nilai accuracy tertingi yang sama, dan jarak antar hasil evaluasi yang kecil pada setiap k yang diujikan.
Kata kunci: deteksi emosi, pembelajaran jarak jauh, pembobotan kata, TF-IGM, koefisien pembobotan, K- Nearest Neighbor
Abstract
In December 2019 in the city of Wuhan, China, a case known as coronavirus disease 2019 (Covid-19) emerged and spread rapidly throughout the world. The Indonesian government implements a distance learning policy (PJJ) to minimize the spread of Covid-19. Opinions about PJJ are conveyed by the public via tweets. Emotion detection is the process of classifying tweets into emotion classes. Term weighting is a basic problem in text classification because it can affect accuracy. TF-IDF is one of the most frequently used term weightings, but TF-IDF is not the most effective because it ignores class labels. Therefore, emotion detection in tweets is carried out in order to find out emotions about PJJ. In this study, emotion detection will go through several processes, namely preprocessing, weighting of the Term Frequency-Inverse Gravity Moment (TF-IGM), cosine similarity, classification using the K- Nearest Neighbor (KNN) method, and evaluation using confusion matrix. Based on the test results using an imbalanced dataset, the optimal TF-IGM weighting coefficient is 9 which produces the highest accuracy of 0.55 at k = 25. The use of the TF-IGM weighting coefficient provides an accuracy that is less stable when compared to the TF-IGM without the weighting coefficient. The weighted words TF- IGM and TF-IDF have the same highest accuracy value, and the distance between evaluation results is small for each k tested.
Keywords: emotion detection, distance learning, term weighting, TF-IGM, weighting coefficient, K-Nearest Neighbor
Fakultas Ilmu Komputer, Universitas Brawijaya
1. PENDAHULUAN
Pada awal Desember 2019 di kota Wuhan, provinsi Hubei, China muncul sebuah kasus pneumonia yang disebut sebagai coronavirus disease 2019 (Covid-19) (Guan, et al., 2020).
World Health Organization (WHO) menyatakan kasus tersebut sebagai kejadian luar biasa karena menyebar dengan cepat ke penjuru dunia dan berisiko mengancam kesehatan masyarakat dunia melalui penularan penyakit antar negara (Gralinski & Menachery, 2020).
Pembelajaran jarak jauh (PJJ) merupakan kebijakan yang dikeluarkan oleh pemerintah Indonesia untuk menekan persebaran Covid-19.
Berdasarkan Surat Edaran Nomor 4 Tahun 2020 Tentang Pelaksanaan Kebijakan Pendidikan Dalam Masa Darurat Penyebaran Coronavirus Disease (Covid-19), PJJ dapat dilakukan dari rumah melalui pembelajaran daring. Beberapa masalah yang muncul terutama terkait dengan prasarana seperti jaringan internet dan listrik, gawai yang terbatas, hingga sumber daya manusia yang tidak punya kompetensi untuk menerapkan PJJ (Kompas, 2020). Masyarakat menyampaikan pro dan kontra mereka terkait PJJ melalui tweet. Di dalam tweet, kita dapat mengetahui pendapat dan emosi mereka tentang pembelajaran jarak jauh.
Terdapat banyak metode yang dapat digunakan untuk mendeteksi emosi dalam teks, seperti Support Vector Machine, K-Nearest Neighbor, Naïve Bayes dan lain sebagainya.
KNN merupakan salah satu metode supervised machine learning. Algoritma ini tahan untuk mengatasi noise pada data latih (Mahfud &
Tjahyanto, 2017).
Pembobotan kata termasuk ke dalam permasalahan dasar dalam klasifikasi teks.
Pembobotan kata adalah tahapan penting dalam klasifikasi teks, karena dapat meningkatkan akurasi klasifikasi dengan memberikan bobot yang sesuai untuk kata (Lan, et al., 2009). Salah satu skema pembobotan kata yang terkenal adalah Term Frequency-Inverse Document Frequency (TF-IDF). Meskipun TF-IDF terbukti menjadi skema yang efektif untuk pembobotan kata di temu kembali informasi, tetapi TF-IDF bukan yang paling efektif untuk klasifikasi teks karena TF-IDF mengabaikan label kelas dari dokumen pelatihan. Pada penelitian yang dilakukan oleh (Chen, et al., 2016) mengusulkan metode TF-IGM. Metode ini memanfaatkan label kelas dari dokumen latih, menggabungkan
TF dengan IGM untuk mengukur kekuatan membedakan kelas pada kata. Hasil penelitian menunjukkan TF-IGM terbukti mengungguli TF-IDF dalam klasifikasi multiclass.
Berdasarkan uraian latar belakang tersebut, peneliti tertarik untuk melakukan penelitian tentang deteksi emosi pada teks berbahasa Indonesia menggunakan skema pembobotan kata yang baru yaitu TF-IGM dengan metode klasifikasi KNN. Penggunaan pembobotan TF- IGM diharapkan dapat meningkatkan akurasi dari hasil klasifikasi emosi dalam teks berbahasa Indonesia.
2. DASAR TEORI 2.1. Deteksi Emosi
Deteksi emosi atau pengenalan emosi atau klasifikasi emosi merupakan proses menggolongkan emosi yang ditampakkan oleh manusia ke dalam kelas emosi tertentu. Proses deteksi emosi dapat dilakukan dengan melihat ekspresi wajah, mendengarkan suara, dan melalui teks (Muljono, et al., 2016).
2.2. Tweet
Tweet merupakan pesan yang diunggah ke media sosial bernama Twitter. Dalam sebuah tweet teks, tautan, foto, maupun video.
2.3. Pembelajaran Jarak Jauh (PJJ)
Kementerian Pendidikan dan Kebudayaan (Kemendikbud) mengeluarkan kebijakan untuk menekan penyebaran Covid-19 yaitu Pembelajaran Jarak Jauh (PJJ). PJJ diterapkan pada seluruh siswa hingga mahasiswa di Indonesia. Dalam Surat Edaran Nomor 4 Tahun 2020 Tentang Pelaksanaan Kebijakan Pendidikan Dalam Masa Darurat Penyebaran Coronavirus Disease (Covid-19), disebutkan bahwa pembelajaran jarak jauh dilakukan dengan cara belajar secara daring dari rumah.
2.4. Text Mining
Merupakan tahapan ekstraksi informasi yang bermakna dalam suatu dokumen atau teks.
Teks tersebut bisa berasal dari media sosial, portal berita, dan lain sebagainya.
2.5. Kappa Fleiss
Kappa Fleiss adalah ukuran statistik yang digunakan untuk mengukur reliability dari kesepakatan antara sejumlah rater (inter-rater
Fakultas Ilmu Komputer, Universitas Brawijaya
reliability atau IRR) yang tetap ketika mengklasifikasikan objek pada skala nominal (Asif, et al., 2016). Kappa Fleiss diusulkan oleh Joseph L. Fleiss pada tahun 1971. Rumus untuk menghitung kappa Fleiss ditunjukkan oleh Persamaan (1), proporsi yang termasuk kedalam kategori j dijelaskan pada Persamaan (2), tingkat kesepakatan keseluruhan dijelaskan pada Persamaan (3), dan proporsi rata-rata kesepakatan dijelaskan pada Persamaan (4).
𝜅 =𝑝̅−𝑝̅̅̅̅𝑒
1−𝑝̅̅̅̅𝑒 (1)
𝑝𝑗 = 1
𝑚𝑛∑𝑛𝑖=1𝑥𝑖𝑗 (2)
𝑝̅ = 1
𝑚𝑛(𝑚−1)(∑𝑛𝑖=1∑𝑘𝑗=1𝑥𝑖𝑗2− 𝑚𝑛) (3) 𝑝𝑒
̅̅̅ = ∑𝑘 𝑝𝑗2
𝑗=1 (4)
Keterangan:
𝜅 = kappa Fleiss
𝑝̅ = tingkat kesepakatan keseluruhan 𝑝𝜀
̅̅̅ = error
𝑝𝑗 = proporsi yang termasuk kedalam kategori j 𝑚 = jumlah rater
𝑛 = jumlah subjek atau data
𝑖 = indeks yang merepresentasikan jumlah data (1, 2, ..., n)
𝑗 = indeks yang merepresentasikan kategori (1, 2, ..., k)
𝑘 = jumlah kategori
𝑥𝑖𝑗 = jumlah nilai yang terdapat pada data ke-i kategori j
Tabel 1 adalah tabel untuk menginterpretasikan nilai kappa yang telah dihitung.
Tabel 1. Interpretasi Nilai Kappa Kappa Interpretasi
<0,00 Poor
0,00 – 0,20 Slight
0,21 – 0,40 Fair
0,41 – 0,60 Moderate
0,61 – 0,80 Substantial 0,81 – 1,00 Almost perfect
2.6. Text Preprocessing
Text preprocessing adalah kegiatan untuk mempersiapkan teks yang akan digunakan, dengan cara membuat data yang terstruktur dari data yang tidak terstruktur. Nilai numerik biasa digunakan untuk data yang terstruktur (Marfian, 2015). Tahapan preprocessing dalam penelitian ini terdiri dari:
2.6.1. Case Folding
Case folding adalah tahapan untuk mengubah semua huruf menjadi bentuk huruf kecil dalam dokumen.
2.6.2. Cleaning
Cleaning adalah proses untuk menghilangkan noise pada data, menghilangkan karakter selain huruf.
2.6.3. Tokenizing
Tokenizing adalah tahapan pemotongan kata pada dokumen dengan menggunaan spasi hinga menjadi token.
2.6.4. Filtering
Filtering adalah tahapan untuk menghapus kata yang tak bermakna dari dokumen.
2.6.5. Stemming
Stemming adalah tahapan mengubah kata menjadi bentuk kata dasar.
2.7. Pembobotan Kata
Pembobotan kata adalah proses yang dilakukan untuk memberikan nilai selama proses pengindeksan teks pada setiap term atau kata yang ada di dalam dokumen. Pemberian nilai numerik pada term merepresentasikan kepentingan setiap term pada dokumen untuk meningkatkan efektifitas temu kembali (El- Khair, 2009).
2.7.1. Term Frequency
Merupakan tahapan pembobotan lokal yang memerhatikan bobot di dalam dokumen dari term tertentu. Frekuensi kemunculan sebuah term dalam dokumen yang lebih pendek berbanding lurus dengan signifikansinya (Sabbah, et al., 2017).
2.7.2. Inverse Gravity Moment
Inverse gravity moment (IGM) adalah faktor pembobotan global yang diusulkan oleh Kewen, et. al pada tahun 2016. IGM merupakan skema supervised term weighting, yaitu pembobotan kata yang memanfaatkan label kelas. IGM adalah model statistik baru untuk mengukur tingkat konsentrasi dari distribusi kata antar kelas, yang mencerminkan class distinguishing power (kekuatan membedakan kelas) dari sebuah kata.
Untuk mengukur konsentrasi distribusi antar kelas sebuah term 𝑡𝑘, hal pertama yang harus dilakukan adalah mengurutkan frekuensi 𝑡𝑘 dari setiap kelas dalam urutan descending.
Urutan yang dihasilkan adalah 𝑓𝑘1≥ 𝑓𝑘2≥
Fakultas Ilmu Komputer, Universitas Brawijaya
⋯ ≥ 𝑓𝑘𝑚, dimana 𝑓𝑘𝑟 (𝑟 = 1, 2, … , 𝑚) adalah frekuensi 𝑡𝑘 yang terdapat pada kelas ke-𝑟 setelah diurutkan, dan 𝑚 adalah jumlah kelas.
Rumus untuk menghitung IGM ditunjukkan oleh Persamaan (5).
𝑖𝑔𝑚(𝑡𝑘) = 𝑓𝑘1
∑𝑚𝑟=1𝑓𝑘𝑟.𝑟 (5) Keterangan:
𝑘 = suatu term yang terdapat dalam dokumen 𝑖𝑔𝑚(𝑡𝑘) = nilai igm suatu term 𝑡𝑘
𝑓𝑘1 = frekuensi term 𝑘 ranking pertama 𝑟 = ranking
𝑚 = jumlah kelas
𝑓𝑘𝑟 = frekuensi term 𝑘 ranking ke- 𝑟 2.7.3. Term Frequency-Inverse Gravity Moment (TF-IGM)
TF-IGM merupakan gabungan antara faktor pembobotan lokal yaitu TF dan faktor pembobotan global yaitu IGM. Pembobotan global IGM dirumuskan pada Persamaan (6), dan pembobotan TF-IGM ditunjukkan pada Persamaan (7).
𝑤𝑔(𝑡𝑘) = 1 + 𝜆 . 𝑖𝑔𝑚(𝑡𝑘) (6) 𝑤(𝑡𝑘, 𝑑) = {𝑡𝑓𝑘𝑑∙ (1 + 𝜆 . 𝑓𝑘1
∑𝑚𝑟=1𝑓𝑘𝑟.𝑟) , 𝑡𝑓𝑘𝑑> 0 0, 𝑡𝑓𝑘𝑑= 0
(7) Sedangkan untuk rumus pembobotan TF-IGM tanpa menggunakan koefisien pembobotan ditunjukkan pada Persamaan (8).
𝑤(𝑡𝑘, 𝑑) = {𝑡𝑓𝑘𝑑∙ ( 𝑓𝑘1
∑𝑚𝑟=1𝑓𝑘𝑟.𝑟) , 𝑡𝑓𝑘𝑑> 0 0, 𝑡𝑓𝑘𝑑= 0
(8) Keterangan:
𝑤𝑔(𝑡𝑘) = faktor bobot global IGM dari term 𝑡𝑘 𝜆 = koefisien (bernilai antara 5.0~9.0) 𝑖𝑔𝑚(𝑡𝑘) = nilai igm suatu term 𝑡𝑘
𝑤(𝑡𝑘, 𝑑) = bobot TF-IGM dari term 𝑡𝑘 dalam dokumen 𝑑
𝑡𝑓𝑘𝑑 = term frequency dari term 𝑡𝑘 dalam dokumen 𝑑
2.8. Cosine Similarity
Salah satu metode perhitungan jarak antar objek adalah cosine similarity. Cosine similarity digunakan untuk menghitung kemiripan antar teks atau dokumen (Tan, et al., 2005). Rumus perhitungan cosine similarity dijabarkan pada Persamaan (9).
𝐶𝑜𝑠𝑖𝑚(𝑞, 𝑑𝑗) = 𝑑𝑗.𝑞
|𝑑𝑗||𝑞|= ∑ (𝑤𝑖𝑗.𝑤𝑖𝑞)
𝑡𝑖=1
√∑𝑡𝑖=1𝑤𝑖𝑗2√∑𝑡𝑖=1𝑤𝑖𝑞2
(9) Keterangan:
𝐶𝑜𝑠𝑖𝑚 = Nilai kemiripan dokumen uji 𝑞 dengan dokumen latih 𝑑𝑗
𝑑𝑗 = dokumen 𝑗 𝑞 = query 𝑡 = jumlah term
𝑤𝑖𝑗 = bobot data latih pada term 𝑖 dokumen 𝑗 𝑤𝑖𝑞 = bobot data latih pada term 𝑖 dokumen 𝑞 2.9. K-Nearest Neighbor
K-Nearest Neighbor (KNN) merupakan metode supervised machine learning yang bekerja dengan cara membandingkan jarak terdekat antar objek masukan dengan beberapa data latih (Han, et al., 2012). Metode klasifikasi KNN menggunakan suara terbanyak dari klasifikasi objek 𝑘. Algoritma ini tahan untuk mengatasi noise pada data latih (Mahfud &
Tjahyanto, 2017). Langkah-langkah dalam algoritma KNN:
1. Menentukan nilai 𝑘.
2. Menghitung jarak antara data yang diujikan dengan semua data latih.
3. Menyusun jarak dari yang terbesar hingga terkecil.
4. Mencari 𝑘 buah data yang memiliki jarak terdekat dengan data yang diujikan.
5. Melakukan voting dari 𝑘 data tersebut.
6. Kelas dengan voting terbanyak dijadikan label kelas baru untuk data yang diujikan.
2.10. Evaluasi
Evaluasi adalah langkah yang dilakukan untuk menganalisis hasil data yang sudah diklasifikasikan. Evaluasi dilakukan untuk menilai kebenaran dari hasil klasifikasi atau deteksi. Evaluasi dalam penelitian ini menggunakan perhitungan dari confusion matrix. Confusion matrix merupakan tabel perbandingan kelas sebenarnya dengan kelas prediksi (Prasetyo, 2012). Confusion matrix pada penelitian ini diilustrasikan dalam Tabel 2.
Tabel 2. Confusion Matrix Kelas Prediksi K
1 K 2
K 3
K 4
K 5
K 6
K 7 K
1 x11 x12 x13 x14 x15 x16 x17
K
2 x21 x22 x23 x24 x25 x26 x27
K
3 x31 x32 x33 x34 x35 x36 x37
Kelas Sebenarnya K
4 x41 x42 x43 x44 x45 x46 x47
K
5 x51 x52 x53 x54 x55 x56 x57
K
6 x61 x62 x63 x64 x65 x66 x67
K x71 x72 x73 x74 x75 x76 x77
Fakultas Ilmu Komputer, Universitas Brawijaya 7
Jumlah data yang diprediksi secara benar merupakan true positive (TP). Data kelas 𝑖 diprediksi secara benar sebagai data kelas 𝑖.
Rumus untuk menghitung TP kelas 𝑖 ditunjukkan pada Persamaan (10), sedangkan rumus TP keseluruhan kelas ditunjukkan pada Persamaan (11).
𝑇𝑃𝑖= 𝑥𝑖𝑖 (10)
𝑇𝑃𝑎𝑙𝑙= ∑𝑛 𝑥𝑖𝑖
𝑖=1 (11)
True negative (TN) dari kelas 𝑖 merupakan jumlah nilai pada seluruh kolom dan baris kecuali kolom kelas 𝑖 dan baris kelas 𝑖. Pada Persamaan (12) menunjukkan rumus yang digunakan untuk menghitung TN kelas 𝑖, sedangkan rumus TN keseluruhan kelas ditunjukkan oleh Persaman (13).
𝑇𝑁𝑖= ∑ ∑𝑛𝑘=1𝑥𝑗𝑘
𝑘≠𝑖 𝑛 𝑗=1 𝑗≠𝑖
(12)
𝑇𝑁𝑎𝑙𝑙= ∑𝑛𝑖=1𝑇𝑁𝑖 (13) False positive (FP) dari kelas 𝑖 merupakan jumlah nilai pada seluruh kolom kelas 𝑖 kecuali baris ke-𝑖 kolom ke-𝑖 (TP kelas 𝑖). Pada Persamaan (14) menunjukkan rumus yang digunakan untuk menghitung FP kelas 𝑖, sedangkan FP seluruh kelas ditunjukkan oleh Persamaan (15).
𝐹𝑃𝑖= ∑𝑛𝑗=1𝑥𝑗𝑖
𝑗≠𝑖
(14) 𝐹𝑃𝑎𝑙𝑙 = ∑𝑛𝑖=1𝐹𝑃𝑖 (15) False negative (FN) dari kelas 𝑖 merupakan jumlah nilai pada seluruh baris kelas 𝑖 kecuali baris ke-𝑖 kolom ke-𝑖 (TP kelas 𝑖). Pada Persamaan (16) menunjukkan rumus yang digunakan untuk menghitung FN kelas 𝑖, sedangkan FN seluruh kelas ditunjukkan oleh Persamaan (17).
𝐹𝑁𝑖= ∑𝑛 𝑥𝑖𝑗 𝑗=1 𝑗≠𝑖
(16) 𝐹𝑁𝑎𝑙𝑙= ∑𝑛 𝐹𝑁𝑖
𝑖=1 (17)
Keterangan:
𝑖 = indeks kelas emosi 𝑗 = indeks kolom 𝑛 = jumlah kelas
Persamaan (18) untuk menghitung accuracy.
𝑜𝑣𝑒𝑟𝑎𝑙𝑙 𝑎𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃𝑎𝑙𝑙
Total Data yang Diujikan (18) Persamaan (19) untuk menghitung precision.
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃𝑎𝑙𝑙
𝑇𝑃𝑎𝑙𝑙+𝐹𝑃𝑎𝑙𝑙 (19)
Persamaan (20) untuk menghitung recall.
𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃𝑎𝑙𝑙
𝑇𝑃𝑎𝑙𝑙+𝐹𝑁𝑎𝑙𝑙 (20)
Persamaan (21) untuk menghitung f-measure.
𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = 2 ∙ 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛∙𝑅𝑒𝑐𝑎𝑙𝑙
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑅𝑒𝑐𝑎𝑙𝑙 (21)
3. METODOLOGI 3.1. Strategi Penelitian
Pada penelitian deteksi emosi pada tweet berbahasa Indonesia tentang pembelajaran jarak jauh menggunakan k-nearest neighbor dengan pembobotan kata term frequency-inverse gravity moment ini menggunakan strategi penelitian eksperimen. Peneliti melakukan eksperimen untuk mengetahui hubungan antara suatu elemen di dalam fenomena tertentu di dalam penelitian ini. Eksperimen dilakukan menggunakan data dan algoritma yang telah ditentukan. Strategi penelitian digambarkan pada diagram blok Gambar 1.
Gambar 1. Diagram Blok Deteksi Emosi Menggunakan Metode KNN dengan Pembobotan
Kata TF-IGM 3.2. Teknik Pengumpulan Data
Proses deteksi emosi menggunakan data primer yang berupa 300 tweet berbahasa Indonesia tentang topik ‘pembelajaran jarak jauh’ atau ‘pjj’. Teknik pengumpulan data tweet dilakukan dengan cara scraping menggunakan library Twint. Beberapa parameter yang dimasukkan dalam proses berupa keyword yaitu
‘pembelajaran jarak jauh’ dan tanggal post tweet yaitu sejak tanggal 1 April 2020 hingga 21 Agustus 2020. Kemudian proses scraping selanjutnya dilakukan menggunakan library Tweepy yang mengumpulkan tweet sejak tanggal 3 sampai 12 Oktober 2020. Karena terdapat tiga annotator atau rater dalam penelitian ini, maka digunakan perhitungan IRR untuk lebih dari dua rater yaitu kappa Fleiss.
Setelah menemukan derajat kesepakatan dari data tweet, hasil dari proses scraping akan dibagi menjadi data uji dan data latih dengan rasio 20%
: 80%.
4. HASIL DAN PEMBAHASAN
Pengujian meliputi pengujian nilai koefisien pembobotan TF-IGM, pengujian tanpa koefisien pembobotan TF-IGM, dan pengujian
Preprocessing teks dari Tweet
Pembobotan TF-IGM
Evaluasi
Perhitungan Cosine Similarity
Deteksi emosi dengan KNN Tweet
Accuracy, precision, recall, f-measure
data latih, data uji
Hasil klasifikasi
Nilai similarity
Fakultas Ilmu Komputer, Universitas Brawijaya
perbandingan akurasi menggunakan pembobotan kata TF-IGM dengan pembobotan kata TF-IDF. Data yang digunakan berjumlah 300 data, dimana 240 data adalah data latih dan 60 data adalah data uji. Nilai k yang digunakan adalah 10, 15, 20, 25, dan 30.
4.1. Pengujian Nilai Koefisien Pembobotan TF-IGM
Pengujian ini dilakukan untuk untuk mengetahui nilai koefisien pembobotan (λ) yang menghasilkan akurasi paling tinggi dalam proses deteksi emosi. Nilai λ yang diujikan bernilai antara 5,0 – 9,0. Hasil pengujian nilai λ dimuat pada Tabel 3.
Tabel 3. Hasil Pengujian Nilai Koefisien Pembobotan TF-IGM
k λ Accuracy Precision Recall F- measure
10
5 0,416666667 0,41667 0,41667 0,41667 6 0,433333333 0,43333 0,43333 0,43333 7 0,416666667 0,41667 0,41667 0,41667 8 0,416666667 0,41667 0,41667 0,41667 9 0,416666667 0,41667 0,41667 0,41667
15
5 0,5 0,5 0,5 0,5
6 0,5 0,5 0,5 0,5
7 0,483333 0,48333 0,48333 0,48333 8 0,466667 0,46667 0,46667 0,46667
9 0,5 0,5 0,5 0,5
20
5 0,45 0,45 0,45 0,45
6 0,483333 0,48333 0,48333 0,48333 7 0,483333 0,48333 0,48333 0,48333 8 0,466667 0,46667 0,46667 0,46667 9 0,466667 0,46667 0,46667 0,46667
25
5 0,483333 0,48333 0,48333 0,48333
6 0,5 0,5 0,5 0,5
7 0,516667 0,51667 0,51667 0,51667 8 0,533333 0,53333 0,53333 0,53333
9 0,55 0,55 0,55 0,55
30
5 0,4 0,4 0,4 0,4
6 0,4 0,4 0,4 0,4
7 0,4 0,4 0,4 0,4
8 0,4 0,4 0,4 0,4
9 0,416667 0,41667 0,41667 0,41667
Grafik nilai rata-rata hasil evaluasi pada setiap λ terdapat pada Gambar 2.
Gambar 2. Grafik Nilai Rata-Rata Hasil Evaluasi Pada Setiap λ
Dari Gambar 5.2 dapat disimpulkan bahwa nilai λ = 9,0 menghasilkan hasil evaluasi yang paling baik dibandingkan dengan nilai λ yang lainnya. Penambahan nilai koefisien pembobotan dapat meningkatkan bobot TF-IGM sehingga dapat memengaruhi cosine similarity yang dihasilkan. Hal tersebut dapat memberikan urutan kelas prediksi yang berbeda pada setiap nilai koefisien pembobotan, dan memberikan akurasi yang berbeda pula.
4.2. Pengujian Tanpa Koefisien Pembobotan TF-IGM
Pengujian ini dilakukan untuk mengetahui hasil akurasi dari sistem apabila deteksi emosi dilakukan tanpa menggunakan koefisien pembobotan. Hasil pengujian tanpa koefisien pembobotan TF-IGM dimuat pada Tabel 4.
Tabel 4. Hasil Pengujian Tanpa Koefisien Pembobotan TF-IGM
k Accuracy Precision Recall F- measure 10 0,416667 0,416667 0,416667 0,416667 15 0,516667 0,516667 0,516667 0,516667
20 0,5 0,5 0,5 0,5
25 0,533333 0,533333 0,533333 0,533333 30 0,516667 0,516667 0,516667 0,516667
Hasil evaluasi terbaik dihasilkan oleh k bernilai 25. Grafik perbandingan hasil akurasi TF-IGM menggunakan koefisien pembobotan dan tanpa koefisien pembobotan ditunjukkan pada Gambar 3.
0,44 0,46 0,48
5 6 7 8 9
Koefisien Pembobotan
0 0,1 0,2 0,3 0,4 0,5 0,6
0 5 10 15 20 25 30 35
Accuracy
k
λ = 5 λ = 6
λ = 7 λ = 8
λ = 9 Tanpa Koefisien Pembobotan
Fakultas Ilmu Komputer, Universitas Brawijaya Gambar 3. Grafik Perbandingan Akurasi TF-IGM Dengan Koefisien Pembobotan dan Tanpa Koefisien
Pembobotan
Berdasarkan Gambar 3, akurasi yang dihasilkan oleh pembobotan kata TF-IGM pada setiap k baik menggunakan koefisien pembobotan maupun tanpa koefisien pembobotan tidak stabil. Namun akurasi TF- IGM tanpa koefisien pembobotan cenderung lebih stabil jika dibandingkan akurasi TF-IGM dengan koefisien pembobotan. Karena tidak ada penambahan koefisien pembobotan, nilai yang digunakan untuk pembobotan adalah murni nilai TF dan IGM dari suatu term. Bobot TF-IGM dan cosine similarity yang dihasilkan lebih kecil dibandingkan bobot TF-IGM dengan menggunakan koefisien pembobotan, dan urutan kelas prediksi akan menjadi berbeda pula.
Urutan kelas prediksi yang dihasilkan menjadi
“terpusat”, dan akurasi yang dihasilkan cenderung stabil.
4.3. Pengujian Akurasi TF-IGM dan TF-IDF Pengujian bertujuan untuk mengetahui perbandingan akurasi dari pembobotan kata TF- IGM dan TF-IDF. Hasil pengujian akurasi TF- IGM dan TF-IDF dimuat pada Gambar 4.
Gambar 4. Grafik Perbandingan Akurasi TF-IGM dan TF-IDF
Dari Gambar 4 dapat dilihat bahwa akurasi TF-IGM dengan λ<9 lebih rendah dibandingkan akurasi TF-IGM tanpa koefisien pembobotan dan akurasi TF-IDF. Grafik akurasi TF-IDF cenderung menurun, sedangkan grafik akurasi TF-IGM tanpa koefisien pembobotan cenderung menaik. Akurasi tertinggi bernilai 0,55 yang didapatkan pada TF-IGM dengan λ = 9 k = 25 dan TF-IDF dengan k = 15. Term yang penting menurut pembobotan kata IDF belum tentu
penting menurut pembobotan kata IGM dan sebaliknya. Bobot IGM adalah bobot yang diberikan berdasarkan persebaran term pada setiap kelasnya, sedangkan bobot IDF adalah bobot yang diberikan berdasarkan kemunculan term pada dokumen.
Hal lain yang memengaruhi akurasi dari deteksi emosi adalah nilai k, jumlah data yang tidak seimbang, inter-rater reliability (IRR) dari data, dan term yang tidak ternormalisasi. Nilai k dapat memengaruhi akurasi karena semakin banyak nilai k, jumlah tetangga terdekat akan semakin banyak, dan hasil vote dari setiap kelas akan berubah. Jumlah data yang tidak seimbang dapat menyebabkan hasil klasifikasi condong ke kelas yang memiliki banyak data (mayoritas), sehingga tingkat akurasi kelas mayoritas tinggi dan tingkat akurasi keseluruhan menurun.
Dataset yang tidak seimbang dapat menyebabkan performa klasifikasi yang buruk pada hampir semua algoritma klasifikasi (Siringoringo, 2018).
Derajat kesepakatan IRR yang diperoleh menggunakan perhitungan kappa Fleiss termasuk kedalam kesepakatan yang fair. Nilai kappa yang dihasilkan termasuk rendah, sehingga IRR dari dataset tersebut kurang mencerminkan dimensi yang seharusnya dicerminkan. Term yang tidak ternormalisasi dapat menjadi term yang berpengaruh, sehingga akan memengaruhi bobot kata, hasil klasifikasi dan akurasi.
5. KESIMPULAN
Kesimpulan yang diperoleh setelah pengujian antara lain:
1. Koefisien pembobotan yang optimal dalam deteksi emosi pada tweet berbahasa Indonesia tentang pembelajaran jarak jauh menggunakan metode KNN dengan pembobotan kata TF-IGM bernilai 9.
Semakin besar koefisien pembobotan, bobot IGM yang dihasilkan akan berbanding lurus.
Rata-rata hasil evaluasi pada λ = 9 adalah 0,47. Akurasi tertinggi berada pada k = 25 dengan λ = 9 yaitu 0,55.
2. Penggunaan koefisien pembobotan TF-IGM memberikan hasil yang kurang stabil jika dibandingkan dengan TF-IGM tanpa koefisien pembobotan, meskipun nilainya tidak berbeda jauh. TF-IGM tanpa koefisien pembobotan memiliki nilai cosine similarity yang lebih kecil, dan urutan kelas prediksi yang dihasilkan menjadi lebih terpusat
0 0,1 0,2 0,3 0,4 0,5 0,6
0 5 10 15 20 25 30 35
Accuracy
k
λ = 5 λ = 6
λ = 7 λ = 8
λ = 9 Tanpa Koefisien Pembobotan
TF-IDF
Fakultas Ilmu Komputer, Universitas Brawijaya
sehingga akurasi menjadi lebih stabil pada setiap nilai k yang diujikan.
3. Hasil evaluasi TF-IGM dibandingkan dengan TF-IDF memiliki akurasi tertinggi yang sama. Akurasi yang dihasilkan dipengaruhi oleh nilai k, dataset yang tidak seimbang, inter-rater reliability dari dataset, dan term yang tidak ternormalisasi dengan sempurna sehingga memengaruhi bobot setiap term dan menyebabkan hasil klasifikasi condong ke kelas yang memiliki banyak data.
6. DAFTAR REFERENSI
Aini, R. N., 2018. Term Weighting Berdasarkan Class Distinguishing Power Menggunakan Metode TF.IGM untuk Perangkingan Dokumen Al-Quran. p. 19.
Allahyari, M. et al., 2017. A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques. Halifax, arxiv.
Arifin & Purnama, K. E., 2012. Classification of Emotions in Indonesian Texts Using K- NN Method. International Journal of Information Engineering and Electronic Business.
Asghar, M. Z. et al., 2017. Sentence-Level Emotion Detection Framework Using Rule-Based Classification. Cognitive Computation, p. 868.
Asif, M. et al., 2016. Hashtag the Tweets:
Experimental Evaluation of Semantic Relatedness Measure. International Journal of Advanced Computer Science and Applications (IJACSA), 7(6), p. 479.
Chen, K., Zhang, Z., Long, J. & Zhang, H., 2016.
Turning from TF-IDF to TF-IGM for Term Weighting in Text. Expert Systems With Applications, pp. 245,248.
El-Khair, I., 2009. Term Weighting. Dalam: L.
L. & M. Özsu, penyunt. Encyclopedia of Database Systems. Boston: Springer, p.
3037.
Fleiss, J. L., 1971. Measuring nominal scale agreement among many raters.
Psychological Bulletin, 76(5), p. 378–382.
Fleiss, J. L., Levin, B. & Paik, M. C., 2003. The Measurement of Interrater Agreement.
Dalam: W. A. Shewart & S. S. Wilks, penyunt. Statistical Methods for Rates and Proportions, Third Edition. s.l.:John
Wiley & Sons, Inc., p. 598.
Gani, W. A., 2016. Klasifikasi Emosi Pada Teks Bahasa Indonesia Menggunakan Metode K-Nearest Neighbor dengan Pembobotan WIDF. Jurnal Ilmiah Komputer dan Informatika (KOMPUTA).
Gralinski, L. E. & Menachery, V. D., 2020.
Return of the Coronavirus: 2019-nCoV.
Viruses, p. 135.
Guan, W.-j.et al., 2020. Clinical Characteristics od Coronavirus Disease 2019 in China.
The New England Journal of Medicine, pp. 1708-1709.
Han, J., Kamber, M. & Pei, J., 2012. Data Mining : Concepts and Techniques. 3rd penyunt. Waltham: Elsevier.
Kompas, 2020. Kilas Balik Pembelajaran Jarak Jauh akibat Pandemi Covid-19, Jakarta:
Kompas.
Kompas, 2020. Ramai soal Polemik Pembukaan Sekolah dan Pembelajaran Jarak Jauh, Bagaimana Sebaiknya?, Jakarta: Kompas.
Landis, J. R. & Koch, G. G., 1977. The Measurement of Observer Agreement for Categorical Data. Biometrics, 33(1), p.
165.
Lange, R. T., 2011. Inter-rater Reliability.
Dalam: J. S. Kreutzer, J. DeLuca & B.
Caplan, penyunt. Encyclopedia of Clinical Neuropsychology. New York: Springer, p.
1348.
Lan, M., Tan, C. L., Su, J. & Lu, Y., 2009.
Supervised and Traditional Term Weighting Methods for Automatic Text Categorization. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(40), p. 721.
Mahfud, F. K. & Tjahyanto, A., 2017. Improving Classification Performance of Public Complaints with TF-IGM Weighting:
Case study : Media center E-wadul surabaya. Malang, IEEE, p. 223.
Manlinguez, C., 2016. Generalized Confusion Matrix for Multiple Classes. pp. 1-2.
Marfian, D., 2015. Klasifikasi Pengkategorian Komentar Twitter Untuk Kota Bandung dan Yogyakarta. pp. 6-7.
Mentari, N. D., Fauzi, M. A. & Muflikhah, L., 2018. Analisis Sentimen Kurikulum 2013
Fakultas Ilmu Komputer, Universitas Brawijaya
Pada Sosial Media Twitter Menggunakan Metode K-Nearest Neighbor dan Feature Selection Query Expansion Ranking.
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, pp. 2739- 2740.
Muljono, Winarsih, N. A. S. & Supriyanto, C., 2016. Evaluation of Classification Methods for Indonesian Text Emotion Detection. Semarang, IEEE, p. 130.
Prasetyo, E., 2012. Data Mining: Konsep dan Aplikasi menggunakan Matlab. 1 penyunt.
Yogyakarta: Andi Offset.
Sabbah, T. et al., 2017. Modified Frequency- based Term Weighting Schemes For Text.
Applied Soft Computing, Volume 58, p.
195.
Salam, N. S. N., Supianto, A. A. &
Perdanakusuma, A. R., 2019. Analisis Sentimen Opini Mahasiswa Terhadap Saran Kuesioner Penilaian Kinerja Dosen Menggunakan TF-IDF dan K-Nearest Neighbor. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 3(6), pp. 6148-6156.
Seyeditabari, A., Tabari, N. & Zadronzy, W., 2018. Emotion Detection in Text: a Review. CoRR, p. 1.
Siringoringo, R., 2018. Klasifikasi Data Tidak Seimbang Menggunakan Algoritma SMOTE dan K-Nearest Neighbor. Jurnal ISD, 3(1), p. 45.
Sokolova, M. & Lapalme, G., 2009. A Systematic Analysis of Performance Measures for Classification Tasks.
Information Processing and Management, 45(4), p. 428.
Tan, P.-N., Steinbach, M. & Kumar, V., 2005.
Introduction to Data Mining. 1st penyunt.
Boston: Addison-Wesley Longman Publishing Co., Inc..
