Jurnal Media Informatika Budidarma

(1)

Analisis Sentimen Ulasan Hotel Bahasa Indonesia Menggunakan Support Vector Machine dan TF-IDF

Vincentius Westley Dimitrius Thomas, Fitrah Rumaisa

Fakultas Teknik, Teknik Informatika, Universitas Widyatama, Bandung, Indonesia Email: ^1’*[email protected], ²[email protected]

Email Penulis Korespondensi: [email protected]

Abstrak−Ulasan mengenai suatu layanan terutama layanan hotel memiliki peran penting terhadap keputusan konsumen.

Tripadvisor yang merupakan sebuah platform mengenai panduan dan referensi bagi wisatawan dalam mencari informasi mengenai layanan hotel yang ada diberbagai negara. Terdapat banyak ulasan mengenai hotel pada platform tersebut sehingga pembaca sulit dalam menentukan keputusan maka perlu dilakukan analisis sentimen yang bertujuan untuk menggali informasi dari ulasan yang ada. Tahapan awal yang dilakukan yaitu dengan pelabelan (positif, netral, negatif) terhadap ulasan. Kemudian tahap preprocessing agar ulasan dapat mudah diolah, lalu dari tahap tersebut dilanjutkan pembobotan menggunakan Term Frequency - Inverse Document Frequency (TF-IDF) dengan menggunakan parameter terbaik, setelah pembobotan data maka selanjutnya yaitu pembagian data menjadi data latih, validasi dan uji. Data tersebut dimasukan kedalam proses pembelajaran mesin menggunakan Support Vector Machine (SVM) dan diperoleh hasil akurasi dari model tersebut sebesar 85%. Untuk skenario pengujian apabila tidak menggunakan slang handling memperoleh F1-Score sebesar 80% dan apabila tidak menggunakan stopword memperoleh F1-Score sebesar 82%. Pada evaluasi kinerja model menggunakan K-Fold diperoleh hasil terbaik pada Fold-7 dengan nilai precision 87%, recall 86%, F1-score 86%, dan akurasi sebesar 87%.

Kata Kunci: Ulasan; Hotel; Sentiment; SVM; TF-IDF

Abstract−Reviews of a service, especially hotel services, have an important role to play in consumer decisions. Tripadvisor is a guide and reference platform for travelers in finding information about the hotel services in various countries. There are many reviews about hotels on the platform so that readers are difficult to make decisions so it is necessary to conduct a sentiment analysis that aims to dig up information from existing reviews. The initial stage is by labeling (positive, neutral, negative) to the review. Then the preprocessing stage so that the review can be easily processed, then from that stage continued weighting using Term Frequency - Inverse Document Frequency (TF-IDF) using the best parameters, after weighting the data, then the next is the distribution of data into training data, validation and test. The data are entered into the machine learning process using Support Vector Machine (SVM) and obtained the accuracy of the model by 85%. For testing scenarios if not using slang handling get F1-Score by 80% and if not using stopword get F1-Score by 82%. On the evaluation of the performance of the model using K-Fold obtained the best results on the Fold-7 with a precision value of 87%, recall 86%, F1-score 86%, and accuracy of 87%.

Keywords: Review; Hotel; Sentiment; SVM; TF-IDF

1. PENDAHULUAN

Pergeseran perilaku masyarakat yang berawal secara tradisional menjadi modern berbasis online, mempengaruhi berbagai produk yang dapat dipesan salah satunya yaitu dalam proses pemesanan hotel. Pencarian informasi sangat penting untuk pengambilan sebuah keputusan, salah satunya adalah informasi ulasan pelanggan online[1]. Ulasan online merupakan kunci untuk mempertahankan, memperbaiki, dan mempromosikan citra hotel yang akan berdampak pada pelanggan dalam memilih menginap di hotel tersebut [2]. Salah satu platform yaitu Tripadvisor yang menyediakan panduan dan referensi bagi wisatawan dalam mencari informasi mengenai pelayanan hotel.

Terdapat banyak ulasan mengenai hotel yang beraneka ragam sehingga pembaca menjadi sulit untuk membuat kesimpulan tentang informasi yang relevan serta platform tersebut menyediakan peringkat bintang pada ulasannya yang sebenarnya tidak begitu merepresentasikan pengalaman pelanggan. Oleh sebab itu untuk memudahkan pelanggan dalam menarik kesimpulan, perlu dilakukan analisis sentimen untuk penggalian informasi dari data ulasan yang ada agar pelanggan dapat mengambil keputusan dengan tepat dalam memilih hotel yang akan dipesan [3][4]. Analisis sentimen adalah bidang penelitian yang menganalisis pendapat pada tulisan sehingga dapat mendukung pengambilan keputusan dalam berbagai situasi dan bertujuan untuk menganalisa opini, penilaian, dan emosi terkait suatu topik, produk, dan layanan[5][6].

Terdapat beberapa metode algoritma machine learning yang banyak diusulkan para peneliti dalam analisis sentimen seperti Multinomial Naive Bayes [7], Random Forest [8], Support Vector Machine [5]. Beberapa studi yang dilakukan menyatakan bahwa Support Vector Machine (SVM) banyak digunakan karena memiliki kelebihan yaitu mahir dalam memberikan performa yang maksimum dalam akurasi klasifikasi dan secara konsisten lebih unggul dibanding dengan metode klasifikasi lain [9]. Karena SVM dapat menghasilkan akurasi tinggi dan biaya komputasi yang rendah sehingga SVM termasuk salah satu metode yang efektif [10].

Namun, SVM memiliki format masukan dalam bentuk vektor, sehingga format dokumen harus dikonversi ke format yang sesuai untuk pembelajaran mesin [11]. Maka dari itu, ekstraksi fitur pada dokumen teks merupakan hal penting karena berperan dalam pemilihan fitur yang akan digunakan dan diabaikan dalam model pembelajaran mesin. Pada umumnya ekstrasi fitur teks yang digunakan adalah N-Gram. Tetapi terdapat masalah yang ada dalam N-gram yaitu menghasilkan angka 'fitur besar', namun tidak semua fitur signifikan untuk proses klasifikasi, ada

(2)

alternatif lain untuk ektrasi fitur yaitu menggunakan TF-IDF (term frequency - inverse document frequency) [9].

TF-IDF sejauh ini dikenal menjadi metode ekstraksi fitur terbaik untuk analisis teks [12].

Penelitian serupa terkait analisis sentimen telah banyak dilakukan diantaranya yaitu seperti pada penelitian oleh Nur Fitriyah .et .al [7] menghasilkan model yang dibangun menggunakan algoritma machine learning Support Vector Machine (SVM) memiliki rata-rata akurasi sebesar 79.19% dan menggunakan evaluasi model yaitu dengan 10-Fold cross-validation model dengan kernel linear.

Kemudian penelitian oleh Zaky A .et .al [8] dalam penelitiannya dengan objek ulasan produk kecantikan memperoleh hasil akurasi penelitian sebesar 84.66% untuk SVM dan 79.33% menggunakan Multinomial Naïve Bayes, peneliti memberi saran untuk penelitian selanjutnya yaitu memperbanyak kamus slang berbahasa Indonesia yang kemudian dilanjutkan dengan normalisasi kata pada data.

Penelitian analisis sentimen yang dilakukan oleh Valonia Inge .et .al [13] dengan objek hasil evaluasi dosen menggunakan SVM diperoleh hasil pengujian dengan menerapakan k-fold cross validation dengan nilai k = 7 dihasilkan akurasi paling besar pada k = 6 sebesar 67.83%.

Penelitian analisis sentimen oleh Paulina W .et .al [5] dengan objek ulasan hotel menunjukan bahwa rata- rata nilai akurasi dengan menggunakan SVM dalam klasifikasi memperoleh nilai diatas 70% dengan data teks ulasan berbahasa Indonesia.

Penelitian yang dilakukan oleh I Putu Ananda .et .al [14] menunjukan hasil rata-rata akurasi untuk klasifikasi dengan menggunakan Hybrid Classifier sebesar 84%, akurasi dengan naive bayes 82.4%, random forest sebesar 82% dan Support Vector Machine sebesar 81% dan peneliti memberikan saran untuk penelitian selanjutnya melakukan penelitian mengenai analisis sentiment dengan TF-IDF dan menggunakan data berbahasa Indonesia.

Berdasarkan latar belakang diatas dan berdasarkan dari penelitian sebelumnya, maka diperoleh rumusan masalah yaitu bagaimana memperoleh model untuk klasifikasi analisis sentimen dengan menggunakan algoritma machine learning SVM dan TF-IDF terhadap ulasan hotel dengan data ulasan berbahasa Indonesia. Adapun tujuan dari penelitian ini yaitu untuk mengetahui performa akurasi dengan melakukan beberapa eksperimen pengujian dari model yang menggunakan SVM dan TF-IDF terhadap data ulasan hotel berbahasa Indonesia yang telah dilakukan normalisasi kata dengan memperbanyak kamus kata slang bahasa Indonesia.

2. METODOLOGI PENELITIAN

2.1 Rancangan Sistem

Penelitian ini mengusulkan suatu perancangan sistem yang dapat melakukan klasifikasi pada ulasan hotel berbahasa Indonesia dengan menggunakan TF-IDF dan SVM. Tahapan perancangan sistem dapat dilihat pada gambar 1.

Gambar 1. Tahapan Proses Penelitian

Di mana tahap awal adalah proses pengambilan data, kemudian dilakukan pre-processing terhadap data yang diperoleh. Setelah itu dilakukan ektraksi dan pembobotan fitur menggunakan metode TF-IDF. Lalu data tersebut digunakan pada model pembelajaran mesin menggunakan Support Vector Machine untuk klasifikasi data

(3)

Vincentius Westly Dimitrius Thomas, Copyright © 2022, MIB, Page 1769 yang termasuk kedalam kelas positif, netral, dan negative. Dari hasil klasifikasi tersebut langkah selanjutnya yaitu melakukan evaluasi.

2.2 Dataset

Data yang digunakan yaitu 2330 data ulasan hotel berbahasa Indonesia yang diperoleh dari situs tripadvisor. Data terdiri dari ulasan dan rating yang diberikan pengguna dan data diberi label berdasarkan rating. Rating 1 dan 2 dilabeli sebagai sentiment negative dengan notasi ‘-1’, rating 3 dilabeli sebagai sentiment netral dengan notasi ‘0’

dan rating 4 dan 5 dilabeli sebagai sentiment positif dengan notasi ‘1’.

2.3 Preprocessing

Setelah dilakukan proses pelabelan pada dataset, maka selanjutnya adalah tahap preprocessing yang bertujuan untuk menghapus bentuk data yang tidak diperlukan. Berikut adalah flowchart dari preprocessing yang dapat dilihat pada gambar 2.

Gambar 2. Langkah Pra Pemrosesan Data

Dalam preprocessing terdapat beberapa tahapan seperti symbol & punctuation removal, case folding, tokenizing, word normalization, stopword removal, dan stemming. Tahap-tahap tersebut dilakukan untuk mengoptimalkan perhitungan pada machine learning sehingga data yang digunakan pada machine learning merupakan data yang clean.

2.3.1 Symbol, Punctuation Removal and Case Folding

Pada tabel 1 di tahap ini merupakan proses menghapus symbol, tanda baca dan angka. Lalu dilakukan case folding bertujuan untuk mengubah semua huruf menjadi huruf kecil.

Tabel 1. Menghapus Symbol, Punctuation, and Case Folding

2.3.2 Tokenizing

Setelah proses symbol & punctuation removal serta case folding selanjutnya merupakan proses tokenizing yaitu pemecahan perkata dari suatu kalimat. Proses ini menggunakan library NLTK yaitu word_tokenize(). Tabel 2 merupakan contoh dari hasil proses tokenizing.

Tabel 2. Tokenizing

Sebelum Sesudah

Selamat pagi.. saya baru pertama kali mencoba check in d hotel grand tebu..sy menginap d kamar 1003.. kamarnya lumayan cukup nyaman..dan sesuai dgn ekspetasi.. sy suka sekali d beri kamar yg dgn city view.. terimakasih sekali ya.. mudah mudahan menjadi repeat guest lg..

selamat pagi saya baru pertama kali mencoba check in d hotel grand tebu sy menginap d kamar kamarnya lumayan cukup nyaman dan sesuai dgn ekspetasi sy suka sekali d beri kamar yg dgn city view terimakasih sekali ya mudah mudahan menjadi repeat guest lg

'selamat', 'pagi', 'saya', 'baru', 'pertama', 'kali', 'mencoba', 'check', 'in', 'd', 'hotel', 'grand', 'tebu', 'sy', 'menginap', 'd', 'kamar', 'kamarnya', 'lumayan', 'cukup', 'nyaman', 'dan', 'sesuai', 'dgn', 'ekspetasi', 'sy', 'suka', 'sekali', 'd', 'beri', 'kamar', 'yg', 'dgn', 'city', 'view', 'terimakasih', 'sekali', 'ya', 'mudah', 'mudahan', 'menjadi', 'repeat', 'guest', 'lg'

(4)

2.3.3 Word Normalization

Hasil dari kalimat yang telah dilakukan tokenizing akan dilanjutkan ke proses word normalization yaitu proses mengubah kata yang tidak baku menjadi baku. Peneliti membuat kamus dengan jumlah 315 kata. Tabel 3 merupakan contoh hasil dari proses word normalization.

Tabel 3. Word Normalization

2.3.4 Stopword Removal

Tahap stopword removal bertujuan untuk menghapus kata yang sering muncul namun tidak terlalu penting. Proses ini dilakukan dengan menggunakan library sastrawi yaitu StopwordRemoverFactory(). Tabel 4 merupakan contoh dari hasil proses stopword removal dengan library sastrawi.

Table 4. Stopword Removal

2.3.5 Stemming

Pada tahap ini bertujuan untuk mengubah kata-kata menjadi kata dasarnya dengan cara menghilangkan imbuhan, awalan, dan akhiran. Untuk proses stemming menggunakan library sastrawi. Table 5 merupakan hasil dari proses stemming.

Tabel 5. Stemming

2.4 TF-IDF

Term Frequency - Inverse Document Frequency (TF-IDF) merupakan metode pemberian bobot pada hubungan antara kata dan dokumen. Metode ini menggabungkan dua konsep penghitungan bobot, yaitu frekuensi kata dalam dokumen tertentu dan frekuensi inverse dari dokumen yang mengandung kata tersebut. Frekuensi kemunculan sebuah kata dalam dokumen tertentu menunjukkan pentingnya kata tersebut dalam dokumen [9]. TF-IDF terdiri dari TF (Term Frequency) dan IDF (Inverse Document Frequency). TF adalah frekuensi di mana sebuah kata muncul dalam dokumen. Sedangkan IDF adalah kebalikan dari frekuensi dokumen [15]. Perhitungan bobot dengan TF-IDF ini dapat menentukan seberapa relevan suatu kata dalam dokumen tertentu [10]. Persamaan dari TF-IDF dapat dilihat pada persamaan (1).

𝑊

_𝑡,𝑑

= 𝑇𝐹

_𝑡,𝑑

∗ 𝐼𝐷𝐹

_𝑡 (1)

𝑊_𝑡,𝑑 = bobot dari t (term) dalam suatu dokumen, 𝑇𝐹_𝑡,𝑑 = frekuensi kemunculan t (term) dalam dokumen d, dan 𝐼𝐷𝐹_𝑡 = Inverse Document Frequency. Di mana persamaan IDF seperti pada persamaan (2).

𝐼𝐷𝐹

_𝑡

= log (

^𝑁

𝑛_𝑡

)

(2)

𝑁 = jumlah dokumen, dibagi dengan 𝑛_𝑡 = jumlah dokumen yang mengandung term t

'selamat', 'pagi', 'saya', 'baru', 'pertama', 'kali', 'mencoba', 'check', 'in', 'd', 'hotel', 'grand', 'tebu', 'sy', 'menginap', 'd', 'kamar', 'kamarnya', 'lumayan', 'cukup', 'nyaman', 'dan', 'sesuai', 'dgn', 'ekspetasi', 'sy', 'suka', 'sekali', 'd', 'beri', 'kamar', 'yg', 'dgn', 'city', 'view', 'terimakasih', 'sekali', 'ya', 'mudah', 'mudahan', 'menjadi', 'repeat', 'guest', 'lg'

'selamat', 'pagi', 'saya', 'baru', 'pertama', 'kali', 'mencoba', 'check', 'in', 'di', 'hotel', 'grand', 'tebu', 'saya', 'menginap', 'di', 'kamar', 'kamarnya', 'lumayan', 'cukup', 'nyaman', 'dan', 'sesuai', 'dengan', 'ekspetasi', 'saya', 'suka', 'sekali', 'di', 'beri', 'kamar', 'yang', 'dengan', 'city', 'view', 'terimakasih', 'sekali', 'ya', 'mudah', 'mudahan', 'menjadi', 'repeat', 'guest', 'lagi'

'selamat', 'pagi', 'saya', 'baru', 'pertama', 'kali', 'mencoba', 'check', 'in', 'di', 'hotel', 'grand', 'tebu', 'saya', 'menginap', 'di', 'kamar', 'kamarnya',

'lumayan', 'cukup', 'nyaman', 'dan', 'sesuai', 'dengan', 'ekspetasi', 'saya', 'suka', 'sekali', 'di', 'beri', 'kamar', 'yang', 'dengan', 'city', 'view', 'terimakasih', 'sekali', 'ya', 'mudah', 'mudahan', 'menjadi', 'repeat', 'guest', 'lagi'

'selamat','pagi','baru', 'pertama','kali','mencoba', 'check','in', 'hotel', 'grand','tebu', 'menginap',

'kamar','kamarnya','lumayan','cukup', 'nyaman', 'sesuai', 'ekspetasi', 'suka', 'sekali', 'beri', 'kamar', 'dengan', 'city', 'view', 'terimakasih', 'sekali', 'mudah', 'mudahan','menjadi', 'repeat', 'guest'

'selamat','pagi','baru', 'pertama','kali','mencoba', 'check','in','hotel', 'grand','tebu', 'menginap', 'kamar','kamarnya','lumayan','cukup', 'nyaman', 'sesuai','ekspetasi', 'suka', 'sekali', 'beri', 'kamar', 'dengan', 'city', 'view', 'terimakasih', 'sekali', 'mudah', 'mudahan','menjadi','repeat', 'guest'

'selamat','pagi','baru','pertama','kali','coba','check','in','hotel', 'grand','tebu','inap','kamar','kamar','lumayan','cukup', 'nyaman','sesuai','ekspetasi','suka','sekali','beri','kamar', 'dengan','city','view','terimakasih','sekali','mudah','mudah', 'jadi','repeat','guest'

(5)

Algoritma SVM bertujuan untuk mencari maximum marginal hyperplane menggunakan support vector dan margin. Maximum marginal hyperplane adalah hyperplane terbaik dengan jarak margin terbesar, digunakan untuk memisahkan data untuk setiap kelas dengan tingkat dan akurasi terbesar [16]. Klasifikasi dengan metode SVM pada penelitian ini menggunakan library sklearn dapat dilihat algoritma dari SVM pada tabel 6.

Tabel 6. Algoritma SVM Algoritma SVM menggunakan Sklearn Input: X_train, y_train

Output: Result of Predict from sklearn import svm clf = svm.SVC() clf.fit(X_train, y_train) predict = clf.predict(X_test)

Selain melakukan klasifikasi penelitian ini juga melakukan pengukuran terhadap performa dari model klasifikasi yang dibangun dengan menggunakan library KFold pada sklearn.model_selection dengan validasi 10- Fold. K-folds cross-validation yaitu membagi data training dan testing menjadi K bagian set data dengan ukuran yang sama [17].

2.6 Evaluation

Pada tahap evaluasi akan melakukan pengukuran seperti perhitungan akurasi, presisi, recall dan F1 Score terhadap model pembelajaran mesin yang telah dibangun. Selain itu evaluasi akan menggunakan confusion matrix juga yang bertujuan untuk mengetahui hasil dari prediksi apakah hasil tersebut termasuk ke dalam true positive, true negative, false positive, dan false negative.

𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = ^{𝑇𝑃+𝑇𝑁}

𝑇𝑃+𝐹𝑃+𝑇𝑁+𝐹𝑁 (3)

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = ^𝑇𝑃

𝑇𝑃+𝐹𝑃 (4)

𝑅𝑒𝑐𝑎𝑙𝑙 = ^𝑇𝑃

𝑇𝑃+𝐹𝑁 (5)

𝐹1 − 𝑆𝑐𝑜𝑟𝑒 = 2 𝑥 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑥 𝑟𝑒𝑐𝑎𝑙𝑙

𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙 (6)

TP merupakan hasil klasifikasi yang dilakukan mesin menunjukan jumlah data positif yang terdeteksi dengan benar, FP merupakan hasil klasifikasi yang menunjukan jumlah data negatif yang terdeteksi sebagai data positif, TN merupakan hasil klasifikasi yang menunjukan jumlah data negatif yang terdeteksi dengan benar, dan FN merupakan hasil klasifikasi yang menunjukan jumlah data positif yang terdeteksi sebagai data negative.

3. HASIL DAN PEMBAHASAN

Pada penelitian ini ada 3 skenario yang dilakukan untuk mengetahui akurasi yang dihasil dari model pembelajaran mesin menggunakan SVM dan ekstrasi fitur dengan TF-IDF. Skenario pengujian pertama yaitu dengan tuning parameter pada TF-IDF, kemudian pengujian kedua dengan K-Fold cross validation dan terakhir yaitu perhitungan hasil akurasi, precision, F1-Score, dan recall terhadap analisis sentiment ulasan hotel Bahasa Indonesia dengan TF-IDF dan SVM.

3.1 Parameter Tuning TF-IDF

Skenario pengujian dengan parameter tuning TF-IDF bertujuan untuk mengetahui parameter terbaik pada ekstrasi fitur menggunakan TF-IDF. Ada beberapa parameter yang digunakan pada pengujian ini diantaranya yaitu min_df, max_df, dan max_features. Min_df digunakan untuk menghapus term yang jarang muncul, max_df digunakan untuk menghapus term yang terlalu sering muncul, max_features untuk mendapat term teratas sesuai dengan term frequency terbesar. Misalkan jika ‘min_df = 0.50’ berarti menghapus term yang jarang muncul sebesar 50% dari dokumen, ‘max_df = 5’ berarti menghapus term yang sering muncul kurang dari 5 dokumen, dan ‘max_features

= 2000’ yaitu mendapat 2000 term teratas.

Tabel 7. Parameter Tuning TF-IDF min_df max_df max_features F1-

Score

0.01 0.5 3000 0.81

3 0.25 5000 0.83

(6)

min_df max_df max_features F1- Score

1 0.75 3000 0.82

0.1 0.9 5000 0.79

Dari tabel 7 dapat dilihat bahwa parameter TF-IDF terbaik yaitu dengan nilai F1-Score sebesar 83%

sehingga pada pengujian terhadap data test akan menggunakan parameter TF-IDF tersebut.

3.2 K-Fold Cross Validation

Dari dataset yang sudah dilakukan preprocessing, ekstrasi fitur menggunakan TF-IDF, dan dimasukan ke model pembelajaran mesin SVM maka dilanjutkan dengan evaluasi menggunakan K-Fold Cross Validation yang dapat digunakan sebagai metode untuk mengevaluasi kinerja model pembelajaran mesin. Penelitian ini menggunak “K

= 10” yang berarti bahwa data dibagi menjadi 10fold dengan ukuran yang hamper sama. 10-Fold Cross Validation dipilih karena cenderung memberikan estimasi akurasi yang cukup tidak bias.

Tabel 8. 10-Fold Cross Validation

10 Fold Cross Validation Precision Recall F1-Score Accuracy (%)

1 0.80 0.80 0.80 0.80

2 0.82 0.81 0.81 0.82

3 0.82 0.82 0.82 0.82

4 0.85 0.85 0.85 0.86

5 0.79 0.80 0.79 0.78

6 0.80 0.80 0.79 0.79

7 0.87 0.86 0.86 0.87

8 0.81 0.81 0.81 0.81

9 0.81 0.82 0.82 0.82

10 0.79 0.81 0.80 0.79

Average 0.81 0.81 0.81 0.81

Hasil dari evaluasi dengan 10-Fold cross validation menunjukan bahwa nilai rata-rata F1-Score sebesar 87% dan berdasarkan tabel 8 dapat dilihat bahwa nilai performansi tertinggi terdapat pada fold cross validation ke 7 dengan nilai F1-Score sebesar 86% serta akurasi sebesar 87%.

3.3 Hasil Evaluasi

Setelah dilakukan pengujian dengan parameter tuning pada TF-IDF dan menggunakan 10-Fold Cross Validation, selanjutnya yaitu perhitung akurasi, precision, F1-Score, dan recall pada model klasifikasi yang telah dibangun.

Pada penelitian ini juga mencoba dua eksperimen pada tahap preprocessing yaitu dengan tidak menggunakan kamus slang kemudian dengan tidak menggunakan stopword untuk menguji performasi model pembelajaran mesin yang dibangun.

Tabel 9. Perbandingan Perfoma Model

Precision Recall F1-Score Accuracy Tanpa Penanganan Slang 0.80 0.80 0.80 0.81

Tanpa Stopword 0.82 0.82 0.82 0.82

Hasil pengujian mengguna skenario pengujian tanpa slang handling dan dibandingkan tanpa stopword terhadap model pembelajaran mesin yang dibangun menunjukan nilai F1-score yang diperoleh pada pengujian tanpa slang handling sebesar 80% dengan akurasi sebesar 81% sedangkan pada pengujian tanpa stopword F1- score yang diperoleh sebesar 82% dan akurasi sebesar 82%. Berdasarkan hasil pengujian bahwa terdapat perbedaan yang tidak begitu signifikan dari pengujian yang dilakukan. Namun ketika slang handling dan stopword digunakan pada model yang dibangun maka dapat meningkatkan performa model, dapat dilihat pada tabel 9. Hal itu tersebut dapat terjadi karena slang handling dan stopword dapat mengurangi error rate pada model.

Tabel 10. Hasil Evaluasi Class Precision Recall F1-Score

1 93% 82% 87%

0 74% 84% 79%

-1 90% 90% 90%

Accuracy (%) 85%

Berdasarkan hasil evaluasi pada model klasifikasi menggunakan SVM dan TF-IDF yang dapat dilihat pada tabel 10 diperoleh nilai akurasi sebesar 85% dan dengan nilai F1-Score pada kelas positif dengan notasi ‘1’ sebesar

(7)

Vincentius Westly Dimitrius Thomas, Copyright © 2022, MIB, Page 1773 87%, kelas netral dengan notasi ‘0’ sebesar 79%, dan kelas negatif dengan notasi ‘-1’ sebesar 90%. Kemudian setelah melakukan perhitungan akurasi terhadap model klasifikasi maka melakukan evaluasi dengan confusion matrix dari hasil proses yang sebelumnya telah dilakukan. Confusion matrix digunakan untuk pengukuran performa dari kinerja model klasifikasi berisikan informasi mengenai hasil klasifikasi yang dihasilkan oleh sistem dibandingkan dengan hasil seharusnya. Pada kasus penelitian ini confusion matrix terdapat beberapa istilah diantaranya yaitu True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN), True Netral (TNR), dan False Netral (FNR).

Tabel 11. Confusion Matrix

Prediksi

Actual Positive Neutral Negative Positive (TP) 36 (FNR) 4 (FN) 0

Neutral (FP) 4 (TNR) 37 (FN) 3 Negative (FP) 0 (FNR) 9 (TN) 42

Dapat dilihat pada tabel 11, confusion matrix dari hasil klasifikasi menggunakan TF-IDF dan SVM dengan data uji sebesar 135 data menunjukan bahwa mesin dapat memprediksi kelas positif dengan benar yaitu sebanyak 36 data, kelas negatif sebanyak 42 data, dan kelas netral sebanyak 37 data. Berdasarkan hasil tersebut model yang dibangun dapat mengklasifikasi kelas positif, netral, dan negatif. Namun ada beberapa data yang salah diprediksi yang seharusnya kelas positif diprediksi sebagai kelas netral dan negatif, lalu data kelas netral diprediksi sebagai kelas positif dan negatif, dan terakhir data kelas negatif yang diprediksi kedalam kelas positif dan netral. Hal ini disebabkan pada proses preprocessing tidak menggunakan terjemahan untuk menangani kata dalam bahasa inggris pada kalimat ulasan hotel bahasa Indonesia tersebut dan pada data ulasan hotel terdapat ulasan yang memiliki makna yang ambigu sehingga mengakibatkan adanya kesalahan prediksi pada model.

4. KESIMPULAN

Berdasarkan penelitian yang telah dilakukan pada analisis sentimen ulasan hotel berbahasa Indonesia menggunakan Support Vector Machine (SVM) dan TF-IDF dapat disimpulkan bahwa pembobotan menggunakan TF-IDF dengan melakukan tuning terhadap parameter dan memilih parameter terbaik yaitu parameter dengan min_df sebesar 3, max_df sebesar 0.25, dan max_features sebesar 5000 serta dari implementasi slang handling menggunakan kamus slang bahasa Indonesia dengan memperbanyak kosa kata slang didalam kamus tersebut dan implementasi stopword, cukup dapat mempengaruhi hasil dari prediksi pada metode SVM yaitu menghasilkan nilai akurasi sebesar 85%. Pada eksperimen yang dilakukan penelitian ini berdasarkan parameter tuning diperoleh hasil F1-Score terbaik sebesar 83% dan pada eksperimen apabila tanpa implementasi slang handling diperoleh nilai F1-Score sebesar 80% sedangkan eksperimen apabila tanpa stopword diperoleh hasil F1-Score sebesar 82%.

Kemudian pada evaluasi kinerja model dengan K-fold, nilai akurasi tertinggi berada pada Fold-7 sebesar 87%.

Namun pada penelitian ini masih terdapat kekurangan yaitu belum adanya penanganan terhadap kata-kata asing pada data ulasan hotel dan terdapat kalimat ulasan yang memiliki makna ambigu sehingga meningkatnya error rate pada model. Maka disarankan untuk penelitian selanjutnya dapat melakukan penanganan terhadap kata-kata asing yang terdapat pada data ulasan berbahasa Indonesia serta dapat melakukan ekstrasi aspek dari data ulasan tersebut agar hasil prediksi yang didapat akan lebih akurat.

REFERENCES

[1] R. Sarudin, dan Achmad Ismail, “Analisis Online Review Tripadvisor.Com Terhadap Minat Pembelian Produk Jasa Akomodasi Di Hotel Manhattan Tripadvisor.Com Review Online Analysis On The Interest Of Buying Accommodation Services In Hotel Manhattan,” vol. 7, no. 4, pp. 33–43, 2021, doi: 10.30813/.v7i1.2634.

[2] R. R. Chowdhury and A. Deshpande, “An analysis of the impact of reviews on the hotel industry,” Annals of Tropical Medicine and Public Health, vol. 23, no. 17, Nov. 2020, doi: 10.36295/ASRO.2020.231742.

[3] S. A. Amira and M. I. Irawan, “Opinion Analysis of Traveler Based on Tourism Site Review Using Sentiment Analysis,”

IPTEK The Journal for Technology and Science, vol. 31, no. 2, p. 223, May 2020, doi: 10.12962/j20882033.v31i2.6338.

[4] V. Elango and G. Narayanan, “Sentiment Analysis for Hotel Reviews.” [Online]. Available:

http://cs229.stanford.edu/proj2014/

[5] W. Paulina, F. Abdurrachman Bachtiar, and A. N. Rusydi, “Analisis Sentimen Berbasis Aspek Ulasan Pelanggan Terhadap Kertanegara Premium Guest House Menggunakan Support Vector Machine,” 2020. [Online]. Available:

https://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/7155

[6] H. Chyntia Morama, D. E. Ratnawati, and I. Arwani, “Analisis Sentimen berbasis Aspek terhadap Ulasan Hotel Tentrem Yogyakarta menggunakan Algoritma Random Forest Classifier,” 2022. [Online]. Available: https://j- ptiik.ub.ac.id/index.php/j-ptiik/article/view/10908

[7] N. Fitriyah, B. Warsito, D. Asih, and I. Maruddani, “Analisis Sentimen Gojek Pada Media Sosial Twitter Dengan Klasifikasi Support Vector Machine (SVM),” JURNAL GAUSSIAN, vol. 9, no. 3, pp. 376–390, 2020, doi:

10.14710/j.gauss.v9i3.28932

(8)

[8] A. Zaky and S. al Faraby, “Analisis Sentimen Review Produk Kecantikan Berbahasa Indonesia pada Female Daily Menggunakan Support Vector Machine (SVM),” 2021. [Online]. Available:

https://repository.telkomuniversity.ac.id/pustaka/166597/analisis-sentimen-review-produk-kecantikan-berbahasa- indonesia-pada-female-daily-menggunakan-support-vector-machine-svm-.html

[9] T. K. Shivaprasad and J. Shetty, "Sentiment analysis of product reviews: A review," 2017 International Conference on Inventive Communication and Computational Technologies (ICICCT), 2017, pp. 298-301, doi:

10.1109/ICICCT.2017.7975207.

[10] D. Srivastava, L. Bhambhu, and D. K. Srivastava, “Data classification using support vector machine,” 2010. [Online].

Available: https://www.researchgate.net/publication/285663733_Data_classification_using_support_vector_machine [11] H. Nguyen et al., “Comparative Study of Sentiment Analysis with Product Reviews Using Machine Learning and

Lexicon-Based Approaches.” [Online]. Available: https://scholar.smu.edu/datasciencereview/vol1/iss4/7

[12] M. N. Saadah, R. W. Atmagi, D. S. Rahayu, and A. Z. Arifin, “Sistem Temu Kembali Dokumen Teks dengan Pembobotan Tf-Idf Dan LCS,” Scientific Journal of Information Technology Departement of Informatics Institut Teknologi Sepuluh November, doi: http://dx.doi.org/10.12962/j24068535.v11i1.a16

[13] V. I. Santoso¹, G. Virginia², and Y. Lukito³, “Penerapan Sentiment Analysis Pada Hasil Evaluasi Dosen Dengan Metode Support Vector Machine,” JURNAL TRANSFORMATIKA, vol. 14, no. 2, 2017, doi:

http://dx.doi.org/10.26623/transformatika.v14i2.439

[14] I. P. A. M. Utama, S. S. Prasetyowati, and Y. Sibaroni, “Multi-Aspect Sentiment Analysis Hotel Review Using RF, SVM, and Naïve Bayes based Hybrid Classifier,” JURNAL MEDIA INFORMATIKA BUDIDARMA, vol. 5, no. 2, p.

630, Apr. 2021, doi: 10.30865/mib.v5i2.2959.

[15] Fatihah Rahmadayana and Yuliant Sibaroni, “Sentiment Analysis of Work from Home Activity using SVM with Randomized Search Optimization,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 5, no. 5, pp. 936–

942, Oct. 2021, doi: 10.29207/resti.v5i5.3457.

[16] P. A. Octaviani, Y. Wilandari, and D. Ispriyanti, “Penerapan Metode Klasifikasi Support Vector Machine (Svm) Pada Data Akreditasi Sekolah Dasar (Sd) Di Kabupaten Magelang,” vol. 3, no. 4, pp. 811–820, 2014, doi:

https://doi.org/10.14710/j.gauss.v3i4.8092

[17] F. Tempola, M. Muhammad, and A. Khairan, “Perbandingan Klasifikasi Antara Knn Dan Naive Bayes Pada Penentuan Status Gunung Berapi Dengan K-Fold Cross Validation Comparison Of Classification Between Knn And Naive Bayes At The Determination Of The Volcanic Status With K-Fold Cross Validation,” vol. 5, no. 5, pp. 577–584, 2018, doi:

10.25126/jtiik20185983.