View of Multi Aspect Sentiment Analysis in Hotel Review Using Deep Learning

(1)

Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322

Vol. 10, No. 3, September 2023, Hal. 433-443 E- ISSN 2503-2933 433

Identifikasi Multi Aspek Dan Sentimen Analisis Pada Review Hotel Menggunakan Deep Learning

Windi Astriningsih¹, Dhomas Hatta Fudholi²

1,2Magister Informatika, Fakultas Teknologi Industri, Universitas Islam Indonesia, Yogyakarta

e-mail: *¹[email protected], ²[email protected]

Abstrak

Review hotel tidak hanya memberikan informasi bermanfaat bagi pengusaha, tetapi juga membentuk citra hotel di mata pelanggan. Review umumnya mencakup berbagai aspek yang diungkapkan secara jujur oleh pelanggan. Dalam era perkembangan teknologi, jumlah review hotel di media online semakin meningkat, sehingga pengolahan penilaian hotel yang dibahas dalam review menjadi tantangan bagi banyak pihak. Untuk mengatasi hal ini, dikembangkan analisis sentimen multi- aspek yang membantu menggali informasi penilaian hotel dengan lebih spesifik dari setiap kalimat review. Aspek penilaian pada review meliputi aspek harga, lokasi, pelayanan, makanan, fasilitas, dan kamar. Dalam pengembangan model analisis sentimen multi aspek, digunakan metode deep learning berbasis LSTM. Pembangunan arsitektur model LSTM menggunakan model sequential dengan empat layer yaitu embedding, SpatialDropout1D, LSTM, dan dense. Model dilatih dengan pengaturan epochs sebesar 10 dan batch size 32. Evaluasi model dilakukan dengan tiga skenario yang mencakup pengujian kalimat satu aspek, pengujian kalimat kombinasi dua aspek, dan pengujian kalimat kombinasi tiga aspek. Akurasi kombinasi dua dan tiga aspek diterapkan pada pengujian kalimat kombinasi dua dan tiga aspek. Sementara F1_score digunakan untuk pengujian kalimat satu aspek dan sentimen kalimat. Hasil akurasi pengujian yang diperoleh yaitu sebesar 79% pada kalimat kombinasi dua aspek dan tiga aspek, F1_score sebesar 85,7% pada kalimat satu aspek, dan F1_score sebesar 83% pada sentiment kalimat. Perolehan hasil tersebut menunjukkan bahwa model yang dibangun sudah mampu melakukan sentiment multi aspek pada review hotel.

Kata kunci— Sentiment Analysis, LSTM, Review Hotel, Multi Aspek Abstract

A hotel review not only provides valuable information for business owners but also shapes the hotel's image in the eyes of customers. Reviews generally cover various aspects expressed honestly by customers. In the era of technological advancement, the number of hotel reviews online is increasing, making it a challenge for many parties to process the hotel assessments discussed in reviews. To address this, a multi-aspect sentiment analysis has been developed to help extract specific information from each sentence of a hotel review. The assessment aspects in the review include price, location,

(2)

434 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 433-443 E-ISSN 2503-2933

service, food, facilities, and rooms. In the development of the multi-aspect sentiment analysis model, a deep learning method based on LSTM is used. The LSTM model architecture is built using a sequential model with four layers: embedding, SpatialDropout1D, LSTM, and dense. The model is trained with 10 epochs and a batch size of 32. Model evaluation is conducted in three scenarios, including testing sentences with one aspect, testing sentences with a combination of two aspects, and testing sentences with a combination of three aspects. Accuracy in the combination of two and three aspects is applied to testing sentences with these combinations. Meanwhile, F1_score is used for testing sentences with one aspect and sentence sentiment. The accuracy results obtained are 79% for sentences with a combination of two aspects and three aspects, an F1_score of 85.7% for sentences with one aspect, and an F1_score of 83% for sentence sentiment. These results indicate that the constructed model is capable of performing multi-aspect sentiment analysis on hotel reviews.

Keywords—Sentiment Analysis, LSTM, Hotel Review, Multi Aspect

1. PENDAHULUAN

Review hotel menjadi salah satu dataset yang sangat penting untuk diteliti karena review terkait karakteristik di setiap hotel selalu berbeda[1]. Review tersebut menjadi sumber informasi bagi para wisatawan untuk memilih tempat tinggal saat dalam perjalanan. Oleh karena itu, data review hotel dapat diolah untuk mengetahui sentiment review dan memberikan informasi dalam pengembangan industri dari hasil tersebut.

Sentimen analisis atau disebut juga opinion mining adalah bidang studi untuk menganalisa opini, sentimen, sikap, dan emosi manusia terhadap entitas yang melekat pada suatu barang, jasa, individu, atau topik tertentu [2]. Sentimen analisis berbasis aspek terdiri dari ekstraksi aspek dan sentimen, serta penentuan terhadap orientasi suatu aspek. Orientasi dari aspek yang ditemukan dapat berupa positif dan negatif.

Pada penelitian sebelumnya, telah dilakukan sentimen analisis berbasis aspek menggunakan data review hotel berbahasa indonesia. Terdapat enam aspek pada penelitian yang meliputi harga, lokasi, pelayanan, kamar, fasilitas, dan makanan. Proses pembuatan model dilakukan dengan menerapkan beberapa metode deep learning diantaranya LSTM, RNN, CNN, Attention, dan GRU. Hasil akurasi model sebesar 0.926064 diperoleh dari proses klasifikasi aspek menggunakan metode LSTM. Akan tetapi pada model tersebut masih ditemukan beberapa ketidaksesuaian klasifikasi ketika terdapat aspek yang berbeda dalam satu kalimat review[3].

Penelitian terkait sentiment analisis berbasis aspek menunjukkan hasil akurasi yang cukup baik. Namun pengembangan penelitian terkait sentimen berbasis aspek dalam sebuah kalimat masih terus dikembangkan. Hal ini sebagaimana dijelaskan bahwa sentiment analisis berbasis aspek dianggap memberikan penilaian secara general terhadap suatu kalimat[4]. Padahal bisa jadi terdapat beberapa aspek yang bisa diidentifikasi untuk menentukan maksud dari penulisan kalimat tersebut oleh manusia.

Maka pengembangan penelitian terkait sentiment berbasis multi aspek dilakukan agar mampu menyampaikan informasi yang lebih mendalam terhadap maksud penulisan

(3)

Jatisi ISSN 2407-4322

Vol. 10, No. 3, September 2023, Hal. 433-443 E- ISSN 2503-2933 435

sebuah kalimat. Penelitian dilakukan dengan melihat posisi aspek dalam urutan kalimat menggunakan metode Attention [5]. Metode deep learning lain yaitu BERT juga diterapkan untuk melakukan klasifikasi multi aspek terhadap hate speech di media sosial. Penelitian dilakukan dengan menggabungkan metode BERT dan FastText. Pada metode tersebut diperoleh hasil akurasi model sebesar 98.63%[6].

Selanjutnya penelitian terkait sentimen analisis berbasis multi aspek juga diterapkan pada kalimat komentar di aplikasi Tiktok[7]. Pengguna aplikasi Tiktok dapat menuliskan komentar yang berisis informasi berguna bagi berbagai pihak. Komentar tersebut kemudian dianalisis dalam tiga aspek yaitu bisnis, fitur, dan konten. Metode deep learning yang digunakan untuk pemodelan komentar di Tiktok adalah kombinasi CNN dan fastText. Kombinasi metode pada model yang dibangun berhasil mencapai akurasi tertinggi sebesar 87,74% pada aspek fitur.

Long-short Term Memory (LSTM) merupakan salah satu metode klasifikasi deep learning yang banyak digunakan pada penelitian beberapa tahun belakangan[8]–

[11]. Berbagai formula dikembangkan untuk memodifikasi metode LSTM dalam sentimen analisis berbasis aspek dan multi-aspek. Dengan berbagai modifikasi seperti kombinasi metode CNN dan LSTM [11], metode LSTM telah mencapai performa terbaik dalam melakukan pemodelan data teks.

Berdasarkan beberapa penelitian sebelumnya, disimpulkan bahwa penilaian suatu kalimat review tidak dapat hanya berfokus pada satu aspek saja. Hal ini menjadi krusial dalam penulisan review hotel karena umumnya terdapat banyak aspek yang dinilai dalam satu ulasan. Meskipun penelitian multi aspek telah dilakukan sebelumnya dan memberikan hasil yang positif, namun masih ada ruang untuk pengembangan lebih lanjut dengan menggunakan metode deep learning dan dataset yang berbeda.

Penelitian ini bertujuan untuk membangun model sentimen multi aspek pada data review hotel. Model dibangun dengan memanfaatkan teknologi deep learning berbasis LSTM. Hasil pembangunan model diharapkan mampu melakukan analisa informasi lebih mendalam terkait aspek penilaian apa saja yang dibahas dalam sebuah review. Sehingga informasi tersebut dapat diolah sebagai bahan untuk pengembangan kualitas hotel guna meningkatkan pelayanan pelanggan.

2. METODE PENELITIAN

Diagram flow pada Gambar 1 memberikan gambaran keseluruhan tentang apa yang terjadi dalam pembangunan model multi aspek. Terdapat enam tahapan dalam proses pembangunan model yaitu pengumpulan data, pra-pemrosesan data, klasifikasi multi aspek, klasifikasi sentiment, dan evaluasi. Masing-masing tahapan akan dijelaskan lebih mendalam pada paragraf berikutnya.

(4)

Gambar 1. Keseluruhan Proses Pembuatan Model Multi Aspek.

2.1 Data Collection

Tahap awal dalam penelitian ini melibatkan pengumpulan dataset yang berasal dari penelitian sentimen aspek pada data review hotel [3]. Dataset review hotel yang diperoleh telah diberi label dengan fokus pada satu aspek di setiap kalimat. Selanjutnya, review tersebut digunakan sebagai data pelatihan dalam pembangunan model. Hasil dari pemodelan data tersebut kemudian dievaluasi menggunakan data validasi.

Data validasi untuk evaluasi hasil model diambil dari berbagai review hotel yang ada di situs pemesanan hotel online. Data validasi akan dibagi menjadi tiga bagian, yaitu validasi untuk kalimat dengan satu aspek, validasi untuk kalimat dengan kombinasi dua aspek, dan validasi untuk kalimat dengan kombinasi tiga aspek. Setiap kalimat akan diberi label aspek secara manual sebagai bagian dari proses evaluasi.

2.2 Data Preprocessing

Data preprocessing atau pra-pemrosesan data adalah serangkaian teknik persiapan data sebelum data tersebut digunakan untuk membangun model multi aspek.

Tahapan pra-pemrosesan data meliputi labeling data, pembersihan data (data cleansing), dan tokenisasi. Setiap kalimat review akan dilabeli secara manual berdasarkan aspek dan sentimen yang terkandung dalam kalimat tersebut. Selanjutnya, data akan melewati proses pembersihan dengan menghilangkan stopword dan mengubah huruf menjadi lowercase. Terakhir, data review akan ditokenisasi agar dapat dibaca oleh model dan standar panjang input ditetapkan sebesar 31 kata.

2.3 Multi Aspect Classification

Multi-aspect classification dalam review hotel dilakukan untuk mengidentifikasi aspek-aspek yang terdapat dalam sebuah kalimat review. Dalam model multi aspek, penilaian hotel yang akan diidentifikasi mencakup aspek makanan, pelayanan, kamar, fasilitas, harga, dan lokasi. Untuk identifikasi aspek dalam rangkaian kalimat, dilakukan pembatasan hingga tiga aspek saja. Hal ini didasarkan pada rata-rata pelanggan yang cenderung menulis review dengan tidak lebih dari tiga aspek.

(5)

Pembangunan model LSTM dengan menggunakan 100 unit, batch size 32, dan dropout sebesar 0.5 menjadi arsitektur terbaik pada analisis review hotel berbasis aspek [3]. Selain itu, penelitian mutli aspek dengan menggabungkan metode CNN dan LSTM juga memberikan akurasi yang baik pada klasifikasi komentar di media sosial dalam bahasa Bengali [11]. Kedua model tersebut menjadi acuan pembangunan arsitektur multi aspek pada review hotel.

Gambar 2. Arsitektur Model LSTM.

Gambar 2 merupakan susunan arsitektur model LSTM yang dibangun untuk model multi aspek dan sentimen analisis. Terdapat empat layer sequential pada model yaitu embedding, Spatialdropout, LSTM, dan Dense. Penjelasan lebih lanjut pada masing-masing layer adalah sebagai berikut:

1. Layer embedding digunakan untuk mengubah representasi kata ke dalam ruang vektor dengan dimensi yang lebih rendah. Pertama ukuran kamus kata yang digunakan sebesar 3281 berasal dari total kata unik pada dataset. Kedua mengatur dimensi ruang vektor sebesar 32. Ketiga mengatur panjang input teks sebesar 31 yang berasal dari maksimal jumlah kata dalam sebuah kalimat.

2. Menambahkan layer SpatialDropout1D untuk mengurangi overfitting pada model.

3. Menambahkan layer LSTM untuk memproses urutan data sebesar 64 unit, dengan dropout rate 0.4, dan recurrent dropout rate 0.2.

4. Menambahkan layer Dense (fully connected layer) sebagai layer output dari model sebanyak 2 unit dan fungsi aktivasi sigmoid.

Setelah membuat arsitektur model, langkah selanjutnya adalah menambahkan optimizer untuk mengatur proses pelatihan. Penggunaan optimizer 'adam' dan 'binary_crossentropy' bertujuan untuk mengurangi loss function pada model binary.

Selanjutnya, model akan diterapkan pada dataset review hotel dengan melatihnya menggunakan pengaturan 10 epochs dan batch size sebesar 32. Setiap aspek akan melalui proses pelatihan sehingga terbentuk enam model aspek.

(6)

2.4 Sentiment Classification

Tahap berikutnya setelah proses multi-aspect classification pada data review hotel menggunakan metode LSTM adalah pemodelan sentimen untuk menentukan apakah ulasan tersebut bersifat baik atau buruk. Metode yang digunakan tetap LSTM, namun kali ini untuk proses klasifikasi sentiment kalimat. Dalam proses klasifikasi sentimen, model akan menerima input berupa teks ulasan hotel yang telah dilabeli secara manual. Hasil dari proses sentimen ini akan dikategorikan sebagai sentimen positif atau negative terhadap keseluruhan kalimat.

2.5 Data Evaluation

Pada tahapan akhir dilakukan proses evaluasi data. Tujuan evaluasi data pada model adalah untuk memeriksa seberapa baik model yang dibangun dapat memprediksi nilai target yang ditetapkan dengan ukuran akurasi. Proses evaluasi model review satu aspek dan sentimennya akan menggunakan confusion matrix dengan formula Accuracy dan F1-Score[10]. Sementara itu, pada model multi aspek akan menggunakan metode evaluasi akurasi kombinasi K-aspek. Metode akurasi K-aspek merujuk pada Top-1 Accuracy yang dilakukan untuk mengidentifikasi dan memperhitungkan kemungkinan adanya beberapa aspek yang relevan dalam sebuah review[12].

3. HASIL DAN PEMBAHASAN

3.1 Dataset

Pada penelitian ini dataset terbagi menjadi dataset untuk training dan validasi.

Data training yang digunakan sebanyak 5378 yang merupakan data review hotel berbahasa Indonesia. Terdapat kalimat dengan masing-masing 860 aspek harga, 908 aspek lokasi, 864 aspek pelayanan, 962 aspek kamar, 936 aspek fasilitas, dan 856 aspek makanan. Data training akan dibagi menjadi dua, 80% sebagai data training model dan 20% data testing model.

Terdapat tiga kategori data validasi untuk pengujian model. Masing-masing kalimat validasi meliputi 70 kalimat satu aspek, 82 kalimat kombinasi dua aspek, dan 20 kalimat kombinasi tiga aspek. Seluruh data validasi diperoleh dari review hotel di platform pemesanan hotel online seperti tiket.com dan traveloka.com.

3.2 Tahapan Preprocessing Data

Preprocessing data merupakan langkah awal dalam mempersiapkan data untuk digunakan dalam pembuatan model multi aspek. Karena data training yang diperoleh sudah cukup baik, maka tahapan ini hanya diterapkan pada dataset untuk proses evaluasi. Langkah preproses meliputi cleansing dan lowercase pada kalimat review.

Hasil data review yang telah di preproses dapat terlihat pada Gambar 4.

(7)

Gambar 4. Hasil Preprocessing Data Evaluasi.

Preprocessing berikutnya yaitu tokenisasi. Kalimat review dalam bentuk teks dipecah menjadi unit-unit yang lebih kecil. Data teks diubah kedalam bentuk angka dengan panjang maksimum 31. Gambar 5 merupakan contoh dari proses tokenisasi yang dilakukan pada keseluruhan dataset.

Gambar 5. Hasil Tokenisasi Data Review.

3.3 Klasifikasi Multi Aspek

Tahapan awal pada sentimen multi aspek yaitu dilakukan pembangunan tujuh model. Enam model fokus pada aspek yang berbeda dalam ulasan hotel dan satu model untuk sentimen. Tabel 1 menunjukkan Hasil akurasi model pada tiap aspek.

Tabel 1. Akurasi pada Setiap Aspek Model

Harga Lokasi Pelayanan Kamar Fasilitas Makanan Sentimen Accuracy 0.9038 0.9524 0.9028 0.9472 0.8125 0.9076 0.8736

Pencapaian akurasi Tabel 1 menunjukkan bahwa model-model LSTM yang dibangun berhasil dalam mengklasifikasikan ulasan hotel berdasarkan nilai yang dituju.

Dengan akurasi yang baik, model tersebut menjadi acuan dalam klafikasi aspek dan sentiment. Sehingga model dapat memahami dan menganalisis setiap penilaian pada kalimat review.

Langkah berikutnya yaitu pengujian terhadap berbagai ulasan terhadap model yang dibangun. Pengujian dilakukan pada kalimat review dengan maksimal kombinasi tiga aspek. Tabel 2 merupakan hasil dari pengujian kalimat dengan satu aspek. Pada proses ini diperoleh hasil akurasi tertinggi sebesar 85,7% yang diperoleh dari aspek makanan.

(8)

Tabel 2. Hasil Pengujian Kalimat Dengan Satu Aspek.

Aspek F1_Score

Harga 76,9%

Pelayanan 81,8%

Makanan 85,7%

Fasilitas 81,8%

Lokasi 81,8%

Kamar 76,9%

Pengujian selanjutnya untuk kalimat review dengan kombinasi dua aspek.

Terdapat 30 kelas aspek kombinasi yang berbeda. Dari proses pengujian diperoleh hasil lima kombinasi dengan akurasi tertinggi. Tabel 3 merupakan hasil pengujian kombinasi dua aspek dalam sebuah kalimat. Akurasi sebesar 79% diperoleh dari review dengan kombinasi aspek fasilitas dan kamar.

Tabel 3. Hasil Pengujian Kalimat Kombinasi Dua Aspek.

Kombinasi 2 Aspek Akurasi 2-Aspek

Fasilitas – Kamar 79%

Makanan – Kamar 69%

Makanan – Harga 67%

Makanan – pelayanan 66%

Harga – Lokasi 65%

Selanjutnya pengujian multi aspek dilakukan pada kalimat review dengan kombinasi tiga aspek. Terdapat total 60 kelas kombinasi yang berbeda pada tahap ini.

Hasil pengujian tiga aspek kombinasi sangat beragam. Pada Tabel 4 diperoleh lima hasil pengujian kombinasi dengan tingkat akurasi terbaik. Kombinasi aspek harga-kamar- pelayanan dan lokasi-kamar-makanan mencapai akurasi kombinasi 2-aspek sebesar 79%. Sementara pengujian akurasi 3-aspek pada kombinasi tiga aspek hanya mencapai 68%.

Tabel 4. Hasil Pengujian Kalimat Dengan Kombinasi Tiga Aspek.

Kombinasi 3 Aspek Akurasi 3-Aspek Akurasi 2-Aspek

Harga - Kamar - Pelayanan 53% 79%

Lokasi - Kamar - Makanan 42% 79%

Harga - Kamar - Makanan 52% 78%

Harga - Fasilitas - Pelayanan 53% 74%

Fasilitas – Makanan - Kamar 68% 63%

Makanan – Kamar – Lokasi 68% 53%

Fasilitas – Harga – Pelayanan 63% 47%

Kamar - Harga - Lokasi 58% 42%

(9)

Dari hasil pengujian kalimat dengan kombinasi tiga aspek menujukkan model dalam melakukan prediksi aspek utama masih kurang tepat. Sementara itu, dalam mengidentifikasi dua aspek utama pada rangkaian kalimat sudah cukup relevan. Hal ini dibuktikan dengan hasil akurasi 2-aspek yang cukup tinggi dibandingkan dengan akurasi 3-aspek. Dalam pengujian ini, model akan dianggap benar jika salah dua dari tiga aspek yang dipilihnya sesuai dengan aspek yang sebenarnya dalam kalimat.

Validitas model yang dibangun terpengaruh jumlah data teks yang tersedia untuk setiap aspek. Hal ini dapat mempengaruhi kemampuan model untuk mempelajari pola yang lebih kompleks dan menghasilkan prediksi yang lebih akurat. Model pembelajaran dengan ukuran data pelatihan yang besar cenderung memiliki tingkat akurasi paling tinggi dan secara konsisten menghasilkan hasil yang jauh lebih baik dan stabil[13].

3.4 Klasifikasi Sentimen

Setelah melakukan analisis multi aspek pada kalimat review, langkah terakhir adalah melakukan analisis sentiment. Pada tahap ini dilakukan penggabungan data validasi dari kalimat review dengan satu aspek dan kombinasi aspek. Dari berbagai validasi data yang digunakan, contoh hasil analisis sentiment terlihat pada Gambar 6.

Gambar 6. Hasil Prediksi Sentimen Review.

Hasil perhitungan confusion matriks terhadap prediksi sentiment diperoleh nilai Accuracy sebesar 76% dan F1_Score sebesar 83%. Dalam pengujian sentiment kalimat masih ditemukan ketidaksesuaian saat melakukan prediksi label. Kalimat review dengan kombinasi aspek lebih dari satu cenderung menghasilkan prediksi yang kurang tepat.

4. KESIMPULAN DAN SARAN

Dalam penelitian ini, telah berhasil dilakukan pembuatan model sentimen multi aspek pada data review hotel dengan menggunakan metode LSTM. Terdapat 7 model yang terdiri dari 6 model aspek dan 1 model sentimen. Seluruh model tersebut dapat menggambarkan nilai-nilai yang terkandung dalam kalimat review, terlepas dari kombinasi aspek yang ada.

Hasil pengujian menunjukkan bahwa performa terbaik diperoleh pada pengujian kalimat satu aspek dengan F1 score sebesar 85,7%. Namun, untuk kalimat dengan kombinasi aspek, akurasi yang dicapai lebih rendah yaitu sebesar 79%. Hal ini menunjukkan bahwa model dapat dengan mudah mengidentifikasi aspek dalam kalimat

(10)

satu aspek, tetapi terkendala dalam mendeteksi keseluruhan aspek dalam kalimat multi aspek.

Pemodelan multi aspek ini memungkinkan kita untuk mengetahui dengan lebih spesifik aspek-aspek apa saja yang terdapat dalam kalimat review. Hal ini memberikan manfaat yang lebih baik dalam memahami penilaian hotel yang terkandung dalam kalimat review tersebut. Dengan demikian, model ini dapat dimanfaatkan secara lebih efektif untuk analisis sentimen multi aspek pada review hotel.

Dari hasil penelitian model multi aspek, terdapat dua saran yang dapat digunakan sebagai pengembangan selanjutnya yaitu :

1. Perlu dilakukan pengembangan lebih lanjut untuk meningkatkan kemampuan model dalam mengenali dan menggambarkan aspek-aspek pada kalimat dengan kombinasi aspek.

2. Perlu dilakukan uji coba dengan teknik yang lebih canggih untuk memperluas variasi dan kuantitas data yang tersedia.

DAFTAR PUSTAKA

[1] T. Tran, H. Ba, and V. N. Huynh, “Measuring Hotel Review Sentiment: An Aspect-Based Sentiment Analysis Approach,” in Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Springer Verlag, 2019, pp. 393–405. doi: 10.1007/978- 3-030-14815-7_33.

[2] B. Liu, “Sentiment Analysis: Mining Opinions, Sentiments, and Emotions,”

Sentiment Analysis: Mining Opinions, Sentiments, and Emotions, o. May, pp. 1–

367, 2015, doi: 10.1017/CBO9781139084789.

[3] S. Cahyaningtyas, D. Hatta Fudholi, and A. Fathan Hidayatullah, “Deep Learning for Aspect-Based Sentiment Analysis on Indonesian Hotels Reviews,”

Kinetik: Game Technology, Information System, Computer Network, Computing, Electronics, and Control, Aug. 2021, doi: 10.22219/kinetik.v6i3.1300.

[4] M. Bouazizi and T. Ohtsuki, “A Pattern-Based Approach for Multi-Class Sentiment Analysis in Twitter,” IEEE Access, Vol. 5, pp. 20617–20639, Aug.

2017, doi: 10.1109/ACCESS.2017.2740982.

[5] X. Ma, J. Zeng, L. Peng, G. Fortino, and Y. Zhang, “Modeling Multi-Aspects Within One Opinionated Sentence Simultaneously for Aspect-Level Sentiment Analysis,” Future Generation Computer Systems, Vol. 93, pp. 304–311, Apr.

2019, doi: 10.1016/J.FUTURE.2018.10.041.

[6] A. C. Mazari, N. Boudoukhani, and A. Djeffal, “BERT-Based Ensemble Learning For Multi-Aspect Hate Speech Detection,” Cluster Comput, pp. 1–15, Jan. 2023, doi: 10.1007/S10586-022-03956-X/METRICS.

(11)

[7] R. A. A. Malik and Y. Sibaroni, “Multi-Aspect Sentiment Analysis of Tiktok Application Usage Using FasText Feature Expansion and CNN Method,”

Journal of Computer System and Informatics (JoSYC), Vol. 3, No. 4, pp. 277–

285, Sep. 2022, doi: 10.47065/josyc.v3i4.2033.

[8] W. Widayat, “Analisis Sentimen Movie Review Menggunakan Word2Vec dan Metode LSTM Deep Learning,” Jurnal Media Informatika Budidarma, Vol. 5, No. 3, p. 1018, Jul. 2021, doi: 10.30865/mib.v5i3.3111.

[9] R. A. Priyantina and R. Sarno, “Sentiment Analysis of Hotel Reviews Using Latent Dirichlet Allocation, Semantic Similarity and LSTM,” International Journal of Intelligent Engineering and Systems, Vol. 12, No. 4, pp. 142–155, 2019, doi: 10.22266/ijies2019.0831.14.

[10] R. Jayanto, R. Kusumaningrum, and A. Wibowo, “Aspect-Based Sentiment Analysis for Hotel Reviews Using An Improved Model of Long Short-Term Memory,” International Journal of Advances in Intelligent Informatics, Vol. 8, No. 3, pp. 391–403, Nov. 2022, doi: 10.26555/ijain.v8i3.691.

[11] R. Haque, N. Islam, M. Tasneem, and A. K. Das, “Multi-Class Sentiment Classification On Bengali Social Media Comments Using Machine Learning,”

International Journal of Cognitive Computing in Engineering, Vol. 4, pp. 21–35, Jun. 2023, doi: 10.1016/j.ijcce.2023.01.001.

[12] K. Simonyan and A. Zisserman, “Very Deep Convolutional Networks For Large- Scale Image Recognition,” 2015, Accessed: Jun. 04, 2023. [Online]. Available:

http://www.robots.ox.ac.uk/

[13] A. Abdulraheem, R. Abdullah Arshah, and H. Qin, “Evaluating The Effect of Dataset Size on Predictive Model Using Supervised Learning Technique,”

International Journal of Software Engineering & Computer Sciences (IJSECS), Vol. 1, pp. 75–84, Feb. 2015, doi: 10.15282/ijsecs.1.2015.6.0006.