785 Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 9, No. 2, Juni 2022, Hal. 785-795 E- ISSN 2503-2933
Analisis Sentimen Aplikasi E-Government Pada Google Play Menggunakan Algoritma Naïve Bayes
Artanti Inez Tanggraeni*1, Melkior N. N. Sitokdana2
1,2Universitas Kristen Satya Wacana; Jl. Diponegoro 56-60, Salatiga, Kec.Sidorejo, Kota Salatiga, Jawa Tengah 50711, (0298) 321212
3Jurusan Sistem Informasi, FTI UKSW, Salatiga
e-mail: *1[email protected], 2[email protected]
Abstrak
E-gov merupakan inovasi digital yang dibuat pemerintah untuk menciptakan proses bisnis yang lebih efektif dan efisien demi memenuhi kebutuhan masyarakat. Sebagai wujud dari inovasi tersebut dalam bidang pertanahan, pemerintah membuat aplikasi Sentuh Tanahku.
Sentuh Tanahku didistribusikan pada Google Play dan menghasilkan banyak ulasan dari pengguna. Hasil ulasan tersebut memiliki pengaruh bagi penggunaan dan pengembangan aplikasi. Namun, dengan banyaknya data ulasan yang ada, akan sulit diolah secara manual.
Maka dari itu, diperlukan metode untuk melihat kecenderungan pengguna terhadap aplikasi secara otomatis, apakah positif atau negatif. Metode yang akan digunakan adalah analisis sentimen. Tahapan yang dilakukan adalah pengambilan data ulasan pada Google Play, pelabelan secara manual untuk mendapatkan data ulasan positif dan negatif, data preprocessing, pembobotan TF-IDF, klasifikasi menggunakan algoritma Naïve Bayes, dan evaluasi. Dari proses pelabelan menunjukkan bahwa aplikasi Sentuh Tanahku cenderung mendapatkan respon positif dari pengguna dengan perbandingan 407 ulasan positif dan 235 ulasan negatif. Dan dari hasil pengujian analisis sentimen menggunakan algoritma Naïve Bayes dengan pembobotan TF-IDF menghasilkan akurasi sebesar 89%, precision sebesar 83%, dan recall sebesar 87%.
Kata kunci—E-Gov, Sentuh Tanahku, ulasan, analisis sentimen, Naïve Bayes
Abstract
E-gov is a digital innovation created by the government to create more effective and efficient business processes to meet the needs of the community. As a manifestation of this innovation in the land sector, the government makes an application called Sentuh Tanahku.
Sentuh Tanahku is distributed on Google Play and generates a lot of reviews from users. The results of these reviews have an impact on the use and development of the application.
However, with the large amount of review data, it will be difficult to process manually.
Therefore, a method is needed to automatically see the user's tendency towards the application, whether it is positive or negative. The method that will be used is sentiment analysis. The stages are collecting review data on Google Play, manually labeling to get positive and negative review data, data preprocessing, TF-IDF weighting, classification using the Naïve Bayes algorithm, and evaluation. The labeling process shows that Sentuh Tanahku application gets positive response from users with a comparison of 407 positive reviews and 235 negative reviews. And from the results of sentiment analysis testing using the Naïve Bayes algorithm with TF-IDF weighting, it produces an accuracy of 89%, precision of 83%, and recall of 87%.
Keywords—E-Gov, Sentuh Tanahku, review, sentiment analysis, Naïve Bayes
Jatisi ISSN 2407-4322
Vol. 9, No. 2, Juni 2022, Hal. 785-795 E-ISSN 2503-2933 786
1. PENDAHULUAN
ebutuhan akan kecepatan dan kemudahan pemrosesan data dan informasi membuat berbagai perusahaan maupun instansi berlomba-lomba untuk menciptakan inovasi baru [1]. Dengan semakin pesatnya perkembangan teknologi informasi dapat mendukung kemudahan realisasi dari inovasi tersebut. Inovasi-inovasi tersebut tersebar pada seluruh lini kehidupan, baik transportasi, pendidikan, perdagangan, hingga menyentuh sektor pemerintahan.
E-Gov merupakan salah satu inovasi yang diciptakan oleh pemerintah agar dapat bersaing di dunia digital. E-Gov merupakan satu dari enam pilar Smart City, tepatnya Smart Governance. E-Gov atau Electronic Government memungkinkan terciptanya interaksi antara masyarakat, pemerintah, dan instansi di dalam suatu sistem dengan penerapan teknologi informasi dan komunikasi, serta koneksi internet. Dengan adanya e-gov, pemerintah berharap terciptanya proses bisnis yang lebih efektif dan efisien demi memenuhi kebutuhan masyarakat [2].
Salah satu lembaga pemerintah yang telah menerapkan e-gov adalah Kementerian Agraria Tata Ruang/Badan Pertanahan Nasional (ATR/BPN). Kementerian ATR/BPN memiliki peran aktif dalam mengurus persoalan pertanahan yang ada di Indonesia, dari mulai pengurusan sertipikat tanah hingga menyelesaikan persoalan sengketa tanah. Untuk mempermudah proses pertanahan, Kementerian ATR/BPN menciptakan sebuah inovasi yang diberi nama Sentuh Tanahku.
Sentuh Tanahku merupakan aplikasi berbasis mobile yang memungkinkan pengguna dapat mengakses informasi hanya melalui smartphone. Hal ini membuat aplikasi Sentuh Tanahku memiliki fleksibilitas yang tinggi dalam penggunaannya. Harapannya dengan adanya aplikasi Sentuh Tanahku dapat tercipta timbal balik yang positif antara Kementerian ATR/BPN dengan masyarakat. Masyarakat dimudahkan dalam hal akses informasi terkait pertanahan dan pihak Kementerian ATR/BPN dapat melihat partisipatif masyarakat yang dapat digunakan untuk perbaikan terhadap Sistem Informasi Pertanahan ke depannya [3]. Selain itu, dengan adanya kemudahan melalui aplikasi Sentuh Tanahku, dapat membantu mempercepat tercapainya program-program yang diselenggarakan oleh Kementerian ATR/BPN.
Data yang dihasilkan dari aplikasi Sentuh Tanahku bukan hanya terkait data pertanahan, melainkan ada data lain yang dihasilkan dari proses distribusi aplikasi. Sentuh Tanahku didistribusikan dengan memanfaatkan platform digital, yaitu Google Play. Setiap pengguna yang mengunduh aplikasi Sentuh Tanahku dapat memberikan ulasan terhadap aplikasi melalui fitur yang telah disediakan oleh Google Play. Ulasan tersebut dapat diakses secara bebas oleh siapa saja. Data ulasan dari aplikasi Sentuh Tanahku dapat bermanfaat apabila diolah dengan baik. Hasil pengolahan data akan menghasilkan masukkan untuk perbaikan dan pengembangan aplikasi, karena kritik dan saran terbaik berasal dari pendapat langsung pengguna.
Pendapat dari setiap pengguna pada Google Play dapat berpengaruh pada calon pengguna sebagai bahan pertimbangan penggunaan suatu aplikasi. Namun, dengan banyaknya data ulasan yang ada, akan sulit diolah secara manual. Dengan demikian, sangat diperlukan metode untuk melihat kecenderungan pengguna terhadap aplikasi secara otomatis, apakah positif atau negatif [1].
Melihat pentingnya ulasan pengguna terhadap keberlangsungan suatu aplikasi, maka akan baik apabila analisis sentimen dilakukan pada data ulasan aplikasi Sentuh Tanahku di Google Play. Analisis sentimen dilakukan sebagai suatu proses untuk menghasilkan pengkategorian pendapat melalui ulasan yang diberikan pada suatu topik menjadi berlabel positif, negatif, atau netral. Analisis sentimen merupakan bagian dari penelitian text mining yang memiliki potensi nilai komersial [4].
Sebelumnya telah dilakukan penelitian terhadap aplikasi Sentuh Tanahku dengan judul
“Evaluasi Usability Aplikasi Sentuh Tanahku Menggunakan Metode Heuristic.” Dari penelitian
K
787 Jatisi ISSN 2407-4322 Vol. 9, No. 2, Juni 2022, Hal. 785-795 E-ISSN 2503-2933
tersebut didapatkan hasil berdasarkan 10 jenis komponen metode evaluasi heuristik. Salah satunya adalah pada komponen User Control, aplikasi Sentuh Tanahku dirasa sudah memberikan kemudahan kepada pengguna dalam pengoperasiannya [5]. Namun, data yang digunakan adalah berdasarkan tampilan yang ada pada aplikasi Sentuh Tanahku, bukan berdasarkan pendapat langsung dari pengguna secara luas. Sehingga dengan adanya penelitian terkait analisis sentimen pada aplikasi Sentuh Tanahku dapat memperkuat masukkan dari penelitian sebelumnya.Penelitian terkait analisis sentimen juga sudah sering dilakukan pada kebijakan yang dilakukan pemerintah, seperti penelitian yang berjudul “Implementasi Sentiment Analysis Tanggapan Masyarakat Terhadap Pembangunan di Kota Pontianak”. Penelitian tersebut memanfaatkan data opini masyarakat di twitter dan algoritma Naïve Bayes sebagai metode klasifikasi yang diterapkan. Dari penelitian tersebut didapatkan hasil bahwa dengan penerapan algoritma Naïve Bayes untuk mengklasifikasikan ulasan ke label positif, negatif, atau netral dari 450 data latih dan 50 data uji, akurasinya adalah 72%. Selain itu ditemukan sebuah fakta bahwa jumlah data latih dapat memengaruhi tingkat akurasi sentimen dari suatu algoritma yang digunakan [6].
Penelitian lain yang juga membahas tentang analisis sentimen dan memanfaatkan data ulasan aplikasi pada Google Play adalah penelitian yang berjudul “App Review Sentiment Analysis Shopee Application in Google Play Store Using Naive Bayes Algorithm.” Algoritma Naïve Bayes dapat dijadikan sebuah solusi untuk memecahkan masalah pengklasifikasian sentimen pada ulasan aplikasi Shopee dan memiliki tingkat akurasi yang tinggi. Pada penelitian tersebut didapatkan akurasi sebesar 96,667% [7]. Namun kedua penelitian tersebut tidak menjelaskan kecenderungan sentimen pengguna terhadap topik yang dibahas, yaitu hanya fokus pada pengklasifikasian ulasan dan melihat tingkat akurasi dari metode yang digunakan.
Karena tidak banyak penelitian yang melakukan analisis sentimen pada aplikasi e-gov, maka dalam penelitian ini akan dilakukan analisis sentimen pada salah satu aplikasi e-gov, yaitu aplikasi Sentuh Tanahku. Penelitian ini akan menjabarkan proses yang akan menghasilkan analisis sentimen dengan menerapkan algoritma Naïve Bayes dengan text mining Python.
Algoritma Naïve Bayes akan dimanfaatkan sebagai metode untuk menghasilkan prediksi terhadap suatu ulasan, apakah dalam kategori positif atau negatif. Algoritma Naïve Bayes dipilih karena telah banyak digunakan pada proses text mining dan akurasinya tinggi. Dengan penerapan algoritma Naïve Bayes juga dapat mempersingkat waktu pengklasifikasian dalam analisis sentimen [6]. Bahasa pemrograman Python akan digunakan dalam proses text mining, dari data preprocessing hingga pengklasifikasian analisis sentimen dengan algoritma Naïve Bayes. Bahasa pemrograman Python dipilih karena mudah dalam penggunaan dan pengaplikasiannya.
2. METODE PENELITIAN
Tahapan yang harus ditempuh pada penelitian ini berjumlah 7 tahap, yaitu pengambilan data, pelabelan secara manual, data preprocessing, pembobotan TF-IDF, pemisahan data dengan tujuan untuk membuat data latih dan data uji, klasifikasi menggunakan algoritma Naïve Bayes, dan evaluasi.
Jatisi ISSN 2407-4322
Vol. 9, No. 2, Juni 2022, Hal. 785-795 E-ISSN 2503-2933 788
Gambar 1. Metode Penelitian 2.1 Pengambilan Data
Google Play merupakan aplikasi multiplatform yang dapat diakses secara mobile maupun website. Pada penelitian ini, data ulasan aplikasi Sentuh Tanahku diambil melalui website Google Play. Teknik yang digunakan dalam tahap pengambilan data ulasan aplikasi Sentuh Tanahku adalah teknik web scraping. Data yang diambil pada proses web scraping merupakan data yang berasal dari halaman website dengan bahasa markup. Prosesnya sendiri dilakukan secara semi-terstruktur [8]. Proses web scraping dilakukan dengan memanfaatkan extension tool dari Chrome, yaitu Data Scraper. Hasil dari proses web scraping tersebut adalah file dalam bentuk excel. Data yang diambil berfokus pada pengambilan data tanggal, rating, dan ulasan dari aplikasi Sentuh Tanahku. Rentang waktu data yang diambil adalah dari bulan September 2021 sampai Oktober 2022. Data tersebut berjumlah 674 ulasan.
Dari 674 data ulasan, selanjutnya dilakukan pembersihan data secara manual untuk menghapus ulasan yang tidak memiliki kesinambungan terhadap proses analisis sentimen yang akan dilakukan, contohnya dapat dilihat melalui Tabel 1. Pembersihan data ini menghasilkan data akhir sebanyak 642 data ulasan.
Tabel 1. Data Ulasan yang Dihapus Teks
2m. L.m ñ9 Yan L..m dr J.m Mm+ m .z.6.?zź 2.2 Pelabelan Manual
Data ulasan yang sudah dikumpulkan akan diberi label positif atau negatif. Proses pelabelan dilakukan secara manual. Dari hasil pelabelan didapatkan data ulasan positif dan data ulasan negatif. Setelah itu, dilakukan pemberian nilai terhadap label positif sebesar 1 dan label negatif sebesar 0.
Tabel 2. Pelabelan Ulasan Secara Manual
Label Teks
Positif Aplikasi yang sangat membantu Negatif Sulit masuk ke aplikasi
2.3 Data Preprocessing
Dalam melakukan analisis sentimen, sebelumnya perlu melalui tahap data preprocessing. Data preprocessing ini diperlukan untuk mengoptimalkan hasil dari analisis sentimen. Data preprocessing yang akan dilakukan terdapat lima tahap, yaitu case folding, remove punctuation, tokenizing, stemming, dan stopwords removal.
Case folding merupakan tahap pengolahan data untuk membuat semua huruf menjadi huruf kecil. Tabel 3 menunjukkan hasil dari tahap case folding.
789 Jatisi ISSN 2407-4322 Vol. 9, No. 2, Juni 2022, Hal. 785-795 E-ISSN 2503-2933
Tabel 3. Case Folding
Teks Case Folding
Aplikasi yang bagus untuk hal2 yang berhubungan dengan pertanahan
aplikasi yang bagus untuk hal2 yang berhubungan dengan pertanahan
Remove punctuation merupakan tahap untuk menghapus tanda baca, seperti titik (.), koma (,), garis miring (/), angka, dan emoticon. Komponen tersebut dihapus karena tidak digunakan pada proses analisis sentimen. Tahap remove punctuation dapat dilihat pada Tabel 4.
Tabel 4. Remove Punctuation
Teks Remove Punctuation
aplikasi yang bagus untuk hal2 yang berhubungan dengan pertanahan.
aplikasi yang bagus untuk hal yang berhubungan dengan pertanahan
Tahap selanjutnya merupakan Tokenizing. Tokenizing dapat dilihat melalui Tabel 5.
Tokenizing merupakan tahap untuk memisahkan kalimat untuk menjadi beberapa karakter atau kata yang disebut sebagai token.
Tabel 5. Tokenizing
Teks Tokenize
aplikasi yang bagus untuk hal yang berhubungan dengan pertanahan
‘aplikasi’, ‘yang’, ‘bagus’, ‘untuk’, ‘hal’,
‘yang’, ‘berhubungan’, ‘dengan’,
‘pertanahan’
Kata yang sering muncul, namun tidak mengubah makna dari suatu dokumen perlu untuk dihilangkan. Tahap ini disebut sebagai stopwords removal. Contoh dari stopword adalah
“yang”, “untuk”, “di”, “dan”, “atau”. Tahap stopwords removal dapat dilihat pada Tabel 6.
Tabel 6. Stopwords Removal
Teks Stopwords Removal
‘aplikasi’, ‘yang’, ‘bagus’, ‘untuk’, ‘hal’,
‘yang’, ‘berhubungan’, ‘dengan’,
‘pertanahan’
‘aplikasi’, ‘bagus’, ‘pertanahan’
Tahap data preprocessing yang terakhir merupakan stemming dan dapat dilihat melalui Tabel 7. Stemming merupakan tahap yang dilalui untuk membuat kata yang memiliki imbuhan menjadi kata dasar. Imbuhan kata berupa awalan, sisipan, maupun akhiran akan dihilangkan melalui tahap ini. Untuk ulasan yang menggunakan bahasa Indonesia, stemming dilakukan dengan menggunakan library Sastrawi pada Python. Dan apabila suatu kata tidak terdapat di dalam library, maka kata tersebut akan dihilangkan.
Tabel 7. Stemming
Teks Stemming
‘aplikasi’, ‘bagus’, ‘pertanahan’ ‘aplikasi’, ‘bagus’, ‘tanah’
2.4 Pembobotan TF-IDF
Pembobotan TF-IDF bertujuan agar setiap kata dalam suatu dokumen dapat diketahui bobotnya. TF-IDF memungkinkan adanya transformasi data tekstual menjadi data numerik [9].
Jatisi ISSN 2407-4322
Vol. 9, No. 2, Juni 2022, Hal. 785-795 E-ISSN 2503-2933 790
Metode TF-IDF juga dapat meningkatkan akurasi dalam proses analisis. Proses menghitung bobot kata dalam metode TF-IDF merupakan hasil dari penggabungan dua konsep, yaitu Term Frequence (TF) dan Inverse Document Frequency (IDF).Di mana TF merupakan banyakanya kemunculan sebuah kata dalam suatu dokumen dan jumlahnya sebanding dengan besaran bobot kata tersebut karena semakin sering muncul, maka bobotnya semakin besar. Sedangkan, pada konsep IDF, suatu kata yang sering muncul memiliki bobot kecil [10]. Untuk mendapatkan nilai IDF dapat dilakukan dengan menggunakan persamaan logaritma dari jumlah dokumen dalam suatu kumpulan data () dibagi jumlah dokumen yang di dalamnya terdapat suatu term () tertentu. Sehingga secara keseluruhan pembobotan TF-IDF dapat dilakukan menggunakan Persamaan 1.
. () = ×
(1)
2.5 Pembuatan Data Latih dan Data Uji
Pembuatan data latih dan data uji bertujuan untuk membagi data dari hasil data preprocessing ke dalam perbandingan tertentu. Perbandingan jumlah pembagian data dalam penelitian ini adalah 9:1 yang terdiri dari 90% data latih atau sebanyak 577 data dan 10% data uji atau sebanyak 65 data. Pembagian dengan perbandingan tersebut dikarenakan semakin banyak data yang dilatih, maka akan menghasilkan hasil analisis yang lebih akurat [11].
2.6 Klasifikasi Naïve Bayes
Teorema Bayes merupakan dasar dari teknik pengkasifikasian yang diterapkan pada klasifikasi Naïve Bayes. Teorema Bayes sendiri ditemukan oleh ilmuwan Inggris bernama Thomas Bayes. Dalam melakukan analisis sentimen banyak yang menerapkan algoritma Naïve Bayes sebagai metodenya. Klasifikasi Naïve Bayes dapat memprediksi probabilitas keanggotaan suatu kelas yang bekerja berdasarkan prediksi asumsi independen. Dengan demikian, peluang masa depan dapat diidentifikasi berdasarkan pengalaman sebelumnya [12]. Algoritma Naïve Bayes memiliki keunggulan, yaitu efisien karena mampu membuat proses analisis sentimen menjadi singkat [13]. Selain itu, algoritma Naïve Bayes memiliki akurasi yang cenderung tinggi walaupun memiliki data latih yang sedikit [14].
2.7 Evaluasi
Tahap evaluasi adalah tahap yang dilakukan untuk melihat seberapa baik performansi algoritma klasifikasi yang digunakan dalam penelitian. Tolok ukur yang digunakan untuk mengukur performansi tersebut adalah accuracy, precision, dan recall. Untuk menghitung berdasarkan tolok ukur tersebut dibutuhkan metode confusion matrix yang terdiri dari True Positive (TP), True Negative (TN), False Positive (FP), dan False Negative (FN). Adapun persamaan untuk menghitung accuracy, precision, dan recall adalah sebagai berikut:
= !
" ! "! (2) #$%&% =
" (3) '$ =
"! (4)
3. HASIL DAN PEMBAHASAN
Perbandingan jumlah data ulasan positif dan negatif yang didapatkan setelah melakukan pelabelan secara manual dan penghapusan ulasan yang tidak relevan menunjukkan bahwa dalam rentang waktu September 2021 sampai Oktober 2021, aplikasi Sentuh Tanahku cenderung mendapatkan respon positif dari pengguna. Hal ini dibuktikan dengan sedikitnya data ulasan negatif pada aplikasi Sentuh Tanahku dibandingkan dengan data ulasan positifnya. Hasil tersebut dapat dilihat pada diagram batang di Gambar 2.
791 Jatisi ISSN 2407-4322 Vol. 9, No. 2, Juni 2022, Hal. 785-795 E-ISSN 2503-2933
Gambar 2. Perbandingan Jumlah Data Ulasan Positif dan Negatif
Dari hasil data preprocessing didapatkan visualisasi data untuk melihat kata yang sering digunakan dalam ulasan oleh pengguna aplikasi Sentuh Tanahku. Visualisasi data ini dilakukan pada keseluruhan data baik positif maupun negatif dan data positif serta data negatif secara terpisah. Visualisasi data disajikan dalam bentuk wordcloud.
Gambar 3. Wordcloud Seluruh Ulasan
Gambar 3 menunjukkan kumpulan kata yang sering menjadi topik bahasan dari pengguna secara keseluruhan. Semakin sering suatu kata digunakan, maka pada wordcloud ukurannya akan semakin besar. Contohnya pada kata aplikasi, bantu yang merupakan kata dasar dari membantu, bagus, dan verifikasi.
Gambar 4. Wordcloud Ulasan Positif
Jatisi ISSN 2407-4322
Vol. 9, No. 2, Juni 2022, Hal. 785-795 E-ISSN 2503-2933 792
Berdasarkan Gambar 4 dapat diketahui kumpulan kata yang sering digunakan untuk menggambarkan perasaan pengguna dengan konotasi positif, seperti merasa bahwa aplikasi Sentuh Tanahku merupakan aplikasi yang bagus, mantap, membantu masyarakat dalam pengurusan sertifikat, mudah, dan bermanfaat.Gambar 5. Wordcloud Ulasan Negatif
Sedangkan pada Gambar 5 merupakan kumpulan kata berkonotasi negatif yang sering digunakan pengguna untuk berkomentar terkait aplikasi Sentuh Tanahku, seperti verifikasi yang sulit, aplikasi eror sehingga tidak bisa dibuka, data kurang update, dan gagal login atau masuk ke aplikasi.
Ketika semua kata dari hasil data preprocessing telah dikumpulkan, maka selanjutnya dilakukan pembobotan TF-IDF untuk menghasilkan angka dari suatu term agar dapat digunakan dalam proses penghitungan. Dari hasil tersebut dapat juga dievaluasi tingkat kepentingan suatu kata yang muncul dalam suatu dokumen. Proses penghitungan ini menggunakan scikit-learn library, yaitu TfidfVectorizer(). Pada Tabel 8 dapat dilihat simulasi penghitungan bobot kata dengan TF-IDF.
Tabel 8. Simulasi Penghitungan TF-IDF
Term TF
DF IDF TF.IDF
D1 D2 D3 D4 D5 D1 D2 D3 D4 D5
bantu 1 1 0 1 1 4 5
4= 0,175 0,175 0,175 0 0,175 0,175
akurat 1 0 0 0 0 1 5
1= 0,699 0,699 0 0 0 0
aplikasi 0 1 1 0 1 3 5
3= 0,233 0 0,233 0,233 0 0,233
bagus 0 0 1 1 0 2 5
2= 0,349 0 0 0,349 0,349 0
sertifikat 0 0 1 0 0 1 5
1= 0,699 0 0 0,699 0 0
mudah 0 0 0 0 1 1 5
1= 0,699 0 0 0 0 0,699
793 Jatisi ISSN 2407-4322 Vol. 9, No. 2, Juni 2022, Hal. 785-795 E-ISSN 2503-2933
Klasifikasi dengan algoritma Naïve Bayes diterapkan pada 577 data latih. Proses ini dapat menghasilkan sebuah model yang akan digunakan pada data uji. Klasifikasi Naïve Bayes ini menggunakan library dari Python, yaitu scikit-learn.Hasil dari pemodelan dalam proses klasifikasi pada data latih, selanjutnya digunakan pada data uji untuk dapat digunakan sebagai acuan evaluasi terhadap klasifikasi menggunakan algoritma Naïve Bayes dalam proses analisis sentimen terhadap aplikasi Sentuh Tanahku.
Confusion matrix yang dihasilkan dari data uji sebanyak 65 data terdapat pada pada Tabel 9.
Tabel 9. Hasil Confusion Matrix Predicted Positive Negative
Actual Positive 20 4
Negative 3 38
Berdasarkan Tabel 9 dapat diketahui bahwa dari 65 data yang diprediksi menggunakan algoritma Naïve Bayes terdapat 20 data ulasan positif yang diprediksi, 4 data ulasan positif diprediksi sebagai ulasan negatif, 3 data ulasan negatif diprediksi sebagai ulasan positif, dan 38 data ulasan negatif diprediksi dengan tepat. Hasil penghitungan evaluasi klasifikasi berdasarkan confusion matrix dijabarkan seperti di bawah:
= # + 3
# + # + 3 + 3= 20 + 38
20 + 4 + 38 + 3= 0,89 × 100% = 89%
#$%&% = #
# + # = 20
20 + 4= 0,83 × 100% = 83%
'$ = #
# + 3= 20
20 + 3= 0,87 × 100% = 87%
Dengan hasil akurasi yang mendekati 100%, yaitu sebesar 87% membuktikan cukup tingginya tingkat akurasi analisis sentimen menggunakan klasifikasi Naïve Bayes dengan pembobotan TF-IDF. Hasil precision sebagai rasio data ulasan positif yang diprediksi dengan tepat dari keseluruhan data yang diprediksi juga menunjukkan hasil yang cukup tinggi, yaitu sebesar 83%. Selain itu, hasil recall sebesar 87% yang menunjukkan sensitivitas prediksi data ulasan positif berdasarkan data yang sebenarnya juga cukup tinggi.
4. KESIMPULAN
Penelitian analisis sentimen terhadap aplikasi Sentuh Tanahku menggunakan algoritma Naïve Bayes menghasilkan kesimpulan bahwa:
1. Pengguna aplikasi Sentuh Tanahku cenderung memberikan respon positif terhadap adanya aplikasi karena terdapat 407 data ulasan positif. Di mana data tersebut lebih banyak dibandingkan data ulasan negatif yang berjumlah 237 data. Dengan demikian hasil ini dapat memperkuat penelitian sebelumnya yang mengatakan bahwa aplikasi sentuh tanahku memberikan kemudahan bagi pengguna.
2. Berdasarkan dari pembagian 642 data ulasan aplikasi Sentuh Tanahku menjadi 577 data latih dan 65 data uji, klasifikasi menggunakan algoritma Naïve Bayes mampu memprediksi dengan cukup baik. Hal ini ditunjukkan dari hasil akurasi sebesar 89%, precision sebesar 83%, dan recall sebesar 87%.
Jatisi ISSN 2407-4322
Vol. 9, No. 2, Juni 2022, Hal. 785-795 E-ISSN 2503-2933 794
5. SARAN
Saran untuk penelitian selanjutnya agar lebih baik adalah menggunakan data ulasan yang lebih banyak dan melakukan penanganan negasi untuk meningkatkan akurasi dari metode yang digunakan.
DAFTAR PUSTAKA
[1] S. A. Aaputra, Didi Rosiyadi, Windu Gata, and Syepry Maulana Husain, “Sentiment Analysis Analysis of E-Wallet Sentiments on Google Play Using The Naive Bayes Algorithm Based on Particle Swarm Optimization,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), Vol. 3, No. 3, pp. 377–382, Dec. 2019, doi:
https//doi.org/10.29207/resti.v3i3.1118.
[2] T. W. A. Nugroho, “Analisis E-Government Terhadap Pelayanan Publik di Kementerian Hukum dan Ham (Analysis of E-Government To Public Services In The Ministry of Law And Human Rights),” J. Ilm. Kebijak. Huk., Vol. 10, No. 3, pp. 279–296, 2016, [Online].
Available: https://ejournal.balitbangham.go.id/index.php/kebijakan/article/view/206.
[3] “Pendahuluan - Sentuh Tanahku.” https://docs.atrbpn.go.id/sentuhtanahku/ (accessed Sep. 06, 2021).
[4] F. Zamachsari, G. V. Saragih, Susafa’ati, and W. Gata, “Analisis Sentimen Pemindahan Ibu Kota Negara Dengan Feature Selection Algoritma Naive Bayes dan Support Vector Machine,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), Vol. 4, No. 3, pp. 504–512, 2020, doi: https://doi.org/10.29207/resti.v4i3.1942.
[5] M. K. R. M. N Faisal Kharie, “Evaluasi Usability Aplikasi Sentuh Tanahku Menggunakan Metode Heuristic,” IJIS-Indonesia J. Inf. Syst., Vol. 5, No. 1, pp. 34–43, 2020, doi: https://doi.org/10.36549/ijis.v5i1.63.
[6] L. Ardiani, H. Sujaini, and Tursina, “Implementasi Sentiment Analysis Tanggapan Masyarakat Terhadap Pembangunan di Kota Pontianak,” J. Sist. dan Teknol. Inf., Vol.
8, No. 2, pp. 183–190, 2020, doi: 10.26418/justin.v8i2.36776.
[7] D. Pratmanto, R. Rousyati, F. F. Wati, A. E. Widodo, S. Suleman, and R. Wijianto, “App Review Sentiment Analysis Shopee Application in Google Play Store Using Naive Bayes Algorithm,” J. Phys. Conf. Ser., Vol. 1641, No. 1, pp. 1–7, 2020, doi:
https://doi.org/10.1088/1742-6596/1641/1/012043.
[8] Nurdin, M. Hutomi, M. Qamal, and B. Bustami, “Sistem Pengecekan Toko Online Asli Atau Dropship pada Shopee Menggunakan Algoritma Breadth First Search,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), Vol. 4, No. 6, pp. 1117–1123, Dec. 2020, doi:
https://doi.org/10.29207/resti.v4i6.2514.
[9] J. A. Septian, T. M. Fahrudin, and A. Nugroho, “Analisis Sentimen Pengguna Twitter Terhadap Polemik Persepakbolaan Indonesia Menggunakan Pembobotan TF-IDF dan K-Nearest Neighbor,” J. Intell. Syst. Comput., pp. 43–49, 2019, doi:
https://doi.org/10.52985/insyst.v1i1.36.
795 Jatisi ISSN 2407-4322 Vol. 9, No. 2, Juni 2022, Hal. 785-795 E-ISSN 2503-2933
[10] C. H. Yutika, A. Adiwijaya, and S. Al Faraby, “Analisis Sentimen Berbasis Aspek padaReview Female Daily Menggunakan TF-IDF dan Naïve Bayes,” J. Media Inform.
Budidarma, Vol. 5, No. 2, pp. 422–430, 2021, doi:
https://doi.org/10.30865/mib.v5i2.2845.
[11] L. M. Chaira, N. Hidayat, I. L. Wibowo, and I. Mukhlash, “Pemilihan Jenis Asuransi Berdasarkan Demografi Calon Pemegang Polis Dengan Metode Naive Bayes Classifier,” J. Math. Its Appl., Vol. 13, pp. 11–20, 2016, doi:
https://doi.org/10.12962/j1829605X.v13i2.1931.
[12] R. Watrianthos, S. Suryadi, D. Irmayani, M. Nasution, and E. F. S. Simanjorang,
“Sentiment Analysis of Traveloka App Using Naïve Bayes Classifier Method,” Int. J. Sci.
Technol. Res., Vol. 8, No. 7, pp. 786–788, 2019, doi:
https://doi.org/10.31227/osf.io/2dbe4.
[13] N. Herlinawati, Y. Yuliani, S. Faizah, and W. Gata, “Analisis Sentimen ZOOM Cloud Meetings di Play Store Menggunakan Naïve Bayes dan Support Vector Machine,” Vol.
5, No. 2, pp. 293–298, 2020, doi: https://doi.org/10.24114/cess.v5i2.18186.
[14] R. N. Devita et al., “Perbandingan Kinerja Metode Naïve Bayes dan K-Nearest Neighbor Untuk Klasifikasi Artikel Berbahasa Indonesia,” Vol. 5, No. 4, pp. 427–434, 2018, doi: https://doi.org/10.25126/jtiik.201854773.
