Perbandingan Metode K-NN, Naïve Bayes, Decision Tree untuk Analisis Sentimen Tweet Twitter Terkait Opini Terhadap PT PAL Indonesia

(1)

JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.4016 Hal 506−514 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom

Perbandingan Metode K-NN, Naïve Bayes, Decision Tree untuk Analisis Sentimen Tweet Twitter Terkait Opini Terhadap PT PAL Indonesia

Franly Salmon Pattiiha^1*, Hendry²

1Fakultas Teknologi Informasi, Teknik Informatika, Universitas Kristen Satya Wacana, Salatiga, Indonesia

2 Fakultas Teknologi Informasi, Teknik Informatika, Universitas Kristen Satya Wacana, Salatiga, Indonesia Email: ^1,*[email protected], ²[email protected]

Email Penulis Koresponding: [email protected] Submitted 12-04-2022; Accepted 16-04-2022; Published 29-04-2022

Abstrak

PT PAL Indonesia merupakan salah satu BUMN yang bergerak di bidang industri galangan kapal yang memiliki keunggulan bisnis pada kapabilitas pembangunan dan rancang-bangun kapal. Menjadi salah satu perusahaan yang cukup besar, PT PAL mendapatkan opini dari masyarakat terkait kinerja dan pelayanan yang diberikan. Oleh karena itu dilakukan analisis sentimen terhadap opini publik pada media sosial Twitter dengan menggunakan data yang telah dikumpulkan menjadi sebuah dataset dan diolah menggunakan tools Rapidminer. Penelitian ini menggunakan metode Naïve Bayes, K-NN dan Decision Tree untuk melakukan perbandingan dengan melihat tingkat akurasi dari ketiga metode yang digunakan. Hasil dari penelitian menunjukan bahwa metode Naïve Bayes memiliki tingkat akurasi sebesar 84,08% dengan class precision untuk pred. positif adalah 83,65%, pred. Netral adalah 97,06%, pred. negative 100%, metode K-NN adalah 83,38% dengan class precision untuk pred. positif adalah 83,05%, pred. Netral adalah 96,43%, pred.

negative 0.0% dan metode Decision Tree adalah 81,09% dengan class precision untuk pred. positif adalah 81,09%, pred. Netral adalah 0.0%, pred. negative 0.0%. Hasil dari penelitian ini dapat menunjukan metode Naïve Bayes memiliki tingkat akurasi lebih tinggi dari metode lain yang digunakan dengan tingkat akurasi sebesar 84,08%.

Kata Kunci: Twitte; Analisis Sentimen; Akurasi; K-NN; Naïve Bayes; Decision Tree Abstract

PT PAL Indonesia is one of the state-owned enterprises engaged in the shipbuilding industry which has business advantages in shipbuilding and shipbuilding capabilities. Being a fairly large company, PT PAL gets opinions from the public regarding t he performance and services provided. Therefore, a sentiment analysis was carried out on public opinion on Twitter social media using data that had been collected into a dataset and processed using Rapidminer tools. This study uses the Naïve Bayes, K-NN and Decision Tree methods to make comparisons by looking at the level of accuracy of the three methods used. The results of the study show that the Naïve Bayes method has an accuracy rate of 84.08% with class precision for pred. positive is 83.65%, pred. Neutral is 97.06%, pred. negative 100%, K-NN method is 83.38% with class precision for pred. positive is 83.05%, pred. Neutral is 96.43%, pred. negative 0.0% and the Decision Tree method is 81.09% with class precision for pred. positive is 81.09%, pred. Neutral is 0.0%, pred. negative 0.0%. The results of this study can show that the Naïve Bayes method has a higher accuracy rate than other methods used with an accuracy rate of 84.08%.

Keywords: Twitter; Sentiment Analysis; Accuracy; K-NN; Naïve Bayes; Decision Tree

1. PENDAHULUAN

PT PAL Indonesia merupakan salah satu badan usaha milik negara yang bergerak di bidang galangan kapal yang memiliki keunggulan bisnis pada kapabilitas pembangunan dan rancang-bangun kapal perang dan kapal niaga. Selain itu juga PT PAL memiliki keunggulan pada pembangunan dan maintenance, repair dan overhaul (MRO) kapal selam, kapal perang, kapal niaga dan produk-produk kemaritiman, general engineering energi dan elektrifikasi serta technology development.

Banyak kapal yang sudah diekspor ke berbagai negara sehingga upaya yang dilakukan oleh PT PAL Indonesia itu merupakan langkah besar Indonesia untuk memasuki global bidang pertahanan.

PT PAL Indonesia sebagai salah satu perusahaan yang besar, tidak luput dari pemberitaan berupa opini atau pendapat masyarakat tentang kinerja dan pelayanan yang dimuat di media cetak, media online dan juga media sosial.

Ditambah lagi saat ini semakin banyak pengguna internet yang dengan mudah dapat menyampaikan pendapat melalui media-media sehingga banyak sekali informasi yang didapatkan.

Twitter merupakan salah satu media sosial yang disebut dengan micro blogging karena para pengguna Twitter dapat mengirim dan membaca pesan seperti blog pada umumnya[1][2]. Pesan tersebut berbasis teks yang terdiri dari 140 karakter dan akan ditampilkan pada halaman profil pengguna yang dikenal dengan sebutan tweet[3]. Twitter juga merupakan sebuah platform yang sangat cepat dalam hal penyebaran informasi dan paling sering dikunjungi di internet sehingga disebut dengan pesan singkat dari internet. Pengguna Twitter sering menyampaikan keluhan-keluhan terhadap pelayanan yang diberikan dan juga memberikan usulan-usulan terhadap program kerja atau sekedar ingin mengetahui informasi terkini[1]. Oleh karena itu, dalam pemanfaatan informasi agar dapat membantu banyak pihak untuk mendukung suatu keputusan atau pilihan dibutuhkan analisis yang tepat. Analisis sentimen dapat digunakan untuk menunjukan sentimen positif, sentimen negatif maupun sentimen netral dari opini atau pendapat yang disampaikan oleh masyarakat.

Sentimen analisis merupakan salah satu cabang data mining. Data mining merupakan suatu teknik pengambilan keputusan dari basis data yang besar dan disktraksi untuk mendapatkan informasi baru (Suntoro, 2019)[4][5]. Dapat di katakan bahwa data mining merupakan proses dengan menggunakan teknik dam metode tertentu untuk mencari informasi.

Dalam proses tersebut terdapat banyak sekali metode dan teknik yang dapat digunakan untuk proses data mining tergantung tujuan yang diinginkan.

(2)

JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.4016 Hal 506−514 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom Analisis sentimen pada penelitian ini, peneliti akan membandingkan tiga metode untuk melihat tingkat akurasi dari ketiga metode tersebut. Metode yang digunakan antara lain Naïve Bayes, K-NN dan Decision Tree. Ketiga metode tersebut merupakan metode yang digunakan untuk proses klasifikasi data dalam beberapa kelas sesuai dengan algoritma dari masing-masing metode.

Kajian terhadap penelitian terdahulu sangat penting karena dapat mengetahui hubungan antara penelitian yang dilakukan sebelumnya dengan penelitian yang dilakukan saat ini agar dapat menghindari duplikasi.

Pertama penelitian yang dilakukan oleh R. Puspita dan A. Widodo (2021) yang berjudul Perbandingan Metode K-NN, Decision Tree, dan Naïve Bayes Terhadap Analisis Sentimen Pengguna Layanan BPJS[6] digunakan tools Rapidminer untuk mencari tingkat akurasi dari ketiga metode yang digunakan dan untuk data yang dipakai didapatkan dengan memanfaatkan tools yang ada pada Rapidminer ke dalam API Twitter. Data yang digunakan dalam penelitian tersebut sebanyak 1000 data dan difiltering menjadi 903 data karena terdapat duplikasi data.

Penelitian yang berjudul Perbandingan Metode Naïve Bayes, K-NN dan Decision Tree Terhadap Analisis Sentimen Transportasi KRL Commuter Line yang dilakukan oleh N. T. Romadloni, I. Santoso, dan S. Budilaksono (2019)[7] juga menggunakan tools Rapidminer untuk mencari tingkat akurasi dari ketiga metode. Data yang digunakan diambil secara random sebanyak 127 data. Data yang dipakai akan diproses melalui beberapa tahapan untuk menghindari data yang rangkap. Hasil dari penelitian tersebut untuk metode Naïve Bayes Classifier akurasi 80%, precision 66,67%, sensitivity 100%, specificity 66,67%. Pada metode K-NN akurasi 80%, precision 100%, sensitivity 50%, specificity 100% dan pada metode Decision Tree akurasi 100%, precision 100%, sensitivity 100%, specificity 100%.

Penelitian oleh R. Rosdiana, T. Eddy, S. Zawiyah, dan N. Y. U. Muhammad (2019) yang berjudul Analisis Sentimen pada Twitter terhadap Pelayanan Pemerintah Kota Makassar[8] yang menggunakan metode Naïve Bayes dan data yang digunakan diambil dengan memanfaakan API Twitter untuk mendapatkan data secara realtime dengan memperoleh data realtime sebanyak 234.079 data sentiment dan pengujian metode naïve bayes yang digunakan dengan nilai 10 K-Fold memiliki akurasi tertinggi 91,6%.

Penelitian yang dilakukan oleh T. N. P. Dicki Pajri, Yuyun Umaidah yang berjudul Implementation of K-Nearest Neighbor (K-NN) Algorithm For Public Sentimen Analysis of Online Learning[9] dilakukan untuk melihat pendapat masyarakat terkait isu kebijakan pemerintah tentang pemberajaran daring. Data yang digunakan pada penelitian tersebut sebanyak 1825 data tweet Bahasa Indonesia dan menggunakan tweepy yang merupakan library python untuk pembobotan kata menggunakan TF-IDF dan hasil dari penelitian tersebut mendapatkan nilai akurasi tertinggi pada saat nilai K=10 dengan akurasi sebesar 84,65%. Berdasarkan dari penelitian terdahulu, maka penelitian ini bertujuan untuk menguji metode serta membandingkan hasil akurasi dari metode-metode yang digunakan dalam analisis sentiment terkait opini masyarakat pada media sosial Twitter PT PAL Indonesia. Penelitian ini dilakukan dengan harapan agar dapat memperoleh hasil uji sesuai dengan yang diharapkan.

2. METODOLOGI PENELITIAN

2.1 Tahapan Penelitian

Penelitian yang menggunakan metode naïve bayes, k-nn dan decision tree untuk melihat perbandingan berdasarkan akurasi yang didapat dari hasil pengujian metode menggunakan tools Rapidminer dengan menggunakan dataset tweet berupa opini masyarakat pada media sosial twitter PT PAL Indonesia.

Berikut langkah-langkah yang digunakan pada penelitian ini:

Gambar 1. Langkah-langkah Penelitian

(3)

JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.4016 Hal 506−514 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom a. Perumusan Masalah dan Penetapan Tujuan

Tahapan pertama dalam penelitian ini ialah perumusan masalah serta menentukan tujuan dari penelitian yang akan dicapai sehingga penelitian ini berjalan dengan tepat untuk setiap proses dari awal hingga akhir. Perumusan masalah dilakukan berdasarkan temuan yang terjadi di lapangan sehingga dapat diangkat sebagai acuan dalam melakukan penelitian ini.

b. Studi Literatur

Dalam tahapan ini untuk melakukan penyusunan penelitian diperlukan referensi yang cukup dari berbagai sumber seperti buku, media sosial, jurnal online dan lain sebagainya sebelum proses penelitian dilakukan. Referensi yang dicari merupakan data terkait penjelasan atau pengertian teoritis terkait data mining, metode K-NN, metode Naïve Bayes dan Decision Tree serta analisis sentimen.

1. K-Nearest Neighbor (K-NN)

K-Nearest Neighbor (K-NN) adalah salah satu metode untuk melakukan klasifikasi yang didasarkan oleh data pembelajaran dengan tujuan untuk mengklasifikasikan objek tertentu berdasarkan atribut dan training sample yang dilihat dari jarak terdekat dengan objek tertentu[10][11]. K-NN merupakan algoritma yang hasil nilai instance yang baru akan diklasifikasikan berdasarkan mayoritas atau kelas yang paling banyak muncul yang akan menjadi kelas hasil klasifikasi dari kategori pada K-NN sehingga termasuk dalam algoritma supervised learning. Sebagai nilai prediksi dari nilai instance yang baru, Algoritma k-Nearest Neighbor menggunakan Neighborhood Classification[12].

Implementasi algoritma K-NN dilakukan untuk semua data testing yang digunakan untuk menghitung jarak ke setiap data testing menggunakan perhitungan Euclidean Distance dengan rumus seperti berikut[10][13],

𝑑 = √∑(𝑥_{𝑡𝑟𝑎𝑖𝑛𝑖𝑛𝑔}^𝑖 − 𝑦_{𝑡𝑒𝑠𝑡𝑖𝑛𝑔}^𝑖 )²

𝑛

𝑖=1

(1)

Keterangan :

d : jarak Euclidean xⁱtraining : data training xⁱtesting : data testing i : variable data n : banyaknya data

Setelah melakukan perhitungan jarak antara data testing dan data training, data akan diurutkan dari terkecil ke besar, kemudian nilai k digunakan untuk batas tetangga terdekat, berdasarkan nilai k akan mendapatkan jumlah data yang akan diambil mayoritas sebagai hasil prediksi. Dalam penelitian ini untuk mengukur keakuratan dari metode klasifikasi akan diukur dengan melihat akurasi precission dan recall.

2. Naïve Bayes Classifier

Naïve Bayes classifier merupakan sebuah metode untuk mengklasifikasikan data pada kategori yang tepat berdasarkan nilai probabilitas dari data yang telah ada sebelumnya[7][14]. Metode ini juga merupakan salah satu metode data mining dan termasuk dalam metode machine learning yang memiliki akurasi yang tinggi dan merupakan salah satu algoritma yang sederhana[15].

Tahapan metode Naïve Bayes sebagai berikut[16] : a) Menghitung nilai probabilitas bersyarat:

𝑃(𝑥_𝑖|𝐶) = 𝑃(𝑥₁, 𝑥₂, … 𝑥_𝑛|𝐶 (2)

Keterangan :

C : Kelas

X : Vektor dari nilai atribut n

P(xi | C) : Nilai atribut xi yang ada pada kelas C b) Menghitung nilai probabilitas prior tiap kelas:

𝑃(𝐶) = 𝑁𝑗 𝑁

(3) Keterangan :

Nj :Jumlah dokumen pada satu kelas N : Jumlah total dokumen

c) Menghitung nilai probabilitas posterior:

𝑃(𝐶 |𝑥) = 𝑃(𝑥|𝐶)𝑃(𝑐) 𝑃(𝑥)

(4) 3. Decision Tree

(4)

JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.4016 Hal 506−514 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom Decision Tree merupakan salah satu metode data mining untuk mengklasifikasikan data yang terdiri dari root node, internal nood dan terminal nood[7][17]. Variabel atau fitur adalah root node dan internal nood sedangkan label kelas adalah terminal nood[7]. Untuk menghasilkan pohon keputusan yang mempresentasikan aturan dari hasil fakta yang telah diubah sering digunakan metode Decision Tree atau metode pohon keputusan[18]. Data yang ada didalam pohon keputusan dinyatakan dalam bentuk tabel dengan atribut dan record. Atribut yang ada akan dievaluasi menggunakan ukuran statistic berupa information gain, untuk mengukur efektivitas sebuah atribut saat sedang mengklasifikasikan himpunan sampel data.

Metode Decision Tree memiliki beberapa tahapan antara lain : a) Data training disiapkan

b) Pemilihan atribut yang akan dijadikan akar dengan menggunakan rumus sebagai berikut[17]

𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝑆) = ∑ 𝑝𝑖^∗log₂𝑝𝑖

𝑛

𝑖=1

(5)

𝐺𝑎𝑖𝑛(𝑆, 𝐴) = 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝑆) − ∑|𝑆_𝑖|

|𝑆|∗ 𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝑆_𝑖)

𝑛

𝑖=1

(6)

Keterangan :

S : Himpunan kasus n : Jumlah partisi

pi : Proporsi dari Si terhadap S A : Atribut

|Si| : Jumlah kasus pada partisi ke-i

|S| : Jumlah kasus dalam S 4. Analisis Sentimen

Sentimen analysis merupakan sebuah cara untuk mengolah berbagai opini atau pendapat masyarakat terkait sesuatu hal, jasa, layanan ataupun instansi melalui berbagai media. Dalam sentimen analisis terdapat tiga jenis opini, yaitu positif, netral dan negative sehingga dengan adanya sentimen analisis dapat membantu instansi atau organisasi untuk mengetahui feedback terhadap pelayanan atau kinerjanya[14].

Analisis sentimen dapat juga dikatakan sebagai opinion mining yang merupakan kombinasi antara text mining dan data mining[7]. Dalam text mining terdapat banyak metode yang dapat digunakan dalam proses penyelesaian masalah opinion mining atau sentimen analisis. Dalam penelitian ini digunakan tiga metode dalam proses analisis sentimen ialah K-NN, Naïve Bayes Classifier dan Decision Tree untuk melihat perbandingan dari ketiga metode tersebut berdasarkan nilai akurasi.

c. Pengumpulan Data Twitter

Pada tahapan pengumpulan data, peneliti melakukan pengumpulan data langsung pada PT PAL Indonesia yang dimulai dari bulan Oktober 2021 sampai Februari 2022. Data yang dikumpulkan merupakan hasil monitoring media sosial twitter yang berjumlah 1138 data dan di jadikan sebagai sebuah dataset.

Tabel 1. Dataset Twitter

Sentimen Text

Positif PT PAL difavoritkan raih tender pengadaan kapal perang strategic sealit vessel AL Filipina Netral Keamanan natuna, TNI-AL atau bakamla?

Positif Indonesia to implement Arrowhead 140 design on Iver Huitfeldt-variant contract Netral Mumpung lagi HUT TNI, yuk kenalan produk pertahanan keren made in RI Positif Industri pertahanan berkembang, ini jajaran Alutsista produksi dalam negeri

Positif Indonesian Navy to implement Arrowhead 140 design on Iver Huitfeldt-variant contract Positif PT PAL Indonesia intensifkan sinergi pemberitaan dengan ANTARA

Positif PT PAL Indonesia intensifkan sinergi pemberitaan dengan ANTARA Positif Gubernur Erzaldi berkesempatan mengunjungi KRI Semarang-594 Positif Manfaat PMN bagi BUMN

Tabel 1 menunjukan data yang telah dikumpulkan menjadi sebuah dataset yang digunakan untuk pada penelitian ini. Pada tabel tersebut terdapat 10 data dari 1138 yang digunakan.

d. Pengolahan Data

Pada tahapan ini akan dilakukan pengolahan dataset twitter PT PAL Indonesia yang merupakan hasil monitoring media menggunakan Rapidminer. Pengolahan data dilakukan untuk menguji metode-metode yang di pakai dalam penelitian ini.

(5)

Gambar 2. Pengolahan Dataset

Pada Gambar 3 menunjukkan operator yang digunakan untuk proses pengolahan data terdiri dari retrieve yang digunakan untuk membaca dataset yang telah diimport pada Rapidminer dan Cross Validation yang digunakan untuk membagi data training dan data latih. Data training merupakan data yang akan digunakan untuk melatih algoritma dan data testing digunakan untuk menguji algoritma yang sudah dilatih.

1. Cross validation Naïve Bayes

Gambar 3. Proses Cross Validation Naïve Bayes

Gambar 4 menunjukan tahapan yang dilakukan untuk menguji metode yang digunakan dan bertujuan mengetahui tingkat akurasi dari metode Naïve Bayes. Terdapat operator metode Naïve Bayes pada kolom data training dan operator apply model dan performance pada kolom data testing.

2. Cross validation K-NN

Gambar 4. Proses Cross Validation K-NN

Gambar 5 menunjukan tahapan yang dilakukan untuk menguji metode yang digunakan dan bertujuan mengetahui tingkat akurasi dari metode K-NN. Terdapat operator metode K-NN pada kolom data training dan operator apply model dan performance pada kolom data testing.

3. Cross validation Decision Tree

Gambar 5. Proses Cross Validation Decision Tree

Gambar 6 menunjukan tahapan yang dilakukan untuk menguji metode yang digunakan dan bertujuan mengetahui tingkat akurasi dari metode Decision Tree. Terdapat operator metode Decision Tree pada kolom data training dan operator apply model dan performance pada kolom data testing.

e. Selesai

Pada tahapan terakhir akan ditarik kesimpulan dari hasil penelitian yang telah dilakukan.

3. HASIL DAN PEMBAHASAN

Pada penelitian ini data yang telah dikumpulkan dan dijadikan menjadi sebuah dataset diolah menggunakan software rapidminer. Dataset tersebut diimport untuk melakukan pengujian dari metode-metode yang digunakan. Setelah itu data tersebut akan dibagi menjadi data training dan data testing menggunakan operator cross validation yang memiliki dua subproses yaitu subproses training untuk melatih model dan subproses testing untuk menguji metode yang digunakan

(6)

JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.4016 Hal 506−514 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom serta mengukur kinerja model. Terdapat parameter yang dapat digunakan pada operator cross validation seperti number of folds yang digunakan untuk memberikan nilai k (jumlah iterasi). Selain itu juga untuk memilih teknik sampling yang akan digunakan untuk membagi dataset menggunakan parameter sampling type.

Pengujian metode pada penelitian ini akan menghasilkan nilai akurasi dari setiap metode dengan standar deviasi dan juga nilai presisinya. Nilai akurasi suatu metode dapat dijadikan sebagai suatu tolak ukur untuk melihat kinerja dari metode tersebut karena nilai akurasi merupakan ukuran kedekatan hasil pengukuran dengan nilai sebenarnya. Setiap nilai akurasi yang dihasilkan memiliki standar deviasi atau simpangan baku untuk melihat jarak antara akurasi setiap percobaan dengan rata-rata akurasi.

3.1 Naïve Bayes

Dalam hasil pengujian metode Naïve Bayes yang dilakukan pada penelitian ini dengan menggunakan Rapidminer terdapat gambar di bawah ini.

Gambar 6. Hasil Metode Naïve Bayes

Gambar 7 menunjukan hasil dari pengujian metode Naïve Bayes dimana tingkat akurasi dari metode tersebut adalah 84.08% dengan standar deviasi (+/-) sebesar 1.28% dan class precision untuk pred. positif adalah 83.65%, pred.

Netral adalah 97.06%, pred. negative 100%. Selain itu juga terdapat class recall untuk true positif 99.89%, true netral 15.94% dan true negatif 25.00%.

Gambar 7. Plot View Metode Naïve Bayes

Gambar 8 menunjukan hasil visualisasi data dari hasil pengujian metode Naïve Bayes dalam bentuk grafik yang disebut dengan plot view.

Gambar 8. Performance Vector Metode Naïve Bayes

(7)

JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.4016 Hal 506−514 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom Gambar 9 menunjukan bentuk deskripsi dari tabel hasil analasis metode Naïve Bayes yang juga terdapat kappa pada performance vector. Pada performance vector atau vector performa terdapat daftar nilai kriteria kinerja dari metode yang di uji.

3.2 K-NN

Pada penelitian ini telah dilakukan pengujian metode K-NN dan mendapatkan hasil sebagai berikut seperti pada gambar dibawah ini.

Gambar 9. Hasil Metode K-NN

Gambar 10 menunjukan hasil dari pengujian metode K-NN dimana tingkat akurasi dari metode tersebut adalah 83.38% dengan standar deviasi (+/-) sebesar 1.21% dan class precision untuk pred. positif adalah 83.05%, pred. Netral adalah 96.43%, pred. negative 0.0%. Selain itu juga terdapat class recall untuk true positif 99.89%, true netral 13.04%

dan true negatif 0.00%.

Gambar 10. Plot View Metode K-NN

Gambar 11 menunjukan hasil visualisasi data dari hasil pengujian metode K-NN dalam bentuk grafik yang disebut dengan plot view.

Gambar 11. Performance Vector Metode K-NN

Gambar 12 menunjukan bentuk deskripsi dari tabel hasil analasis metode K-NN yang juga terdapat kappa pada performance vector. Pada performance vector atau vector performa terdapat daftar nilai kriteria kinerja dari metode yang di uji.

3.3 Decision Tree

Pada penelitian ini telah dilakukan pengujian terhadap metode decision tree dan memperoleh hasil sebagai berikut

(8)

Gambar 12. Hasil Metode Decision Tree

Gambar 13 menunjukan hasil dari pengujian metode Decision Tree dimana tingkat akurasi dari metode tersebut adalah 81.09% dengan standar deviasi (+/-) sebesar 0.45% dan class precision untuk pred. positif adalah 81.09%, pred.

Netral adalah 0.0%, pred. negative 0.0%. Selain itu juga terdapat class recall untuk true positif 100%, true netral 0.00%

dan true negatif 0.00%.

Gambar 13. Plot View Metode Decision Tree

Gambar 14 menunjukan hasil visualisasi data dari hasil pengujian metode Decision Tree dalam bentuk grafik yang disebut dengan plot view.

Gambar 14. Performance Vector Metode Decision Tree

Gambar 15 menunjukan bentuk deskripsi dari tabel hasil analisis metode Decision Tree yang juga terdapat kappa pada performance vector. Pada performance vector atau vector performa terdapat daftar nilai kriteria kinerja dari metode yang di uji.

3.4 Analisis Hasil Pengujian

Berdasarkan pengujian yang dilakukan terhadap metode naïve bayes, k-nn dan decision tree dengan menggunakan tools Rapidminer untuk menguji metode-metode tersebut sehingga menghasilkan perbandingan dari ketiga metode tersebut yang dapat dilihat pada tabel 2.

Tabel 2. Hasil pengujian metode

Metode Tingkat akurasi Standar deviasi (+/-)

Naïve Bayes 84,08% 1,28%

K-NN 83,38% 1,21%

Decision Tree 81.09% 0,45%

Tabel 2 menunjukan hasil pengujian dari metode yang digunakan. Pengujian terhadap metode-metode yang tersebut untuk analisis sentiment tweet twitter pada penelitian ini dapat dilihat bahwa tingkat akurasi untuk metode Naïve Bayes adalah 84,08% dengan standar deviasi (+/-) sebesar 1,28% dan class precision untuk pred. positif adalah 83,65%, pred. Netral adalah 97,06%, pred. negative 100%. Selain itu juga terdapat class recall untuk true positif 99,89%, true

(9)

JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.4016 Hal 506−514 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom netral 15,94% dan true negatif 25,00%, metode K-NN adalah 83,38% dengan standar deviasi (+/-) sebesar 1,21% dan class precision untuk pred. positif adalah 83,05%, pred. Netral adalah 96,43%, pred. negative 0.0%. Selain itu juga terdapat class recall untuk true positif 99,89%, true netral 13,04% dan true negatif 0,00% serta metode Decision Tree adalah 81,09% dengan standar deviasi (+/-) sebesar 0,45% dan class precision untuk pred. positif adalah 81,09%, pred.

Netral adalah 0,0%, pred. negative 0,0%. Selain itu juga terdapat class recall untuk true positif 100%, true netral 0,00%

dan true negatif 0,00%. Dari hasil pengujian tersebut dapat dilihat bahwa metode naïve bayes memiliki tingkat akurasi lebih besar dibandingkan metode lainnya.

4. KESIMPULAN

Berdasarkan pengolahan data yang telah dilakukan pada bahasan sebelumnya, maka ada beberapa kesimpulan yang dapat diambil yaitu penelitian ini bertujuan untuk mengetahui tingkat akurasi dari metode Naïve Bayes, K-NN dan Decision Tree dengan menggunakan tools Rapidminer. Data yang digunakan dalam penelitian ini merupakan hasil pengumpulan data yang dilakukan oleh peneliti pada PT PAL Indonesia yang dimulai dari bulan Oktober 2021 sampai Februari 2022 kemudian disatukan menjadi sebuah dataset. Pada penelitian ini, dapat diketahui bahwa metode Naïve Bayes merupakan metode dengan tingkat akurasi tertinggi dibandingkan kedua metode lainnya dengan tingkat akurasi sebesar 84.08% dan standar deviasi (+/-) 1,28%, sehingga dapat disimpulkan dalam penelitian ini metode Naïve Bayes lebih akurat dalam pengujian data analisis sentiment tweet pada penelitian ini. Saran untuk penelitian selanjutnya dapat menggunakan jumlah data yang lebih banyak agar mendapatkan hasil yang lebih akurat serta dapat melakukan pengujian menggunakan metode- metode yang lain.

REFERENCES

[1] I. F. Ramadhy and Y. Sibaroni, “Analisis Trending Topik Twitter dengan Fitur Ekspansi FastText Menggunakan Metode Logistic Regression,” J. Ris. Komputer), vol. 9, no. 1, pp. 2407–389, 2022.

[2] F. Anugratami, M. Christin, and B. Primadani, “Pengaruh Pengunaan Media Sosial Twitter Terhadap Motivasi Followers Pada Akun @Merryriana the Effect of Social Media Twitter Usage on Followers’ Motivation in @Merryriana Account,” vol. 2, no. 2, pp. 2256–2261, 2014.

[3] D. Darwis, E. S. Pratiwi, and A. F. O. Pasaribu, “Penerapan Algoritma Svm Untuk Analisis Sentimen Pada Data Twitter Komisi Pemberantasan Korupsi Republik Indonesia,” Edutic - Sci. J. Informatics Educ., vol. 7, no. 1, pp. 1–11, 2020.

[4] B. A. B. Ii and L. Teori, “BAB II LANDASAN TEORI 2.1. Tinjauan Pustaka 2.1.1. Pengertian Data Mining,” pp. 6–18, 2019.

[5] N. Y. Septian, “Data Mining Menggunakan Algoritma Naïve Bayes Untuk Klasifikasi Kelulusan Mahasiswa Universitas Dian Nuswantoro,” J. Semant. 2013, pp. 1–11, 2009.

[6] R. Puspita and A. Widodo, “Perbandingan Metode KNN, Decision Tree, dan Naïve Bayes Terhadap Analisis Sentimen Pengguna Layanan BPJS,” J. Inform. Univ. Pamulang, vol. 5, no. 4, p. 646, 2021.

[7] N. T. Romadloni, I. Santoso, and S. Budilaksono, “Perbandingan Metode Naive Bayes , Knn Dan Decision Tree Terhadap Analisis Sentimen Transportasi Krl,” J. IKRA-ITH Inform., vol. 3, no. 2, pp. 1–9, 2019.

[8] R. Rosdiana, T. Eddy, S. Zawiyah, and N. Y. U. Muhammad, “Analisis Sentimen pada Twitter terhadap Pelayanan Pemerintah Kota Makassar,” Proceeding SNTEI, no. September, pp. 87–93, 2019.

[9] T. N. P. Dicki Pajri, Yuyun Umaidah, “Implementation of K-Nearest Neighbor ( K-NN ) Algorithm For Public Sentiment Analysis of Online Learning,” Tek. Inform. dan Sist. Inf., vol. 15, no. 2, pp. 121–130, 2021.

[10] D. Noviana, Y. Susanti, and I. Susanto, “Analisis Rekomendasi Penerima Beasiswa Menggunakan Algoritma K-Nearest Neighbor (K-NN) dan Algoritma C4.5,” Semin. Nas. Penelit. Pendidik. Mat. 2019 UMT, pp. 79–87, 2019.

[11] A. Deviyanto and M. D. R. Wahyudi, “Penerapan Analisis Sentimen Pada Pengguna Twitter Menggunakan Metode K-Nearest Neighbor,” JISKA (Jurnal Inform. Sunan Kalijaga), vol. 3, no. 1, p. 1, 2018.

[12] M. S. Mustafa and I. W. Simpen, “Implementasi Algoritma K-Nearest Neighbor ( KNN ) Untuk Memprediksi Pasien Terkena Penyakit Diabetes Pada Puskesmas Manyampa Kabupaten Bulukumba,” Semin. Ilm. Sist. Inf. Dan Teknol. Inf., vol. VIII, no. 1, pp. 1–10, 2019.

[13] A. Rohman, “Model Algoritma K-Nearest Neighbor (K-Nn) Untuk Prediksi Kelulusan Mahasiswa,” Neo Tek., vol. 1, no. 1, 2015.

[14] F. Nurhuda, S. Widya Sihwi, and A. Doewes, “Analisis Sentimen Masyarakat terhadap Calon Presiden Indonesia 2014 berdasarkan Opini dari Twitter Menggunakan Metode Naive Bayes Classifier,” J. Teknol. Inf. ITSmart, vol. 2, no. 2, p. 35, 2016.

[15] F. V. Sari and A. Wibowo, “Analisis Sentimen Pelanggan Toko Online Jd.Id Menggunakan Metode Naïve Bayes Classifier Berbasis Konversi Ikon Emosi,” J. SIMETRIS, vol. 10, no. 2, pp. 681–686, 2019.

[16] E. M. Sipayung, H. Maharani, and I. Zefanya, “Perancangan Sistem Analisis Sentimen Komentar Pelanggan Menggunakan Metode Naive Bayes Classifier,” J. Sist. Inf., vol. 8, no. 1, pp. 958–965, 2016.

[17] D. N. Batubara et al., “Analisis Prediksi Keterlambatan Pembayaran Listrik Menggunakan Komparasi Metode Klasifikasi Decision Tree dan Support Vector Machine,” vol. 9, no. 1, 2022.

[18] E. P. Cynthia and E. Ismanto, “Metode Decision Tree Algoritma C.45 Dalam Mengklasifikasi Data Penjualan Bisnis Gerai Makanan Cepat Saji,” Jurasik (Jurnal Ris. Sist. Inf. dan Tek. Inform., vol. 3, no. July, p. 1, 2018.