Fakultas Ilmu Komputer
Universitas Brawijaya
4246
Klasifikasi Konten Pengaduan Pada
Website
BAKOHUMAS (Badan
Koordinasi Hubungan Masyarakat) Dengan Metode Naïve Bayes Classifier
Rois Yanuar Rahman Wahyudi1, Nanang Yudi Setiawan2, Fitra A. Bachtiar3
Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1[email protected], 2[email protected], 3[email protected]
Abstrak
Website BAKOHUMAS KOMINFO Jawa Timur merupakan website yang berfungsi sebagai perantara
bagi masyarakat dengan badan lembaga pemerintahan. Pada website BAKOHUMAS terdapat fitur
berupa berita-berita, terdapat juga sharingevent-event yang akan diadakan oleh instansi pemerintahan.
Selain itu terdapat pula fitur bagi masyarakat untuk dapat menyampaikan keluh kesah atau pengaduan terhadap kinerja dari suatu instansi pemerintahan. Pengaduan dari masyarakat ini akan disalurkan oleh KOMINFO kepada instansi-instansi yang bertanggung jawab. Akan tetapi admin harus mengecek apakah benar instansi yang dituju sudah memiliki kecocokan dengan konten dari pengaduan tersebut. KOMINFO membutuhkan suatu sistem untuk dapat mengklasifikasikan konten pengaduan secara otomatis sehingga pihak KOMINFO bisa menghemat waktu dalam menyampaikan pengaduan masyarakat kepada instansi yang tepat. Metode yang dapat digunakan untuk membangun sistem ini adalah textmining. Salah satu metode text mining yaitu Naïve Bayesclassifier. Naïve Bayesclassifier
akan menghitung pembobotan kata dari data latih yang dimasukkan sebelumnya. Kelayakan metode ini diuji dengan ROC untuk mengetahui precision, recall, dan F-measure dari klasifikasi sistem. Pengujian
menghasilkan precision 80,5%, recall 80%, dan F-measure 79.9%.
Kata kunci: text mining, naïve bayes, sistem informasi, pengaduan, pemerintah.
Abstract
Website BAKOHUMAS KOMINFO east java is a website that serves as an intermediary for community with government agencies. Where on BAKOHUMAS website there are feature such as news, there is also sharing events that will be held by government agencies. In addition there are also feature for community to be able convey complaints against the performance of a government agency. Complaints from these communities will be distributed by KOMINFO to the responsible agencies. However, the admin must check wether the intended agency already has a match with the content of the complaint. KOMINFO need system to classify complaint content automatically so KOMINFO can save time in delivering community complaints to the appropriate agencies. The method that can be used to build this system is text mining. One method of text mining is the naïve bayes classifier. Naïve bayes classifier will calculate the weight of words from previously entered data train. The feasibility of this method is tested with ROC to find out the precision, recall, and F-measure of the system classification. Testing result are precision 80,5%, recall 80%, and F-measure 79,9%.
Keywords: text mining, naïve bayes, information system, complaint, government
1. PENDAHULUAN
Website BAKOHUMAS Dinas KOMINFO insi Jawa Timur merupakan website yang berfungsi sebagai perantara bagi masyarakat dengan badan lembaga pemerintahan. Pada website BAKOHUMAS terdapat fitur berupa berita-berita yang validitasnya terjamin karena yang mengunggah berita tersebut adalah
Akan tetapi dari hasil observasi diketahui bahwa masyarakat masih mengalami kesulitan untuk memahami fungsi dari instansi pemerintahan secara benar dikarenakan ada beberapa instansi pemerintahan yang memiliki kemiripan fungsi. Hal ini akan berdampak pada fitur pengaduan website BAKOHUMAS dinas komunikasi dan informasi Provinsi Jawa Timur, dimana fitur tersebut memerlukan masyarakat untuk mengisi tujuan instansi dari pengaduan yang akan ditulis. Untuk penanggulangan terjadi kesalahan tujuan instansi dari penulisan pengaduan tersebut, website BAKOHUMAS
mengarahkan pengaduan menuju admin KOMINFO terlebih dahulu, sehingga admin akan mengecek apakah benar instansi yang dituju apakah sudah memiliki kecocokan dengan konten dari pengaduan tersebut. Masih belum adanya sistem untuk mengklasifikasikan konten pengaduan secara otomatis, menyebabkan pihak KOMINFO membutuhkan waktu yang lama untuk mengklasifikasikan konten pengaduan secara manual dan masih tidak luput dari adanya
human error. Dibutuhkan suatu sistem untuk
dapat mengklasifikasikan konten pengaduan secara otomatis sehingga KOMINFO bisa menghemat waktu dalam menyampaikan pengaduan masyarakat kepada instansi yang tepat. Metode yang dapat digunakan untuk membangun sistem ini adalah text mining.
Text mining dapat didefinisikan sebagai
analisis text untuk menggali informasi atau pengetahuan yang tersembunyi pada data berupa teks atau sering disebut dengan istilah
Knowledge Discovery in Text. Tujuan utama dari
text mining yaitu untuk menemukan pola (pattern) atau tren yang berguna dari sekumpulan dokumen. Fungsi utama pada text mining meliputi information extraction, kategorisasi tekt, summarization, clustering tekt, information monitor, and question and answers
(Mustafa, 2009). Naive Bayes adalah algoritme yang mengasumsikan indepedensi diantara kemunculan kata-kata dalam dokumen, tanpa memperhitungkan urutan kata dan informasi konteks dalam kalimat atau dokumen secara umum. Selain itu metode ini memperhitungkan jumlah kemunculan kata dalam dokumen (Destuardi dan Surya, 2009).
Penelitian sebelumnya berupa “KLASIFIKASI TWEETS PADA TWITTER MENGGUNAKAN METODE NAÏVE BAYES DAN QUERY EXPANSION BERBASIS APRIORI” (Sukarno, 2016) membahas tentang
mengklasifikasikan tweet pada twitter menjadi beberapa kategori. Penelitian ini menggunakan dua metode yaitu Naïve Bayes dan query expansion berbasis apriori, untuk naïve Bayes merupakan metode utama yang digunakan untuk mengklasifikasikan tweet pada twitter tersebut, sedangkan untuk metode query expansion
berbasis apriori adalah metode yang digunakan untuk mendukung metode naïve bayes dengan mencari persamaan kata/sinonim untuk memperluas kosakata yang dipunyai sehingga pengklasifikasian menjadi lebih mudah.
Dengan latar belakang masalah tersebut, penulis tertarik untuk mengembangkan sistem yang dimaksudkan untuk mendukung klasifikasi konten pengaduan terhadap instansi yang tepat. Dengan pengembangan sistem menggunakan
framework PHP laravel dan penggunaan Naïve Bayes classifier untuk membantu pekerjaan
KOMINFO dalam melakukan klasifikasi konten pengaduan menuju instansi yang tepat.
2. LANDASAN KEPUSTAKAAN
2.1. Text Mining
Text mining juga disebut sebagai kecerdasan
dalam analisis teks, penggalian data berupa teks, atau penemuan informasi dalam teks, dengan menemukan pola yang sebelumnya tidak terlihat dalam sumber daya yang telah ada. Untuk melakukan analisis, pengambilan keputusan, dan manajemen pengetahuan, sistem informasi menggunakan informasi tidak terstruktur dalam bentuk teks. Data seperti ini membuat adanya kebutuhan dalam meningkatkan tekhnologi text mining yang dibutuhkan dalam pengambilan informasi, filtering, dan klasifikasi.
Text mining itu sendiri bukanlah suatu fungsi, text mining terdiri dari berbagai fungsi yang dapat dikombinasikan dan disebut dengan
text mining functions. Fungsi utama termasuk
Searching, Information Extraction (IE), Categorization, Summarization, Prioritization, Clustering, Information Monitor and Question and Answers (Mustafa, 2009).
2.2 Pre-processing
Merupakan teknik data mining yang melibatkan perubahan data mentah menjadi sebuah format yang terstruktur dan dimengerti. Tahapan dalam teknik pre-processing seperti tokenization, case folding, filtering dan stemming.
Casefolding juga digunakan untuk membuang beberapa karakter yang dianggap sebagai tanda baca.
Gambar 1 Contoh Case folding
Tokenizing : tahap pemotongan string masukan berdasarkan tiap kata yang menyusunnya.
Gambar 2 Contoh Tokenizing
Filtering : tahap mengambil kata-kata penting dari hasil tokenizing menggunakan algoritme stopword removal (membuang kata kurang penting).
Gambar 3 Contoh Filtering
Stemming : Proses meningkatkan performa
informasi retrieval dengan cara
mentransformasi kata-kata dalam sebuah dokumen ke kata dasarnya (Agusta, 2009).
Gambar 4 Contoh Stemming
2.3 Naïve Bayes
Naïve Bayes adalah salah satu algoritma pembelajaran induktif yang efektif dan efisien untuk machine learning dan data mining.
Performa yang kompetitif dari Naïve Bayes
dalam klasifikasi meskipun menggunakan asumsi keindependenan atribut (tidak ada kaitan antar atribut). Asumsi keindependanan atribut pada data jarang terjadi, meskipun asumsi keindependenan atribut dilanggar, klasifikasi
Naïve Bayes memiliki peforma
pengklasifikasian cukup tinggi (Guo, 2010). Klasifikasi Naïve Bayes termasuk ke
dalam algoritma pembelajaran Bayes. Algoritma
ini dibangun dari data train untuk menentukan
probabilitas dari setiap kategori yang terdapat pada ciri dokumen yang diuji. Data train
digunakan untuk melatih sistem dalam memahami pengkategorian suatu data. Selanjutnya sistem diberi tugas untuk menebak nilai fungsi target (Destuardi dan Surya,2009). Berikut metode Naïve Bayes dalam persamaan 1.
𝑃(𝑐𝑗|𝑤𝑖) =𝑃(𝑤𝑖𝑃(𝑤|𝑐𝑗)×𝑃(𝑐𝑖) 𝑗) (1) Keterangan:
𝑃(𝑐𝑗|𝑤𝑖) : Peluang kategori j ketika terdapat kemunculan kata i 𝑃(𝑤𝑖|𝑐𝑗) : Peluang sebuah kata i masuk
ke dalam kategori j
𝑃(𝑐𝑗) : Peluang kemunculan sebuah kategori j
𝑃(𝑤𝑖) : Peluang kemunculan sebuah kata
Peluang kemunculan sebuah kata sebenarnya bisa dihilangkan pada proses perhitungan klasifikasi karena peluang kemunculan kata tidak akan berpengaruh pada perbandingan hasil klasifikasi dari setiap kategori. Sehingga, proses pada klasifikasi dapat disederhanakan dengan Persamaan 2.
𝑃(𝑐𝑗|𝑤𝑖) = 𝑃(𝑤𝑖|𝑐𝑗) × 𝑃(𝑐𝑗) (2) Untuk menghitung Prior atau peluang
kemunculan suatu kategori pada semua dokumen dapat dilakukan dengan menggunakan Persamaan 3.
𝑃(𝑐) =𝑁𝑐
𝑁 (3) Keterangan:
𝑁𝑐 : Banyak kategori c pada dokumen latih
2.4. Pengujian ROC
Grafik ROC adalah teknik untuk melakukan visualisasi, mengatur, dan memilih klasifikasi berdasarkan performansi. Hal ini dimulai dengan menganggap klasifikasi permasalahan hanya dibagi menjadi dua kelas. Secara formal, setiap instansi I dipetakan kepada satu elemen dari sepasang {p,n} positive dan negative label kelas. Sebuah klasifikasi model adalah pemetaan dari suatu instansi terhadap prediksi kelas. Untuk membedakan kelas yang sebenarnya dan prediksi kelas digunakan label {Y,N} untuk kelas prediksi yang dihasilkan oleh sebuah model (Fawcett, 2005).
𝑅𝑒𝑐𝑎𝑙𝑙 =
𝑇𝑃+𝐹𝑁𝑇𝑃(4)
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =
𝑇𝑃+𝐹𝑃𝑇𝑃(5)
𝐹 − 𝑀𝑒𝑎𝑠𝑢𝑟𝑒 =
1/𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+1/𝑟𝑒𝑐𝑎𝑙𝑙2(6)
Gambar 5 Gambar Matriks ROC Sumber: Fawcett (2005)
Dengan sebuah classifier dan sebuah
instansi, terdapat empat kemungkinan output. Jika instansinya berupa positif lalu diklasifikasikan positif maka dihitung sebagai
true positive, jika diklasifikasikan negatif maka dihitung sebagai false negative. Jika instansinya berupa negatif lalu diklasifikasikan negative
maka dihitung sebagai true negative, jika diklasifikasikan positif maka dihitung sebagai false positive.
Precision adalah kepersisan atau kecocokan (antara permintaan informasi dengan jawaban terhadap permintaan itu). Precision adalah jumlah kelompok dokumen relevan dari total jumlah dokumen yang ditemukan oleh sistem.
Recall dapat diartikan sebagai proporsi jumlah dokumen yang dapat ditemukan-kembali oleh sebuah proses pencarian di sistem
Information Retrieval. Berhubungan dengan kemampuan suatu sistem temu balik dalam menemukan dokumen yang relevan.
Dan F-measure merupakan salah satu
perhitungan evaluasi dalam informasi yang mengkombinasikan precision dan recall. Nilai precision dan recall pada suatu keadaan dapat
memiliki bobot yang berbeda. Ukuran yang menampilkan timbal balik antara precision dan
recall adalah F-measure yang merupakan bobot
harmonicmean dari precision dan recall.
3. METODOLOGI PENELITIAN
Langkah-langkah yang dilakukan dalam proses penelitian ini dapat dilihat pada Gambar 6.
Penelitian ini dimulai dengan melakukan studi literatur dengan cara mempelajari bahan-bahan yang berhubungan dengan topik penelitian seperti buku, e-book, atau jurnal. Topik terkait yang dipelajari adalah textmining,
NaiveBayes, pre-processing, ROC, dan laravel. Lalu pengumpulan data dilakukan dengan mengambil data konten pengaduan dari website
BAKOHUMAS. Data yang diambil berjumlah 90 data latih dan 30 data uji.
Tahap selanjutnya yaitu analisis kebutuhan , peneliti menentukan kebutuhan-kebutuhan fungsional dan analisis kebutuhan sistem.
Setelah itu melakukan perancangan sistem digunakan diagram-diagram untuk menggambarkan kerja sistem. Pada pengembangan sistem ini digunakan metode pemodelan Object Oriented. Maka
diagram-diagram yang akan digunakan adalah flowchart
diagram. Dengan menyajikan gambaran UI/UX dari website sehingga dapat terlihat bagaimana
sistem ini akan berjalan ketika nantinya sudah terimplementasikan.
Setelah perancangan selesai, dilakukan implementasi dari rancangan yang sudah dibuat kedalam baris-baris kode dengan menggunakan bahasa PHP. Dalam implementasi website ini digunakan framework dan library untuk menunjang proses pengembangan sesuai dengan kebutuhan. Hasil dari tahap ini berupa sistem yang dapat memasukkan datatrain sebagai data
latih metode naïve bayes lalu dapat mengklasifikasikan konten pengaduan menjadi tiga kategori yaitu kesehatan, pendidikan dan keamanan berdasarkan data train yang telah
dimasukkan sebelumnya tersebut.
Pada bagian pengujian akan dipaparkan megenai tujuan pengujian yang akan dilakukan pada penelitian ini. Pengujian yang dilakukan menggunakan pengujian ROC dengan tujuan pengujian pada penelitian ini adalah untuk menentukan akurasi dari proses yang telah dirancang dan kelayakan sistem ini untuk dipakai oleh website BAKOHUMAS.
4. HASIL DAN PEMBAHASAN
Pada bab ini dijelaskan mengenai pengembangan sistem yaitu analisis kebutuhan, perancangan sistem, implementasi sistem, dan pengujian sistem.
4.1. Analisis Kebutuhan
Analisis kebutuhan berguna untuk mendapatkan apa saja yang diperlukan dalam pembuatan sistem ini. Kebutuhan – kebutuhan tersebut antara lain:
1. Kebutuhan Hardware, yaitu : a. Komputer
b. RAM 4,00 GB c. Hardisk 1 TB
2. Kebutuhan Software, yaitu :
a. Sistem Operasi Microsoft Windows 10 b. Aplikasi Atom
c. Aplikasi Xampp
d. Browser Google Chrome
e. Sistem menggunakan bahasa pemrograman php
3. Kebutuhan Data, yaitu :
a. Data latih dari konten pengaduan website BAKOHUMAS yang berasal
dari tiga kategori dengan jumlah masing – masing data tiap kategori sebanyak 30 data. Dengan total 90 data.
b. Data uji dari konten pengaduan website BAKOHUMAS yang berasal dari tiga kategori dengan jumlah masing – masing data tiap kategori sebanyak 10 data. Dengan total 30 data.
4.2. Perancangan
Perancangan sistem dilakukan untuk
membangun sistem yang akan
diimplementasikan sebagai acuan berdasarkan kebutuhan yang telah dianalisis. Perancangan sistem yang dilakukan digambarkan ke dalam
flowchart diagram dan perancangan antarmuka.
4.2.1 Diagram Alir Sistem
Terdapat dua proses utama yang akan dilakukan oleh sistem, yaitu pre-processing dan
klasifikasi dengan Naïve Bayes. Kedua proses
utama tersebut dapat dibagi lagi menjadi beberapa tahapan untuk penjabaran lebih detail proses yang dilakukan pada masing-masing tahapan.
Hal yang dilakukan oleh sistem pertama kali adalah mengambil data training atau data
yang akan diujikan dalam proses klasifikasi konten pengaduan. Setelah itu data latih dan data uji akan melewati tahap pre-processing terlebih
Gambar 7 Diagram Alir Sistem
4.2.2 Diagram Alir Pre-processing
Pre-processing yang dilakukan pada data
latih dan data uji melalui beberapa tahapan untuk menjadi sebuah kata yang siap diolah oleh naïve bayes pada proses klasifikasi. Pre-processing
melalui empat tahapan utama, yaitu casefolding,
tokenizing, filtering, dan stemming. Tahapan
utama tersebut mempunyai tahapan-tahapan lebih detail dengan menjabarkan proses dari tahapan utama tersebut.
Gambar 8 Diagram Alir Pre-processing
4.2.3 Diagram Alir Metode Naïve Bayes Klasifikasi dengan metode naïve bayes dilakukan dengan tiga tahapan utama yaitu, menghitung nilai prior, menghitung likelihood,
serta menghitung nilai posterior. Prior
merupakan peluang kemunculan dari sebuah kategori berdasarkan kategori yang akan digunakan pada klasifikasi. Setelah menghitung nilai prior, langkah selanjutnya adalah menghitung likelihood. Setelah mendapatkan nilai likelihood, selanjutnya menentukan nilai posterior yang didapat dari mengalikan nilai prior dan likelihood. Dapat dilihat pada Gambar
Gambar 9 Diagram Alir NaïveBayes
4.3. Implementasi
Tahap implementasi yaitu melakukan implementasi berdasarkan analisis kebutuhan dan perancangan yang telah dibahas pada bab sebelumnya.
4.3.1 Halaman InputDataTrain
Implementasi halaman input datatrain dapat
dilihat pada Gambar 10. Pengguna akan memasukkan data train pengaduan yang berupa teks, lalu memilih kategori yang tepat untuk data tersebut. Ketika sudah terisi semua maka pengguna akan menekan tombol submit untuk menjalankan fungsi sistem ini.
Gambar 10 Halaman Input Data Train
4.3.2 Halaman Klasifikasi Pengaduan
Implementasi halaman klasifikasi konten pengaduan dapat dilihat pada Gambar 11. Halaman klasifikasi konten pengaduan merupakan suatu fungsi untuk melakukan klasifikasi kategori. Pengguna akan memasukkan data berupa judul pengaduan, instansi tujuan, email, memilih kota asal, dan teks yang ingin diklasifikasi, lalu menekan tombol submit untuk menjalankan sistem. Sistem akan menampilkan kategori yang sesuai dengan konten yang dimasukkan tersebut
Gambar 11 Halaman Klasifikasi Konten Pengaduan
4.3.3 Halaman Klasifikasi Data Pengujian Implementasi halaman data pengujian dapat dilihat pada Gambar 12. Halaman input data train merupakan suatu halaman untuk menampilkan data pengujian yang telah dilakukan. Data tersebut dibagi menjadi dua tabel, yaitu data yang digunakan untuk pengujian dan data hasil pengujian ROC.
Gambar 12 Halaman Data Pengujian
4.3.4 Halaman Dashboard
Implementasi halaman dashboard dapat dilihat pada Gambar 14, dimana sebelum dapat mengakses halaman tersebut memerlukan login
untuk menampilkan grafik dari konten pengaduan.
Gambar 13 Halaman Login
Gambar 14 Halaman Dashboard
4.4. Pengujian
Pada bagian ini akan dibahas tentang pengujian yang telah dilakukan pada sistem dan evaluasi sistem tersebut. Proses pengujian yang dilakukan adalah dengan mencari jumlah TP (True positive), FP (False Positive), dan FN
(False Negative), untuk dapat menghitung recall, precision dan f-measure. Pengujian ini
digunakan untuk mengukur performa dari sistem klasifikasi konten pengaduan website
BAKOHUMAS. Pengujian yang dilakukan menggunakan 120 data dengan detail 90 data latih dan 30 data uji, terdapat 3 kategori yaitu, kesehatan, keamanan, dan pendidikan.
4.4.1. Pengujian Akurasi
Pada pengujian akurasi ini akan digunakan masing-masing 30 data latih setiap kategori, lalu diuji dengan data uji masing-masing berjumlah 10 data uji setiap kategori. Cara pengujian ini adalah dengan cara mengujikan semua data uji kepada sistem kemudian menghitung nilai
Recall, Precision dan F-measure.
Tabel 1 Hasil TP, FP, FN, dan TN
Kategori TP FP FN TN
Kesehatan 9 3 1 17
Keamanan 7 2 3 18
Pendidikan 8 1 2 19
Pada Tabel 1 dapat dilihat hasil dari TP, FP, FN, dan TN yang akan digunakan untuk menghitung nilai Recall, Precision dan F-measure. Pada Tabel 2 dapat dilihat sistem sudah
dapat berjalan dengan baik dalam melakukan pengklasifikasian konten pengaduan. Hal ini dapat dilihat dari hasil nilai Recall, Precision,
dan F-measure. Pada kategori kesehatan nilai Precision yang didapatkan yaitu 0,75, nilai Recall yang didapatkan adalah 0,9, dan nilai F -measure yang didapatkan adalah 0,81818182.
Lalu pada kategori keamanan nilai Precision
yang didapatkan adalah 0,777778, nilai Recall
yang didapatkan adalah 0,7, dan nilai F-measure
yang didapatkan adalah 0,73684211. Dan pada kategori pendidikan data Precision yang
didapatkan adalah 0,888889, data Recall yang
didapatkan adalah 0,8, dan data F-measure yang
didapatkan adalah 0,84210526. Nilai rata-rata
Precision yang didapatkan berdasarkan Tabel 2 adalah 0,805555556. Hal ini menunjukkan bahwa sistem dapat menemukan dokumen yang paling relevan dan yang sesuai dengan query
atau permintaan dan dibaca menjadi bernilai 80,5%. Lalu didapatkan nilai rata-rata Recall
sebesar 0,8. Hal ini menunjukkan bahwa sistem dapat menemukan semua dokumen yang relevan dan yang diterima dan dibaca menjadi bernilai 80%. Untuk nilai F-measure berdasarkan Tabel 2 yaitu sebesar 0,79904306. Hal ini menunjukkan bahwa sistem dapat bekerja dengan baik secara keseluruhan dan dibaca menjadi bernilai 79,9%.
Tabel 2 Hasil Precison, Recall, dan F-Measure
Kategori Precision Recall F-measure Kesehatan 0,75 0,9 0,818181818 Keamanan 0,777778 0,7 0,736842105 Pendidikan 0,888889 0,8 0,842105263 Rata-rata 0,805556 0,8 0,799043062
4.4.2. Analisis Pengujian
Hasil akhir akurasi yang tidak 100% dalam mengklasifikasikan konten pengaduan dapat dicari penyebabnya. Pada sistem ini pengklasifikasian berjalan berdasarkan banyaknya kata dimasukkan dalam data train
kategori pendidikan terdapat dua konten pengaduan yang gagal diklasifikasi dengan benar, dua konten tersebut diklasifikasikan sebagai kesehatan dan keamanan. Pada kasus salah klasifikasi menjadi kesehatan tersebut, diduga karena data uji yang dipakai membahas tentang mahasiswa kedokteran, kata kunci “dokter” muncul lebih banyak daripada kata kunci “mahasiswa”.
5. KESIMPULAN
Berdasarkan hasil seluruh penelitian, maka dari penelitian ini dapat diambil kesimpulan sebagai berikut:
1. Data latih dan data uji bersumber dari
konten pengaduan website
BAKOHUMAS. Data latih dan data uji yang digunakan akan melalui proses pre
-processing yaitu casefolding, tokenizing,
filtering, dan stemming. Data latih akan dimasukkan kedalam sistem sebagai data train. Lalu data uji akan dihitung bobotnya sesuai dengan data train yang telah dimasukkan sebelumnya. Hasil akhir yang didapat dari sistem ini adalah hasil klasifikasi dari data uji tersebut.
2. Perancangan sistem klasifikasi ini berdasarkan kebutuhan data yaitu data uji dan data latih yang totalnya 120 data, lalu diagram flowchart untuk alur kerja sistem metode Naïve Bayes, dan pembuatan tampilan yang digunakan dengan fungsi memasukkan data train, melakukan klasifikasi konten pengaduan, dan
dashboard data berbentuk dengan tujuan memudahkan pengambilan keputusan untuk pihak KOMINFO.
3. Berdasarkan pengujian ROC dengan nilai rata- rata Precision, Recall, dan F
-measure mempunyai nilai minimal 79,9%. Dimana angka 79,9% tersebut membuktikan bahwa metode complement
NaïveBayes yang telah dibuat layak untuk digunakan dalam mengklasifikasikan konten pengaduan pada website bakohumas.
6. DAFTAR PUSTAKA
Agusta L., 2009. Perbandingan Algoritma Stemming Porter Dengan Algoritma Nazief & Adriani Untuk Stemming Teks Bahasa Indonesia. Bali:
Konferensi Nasional Sistem dan Informatika
.
Destruardi I. & Sumpeno S., 2009. Klasifikasi Emosi Untuk Teks Bahasa Indonesia Menggunakan Metode Naïve Bayes. Surabaya: Institut Teknologi Sepuluh November.
Fawcett, T., 2005. An Introduction to ROC Analysis. USA: Institute for the Study of Learning and Expertise.
Kominfo, 2017. Profil Badan Komunikasi Hubungan Masyarakat. [Online]
Tersedia di:
http://bakohumas.jatimprov.go.id/home [Diakses 16 Oktober 2017].
Mustafa A., Akbar A., & Sultan A., 2009. Knowledge Discovery Using Text
Mining: A Programmable
Implementation on Information Extraction and Categorization. Pakistan: National University of Computer and Emerging Science.
