Komparasi Algoritma Klasifikasi
4.6. Analisa Hasil Perbandingan
Melihat hasil perhitungan pada tabel 4.1 diatas dengan menerapkan klasifikasi performance keakurasian Area Under Curve (AUC) maka hasil penelitian ini dapat dibagi menjadi dua pengklasifikasian yaitu good Clasification untuk algoritma K-Nearest Neighbor dengan AUC sebesar (0.840) dan good Clasification untuk algoritma SVM dengan AUC sebesar (0.861).
4.7. Deployment
Untuk menunjang hasil penelitian dari penulisan tesis ini penulis telah merancang program sederhana untuk mengetahui atau memeriksa apakah suatu komplain email yang dikirim mahasiswa melalui form komplain pada ruang mahasiswa ke bagian admin email itu benar atau tidak serta akan menampilkan juga proses transform cases, tokenize, filter token, stemming, dan stopword serta hasil dari sebuah komplain email itu masuk ke bagian admin email benar komplain email atau tidak komplain email, ada beberapa tahap untuk mendapatkan hasil antara lain:
1. Login administrator sisfo akadamik mahasiswa
Berikut ini tampilan menu login administrator sisfo akademik mahasiswa (students.bsi.ac.id) sebagai berikut :
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri Gambar 4.12. Tampilan Login Administrator sisfo akademik mahasiswa
Gambar 4.12 Halaman ini dibuat untuk memberikan batasan kepada pihak yang tidak berkepentingan agar tidak dapat mengakses dan mengolah data pada halaman administrator tanpa melakukan login terlebih dahulu.
2. Halaman Dashboard
Berikut ini tampilan menu dashboard administrator sisfo akademik mahasiswa (students.bsi.ac.id) sebagai berikut :
Gambar 4.13. Tampilan Dashboard Administrator sisfo akademik mahasiswa Gambar 4.13 merupakan tampilan awal program setelah melakukan login yang berisikan beberapa menu yaitu menu dasboard melihat grafik mahasiswa, menu pengumuman untuk menambahkan berita atau pengumuman pada ruang
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri mahasiswa, menu kapita selekta untuk melihat status pendaftaran kegiatan dan pembayaran mahasiswa, menu jadwal kegiatan untuk melihat daftar agenda mahasiswa, menu data mahasiswa untuk melihat semua data mahasiswa, menu komplain email untuk melihat data komplain email mahasiswa, menu tugas akhir untuk melihat data pendaftaran mahasiswa dan status pembimbing mahasiswa akhir, menu seminar untuk melihat status pembayaran kegiatan mahasiswa, dan menu wisuda untuk melihat nomor tempat duduk wisuda dan status upload file tugas akhir mahasiswa.
3. Halaman Komplain E-Mail
Berikut ini tampilan menu daftar data komplain email mahasiswa sebagai berikut :
Gambar 4.14. Tampilan Menu Data Komplain E-Mail
Gambar 4.14 Menjelaskan tentang daftar data komplain email mahasiswa yang dilakukan pada form komplain email di ruang mahasiswa (students.bsi.ac.id).Tombol textmining untuk melakukan pengujian text komplain email, tombol jawab untuk menjawab komplain mahasiswa, tombol selesai untuk validasi komplain.
4. Halaman Uji Konten Teks Komplain
Berikut ini tampilan menu pengujiana konten komplain dalam analisis klasifikasi komplain mahasiswa sebagai berikut :
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri Gambar 4.15 Tampilan Untuk Proses Program
Gambar 4.15 Menjelaskan tentang halaman pengujian konten komplain. Pada halaman ini proses pengujian terhadap teks tentang klasifikasi komplain mahasiswa mengenai komplain email dilakukan. Teks komplain dapat di masukkan ke dalam konten. Setelah teks sudah dimasukkan maka klik tombol lihat hasil. Setelah mengisi teks komplain yang nantinya akan diproses makan akan muncul hasilnya berisi kalimat awalnya, hasil tokenizingnya, hasil filter tokennya, hasil stopwordnya, hasil trasnsfrom casesnya, dan kesimpulan dari hasilnya.
5. Hasil text mining (artikel asli)
Berikut adalah hasil tampilan text mining teks dari hasil analisa klasifikasi teks komplain mahasiswa sebagai berikut:
Gambar 4.16. Tampilan Hasil Text Mining (artikel asli)
Gambar 4.16 Menjelaskan tentang hasil text mining (artikel asli). Pada halaman ini proses input teks yang dilakukan sebelumnya mengenai klasifikasi komplain mahasiswa, akan muncul untuk membandingkan hasil uji konten terhadap yang lain seperti tokenizing, filter token, stopwords, dan transform cases.
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri 6. Hasil text mining (tokenizing)
Berikut adalah hasil tampilan text mining tokenizing dari hasil analisa klasifikasi komplain mahasiswa sebagai berikut:
Gambar 4.17. Tampilan Hasil Text Mining (tokenize)
Gambar 4.17 Menjelaskan tentang hasil text mining (tokenizing), menjelaskan hasil dari tokenizing teks dimana semua kata yang ada dalam dokumen akan dikumpulkan dan dihilangkan tanda baca, simbol, karakter khusus ataupun bukan huruf.
7. Hasil text mining (filter token by length)
Berikut adalah hasil tampilan text mining filter token by length dari hasil analisa klasifikasi teks komplain mahasiswa sebagai berikut:
Gambar 4.18. Tampilan Hasil Text Mining (Filter Token by Length)
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri Gambar 4.18 Menjelaskan tentang hasil text mining (filter token). Pada tahap ini menjelaskan hasil dari filter token (by length) teks dimana semua kata-kata yang memiliki panjang kurang dari 4 atau lebih dari 25 akan dihapus.
8. Hasil text mining (stopwords removal)
Berikut adalah hasil tampilan text mining stopwords removal dari hasil analisa klasifikasi teks komplain mahasiswa sebagai berikut:
Gambar 4.19. Tampilan Hasil Text Mining (Stopwords removal)
Gambar 4.19 Menjelaskan tentang hasil text mining (stopword removal). Pada tahap ini menjelaskan hasil dari stopword removal teks dimana kata-kata yang tidak relevan akan dihapus seperti kata tetapi, untuk, dengan serta kata-kata yang tidak memiliki makna tersendiri jika dipisahkan dengan kata lain.
9. Hasil Text Mining (transform cases)
Berikut adalah hasil tampilan text mining transform cases dari hasil analisa klasifikasi teks komplain mahasiswa sebagai berikut:
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri Gambar 4.20. Tampilan Hasil Text Mining (Transform Cases)
Gambar 4.20 Menjelaskan tentang hasil text mining (transform cases). Pada tahap ini menjelaskan hasil dari transform cases teks dimana kata-kata yang tidak relevan akan diubah seperti kata dengan huruf kapital diubah menjadi huruf kecil.
10. Hasil text mining hasil kesimpulan
Berikut adalah hasil analisa klasifikasi teks komplain mahasiswa sebagai berikut.
Gambar 4.21. Tampilan Kesimpulan Hasil Komplain
Gambar 4.21 Menjelaskan tentang kesimpulan dari komplain yang yang diinput. Halaman ini juga menjelaskan bahwa komplain yang di input dapat berupa komplain email yang dianggap ya komplain email atau bukan komplain email.
67
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri PENUTUP
5.1. Kesimpulan
Dalam penelitian ini setelah dilakukan preprocessing dan dilakukan pengujian model dengan membandingkan dua metode data mining yaitu support vector machine dan k-nearest neighbor, hasil evaluasi dan validasi, diketahui bahwa nilai akurasi untuk menentukan bahwa komplain email mahasiswa tersebut complaint dan not complain, dapat dibuktikan dengan nilai akurasi dan nilai AUC dari masing-masing algoritma yaitu untuk SVM nilai akurasi = 78.42% dan nilai AUC = 0.861, sedangkan untuk algoritma k-nearest neighbor nilai akurasi = 75.97% dan nilai AUC = 0.831. Dalam penelitian dapat diketahui bahwa tingkat akurasi yang didapatkan algoritma support vector machine lebih unggul dibanding dengan k-nearest neighbor. Penerapan support vector machine dapat memberikan solusi terhadap permasalahan pada komplain email mahasiswa.
5.2. Saran
Dari hasil penelitian dan pengujian dengan masing-masing algoritma maka saran yang diberikan dalam penelitian ini adalah:
1. Dengan penerapan algoritma support vector machine diharapkan mampu untuk memberikan solusi bagi admin email untuk mengetahui seberapa akuratkah komplain email mahasiswa itu sendiri yang dilakukan pada ruang mahasiswa.
2. Menambahkan algoritma lain seperti naïve bayes juga algoritma yang lainnya untuk meningkatkan nilai akurasinya terutama dalam menentukan komplain lainya yang dilakukan mahasiswa.
3. Mengklasifikasikan komplain mahasiswa tidak hanya komplain atau bukan komplain, klasifikasi bisa menambahkan beberapa kategori komplain mahasiswa terhadapan keluhan atau pelayanan universitas tersebut.
4. Penambahan kata-kata pada stopword dan stemming agar kamus kata-kata menjadi lebih mudah untuk diolah.
68
Aggarwal, C. C. (2015). Data Mining The Textbook. New York, USA: Springer.
Aggarwal, C. C. (2018). Machine Learning for Text. Yorktown Heights, NY, USA: Springer.
Aprilia, Dennis., Baskoro, Donny Aji., Ambarwati, Lia., Wicaksana, I Wayan, S.
(2013). Belajar Data Mining dengan RapidMiner. Jakarta, Indonesia:
Gramedia Pustaka Utama.
Basari, A. S. H, Hussin, B., Ananta, I. G. P., & Zeniarja, J. (2013).
OpinionMining of Movie Review Using Hybrid Method of Support Vector Machine and Particle Swarm Optimization. Procedia Engineering, 53, 453–
462. https://doi.org/10.1016/j.proeng.2013.02.059
Dharmendra, I Komang, Komang Oka Saputra, Nyoman Pramaita. (2019).
Analisa Sentiment Untuk Opini Alumni Pada Perguruan Tinggi. Majalah Ilmiah Teknologi Elektro, Vol. 18, No. 2, Mei - Agustus 2019, p-ISSN:1693 – 2951; e-ISSN: 2503-2372
Dumbill, E. (2014). Forbes Magazine. Retrieved March 3, 2015, from Forbes Magazine Web Site: http://www.forbes.com/sites/edddumbill/2014/05/07/
defining-big-data/
Fatmawati, Muhammad Affandes. (2017) Klasifikasi Keluhan Menggunakan Metode Support Vector Machine (SVM) (Studi Kasus : Akun Facebook Group iRaise Helpdesk).Jurnal CoreIT, Vol.3, No.1, Juni 2017, ISSN 2460-738X.
Gorunescu, F. (2011). Data Mining Concepts, Models and Techniques.
Verlag Berlin Heidelrbeg: Springer
Han, Jiawei, dan Micheline Kamber dan Jian Pei. (2012). Data Mining Concepts and Techniques. Morgan Kaufmann Publisher.
Herawati, Fajar, A. (2013). Data Mining. Yogyakarta, Indonesia: Andi Offset.
Ibrahim, D. (2017). Analisis Hubungan antar Faktor dan Komparasi Algoritma Klasifikasi pada Penentuan Penundaan Penerbangan. Seminar Nasional IPTEK Terapan (SENIT), 24–31.
Imtiyaz, Muhammad Zain, Muhammad Nasrun, dan Umar Ali Ahmad. 2015.
Analisis dan Implementasi Framework CRISP-DM Untuk Mengetahui Perilaku Data Transaksi Pelanggan, ISSN : 2355-9365. Bandung : e-Proceeding of Engineering : Vol.2, No.1 April 2015 | Page 596.
Indriyani, Susi, Selvy Mardiana.(2016). Pengaruh Penanganan Keluhan (Complaint Handling) Terhadap Kepercayaan Dan Komitmen Mahasiswa
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri Pada Perguruan Tinggi Swasta Di Bandar Lampung. Jurnal Bisnis Darmajaya, Vol.2 No.01,Januari 2016
Informatikalogi. (2016). Text preprocessing. Retrieved from https://informatikalogi.com/text-preprocessing/
Irfansyah, P. (2016). Kajian Komparasi Penerapan Algoritma Data Mining (C4.5, Bayesian Classifier Dan Neural Network) Dalam Menentukan Promosi Jabatan. Prosiding Seminar Nasional, 53–67.
Irfiani, Eni.(2014). Prediksi Keluhan Pelanggan Pada Apartemen Menggunakan Algoritmac4.5.Jurnal Paradigma vol XVI no.2 September 2014
Kang, H., Yoo, S. J., & Han, D. (2012). Senti-lexicon and improved Naïve Bayes algorithms for sentiment analysis of restaurant reviews. Expert Systems with Applications, 39(5), 6000–6010. http://doi.org/10.1016/j.eswa.2011.11.107 Kusrini., Lutfi, Emha, T. (2009). Algoritma Data Mining. Yogyakarta, Indonesia:
Andi Offset.
Kusumo, D. S., Bijaksana, M. A., & Darmantoro, D. (2016). Data Mining dengan Algoritma Apriori Pada Rdbms Oracle. TEKTRIKA - Jurnal Penelitian Dan Pengembangan Telekomunikasi, Kendali, Komputer, Elektrik, Dan Elektronika, 8(1), 1–5. https://doi.org/10.25124/tektrika.v8i1.215
Lestari, Mei. 2014. Penerapan Algoritma Klasifikasi Nearest Neighbor (K-NN) Untuk Mendeteksi Penyakit Jantung, Faktor Exacta, ISSN: 1979-276X.
Monarizqa, Nuvirta, Lukito Edi Nugroho dan Bimo Sunarfri Hantono.
(2014). Penerapan Analisis Sentimen Pada Twitter Berbahasa Indonesia Sebagai Pemberi Rating. Jurnal Penelitian Teknik Elektro dan Teknologi Informasi. Vol. 1, No. 3. Oktober 2014
Nugroho, Anto Satriyo., Witarto, Arief, Budi., Handoko, D. (2003). Support Vector Machine Teori dan Aplikasinya dalam Bioinformatika. Retrieved from http://asnugroho.net/papers/ikcsvm.pdf
Nugroho, Y. S., & Emiliyawati, N. (2017). Sistem Klasifikasi Variabel Tingkat Penerimaan Konsumen Terhadap Mobil Menggunakan Metode Random Foresrt. Jurnal Teknik Elektro, 9 (1).
Nuraeni, N. (2017). Penentuan Calon Pegawai di PTPN 12 Kota Blater Tempurejo Jember dengan Metode Naive Bayes. Seminar Nasional Teknologi Informasi Dan Multimetida, 61–66
Nurhuda, F., Sihwi, S. W., & Doewas, A. (2014). Analisis Sentimen Masyarakat terhadap Calon Presiden Indonesia 2014 berdasarkan Opini dari Twitter Menggunakan Metode Naive Bayes Classifier. ITSmart: Jurnal Ilmiah Teknologi Dan Informasi, 2(2), 35–42.
Prasanti, Annisya Aprilia, M. Ali Fauzi, M. Tanzil Furqon. (2018). Neighbor
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri Weighted K-Nearest Neighbor for Sambat Online Classification. Vol. 12, No. 1, October 2018, pp. 155~160. ISSN: 2502-4752, DOI:
10.11591/ijeecs.v12.i1.pp155-160
Pratama, Enda Esyudha, Bambang Riyanto Trilaksono. (2015). Klasifikasi Topik Keluhan Pelanggan Berdasarkan Tweet dengan Menggunakan Penggabungan Feature Hasil Ekstraksi pada Metode Support Vector Machine (SVM). (JEPIN) Vol. 1, No. 2, (2015).
Putler, Daniel S, dan Robert E Krider. (2015). Customer and Business Analytics:
Applied Data Mining for Business Decision Making Using R. CRC Press.
USA. ISBN-13:978-1-4987-5970-0 (EPUB)
Rachmat, A., & Lukito, Y. (2016). Implementasi Sistem Crowdsourced Labelling Berbasis Web dengan Metode Weighted Majority Voting. Jurnal ULTIMA InfoSys, 6(2), 76–82. https://doi.org/10.31937/si.v6i2.223
Rachmi, Hilda.(2017). Penerapan principal component analysis dan genetic algorithm pada analisis sentimen review pengiriman barang menggunakan algoritma support vector machine. Jurnal Evolusi Volume 5 No 2 - 2017.
ISSN: 2338 - 8161
Rokach, Lior dan Oded Maimon.2015. Data mining With Decision Trees Theory and Applications 2nd Edition. America : World Scientific Publishing.
Sugiyono. (2013). Metode Penelitian Kuantitatif, Kualitatif dan R&D.
Bandung:Alfabeta.
Suyanto. (2017). Data Mining. Bandung, Indonesia: Informatika.
Trappey, A. J. C., Lee, C. H., Chen, W. P., & Trappey, C. V. (2010). A framework of customer complaint handling system. 2010 7th International Conference on Service Systems and Service Management, Proceedings of
ICSSSM’ 10, (May 2015), 879–884.
https://doi.org/10.1109/ICSSSM.2010.5530119
Utami, L. A. (2017). Analisis Sentimen Opini Publik Berita Kebakaran Hutan Melalui Komparasi Algoritma Support Vector Machine dan K-Nearest Neighbor Berbasis Particle Swarm Optimization. Jurnal Pilar Nusa Mandiri, 13(1), 103–112.
Utami, L. A. (2017). Melalui Komparasi Algoritma Support Vector Machine Dan K-Nearest Neighbor Berbasis Paerticle Swarm Optimization, 13((1)), 103–
112.
Vulandari, R. (2017). Data Mining Teori dan Aplikasi Rapidminer. Surakarta, Indonesia: Penerbit Gava Media.
Wahono, R. S. (2014). Data Mining: Proses Data Mining. Indonesia.
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri Wahono, Romi Satria,Nanna Suryana Herman, dan Sabrina Ahmad. 2014. A Comparison Framework of Classification Models for Software Defect Prediction. America : Adv. Sci. Lett. 20, 1945–1950, 2014.
Witten, H. I., Frank, E., & Hall, M. A. (2011). Data Mining Pratical Mechine Learning Tools And Technique. Burlington: Elsevier Inc.
Wysocki, A. F., Kepner, K. W., & Glasser, M. W. (2015). Customer Complaints and Types of Customers 1. Your Company, 5–7. Retrieved from https://marketing.conferenceservices.net/resources/327/2342/pdf/AM2011_
0257.pdf
Xiang, Z., Schwartz, Z., Gerdes Jr, J. H., & Uysal, M. (2015). What can big data and text analytics tell us about hotel guestexperience and satisfaction?
International Journal of Hospitality Management 44, 120-130.
Yonghe, L., Minghui, L., Zeyuan, Y., & Lichao, C. (2015). Improved particle swarm optimization algorithm and its application in text feature selection.
Applied Soft Computing Journal, 1–8.
http://doi.org/10.1016/j.asoc.2015.07.005.
72
Program Studi Ilmu Komputer (S2) STMIK Nusa Mandiri DATA PERSONAL
Nama : Hermanto, S.Kom
Tempat/Tanggal Lahir : Jakarta, 11 Juni 1994
Alamat : Jl. Teluk Nibung, Kec. Batu Ampar No. 03, RT 07 RW 03
Jenis Kelamin : Laki-laki Kewarganegaraan : Indonesia
Agama : Islam
Status Pernikahan : Belum Menikah
No. Telp : 089531236123
Email : [email protected]