KLASIFIKASI SMS PADA SISTEM SUPPORT TICKET PENGADUAN
PELANGGAN DENGAN MENGGUNAKAN METODE NAÏVE BAYES
Rizki Adipratama
1, Rully A Hendrawan
2, Renny P Kusumawardani
31,2,3
Jurusan Sistem Informasi, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember
(ITS) Surabaya, 60111, Indonesia
Telp: (031)5939214, Fax : (031) 5964965
Email :
rizki.adipratama@gmail.com
1,
eraha_id@yahoo.com
2,
renny.pradina@gmail.com
3Abstrak
Salah satu teknologi telekomunikasi yang populer adalah SMS (Short Message Service).. Salah satu alternatif pemanfaatan SMS adalah untuk pengaduan pelanggan. Dengan adanya fasilitas tersebut, diharapkan pelanggan bisa menyampaikan keluhan, pertanyaan, dan saran untuk perusahaan
Untuk memberikan layanan yang lebih baik kepada pelanggan, dalam pengerjaan tugas akhir ini akan dibuat aplikasi layanan berbasis ticketing. Setiap pengaduan yang masuk akan diberi nomor yang unik yang biasa dikenal dengan tiket sebagai identitas, dan dapat digunakan untuk menelusuri tindak lanjut dan kemajuan pengaduan. Pengaduan dikirim oleh pelanggan melalui media SMS ke pihak SMS center PT PLN Persero Wilayah Sulsel, Sultra dan Sulbar yang selanjutnya disingkat menjadi sultanbatara. Pengaduan yang masuk diklasifikasikan berdasarkan jenis pengaduan, dan dikirimkan ke divisi terkait oleh pihak SMS center secara manual, sehingga cenderung lambat, dan sering kali terabaikan. Dengan memanfaatkan teknologi internet dan mobile phone, pengaduan pelanggan akan diolah dan diklasifikasikan secara otomatis berdasarkan label jenis pengaduan dan akan dikirimkan ke divisi terkait di PT PLN Persero Wilayah Sultanbatara dengan menggunakan algoritma Naive Bayes classifier yang didukung dengan fasilitas SMS Gateway.
Hasil penelitian dilakukan oleh penulis yaitu pengklasifikasian dokumen SMS dengan menggunakan Naïve Bayes classifier, dan menggunakan metode pengolahan tambahan, yaitu feature weighting, dan String Matching menggunakan Levenhstein Distance, menghasilkan rata- rata akurasi yang tinggi, yaitu recall 94%, precision 90% dan f-measure 93,61%..
Key Words:
penggalian opini, ekstraksi fitur review,association rule mining, NLP
1. Pendahuluan
SMS pengaduan pelanggan, dibuat oleh PT PLN Persero Wilayah Sultanbatara supaya para pelanggan
dari PLN bisa mengadukan keluhan dan gangguan yang diterima selama mendapatkan pelayanan dari PT PLN Persero Wilayah Sultanbatara. Pelanggan bisa menyampaikan pengaduan dengan bebas, tanpa format penulisan yang baku, kemudian mengirimkan ke pihak SMS center PT PLN Persero Wilayah Sultanbatara. Pada penelitian ini penulis menggunakan sistem ticketing untuk menangani pengaduan tersebut. Didalam sistem ticketing setiap pengaduan yang masuk akan diberi nomor yang unik yang biasa dikenal dengan tiket sebagai identitas, dan dapat digunakan untuk menelusuri tindak lanjut dan kemajuan pengaduan
Permasalahan yang dialami oleh pihak SMS center adalah, Mereka merasa kesulitan jika harus memeriksa dan mengelola SMS dalam jumlah besar, dan format yang tidak terstandarisasi. Hal ini disebabkan oleh kurangnya ketelitian dari manusia, atau yang biasa disebut sebagai human error. Pemeriksaan sms tersebut bisa menjadi bahan analysis yang menentukan keputusan yang akan diambil oleh PT PLN Persero Wilayah Sultanbatara.
Ada sebuah cara yang cukup membantu untuk mengklasifikasikan SMS tanpa memerlukan pembacaan satu persatu oleh manusia. Dalam penelitian ini digunakan teorema Naïve Bayes. Teorema Naïve Bayes yang digunakan dalam pengerjaan aplikasi ini, memecah SMS menjadi beberapa kata, kemudian mendapatkan informasi dari kata tersebut, sehingga dapat diklasifikasikan jenis dari SMS tersebut.
PT PLN Persero Wilayah Sultanbatara telah menetapkan aturan-aturan tertentu dalam pengklasifikasian pengaduan pelanggan. Pengklasifikasian pengaduan pelanggan dibedakan menjadi dua jenis, yaitu:klasifikasi SMS berdasarkan kategori, dan klasifikasi SMS berdasarkan departemen. Pengaduan pelanggan diklasifikasikan menjadi tiga kategori, yaitu: keluhan, saran, dan pertanyaan. Selain itu pengaduan dibagi menjadi empat departemen, yaitu: niaga, cater, APP, niaga
2. Data Preprocessing
Perlakuan proses sebelum klasifikasi menjadi sangat penting supaya data yang akan diolah benar-benar mewakili maksud dari dokumen yang ditulis maka kita akan melakukan preprocessing terhadap data yang kita dapatkan dari PT PLN Wilayah Sultanbatara. Pengolahan data ini dilakukan untuk membuat data mentah, menjadi data yang siap untuk diolah ke dalam aplikasi.Proses preprocessing pertama yang akan dilakukan adalah Case
folding, case folding adalah mengubah semua huruf
dalam dokumen menjadi huruf kecil. Hanya huruf ‘a’ sampai dengan ‘z’ yang diterima. Karakter selain huruf dihilangkan dan dianggap delimiter. Tahap selanjutnya adalah Tokenizing, tokenizing adalah tahap pemotongan string input berdasarkan tiap kata yang menyusunnya. Tahap berikutnya adalah Filtering, filtering adalah penyaringan kata hasil dari proses tokenizing. Proses ini menggunakan pendekatan Stopword removal, dan
Wordlist. Stopwords removal adalah sebuah proses untuk
menghilangkan kata yang tidak relevan pada hasil parsing sebuah dokumen teks dengan cara membandingkannya dengan Stoplist yang ada, sedangkan wordlist adalah sekumpulan kata penting yang sering muncul di dalam dokumen.
Gambar 1 Tahapan data preprocessing
3. Pembuatan metode klasifikasi
Pada tahap ini dilakukan pembuatan metode klasifikasi terhadap data SMS pengaduan pelanggan dengan menggunakan algoritma naive bayes. Data yang digunakan dalam proses ini adalah data output dari tahap preprocessing.
Metode ini terbagi menjadi dua tahap,yaitu tahap pengklasifikasian berdasarkan kategori dan tahap pengklasifikasian berdasarkan departemen
3.1
Klasifikasi Naive Bayes untuk
SMS
Pada Naïve Bayes Classifier, setiap sms direpresentasikan dalam pasangan atribut <a1,a2 …. an› di mana a1 adalah kata pertama, a2 kata kedua dan seterusnya. Sedangkan V
adalah himpunan kategori unit wilayah yang terdapat pada PT PLN Persero Wilayah Sultanbatara.P(vj) dan probabilitas kata ai untuk setiap kategori P(ai | vj ) dihitung pada saat pelatihan.
(2.1)
(2.2)
pendekatan Bayes akan menghasilkan label kategori yang paling tinggi probabilitasnya (vMAP)
(2.3)
|Kategori| :Banyaknya jumlah kategori dalam pelatihan.
ak :jumlah kemunculan kata ak pada kategori vj
n :jumlah semua kata pada kategori vj
|kosakata| :jumlah kata yang unik (distinc) pada semua
data latihan.
VMAP :Kategori yang paling tinggi probabilitasnya
3.2
Proses Training
Proses Training dilakukan untuk memperoleh nilai-nilai probabalistik, yaitu P(vj)dan P(ak | vj), dimana P(ak | vj) merupakan probabilitas kemunculan kata ak di dalam kategori vj. Pertama program membuka setiap dokumen, kemudian akan mengambil kata-kata dari setiap dokumen dan menyimpan ke dalam array.Program akan melakukan data preprocessing. Setelah pembacaan dokumen dalam 1 kategori telah dilakukan, maka program akan melakukan penyimpanan ke dalam database. Jika telah dilakukan pembacaan dan pendataan, maka program akan menghitung probabilitas setiap kata dalam semua kategori, menggunakan persamaan 2.2. Perhitungan probabilitas kata-kata yang ditemukan kemudian dimasukkan ke dalam database.
3.3
Proses Testing
Pada saat proses testing program membaca data SMS, kemudian diambil kata-kata yang terdapat dalam data testing tersebut, kemudian akan menyimpan kata tersebut kedalam array. Selanjutnya program akan melakukan data
preprocessing. Setelah melalui tahap preprocessing maka
kata-kata tersebut akan dimasukkan kedalam database. Kemudian akan dihitung frekuensi kemunculan kata tersebut pada dokumen SMS, frekuensi setiap kata dijadikan pangkat untuk probabilitas yang diambil dari data training. Jika kata dalam data testing tidak ditemukan dalam vocabulary kategori manapun, maka dilakukan perhitungan menggunakan persamaan 2.2. Jika kata tersebut ditemukan di salah satu kategori saja, maka Case
folding Tokenizing Filtering
Stopword removal
probabilitas dalam kategori tersebut akan digunakan dalam perhitungan. Setelah mengetahui hasil pangkat setiap probabilitas kata dalam setiap kategori target, kemudian probabilitas tersebut dikalikan untuk semua probabilitas setiap kategori. Hasil perkalian tersebut, kemudian dikalikan dengan probabilitas kategori. Nilai akhir atau VMAP yang paling besar menunjukkan kategori
dari dokumen tersebut.
4. Metode pengolahan tambahan
Didalam pengerjaan tugas akhir ini,dilakukan beberapa percobaan metode pengolahan tambahan, yang diharapkan bisa mengoptimalkan hasil dari klasifikasi, beberapa metode pengolahan tambahan yang dipkai adalah: feature & feature weighting, one against all, stemmer berbahasa Indonesia dan String matching menggunakan Levenhstein distance.
4.1
Feature & feature weighting
Pada tahapan feature ini ditentukan feature atau kata mana yang akan digunakan untuk merepresentasikan dokumen sehingga dapat mendeskripsikan isi dokumen dan membedakan dokumen tersebut dari dokumen lain di dalam koleksi. Feature weighting dilakukan dengan menghitung frekuensi kemunculan term dalam dokumen karena dipercaya bahwa frekuensi kemunculan term merupakan petunjuk sejauh mana term tersebut mewakili isi dokumen.
Percobaan yang dilakukan adalah,pertama kita akan merekap kata atau feature apa saja yang sering muncul di tiap kategori kedalam daftar cue word, disini kata yang bisa masuk daftar adalah, kata-kata yang memiliki kemunculan lebih dari tiga kali, dan kata tersebut tidak termasuk didalam Stoplist. Jika saat testing ditemukan kata-kata yang ada di dalam cue word, maka frekwensi dari kata tersebut akan dikalikan dua. Di dalam gambar 3.4 akan dijelaskan proses training, dari klasifikasi naïve bayes yang mengalami feature, dan feature weighting.
4.2
One against all
Tujuan dari metode ini adalah agar metode pembelajaran yang dirancang untuk permasalahan biner, bisa menyelesaikan permasalahan multi class. Selain itu ada anggapan bahwa klasifikasi biner dapat meningkatkan kinerja klasifikasi multi class. Ada beberapa alas an mengapa pendekatan tersebut dapat bekerja. Pertama masalah biner biasanya kurang kompleks, dan memiliki batas keputusan sederhana. Alasan selanjutnya adalah untuk Naive Bayes pada khususnya, yang dikenal memberikan prediksi yang bagus, namun mempunya nilai probabilitas yang tidak terkalibrasi, kelas biner sangat penting karena sebagian besar teknik kalibrasi bekerja di dalam permasalahan dua kelas.Percobaan yang dilakukan
pada metode klasifikasi ini adalah, membagi semua kategori training, menjadi dua yaitu, kategori x, dan bukan x, Kata-kata yang ada di dalam kategori bukan x berisi semua data training, kecuali kategori x. Hal ini dilakukan terhadap semua kategori training.
4.3
Stemming
Stemming adalah salah satu cara yang digunakan untuk meningkatkan performa sebuah sistem pengklasifikasian, dengan cara mentransformasi kata-kata dalam sebuah dokumen teks ke bentuk kata dasarnya. Tidak banyak algoritma yang dikhususkan untuk stemming bahasa Indonesia dengan berbagai keterbatasan didalamnya. Algoritma Nazief & Adriani salah satunya, Algoritma ini membutuhkan waktu yang lebih lama dibandingkan dengan stemming menggunakan Algoritmaporter, namun proses stemming menggunakan Algoritma Porter memiliki prosentase keakuratan (presisi) lebih kecil dibandingkan dengan stemming menggunakan Algoritma Nazief & Adriani. Algoritma Nazief & Adriani sebagai algoritma stemming untuk teks berbahasa Indonesia yang memiliki kemampuan prosentase keakuratan (presisi) lebih baik dari algoritma lainnya. Algoritma ini sangat dibutuhkan dan menentukan dalam proses pengklasifikasian dalam dokumen Indonesia.
4.4
Levenhstein distance
Jarak d(si , s2) didefinisikan sebagai sebuah kombinasi operasi penjumlahan dari penambahan sebuah huruf, penghilangan sebuah huruf, penggantian sebuah huruf atau penukaran sebuah huruf dari huruf lainnya dalam satu lokasi. Itu memungkinkan beberapa kombinasi yang dapat mentransformasikan string s1 ke s2, tapi panjang terpendek urutan adalah jarak antara dua strings.
Metode pembandingan yang digunakan dalam memeriksa ejaan dengan menggunakan Table Look-up. Metode ini membandingkan kata yang sedang diuji terhadap kata dalam data training. Jika kata tersebut ada di dalam data training, dan sama persis,atau dengan kata lain d = 0, maka kata tersebut tidak perlu diubah. Jika tidak ada di dalam data training maka kata tersebut dianggap salah. Ketidaksesuaian dari string dapat dibandingkan dengan kata pada data training yang secara langsung menggunakan penyesuaian karakter demi karakter secara iteratif, dengan menentukan jumlah minimum jarak d. Dalam penelitian ini, dientukan bahwa jarak Levenhstein minimal untuk melakukan proses transformasi adalah 1. Sedangkan batasan kata tersebut ditransformasi adalah 8, jadi jika sebuah kata setelah dibandingkan dengan kata yang terdapat di dalam data training, dan kata tersebut memiliki jarak levenhstein diatas 8, maka kata tersebut dianggap kata baru, dan kata tersebut tidak perlu ditransformasi.
5. Pembuatan sistem Ticketing
Dengan menggunakan ticketing sistem yang tersedia,akan dibuat sebuah sistem ticketing.Dalam pengerjaan tugas akhir ini Sistem ticketing bertujuan untuk mempermudah penanganan dan pengaturan pengaduan pelanggan.Sistem ticketing yang akan dibuat adalah sistem yang dapat mengklasifikasikan pengaduan pelanggan melalui SMS secara otomatis, dengan menerapkan naive bayes classifier. Adapun desain sistem bisa dilihat di gambar 2.
Gambar 2 menunjukkan bagaimana sistem ticketing bekerja, awalnya pelanggan mengirim SMS ke PT PLN Persero Wilayah Sultanbatara. SMS pelanggan berupa teks yang tidak tentu formatnya, dan kemungkinan isi SMS tersebut bisa bermacam-macam mulai dari keluhan, saran sampai pertanyaan yang berkaitan dengan PT PLN Persero Wilayah Sultanbatara. SMS pelanggan tersebut langsung diterima oleh GSM modem yang kemudian diproses oleh sistem untuk dilakukan klasifikasi. Pengaduan pelanggan yang masuk akan dianggap sebagai sebuah tiket.Tiket tersebut diklasifikasikan menjadi tiga berdasarkan kategorinya, yaitu keluhan, saran, dan pertanyaan. Dalam pengklasifikasian tersebut, sistem menerapkan naive bayes classifier.
Selanjutnya, tiket yang telah diklasifikasikan kategorinya akan diberi label oleh sistem. Pengaduan pelanggan tersebut perlu diklasifikasi lagi oleh sistem untuk menentukan departemen yang dituju. Sistem akan menggunakan naive bayes classifier dalam melakukan proses pengklasifikasian pengaduan pelanggan. Setelah melalui proses klasifikasi maka Sistem akan memberi label departemen, dimana tiket tersebut akan dikirim. Pada tahap ini, status tiket adalah incoming. Sebelum tiket tersebut akan dikirm ke departemen yang dituju, maka pihak SMS Center akan memverikasi kembali kebenaran informasi dari tiket tersebut. Setelah tiket diverivikasi, maka tiket tersebut akan dibuka. Tiket tersebut berstatus open.
Setelah Tiket tersampaikan ke departemen yang tepat, dan pengaduan telah terselesaikan dengan baik, maka tiket tersebut akan ditutup, dan berstatus close, maka informasi yang di dapat dari tiket tersebut akan masuk ke dalam data training. Sehingga akan menambah pengetahuan dari sistem, untuk mengenali kata-kata yang baru.
Gambar 2 Sistem ticketing
6. Uji performa
Dalam penelitian ini,untuk mengukur performa dari sistem klasifikasi yang dibuat, digunakan tiga pengujian, yaitu: Uji akurasi, precision & recall dan f-measure. Terdapat 4 kategori, yaitu APP, Cater, Distribusi, Niaga. Jumlah data training adalah 160.Sedangkan data testing yang telah dipersiapkan adalah sebanyak 30 dokumen.Setiap dokumen training dan testing melewati proses text preprocessing terlebih dahulu, yaitu case folding,tokenizing,filtering,dan stopwords removal. Setelah melewati proses text preprocessing, terbentuk 1218 kata yang unik.
Uji akurasi dilakukan untuk membuktikan keakuratan algoritma naïve bayes dalam pengklasifikasian pengaduan pelanggan. Rancangan pengujian sistem klasifikasi akan difokuskan terhadap beberapa pilihan metode yang diambil,Beberapa pilihan metode yang akan dianalisis yaitu:
NB-1: Pengujian dilakukan dengan menggunakan metode
naïve bayes
NB-2: Pengujian dilakukan dengan menggunakan metode
naïve bayes,dengan adanya feature selection. tambahan adanya list kata-kata penting (cue word).Jika didalam dokumen tersebut ada kata-kata yang ada di dalam list kata-kata penting,maka frekwensi dari kata tersebut akan dikalikan 2.
NB-3: Pengujian dilakukan dengan menggunakan metode
naïve bayes dengan kategori dari data training hanya 2,yaitu kategori x,dan bukan x.Contoh, kategori APP dan bukan APP. Warna biru adalah kategori x, sedangkan warna merah adalah kategori bukan x.
NB-4:Pengujian dilakukan dengan menggunakan stemming bahasa Indonesia
NB-5:Pengujian dilakukan dengan menggunakan metode
String matching, yaitu Levenhstein distance. Ditambah dengan adanya feature selection
Pada tabel 1, dan tabel 2 akan disajikan hasil uji akurasi dengan dokumen pengujian yang telah diklasifikasikan sebelumnya baik kategori, maupun kategori departemennya.
Tabel 1 hasil uji akurasi menurut departemen
Tabel 2 hasil uji akurasi menurut kategori
Berdasarkan hasil pengujian yang ada di tabel 1 dan 2, dapat dilihat metode yang menghasilkan akurasi paling tinggi adalah metode NB-3. Namun metode NB-3 hanya bisa mengklasifikasikan dokumen kategori yang bukan x dengan tepat,namun sulit untuk mengklasifikasikan dokumen dengan kategori x. Lalu pada metode NB-2 berupa metode tanpa stemming, dibandingkan dengan metode NB-4 yang menggunakan stemming bahasa Indonesia, mempunyai hasil akurasi yang sama, hal ini membuktikan bahwa stemming berbahasa Indonesia belum bisa bekerja efektif terhadap dokumen SMS yang berformat singkatan yang tidak beraturan. Pada kedua pengujian
Pada kedua table terlihat bahwa Metode NB-5 memiliki hasil akurasi paling tinggi.Metode NB-5 juga memiliki tingkat kesalahan paling kecil dibandingkan metode lainnya. Pengujian dokumen sesuai dengan kategori, memiliki tingkat akurasi lebih rendah daripada pengujian dokumen sesuai departemen. Hal ini dikarenakan banyak kesamaan kata-kata unik di dalam data training kategori keluhan, dan pertanyaan. Contohnya adalah kata “kenapa”, kata ini banyak terdapat di dalam kategori keluhan, dan saran dengan jumlah yang hampir sama. Semakin unik dan semakin akurat data training yang digunakan, maka hasil pengklasifikasian akan semakin akurat (Krisma, 2008). Karena adanya duplikasi kata unik yang terdapat di dua kategori tersebut, maka hal ini akan menurunkan tingkat akurasi dari hasil klasifikasi.
Tabel 3 nilai recall & precision berdasarkan departemen
Tabel 4.nilai recall & precision berdasarkan kategori
6.1
Perhitungan recall & precision
berdasarkan departemen
Metode NB-1, Meskipun menggunakan metode naïve bayes murni, tanpa mengunakan metode pengolahan tambahan apapun,mendapatkan nilai recall yang paling tinggi di departemen APP, yaitu sebesar 67%. Hal ini disebabkan oleh dokumen testing yang sedikit, yaitu sebanyak 3 buah, dan sistem menebak benar sebanyak 2 kali, hal ini menyebabkan nilai recall menjadi tinggi. Namun selain departemen APP, metode NB-1 memiliki nilai recall dan precision paling kecil dibanding metode lain. Departemen cater memiliki nilai 0% baik itu nilai recall maupun precision-nya. Hal ini disebabkan karena tidak satupun dokumen pengujian yang berlabel departemen cater yang bisa ditebak dengan benar oleh sistem, di metode manapun. Metode NB-4 memiliki rata-rata nilai recall dan precision paling tinggi di department distribusi, dan niaga dibandingkan dengan metode lain, namun di departemen APP metode ini tidak bisa menebak satupun dokumen testing dengan benar. Hal ini membuktikan bahwa proses stemming yang dilakukan terhadap dokumen testing, tidak efektif. Sebuah metode dikatakan baik, jika diapat menghasilkan nilai precision diatas 60%. Selain itu hasil yang diperoleh memuaskan jika nilai precision tinggi walaupun recall rendah (Rowley & Hartley, 1992). Pada metode NB-2, meskipun memiliki nilai recall dan precision dibawah metode NB-5, tetapi NB-2 memilki nilai precision di atas 60% di semua departemen, kecuali departemen cater. Selain itu pada departemen APP didapatkan nilai precision yang tinggi meskipun dengan nilai recall yang rendah. Jadi berdasarkan pengujian recall and precision, metode yang paling baik adalah metode NB-2.
6.2
Perhitungan recall & precision
berdasarkan kategori
Perolehan rata-rata nilai recall dan precision yang didapat dari pengujian berdasarkan kategori SMS lebih kecil dari pengujian berdasarkan departemen. Hal ini disebabkan oleh duplikasi kata-kata unik di antara dua kategori, yaitu kategori keluhan dan kategori pertanyaan. Kategori saran memiliki nilai 0 % baik itu nilai recall maupun precision-nya. Hal ini disebabkan karena tidak satu pun dokumen pengujian yang berlabel kategori saran yang bisa ditebak dengan benar oleh sistem di metode manapun. Selain itu hal tersebut disebabkan kurangnya jumlah data yang berlabel kategori saran, baik di dalam data testing maupun data training. Rata-rata perolehan precision kategori pertanyaan memiliki nilai kurang dari 60 %, kecuali metode NB-5. Metode NB-5 memiliki nilai precision pertanyaan paling bagus yaitu, 60%. Selain itu, nilai precision kategori keluhan juga bernilai diatas 60 %, yaitu 75 %. Meskipun nilai precision kategori keluhan berada di bawah metode NB-2, dan NB-4, namun nilai precision kategori pertanyaan kedua kategori tersebut kurang dari 60%. Jadi berdasarkan pengujian recall and precision, ditemukan metode yang paling baik adalah metode NB-5.
Tabel 5 hasil f-measure klasifikasi berdasarkan departemen
Tabel 6 hasil f-measure klasifikasi berdasarkan kategori
6.3
Penghitungan f-measure
klasifikasi berdasarkan
departemen
Sesuai dengan hasil pengujian yang ada di tabel 5, terbukti bahwa penambahan metode feature weighting bisa meningkatkan nilai f-measure, kecuali departemen APP, mengalami sedikitpenuruna sebesar 7,64%. Metode NB-3 yang menerapkan metode one-against all terbukti kurang efektif untuk meningkatkan hasil f-measure, hal
ini dikarenakan adanya penurunan nilai di departemen niaga, bahkan mendapatkan nilai 0% di departemen cater dan APP. Metode NB-4 yang menerapkan metode stemming, juga terbukti kurang efektif, hal ini terbukti karena adanya penurunan di kategori niaga, dan nilai f-measure untuk kategori APP dan cater adalah 0%. Metode NB-5 dirasa metode klasifikasi paling baik, karena mendapatkan nilai f-measure yang tinggi, dan cukup stabil di kategori distribusi dan niaga, dengan nilai f-measure diatas 90%, meskipun dengan nilai f-f-measure yang kecil di departemen APP.
6.4
Penghitungan f-measure
klasifikasi berdasarkan kategori
Sesuai dengan hasil pengujian yang disajikan tabel diatas, terbukti bahwa metode NB-2, atau penambahan metode feature selection dan feature weighting bisa meningkatkan nilai f-measure. Nilai f-measure di kategori pertanyaan meningkat sebesar 20%, sedangkan nilai f-measure di kategori keluhan meningkat sebesar 12,4%. Metode NB-4 yang menerapkan metode stemming, juga terbukti kurang efektif, hal ini terbukti karena adanya penurunan di kategori pertanyaan sebesar 9.9%. Nilai F-measure tertinggi untuk kategori keluhan terdapat pada metode NB-5, dengan nilai 79,68%. Sedangkan nilai f-measure tertinggi untuk kategori pertanyaan terdapat pada metode NB-2, dengan nilai 57,02%.
7. Kesimpulan
Setelah melakukan perancangan sistem dan pembuatan aplikasi klasifikasi SMS berbasis sistem ticketing dengan menggunakan metode naïve bayes, maka dapat diambil kesimpulan sebagai berikut :
• Pengklasifikasian naive bayes dengan menggunakan metode pengolahan tambahan, yaitu feature weighting , feature selection, stemming, one against all dan String Matching terbukti lebih baik daripada
pengklasifikasian naive bayes murni. Hal ini terbukti dengan nilai f-measure metode NB-1 yang memperoleh nilai terendah dibandingkan dengan metode lain.
• Stemming berbahasa Indonesia (NB-4) dinilai kurang efektif, ketika diterapkan dalam dokumen SMS. Hal ini terbukti dari tidak terdapat perubahan nilai akurasi dari metode NB-2. bahkan terjadi penurunan nilai f-measure.
• Metode one against all (NB-3) dinilai kurang efektif ketika diterapkan dalam klasifikasi naive bayes yang memiliki lebih dari dua kelas, hal ini terjadi karena ketidakseimbangan hasil akurasi yang diperoleh oleh metode ini. Dari hasil akurasi terlihat bahwa hasil yang didapat kategori bukan x mendapat nilai
akurasi yang tinggi, namun kategori x mendapatkan nilai yang kecil, bahkan mencapai 0%. Dari hasil ini terbukti bahwa metode ini hanya bisa mengklasifikasikan dokumen kategori yang bukan x dengan tepat,namun sulit untuk mengklasifikasikan dokumen dengan kategori x.
• Metode NB-2, yang menggunakan feature weighting dan feature selection dinilai efektif ketika diterapkan untuk mengklasifikasikan dokumen SMS sesuai dengan departemen, hal ini terbukti dengan nilai precision yang mendapatkan nilai diatas 60%.
•
Metode NB-5, yang menggunakan feature weightingdan feature selection, ditambah dengan metode
string matching dengan menggunakan levenshtein distance, dinilai efektif ketika diterapkan untuk
mengklasifikasikan dokumen SMS sesuai dengan kategori, hal ini terbukti dengan nilai precision yang mendapatkan nilai diatas 60%.
Jumlah minimum data training yang dibutuhkan supaya hasil f-measure suatu kategori mendapatkan nilai lebih dari 0% adalah kurang lebih 60 dokumen sms, dan mengandung 120 kata unik. Nilai ini didapat dari rata-rata jumlah dokumen, dan kata unik yang terdapat di kategori departemen niaga dan distribusi, yang selalu mendapatkan nilai f-measure diatas 0%
8. Saran
Saran yang dapat dipertimbangkan untuk pengembangan tugas akhir ini adalah:
• Penambahan antarmuka untuk memudahkan pengguna agar dapat menambah kategori atau departemen baru.
• Penambahan kategori “bukan pengaduan”, untuk mempermudah pihak SMS center dalam memvalidasi SMS pengaduan yang masuk.
• Pengefektifan sistem, update autotraining hanya dilakukan terhadap departemen atau kategori tempat dimana data ticket ditambahkan.
• Penggunaan struktur data trie untuk mempercepat waktu komputasi levenhstein. Trie adalah struktur data berupa pohon terurut untuk menyimpan suatu himpunan string dimana setiap node pada pohon tersebut mengandung awalan (prefix) yang sama. Jadi tidak perlu untuk mengulang proses pada baris levenhstein dengan awalan yang sama.
9. Daftar Pustaka
Coussement
