Implementasi Vector Space Model dalam PembangkitanFrequently
Asked Questions Otomatis dan Solusi yang Relevan untuk
Keluhan Pelanggan di UPT PUSKOM UNS
Diajukan untuk Memenuhi Salah Satu Syarat Mencapai Gelar Strata Satu Program Studi S1 Informatika
Disusun Oleh:
Kartika Permatasari Suryajaya NIM. M0510029
HALAMAN JUDUL
PROGRAM STUDI S1 INFORMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET
iv
MOTTO
“… boleh jadi kamu tidak menyenangi sesuatu, padahal itu baik bagimu, dan boleh jadi kamu menyukai sesuatu, padahal itu tidak baik bagimu. Allah
mengetahui, sedangkan kamu tidak mengetahui”
(Q.S. Al – Baqarah : 216)
“Jadikanlah sabar dan sholat sebagai penolongmu…”
(Q.S. Al – Baqarah :45)
v
PERSEMBAHAN
Karya ini penulis persembahkan untuk:
“Bapak Muhtadi Suryajaya dan Ibu Wiji Astuti, kedua orang tua yang senantiasa
mendo’akan, memberikan dukungan, mencurahkan cinta, kasih sayang dan
pengorbanan yang tiaratara”
“Achmad Fathony dan Fariz Priehastudy adik-adik tersayang”
“Mas Dhimas Bagus Sudiro Utomo, yang meski terkadang lelah, namun
tetapada”
“Faliharifa Nafis Talita, sahabat kecil yang senantiasa mampu menghadirkan
kebahagiaan dalam kebersamaan”
“Dian Anggraini, sahabat tercinta”
“Sahabat d’brandiez: Aish, April, Eva, Dian, Ika, Maman, Pingky, Shofi yang
sampai kapanpun semoga tetap dipertemukan dalam cinta dan bahagia”
“Mba Putri, Mba Kiki, Mba Restu, Mba Tika, Mba Ita, Mba Rini, Mba Gita dan
Mba Dessy yang selalu menguatkan dalam cinta dan kasih sayang”
“Sahabat IMC, Kumizet 2, Muslimah Zone dan komunitas-komunitas lain yang
tiada pernah lelah untuk bercengkerama dalam cerita, berbagi dan berbahagia”
“Seluruh keluarga, sahabat, kerabat dan semua pihak yang senantiasa
vi
KATA PENGANTAR
Puji dan syukur penulis panjatkan kepada Allah SWT atas segala limpahan rahmat, taufik, hidayah dan inayah-Nya, sehingga penulis dapat menyelesaikan
Tugas Akhir dengan judul “ImplementasiVector Space Model dalam
Pembangkitan Frequently Asked Questions Otomatis dan Solusi yang Relevan untuk Keluhan Pelanggan di UPT PUSKOM UNS”. Penulis memiliki keterbatasan sehingga banyak bantuan dan bimbingan yang diberikan oleh berbagai pihakdalam penyusunan Tugas Akhir ini. Oleh karena itu, penulis mengucapkan terima kasih kepada :
1. bapak dan ibu yang senantiasa memberikan motivasi, doa dan dukungannya dalam proses penyusunan Tugas Akhir ini,
2. bapak Ristu Saptono, S.Si., M.T. selaku Dosen Pembimbing I yang dengan penuh kesabaran telah memberikan bimbingan dan pengarahan,
3. bapak Abdul Aziz, S.Kom., M.Cs., selaku Dosen Pembimbing II yang telah memberikan masukan, kritik dan saran yang membangun,
4. seluruh Bapak Ibu dosen dan Karyawan Informatika FMIPA UNS,
5. teman-teman Informatika khususnya angkatan 2010 atas doa dan semangatnya,
6. mas Dhimas Bagus Sudiro Utomo atas bantuan, doa dan dukungannya, 7. sahabat-sahabat yang selalu ada, mendoakan dan memberikan semangat :
Aish, April, Eva, Dian Cahya, Ika, Maman, Pingky, Shofi, Dewi Ika, Dian Anggraini,
8. mba Putri, mba Kiki, mba Tika, mba Ita, mba Gita, mba Restu, mba Rini dan mba Dessy atas semangat, doa dan persahabatan yang tak mengenal usia, ruang dan waktu,
9. dansemua pihak yang tidak dapat disebutkan satu persatu.
Semoga Tugas Akhir ini bermanfaat dan memberikan inspirasi bagi semua pihak yang berkepentingan.
Surakarta, 4 Agustus 2015
vii
Implementation of Vector Space Model in Generating Automatic of Frequently
Asked Questions and the Relevant Solutions for Customer’s Complaints in UPT
PUSKOM UNS
Kartika Permatasari Suryajaya
Department of Informatics.Faculty of Mathematics and Natural Science.
Sebelas Maret University
ABSTRACT
UPT PUSKOM UNS as an service unit needs customer’s complaint handling. Customer’s complaints will be given solutions based on the past complaints which has similarity with the new complaints. Therefore, a method to calculate similarity between new complaint dan the past complaints is needed. The result of the calculation can be used for generating automatic Frequently Asked Questions (FAQ) and relevant solutions.
There are some methods can be used for calculating document similarity, such as VSM. VSM is a method that has efficient procedure, easily represented dan can be implemented in document-matching. Therefore, in this research VSM in generating automatic FAQ and relevant solutions for customer’s complaint in UPT PUSKOM UNS will be used. Weighting term usedTerm Frequency-Inverse Document Frequency (TF-IDF) technique. Compared combinations are TF-IDF it self, logarithmic modified TF and logarithmic modified IDF. Similarity measure used cosine similarity.
The results of this research are VSM algorithm with TF-IDF weighting can be used to generate automatic FAQ and the relevant solutions. Based on the accuracy calculation of each experiment can be concluded on a threshold 0.5, the combination of TF-IDF notation which has an average rating of highest accuracy and precision is TF-IDF, that is respectively 62.09% and 55.15%. Whereas in the threshold 0.65 that has average rating of the highest accuracy and precision is the first modification, which is respectively 83.18% and 68.35%. Besides that, the experiment using 171 data TF-IDF and threshold 0.65 can generate 27 FAQ, that is percentage70.37% is relevant.
Keyword—Cosine Similarity, Nazief-Adriani, Term Frequency-Inverse Document
viii
Implementasi Vector Space Model dalam Pembangkitan Frequently Asked
Questions Otomatis dan Solusi yang Relevan untuk Keluhan Pelanggan di
UPT PUSKOM UNS
Kartika Permatasari Suryajaya
Jurusan Informatika. Fakultas Matematika dan Ilmu Pengetahuan Alam. Universitas Sebelas Maret
ABSTRAK
UPT PUSKOM UNS, sebagai salah satu unit pelayanan sangat memerlukan penanganan keluhan pelanggan. Keluhan-keluhan yang disampaikan customer akan diberikan solusi yangdidasarkan pada keluhan-keluhan sebelumnya yang mempunyai kemiripan dengan keluhan yang baru. Oleh karena itu diperlukan metode untuk menghitung kemiripan antara keluhan baru dengan keluhan-keluhan yang telah lampau. Hasil perhitungan kemiripan tersebut dapat digunakan dalam pembangkitan Frequently Asked Questions otomatis dan solusi yang relevan.
Terdapat beberapa metode yang dapat digunakan untuk menghitung kemiripan dokumen, salah satunya adalah Vector Space Model. VSM merupakan metode yang memiliki cara kerja yang efisien, mudah dalam representasi dan dapat diimplementasikan dalam document-matching. Oleh karena itu dalam penelitian ini akan digunakan metode VSMdalam pembangkitan FAQ otomatis dan solusi yang relevan untuk keluhan pelanggan di UPT PUSKOM UNS.Pembobotan term dilakukan dengan teknik Term Frequency-Inverse
Document Frequency (TF-IDF).Kombinasi notasi TF-IDF yang dibandingkan
adalah TF-IDF itu sendiri, modifikasi logaritmik TF dan modifikasi logaritmik IDF.Similarity measure yang digunakan adalah cosine similarity.
Hasil dari penelitian ini adalah algoritma VSM dengan pembobotan TF-IDF dapat digunakan untuk membangkitkan FAQ otomatis dan solusi yang relevan. Berdasarkan hasil perhitungan accuracy pada masing-masing percobaan dapat disimpulkan bahwa pada threshold 0.5, kombinasi notasi TF-IDF yang memiliki nilai rata-rata accuracy dan precision tertinggi adalah modifikasi pertama, yaitu masing-masing sebesar 62.09% dan 55.15%. Sedangkan untuk threshold 0.65 yang memiliki nilai rata-rata accuracy dan precision tertinggi adalah TF-IDF, yaitu masing-masing sebesar 83.18% dan 68.35%. Selain itu percobaan dengan menggunakan 171 data, TF-IDF dan threshold 0.65 dapat membangkitkan 27 FAQ, yaitu dengan persentase 70.37% relevan.
Kata Kunci—Cosine Similarity,Nazief-Adriani, Term Frequency-Inverse
ix
DAFTAR ISI
HALAMAN JUDUL ... i
HALAMAN PERSETUJUAN ... Error! Bookmark not defined. HALAMAN PENGESAHAN ... Error! Bookmark not defined. MOTTO ... iii
PERSEMBAHAN ...v
KATA PENGANTAR ... vi
ABSTRACT ... vii
ABSTRAK ... viii
DAFTAR ISI ... ix
DAFTAR TABEL ... xi
DAFTAR GAMBAR ... xiv
DAFTAR LAMPIRAN ...xv BAB I IPENDAHULUAN ... Error! Bookmark not defined.
1.1. Latar Belakang ... Error! Bookmark not defined.
1.2. Rumusan Masalah ... Error! Bookmark not defined.
1.3. Batasan Masalah ... Error! Bookmark not defined.
1.4. Tujuan Penelitian ... Error! Bookmark not defined.
1.5. Manfaat Penelitian ... Error! Bookmark not defined.
1.6. Sistematika Penulisan ... Error! Bookmark not defined.
BAB II TINJAUAN PUSTAKA ... Error! Bookmark not defined.
2.1. Landasan Teori ... Error! Bookmark not defined.
2.1.1. Text Mining... Error! Bookmark not defined.
2.1.2. Algoritma Nazief & Adriani ... Error! Bookmark not defined.
2.1.3. Term Frequency-Inverse Document Frequency (TF-IDF) ... Error! Bookmark not defined.
2.1.4. Vector Space Model (VSM) ... Error! Bookmark not defined.
2.2. Penelitian Terkait ... Error! Bookmark not defined.
2.3. Kerangka Pemikiran ... Error! Bookmark not defined.
x
3.1. Studi Literatur ... Error! Bookmark not defined.
3.2. Pengumpulan Data ... Error! Bookmark not defined.
3.3. Implementasi ... Error! Bookmark not defined.
3.4. Analisa Hasil ... Error! Bookmark not defined.
BAB IVHASIL DAN PEMBAHASAN ... Error! Bookmark not defined.
4.1. Deskripsi Data ... Error! Bookmark not defined.
4.2. Implementasi ... Error! Bookmark not defined.
4.3. Analisa Hasil ... Error! Bookmark not defined.
4.3.1. Menghitung Akurasi ... Error! Bookmark not defined.
4.3.2. Membandingkan Kombinasi Notasi Pembobotan TF-IDF ... Error! Bookmark not defined.
4.3.3. Pembangkitan FAQ ... Error! Bookmark not defined.
4.3.4. Pembahasan ... Error! Bookmark not defined.
BAB VPENUTUP ... Error! Bookmark not defined.
5.1. KESIMPULAN ... Error! Bookmark not defined.
5.2. SARAN ... Error! Bookmark not defined.
xi
DAFTAR TABEL
Tabel 2.1 Kombinasi Awalan Akhiran yang tidak DiijinkanError! Bookmark not defined.
Tabel 2.2 Cara Menentukan Tipe Awalan untuk Kata yang Diawali dengan “te-“
... Error! Bookmark not defined.
Tabel 2.3 Jenis Awalan Berdasarkan Tipe Awalan . Error! Bookmark not defined.
Tabel 2.4 Notasi pada TF-IDF (Yogatama, 2008 dalam Karmayasa & Mahendra, 2012) ... Error! Bookmark not defined.
Tabel 2.5. Keterkaitan Penelitian dengan Penelitian Sebelumnya ... Error! Bookmark not defined.
Tabel 3.1 Pembagian Data Training dan Data TestingError! Bookmark not defined.
Tabel 3.2 Rincian Percobaan ... Error! Bookmark not defined.
Tabel 3.3 Contingency Table (Fawcett, 2005) ... Error! Bookmark not defined.
Tabel 4.1 Contoh Keluhan yang Diolah Menggunakan TextPreprocessing ... Error! Bookmark not defined.
Tabel 4.2 Contoh Keluhan yang Diolah Menggunakan Text Transforming ... Error! Bookmark not defined.
Tabel 4.3 Frekuensi Term dari Setiap Dokumen atau Nilai TF pada Kombinasi N.T ... Error! Bookmark not defined.
Tabel 4.4 Nilai TF pada Kombinasi L.T dan L.N .. Error! Bookmark not defined.
Tabel 4.5 Frekuensi Term dari Seluruh Dokumen . Error! Bookmark not defined.
Tabel 4.6 Model Ruang Vektor pada Kombinasi N.TError! Bookmark not defined.
Tabel 4.7 Model Ruang Vektor pada Kombinasi L.T dan L.TError! Bookmark not defined.
Tabel 4.8 Nilai IDF pada Kombinasi N.T ... Error! Bookmark not defined.
Tabel 4.9 Nilai Bobot dari Setiap Term (TF*IDF) pada Kombinasi N.T ... Error! Bookmark not defined.
xii
Tabel 4.11 Nilai Bobot Setiap Term (TF*IDF) pada Kombinasi L.N ... Error! Bookmark not defined.
Tabel 4.12 Nilai Kemiripan Antar Keluhan ... Error! Bookmark not defined.
Tabel 4.13 Hasil Perhitungan Accuracy, Precision dan Recall untuk Threshold 0.5 ... Error! Bookmark not defined.
Tabel 4.14 Hasil Perhitungan Accuracy, Precision dan Recall untuk Threshold 0.65 ... Error! Bookmark not defined.
Tabel 4.15 Nilai Rata-Rata Accuracy dan Precision Ketiga Kombinasi Notasi TF-IDF ... Error! Bookmark not defined.
Tabel 4.16 Perhitungan Similarity ID Keluhan 115 untuk Threshold 0.5 pada Kombinasi N.T ... Error! Bookmark not defined.
Tabel 4.17 Perhitungan Similarity ID Keluhan 115 untuk Threshold 0.5 pada Kombinasi L.T ... Error! Bookmark not defined.
Tabel 4.18 Perhitungan Similarity ID Keluhan 115 untuk Threshold 0.5 pada Kombinasi L.N ... Error! Bookmark not defined.
Tabel A.1 Data Keluhan Pelanggan di UPT PUSKOM UNSError! Bookmark not defined.
Tabel B.1 Percobaan 1 pada Kombinasi N.T, Threshold 0.5 ... 68
Tabel B.2Percobaan 2 pada Kombinasi N.T, Threshold 0.5 ... 72
Tabel B.3Percobaan 3 pada Kombinasi N.T, Threshold 0.5 ... 76
Tabel B.4Percobaan 4 pada Kombinasi N.T, Threshold 0.5 ... 81
Tabel B.5Percobaan 1 pada Kombinasi L.T, Threshold 0.5 ... 86
Tabel B.6Percobaan 2 pada Kombinasi L.T, Threshold 0.5 ... 89
Tabel B.7Percobaan 3 pada Kombinasi L.T, Threshold 0.5 ... 93
Tabel B.8Percobaan 4 pada Kombinasi L.T, Threshold 0.5 ... 98
Tabel B.9Percobaan 1 pada Kombinasi L.N, Threshold 0.5 ... 102
Tabel B.10Percobaan 2 pada Kombinasi L.N, Threshold 0.5 ... 107
Tabel B.11Percobaan 3 pada Kombinasi L.N, Threshold 0.5 ... 111
Tabel B.12Percobaan 4 pada Kombinasi L.N, Threshold 0.5 ... 117
Tabel C.1 Percobaan 1 pada Kombinasi N.T, Threshold 0.65 ... 126
Tabel C.2 Percobaan 2 pada Kombinasi N.T, Threshold 0.65 ... 128
xiii
Tabel C.4 Percobaan 4 pada Kombinasi N.T, Threshold 0.65 ... 134
Tabel C.5 Percobaan 1 pada Kombinasi L.T, Threshold 0.65 ... 136
Tabel C.6 Percobaan 2 pada Kombinasi L.T, Threshold 0.65 ... 139
Tabel C.7 Percobaan 3 pada Kombinasi L.T, Threshold 0.65 ... 141
Tabel C.8 Percobaan 4 pada Kombinasi L.T, Threshold 0.65 ... 145
Tabel C.9 Percobaan 1 pada Kombinasi L.N, Threshold 0.65 ... 147
Tabel C.10 Percobaan 2 pada Kombinasi L.N, Threshold 0.65 ... 150
Tabel C.11 Percobaan 3 pada Kombinasi L.N, Threshold 0.65 ... 153
Tabel C.12 Percobaan 4 pada Kombinasi L.N, Threshold 0.65 ... 157
xiv
DAFTAR GAMBAR
Gambar 2.1 Ilustrasi Algoritma TF-IDF (Harlian, 2006 dalam Muhajir 2012) ... Error! Bookmark not defined.
Gambar 2.2 Representasi Dokumentasi dan Query pada Ruang Vektor (Mandala, Setiawan, 2002) ... Error! Bookmark not defined.
Gambar 3.1 Metodologi Penelitian ... Error! Bookmark not defined.
Gambar 4.1 Contoh Keluhan yang tidak Mempunyai Kemiripan dengan Keluhan Lain ... Error! Bookmark not defined.
Gambar 4.2 Accuracy untuk threshold 0.5... Error! Bookmark not defined.
Gambar 4.3 Precision untuk Threshold 0.5 ... Error! Bookmark not defined.
Gambar 4.4 Accuracy untuk Threshold 0.65 ... Error! Bookmark not defined.
Gambar 4.5 Precision untuk Threshold 0.65 ... Error! Bookmark not defined.
Gambar 4.6 Contoh Tampilan Skema 1 dalam Pembangkitan FAQ ... Error! Bookmark not defined.
Gambar 4.7 Contoh Tampilan Skema 2 dalam Pembangkitan FAQ ... Error! Bookmark not defined.
Gambar 4.8 Contoh Tampilan Penambahan FAQ .. Error! Bookmark not defined.
xv
DAFTAR LAMPIRAN
LAMPIRAN ADATA KELUHAN PELANGGAN DI UPT PUSKOM UNS Error! Bookmark not defined.
LAMPIRAN BHASIL PERHITUNGAN KEMIRIPAN PADA THRESHOLD 0.5 ...68 LAMPIRAN CHASIL PERHITUNGAN KEMIRIPAN PADA THRESHOLD 0.65
