SKRIPSI
ANALISIS SENTIMEN TERHADAP STMIK AKAKOM
YOGYAKARTA MENGGUNAKAN METODE NAÏVE BAYES
BERDASARKAN KOMENTAR FACEBOOK DAN ULASAN DI
GOOGLE MAPS
SENTIMENT ANALYSIS ON STMIK AKAKOM YOGYAKARTA
USING NAÏVE BAYES METHOD BASED ON FACEBOOK
COMMENTS AND REVIEWS IN GOOGLE MAPS
AJENG WIDYA AYUNINGTYAS 165610060
PROGRAM STUDI SISTEM INFORMASI
SEKOLAH TINGGI MANAJEMEN INFORMATIKA DAN KOMPUTER AKAKOM
YOGYAKARTA 2020
i
SKRIPSI
ANALISIS SENTIMEN TERHADAP STMIK AKAKOM
YOGYAKARTA MENGGUNAKAN METODE NAÏVE BAYES
BERDASARKAN KOMENTAR FACEBOOK DAN ULASAN DI
GOOGLE MAPS
SENTIMENT ANALYSIS ON STMIK AKAKOM YOGYAKARTA
USING NAÏVE BAYES METHOD BASED ON FACEBOOK
COMMENTS AND REVIEWS IN GOOGLE MAPS
Diajukan sebagai salah satu syarat untuk menyelesaikan studi jenjang Strata Satu (S1)
Program Studi Sistem Informasi
Sekolah Tinggi Manajemen Informatika dan Komputer AKAKOM
Yogyakarta
Disusun Oleh
AJENG WIDYA AYUNINGTYAS 165610060
PROGRAM STUDI SISTEM INFORMASI
SEKOLAH TINGGI MANAJEMEN INFORMATIKA DAN KOMPUTER AKAKOM
YOGYAKARTA 2020
iv
HALAMAN PERSEMBAHAN
Puji syukur saya panjatkan ke hadirat Tuhan Yang Maha Esa. Atas karuniaNya, saya dimampukan untuk menyelesaikan skripsi ini hingga akhir. Skripsi ini saya persembahkan kepada:
1. Kedua orang tua, Eddy Poernomo dan Kristina Dwi Astuty. Terima kasih sudah memberikan motivasi dan senantiasa mendoakan. Terima kasih karena tidak pernah menyerah dan selalu ada dalam setiap proses kehidupan saya.
2. Teman-teman, baik yang tergabung dalam grup KRAANN (Khansa, Restu, Azizah, Novia, dan Nur), Mandriva (khususnya Difa dan Angela Lenindah), Friolita Resa, serta teman-teman lain yang tidak dapat saya sebutkan satu per satu. Semoga skripsi ini menjadi pengingat atas perjuangan yang pernah kita lakukan bersama, di dalam maupun di luar kelas perkuliahan.
3. Tri Yudo Wibisono, sebagai rekan terdekat yang selalu memberi semangat dan senantiasa siap membantu di kala susah.
4. Persekutuan Mahasiswa Kristen “Exodus”, sebagai tempat pertumbuhan secara rohani melalui kegiatan organisasinya. Terima kasih telah memberikan pengalaman berharga yang sarat akan prinsip ora et labora.
v
HALAMAN MOTTO
“Hasil tidak akan mengkhianati proses.” (NN)
“Ia membuat segala sesuatu indah pada waktunya, bahkan Ia memberikan kekekalan dalam hati mereka.” (Pengkhotbah 3:11a)
vi
DAFTAR ISI
HALAMAN JUDUL ... i
HALAMAN PENGESAHAN ... ii
HALAMAN PERNYATAAN ... iii
HALAMAN PERSEMBAHAN ... iii
HALAMAN MOTTO ... v DAFTAR ISI ... vi DAFTAR GAMBAR ... ix DAFTAR TABEL ... x KATA PENGANTAR ... xi ABSTRAK ... xiii ABSTRACT ... xiv BAB I PENDAHULUAN ... 1
1. 1 Latar Belakang Masalah ... 1
1. 2 Rumusan Masalah ... 3
1. 3 Ruang Lingkup... 3
1. 4 Tujuan Penelitian ... 4
1. 5 Manfaat Penelitian ... 4
1. 6 Sistematika Penulisan ... 5
BAB II TINJAUAN PUSTAKA DAN DASAR TEORI ... 7
2. 1 Tinjauan Pustaka ... 7
2. 2 Dasar Teori... 11
2. 2. 1 Facebook ... 11
vii
2. 2. 3 Analisis Sentimen ... 12
2. 2. 4 Klasifikasi Naïve Bayes ... 17
2. 2. 5 Synthetic Minority Over-sampling Technique (SMOTE) ... 21
2. 2. 6 Pengukuran Kualitas Klasifikasi ... 22
2. 2. 7 KNIME ... 25
2. 2. 8 Waikato Environment for Knowledge Analysis (WEKA)... 26
BAB III METODE PENELITIAN ... 27
3. 1 Data ... 27
3. 1. 1 Data Komentar ... 27
3. 1. 2 Data Stopwords ... 27
3. 2 Peralatan ... 28
3. 2. 1 Perangkat Lunak (Software) ... 28
3. 2. 2 Perangkat Keras (Hardware) ... 28
3. 3 Prosedur Kerja dan Pengumpulan Data ... 29
3. 4 Alur Penelitian ... 29
BAB IV IMPLEMENTASI DAN PEMBAHASAN ... 35
4. 1 Implementasi ... 35
4. 1. 1 Pengumpulan Komentar ... 35
4. 1. 2 Pre-processing ... 36
4. 1. 3 Feature Weighting ... 46
4. 1. 4 Over-sampling ... 47
4. 1. 5 Klasifikasi dan Scoring ... 49
4. 2 Pembahasan... 50
4. 2. 1 Analisis Sentimen ... 50
viii BAB V PENUTUP ... 58 5. 1 Kesimpulan ... 58 5. 2 Saran ... 58 DAFTAR PUSTAKA ... 60 LAMPIRAN ... 62
ix
DAFTAR GAMBAR
Gambar 2. 1 Proses Dasar Text Mining ... 14
Gambar 2. 2 Proses Text Mining yang Lebih Spesifik ... 15
Gambar 2. 3 Proses Tokenisasi ... 16
Gambar 3. 1 Alur Penelitian... 29
Gambar 3. 2 Pre-processing Berdasarkan Aplikasi yang Digunakan ... 30
Gambar 4. 1 Tabel Komentar dalam Ms. Excel ... 35
Gambar 4. 2 Data Komentar dengan Kelas Sentimen... 39
Gambar 4. 3 Pre-processing dengan KNIME ... 39
Gambar 4. 4 Membaca File dari Ms. Excel dengan Node Excel Reader (XLS) ... 40
Gambar 4. 5 Membuat File Komentar Menjadi Dokumen ... 41
Gambar 4. 6 Menyaring Kolom senti_class dan SentiDocument ... 41
Gambar 4. 7 Menghapus Tanda Baca ... 42
Gambar 4. 8 Menghapus Angka Pada Komentar ... 42
Gambar 4. 9 Mengubah Semua Huruf Menjadi Huruf Kecil ... 43
Gambar 4. 10 Menghapus Stopwords Menggunakan Referensi dari Penelitian Tala (2003) ... 44
Gambar 4. 11 Menghapus Karakter yang Banyaknya Kurang Dari 2 ... 45
Gambar 4. 12 Membuat Bag of Words dan Feature Weighting Pada WEKA .... 46
Gambar 4. 13 Data Setelah Over-sampling... 48
Gambar 4. 14 Menu Klasifikasi Pada WEKA ... 49
x
DAFTAR TABEL
Tabel 2. 1 Perbandingan Penelitian ... 10
Tabel 2. 2 Confusion Matrix ... 22
Tabel 3. 1 Contoh Daftar Stopwords ... 27
Tabel 3. 2 Konversi Emoji ... 31
Tabel 4. 1 Tabel Komentar Sebelum Normalisasi Kata ... 37
Tabel 4. 2 Tabel Komentar Setelah Normalisasi Kata ... 37
Tabel 4. 3 Tabel Komentar dengan Emoji ... 38
Tabel 4. 4 Emoji yang Ditemukan Pada Data ... 38
Tabel 4. 5 Tabel Komentar Setelah Konversi Emoji ... 38
Tabel 4. 6 Komentar yang Salah Diklasifikasikan ... 51
Tabel 4. 7 Kualitas Klasifikasi Sentimen tentang STMIK Akakom Yogyakarta dengan Naive Bayes ... 52
xi
KATA PENGANTAR
Puji Syukur kepada Tuhan Yang Maha Esa atas karunia yang diberikan sehingga penulis dapat menyelesaikan penelitian ini sebagai tugas akhir dalam pendidikan Strata Satu (I) program studi Sistem Informasi di STMIK Akakom Yogyakarta.
Penelitian dan penyusunan skripsi ini tidak lepas dari bantuan dan dukungan yang diberikan berbagai pihak sehingga pada kesempatan ini penulis ingin mengucapkan terima kasih kepada:
1. Bapak Totok Suprawoto Ir., M.M., M.T. selaku Ketua STMIK Akakom Yogyakarta.
2. Ibu Pulut Suryati S.Si, M.Cs dan Endang Wahyuningsih S.Kom, M.Cs selaku Ketua dan Sekretaris Program Studi Sistem informasi STMIK Akakom Yogyakarta.
3. Ibu Deborah Kurniawati S.Kom, M.Cs selaku dosen pembimbing yang telah sabar dalam menuntun penulis dari awal hingga akhir penelitian.
4. Bapak Cosmas Haryawan S.T.P., M.Cs dan Ibu Dara Kusumawati S.E., M.M. selaku narasumber sekaligus penguji yang telah memberikan kritik dan saran yang membangun.
5. Bapak Fx. Henry Nugroho S.T., M.Cs selaku dosen wali yang telah membimbing selama masa studi di STMIK Akakom Yogyakarta.
xii
6. Ibu Ariesta Damayanti S.Kom, M.Cs selaku dosen Data Mining, terima kasih telah bersedia untuk membimbing penulis dalam memahami metode-metode
data mining yang digunakan dalam penelitian.
7. Kedua orang tua yang terus mendukung dan mendoakan.
8. Teman-teman yang tidak dapat penulis sebutkan satu per satu, terima kasih telah memberikan dorongan dan bantuan selama proses penelitian.
Penulis menyadari bahwa skripsi ini masih belum sempurna sehingga kritik dan saran akan sangat bermanfaat untuk menyempurnakan penelitian serta menjadi tambahan ilmu bagi penulis.
Semoga karya tulis ini dapat bermanfaat bagi penelitian berikutnya dan dapat memberikan pengetahuan bagi para pembaca.
Yogyakarta,
xiii
ABSTRAK
Perkembangan teknologi informasi dan komunikasi telah menghasilkan sejumlah produk teknologi, salah satunya yaitu media sosial. Saat ini, media sosial tidak hanya digunakan untuk berkomunikasi, tetapi juga untuk mempromosikan produk atau jasa. Facebook, sebagai salah satu media sosial, digunakan oleh STMIK Akakom Yogyakarta untuk membagikan kegiatan, berita terkini, hingga melakukan kegiatan promosi institusi kepada calon mahasiswa. Pada setiap post, dukungan kepada STMIK Akakom Yogyakarta dapat dilihat melalui jumlah like. Namun, Facebook belum mampu menganalisa dukungan atau sentimen berdasarkan komentar.
Selain Facebook, sentimen terhadap STMIK Akakom Yogyakarta juga ditemukan di Google Maps tetapi belum tersedia fitur untuk menganalisa ulasan. Penelitian ini membahas tentang metode Naïve Bayes yang digunakan untuk mengklasifikasikan teks komentar ke dalam kelas positif, netral atau negatif sehingga dapat diketahui kecenderungan sentimen masyarakat terhadap institusi.
Data yang berhasil terkumpul untuk penelitian ini sebanyak 377 data. Sebelum dilakukan pre-processing, data terlebih dahulu diberi label sentimen berdasarkan pengamatan peneliti terhadap makna komentar secara keseluruhan. Setelah pre-processing, diperoleh 583 data latih dan 146 data uji. Ternyata, data tidak merepresentasikan setiap kelas secara merata (imbalanced data) sehingga perlu menerapkan SMOTE untuk membentuk data sintetis dari kelas minoritas. Hasil yang diperoleh yaitu sentimen yang berkembang cenderung negatif dengan
true positive untuk negatif sebesar 100% dan tingkat akurasi klasifikasi bernilai
89,73%.
Kata kunci: Analisis sentimen, imbalanced data, Naïve Bayes, STMIK Akakom
xiv
ABSTRACT
The development of information and communication technology has produced technology products, one of which is social media. Nowadays, social media is not only used to communicate, but also to promote products or services. Facebook, as one of the social media, is used by STMIK Akakom Yogyakarta to share activities, the latest news, and does promoting for prospective students. At each post, support for STMIK Akakom Yogyakarta can be seen through the number of likes. However, Facebook has not been able to analyze support or sentiment based on comments.
Apart from Facebook, sentiments towards STMIK Akakom Yogyakarta are also found on Google Maps but there are no features available for analyzing reviews. This study discusses the Naïve Bayes method used to classify commentary texts into positive, neutral or negative classes to gain the knowledge about public sentiment towards the campaign.
There were 377 data collected for this study. Before pre-processing, the data is first labeled with sentiment, either positive, neutral, or negative, based on the researcher's observations of the overall meaning of comments. After pre-processing, 583 training data and 146 test data are obtained. As it turns out, the data does not represent any equivalent class (imbalanced data) so SMOTE needs to be applied to make synthetic data from minority classes. The results obtained are sentiment towards STMIK Akakom Yogyakarta is negative, which has true positive rate is 100%, and the classification accuracy rate is 89.73%.
Keywords: Imbalanced data, Naïve Bayes, sentiment analysis, STMIK Akakom Yogyakarta, SMOTE.
