Fakultas Ilmu Komputer
Universitas Brawijaya
2626
Analisis Sentimen Tentang Kebijakan Ganjil Genap Kendaraan Bermotor di DKI Jakarta Pada Twitter Menggunakan BM25 dan K-Nearest Neighbor
Dwi Suci Ariska Yanti1, Indriati2, Putra Pandu Adikara3
Program Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1[email protected], 2[email protected], 3[email protected]
Abstrak
Kemacetan kerap terjadi di berbagai wilayah Indonesia, khususnya kota besar seperti Daerah Khusus Ibukota Jakarta. Berbagai strategi yang sudah dilakukan oleh Pemerintah Provinsi (Pemprov) DKI Jakarta untuk mengatasi kemacetan, salah satunya adalah sistem ganjil genap.Kemacetan yang terjadi terkadang membuat masyarakat khususnya masyarakat DKI Jakarta mengutarakan keluh kesahnya melalui media sosial yang ada di dunia maya. Salah satu media yang efektif untuk menyampaikan pendapat dan opini adalah Twitter, yang tergolong cepat untuk mengabarkan pengalaman yang dirasakan oleh masyarakat seluruh Indonesia. Dengan banyaknya pengguna disertai kemudahan pengaksesan Twitter dalam penyampaian opini, maka akan banyak data opini terkumpul yang kemudian bisa menjadi peluang untuk dimanfaatkan sebagai bahan evaluasi kebijakan ganjil genap di Daerah Khusus Ibukota Jakarta. Oleh karena itu, dibutuhkan suatu metode yang dapat memilah sentimen dari user. Apakah sentimen tersebut masuk dalam kelas positif atau kelas negatif. Dalam penelitian ini, penulis menggunakan metode BM25 dan K-Nearest Neighbor (KNN) sebagai klasifikasi. Berdasarkan hasil pengujian, sistem ini memiliki nilai F-Measure tertinggi sebesar 66,1% dan nilai akurasi sebesar 66,5%.
Kata kunci: analisis sentimen, kebijakan ganjil genap, Twitter, BM25, K-Nearest Neighbhor Abstract
Traffic congestion occurs in many places throughout Indonesia, especially in its capital region of Jakarta. Many strategies have been executed by the government of the capital region as a mean to solve the ongoing traffic congestion problem, one of them is the 'odd-even' policy. On the other note, the problem has inflicted a wide social media complains among Jakarta's residents. In this case, Twitter is considered as a relatively fast and effective social media platform to post opinions used by many Indonesians. Considering its large number of users and easy access to public's opinions, Twitter will have a lot of public’s opinions' data which can be used as a material to evaluate the 'odd-even' policy in the capital region of Jakarta. Therefore a method which can separate sentiment from user is needed.
It’s to answer whether the sentiment is categorized as positive or negative class. In this study, the researcher used BM25 method and K-Nearest Neighbor (KNN) as classifiers. The best test results for f- measure values are 66,1% while the results of accuracy is 66,5%.
Keywords: sentiment analysis, 'odd-even' policy, Twitter, BM25, K-Nearest Neighbor
1. PENDAHULUAN
Kemacetan kerap terjadi di berbagai wilayah Indonesia, khususnya kota besar seperti Daerah Khusus Ibukota Jakarta. Menurut Ketua Dewan Transportasi Kota Jakarta, Azaz Tigor Nainggolan, berpendapat bahwa kemacetan yang terjadi akhir-akhir ini di disebabkan oleh banyaknya pengguna kendaraan pribadi (Irmansyah, 2013). Berbagai strategi yang sudah
dilakukan oleh Pemerintah Provinsi (Pemprov) DKI Jakarta untuk mengatasi kemacetan, salah satunya adalah sistem ganjil genap. Namun, implementasi kebijakan sistem ganjil genap di ibu kota Jakarta dinilai menimbulkan keuntungan dan kerugian bagi masyarakat Daerah Khusus Ibukota Jakarta oleh Pengamat Kebijakan Publik dari Universitas Trisakti, Trubus Rahardiyansyah. Kebijakan ganjil genap dinilai tepat sebagai upaya mengurangi
kemacetan sekaligus memperbaiki sistem transportasi di ibu kota, sehingga tidak mementingkan kenyamanan saja, namun juga ketepatan waktu tempuh perjalanan (Munandar, 2018).
Kemacetan yang terjadi terkadang membuat masyarakat khususnya masyarakat DKI Jakarta mengutarakan keluh kesahnya melalui media sosial yang ada di dunia maya. Salah satu media yang efektif untuk menyampaikan pendapat dan opini adalah Twitter, yang tergolong cepat untuk mengabarkan pengalaman yang dirasakan oleh masyarakat seluruh Indonesia. Twitter memudahkan masyarakat untuk mengumpulkan opini dibandingkan survei ataupun penyebaran kuesioner. Dengan banyaknya pengguna disertai kemudahan pengaksesan Twitter dalam penyampaian opini, maka akan banyak data opini terkumpul yang kemudian bisa menjadi peluang untuk dimanfaatkan sebagai bahan evaluasi kebijakan ganjil genap di Daerah Khusus Ibukota Jakarta (Novantirani, Sabariah dan Effendy, 2015). Untuk memperoleh informasi atau kesimpulan dari data opini, dapat dilakukan pengolahan data dengan analisis sentimen yang dapat menjadi solusi permasalahan yang telah dijabarkan sebelumnya, yaitu dengan memisahkan opini ke dalam kelas positif dan negatif. Pada proses klasifikasi teks dibutuhkan metode pembobotan kata dan pemeringkatan dokumen. Terdapat beberapa algoritme yang dapat digunakan untuk proses pembobotan kata dan pemeringkatan dokumen, salah satu yang dapat digunakan adalah algoritme BM25. Algoritme BM25 adalah salah satu algoritme scoring yang sederhana dan telah terbukti sebagai baseline untuk fitur pemeringkatan (Robertson, 2009).
Salah satu penelitian yang menggunakan algoritme BM25 adalah deteksi duplikasi pada laporan bugs yang menghasilkan tingkat akurasi mencapai 90% (Yang et al., 2012). Pada penelitian sebelumnya telah dilakukan analisis sentimen terhadap Twitter dengan berbagai algoritme seperti Naïve Bayes, Support Vector Machine (SVM), K-Nearest Neighbor (KNN).
Terdapat kesimpulan metode K-Nearest Neighbor (KNN) menghasilkan tingkat akurasi paling baik dibandingkan metode lain yaitu sebesar 83,33% (Nurjanah, Perdana dan Fauzi, 2017). Berdasarkan permasalahan yang telah dijelaskan di atas dan penelitian yang telah dilakukan sebelumya maka diperlukannya sistem analisis sentimen opini kebijakan ganjil genap kendaraan bermotor di Daerah Khusus
Ibukota Jakarta pada Twitter menggunakan algoritme BM25 dan K-Nearest Neighbor (KNN). Penelitian ini menerapkan algoritme K- Nearest Neighbor (KNN) karena dalam penelitian yang sebelumnya dilakukan algoritme ini menghasilkan tingkat akurasi yang cukup baik. Penggabungan algoritme K-Nearest Neighbor (KNN) dan penambahan fitur BM25 diharapkan mampu memberikan nilai akurasi yang lebih tinggi dan dapat melakukan pengklasifikasian yang tepat, sehingga keluaran sistem dapat menjadi tolak ukur berapa tingkat kepuasan masyarakat terhadap kebijakan ganjil genap tersebut.
2. DASAR TEORI
2.1 Kebijakan Ganjil Genap
Kebijakan ganjil genap adalah satu konsep pembatasan kendaraan yang mengacu pada dua nomor terakhir pada pelat nomor kendaraan.
Setiap kendaraan yang melintas akan bergantian sesuai hari pemberlakukan angka terakhir pelat nomornya (Sari, 2012). Konsep sanksi bagi para pelanggar ini ditentukan dalam peraturan perundang-undangan, yaitu Peraturan Gubernur Provinsi daerah Khusus Ibukota Jakarta No. 106 Tahun 2018 (Peraturan Gubernur No. 106 tentang Pembatasan Lalulintas Dengan Sistem Ganjil-Genap).
2.2 Twitter
Twitter adalah situs jejaring sosial besar yang mengarah pada komunikasi cepat. Lebih dari 140 juta pengguna aktif mempublikasikan lebih dari 400 juta karakter “tweets” setiap hari.
Twitter telah menjadi media komunikasi yang penting bagi semua lapisan masyarakat. Twitter telah berperan penting dalam berbagai peristiwa sosial dan politik (Kumar, Morstatter dan Liu, 2013). Untuk pengambilan data Twitter menyediakan Aplication Programming Interface (API). Ada dua jenis API yang dapat digunakan REST API dan Streaming API. REST API digunakan untuk mengakses status dan user timeline. Streaming API digunakan untuk mengakses kata kunci, hashtags, ID pengguna, dan lokasi.
2.3 Text Mining
Text mining atau disebut juga bisa disebut penggalian data teks. Text Mining lebih menjurus pada bidang penelitian data mining.
Text mining dapat didefinisikan sebagai proses
Fakultas Ilmu Komputer, Universitas Brawijaya
analisis teks untuk mengekstrak informasi tertentu. Tujuan dari text mining adalah untuk mendapat informasi atau pendapat yang aktual dari sekumpulan data yang tidak terstruktur atau semi struktur seperti email, dokumen teks, file Hyper Text Markup Language (HTML) dan lain sebagainya (Kalra, 2015). Text mining dapat digunakan untuk menangani masalah klasifikasi, information extraction, clustering, dan information retrieval (Berry dan Kogan, 2010).
Pada text mining terdapat beberapa tahapan proses yang harus dilakukan, yaitu:
1. Pre-processing bertujuan untuk memecah kumpulan karakter atau kalimat menjadi kata.
2. Text Transformation yaitu bertujuan untuk mengubah kata yang berimbuhan menjadi kata dasar dan berguna untuk mengurangi perulangan kemunculan kata.
3. Feature Selection adalah unsupervised learning (clustering) atau supervised learning (classification).
4. Evaluation yaitu sebuah proses evaluasi metode yang menggunakan precision (mengukur tingkat efektifitas).
2.4 Text Pre-processing
Text pre-processing merupakan tahap pertama untuk melakukan klasifikasi teks. Text pre-processing adalah tahap yang mengubah text menjadi term index yang bertujuan untuk menghasilkan sebuah set term index yang bisa mewakili dokumen. Text pre-processing meliputi tokenisasi, case folding, stopword removal dengan menggunakan stopword tala, dan stemming yang menggunakan stemmer Sastrawi (Sun et al., 2014).
2.5 BM25
Metode BM25 memiliki fungsi yaitu menghitung 3 faktor dalam penentuan peringkat dokumen terhadap term. Faktor pertama adalah Term Frequency (TF). Semakin besar nilai TF dalam sebuah dokumen, maka nilai fungsi peringkat suatu dokumen semakin besar. Term Frequency (TF), yaitu jumlah kemunculan suatu term yang dicari dalam sebuah dokumen. Faktor kedua adalah Invers Document Frequency Of Term (IDF), yaitu nilai invers dari total dokumen yang berisi kata yang dicari, artinya semakin besar nilai IDF maka semakin banyak kata yang dibuat dalam dokumen tersebut. Faktor ketiga adalah panjang dokumen, yaitu banyaknya kata dalam dokumen tertentu (Tjandra dan Widiasri, 2016).
Fungsi BM25 untuk memberi peringkat dari N dokumen didefinisikan sebagai Persamaan 1 (Russell dan Norvig, 2010).
𝑩𝑴𝟐𝟓(dj,q1:N)=∑𝑵𝒊=𝟏𝑰𝑫𝑭(𝒒𝒊) 𝑻𝑭(𝒒𝒊,𝒅𝒋).(𝒌+𝟏) 𝑻𝑭(𝒒𝒊,𝒅𝒋)+𝒌.(𝟏−𝒃+𝒃.|𝒅𝒋|
𝑳) (1) Dengan L dijabarkan pada Persamaan 2
𝑳 = ∑ 𝒊|𝒅𝒊|𝑵 (2)
Adapun fungsi IDF dapat dilihat pada Persamaan 3
IDF(qi) = 𝐥𝐨𝐠𝑵−𝑫𝑭(𝒒𝒊)+𝟎,𝟓
𝑫𝑭(𝒒𝒊)+𝟎,𝟓
(3)
Keterangan:
Qi adalah term yang dicari, |dj| adalah panjang dokumen dj, DF(qi) adalah jumlah dokumen yang berisi qi, TF(qi,dj) adalah jumlah kemunculan kata qi dalam sebuah dokumen dj, IDF(qi) adalah nilai invers dari total dokumen yang berisi kata qi, L adalah rata-rata panjang dokumen dari N dokumen, k konstanta untuk evaluasi yang memiliki rentan 1,2 sampai 2, b ketetapan konstanta dengan rentan nilai 0,75 sampai 0,8.
2.5 K-Nearest Neighbor (KNN)
K-Nearest Neighbor
(K-NN) merupakan instance-based learning, yang mana data training disimpan sehingga klasifikasi untuk data baru dapat ditemukan dengan membandingkan tingkat kemiripan yang paling banyak dalam data training.
Dengan cara mencari nilai kedekatannya dengan menggunakan fungsi yang ada pada BM25, kemudian dilakukan pengurutan dari nilai yang terbesar ke yang terkecil setelah itu diambil nilai berdasarkan nilak k (Florin, 2011)
3. METODOLOGI
Sistem analisis sentimen tentang opini kebijakan ganjil genap kendaraan bermotor di Daerah Khusus Ibukota Jakarta pada Twitter menggunakan algoritme BM25 dan K-Nearest Neighbor (K-NN) memberikan tujuan untuk meyelesaikan permasalahan dalam menganalisis tingkat kepuasan masyarakat terhadap kebijakan tersebut. Data yang akan dilakukan klasifikasi berbentuk dokumen tweet yang didapatkan dari Aplication Programming Interface (API). Proses awal yang akan dilakukan adalah proses klasifikasi yang akan dimulai dari pre-
processing. Dalam proses pre-processing akan dilakukan tahapan-tahapan antara lain tokenisasi, case folding, stopword removal, stemming. Proses selanjutnya adalah dilakukan pembobotan kata, dalam proses ini dilakukan dengan beberapa proses yaitu mulai dari perhitungan Term Frequency (TF), dan dilanjutkan dengan perhitungan Invers Document Frequency (IDF) yang diambil dari algoritme BM25. Setelah dilakukan proses pembobotan kata lalu dilanjutkan dengan proses perhitungan BM25 untuk menghitung tingkat kemiripan dokumen. Setelah dilakukan proses perhitungan BM25 lalu masuk dalam proses klasifikasi dokumen menggunakan algoritme K- Nearest Neighbor (KNN). Setelah semua proses perhitungan selesai akan didapatkan dokumen yang bernilai positif atau negatif sebagai hasil keluaran dari sistem. Data yang telah didapatkan akan dilakukan evaluasi dengan menggunakan confusion matrix, dan k-fold.
4. PENGUJIAN DAN ANALISIS
Pada penelitian ini pengujian akan dilakukan 2 tahap pengujian. Proses pengujian yang akan dilakukan yaitu dengan nilai k-fold dan pengaruh nilai k pada klasifikasi KNN yang bertujuan untuk mengetahui pengaruh nilai akurasi pada sistem. Pengujian tersebut dilakukan bertujuan untuk mengetahui pengaruh tingkat akurasi sistem dengan menggunakan accuracy, precision, recall, f-measure.
Pengujian akan dilakukan sebanyak 4-fold.
Pengujian dilakukan pada data uji dan data latih yang telah dilakukan pre-processing yaitu proses tokenisasi, case folding, stopword removal, stemming. Data yang digunakan dalam penelitian ini akan dibagi menjadi empat kombinasi data yang berbeda-beda setiap kombinasinya. Setiap kombinasi data uji yang akan digunakan berjumlah 100 data dari kombinasi kelas positif dan negatif. Kombinasi data latih yang akan dilakukan berjumlah 300 data yang terdiri dari 150 data dari kelas negatif dan 150 data dari kelas positif.
4.1
Rata-rata Hasil Precision, Recall, F- measure, dan AccuracyHasil rata-rata precision, recall, f-measure, dan accuracy yang didapat setelah dilakukan proses pengujian dengan k-fold untuk setiap nilai k terdapat pada Tabel 5.
Tabel 1. Hasil Rata-Rata Hasil Precision, Recall, F- measure, dan Accuracy
Nilai K
Precisio
n Recall F- measur
e
Accurac y
2 0,533 0,530 0,516 0,530 3 0,580 0,578 0,575 0,578 5 0,595 0,590 0,574 0,590 11 0,564 0,548 0,608 0,565 20 0,671 0,665 0,661 0,665 30 0,672 0,663 0,657 0,663 40 0,673 0,658 0,650 0,658 50 0,630 0,613 0,598 0,613 100 0,642 0,585 0,545 0,585 150 0,648 0,610 0,556 0,610
Pada Tabel 1 menunjukkan hasil rata-rata yang terbaik adalah pada saat nilai K=20 dengan nilai rata-rata precision = 0,671, nilai rata-rata recall = 0,665, nilai rata-rata f-measure = 0,661, dan nilai rata-rata accuracy = 0,665.
1.1 Analisis dan Pembahasan
Gambar 1. Hasil Rata-Rata Hasil Precision, Recall, F-measure, dan Accuracy
Hasil dari seluruh proses pengujian, dapat diketahui bahwa nilai K berpengaruh dalam proses klasifikasi dengan algoritme K-Nearest Neighbor (KNN). Hasil rata-rata yang didapat tidak selalu memiliki hasil yang baik, itu dikarenakan kurangnya data yang digunakan sebagai learning sehingga term unik yang disimpan tidak cukup banyak. Pada saat proses penghapusan stopword juga memengaruhi, contohnya pada “tidak setuju” dalam daftar stopword kata “tidak” adalah termasuk kata yang dihilangkan, jadi dalam data uji tersebut hanya memiliki kata “setuju”, dan itu berpengaruh pada saat perhitungan IDF BM25. Hasil terbaik terdapat pada percobaan pertama atau k-fold 1 dengan menghasilkan nilai f-measure = 0,750, dan nilai accuracy = 0,750, ini dikarenakan
Fakultas Ilmu Komputer, Universitas Brawijaya
kombinasi data uji yang digunakan memilliki pola yang terdapat pada data training. Hasil rata- rata akurasi pada nilai k dapat dilihat pada Gambar 1. Dalam Gambar 1 diketahui rata-rata nilai f-measure masih cenderung stabil. Hasil akurasi yang tertinggi pada saat nilai K = 20 yakni sebesar 66,5%.
Tabel 2. Hasil Pengujian Tanpa Stopword
Metrik Dengan Stopword
Tanpa Stopword
Menggunakan Stopword yang telah dipilih Precision 0,671 0,683 0,730
Recall 0,665 0,680 0,730
F-measure 0,661 0,679 0,730 Accuracy 0,665 0,680 0,730
Tabel 6 dapat membuktikan bahwa proses stopword removal berpengaruh tehadap hasil akurasi pada sistem. Pada saat proses pengujian dengan menggunakan 4-fold yang terbaik yaitu 4-fold ke 1 dan menggunakan nilai K=20, maka dihasilkan nilai precision, recall, f-measure, dan accuracy lebih baik. Nilai f-measure yang dihasilkan sebesar 0,679 dan nilai accuracy yang dihasilkan sebesar 0,680
.
Pada saat menggunakan daftar stopword yang telah dipilih nilai precision, recall, f-measure, dan accuracy lebih baik daripada tanpa menggunakan stopword. Nilai f-measure yang dihasilkan yaitu sebesar 0,730 dan nilai accuracy yang dihasilkan sebesar 0,730. Berarti proses stopword removal juga berpengaruh pada tingkat akurasi sitem.Gambar 2. Hasil Perbandingan Pengujian Stopword Antara pengujian dengan menggunakan stopword removal dan tanpa menggunakan stopword removal hasil yang didapat tidak terlalu baik, itu diebabkan karena pada datah latih dan data uji banyak kata yang berulang, contohnya adalah kata “ganjil genap”. Sebagian
besar data latih dan data uji memiliki kata “ganil genap”, itu menyebabkan hasil perhitungan BM25 menghasilkan nilai negatif.
5. KESIMPULAN
Algoritme BM25 dan K-Nearest Neighbor (KNN) dapat digunakan untuk merancang analisis sentimen kebijakan ganjil genap yang dimulai dari proses pre-processing yang terdiri dari beberapa proses yaitu proses tokenisasi, case folding, stopword removal, dan stemming.
Setelah proses pre-processing akan dilakukan proses perhitungan BM25 setelah itu dilakukan proses klasifikasi dengan menggunakan KNN sampai dengan evaluasi dengan menggunakan k- fold.
Algoritme tersebut menghasilkan akurasi tertinggi sebesar 66,5% dengan nilai f-measure 66,1% yang merupakan nilai rata-rata dari 4 percobaan menggunakan komposisi data yang tidak sama. Hasil terbaik terdapat pada percobaan pertama atau k-fold 1 dengan nilai K=20 dan menghasilkan nilai f-measure = 0,750, dan nilai accuracy = 0,750. Hasil rata- rata yang didapat tidak selalu memiliki hasil yang baik, itu dikarenakan kurangnya data yang digunakan sebagai learning sehingga term unik yang disimpan tidak cukup banyak. Pada saat proses penghapusan stopword juga memengaruhi, contohnya pada “tidak setuju”
dalam daftar stopword kata “tidak” adalah termasuk kata yang dihilangkan, jadi dalam data uji tersebut hanya memiliki kata “setuju”, dan itu berpengaruh pada saat perhitungan IDF BM25.
Proses stopword removal berpengaruh tehadap hasil akurasi pada sistem. Pada saat proses pengujian dengan menggunakan 4-fold yang terbaik yaitu 4-fold ke 1 dan menggunakan nilai K=20, maka dihasilkan nilai precision, recall, f- measure, dan accuracy lebih baik.
Nilai k sangat berpengaruh pada tingkat akurasi sistem. Grafik yang dihasilkan mengalami fluktuatif, itu berarti nilai k berpengaruh terhadap tingkat akurasi sistem.
6. DAFTAR PUSTAKA
Berry, M.W. dan Kogan, J., 2010. Text Mining Applications and Theory. 2 ed. USA:
WILEY.
Florin, G., 2011. Data Mining Concept, Models and Techniques. Volume12 ed. [daring]
Poland: Springer. Tersedia pada:
<Springer.com>.
Irmansyah, A., 2013. Perbincangan. [daring]
KBR. Tersedia pada:
<http://kbr.id/berita/perbincangan/2 897988_4215.html>.
Kalra, P., 2015. TEXT MINING : CONCEPTS , PROCESS AND APPLICATIONS Available Online At Www.Jgrcs.Info TEXT MINING : CONCEPTS , PROCESS AND APPLICATIONS. (March 2013), hal.35–39.
Kumar, S., Morstatter, F. dan Liu, H., 2013.
Twitter Data Analytics. Springer, hal.89.
Munandar, A., 2018. dampak positif dan negatif kebijakan ganjil genap. [daring]
AKURAT.co. Tersedia pada:
<https://m.akurat.co/id-248517-read- dampak-positif-dan-negatif-kebijakan- ganjil-genap >.
Novantirani, A., Sabariah, M.K. dan Effendy, V., 2015. Analisis Sentimen pada Twitter untuk Mengenai Penggunaan Transportasi Umum Darat Dalam Kota dengan Metode Support Vector Machine. 2(1), hal.1–7.
Nurjanah, W.E., Perdana, R.S. dan Fauzi, M.A., 2017. Analisis Sentimen Terhadap Tayangan Televisi Berdasarkan Opini Masyarakat pada Media Sosial Twitter menggunakan Metode K-Nearest Neighbor dan Pembobotan Jumlah Retweet. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, [daring] 1(12), hal.1750–1757. Tersedia pada: <http://j-ptiik.ub.ac.id/index.php/j- ptiik/article/view/631>.
Peraturan Gubernur No. 106 tentang Pembatasan Lalulintas Dengan Sistem Ganjil-Genap.
Robertson, S., 2009. Relevance Framework : The Probabilistic Relevance Framework : BM25 and Beyond. 3.
Russell, S. dan Norvig, P., 2010. Artificial Intellegence A Modern Apporoach. 3rd Editio ed. [daring] New Jersey:
PEARSON. Tersedia pada:
<www.pearsonhighered.com>.
Sari, H.., 2012. apa itu sistem ganjil genap.
[daring] Merdeka.com. Tersedia pada:
<https://www.merdeka.com/jakarta/apa- itu-sistem-ganjil-genap.html > [Diakses 1 Sep 2018].
Sun, F., Belatreche, A., Coleman, S., McGinnity, T.M. dan Li, Y., 2014. Pre-processing online financial text for sentiment
classification: A natural language processing approach. 2014 IEEE Conference on Computational Intelligence for Financial Engineering &
Economics (CIFEr), [daring] (1), hal.122–129. Tersedia pada:
<http://www.scopus.com/inward/record.u rl?eid=2-s2.0-
84908127719&partnerID=tZOtx3y1>.
Tjandra, E. dan Widiasri, M., 2016. Sistem Repositori Tugas Akhir Mahasiswa dengan Fungsi Peringkat Okapi BM25.
Journal of Information Systems Engineering and Business Intelligence, [daring] 2(2), hal.88. Tersedia pada:
<http://e-
journal.unair.ac.id/index.php/JISEBI/arti cle/view/1475>.
