1
Judul : Sistem Penilaian Otomatis Jawaban Essay Menggunakan Metode Cosine Measure Pada Sistem E-Learning
Oleh : Lukman Hakim NIM : 1010651098 Fakultas : Teknik
Jurusan : Teknik Informatika
SISTEM PENILAIAN OTOMATIS JAWABAN ESSAY MENGGUNAKAN
METODE COSINE MEASURE PADA SISTEM E-LEARNING
ABSTRAK
Pengajar biasanya melakukan penilaian jawaban essay secara manual dari sejumlah besar peserta didik dalam setiap periode evaluasi tertentu seperti evaluasi pertengahan semester dan akhir semester.
Penilaian manual ini membutuhkan banyak waktu, tenaga, dan biaya. Disamping itu jawaban essay memiliki model jawaban secara bebas dalam bahasa alami sehingga kesulitan dalam mengekstrak logika dan memahami obyektifitas dari masing-masing jawaban essay. Oleh karena itu, diperlukan suatu sistem penilaian otomatis menggunakan metode cosine measure.
Metode ini dibantu oleh thesaurus Wordnet
untuk mempertimbangkan aspek kesamaan kata (synonym). Keduanya digunakan untuk mengetahui tingkat kemiripan antara jawaban pengajar dengan jawaban dari masing-masing peserta didik. Uji coba dilakukan terhadap data sintesis berupa data kuisioner jawaban essay siswa dalam bahasa inggris pada mata pelajaran tertentu.
Skenario pengujian melibatkan Wordnet dan tanpa Wordnet untuk mengetahui nilai precision dan recall.
Kata kunci: Penilaian, Cosine Measure, Wordnet.
2 AUTOMATED ESSAY SCORING
SYSTEM USING COSINE MEASURE METHOD IN E-LEARNING SYSTEM
Abstract
Teachers usually make an assessment essay answers manually from a large number of learners in any given evaluation period as the evaluation of mid-semester and final semester. Assessment of this manual requires a lot of time, effort, and cost.
Besides it has a model answer essay answers freely in natural language so that the difficulty in extracting the logic and understand the objectivity of each essay answer. Therefore, required an automatic scoring system using the cosine measure.
This method is assisted by a thesaurus WordNet to take into account the similarity of words (Synonym). Both are used to determine the level of similarity between the teacher answers with the answers from each student. Trials conducted on the synthesis of data in the form of data questionnaire answers student essay in English on the subject. Test scenarios involving Wordnet and without wordnet to know the value of precision and recall.
Key word : Assessment, Cosine Measure, Wordnet.
2
PENDAHULUAN
1.1 Latar Belakang
Ujian dapat dilakukan secara online mulai dari menjawab soal ujian hingga proses penilaian. Pengajar biasanya melakukan penilai jawaban essay secara manual dari sejumlah besar peserta didik dalam setiap periode evalusi tertentu seperti evaluasi pertengahan semester dan akhir semester. Penilaian manual ini membutuhkan banyak waktu, tenaga, dan biaya. Disamping itu jawaban essay memiliki model jawaban secara bebas dalam bahasa alami sehingga kesulitan dalam mengekstrak logika dan memahami obyektifitas dari masing-masing jawaban essay. Semakin banyak jumlah jawaban essay yang dikoreksi maka kualitas penilaian yang diberikan semakin menurun sehingga penilaiannya kurang objektif dan efektif.
Sistem temu kembali informasi memberikan alternatif metode similarity seperti metode cosine measure, jaccard measure dan probabilistik. Cosine measure dipilih sebagai metode penyelesaian penilaian essay karena kompatibilitasnya
dengan library apache lucene dan wordnet.
Apache lucene merupakan library indexing dan searching jawaban pengajar dan jawaban para peserta didik. Wordnet merupakan theasurus bahasa inggris yang mampu mendapatkan relasi kesamaan kata (synonym). Relasi synonym ini penting untuk dipertimbangkan agar setiap kata yang memiliki arti yang sama tetapi berbeda kata tidak dianggap kata yang berbeda.
Berdasarkan uraian permasalahan dan metode penyelesaiannya maka penelitian ini mengusulkan suatu sistem penilaian Otomatis jawaban essay menggunakan metode cosine measure pada sistem e-Learning. Sistem ini digunakan untuk menilai ujian dalam bentuk jawaban essay. Pengujian sistem ini dilakukan pada penilaian jawaban essay mata pelajaran tertentu di tingkat Sekolah Menengah Kejuruan (SMK).
1.2 Perumusan Masalah
1. Bagaimana proses pengukuran tingkat kemiripan jawaban essay pada sistem e-Learning menggunakan cosine measure.
2. Bagaimana penerapan sistem penilaian otomatis ke dalam sistem e-Learning SMK.
3. Bagaimana mengetahui kinerja sistem penilaian otomatis
3 berdasarkan nilai precision dan recall dari skenario pengujian melibatkan Wordnet dan tanpa Wordnet
1.3 Batasan Masalah
1. Jawaban essay yang dinilai dalam sistem ini menggunakan bahasa inggris.
2. Data uji coba yang digunakan adalah data hasil ujian essay secara online pada mata pelajaran Bahasa Inggris di Jurusan Rekayasa Perangkat Lunak SMKN 1 Tanggul
3. Tipe jawaban essay yang dinilai dalam sistem ini bersifat definitive (uraian tentang definisi atau pengertian dari suatu objek tertentu).
4. Aplikasi e-learning yang digunakan adalah moodle.
1.4 Tujuan dan Manfaat Penelitian
Tujuan dari penelitian ini sebagai berikut.
1. Membangun suatu sistem penilaian otomatis jawaban essay pada sistem e-learning dengan mengimplementasikan pengukuran cosine measure.
2. Mengintegrasikan sistem penilaian otomatis jawaban essay pada sistem e-learning.
3. Mengetahui kinerja sistem penilaian otomatis berdasarkan nilai precision dan recall dari skenario pengujian melibatkan Wordnet dan tanpa Wordnet.
Manfaat dari penelitian ini sebagai berikut.
1. Membantu pengajar dalam memberikan penilaian jawaban essay siswa secara objektif dan efektif.
2. Mengurangi waktu, tenaga serta biaya yang harus dikeluarkan pengajar dalam melakukan penilaian.
4
METODE PENELITIAN
2.1 Metodologi
Pada penelitian ini, langkah-langkah yang dilakukan sebagai berikut.
1. Studi Literatur
Tahap ini untuk mendapatkan informasi dari literatur dan analisis tentang sistem temu kembali informasi, metode cosine measure serta model-model pembobotan yang digunakan pada penelitian sebelumnya. Disamping itu dipelajari juga penerapan metode cosine measure pada model vector space, dan thesaurus WordNet. Hasil studi literatur diuraikan secara rinci dalam bab 2.
2. Rancangan dan Arsitektur Sistem Tahap ini membuat rancangan dan arsitektur sistem penilaian essay otomatis. Rancangan ini berisi gambaran sistem, langkah dan proses implementasinya. Hasil tahap ini diuraikan secara rinci dalam bab 3.
3. Implementasi
Tahap ini menerjemahkan rancangan menjadi kode program berupa kakas bantu untuk penyelesaian masalah.
Kakas bantu ini menerapkan arsitektur sistem penilaian otomatis.
4. Evaluasi dan Uji Coba
Tahap ini untuk mengetahui kinerja dari penggunaan metode cosine measure yang diajukan. Uji coba dilakukan terhadap e-Learning moodle. Berbagai skenario pengujian dilakukan untuk mendapatkan perbandingan metrik recall dan precision.
2.2 Rancangan dan Arsitektur Sistem
Jawaban Siswa (text)
Kunci Jawaban Guru (text)
Database Sinonim
Database Moodle Input
Membandingkan Jawaban Dengan Kunci
Jawaban (Similarity) Text
preprocessin
Penilaian
Nilai Akhir
Proses
Output
5 Gambar 3.1 Desain Arsitektur Sistem Penilaian Otomatis Jawaban Essay.
3.3 Tahapan penilaian 3.3.1 Praproses
Dalam penelitian ini dilakukan praproses meliputi tokenisasi, stopword removal dan stemming.
Proses tokenisasi melakukan pemotongan kalimat menjadi kata (term).
Kemudian kata-kata yang dihasilkan dibandingkan dengan daftar stoplist untuk menghilangkan kata atau tanda baca yang tidak relevan. Proses ini disebut stopword removal sehingga kata yang tidak relevan sebagai kata kunci akan dihilangkan. Selanjutnta akan dilakukan proses Stemming untuk membentuk kata dasar.
Proses ini ditunjukkan dalam Gambar 3.2.
Gambar 3.2 Blok Diagram Praproses.
3.3.2 Proses Similarity Setelah dokumen menjalani proses tokenisasi, remove removal, dan stemming, maka akan didapatkan daftar kata dari dokumen tersebut.
Digunakan perhitungan dimana normalisasinya dilakukan pada saat pembobotan. Langkah- langkahnya adalah sebagai berikut :
3.3.2.1 Metode Term Frequency (tf) Membuat daftar kata dari dokkumen dan menghitung frekuensi kemunculannya.
Tokenisasi Stopword Removal
Stemming key_answer
answer
6 Tabel 3.1. Daftar frekuensi kata
(term frequency)
documents term Tf
Dok_1 T1 1
T2 2
T3 3
Dok_2 T2 3
T3 2
T4 1
3.3.2.2 Metode Invers Document Frequency (idf) Perhitungan idf
mengacu pada
persamaan 3, sehingga berdasarkan daftar kata pada tabel 1 dapat dihitung idf untuk tiap kata-nya, sebagai berikut :
Hubungan term TI pada Dok_1 dan Dok_2 : = log (2/1) + 1 = 0,301 + 1 = 1,301
Sehingga
dengan cara yang sama untuk semua kata yang
lain, akan didapatkan hasilnya seperti tabel 2.
Tabel 3.2. Hasil perhitungan idf
term Tf T1 1,301
T2 1
T3 1
T4 1,301
3.3.2.3 Metode TF – IDF
Pembobotan dengan metode tf – idf, dilakukan dengan mengalikan hasil pembobotan antara metode tf dengan idf seperti persamaan 6.
Sehingga akan didapat bobot masing-masing term seperti pada tabel 3.3.
7 Tabel 3.3. Perhitungan bobot tf – idf
documents term tf * idf
Dok_1 T1 1,301
T2 2
T3 3
Dok_2 T2 3
T3 2
T4 1,301
3.3.3 Perhitungan tingkat similarity dengan Cosine Measure
Berdasarkan
persamaan 9 yang telah dirumuskan sebelumnya, maka tingkat kemiripan antar dokumen bisa didapatkan dengan membandingkan antara kedua dokumen yang bersesuaian dengan menggunakan persamaan sebagai berikut [salton, 1988]:
similarity( )
=
Sehingga tingkat similarity antara dokumen 1 dengan dokumen 2 sebesar 0,8167376. Dengan demikian tinggal ditentukan batas nilai similarity yang akan digunakan sebagai parameter penentuan bahwa sebuah dokumen dikatakan memiliki isi yang setara dengan dokumen yang lain.
3.3.4 Data Pengujian Precision dan Recall
Soal 1 : Explain what is meant information technology ?
Jawaban Kunci : Information technology is a general term describes any technology that help people.
Jawaban Siswa01 : Information techonology is a general term. Score : 0.50
8 Jawaban Siswa02 : Term General a is technology Information.
Score : 0.50
Jawaban Siswa03 : Information techonology is a general term. Score 0.50
Jawaban Siswa04 : Term information general a is tecnologyany describes people help. Score : 0.80 Jawaban Siswa05 :
Information technology is a general term that describes technology people. Score : 0.80
Langkah selanjutnya mencari nilai ambang batas/ threshold dari ketiga nilai Siswa.
Threshold : (0.50 + 0.50 + 0.50 + 0.80 + 0.80) / 3 = 0.62
Menurut threshold yang didapatkan, hasilnya bisa dilihat di Tabel 4.3.
Tabel 3.4 Kategori kebenaran berdasarkan nilai Threshold Benar 0.80 0.80
Salah 0.50 0.50 0.50
Untuk mengetahui tingkat akurasi nilai tersebut membutuhkan beberapa
pengujian salah satunya precision dan recall.
Penjabaran Rumus :
Precision = Jumlah nilai benar “relevan”, Terambil
“retrieve” / (Jumlah nilai benar “relevan”, Terambil
“retrieve” + Jumlah Nilai Tidak Benar “not relevan”, terambil “retrieve”)
Recall = Jumlah nilai benar
“relevan”, Terambil
“retrieve” / (Jumlah nilai benar “relevan”, Terambil
“retrieve” + jumlah nilai benar “relevan”, tidak terambil “not retrieve”) Pengujian ini membutuhkan bantuan seorang pakar dalam hal ini guru untuk melakukan penilaian secara manual.
Hasil dari perhitungan manual pakar bisa di lihat di Tabel 3.5.
Tabel 3.5 Tingkat akurasi berdasarkan pengujian precision dan
recall
9
Relevan Not Relevan
Precision Recall
Retrieve 1 1
50 33.34 Not
Retrieve
2 1
3.4 Desain Sistem 3.4.1 Use Case 3.4.2
Gambar 3.3 Use case diagram
3.4.3 Activity Diagram 3.4.2.1 Proses perhitungan
Gambar 3.4 Proses Perhitungan
3.4.2.2 Input Nilai
Gambar 3.5 Input Nilai
3.4.2.3 Baca DB
Gambar 3.6 Baca DB
Jawaban Pelajar Jawaban Kunci
Load DB
10 3.4.4 Sequence Diagram
Gambar 3.7 Sequence Diagram
3.4.5 State Chart
Gambar 3.8 State Chart
3.4.6 Collaboration Diagram
Gambar 3.9 Collaboration Diagram
11 3.4.7 Class Diagram
Gambar 3.10 Kelas Diagram
12
HASIL DAN PEMBAHASAN
Bab ini akan membahas tentang hasil evaluasi uji coba. Pembahasan terdiri dari lingkungan uji coba, skenario yang melibatkan wordnet dan tanpa wordnet untuk mengetahui nilai precision dan recall dan evaluasi hasil uji coba untuk mengetahui tingkat kemiripan antara jawaban pengajar dengan jawaban dari masing-masing peserta didik.
4.1. Lingkungan Uji Coba
Lingkungan uji coba pada penelitian ini meliputi perangkat keras dan perangkat lunak dengan spesifikasinya ditunjukkan dalam Tabel 4 dan 5 sebagai berikut :
Tabel 4.1 Spesifikasi Perangkat Keras
No Nama Spesifikasi
1 Processor Intel Core 2 Duo 2 Memori 2.00 GB
3 Harddisk 350 GB
4 Merk Satellite C600 Toshiba
Tabel 4.2. Spesifikasi Perangkat Lunak
No Nama Spesifikasi
1 Sistem Operasi Windows 7 Ultimate 32 bit OS
2 GUI
Development
JDK 6.18, Java NetBeans 7.1.2 3 Library Apache Lucene 3.0,
RitaWordnet
4 Database MySQL Server 5 Web Server XAMPP
4.2. Skenario Uji Coba
Pada penelitian ini digunakan dua jenis data yaitu 5 jawaban kunci (pengajar) dan 40 jawaban siswa untuk masing-masing jawaban kunci dari pengajar sehingga total jawaban siswa adalah 200. Kedua jenis data tersebut berasal dari database e-Learning moodle. Data ini dilakukan praproses (tokenisasi, stopword removal,stemming), pembobotan tf - idf dan pengukuran derajat kemiripan cosine. Pengujian ini melibatkan aspek kesamaan kata (synonym) dan juga tanpa synonym untuk mengetahui besarnya pengaruh dari synonym. Nilai ambang batas (threshold) diambil dari rata-rata scoring untuk menunjukkan nilai yang memiliki kebenaran lebih tinggi atau tidak. Threshold ini dilakukan untuk mengetahui nilai precision dan recall.
4.3. Evaluasi Hasil Uji Coba
4.3.1 Nilai Cosine Tanpa Wordnet
13 Tabel 4.3. Soal 1 dengan 40 jawaban Siswa
Tanpa Wordnet
Soal 1
S 1 2 3 4 5 6 7 8 9 1 1 1 1
N 0 0 0 0 0 0 0 0 0 0 0 0 0
S 1 1 1 1 1 1 2 2 2 2 2 2 2
N 0 0 0 0 0 0 0 0 0 0 0 0 0
S 2 2 2 3 3 3 3 3 3 3 3 3 3
N 0 0 0 0 0 0 0 0 0 0 0 0 0
S 4 N 0
Gambar 4.1. Grafik Soal 1 dengan 40 Jawaban Siswa Tanpa Wordnet
Tabel 4.4. Soal 2 dengan 40 jawaban Siswa Tanpa Wordnet
Soal 2
S 1 2 3 4 5 6 7 8 9 1 1 1 1
N 1 0 0 0 0 0 0 0 0 0 1 0 0
S 1 1 1 1 1 1 2 2 2 2 2 2 2
N 0 0 0 0 0 0 0 1 0 0 0 0 0
S 2 2 2 3 3 3 3 3 3 3 3 3 3
N 0 0 0 0 1 0 0 0 0 0 0 0 0
S 4 N 0
Gambar 4.2.Grafik Soal 2 dengan 40 Jawaban Siswa Tanpa Wordnet
Tabel 4.5. Soal 3 dengan 40 jawaban Siswa Tanpa Wordnet
Soal 3
S 1 2 3 4 5 6 7 8 9 1 1 1 1
N 1 0 0 0 0 0 0 0 0 0 1 0 0
S 1 1 1 1 1 1 2 2 2 2 2 2 2
N 0 0 0 0 0 0 0 1 0 0 0 0 0
S 2 2 2 3 3 3 3 3 3 3 3 3 3
N 0 0 0 0 1 0 0 0 0 0 0 0 0
S 4 N 0
Gambar 4.3. Grafik Soal 3 dengan 40 Jawaban Siswa Tanpa Wordnet
14 Tabel 4.6. Soal 4 dengan 40 jawaban Siswa
Tanpa Wordnet
Soal 4
S 1 2 3 4 5 6 7 8 9 1 1 1 1
N 1 0 0 0 0 0 0 0 0 0 1 0 0
S 1 1 1 1 1 1 2 2 2 2 2 2 2
N 0 0 0 0 0 0 0 1 0 0 0 0 0
S 2 2 2 3 3 3 3 3 3 3 3 3 3
N 0 0 0 0 1 0 0 0 0 0 0 0 0
S 4 N 0
Gambar 4.4. Grafik Soal 4 dengan 40 Jawaban Siswa Tanpa Wordnet Tabel 4.7. Soal 5 dengan 40 jawaban Siswa
Tanpa Wordnet
Soal 5
S 1 2 3 4 5 6 7 8 9 1 1 1 1
N 1 0 0 0 0 0 0 0 0 0 1 0 0
S 1 1 1 1 1 1 2 2 2 2 2 2 2
N 0 0 0 0 0 0 0 1 0 0 0 0 0
S 2 2 2 3 3 3 3 3 3 3 3 3 3
N 0 0 0 0 1 0 0 0 0 0 0 0 0
S 4 N 0
Gambar 4.5 Grafik Soal 5 dengan 40 Jawaban Siswa Tanpa Wordnet
4.3.2 Nilai Cosine Menggunakan Wordnet
Tabel 4.8. Soal 1 dengan 40 jawaban Siswa Menggunakan Wordnet
Soal 1
S 1 2 3 4 5 6 7 8 9 1 1 1 1
N 0 0 0 0 0 0 0 0 0 0 0 0 0
S 1 1 1 1 1 1 2 2 2 2 2 2 2
N 0 0 0 0 0 0 0 0 0 0 0 0 0
S 2 2 2 3 3 3 3 3 3 3 3 3 3
N 0 0 0 0 0 0 0 0 0 0 0 0 0
S 4 N 0
Gambar 4.6. Grafik Soal 1 dengan 40 Jawaban Siswa Menggunakan Wordnet
15 Tabel 4.9. Soal 2 dengan 40 jawaban Siswa
Menggunakan Wordnet
Soal 2
S 1 2 3 4 5 6 7 8 9 1 1 1 1
N 1 0 0 0 0 0 0 0 0 0 1 0 0
S 1 1 1 1 1 1 2 2 2 2 2 2 2
N 0 0 0 0 0 0 0 1 0 0 0 0 0
S 2 2 2 3 3 3 3 3 3 3 3 3 3
N 0 0 0 0 1 0 0 0 0 0 0 0 0
S 4 N 0
Gambar 4.7. Grafik Soal 2 dengan 40 Jawaban Siswa Menggunakan Wordnet Tabel 4.10. Soal 3 dengan 40 jawaban Siswa
Menggunakan Wordnet
Soal 3
S 1 2 3 4 5 6 7 8 9 1 1 1 1
N 1 0 0 0 0 0 0 0 0 0 1 0 0
S 1 1 1 1 1 1 2 2 2 2 2 2 2
N 0 0 0 0 0 0 0 1 0 0 0 0 0
S 2 2 2 3 3 3 3 3 3 3 3 3 3
N 0 0 0 0 1 0 0 0 0 0 0 0 0
S 4 N 0
Gambar 4.8 Grafik Soal 3 dengan 40 Jawaban Siswa Menggunakan Wordnet
Tabel 4.11. Soal 4 dengan 40 jawaban Siswa Menggunakan Wordnet
Soal 4
S 1 2 3 4 5 6 7 8 9 1 1 1 1
N 1 0 0 0 0 0 0 0 0 0 1 0 0
S 1 1 1 1 1 1 2 2 2 2 2 2 2
N 0 0 0 0 0 0 0 1 0 0 0 0 0
S 2 2 2 3 3 3 3 3 3 3 3 3 3
N 0 0 0 0 1 0 0 0 0 0 0 0 0
S 4 N 0
Gambar 4.9. Grafik Soal 4 dengan 40 Jawaban Siswa Menggunakan Wordnet
16 Tabel 4.12. Soal 5 dengan 40 jawaban Siswa
Menggunakan Wordnet
Soal 5
S 1 2 3 4 5 6 7 8 9 1 1 1 1
N 1 0 0 0 0 0 0 0 0 0 1 0 0
S 1 1 1 1 1 1 2 2 2 2 2 2 2
N 0 0 0 0 0 0 0 1 0 0 0 0 0
S 2 2 2 3 3 3 3 3 3 3 3 3 3
N 0 0 0 0 1 0 0 0 0 0 0 0 0
S 4 N 0
Gambar 4.10. Grafik Soal 5 dengan 40 Jawaban Siswa Menggunakan Wordnet
4.3.3 Tabel Perbandingan Precision dan Recall dengan atau tanpa Wordnet
Tabel 4.13. Perbandingan Precision dan Recall dengan atau tanpa Wordnet
Tabel 4.15. Menyatakan bahwa penilaian jawaban essay dengan memperhatikan aspek kesamaan kata atau synonym dapat meningkatkan nilai precision secara keseluruhan sebesar 1.685185184 dan recall sebesar 4.46031746 dari pada tidak memperhatikan synonym.
Peningkatan ini sebenarnya tidak terjadi pada semua soal. Sebagai contoh soal no 3 dan no 5 terjadi penurunan, akan tetapi secara keseluruhan terjadi peningkatan.
Gambar 4.11. Grafik Precision Hasil Perbandingan
Gambar 4.12. Grafik Recall Hasil Perbandingan
17 4.3.4 Penginputan Nilai ke Database Moodle
Berikut hasil dari penginputan nilai ke database moodle :
Gambar 4.13. Hasil Nilai di e-Learning Moodle
18
KESIMPULAN DAN SARAN
5.1. Kesimpulan
Penelitian ini membangun sistem penilaian jawaban essay pada sistem e- Learning menggunakan metode cosine measure untuk mendapatkan nilai skor jawaban kunci masing-masing soal dengan jawaban siswa dari masing-masing soal.
Proses penilaian dimulai dari mengambil jawaban kunci dan jawaban siswa dari database e-Learning moodle, dan dilakukan pembelajaran (training) untuk menghasilkan nilai skor yang akan diupdate ke dalam database e-Learning moodle.
Berdasarkan pengujian yang dilakukan dapat disimpulkan bahwa penilaian jawaban essay dengan memperhatikan aspek kesamaan kata atau synonym dapat meningkatkan nilai precision secara keseluruhan sebesar 1.685185184 dan recall sebesar 4.46031746 dari pada tidak memperhatikan synonym. Fakta ini menunjukkan pengaruh penggunaan aspek synonym dalam sistem penilaian. Semakin tinggi nilai Precision dan Recall maka semakin akurat tingkat akurasi dari hasil skor yang dihasilkan. Menurut hasil precision dan recall nilai skor uang dihasilkan masih jauh dari sempurna
precision : 50 % dan recall : 33.34 % karena proses yang dilakukan mencari nilai kemiripan berdasarkan kata (term), belum mampu mencari nilai berdasarkan struktur kalimat.
5.2. Saran
Berikut ini adalah beberapa saran yang diajukan untuk perbaikan dan pengembangan lebih lanjut.
1. Pengembangan sistem dapat mengenali kata-kata antonim yang sebenarnya memiliki makna sama seperti always late dan never on time 2. Sistem ini juga dapat
mempertimbangkan unsur POS (part of speech) pada struktur kalimat seperti Noun, Verb, Adjective, dan Adverb sebagaimana pada pemrosesan bahasa alami (Natural Language Processing).
19
DAFTAR PUSTAKA
Sulistyo, W., (2008), “Auto Matching Antar Dokumen Dengan Metode Cosine Measure”, ITS : Surabaya.
Fuat, R., (2010), “Sistem Penilaian Esai Otomatis Pada E-Learning Dengan Metode Cosine Measure”, ITS : Surabaya.
Suharso, W., (2012), “Sistem Penambang Term Indikator Berbobot Pada Pembelajaran Pengklasifikasian Kebutuhan Non-Fungsional”, Jurnal MMT-ITS, Surabaya.
Porter, M.F.(2001), Snowball: A language for Stemming Algorithms, Computer Laboratory, Cambridge (England).
Porter, M.(1980), An algorithm for suffix stripping, Program 13(3), 130{137}
Gerard Salton, Christopher Buckley(1998),
“Term-Weighting Approaches In Automatic Text Retrieval”, Information Processing &
Management Vol. 24, No. 5, pp.
513-523, 1988.
Manu Kunchady (2006), “Text Mining Application Programming”, Thomson Learning Inc, ISBN 1- 58450-460-9, 2006.
Rolly Intan, Andrew Difeng (2006), “HARD : Subject-base Search Engine menggunakan TF-IDF dan Jaccard’s Coefficient”, Jurnal Teknik Informatika Universitas Kristen Petra, 2006.
Kaplan, R.M. (1995), “A Methode for Tokenizing Text”, Palo Alto Research Center (Festschrift In The Honor Of Prof. Kimmo Koskenniemi’s 60th Anniversary).
Winarsono, D.S., (2009), “Sistem Penilaian Otomatis Kemiripan Kalimat Menggunakan Syntactic Semantic Similarity pada Sistem E- Learning”, Program Magister, Teknik Informatika, Institut Teknologi Sepuluh Nopember Surabaya.
