SISTEM PENILAIAN ESAI OTOMATIS MENGGUNAKAN ALGORITMA STEMMING NAZIEF DAN ADRIANI
Rahmat Ahmad*, Riz Rifai Oktavianus Sasue
Teknologi Mekanika Otomotif, Politeknik Transportasi Darat Bali, Jalan Cempaka Putih Desa Samsam Kecamatan Kerambitan Kabupaten Tabanan, Bali, Indonesia 82111
ABSTRAK
Tuntutan zaman terhadap perkembangan teknologi informasi dan komunikasi telah mendorong dunia pendidikan untuk lebih baik lagi. Pembelajaran elektronik (E-learning) merupakan salah satu jenis teknologi informasi yang digunakan dalam bidang pendidikan. E-learning dapat diakses oleh pengguna kapanpun dan dimanapun dia berada. Dalam hal mengevaluasi proses pembelajaran pebelajar sebagai indikator keberhasilan terhadap pembelajaran yang diberikan. Hasil pembelajaran pebelajar atau siswa ini sangat penting untuk diketahui agar pengajar nantinya dapat merencanakan strategi pembelajaran yang memberikan hasil yang maksimal & efisien kepada siswa. Oleh karena itu dibutuhkan E-Learning dengan fitur system penilaian otomatis menggunakan stemming Nazief & Adriani. Hasil yang diperoleh pada penelitian ini adalah proses information retrieval (IR) untuk menghitung bobot menggunakan frequency accuracy yang lebih rendah (tf) dengan akurasi tinggi 90,66% jika dibandingkan dengan menggunakan perhitungan inverse document frequency (idf) dan tf-idf.
Kata kunci: algoritma stemming nazief dan adriani; cosine similarity; e-learning; information retrieval; peniliaian esai otomatis
AUTOMATIC ESSAY ASSESSMENT SYSTEM USING NAZIEF AND ADRIANI STEMMING ALGORITHM
ABSTRACT
The demands of the times for the development of information and communication technology have encouraged the world of education to be even better. Electronic learning (E-learning) is a type of information technology used in education. E-learning can be accessed by users whenever and wherever he is. In terms of evaluating the learners' learning process as an indicator of the success of the given learning. The learning outcomes of learners or students are very important to know so that teachers can plan learning strategies that provide maximum & efficient results to students. Therefore, E-Learning is needed with an automatic assessment system feature using Nazief & Adriani stemming. The results obtained in this study is the information retrieval (IR) process to calculate the weight using a lower frequency accuracy (tf) with a high accuracy of 90.66% when compared to using the inverse document frequency (idf) and tf-idf calculations.
Keywords: automatic essay scoring cosine similarity; e-learning; information retrieval; Nazief and Adriani stemming algorithms
PENDAHULUAN
Dunia pendidikan telah mengalami perubahan yang signifikan. Mulai dari pembelajaran konvensional sampai ke pembelajaran modern. Pembelajaran modern yang dimaksud adalah dengan melibatkan teknologi informasi sebagai salah satu media pembelajaran. Perkembangan teknologi informasi mengkibatkan pergeseran paradigma pembelajaran dan melahirkan model pembelajaran baru yang berbasis teknologi informasi. Berkembang
Pusat Penelitian dan Pengabdian Masyarakat Politeknik Transportasi Darat Bali e-ISSN 2745-8954 E-learning atau pembelajaran elektronik adalah media pembelajaran yang sudah tidak asing lagi di dunia pendidikan. Salah satu bentuk E-learning yaitu berbasis website yang dimaksudkan untuk kemudahan dalam proses belajar mengajar. Interaksi yang terjadi pada proses pembelajaran akan menjadi lebih dinamis. Belajar dapat dilakukan kapan dan dimana saja tanpa dibatasi oleh ruang dan waktu.
Hasil pembelajaran didapatkan dari evaluasi yang dilakukan oleh guru ke siswa. Bentuk evaluasi bisa dalam bentuk soal tes pilihan ganda (multiple choice) atau kuis dalam bentuk esai. Proses penilaian kedua bentuk tes ini berbeda. Tes multiple choice terdiri dari soal dan pilihan jawaban. Nilai tertinggi didapatkan oleh siswa jika memilih jawaban yang benar. Berbeda dengan soal esai atau kuis esai dimana hanya tertera soal saja tanpa adanya pilihan jawaban. Siswa menjawab berdasarkan pengetahuannya sehingga banyak variasi jawaban yang muncul dan pada akhirnya proses pemeriksaan jawaban oleh guru memerlukan waktu dan tenaga lebih.
Penilaian Esai Automatis (PEA) adalah suatu sistem penilaian yang dapat memudahkan guru dalam pemeriksaan jawaban esai siswa. sistem ini bekerja dengan mencocokkan kunci jawaban yang dibuat oleh guru dengan jawaban dari siswa. PEA dalam jurnal ini menggunakan bahasa Indonesia. Morfologi kata pada bahasa Indonesia berbeda dengan bahasa Inggris. Bahasa Indonesia mempunyai variasi prefiks, infiks, afiks, dan konfiks.
Ada beberapa metode yang digunakan dalam penelitian tentang Penilaian Esai Aotomatis (PEA) diantaranya dapat dilihat pada penelitian terdahulu sebagai berikut: Li Bin dkk (2008) menggunakan metode KNN dengan nilai akurasi sebesar 76%, dimana tidak memberikan keyword tetapi hanya menyamakan teks saja berdasarkan teks acuan. Yali Li dan Yonghong Yan (2012) menggunakan metode support vector regression dengan akurasi sebesar 86%. Penelitian ini juga tidak memberikan keyword sebagai kata kunci karena hanya berdasar pada kesamaan dokumen saja.
Luo Haijiao dan Ke Xiaohua (2015) menggunakan algoritma dataset extraction dengan tingkat keberhasilan 75%. Penelitian ini tidak menggunakan keyword sebagai kata kunci melainkan hanya kesamaan dokumen saja yang menjadi penilaian. Thongyoo Thannicha dkk (2016) menggunakan metode K Means dengan nilai akurasi sebesar 86,51%. Penelitian ini hanya menggunakan kesamaan dokumen dan tidak menampilkan keyword sebagai kata kunci sebagai acuan dalam pembobotan. Berdasarkan uraian tersebut maka diperlukan sebuah perangkat E-learning PEA yang bertujuan untuk mengefisienkan waktu dan guru dalam penilaian jawaban karangan siswa menggunakan metode Cosine Similarity yang berfokus pada bahasa Indonesia melalui algoritma stemming Nazief & Adriani.
METODE
Penelitian ini merupakan penelitian kuantitatif eksperimental dengan menggunakan aplikasi e-learning yang mengacu pada referensi sistem penilaian otomatis menggunakan metode cosine similarity dan menggunakan algoritma stemming nazief & Andriani. Gambar 1 desain arsitektur sistem pada penelitian ini dapat dijelaskan sebagai berikut:
Student's Answer (text) Key Teacher's Answer (text) Database Input Text Preprocessing Term Frequency
Calculate Similarity Text
Assessment
Final Score Output
Process
Gambar 1. Desain Arsitektur Sistem PEA
1)
Text Pre-processingText Pre-processing adalah proses mengubah bentuk data yang tidak terstruktur menjadi data terstruktur sesuai kebutuhan, untuk proses mining selanjutnya (analisis sentimen, ringkasan, pengelompokan dokumen, dll.). Cara kerja pra-pemrosesan teks dapat dijelaskan sebagai berikut:
a) Case Folding
Tidak semua dokumen teks konsisten dalam penggunaan huruf kapital. Oleh karena itu, peran Case Folding diperlukan dalam mengubah seluruh teks dalam dokumen menjadi bentuk standar (biasanya huruf kecil). Misalnya pengguna yang ingin mendapatkan informasi “KOMPUTER” dan mengetik “KOMPUTER”, “KomPUter”, atau “komputer”, tetap diberikan hasil temu kembali yang sama yaitu “komputer”. Melipat kasus mengubah semua huruf dalam dokumen menjadi huruf kecil. Hanya huruf 'a' sampai dengan 'z' yang diterima. Karakter selain huruf dihapus dan dianggap sebagai pembatas.
b) Tokenizing
Tahap tokenizing / parsing adalah tahap pemotongan string input berdasarkan setiap kata yang menyusunnya. Selain itu, spasi digunakan untuk memisahkan kata. Sebagai contoh: "saya belajar Information Retrieval" maka akan dihasilkan: "saya", "belajar", "information", "retrieval".
c) Filtering
Algoritma oplist (hapus kata yang kurang penting) atau daftar kata (simpan kata penting). Stoplists / stopwords adalah kata-kata non-deskriptif yang dapat dihilangkan dengan pendekatan bag-of-words. Contoh stopwords adalah "yang", "dan", "di", "dari" dll.
d) Stemming
Stemming adalah proses yang terdapat dalam sistem Information Retrieval (IR) yang mengubah kata-kata yang terdapat dalam dokumen menjadi kata dasar dengan menggunakan aturan tertentu. Proses stemming pada teks bahasa Indonesia berbeda dengan stemming pada teks bahasa Inggris. Dalam teks bahasa Inggris, proses yang diperlukan hanyalah proses menghapus sufiks. Sedangkan pada teks bahasa Indonesia semua kata imbuhan baik sufiks maupun prefiks juga dihilangkan. Misalnya kata “bersama”, “kebersamaan”, “menyamai”, akan distem pada akar katanya yaitu “sama”. Namun, seperti halnya berhenti, kinerja stemming juga bervariasi dan seringkali bergantung pada domain bahasa yang digunakan. Pada penelitian ini akan dilakukan
Pusat Penelitian dan Pengabdian Masyarakat Politeknik Transportasi Darat Bali e-ISSN 2745-8954 besar, skema yang paling sukses dan secara luas digunakan untuk pemberian bobot term adalah skema pembobotan atau Term Weighting TF-IDF. Kelemahan scoring dengan Jaccard coefficient adalah tidak disertakannya frekuensi suatu term dalam suatu dokumen, maka diperlukan skoring dengan kombinasi Term Weighting TF-IDF. Hal yang perlu diperhatikan dalam pencarian informasi dari koleksi dokumen yang heterogen adalah pembobotan term. Term dapat berupa kata, frase atau unit hasil indexing lainnya dalam suatu dokumen yang dapat digunakan untuk mengetahui konteks dari dokumen tersebut, maka untuk setiap kata tersebut diberikan indikator, yaitu term weight. Beberapa bagian dalam perhitungan bobot kata, antara lain:.
e) Term Frequency (tf)
Term Frequency (tf) adalah frekuensi kemunculan suatu term dalam dokumen terkait. Semakin besar jumlah kemunculan sebuah term (TF tinggi) dalam dokumen tersebut, semakin besar bobot atau akan memberikan nilai kesesuaian yang semakin besar.
f) Inverse Document Frequency
Inverse Document Frequency (IDF) merupakan penghitungan seberapa luas istilah didistribusikan dalam kumpulan dokumen yang bersangkutan. IDF menunjukkan hubungan ketersediaan istilah di seluruh dokumen. Semakin sedikit jumlah dokumen yang memuat istilah tersebut, semakin besar nilai IDF. Perhitungan IDF mengacu pada persamaan 1 sebagai berikut:
(1)
Dimana:
: jumlah semua dokumen dalam koleksi
: jumlah dokumen yang mengandung istilah
g) Tf-Idf
Term Frequency-Inverse Document Frequency (TF-IDF) merupakan suatu metode yang menggabungkan dua konsep penghitungan bobot yaitu Term Frequency (TF) yaitu frekuensi kemunculan term (t) pada dokumen (d). dan Document Frequency (DF) adalah banyaknya kalimat dimana suatu kata (t). Persamaan 2 adalah perhitungan umum TF-IDF
(2)
Dimana :
: bobot kata / istilah untuk -j dan dokumen untuk -i
3)
Cosine SimilarityKesamaan kosinus adalah ukuran kesamaan yang lebih umum digunakan dalam pengambilan informasi dan merupakan ukuran sudut antara vektor dokumen (titik ( )) dan (titik ( )). Setiap vektor merepresentasikan setiap kata dalam setiap dokumen (teks) yang dibandingkan dan membentuk segitiga, sehingga dapat diterapkan hukum cosinus untuk menyatakannya. (3) Dimana (4) Dan ( ) (5)
Gantikan nilai persamaan di atas untuk a, b dan c, jadi dapatkan:
√ √
(6) Jika dua dokumen identik, sudutnya nol derajat (0o) dan kesamaannya satu (1); dan ketika dua dokumen tidak identik sama sekali, sudutnya adalah 90 derajat (90o) dan sama adalah nol (0). HASIL DAN PEMBAHASAN
Hasil perancangan sistem yang telah dilakukan maka dihasilkan media pembelajaran elektronik (E-learning) dengan fitur review otomatis untuk jawaban esai. Bagian utama dari hasil penelitian ini adalah sebagai berikut:
1) Halaman Guru
Pada halaman pengguna guru berperan sebagai pembuat esai, berupa pertanyaan dan kunci jawaban yang akan dilihat tingkat kemiripannya dengan jawaban siswa. Gambar 2 menunjukkan hasil daftar dan pembuatan pertanyaan.
(a) (b)
Gambar 2. Halaman Hasil Guru (a) Daftar Kuis Esai (b) Buat Pertanyaan Kuis 2) Halaman Siswa
Pada halaman ini pengguna siswa berperan sebagai pemberi jawaban atas esai yang telah dibuat oleh guru, hasil jawaban siswa tersebut akan otomatis dinilai menggunakan metode cosine similarity kunci jawaban guru. Gambar 3 menunjukkan hasil halaman siswa.
(a) (b)
Gambar 3. Halaman Hasil Siswa (a) Daftar Kuis (b) Kuis Siswa 3) Halaman Administrator
Pusat Penelitian dan Pengabdian Masyarakat Politeknik Transportasi Darat Bali e-ISSN 2745-8954
Gambar 4. Halaman Hasil Administrator
Pada bagian ini dilakukan pengujian dan analisis terhadap aplikasi yang telah dikembangkan. Ini merupakan materi ujian dengan menggunakan lima teks siswa. Materi pertanyaan yang diberikan tentang materi periferal:
Pertanyaan
Masalah : Apa yang dimaksud dengan periferal?
Kunci Jawaban : Komponen tambahan yang berfungsi untuk mendukung kerja komputer sehingga fungsi kerja komputer menjadi maksimal
Jawaban Siswa 1 : Komponen tambahan yang berfungsi untuk mendukung kerja komputer sehingga fungsi kerja komputer menjadi maksimal
Jawaban Siswa 2 : Semua hal yang berkaitan dengan computer
Jawaban Siswa 3 : Suatu unit yang mempunyai kaitan dengan komputer berdasarkan fungsi tertentu dari computer
Jawaban Siswa 4 : bagian-bagian komputer yang terdiri dari periferal utama dan periferal pendukung
Jawaban Siswa 5 : belajar bagian-bagian computer
Kelima teks di atas telah diuji satu sama lain menggunakan aplikasi ini dan hasil perbandingannya ditunjukkan pada Tabel 1 pengujian menggunakan term frequency (tf), inverse document frequency (idf) dan tf-idf. Karena metode penambangan teks dan penelitian sebelumnya tentang pencarian kesamaan kata selalu menggunakan tf-idf untuk menghitung kata botot (bobot istilah) dari setiap dokumen. Selain itu, penelitian ini bertujuan untuk mengetahui tingkat kemiripan akurasi antara jawaban kunci Guru dengan jawaban siswa.
Tabel 1.
Perbandingan PEO dengan Manusia menggunakan Term Weight
Penilaian Esai Otomatis (%) Penilaian Manusia (%) tf idf tf-idf Jawaban Siswa 1 100 89 89 100 Jawaban Siswa 2 39 0 0 40 Jawaban Siswa 3 59 0 0 60 Jawaban Siswa 4 57 32 32 60 Jawaban Siswa 5 39 0 0 40
Hasil pengujian tersebut dapat disimpulkan bahwa ketepatan antara penggunaan term frekuensi (tf) lebih rendah dibandingkan dengan menggunakan dokumen invers frekuensi (idf) dan term frequency-inverse document (tf-idf). Hal ini terjadi karena penghitungan idf dan tf-idf menggunakan faktor pembagi n dari semua dokumen dalam penghitungan. Selanjutnya tabel 2 merupakan penghitungan nilai kecerdasan buatan AES menggunakan matrik konfusi untuk merepresentasikan nilai jawaban siswa melalui 5 responden dan 15 pertanyaan esai dengan penilaian manusia apakah nilai AES sudah benar dan salah.
Tabel 2. Confusion Matrix
Kode Kuis Trial True / False True False
1 2 3 4 5 P1 T T T F T 80 20 P2 T T T T T 100 0 P3 T T T T T 80 20 P4 T T F T T 80 20 P5 T T T F T 80 20 P6 T T T T T 100 0 P7 T T T T F 100 0 P8 T T T T T 100 0 P9 T T F T T 80 20 P10 T T T T T 100 0 P11 T T T T F 80 20 P12 T T T T T 100 0 P13 T T T F T 80 20 P14 T T T T T 100 0 P15 T T T T T 100 0
Hasil pengujian pada tabel 2 dapat disimpulkan dengan persamaan Confusion Matrix dibawah ini yaitu: Tingkat akurasi (%) = TP+TN *100 (7) TP+TN+FP+FN = 1360 *100 1500 = 90.66
Sehingga didapatkan nilai akurasi dalam penelitian ini adalah 90.66% melalui tes sebanyak 5 responden dan menggunakan 15 pertanyaan esai.
SIMPULAN
Berdasarkan hasil penelitian yang telah diuraikan maka dapat disimpulkan bahwa E-learning AES System dengan menggunakan Cosine Similarity with Stemming Algorithm Nazief & Adriani dapat digunakan sebagai media dalam mengevaluasi hasil teks jawaban siswa
Pusat Penelitian dan Pengabdian Masyarakat Politeknik Transportasi Darat Bali e-ISSN 2745-8954 penelitian selanjutnya diharapkan sistem penilaian memperhatikan kata-kata yang memiliki arti yang sama (sinonim) dan menggabungkan bahasa Inggris untuk kata benda.
DAFTAR PUSTAKA
Bhavna K Pradeep C and Manmohan S 2013 Comparative Analysis Study of E-Learning and
Traditional Learning in Technical Institution (India) International Conference on
Communication Systems and Network Technologies
Khatri B Chouskey P and Singh M 2013 Comparative Analysis Study of E-Learning and
Traditional Learning in Technical Institution (India) International Conference on
Communication Systems and Network Technologies Comparative P 770-773 Astutik S Cahyani A D and Sophan M K 2012 Sistem Penilaian Esai Otomatis Pada
E-Learning dengan Algoritma Winnowing vol 12 no 2 (Indonesia) Jurnal Informatika P
47-52
Bin L Jun L Min Y J and Ming Z Q 2008 Automated Essay Scoring Using the KNN Algorithm (China) International Conference on Computer Science and Software Engineering Automated P 735-738
Li Y and Yan Y 2012 An effective automated essay scoring system using support vector
regression Yali (China) Fifth International Conference on Intelligent Computation
Technology and Automation P 65-68
Shehab A Elhoseny M and Hassanien A E 2016 A Hybrid Scheme for Automated Essay
Grading Based on LVQ and NLP Techniques (Egypt: IEEE Journal) P 65-75
Agusta L 2009 Perbandingan Algoritma Stemming Porter Dengan Algoritma Nazief &
Adriani Untuk Stemming Dokumen Teks Bahasa Indonesia (Bali) Konferensi Nasional
Sistem dan Informatika KNS&I P 196-201
Ewees A A Eisa M Refaat M M 2014 Comparison of cosine similarity and k-NN for
automated essays scoring vol 3 Issue 12 (Egypt) International Journal of Advanced
Research in Computer and Communication Engineering P 8669-8673
Yates B and Neto R 1999 Modern Information Retrieval (USA: Addison-Wesley Longman Publishing Co. Inc)
