7
TINJAUAN PUSTAKA
2.1 Landasan Teori
2.1.1 Artificial Intelligence
Menurut Winston (2002:2), AI adalah pembelajaran komputasi yang memungkinkan komputer dapat memahami, menjawab, dan beraksi. Dan menurut Russell dan Norvig (2010:1-5), dalam perkembangannya, Artificial Intelligence memiliki 4 kelompok definisi sebagai berikut :
2.1.1.1 Acting Humanly
Pada tahun 1950, Alan Turing merancang “The Turing Test” untuk menyediakan definisi kecerdasan yang berjalan lancar. Komputer berhasil melalui uji coba apabila manusia penguji tidak mengetahui tulisan respon dibuat oleh manusia atau komputer. Kini, komputer yang digunakan untuk melalui uji coba diharuskan memiliki kemampuan sebagai berikut :
a.) Natural Language Processing
Kemampuan untuk dapat berkomunikasi dengan Bahasa Inggris.
b.) Knowledge Representation
Kemampuan untuk menyimpan hal yang diketahui atau didengar.
c.) Automated Reasoning
Kemampuan untuk menyimpan informasi untuk menjawab pertanyaan dan mengambil kesimpulan.
d.) Machine Learning
Kemampuan untuk beradaptasi dengan kondisi baru dan untuk mendeteksi dan mengekstrapolasi pola.
e.) Computer Vision
Kemampuan untuk mengenali objek.
f.) Robotics
Kemampuan untuk memanipulasi objek dan bergerak.
2.1.1.2 Thinking Humanly
Untuk dapat membangun program yang berpikir seperti manusia, dibutuhkan metode untuk menentukan bagaimana manusia berpikir.
Terdapat 3 metode untuk menentukan bagaimana manusia berpikir : a.) Introspeksi
Mencoba mensimulasikan pikiran manusia dalam melakukan sesuatu.
b.) Eksperimen Psikologi
Mengamati perilaku manusia.
c.) Pencitraan otak
Mengamati kegiatan dalam otak.
Ketika berhasil memahami bagaimana manusia berpikir, maka program komputer dapat dibuat berpikir seperti manusia.
2.1.1.3 Thinking Rationally
Seorang filsafat Yunani, Aristoteles adalah manusia pertama yang mencoba untuk merancang cara berpikir yang benar. Silogisme yang dibuat oleh Aristoteles memunculkan studi yang dinamakan logika.
Pada tahun 1965, program komputer berhasil diciptakan untuk menyelesaikan masalah yang dideskripsikan dengan notasi logika, apabila tidak menghasilkan solusi, maka program tersebut akan mengulangi proses komputasi selamanya.
2.1.1.4 Acting Rationally
Program komputer dibuat untuk melakukan sesuatu, dan agen komputer diharapkan untuk melakukan lebih dari yang dilakukan program komputer, seperti beroperasi secara mandiri, melihat lingkungan, bertahan dalam jangka waktu yang panjang, beradaptasi, membuat dan mengejar tujuan. Agen yang rational bertindak untuk meraih hasil terbaik di dalam kondisi yang tidak tentu sekalipun.
Menurut Pustejovsky dan Stubbs (2013:4), Natural Language Processing (NLP) merupakan salah satu bidang ilmu komputer yang berkembang dengan mengkombinasikan studi bahasa dan komputasi linguistik dengan studi Artificial Intelligence.Pengembangan NLP bertujuan untuk merancang dan membangun aplikasi yang dapat memfasilitasi interaksi manusia dengan mesin melalui natural language. Penerapan NLP meliputi :
2.1.2.1 Question Answering System (QAS)
Question Answering System adalah contoh penerapan NLP yang digunakan untuk menjawab pertanyaan yang diajukan manusia dengan bahasa sehari-hari (natural language). Contoh penerapan QAS adalah aplikasi SIRI yang dapat digunakan pada produk Apple Inc., iPhone.
2.1.2.2 Summarization
Summarization adalah contoh penerapan NLP yang berkemampuan untuk mengolah sekumpulan dokumen atau email, dan menciptakan rangkuman yang koheren dengan kontennya.
2.1.2.3 Machine Translation
Machine Translation merupakan cabang ilmu NLP yang pertama kali diteliti. Contoh program Machine Translation yaitu Google Translate, yang digunakan untuk menerjemahkan berbagai bahasa ke bahasa lainnya.
2.1.2.4 Speech Recognition
Speech Recognition merupakan penerapan NLP yang paling rumit.
Hingga kini, Speech Recognition terus dikembangkan dan dapat digunakan pada ponsel atau komputer untuk mengenali bahasa yang diucapkan baik berupa pertanyaan, dan perintah.
2.1.2.5 Document Classification
Document Classification merupakan cabang ilmu NLP yang paling sukses. Document Classification bertujuan untuk mengidentifikasi kategori suatu dokumen. Contoh penerapannya seperti penyaringan spam, klasifikasi artikel, ulasan film, dan lain sebagainya.
2.1.3 Automated Essay Scoring
Automated Essay Scoring (AES) merupakan salah satu cabang dari bidang document classification. AES merupakan teknologi yang sedang berkembang, yang digunakan untuk menilai esai secara otomatis. Akurasi dan keandalan sistem AES juga telah terbukti tinggi. Sampai saat ini, peningkatan mutu mesin penilai esai masih berlanjut dan berbagai studi dilangsungkan untuk meningkatkan tingkat efektifitas sistem AES karena AES berguna untuk mengatasi masalah waktu, biaya, dan generalisasi isu pada esai (Dikli, 2006:1). Hingga saat ini, terdapat empat tipe AES, yang secara luas digunakan oleh perusahaan pengujian, universitas, dan sekolah-sekolah umum, diantaranya adalah Project Essay Grader (PEG) yang merupakan sistem pertama yang diciptakan untuk menilai esai, Intelligent Essay Assessor (IEA) yang merupakan sistem penilai esai yang menggunakan metode Latent Semantic Analysis, E-rater yang digunakan Educational Testing Service untuk menilai esai pada Graduate Management Admissions Test, dan IntelliMetric, AES yang dikembangkan oleh Vantage Learning dan digunakan oleh College Board.
2.1.4 Latent Semantic Analysis
Latent Semantic Analysis (LSA) merupakan metode yang menggunakan model statistik matematis yang digunakan untuk menganalisa struktur semantik suatu teks. LSA digunakan untuk menilai esai dengan mengkonversi esai menjadi matriks-matriks yang diberi nilai pada masing- masing term untuk dicari kesamaan dengan term referensi (Wild, Stahl, Stermsek, dan Neumann, 2005). Langkah-langkah LSA dalam menilai esai adalah sebagai berikut :
2.1.4.1 Text Preprocessing
2.1.4.1.1 Stopwords Removal
Pada stopwords removal, kata yang tergolong kata depan, kata penghubung, dan sejenisnya dihilangkan dari kalimat. Contoh modifikasi hasil proses stopwords removal :
b Mengubah kata yang diawali dengan huruf besar menjadi huruf kecil.
Contoh :
“Latent Semantic Analysis (henceforth LSA) is a linguistic theory and method. It has been used in natural language processing to determine semantic relationships in large bodies of corpora.”
Menjadi :
“latent semantic analysis linguistic theory method used natural language processing determine semantic relationships large bodies corpora”
2.1.4.1.2 Stemming
Langkah berikutnya adalah stemming, pada proses ini kata akan direduksi menjadi kata dasar. Berikut contoh hasil stemming dari teks yang telah melalui stopword removal :
Contoh :
“latent semantic analysis linguistic theory method used natural language processing determine semantic relationships large bodies corpora”
Menjadi :
“latent semantic analysis linguistic theory method use nature language process determine relationship large body corpo”
2.1.4.1.3 Term Document Matrix
Setelah dirubah menjadi kata dasar, kemudian sistem matriks dibuat dengan menempatkan kata hasil proses stemming (term) ke dalam baris. Matriks ini disebut term-document matrix. Setiap baris mewakili sebuah kata yang unik, dan setiap kolom mewakili konteks dari mana kata-kata tersebut diambil. Konteks yang
dimaksud bisa berupa kalimat, paragraf, atau seluruh bagian.
Berikut contoh term-document matrix:
Tabel 2.1 Contoh Term-document Matrix
:
Pada Tabel 2.1. baris pertama mewakili stemmed term (term 1, term 2, dst), dan bagian kolom mewakili konteks, yaitu teks. Nilai- nilai yang ada pada Tabel 2.1 menunjukkan berapa kali suatu term muncul dalam sebuah dokumen. contohnya, term 1 muncul 1 kali pada dokumen 1, dan muncul 2 kali pada dokumen 2, tapi tidak muncul pada dokumen 3, dan seterusnya.
2.1.4.2 Singular Value Decomposition
Singular Value Decomposition (SVD) merupakan teorema aljabar linear yang mengatakan bahwa persegi panjang matriks A dapat dipecah menjadi tiga matriks, yaitu :
a.) Matriks orthogonal U b.) Diagonal matriks S
c.) Transpose dari matriks V orthogonal.
Yang dirumuskan dengan :
Document 1 Document 2 Document 3 Document n
Term 1 1 2 0 N
Term 2 1 0 3 N
Term 3 1 1 0 N
Term 4 1 0 0 N
Term 5 0 0 4 N
Term 6 1 1 0 N
Term 7 1 0 0 N
Term 8 0 2 1 N
Term 9 1 1 0 N
Term n n n n N
Amn = matriks awal
Umm = matriks orthogonal U Smn = diagonal matriks S
VTnn = transpose matriks V orthogonal
Hasil dari proses SVD adalah vektor yang akan digunakan untuk menghitung similaritasnya dengan cosine similarity.
2.1.5 Cosine Similarity
Menurut Aji, Baizal, dan Firdaus (2011:2), Cosine Similarity digunakan untuk menghitung nilai kosinus sudut antar vektor dokumen dengan vektor query, semakin kecil sudut yang dihasilkan, maka tingkat kemiripan esai semakin tinggi. Vektor merupakan besaran yang memiliki nilai dan arah.
Cosine Similarity dirumuskan sebagai berikut:
Keterangan :
A = vektor dokumen B = vektor query
• B = perkalian dot vektor A dan vektor B
|A| = panjang vektor A
| | = panjang vektor B
| ||B| = cross product antara |A| dan |B|
α = sudut yang terbentuk antar vektor A dan B
Dari hasil cosine similarity¸ akan didapatkan nilai yang akan dibandingkan dengan penilaian manusia untuk diuji selisih nilainya.
2.1.6 Algoritma
Menurut Cormen, Leiserson, Rivest, dan Stein (2009:6), algoritma adalah prosedur komputasi yang terdefinisi dengan baik yang menggunakan suatu data atau sekumpulan data sebagai input, dan menghasilkan data atau sekumpulan data sebagai output. Secara sederhana, algoritma adalah urutan langkah komputasi yang mentransformasikan input menjadi output.
Algoritma digunakan sebagai alat untuk menyelesaikan masalah komputasi.
Masalah komputasi didefinisikan input dan output yang diinginkan. Tugas algoritma adalah mendeskripsikan prosedur komputasi yang spesifik untuk mencapai input dan output yang ingin dicapai pada suatu permasalahan komputasi.
2.1.7 Structured Programming
Menurut McCalla (1985:15), pada tahun 1985, ilmuwan komputer telah mengembangkan teknik yang dinamakan structured programming, yang dapat menghasilkan program komputer yang lebih mudah dibaca, di-debug, dan ditulis. Structured programming juga mudah untuk didokumentasikan karena tiap modul fungsional dapat dideskripsikan dengan baik.
Berdasarkan prinsip structured programming, prosedur dapat diprogram dengan menggunakan satu atau lebih dari 3 tipe struktur logika. Struktur logika hanya memiliki 1 entry point dan 1 exit point, karakteristik tersebut yang menyebabkan structured programming menghasilkan program komputer yang lebih mudah ditulis dan dibaca. Struktur logika tersebut dibagi menjadi 3 struktur, yaitu:
a.) Struktur Sequence
Struktur Sequence menunjukkan instruksi komputer dalam urutan top- down atau berurutan. Struktur Sequence digambarkan sebagai berikut :
Gambar 2.1 Struktur Sequence b.) Struktur Selection
Struktur Selection memerika kondisi, jika kondisinya benar, maka instruksi yang dijalankan adalah cabang keputusan yang kondisinya benar, namun jika kondisinya salah, maka yang dijalankan adalah cabang keputusan lainnya, yang kondisinya tidak benar. Struktur Selection digambarkan sebagai berikut :
Gambar 2.2 Struktur Selection
c.) Struktur Iteration
Struktur Iteration atau Repetition memeriksa suatu kondisi, jika kondisinya salah atau belum terpenuhi, maka instruksi akan terus dijalankan hingga kondisinya benar atau sudah terpenuhi. Namun jika kondisinya benar atau sudah terpenuhi, maka program akan keluar dari struktur. Struktur Iteration digambarkan sebagai berikut :
Gambar 2.3 Struktur Iteration 2.1.7 Bahasa Inggris
Bahasa Inggris adalah bahasa yang paling banyak digunakan di dunia (sebagai bahasa pertama atau kedua dunia) yang digunakan sebagai bahasa nasional oleh beberapa negara, seperti United States, sebagian besar Kanada, British Isles, Australia, dan New Zealand. Dalam beberapa tahun, Bahasa Inggris merupakan bahasa resmi negara kolonial seperti Britain, mencakup India, Nigeria, Ghana, Kenya, dan negara anglophone di Afrika. Bahasa Inggris memiliki dialek yang berbeda-beda di tiap negara (Fromkin, Rodman, dan Hyams, 2014:284).
2.1.8 N-gram
Menurut Russell dan Norvig (2010), n-gram didefinisikan sebagai urutan panjang simbol yang tertulis dengan sebutan unigram untuk 1-gram, bigram untuk 2-gram, trigram untuk 3-gram, dan seterusnya. Pemodelan n-gram adalah pemodelan yang memetakan distribusi probabilitas dari urutan huruf-n. Pemodelan N-gram didefinisikan sebagai urutan rantai Markov.
Contoh n-gram :
a.) Unigram : “best”, “great”, “friend”
b.) Bigram : “best friend”, “great friend”
2.1.9 Python
Python adalah bahasa pemrograman berorientasi objek yang sering kali diinterpretasikan sebagai scripting language. Pada mulanya, Python didesain oleh Guido van Rossum di Stichting Mathematisch Centrum di Netherlands pada awal tahun 1990. Selanjutnya Python dikembangkan oleh Python Software Foundation. Python biasa digunakan untuk aplikasi sistem administrasi, dan tugas komputer lainnya yang berskala relatif kecil. Python bersifat open-source dan tersedia di platform umum komputer (Sebesta, 2010: 119). Pada penelitian ini juga digunakan library NLTK untuk mendukung proses pada suatu NLP. Berikut contoh code untuk mencetak deret fibonacci pada Python :
>>> def fib(n):
>>> a, b = 0, 1
>>> while a < n:
>>> print(a, end=' ')
>>> a, b = b, a+b
>>> print()
>>> fib(1000)
2.1.10 PHP
PHP Hypertext Processor (PHP) adalah scripting language di sisi server yang didesain khusus untuk web. PHP dapat ditanamkan dengan halaman HyperText Markup Language (HTML) yang akan dieksekusi pada saat halaman tersebut dikunjungi. PHP merupakan software yang bersifat open- source, yang berarti kita dapat menggunakan, mengganti, dan berbagi tentang source code PHP tanpa biaya (Welling dan Thomson, 2001:3).
Berikut adalah contoh code PHP untuk mengkoneksikan PHP dengan MySQL :
<?php
$link = mysql_connect('localhost', 'mysql_user', 'mysql_
password');
if (!$link) {
}
echo 'Connected successfully';
mysql_close($link);
?>
2.1.11 MySQL
MySQL adalah sistem database relasional. MySQL lebih cepat, lebih dapat diandalkan, dan lebih murah dibandingkan sistem database lain (termasuk sistem komersil seperti Oracle dan DB2). MySQL menggunakan bahasa database, yakni Structured Query Language (SQL). SQL adalah bahasa terstandarisasi untuk melakukan query dan memperbaharui data dan untuk administrasi database (Kofler, 2005:5-6). Berikut adalah contoh query MySQL :
SELECT * FROM daftar_dosen WHERE nama_dosen LIKE '%i' OR alamat LIKE 'm%';
Query tersebut digunakan untuk mencari kolom nama dosen yang diakhiri dengan huruf í’ atau kolom alamat yang diawali dengan huruf ‘m’.
2.1.12 jQuery
jQuery adalah library yang kuat dan kompleks yang dirilis pertama kali pada bulan Agustus 2006. jQuery merupakan pendukung JavaScript yang lebih memudahkan para developer dalam membangun suatu web (Franklin, 2013:1). Berikut adalah contoh code jQuery yang berfungsi untuk menghilangkan teks ketika teks diklik oleh user :
<script>
$(document).ready(function(){
$("p").click(function(){
$(this).hide();
});
});
</script>
2.1.13 State Transition Diagram
Menurut O’Brien dan Marakas (2006), State Transition Diagram merupakan diagram yang bertujuan untuk menggambarkan perpindahan state, dari suatu kondisi ke kondisi lainnya. State Transition Diagram dinotasikan sebagai berikut :
2.1.13.1 State
Pada State Transition Diagram, terdapat 2 jenis state, yaitu : a.) Initial State
Initial state adalah state/keadaan awal suatu proses pada sistem.
Sebuah sistem hanya diperbolehkan memiliki 1 initial state.
b.) Final State
Final state adalah state/keadaan akhir suatu proses pada sistem.
Sebuah sistem diperbolehkan memiliki lebih dari 1 final state. Notasi state dapat dilihat pada Gambar 2.4.
Gambar 2.4 Notasi State
(Sumber : O’Brien dan Marakas, 2006) 2.1.13.2 Perpindahan State
Perpindahan state dinotasikan dengan panah. Perpindahan state ditandai dengan adanya kondisi dan aksi yang menghubungkan suatu state dengan state yang lain. Notasi perpindahan state dapat dilihat pada Gambar 2.5.
Gambar 2.5 Notasi Perpindahan State (Sumber : O’Brien dan Marakas, 2006)
Penilai esai otomatis sudah banyak diteliti sejak tahun 1966, mulai dari Page, Landauer, dan peneliti lain yang meneliti bidang penilai esai otomatis. Dari penelitian tersebut, didapat peningkatan kualitas sistem penilai esai otomatis, dari yang semula hanya menilai esai dari jumlah kata, tanda baca, hingga sistem penilai esai otomatis yang menilai tentang hubungan antar kata secara semantik. Berikut adalah beberapa penelitian penilai esai otomatis yang telah dilakukan para peneliti :
2.2.1 Project Essay Grading
Pada tahun 1966, atas permintaan College Board, Ellis Page mengembangkan sistem komputer untuk mengolah penilaian esai dalam skala besar yang dapat berjalan lebih praktis dan efektif. PEG menggunakan pengukuran proxes untuk memprediksi kualitas intrinsik suatu esai (trins). Proxes lebih merujuk pada gaya penulisan seperti total kata rata-rata, panjang esai, jumlah titik koma atau koma, dan lain-lain.
PEG memiliki beberapa keunggulan, yaitu nilai prediksinya dapat dibandingkan dengan penilaian manusia, dan komputasinya dapat dilacak untuk mencari kesalahan penulisan. Namun, karena PEG hanya menilai gaya penulisan, maka sangat memungkinkan para pembuat esai membuat esai dengan gaya standar penulisan yang akan mendapat nilai tinggi (Dikli, 2006).
Dikli (2006) juga menambahkan bahwa dalam sistem PEG, terdapat 2 tahapan, yaitu training dan scoring. Jumlah esai yang diperlukan PEG dalam tahapan training sebanyak 100-400 esai. Pada tahapan training, variabel proxes ditentukan untuk tiap esai dan tiap variabel memasuki ke persamaan prediksi. Pada akhir proses, nilai esai diberikan dengan koefisien bobot awal komputasi yang didapat dari tahapan training.
Penghitungan trins pada esai yang belum dinilai dapat diprediksikan dengan persamaan regresi standar. Akurasi yang dihasilkan oleh PEG sebesar 0,87 dibandingkan dengan penilaian manusia.
2.2.2 Intelligent Essay Assessor
Intelligent Essay Assessor (IEA) adalah salah satu penilai esai otomatis yang dikembangkan oleh Pearson Knowledge Analysis Technologies yang menganalisa dan menilai esai menggunakan metode analisa teks semantik yang dinamakan Latent Semantic Analysis (LSA). IEA berfokus pada keterkaitan konten dibandingkan organisasi bahasa pada konten. IEA menggunakan 3 sumber untuk menganalisa esai, yaitu esai murid yang belum dinilai, esai ekspertis, dan perbandingan internal esai yang belum dinilai. Pertama, IEA membandingkan kemiripan konten antara esai mahasiswa dan esai lain dengan topik yang sama yang dinilai oleh manusia agar dapat ditentukan jarak kemiripan konten antar esai. Berikutnya, IEA akan memprediksi nilai esai dengan menambahkan “gaya penulisan statistik korpus” dan mekanik (Dikli, 2006:8-9). Menurut Valenti, Neri, dan Cucchiarelli (2003:3), IEA sangat tepat untuk menganalisa dan menilai esai ekspositori dengan topik seperti ilmu alam, studi sosial, sejarah, medis atau bisnis. Dalam uji coba yang dilakukan, IEA berhasil meraih kemiripan dengan nilai manusia sebesar 85 % - 91 %.
2.2.3 E-Rater
E-Rater dikembangkan oleh Burstein dan rekan-rekannya menggunakan MsNLP untuk melakukan parsing kalimat pada esai. E-Rater menggunakan kombinasi statistik dan teknik NLP untuk mengekstrak fitur lingual dari esai untuk dinilai. Esai yang dievaluasi diukur dengan esai yang dinilai manusia. E-Rater memiliki fitur untuk menganalisa struktur wacana, struktur sintaktis, dan penggunaan kata. Kini, E-Rater dibenamkan pada Criterion. Criterion merupakan sistem AES versi real- time berbasis web yang dikembangkan oleh ETS Technologies. E-Rater merupakan AES yang kompleks dan membutuhkan banyak training dibandingkan AES lainnya. Pada uji coba yang dilakukan, dengan menguji lebih dari 750000 esai GMAT yang telah dinilai, diperoleh kemiripan sebesar 87 % - 94 % (Valenti, Neri, dan Cucchiarelli, 2003:3).
Berdasarkan penelitian yang dilakukan oleh Islam dan Hoque (2012), GLSA membuat n-gram berdasarkan dokumen matriks, bukan dengan kata dengan dokumen matriks dari LSA. Sebuah n-gram adalah bagian item n dari urutan tertentu. Item bisa fonem, suku kata, huruf, kata atau pasangan dasar sesuai dengan aplikasi. Sebuah n-gram ukuran 1 disebut sebagai
"unigram", ukuran 2 adalah "bigram" (atau, kurang umum, sebuah
"digram"), ukuran 3 adalah "trigram", dan ukuran 4 atau lebih hanya disebut "n-gram"
Menurut GLSA, vektor bigram untuk "carbon dioxide " adalah kata atomik, berbeda dengan kata "carbon" dan "dioxide". Dari contoh tersebut menunjukkan GLSA memperhatikan urutan kata. Arsitektur sistem secara keseluruhan telah dipartisi menjadi dua bagian utama: training essay set generation dan evaluasi esai hasil training.
2.2.4.1 Training Essay Set Generation
Gambar 2.6 Training Essay Set Generation (Sumber : Islam dan Hoque, 2012:619)
Gambar 2.6 menunjukkan gambaran proses yang dilakukan dengan metode GLSA. Langkah-langkah yang digunakan untuk membangun suatu GLSA, di antaranya :
a.) Preprocessing the training essays
Preprocessing dilakukan dalam tiga langkah: penghapusan stopword, stemming kata-kata ke kata dasar dan memilih term indeks n-gram.
1. Penghapusan stopword
Pada langkah penghapusan stopword, kata yang paling sering dihapus adalah "a", "an", "the", "on", dll.
2. Word stemming
Setelah menghapus stopword, dilakukan stemming untuk mengubah kata-kata ke kata dasar. Menggunakan algoritma stemming M.F. Porter.
3. Memilih term indeks n-gram
Term indeks n-gram dipilih untuk membuat n-gram dengan dokumen matriks. Materi kuliah dan jumlah esai yang belum dinilai yang memadai ini dipilih untuk membuat term indeks.
Script Jawaban yang belum dinilai kemudian digunakan sebagai training set esai. N-gram yang muncul di lebih dari satu esai pelatihan dipilih sebagai term indeks.
b.) Perhitungan SVD
SVD pada GLSA dihitung dari n-gram dengan dokumen matriks. SVD bertujuan untuk mengurangi dimensi. Tujuan dari pengurangan dimensi adalah untuk mengurangi noise agar terlihat rincian penting dalam data sehingga struktur semantik yang mendasar dapat digunakan untuk membandingkan isi esai.
Operasi pengurangan dimensi dapat dilakukan dengan menghapus satu atau lebih nilai singular terkecil dari singular matriks S dan juga akan dihapus jumlah yang sama kolom dan baris masing-masing dari U dan V.
2.2.4.2 Evaluasi Esai Hasil Training
Setelah hasil training diperoleh, query matriks dapat terbentuk dengan membuat n-gram by document matrix, dan query vektor dapat diperoleh dari esai, query vektor dirumuskan dengan :
= transpose query matriks
= perpotongan matriks orthogonal kiri
= perpotongan matriks singular SVD
Kemudian dilakukan perhitungan cosine similarity sebagai berikut :
= bobot query vektor
= bobot vektor esai training
Nilai similaritas terbesar antara query vektor dengan vektor esai training digunakan untuk menilai esai. Dari penelitian ini, didapatkan hasil akurasi nilai GLSA dengan nilai manusia sebesar 0,89 – 0,95.
2.2.5 Conceptual Rater
Conceptual Rater (C-Rater) merupakan prototipe AES yang berbasis NLP yang berfokus menilai jawaban singkat terkait pertanyaan berbasis konten. C- Rater mengadaptasi beberapa alat pemrosesan natural language dan teknik yang dikembangkan untuk E-Rater. C-Rater dan E-Rater memiliki perbedaan tujuan penilaian. E-Rater menilai kemampuan menulis esai dibandingkan spesifikasi konten, sementara C-Rater menilai respon tergolong benar atau tidak. Penilaian respon dapat dilakukan dengan mengevaluasi keterkaitan kandungan informasi dengan konsep area yang spesifik. C-Rater tidak membutuhkan kumpulan esai yang besar untuk proses training. Tingkat akurasi C-Rater sebesar 80% dengan penilaian instuktur (Valenti, Neri, dan Cucchiarelli, 2003:3).
Berdasarkan penelitian - penelitian terkait yang telah dipaparkan, dapat diambil kesimpulan :
Tabel 2.2 Penelitian Terkait
Judul Tujuan Metode Hasil Akurasi
Automated Essay Grading (Dikli, 2006)
Membantu manusia untuk menilai esai yang disebabkan banyaknya esai yang dinilai dapat membuat manusia
kesulitan dalam mempertahankan konsistensi penilaian esai.
Menggunakan prinsip Trin dan Proxes. Trin untuk
mengkomputasi hasil variabel intrinsik, dan Proxes untuk menghitung hasil dari non- variabel
intrinsik. PEG lebih
menitikberatkan pada gaya penulisan dibanding konten.
PEG berhasil mendekati
penilaian manusia terhadap esai, namun karena
PEG hanya
menitikberatkan
pada gaya
penulisan, seperti banyaknya jumlah titik, membuat banyak pihak
menyalahgunakan
PEG dan
mengakali PEG dengan membuat esai yang pasti mendapat nilai tinggi ketika diuji dengan sistem.
0,87
Judul Tujuan Metode Hasil Akurasi An Overview
of Automated Scoring of Essays
(Dikli, 2006)
Menguji metode LSA untuk menilai hubungan semantik pada konten esai.
Memberikan prediksi skala nilai yang tengah dinilai, dan dengan metode LSA, IEA dinilai layak
digunakan dalam penilai esai otomatis karena tingkat korelasinya mendekati penilaian dari manusia.
Pearson mengklaim IEA hanya membutuhkan 100 data set untuk
melakukan training, lebih sedikit
dibanding penilai esai otomatisnya.
Hal tersebut dipercaya disebabkan karena IEA dapat
memprediksi skala nilai pada suatu esai secara
otomatis
0,85 – 0,91
Judul Tujuan Metode Hasil Akurasi An Overview
of Current Research on Automated Essay Grading (Valenti, Neri, and Cucchiarelli, 2003)
Menguji penilaian berdasarkan pengukuran pemilihan kata,
kompleksitas leksikal, proporsi kesalahan tata bahasa,
proporsi kesalahan penggunaan bahasa, dan lain-lain.
Menggunakan
NLP untuk
mengidentifikasi fitur penilaian fakultas dengan koleksi sampel dan menyimpan dengan bobot ke dalam database.
Metode
besutan ETS ini dinilai cukup berhasil menilai
Graduate Management Admission Test (GMAT) Analytical Writing Assessment (AWA) dan memberikan penilaian yang memiliki korelasi yang baik dengan human raters
0,87 – 0,94
Automated Essay Scoring with
Generalized Latent Semantic Analysis (Islam and Hoque, 2012)
Menguji penilaian esai berdasarkan kombinasi LSA dengan memperhatikan urutan kata.
Menggunakan n-gram untuk membuat dokumen matriks, serta mereduksi SVD
menggunakan truncated SVD, serta memperhatikan urutan kata dalam
penelitian.
Hasil penilaian dengan GLSA memberikan korelasi nilai dengan nilai manusia yang sangat baik yaitu 0,89 – 0,95.
0,89 – 0,95.
Judul Tujuan Metode Hasil Akurasi An overview of
Current
Research on Automated Essay Grading (Valenti, Neri, and
Cucchiarelli, 2003:5)
Menjawab jawaban singkat yang berkaitan dengan pertanyaan berbasis konteks
Menggunakan teknik Natural Language Processing
C-Rater tidak memerlukan banyak data training, C- Rater hanya membutuhkan jawaban kunci yang
disediakan instruktur.
0,80
