118
IMPLEMENTASI DAN EVALUASI
4.1 Spesifikasi Sistem
Dalam menguji analisis sistem koreksi soal esai, penulis menyarankan spesifikasi sistem yang digunakan agar analisis dapat berjalan dengan baik. Spesifikasi sistem dibagi atas spesifikasi perangkat keras dan spesifikasi piranti lunak, dan untuk setiap spesifikasi penulis membaginya lagi antara spesifikasi penguji dan spesifikasi minimum yang disarankan. Spesifikasi penguji merupakan spesifikasi yang digunakan oleh penulis untuk menguji analisis sistem koreksi soal esai, dan dalam menguji penulis menggunakan jaringan lokal. Sedangkan spesifikasi minimum merupakan spesifikasi minimal yang penulis sarankan ketika analisis sistem koreksi ini akan diterapkan pada komputer client.
4.1.1 Spesifikasi Perangkat Keras untuk Pengujian
Dalam melakukan pengujian analisis, penulis menggunakan spesifikasi perangkat keras sebagai berikut :
Notebook Acer Aspire 4920 dengan spesifikasi:
Processor : Intel Core Two-Duo CPU T5550 1,83 GHz Memory : 3062 MB
Graphic Card : Mobile Intel 965 Express Chipset Family 358MB Mouse dan keyboard standart
4.1.2 Spesifikasi Piranti Lunak untuk Pengujian
Dalam melakukan pengujian analisis, penulis menggunakan spesifikasi piranti lunak sebagai berikut :
Sistem Operasi : Microsoft Windows Vista Home Premium (6.0, Build 6.2)
Bios : Version 1.00 PARTPBL Development Software :
9 Adobe Dreamweaver CS 3 9 PHP Myadmin 2.11.7 9 Mozilla Firefox 3.5 9 Internet Explorer 7
9 MySQL Client version 5.0.51B 9 XAMPP version 2.5
4.1.3 Spesifikasi Minimum Perangkat Keras yang Disarankan
Spesifikasi minimum perangkat keras yang disarankan oleh penulis agar analisis dapat berjalan dengan baik adalah sebagai berikut :
Processor : Intel Pentium III Memory : 128 MB
Monitor : minimal resolusi 256 color Mouse dan keyboard standart
4.1.4 Spesifikasi Minimum Piranti Lunak yang Disarankan
Spesifikasi minimum piranti lunak yang disarankan oleh penulis agar analisis dapat berjalan dengan baik adalah sebagai berikut :
Adobe Dreamweaver MX 2004 PHP Myadmin 2.11.7
Internet Explorer 6 Mozilla Firefox 3
MySQL Client version 5.0.51B XAMPP version 2.5
4.2 Operasional Analisis
Pada point ini, penulis akan menjelaskan langkah-langkah yang dapat dilakukan oleh mahasiswa dalam menjalankan aplikasi analisis sistem koreksi.
Saat menjalankan analisis sistem koreksi ini, mahasiswa/i langsung dihadapkan pada 3 soal esai yang sudah ditentukan oleh penulis, yang tergolong pada ranah kognitif level C1 dan C2. Contoh Soal Dapat dilihat pada gambar berikut:
Gambar 4.2 Layar Soal Esai Tipe Jelaskan
Gambar 4.3 Layar Soal Esai Tipe Bedakan
Setelah mahasiswa/i membaca soal tersebut dan siap untuk menjawab, maka mahasiswa/i dapat langsung memasukan jawaban pada kotak jawab yang sudah disediakan. Contoh jawaban dapat dilihat pada gambar berikut:
Gambar 4.4 Layar Mahasiswa/i Menjawab Soal Sebutkan
Gambar 4.6 Layar Mahasiswa/i Menjawab Soal Bedakan
Jika mahasiswa/i sudah benar-benar yakin dengan jawaban yang mereka masukan maka mahasiswa/i harus meng-klik tombol ‘submit’ agar analisis dapat langsung diproses.
Setelah meng-klik tombol ‘submit’ maka pada kotak kata kunci akan secara otomatis keluar jawaban yang menurut sistem dapat dijadikan acuan dalam menilai jawaban dari mahasiswa/i. Persamaan pada jawaban dari mahasiswa/i dengan kata kunci yang ada di database akan diperlihatkan melalui kotak evaluasi beserta nilai yang diberikan oleh sistem.
Gambar 4.7 Layar Evaluasi Jawaban Mahasiswa/i Soal Sebutkan
Gambar 4.9 Layar Evaluasi Jawaban Mahasiswa/i Soal Bedakan
4.3 Prosedur Evaluasi
Pada evaluasi analisis sistem koreksi soal esai, penulis hanya melakukan pengujian dari sisi penerapan NLP dalam aplikasi. Pengujian dari sisi aplikasi berbasis intranet tidak dilakukan karena penulis tidak berfokus pada tampilan dari aplikasi melainkan hasil dari analisis yang dilakukan oleh sistem. Pengujian dilakukan dengan melakukan survei pada beberapa mahasiswa/i semester I. Survei dilakukan dengan meminta mahasiswa/i semester I untuk menjawab 3 soal yang telah disediakan oleh penulis, kemudian dari jawaban tersebut penulis meminta kepada beberapa dosen Pengantar Teknologi Informasi untuk mengkoreksi jawaban dari mahasiswa/i selayaknya mengkoreksi pada saat ujian. Bobot nilai
setiap soal adalah 100 begitu juga sistem ketika memberikan nilai pada jawaban mahasiswa/i. Setelah mendapatkan hasil pengkoreksian dari dosen, penulis membandingkan dengan hasil pengkoreksian dari sistem.
Dalam aplikasi pengujian dari sisi NLP dilakukan dengan menguji tahap NLP satu per satu. Pengujian di mulai dari tahap pertama yaitu tahap morfologi, kemudian dilanjutkan dengan tahap yang ke-dua yaitu tahap sintaksis sampai ke tahap yang ke-tiga yaitu tahap semantik. Parameter yang penulis gunakan untuk melakukan pengujian terhadap analisis NLP berbeda-beda pada setiap tahapnya tergantung pada kebutuhan pengujian itu sendiri. Hasil dari pengujian tersebut dapat memperlihatkan seberapa besar keberhasilan yang dihasilkan oleh aplikasi dalam setiap tahap NLP.
4.4 Evaluasi Penerapan Metode Natural Language Processing
Pada evaluasi tahap NLP yang merupakan inti dari jalannya sistem ini, penulis akan melakukan evaluasi dengan menggunakan beberapa contoh kalimat input-an dari jawaban mahasiswa/i. Beberapa contoh kalimat sebagai berikut:
Kalimat 1
“Software yang berfungsi untuk membantu manusia meringankan atau menyelesaikan masalahnya”
Kalimat 2
“Application software adalah suatu aplikasi yang membantu kita dalam menggunakan komputer”
Kalimat 3
“Program yang dibuat buat bantuin dan mempermudah user dalam menyelesaikan masalahnya”
Kalimat 4
“Aplikasi software adalah software tambahan yang dibuat untuk menyelesaikan masalah-masalah tertentu”
Kalimat 5
“Aplikasi Software adalah suatu aplikasi yang membantu kita dalam menggunakan komputer, misalnya Ms Word 2003”
Dalam mempermudah pengimplementasian sistem J-earley yang di-reuse oleh penulis pada tahap NLP, maka dibuatlah notasi grammar yang berdasar pada grammar yang sudah di rancang pada bab 3 sebelumnya. Notasi grammar dapat dilihat pada table berikut:
Tabel 4.1 Notasi Grammar
K Æ L X Æ VqV N Æ dl K Æ LqL X Æ PVqPV N Æ el K Æ qL X Æ PVqVP N Æ fl L Æ HIJU X Æ VqPVP N Æ gl L Æ HI X Æ PVqV N Æ ak L Æ IJU X Æ VqPV N Æ ek L Æ HIJ X Æ VqVP N Æ fk L Æ HIU B Æ Y N Æ gm
L Æ IJ B Æ X N Æ am L Æ IU B Æ YX N Æ em L Æ I B Æ XY N Æ fm H Æ A B Æ XX N Æ gm H Æ AW B Æ YY N Æ ar I Æ G Z Æ M N Æ dr I Æ B Z Æ MqM N Æ ao I Æ C C Æ Z N Æ eo I Æ D C Æ PZ V Æ Nj I Æ T C Æ ZP V Æ Nh J Æ A C Æ ZPZ V Æ N
J Æ AsL D Æ PoAP V Æ aNj
UÆ L D Æ oA V Æ aNh U Æ QL D Æ PoA V Æ eNj U Æ QqpL D Æ oAP V Æ eNh U Æ qpL T Æ pTA V Æ eN U Æ qL T Æ pA V Æ aN A Æ E S Æ oR O Æ k A Æ EF S Æ o O Æ uk A Æ EtF R Æ P O Æ ul W Æ sL R Æ SP O Æ um W Æ n R Æ S O Æ dm W Æ sLn E Æ mA O Æ uo
G Æ PA E Æ m O Æ ur G Æ A E Æ SMA M Æ O P Æ r E Æ SM M Æ Oi P Æ rP E Æ MA M Æ bOi Y Æ VP E -> M M -> Ov Y Æ PV F Æ E M -> bOv Y Æ V N Æ l Q Æ oP X Æ PVqPVP N Æ al
Keterangan dari notasi grammar dapat dilihat pada tabel berikut: Tabel 4.2 Keterangan Notasi Grammar
a: di o: kbil I: P b: ke p: kd R: FN2 c: se q: kh S: Fbil d: ter r: kket T: FP e: me s: khs K: Kalimat f: ber t: khn L: Klausa g: per v: nya W: S2 u: pe A: FB J: O h: i B: FK U: Ket i: an C: FS V: KK j: kan D: FN M: KB k: kb E: FB1 N: KK2
l: kk F: FB2 O: KB2
m: ks G: FB3 P: Kket2
n: kt H: S Q: FN1
4.4.1 Analisis Morfologi
Evaluasi yang dilakukan oleh penulis pada tahap morfologi yaitu dengan menguji seberapa tepat dan cepat tahap morfologi dapat dijalankan oleh sistem. Pengujian dilakukan dengan membandingkan jawaban dari mahasiswa/i sebagai output yang seharusnya dengan database jawaban kunci sebagai output dari sistem. Setelah proses berbandingan tersebut maka akan didapatkan Persentase ketepatan yang dilakukan oleh sistem dalam membandingkan. Hasil persentase tersebut diperoleh dari:
Keterangan: M = Persentase Ketepatan tahapan Morfologi X = Jumlah output morfem dari sistem Y = Jumlah output morfem yang seharusnya
Perhitungan tersebut berdasar pada asumsi dari penulis, karena dengan perbandingan tersebut maka dapat diketahui ketepatan yang dilakukan oleh sistem. Semakin tinggi tingkat ketepatan, maka dapat dikatakan sistem dapat melakukan tahap morfologi dengan tepat, begitu juga sebaliknya.
M = X x 100% Y
Kalimat 1
Tabel 4.3 Analisis Morfologi Contoh Kalimat 1 Output yang
seharusnya
Software yang ber fungsi untuk me
bantu manusia me ringan kan atau me selesai kan masalah nya
Output dari sistem
Software yang ber fungsi untuk me
bantu manusia me ringan kan atau me selesai kan masalah nya
Persentase Tingkat Ketepatan
100%
Time Process 0, 75 Detik
Penjelasan, pada kalimat pertama output yang seharusnya terjadi menghasilkan 17 kata, dan dilakukan perbandingan dengan database, maka output yang dihasilkan oleh sistem yaitu 17 kata. Sehingga dapat disimpulkan pada kalimat pertama tahap morfologi yang dilakukan oleh sistem menghasilkan kata yang tepat.
Kalimat 2
Tabel 4.4 Analisis Morfologi Contoh Kalimat 2 Output
yang seharusnya
Application software adalah suatu aplikasi yang
me bantu kita dalam me guna
kan komputer Output dari
sistem
Application software adalah suatu aplikasi yang
me bantu kita dalam me guna
kan komputer Persentase Tingkat Ketepatan 100% Time Process 0,51 Detik
Penjelasan, pada tes uji coba pada kalimat ke-dua output yang seharusnya terjadi menghasilkan 14 kata, dan dilakukan perbandingan dengan database, maka output yang dihasilkan oleh sistem yaitu 14 kata. Sehingga dapat disimpulkan pada kalimat ke-dua tahap morfologi yang dilakukan oleh sistem menghasilkan kata yang tepat.
Kalimat 3
Tabel 4.5 Analisis Morfologi Contoh Kalimat 3 Output
yang seharusnya
Program yang di buat buat bantu
dan me per mudah user dalam
me selesai kan masalah nya
Output dari sistem
Program yang di buat buat -
dan me per mudah user dalam
me selesai kan masalah nya
Persentase Tingkat Kesalahan 94% Time Process 0,90 Detik
Penjelasan, pada tes uji coba kalimat ke-tiga output yang seharusnya terjadi menghasilkan 17 kata, dan dilakukan perbandingan dengan database, maka output yang dihasilkan oleh sistem yaitu 16 kata. Dikarenakan pada kalimat ke-tiga terdapat morfem kata dasar ‘bantu’ dan memiliki akhiran ‘in’ dan setelah dilakukan pengecekan pada database tidak ditemukan akhiran ‘in’ karena akhiran tersebut tidak sesuai dengan tata bahasa Indonesia,
maka sistem menghapus kata tersebut. Sehingga pada kalimat ke-tiga dapat disimpulkan bahwa kalimat tersebut pada tahap morfologi yang dilakukan oleh sistem masih dapat menghasilkan kata yang tepat.
Kalimat 4
Tabel 4.6 Analisis Morfologi Contoh Kalimat 4 Output yang
seharusnya
aplikasi software adalah software tambah an
yang di buat untuk me selesai
kan masalah ter tentu Output dari
sistem
aplikasi software adalah software tambah an
yang di buat untuk me selesai
kan masalah ter tentu Persentase Tingkat Kesalahan 100% Time Process 2,01 Detik
Penjelasan, pada tes uji coba kalimat ke-tiga output yang seharusnya terjadi menghasilkan 15 kata, dan dilakukan perbandingan dengan database, maka output yang dihasilkan oleh sistem yaitu 15 kata. Dikarenakan pada kalimat ke-empat terdapat perulangan kata ‘masalah’. Tetapi sistem dapat mengatasi perulangan kata tersebut, sehingga pada kalimat ke-tiga dapat disimpulkan bahwa kalimat tersebut pada tahap morfologi yang dilakukan oleh sistem masih dapat menghasilkan kata yang tepat.
Kalimat 5
Tabel 4.7 Analisis Morfologi Contoh Kalimat 5 Output yang
seharusnya
aplikasi software adalah suatu aplikasi yang me bantu kita dalam me guna
kan komputer misal nya ms word
2003
Output dari sistem
aplikasi software adalah suatu aplikasi yang me bantu kita dalam me guna
kan komputer misal nya - -
- Persentase Tingkat Kesalahan 84,2% Time Process 1,29 Detik
Pada ada tes uji coba kalimat ke-lima output yang seharusnya terjadi menghasilkan 19 kata, dan dilakukan perbandingan dengan database, maka output yang dihasilkan oleh sistem yaitu 16 kata. Dikarenakan pada kalimat ke-lima memiliki kata yang tidak dimiliki oleh database, dan kata yang tidak terdapat dalam database tersebut merupakan kata bertata bahasa Inggris dan memiliki digit angka, maka pada kalimat ke-lima dapat disimpulkan bahwa kalimat tersebut pada tahap morfologi yang dilakukan oleh sistem masih dapat menghasilkan kata yang tepat.
Dari 5 contoh yang diambil, maka dapat simpulkan pada evaluasi tahap morfologi ini sistem dapat membandingkan kata dengan tepat, hanya saja untuk beberapa kasus seperti kata yang bertata bahasa Inggris dan memiliki digit bilangan belum bisa
ditangani oleh sistem. Dari perfoma sistem dapat dikatakan sistem berjalan dengan cepat, dilihat dari time process yang dihasilkan masih pada satuan detik. Karena semakin banyak kata yang harus dicari oleh sistem maka semakin banyak juga waktu yang dibutuhkan oleh sistem, begitu juga sebaliknya.
4.4.2 Analisis Sintaksis
Evaluasi yang dilakukan oleh penulis pada tahap sintaksis akan memperlihatkan tingkat keoptimalan dari jalannya sistem, yaitu dengan menjabarkan potongan-potongan kata / morfem kata ke dalam notasi grammar yang sudah dibuat sebelumnya. Morfem dikatakan sesuai dengan grammar jika morfem dapat melanjutkan pola grammar yang sudah dilalui oleh morfem-morfem sebelumnya sehingga dapat membentuk kalimat utuh.
Pada proses evaluasi tahap sintaksis, input-an berdasar pada hasil yang didapat pada tahap sebelumnya. Sehingga hilangnya kata pada tahap sebelumnya dapat mempengaruhi hasil yang diperoleh pada tahap ini. Ketidaksempurnaan tahap sintaksis ini juga dipengaruhi oleh notasi grammar yang belum sepenuhnya mewakili pola kalimat yang di-input.
Berikut adalah perhitungan yang dilakukan oleh penulis pada evaluasi tahap sintaksis:
Persentase tingkat kesesuaian morfem dengan grammar diperoleh berdasar pada:
Jumlah morfem yang sesuai dengan grammar Jumlah seluruh morfem dalam inputan
Proses penelusuran notasi grammar per morfem pada evaluasi tahap sintaksis ini, dapat dilihat pada tabel berikut:
Kalimat 1
“Software yang berfungsi untuk membantu manusia meringankan atau menyelesaikan masalahnya”
Tabel 4.8 Notasi Grammar pada Kalimat 1
software yang ber fungsi untuk me K ÆL L Æ HIJ H Æ AW A Æ E E Æ M M Æ O O Æ k k Æ software K Æ L LÆ HIJ H Æ AW W Æ sL s Æ yang W ÆsL L Æ HIJ I Æ B B Æ X X ÆVqV V Æ N N Æ fk f Æ ber W ÆsL L Æ HIJ I Æ B B Æ X X ÆVqV V Æ N N Æ fk k Æ fungsi W ÆsL L Æ HIJ I Æ B B Æ X X ÆVqV q Æ untuk W ÆsL L Æ HIJ I Æ B B Æ X X ÆVqV V Æ N N Æ el e Æ me
bantu manusia me ringan kan atau W ÆsL L Æ HIJU I Æ B B Æ X X ÆVqV V Æ N N Æ el l Æ bantu W ÆsL L Æ HIJU J Æ A A Æ E E Æ M M Æ O O Æ k k Æ manusia U Æ L L ÆHIJ I Æ B B Æ X X ÆVqV V Æ Nj N Æ em e Æ me U Æ L L ÆHIJ I Æ B B Æ X X ÆVqV V Æ Nj N Æ em m Æ ringan U Æ L L ÆHIJ I Æ B B Æ X X ÆVqV V Æ Nj j Æ kan U Æ L L ÆHIJ I Æ B B Æ X X ÆVqV q Æ atau
me selesai kan masalah nya
U Æ L L ÆHIJ I Æ B B Æ X X ÆVqV V Æ Nj N Æ el e Æ me U Æ L L ÆHIJ I Æ B B Æ X X ÆVqV V Æ Nj N Æ el l Æ selesai U Æ L L ÆHIJ I Æ B B Æ X X ÆVqV V Æ Nj j Æ kan U Æ L L ÆHIJ J Æ A A Æ E E Æ M M Æ Ov O Æ k k Æ masalah U Æ L L ÆHIJ J Æ A A Æ E E Æ M M Æ Ov v Æ nya
Dalam pengujian analisis sintaksis kita yang pertama, digunakan testcase Kalimat 1. Kalimat tersebut saat dicek, ditemukan sebanyak 17 morfem. Setelah pengecekan, maka sistem berhasil membaca kalimat tersebut dengan tepat dan sesuai dengan grammar yang telah dibuat. Dengan begitu, maka persentase keberhasilan untuk testcase yang kali ini bernilai 100%.
Kalimat 2
“Application software adalah suatu aplikasi yang membantu kita dalam menggunakan komputer”
Tabel 4.9 Notasi Grammar pada Kalimat 2
Application software adalah suatu aplikasi yang K ÆL L ÆHIJ H Æ AW A ÆEF E ÆM M ÆO O Æ k k ÆApplication K ÆL L ÆHIJ H ÆAW A Æ EF F ÆE E ÆM M ÆO O Æ k k Æsoftware K Æ L L ÆHIJ I Æ B B Æ X X ÆV V ÆN N Æ l l Æadalah K ÆL L ÆHIJ J ÆAsL A ÆE E ÆSM S Æo o Æsuatu K ÆL L ÆHIJ J ÆAsL A ÆE E ÆSM M ÆO O Æk k Æaplikasi K ÆL L ÆHIJ J ÆAsL s Æ yang
me bantu kita dalam me guna
J ÆAsL L ÆHIJU I Æ B B Æ X X ÆV V Æ N N Æ el e Æ me J ÆAsL L ÆHIJU I Æ B B Æ X X ÆV V Æ N N Æ el l Æ bantu J ÆAsL L ÆHIJU J ÆA A ÆE E ÆM M ÆO O Æk k Ækita J ÆAsL L ÆHIJU U ÆqL q Ædalam U ÆqL LÆHIJ I Æ B B Æ X X ÆV V Æ Nj N Æ ek e Æ me U ÆqL LÆHIJ I Æ B B Æ X X ÆV V Æ Nj N Æ ek k Æguna kan komputer
U ÆqL L ÆHIJ I Æ B B Æ X X ÆV V Æ Nj j Æ kan U ÆqL L ÆHIJ J Æ A A Æ E E Æ M M Æ O O Æ k kÆkomputer
Dalam pengujian analisis sintaksis kita yang kedua, digunakan testcase Kalimat 2. Kalimat tersebut saat dicek, ditemukan sebanyak 14 morfem. Dalam pengecekan itu, terdapat kata bilangan yaitu “suatu” yang berada dalam Objek. Sistem berhasil membaca kata bilangan “suatu” sebagai bagian dari objek, sehingga tidak terjadi kesalahan. Dengan begitu, maka persentase keberhasilan untuk testcase yang kali ini bernilai 100%.
Kalimat 3
“Program yang dibuat buat bantuin dan mempermudah user dalam menyelesaikan masalahnya”
Tabel 4.10 Notasi Grammar pada Kalimat 3
program yang di buat buat -
K ÆL L ÆHIJ H Æ AW A ÆE E ÆM M ÆO O Æ k k Æ program K ÆL L ÆHIJ H Æ AW WÆsL s Æyang W ÆsL L Æ HIJ I Æ B B Æ YX Y ÆV V Æ N N Æ fk a Æ di W ÆsL L Æ HIJ I Æ B B Æ YX Y ÆV V Æ N N Æ fk k Æ buat W ÆsL L Æ HIJ I Æ B B Æ YX X ÆVqV V Æ N N Æ k k Æ buat
dan me per mudah user dalam W ÆsL L Æ HIJ I Æ B B Æ YX X ÆVqV q Æ dan W ÆsL L Æ HIJ I Æ B B Æ YX Y ÆV V Æ eN e Æ me W ÆsL L Æ HIJ I Æ B B Æ YX Y ÆV V Æ eN N Æ gm g Æ per W ÆsL L Æ HIJ I Æ B B Æ YX Y ÆV V Æ eN N Æ gm m Æmudah W ÆsL L Æ HIJ J Æ A A Æ E E Æ M M Æ O O Æ k kÆ user W ÆsL L ÆHIJ U ÆqL q Ædalam
me selesai kan masalah nya
U ÆqL L ÆHIJ I Æ B B Æ X X ÆV V Æ Nj N Æ el e Æ me U ÆqL L ÆHIJ I Æ B B Æ X X ÆV V Æ Nj N Æ el l Æ selesai U ÆqL L ÆHIJ I Æ B B Æ X X ÆVqV V Æ Nj j Æ kan U ÆqL L ÆHIJ J Æ A A Æ E E Æ M M Æ Ov O Æ k kÆmasalah U Æ qL L ÆHIJ J Æ A A Æ E E Æ M M Æ Ov v Æ nya
Untuk pengujian ketiga, maka digunakan testcase Kalimat 3. Kalimat tersebut saat dicek, ditemukan sebanyak 17 morfem. Dalam grammar yang telah dicek, terdapat satu kata yang tidak dikenali di database yaitu kata “bantuin”, karena imbuhan “in” tidak dikenali oleh grammar sebagai imbuhan yang baik dalam ejaan bahasa Indonesia yang baik dan benar. Oleh karena itu, morfem “bantuin” dianggap kosong oleh sistem dan tidak dibaca dalam sintaksis. Dalam pengecekannya, persentase keberhasilan untuk testcase yang kali ini bernilai 100%.
Kalimat 4
“Aplikasi software adalah software tambahan yang dibuat untuk menyelesaikan masalah-masalah tertentu”
Tabel 4.11 Notasi Grammar pada Kalimat 4
aplikasi software adalah software tambah an K ÆL L ÆHIJ H Æ AW A ÆEF E ÆM M ÆO O Æ k kÆaplikasi K ÆL L ÆHIJ H ÆAW A Æ EF F ÆE E ÆM M ÆO O Æ k kÆsoftware K Æ L L ÆHIJ I Æ B B Æ X X ÆV V ÆN N Æ l l Æadalah K ÆL L ÆHIJ J ÆAsL A ÆEF E ÆM M ÆO O Æk kÆsoftware K ÆL L ÆHIJ J ÆAsL A ÆEF F Æ E E ÆM M ÆOi O Æk kÆtambah K ÆL L ÆHIJ J ÆAsL A ÆEF F Æ E E ÆM M ÆOi k Æ an
yang di buat untuk me selesai
K ÆL L ÆHIJ J ÆAsL s Æ yang J ÆAsL L ÆHIJ I Æ B B Æ X X ÆVqV V Æ N N Æ fk f Æ di J ÆAsL L ÆHIJ I Æ B B Æ X X ÆVqV V Æ N N Æ fk k Æ buat J ÆAsL L ÆHIJ I Æ B B Æ X X ÆVqV q Æ untuk J ÆAsL L ÆHIJ I Æ B B Æ X X ÆVqV V Æ Nj N Æ el e Æ me J ÆAsL L ÆHIJ I Æ B B Æ X X ÆV V Æ Nj N Æ el l Æselesai kan masalah ter tentu
J ÆAsL L ÆHIJ I Æ B B Æ X X ÆVqV V Æ Nj j Æ kan J ÆAsL L ÆHIJ J Æ A A Æ EF E Æ M M Æ O O Æ k kÆmasalah J ÆAsL L ÆHIJ J Æ A A Æ EF F Æ E E Æ M M Æ O O Æ dm d Æ ter J ÆAsL L ÆHIJ J Æ A A Æ EF F Æ E E Æ M M Æ O O Æ dm m Æ tentu
Dalam pengujian analisis sintaksis kita yang keempat, digunakan testcase Kalimat 4. Kalimat tersebut saat dicek, ditemukan
sebanyak 16 morfem. Setelah pengecekan grammar, maka kata perulangan “masalah-masalah” telah dikenali sebagai satu kata yaitu “masalah”. Untuk pengecekan analisis sintaksisnya, sistem berhasil membaca semua morfem tersebut. Dengan demikian, persentase keberhasilan untuk pengecekan testcase kali ini adalah 100%.
Kalimat 5
“Aplikasi Software adalah suatu aplikasi yang membantu kita dalam menggunakan komputer, misalnya Ms Word 2003”
Tabel 4.12 Notasi Grammar pada Kalimat 5
aplikasi software adalah suatu aplikasi yang K ÆL L ÆHIJ H Æ AW A ÆEF E ÆM M ÆO O Æ k kÆaplikasi K ÆL L ÆHIJ H ÆAW A Æ EF F ÆE E ÆM M ÆO O Æ k k Æsoftware K Æ L L ÆHIJ I Æ B B Æ X X ÆV V ÆN N Æ l l Æadalah K ÆL L ÆHIJ J ÆAsL A ÆE E ÆSM S Æo o Æsuatu K ÆL L ÆHIJ J ÆAsL A ÆE E ÆSM M ÆO O Æk kÆaplikasi K ÆL L ÆHIJ J ÆAsL s Æ yang
me bantu kita dalam me guna
J ÆAsL L ÆHIJU I Æ B B Æ X X ÆV V Æ N N Æ el e Æ me J ÆAsL L ÆHIJU I Æ B B Æ X X ÆV V Æ N N Æ el l Æ bantu J ÆAsL L ÆHIJU J ÆA A ÆE E ÆM M ÆO O Æk k Ækita J ÆAsL L ÆHIJU U ÆqL q Ædalam U ÆqL LÆHIJ I Æ B B Æ X X ÆV V Æ Nj N Æ ek e Æ me U ÆqL LÆHIJ I Æ B B Æ X X ÆV V Æ Nj N Æ ek k Æguna
kan komputer misal nya - -
U ÆqL L ÆHIJ I Æ B U ÆqL L ÆHIJ J Æ A U ÆqL L ÆHIJ J Æ A U ÆqL L ÆHIJ J Æ A
B Æ X X ÆV V Æ Nj j Æ kan A Æ EF E Æ M M Æ O O Æ k kÆkomputer A Æ EF F Æ E E Æ M M Æ Ov O Æ k kÆ misal A Æ EF F Æ E E Æ M M Æ Ov v Æ nya -
Untuk pengujian kelima, maka digunakan testcase Kalimat 5. Kalimat tersebut saat dicek, ditemukan sebanyak 19 morfem. Dalam grammar yang telah dicek, terdapat tiga kata yang tidak mampu dicek oleh grammar, yaitu “Ms”, “Word”, dan “2003”. Kata “Ms” dan “Word” tidak dapat dibaca ke dalam morfem karena kata tersebut tidak terdapat dalam database, dan untuk kata “2003” juga tidak dapat dibaca dikarenakan sistem tidak dapat mengenali digit angka. Sehingga, untuk pengecekan analisis sintaksis, 3 kata tersebut tidak dicek dan dianggap null. Maka, pengecekan sintaksis dilakukan tanpa mengecek 3 kata tersebut. Persentase keberhasilan sistem untuk mengecek testcase ini adalah bernilai 100%.
Berdasar pada evaluasi yang dilakukan untuk ke-lima kalimat diatas , maka dapat disimpulkan pada tabel berikut:
Tabel 4.13 Hasil Kesesuaian Morfem dengan Grammar Kalimat Persentase Kesesuaian
morfem dengan grammar Time Process Kalimat 1 100% 1,41 Detik Kalimat 2 100% 2,45 Detik Kalimat 3 100% 2,30 Detik Kalimat 4 100% 1,19 Detik Kalimat 5 100% 1,17 Detik
Setelah melakukan evaluasi pada 5 contoh kalimat diatas, dapat disimpulkan bahwa pengujian membutuhkan waktu yang lebih lama dibandingkan dengan pengujian pada tahap morfologi. Dikarenakan banyaknya pengecekan yang dilakukan pada tahap ini, maka kondisi tersebut sudah sewajarnya terjadi.
4.4.3 Analisis Semantik
Evaluasi ini dilakukan oleh penulis pada tahap semantik untuk menguji seberapa besar keoptimalan sistem dalam memberikan ketepatan nilai untuk jawaban yang telah diberikan oleh mahasiswa. Standar pengukuran kemampuan sistem dalam melakukan tahapan semantik adalah dengan menghitung relevansi dan ketepatan dari grammar jawaban mahasiswa dengan jawaban kunci pada database. Jawaban kunci yang ada di database telah disusun dengan struktur pola kalimat sederhana, sehingga dalam pengecekan jawaban kunci pada database dengan grammar jawaban
dari mahasiswa, yang akan dicek adalah ketepatan hubungan Subjek, Predikat, Objek, dan Keterangan yang dikenali pada grammar jawaban mahasiswa, dan dibandingkan dengan pola kalimat yang dibuat di jawaban kunci database. Untuk Pola kalimat pada jawaban kunci database disederhanakan sedemikian rupa agar jika terdapat jawaban mahasiswa yang memiliki kata kunci yang cocok dengan jawaban kunci pada database, maka sistem dapat mengenali kata kunci itu. Dalam jawaban kunci pada database, pola kalimat kunci dapat dibuat lebih dari satu, sehingga kemungkinan mahasiswa untuk menjawab soal dengan benar menjadi lebih banyak.
Hasil pengujian semantik yang telah dilakukan oleh sistem dapat dilihat pada tabel 4.14.
Tabel 4.14 Hasil Pengujian Analisis Semantik
Kalimat Nilai dari Sistem ( 0 – 100 ) Time Process Kalimat 1 100 2,21 detik Kalimat 2 37,42 1,39 detik Kalimat 3 98,18 1,24 detik Kalimat 4 100 1,57 detik Kalimat 5 35,83 1,08 detik
4.5 Evaluasi Analisis secara Umum
Setelah melakukan evaluasi, maka secara umum aplikasi tersebut dapat dioperasikan dengan baik dan fungsi pada aplikasi tersebut juga berjalan dengan
semestinya. Dari hasil evaluasi penerapan NLP dalam aplikasi didapatkan hasil yang menggambarkan performa sistem yang cukup stabil dan memberikan keoptimalan yang cukup dari tiap tahapan NLP yang dilakukan. Penulis juga memperlihatkan nilai yang diberikan oleh 3 dosen terhadap jawaban dari mahasiswa/i. Penulis memilih 3 dosen berdasar pada lama mengajar, IKAD Q dan KPI semester genap 2008/2009, yaitu sebagai berikut:
1. Dosen A awal mengajar tahun 1993
IKAD Q (rata-rata nilai dari kehadiran mengajar, rapat, dan nilai) : 4,75 dengan skala 6
KPI (Key Performance Indikator) : 4,34 dengan skala 6
2. Dosen B awal mengajar tahun 2000
IKAD Q (rata-rata nilai dari kehadiran mengajar, rapat, dan nilai) : 3,67 dengan skala 6
KPI (Key Performance Indikator) : 4,57 dengan skala 6
3. Dosen C awal mengajar 2009
IKAD Q (rata-rata nilai dari kehadiran mengajar, rapat, dan nilai) : - KPI (Key Performance Indikator) : -
Berdasar pada data 3 dosen diatas, maka penulis dapat menentukan komposisi penilaian agar sistem dapat menilai dengan objektif. Untuk dosen C tidak memiliki IKAD Q dan KPI dikarenakan dosen C baru mengajar di tahun 2009. Hasil perbandingan nilai tersebut dapat dilihat pada evaluasi berikut ini:
Soal dan Penilaian
1. Unjuk kerja suatu komputer ditentukan oleh CPUnya. Apa saja yang mempengaruhi kemampuan CPU ini?
Tabel 4.15 Penilaian Soal 1 Mahasiswa Dosen 3 Dosen 4 Dosen 5 Sistem Selisih 1 Selisih 2 Selisih 3 Mahasiswa 1 100 100 100 100 0 0 0 Mahasiswa 2 100 100 100 73.75 26.25 26.25 26.25 Mahasiswa 3 100 100 100 100 0 0 0 Mahasiswa 4 90 60 85 57.5 32.5 2.5 27.5 Mahasiswa 5 100 100 100 100 0 0 0 Mahasiswa 6 100 50 85 73.75 26.25 23.75 11.25 Mahasiswa 7 100 50 100 73.75 26.25 23.75 26.25 Mahasiswa 8 30 40 50 57.5 27.5 17.5 7.5 Mahasiswa 9 30 80 85 73.75 43.75 6.25 11.25 Mahasiswa 10 80 80 80 100 20 20 20 Mahasiswa 11 60 60 85 73.75 13.75 13.75 11.25 Mahasiswa 12 100 100 100 100 0 0 0
2. Hardware komputer tidak akan berfungsi apabila tidak diberikan perintah kepadanya, dan perintah-perintah ini ada pada software. Salah satu jenis software adalah Application Software. Apa yang disebut Application software ini ?
Tabel 4.16 Penilaian Soal 2 Mahasiswa Dosen 3 Dosen 4 Dosen 5 Sistem Selisih 1 Selisih 2 Selisih 3 Mahasiswa 1 80 60 80 37.59 42.41 22.41 42.41 Mahasiswa 2 100 80 100 100 0 20 0 Mahasiswa 3 30 50 50 38.37 8.37 11.63 11.63 Mahasiswa 4 90 100 100 91.17 1.17 8.83 8.83 Mahasiswa 5 100 50 85 69.59 30.41 19.59 15.41 Mahasiswa 6 80 60 75 37.26 42.74 22.74 37.74 Mahasiswa 7 60 60 65 40.18 19.82 19.82 24.82 Mahasiswa 8 80 70 80 38.33 41.67 31.67 41.67 Mahasiswa 9 80 70 100 92.85 12.85 22.85 7.15 Mahasiswa 10 90 90 90 98 8 8 8 Mahasiswa 11 90 100 100 100 10 0 0 Mahasiswa 12 90 90 100 94.14 4.14 4.14 5.86 Rata-Rata Selisih Nilai 18.47 15.98 16.96
3. Alat untuk menyimpan program dan data dinamakan storage. Apa perbedaan CD-R dan CD-RW?
Tabel 4.17 Penilaian Soal 3 Mahasiswa Dosen 3 Dosen 4 Dosen 5 Sistem Selisih 1 Selisih 2 Selisih 3 Mahasiswa 1 100 100 100 88.09 11.91 11.91 11.91 Mahasiswa 2 30 60 50 66.31 33.31 6.31 16.31 Mahasiswa 3 80 80 65 63.06 16.94 16.94 1.94 Mahasiswa 4 80 80 50 59.88 20.12 20.12 9.88 Mahasiswa 5 100 100 100 98.19 1.81 1.81 1.81 Mahasiswa 6 80 70 30 60.87 19.13 9.13 30.87 Mahasiswa 7 100 80 100 92.22 7.78 12.22 7.78 Mahasiswa 8 70 70 100 89.7 19.7 19.7 10.3 Mahasiswa 9 50 70 30 44.92 5.08 25.08 14.92 Mahasiswa 10 100 80 100 99.11 0.89 19.11 0.89 Mahasiswa 11 80 70 80 60.25 19.75 9.75 19.75 Mahasiswa 12 100 80 100 94.6 5.4 14.6 5.4 Rata-Rata Selisih Nilai 13.48 13.89 10.98
4.6 Rangkuman Hasil Evaluasi
Hasil evaluasi secara keseluruhan terhadap pengujian yang telah diterapkan pada tahap NLP dan sistem dapat dilihat pada tabel berikut, dan juga hasil dari
perfoma sistem serta parameter yang digunakan bergantung pada kebutuhan pengujian.
Tabel 4.18 Hasil Rangkuman Evaluasi NLP
Kalimat
Analisis Morfologi Analisis Sintaksis Analisis Semantik Persentase Tingkat Keoptimalan Persentase Kesesuaian morfem dengan grammar
Nilai dari Sistem ( 0 – 100 ) Kalimat 1 100 % 100% 100 Kalimat 2 100% 100% 37.42 Kalimat 3 94 % 100% 98.18 Kalimat 4 100 % 100% 100 Kalimat 5 84.2 % 100% 35.83
Dapat dilihat pada tabel 4.18 pada tahap analisis morfologi, tingkat keoptimalan yang dijalankan oleh sistem mencapai rata-rata 95.64 %. Sehingga dapat diasumsikan bahwa pada tahap morfologi sistem dapat mencari bentuk morfem dari kalimat input-an jawaban mahasiswa/i dengan cukup sempurna.
Pada tahap sintaksis. tingkat kesesuaian morfem dengan grammar yang dijalan oleh sistem mencapai rata-rata 100%. Sehingga dapat diasumsikan bahwa sistem dapat mencari grammar dari morfem pada kalimat input-an jawaban mahasiswa/i dengan tepat.
Pada tahap semantik. nilai dari sistem yang diperoleh berdasarkan input-an jawaban mahasiswa/i mencapai rata-rata 58.24%. Sehingga dapat diasumsikan
bahwa sistem sudah dapat mencari jawaban kunci yang tepat untuk memberikan nilai. hanya saja nilai yang diperoleh tetap bergantung pada penggunaan tata bahasa Indonesia yang tepat dan kesesuaian terhadap jawaban kunci yang terdapat pada database.
Sedangkan pada sistem. perfoma dapat dilihat pada grafik berikut:
0
2
4
6
8
10
12
14
16
18
20
Soal ke‐
1
Soal ke‐
2
Soal ke‐
3
Dosen 3
Dosen 4
Dosen 5
Rata‐Rata
Keseluruhan
Gambar 4.10 Statistik Hasil Perbandingan Nilai dari Dosen dengan Sistem
Berdasar pada statistik diatas. dapat diasumsikan bahwa sistem telah memberikan nilai kepada mahasiswa dengan rata-rata perbandingan perbedaan nilai antara dosen dengan sistem, yaitu 13.64 pada soal 1, 17.14 pada soal 2, dan 12.78 pada soal 3. Dari rata-rata yang diperoleh dosen pada setiap soal, maka penulis mendapatkan nilai rata-rata keseluruhan dari ketiga soal yaitu 14,52%.
