Sistem Validasi Dokumen Tugas Akhir Universitas Sebelas Maret
dengan Metode Forward Chaining
Muhammad Ali Masyhur Khoiruddin1, Ristu Saptono2, Afrizal Doewes3 1,2,3Informatika, FMIPA, Universitas Sebelas Maret
Email: 1alimasyhur@student.uns.ac.id, 2ristu.saptono@staff.uns.ac.id, 3afrizal.doewes@gmail.com
Abstrak
Universitas Sebelas Maret (UNS) memiliki berbagai jenis koleksi dokumen online termasuk koleksi dokumen tugas akhir yang dikelola oleh Unit Pelaksana Teknik (UPT) Perpustakaan UNS. Mahasiswa yang akan mengikuti wisuda wajib mengumpulkan dokumen tugas akhir untuk mendapatkan surat keterangan bebas pinjaman perpustakaan. Sistem yang berjalan saat ini belum melakukan verifikasi konten dokumen. Penelitian ini mengusulkan sebuah sistem validasi untuk melakukan validasi dokumen tugas akhir menggunakan metode Forward Chaining. Dataset yang digunakan berupa heading dan subheading berdasarkan aturan penulisan tugas akhir dari fakultas dan program studi di UNS, kemudian disimpan dalam database untuk digunakan sebagai knowledge base system. Pengujian sistem ini dilakukan berdasarkan pengecekan 269 data uji oleh peneliti dan membandingkannya dengan knowledge base yang telah ditentukan sebelumnya. Hasil pengujian sistem ini adalah 100%, dihitung dengan membandingkan hasil pengujian peneliti dengan output dari sistem validasi. Sistem ini cukup terpercaya, karena menghasilkan tingkat akurasi sebesar 100%.
Kata Kunci: Sistem Validasi, Forward Chaining, Knowledge Base System
Abstract
Universitas Sebelas Maret(UNS) has a collection of various types of online documents including final project document collections managed by Unit Pelayanan Teknis (UPT) Perpustakaan UNS. Students who will follow the graduation shall collect thesis documents to obtain a free lend certificate from the library. The current system has not verified the content of the document. This study proposes a validation system to validate the final project documents using Forward Chaining method. The dataset used in the form of headings and subheadings under the rules final projects of the faculty and department at UNS, then stored in a database to be used as a knowledge base system. System testing is done by checking 269 data by researchers and compared with knowledge base that has been predetermined. Testung result of this system is 100%, calculated by comparing the test results of researchers with the output of the validation system. The system is quite reliable, because it yields an accuracy rate of 100%.
Keyword: Validation System, Forward Chaining, Knowledge Base System
1. PENDAHULUAN
Universitas Sebelas Maret (UNS) memiliki berbagai jenis koleksi digital termasuk di dalamnya koleksi dokumen tugas akhir. Koleksi digital dokumen tugas akhir, yaitu level D3, level S1, level S2, dan level S3 dikelola oleh Unit Pelaksana Teknik (UPT) Perpustakaan UNS. Mahasiswa yang akan mengikuti wisuda wajib mengumpulkan dokumen tugas akhir-nya kepada petugas perpustakaan pusat untuk mendapatkan surat keterangan bebas pinjaman perpustakaan. Dokumen tugas akhir tersebut terdiri dari beberapa file, yaitu: halaman awal, bab 1, bab 2, bab 3, bab4, bab 5, dan bab 6.
Alur sistem yang berjalan saat ini, yaitu: mahasiswa mengumpulkan soft-file dokumen tugas akhir ke petugas perpustakaan pusat tanpa adanya verifikasi/pengecekan konten dokumen. Kemudian file tersebut diunggah oleh petugas perpustakaan ke dalam sistem digital library UNS. Peserta wisuda UNS setiap periode rata-rata berjumlah 2.000-3.000 mahasiswa. Jika rata-rata dokumen yang diunggah berjumlah 6, maka ada 12.000-18.000 dokumen yang diunggah ke dalam sistem oleh petugas. Untuk meminimalisasi terjadinya kesalahan dalam pengunggahan dokumen maka dibangun sistem validasi.
Sistem validasi digunakan untuk mendeteksi kebenaran dokumen dengan mengecek konten dokumen yang diunggah dan disesuaikan dengan pengetahuan dasar (knowledge base) dalam database menggunakan metode Forward Chaining dimana sistem ini merupakan sistem yang berdasarkan pada aturan (Rule Base System). Forward Chaining merupakan metode pencarian yang memulai proses dengan menampilkan koleksi data atau fakta, dari fakta tersebut dicari suatu kesimpulan yang menjadi solusi dari permasalahan yang dihadapi [1]. Rule Base System merupakan sistem yang menggunakan aturan sebagai paradigma representasi utama [2]. Koleksi data didapat dari heading dan sub-heading sesuai aturan
pengunggahan, dokumen akan diparsing ke teks, kemudian teks tersebut dicari kesesuaiannya dengan data dalam rule dalam database. Hasil pengecekan sistem akan menghasilkan kesimpulan apakah dokumen yang diunggah valid atau tidak, sesuai dengan rule atau tidak. Apabila dokumen tersebut dinyatakan valid oleh sistem, berarti dokumen tersebut telah sesuai dengan rule dan akan disimpan ke dalam database. Jika sebaliknya, dokumen tidak valid, berarti dokumen tersebut tidak sesuai dengan rule dan mahasiswa diminta mengunggah kembali dengan dokumen yang benar.
Hingga saat ini belum ada penelitian mengenai akurasi penggunaan metode Forward Chaining untuk validasi dokumen tugas akhir. Oleh karena itu, peneliti melakukan penelitian guna mengetahui akurasi metode Forward Chaining untuk validasi dokumen tugas akhir.
2. METODE
2.1. Rule Base System
Rule Base System merupakan representasi pengetahuan pakar dalam bentuk aturan-aturan. Representasi
pengetahuan yang digunakan dalam sistem ini menggunakan aturan if-else [2]. Aturan dalam sistem ini biasanya dalam bentuk pernyataan dan kesimpulan. Jika semua pernyataan bernilai benar, maka kesimpulannya dianggap benar. Komponen dari Rule Base System terdiri dari Knowledge Base, Inference
Engine, Knowledge Aquisition Component, Explanation System dan User Interface [3]. Skema komponen rule base system ditunjukkan pada Gambar 1.
1) Knowledge Base
Knowledge Base (juga disebut dengan rule base) merupakan set dari aturan yang merepresentasikan knowledge (pengetahuan) dari sistem. Bentuk umum dari aturan sebagai berikut.
If cond1 and cond2 and cond3
....
then action1, action2 (1)
Kondisi cond1, cond2, cond3, etc (disebut juga anticedent) dievaluasi berdasarkan apa yang saat ini diketahui tentang masalah yang akan diselesaikan.
2) Database
Database mengandung kumpulan dari fact atau data yang digunakan untuk dicocokkan dengan
IF(kondisi) yang merupakan bagian dari rule yang disimpan dalam database.
3) Inference Engine
Inference Engine melakukan proses untuk mencari kesimpulan dari sistem validasi dimana berkaitan
dengan aturan di dalam knowledge base dengan koleksi data berisi fakta yang telah disimpan dalam
database. Pada penelitian ini, Inference Engine menggunakan metode Forward Chaining [4]. Knowledge Base Rule: IF-THEN Database Fact Inference Engine Explanation System User Interface User
4) Explanation System
Explanation System memungkinkan user untuk mengetahui bagaimana kesimpulan dari sistem validasi
didapat dan data apa saja yang dibutuhkan untuk mencapai kesimpulan tersebut. 5) User Interface
User Interface merupakan tampilan bagi user untuk melakukan komunikasi dengan sistem dalam proses
validasi dokumen. 2.2. Forward Chaining
Forward Chaining merupakan metode pencarian bottom-up yang memulai proses dengan menampilkan
koleksi data atau fakta, dari fakta tersebut dicari suatu kesimpulan yang menjadi solusi dari permasalahan yang dihadapi [1]. Metode ini juga disebut dengan pencarian data-driven. Pada metode ini, mulai dari informasi masukan (IF) dengan kondisi tertentu sampai pada kesimpulan dari informasi yang diperoleh (THEN) dapat dimodelkan sebagai berikut.
IF (Informasi masukan)
THEN (Kesimpulan) (2)
Model ini menggunakan informasi masukan dan kesimpulan yang disebut dengan aturan produksi [5]. Informasi masukan dapat berupa data, bukti, temuan, atau observasi. Sementara kesimpulan dapat menjadi tujuan, diagnosis atau penjelasan. Sehingga logika Forward Chaining dapat dimulai dari data ke tujuan, dari temuan ke penjelasan, dan/atau dari pengamatan ke diagnosis [6].
2.3. Metode Pengujian Confussion Matrix
Performa (akurasi) sistem akan diuji menggunakan metode Confusion Matrix. Confusion Matrix memberikan penilaian performa klasifikasi berdasarkan objek dengan nilai benar atau salah. Confusion
matrix berisi informasi aktual dan prediksi pada sistem validasi dan klasifikasi [7]. Tabel 1 merupakan
contoh hasil dari prediksi dua kelas.
Tabel 1. Klasifikasi confusion matrix dua kelas
Klasifikasi
Prediksi Kelas
Ya Tidak
Aktual Kelas Ya True Positive – tp False Negative – fn Tidak False Positive – fp True Negative – tn
Berikut ini adalah persamaan model confusion matrix untuk menghitung akurasi. Nilai akurasi (acc) adalah proporsi jumlah prediksi yang benar. Dapat dihitung menggunakan persamaan (3).
(3)
tp, tn merupakan nilai prediksi yang benar (correct) dan fp, fn merupakan nilai prediksi yang tidak benar (incorrect).
3. HASIL DAN PEMBAHASAN 3.1 Hasil Pengumpulan Data
Pada tahap pengumpulan data, penulis melakukan observasi untuk mencari aturan penulisan tugas akhir pada setiap fakultas dan beberapa program studi di UNS. Kemudian memilih secara random dokumen tugas akhir dari mahasiswa dan setiap fakultas diambil 5. Diperoleh 45 data mahasiswa yang rata-rata memiliki beberapa dokumen, yaitu halaman awal, bab i, bab ii, bab iii, bab iv, bab v, dan bab vi. Ada beberapa mahasiswa yang tidak memiliki bab v dan bab vi. Ada juga mahasiswa yang tidak memiliki bab vi. Total dokumen yang diperoleh berjumlah 269 dokumen kemudian. Data yang diambil berupa heading dan sub-heading yang menjadi aturan penulisan tugas akhir. Adapun contoh data heading dan sub
Tabel 2. Data heading dan sub heading No Data Heading dan Sub Heading
1 SKRIPSI 2 ABSTRAK 3 ABSTRACT 4 DAFTAR ISI 5 KATA PENGANTAR 6 MOTTO 7 PERSEMBAHAN 8 BAB I 9 PENDAHULUAN 10 Latar Belakang 11 Rumusan Masalah 12 Tujuan Penelitian 13 Manfaat Penelitian
14 BAB II TINJAUAN PUSTAKA 15 BAB III METODE PENELITIAN
16 BAB IV ANALISA DATA DAN PEMBAHASAN 17 BAB V PENUTUP
3.2 Knowledge Base Sistem
Dari aturan fakultas dan program studi yang di dapat pada tahap sebelumnya, diambil heading dan sub
heading. Pada bab ii, bab iii, bab iv data diambil hanya sampai pada heading saja, tidak ada aturan untuk
penulisan sub heading karena sudah tergantung pada tema penulisan tugas akhir. Jumlah kata minimal (minimal word count) dokumen masing-masing bab dihitung berdasarkan jumlah kata terkecil pada dokumen sampel. Jumlah kata minimal digunakan untuk membatasi minimal kata yang terdapat pada dokumen. Adapun contoh knowledge base/rule yang didapat ialah sebagaimana tercantum pada Tabel 3.
Tabel 3. Rule sistem
Rule Data
HALAMAN AWAL
“SKRIPSI” AND “ABSTRAK” AND “ABSTRACT” AND “DAFTAR ISI” AND “KATA PENGANTAR” AND “MOTTO” AND “PERSEMBAHAN” AND MIN_ WORD_COUNT = 300
BAB I
“BAB I” AND “PENDAHULUAN” AND “Latar Belakang” AND “Rumusan Masalah” AND “Tujuan Penelitian” AND “Manfaat Penelitian” AND MIN_ WORD_COUNT = 400
BAB II “BAB II TINJAUAN PUSTAKA” AND 1000
BAB III “BAB III” AND “METODE PENELITIAN” AND MIN_ WORD _COUNT = 178
BAB IV “BAB IV ANALISIS DATA DAN PEMBAHASAN” AND MIN_ WORD _COUNT = 280
BAB V “BAB V PENUTUP” AND MIN_WORD_ COUNT = 80
3.3 Tampilan Antarmuka Aplikasi
Aplikasi yang dikembangkan akan melakukan validasi dokumen yang diunggah oleh user. Sistem validasi akan mengecek konten dokumen apakah konten tersebut dan membandingkannya dengan mencari rule yang sesuai dengan konten dokumen.
1) Halaman login dapat dilihat pada Gambar 2.
Gambar 2. Halaman login 2) Menu Unggah Dokumen dapat dilihat pada Gambar 2.
Gambar 3. Unggah dokumen 3) Hasil Validasi Sistem dapat dilihat pada Gambar 4 dan Gambar 5.
Gambar 4. Validasi sistem berhasil
Gambar 5. Validasi sistem dokumen salah 3.4 Pengujian
Pengujian Sistem Validasi dilakukan pada dokumen tugas akhir sejumlah 269 dokumen yang telah dipilih pada tahap sebelumnya. Tes ini dilakukan dengan melakukan validasi konten dokumen berdasarkan
dokumen tersebut berisi heading dan sub-heading: “BAB I PENDAHULUAN”, “L atar Belakang”, “'Rumusan masalah”, “Tujuan Penelitian'”, dan “Manfaat Penelitian”. Kemudian Forward Chaining mencari rule yang sesuai dengan data tersebut. Rule yang ditemukan memiliki data: “BAB I PENDAHULUAN”, “Latar Belakang”, “'Rumusan Masalah”, “Tujuan Penelitian'”, dan “Manfaat Penelitian”. Jika dibandingkan seperti tabel 4 di bawah ini.
Tabel 4. Perbandingan data dokumen dan rule
Data Dokumen Data Rule
BAB I PENDAHULUAN BAB I PENDAHULUAN L atar Belakang Latar Belakang
Rumusan masalah Rumusan Masalah Tujuan Penelitian Tujuan Penelitian Manfaat Penelitian Manfaat Penelitian
Sistem akan memberikan output berupa pesan kesalahan penulisan pada kata “Latar Belakang” dan “Rumusan masalah” karena tidak sesuai dengan data dalam rule.
Kemudian hasil validasi manual dari 296 dokumen dibandingkan dengan output dari sistem diperoleh nilai hasil pengujian seperti pada tabel 4.
Tabel 5. Pengujian
Jenis Dokumen Jumlah dokumen tervalidasi sistem dan validasi manual
Tp Tn Fp Fn Halaman Awal 37 15 0 0 BAB I 27 18 0 0 BAB II 34 11 0 0 BAB III 40 5 0 0 BAB IV 41 4 0 0 BAB V 31 6 0 0 BAB VI 6 1 0 0
Setelah di dapatkan tabel hasil pengujian, kemudian dihitung akurasi dari sistem sebagai berikut. 00%
Akurasi yang dihasilkan sistem bernilai 100%. Dari 269 dokumen yang tervalidasi oleh sistem, setelah dilakukan validasi manual terdapat 53 dokumen yang tervalidasi bernilai true negative dan 216 dokumen bernilai true positive. True negative artinya dokumen yang diunggah tervalidasi sistem benar, akan tetapi terdapat beberapa data yang tidak terdapat dalam rule dan terdapat kesalahan penulisan kata. Kesalahan ini terjadi diantaranya karena kesalahan penulisan, dan konten dokumen tersebut tidak memiliki data yang sesuai dengan rule. Sedangkan true positive artinya dokumen yang diunggah bernilai benar dan sesuai
rule dalam knowledge base.
4. SIMPULAN
Sistem validasi menggunakan metode Forward Chaining berdasarkan knowledge base dapat digunakan untuk validasi dokumen tugas akhir. Sistem validasi dapat mengetahui konten dokumen yang diunggah oleh user berdasarkan knowledge base menggunakan metode Foward Chaining dan pendekatan Rule
Base System. Akurasi sistem ini cukup tinggi, karena tingkat akurasi sistem mencapai 100%.
5. REFERENSI
[1] Al-Ajlan A. 2015. The Comparison between Forward and Backward Chaining International Journal
of Machine Learning and Computing. vol. 5(2): 106-113.
[2] Sasikumar, Ramani, Raman, M., Anjaneyulu, dan Chandrasekar. 2007. A Practical Introduction to
Rule Based Expert Systems. Narosa Publishing House, New Delhi.
[3] Swingler, K. 2014. Reasoning System. University of Starling. http://www.cs.stir.ac.uk/courses/ ITNP60/lectures/2%20Decision%20Support/1%20-%20Rule%20Based%20Systems.pdf, diakses 20 Septeber 2016.
[4] Bultman, A., Joris, K, Frank, H. 2000. Maintenance of KBS’s by Domain Experts The Holy Grail in Practice. Lecture Notes in Computer Science. IEA/AIE 2000. USA, 19 dan 20 Juni 2000. [5] Peter J.F, Lucas, LCvdG. 1991. Principles of Expert Systems. Addison-Wesley, Amsterdam.
[6] Windriyani, P., Wiharto, Sihwi, S.W,. 2013. Expert System for Detecting Mental Disorder with
Forward Chaining Method. International Conference On ICT For Smart Society 2013. Jakarta, 13 dan 14 Juni, 2013.
[7] Ian, H., Eibe,F., Mark A.. 2011. Practical Machine Learning Tools and Techniques. Third ed. Morgan Kaufmann, Burlington, USA.
