PEMBOBOTAN PENILAIAN UJIAN PILIHAN GANDA MENGGUNAKAN
ALGORITMA GENETIKA
Ida Wahyuni1, Wayan Firdaus Mahmudy2
1,2 Program Studi Magister Ilmu Komputer, Fakultas Ilmu Komputer, Universitas Brawijaya
Jl. Veteran No. 8 Malang 65145 Telp. (0341) 577911
E-mail: 1[email protected], 2[email protected]
ABSTRACT
Result of multiple choice exams may not accurately describe the students competence since weight of all questions are considered equal. This study proposes a genetic algorithm to determine the weighting of the multiple choice questions so that the test result obtained can reflect the students' actual rank. This algorithm works with a population of chromosomes, with each chromosome represents a solution for weighting multiple choice questions. The chromosome with most optimal fitness value based on the correlation with data from the specialist will be make for solution weighting. In this study, the genetic algorithm can provide optimal weight rating in accordance with the ability of learners with a high level correlation of 0.673748. The correlation value is better than giving weight uniformly for multiple choice questions that have a correlation of 0.5.
Keywords: Genetic Algorithm, Exam, Weighting Problem, Multiple Choice, Correlation
ABSTRAK
Seringkali hasil ujian pilihan ganda tidak menggambarkan urutan kompetensi siswa, hal tersebut dikarenakan bobot semua soal pilihan ganda dianggap sama. Penelitian ini mengusulkan algoritma genetika untuk menentukan pembobotan pada soal pilihan ganda sehingga hasil ujian yang diperoleh dapat mencerminkan peringkat siswa yang sebenarnya. Algoritma ini bekerja dengan sebuah populasi yang terdiri dari kromosom-kromosom, dimana masing-masing kromosom merepresentasikan sebuah solusi untuk pembobotan soal pilihan ganda. Kromosom yang mempunyai nilai fitness paling optimal berdasarkan korelasi dengan data dari pakar akan dijadikan solusi untuk pembobotan. Dalam penelitian ini, algoritma genetika dapat memberikan bobot penilaian yang optimal sesuai dengan kemampuan peserta didik dengan tingkat korelasi tinggi yaitu sebesar 0.673748. Nilai korelasi tersebut lebih baik daripada memberikan bobot soal pilihan ganda secara seragam yang mempunyai korelasi sebesar 0.5.
Kata Kunci: Algoritma Genetika, Ujian, Pembobotan Soal, Pilihan Ganda, Korelasi
1. PENDAHULUAN
Untuk mengetahui hasil dari proses pembelajaran harus dilakukan sebuah ujian atau evaluasi (Lesage, Valcke, & Sabbe, 2013). Namun, metode ujian yang masih banyak digunakan mulai dari tingkat sekolah dasar bahkan sampai tingkat perguruan tinggi adalah metode pilihan ganda dengan media ujian paper based atau menggunakan media kertas secara manual (Pate & Caldwell, 2014). Peserta didik mengisikan jawaban ujian dengan menyilangkan atau melingkari pilihan jawaban pada lembar jawaban yang nantinya akan dikoreksi secara manual oleh guru atau dosen (Wahyuni, 2014). Cara tersebut sangatlah rentan dari berbagai macam kesalahan baik kesalahan teknis (technical error), maupun kesalahan manusia
(human error). Kesalahan teknis tersebut
meliputi kotor, lusuh atau rusaknya lembar jawaban. Sedangkan kesalahan manusia meliputi salah dalam pengkoreksian jawaban, atau pun salah dalam perhitungan nilai, serta kurangnya
tingkat presisi dan akurasi dari nilai yang diberikan.
Dampak yang lebih buruk lagi adalah hal ini dapat mempengaruhi proses penilaian peserta didik. Terkadang ada peserta didik yang paham materi bab pertama, namun kurang paham di materi bab kedua, sehingga kemungkinan besar saat pelaksanaan ujian peserta didik tersebut hanya dapat menyelesaikan setengah dari soal yang diberikan dan nilainya pun akan kurang memuaskan (Reich, 2013). Masalah lain juga akan terlihat saat ada dua peserta didik yang mempunyai jawaban benar yang sama maka nilainya juga akan sama, padahal letak jawaban benar berada di nomor yang berbeda dan tingkat kesulitan soal pada jawaban benar juga pasti berbeda (Wahyuni, 2014).
Perlu adanya sebuah optimasi bobot dalam soal pilihan ganda agar didapatkan hasil ujian yang optimal. Salah satu algoritma yang dapat digunakan untuk optimasi penilaian adalah algoritma genetika, karena algoritma ini cukup
bagus dalam penyelesaian masalah optimasi (Mahmudy, 2013). Algoritma genetika digunakan untuk menentukan bobot soal pilihan ganda yang optimal dengan acuan perhitungan korelasi dengan data peringkat siswa yang diperoleh dari pakar. Bobot yang menghasilkan nilai ujian dengan korelasi yang tinggi akan memunculkan hasil penilaian ujian yang paling optimal sesuai dengan kemampuan peserta didik. Dengan adanya pembobotan soal pilihan ganda, tingkat kesamaan nilai antara peserta didik yang satu dengan yang lainnya dapat diminimalkan serta urutan kompetensi peserta didik akan tergambar sesuai dengan tingkat kesulitan soal yang berhasil dijawab. Hal tersebut akan membantu praktisi pendidikan untuk mengetahui sejauh mana tingkat kemampuan peserta didiknya dan dapat dengan mudah menentukan peringkat atau peringkat dengan lebih objektif. Dengan demikian proses pelaksanaan ujian akan menjadi lebih efektif serta masalah-masalah yang sering terjadi dalam pelaksanaan ujian dapat diminimalisir (Wahyuni, 2014).
2. PEMBAHASAN
2.1 Representasi Kromosom
Berdasarkan perancangan ujian yang akan dibuat, ditentukan bahwa jumlah soal pilihan ganda yang digunakan adalah 30 soal. Representasi kromosom yang digunakan adalah
representasi integer. Kromosom
direpresentasikan dengan sebuah vektor yang mempunyai 30 elemen atau gen, dimana
masing-masing elemen mewakili pembobotan dari masing-masing soal (Wahyuni, 2014).
Gambar 1. Perancangan Susunan Kromosom
Pada Gambar 1 perancangan susunan kromosom terdiri dari B1 sampai Bi dimana Bi adalah pembobotan soal ke-i. Isi dari Bi didapat dari random angka dengan interval [2,10]. Untuk mempermudah contoh perhitungan, dibuat sebuah pemisalan dengan jumlah soal sebanyak 10 soal, sehingga jumlah gen dalam kromosom adalah 10 gen. Berikut ini adalah ilustrasi susunan kromosom yang dibuat dengan 10 gen:
Gambar 2. Ilustrasi Susunan Gen Dalam Kromosom, Dimana Isi Gen Adalah Bobot
Untuk Setiap Soal
2.2 Pembentukan Populasi
Populasi dibentuk dengan cara
membangkitkan bilangan random sesuai dengan ukuran populasi atau popSize yang ditentukan. Pada Tabel 1 disilustrasikan bahwa ukuran populasi terdiri dari 10 kromosom, dan 1 kromosom terdiri dari 10 gen.
Tabel 1. Pembentukan Populasi Awal
Kromosom Gen
2.3 Penghitungan Nilai Fitness
Fungsi tujuan dari masalah optimasi harus dikonversi ke fungsi fitness yang digunakan untuk mengukur kebaikan dari solusi yang didapat (Mahmudy, Marian, & Luong, 2013). Digunakan formulasi korelasi rank Spearman untuk menentukan kualitas kromosom terbaik. Korelasi rank Spearman dipilih karena metode
ini sering digunakan untuk korelasi data berdasarkan peringkat. Dengan metode korelasi tersebut bisa diketahui berapa korelasi peringkat hasil penilaian dengan pembobotan algoritma genetika dengan peringkat yang sebenarnya sesuai dengan data dari pakar (Santika & Mahmudy, 2015). Persaman yang akan
digunakan untuk menghitung korelasi rank
Spearman ditunjukkan pada Persamaan 1:
)
1
(
6
1
22
¦
n
n
di
rs
(1)Dimana:
rs = korelasi rank Spearman di = selisih peringkat data ke-i n = jumlah data
Contoh perhitungan nilai dengan solusi yang didapat dari agoritma genetika ditunjukkan pada Tabel 2. Pada Tabel 2 dijelaskan cara penghitungan nilai dengan pembobotan hasil
algoritma genetika yaitu dengan cara mengalikan hasil jawaban pilihan ganda yang diperoleh peserta didik (Si) dengan bobot dari hasil generate algoritma genetika (Bi). Cara yang sama juga digunakan untuk menghitung nilai pada hasil ujian peserta didik yang lain. Bobot yang dipakai untuk contoh adalah kromosom K1. Setelah nilai selesai dihitung, maka akan dilakukan perhitungan fitness menggunakan korelasi Spearman yang ditunjukkan pada Tabel 3. Pada Tabel 3 dijelaskan proses penghitungan fitness dari kromosom K1 untuk hasil ujian 10 peserta didik. Pada contoh perhitungan ini dimisalkan ada 10 soal pilihan ganda dengan 9 jawaban benar dan 1 jawaban salah yang letaknya berada pada nomor yang berbeda.
Tabel 2. Contoh Perhitungan Nilai dengan Solusi Kromosom K1
Kromosom Gen
1 2 3 4 5 6 7 8 9 10
K1 0 1 1 1 1 1 1 1 1 1
2 4 4 3 6 7 5 10 9 8
Bi*Si 0 4 4 3 6 7 5 10 9 8
Bi*Si 56
Tabel 3. Penghitungan Fitness pada Kromosom K1
Peserta
Didik Bi*Si Peringkat GA Peringkat Sebenarnya di di 2
1 56 1 1 0 0
2 54 3.5 2 1.5 2.25
3 54 3.5 3 0.5 0.25
4 55 2 4 -2 4
5 52 6 5 1 1
6 51 7 6 1 1
7 53 5 7 -2 4
8 48 10 8 2 4
9 49 9 9 0 0
10 50 8 10 -2 4
di2 20.5
Korelasi Spearman / Fitness Kromosom K1 0.8757576
Hasil dari penghitungan fitness pada semua kromosom ditampilkan pada Tabel 4.
Tabel 4. Fitness Setiap Kromosom
Individu Fitness
K1 0.875757576
K2 0.184848485
K3 0.145454545
K4 0.542424242
Tabel 4. Fitness Setiap Kromosom (Lanjutan)
K5 0.351515152
K6 0.127272727
K7 0.403030303
K8 0.021212121
K9 0.112121212
K10 0.042424242
2.4 Crossover
Crossover dilakukan untuk membentuk
kromosom baru atau offspring dari proses persilangan dua kromosom (Mahmudy, 2014). Mekanisme crossover yang dipakai adalah crossover banyak titik atau multi cut point crossover.
Langkah pertama yaitu tentukan crossover rate (cr), dalam penelitian ini digunakan cr yang digunakan yaitu 0.95. Nilai ini menyatakan jumlah offspring yang dihasilkan pada proses
crossover, sehingga jumlah offspring yang
dihasilkan sebanyak cr x popSize (Mahmudy, 2014). Setelah itu siapkan sepasang kromosom yang digunakan sebagai induk yang dipilih secara random. Tentukan dua titik potong secara random, kemudian tukarkan susunan gen induk sehingga didapatkan 2 offspring atau keturunan. Ilustrasi crossover yang dilakukan pada kromosom K1 dan K9 ditunjukkan pada Tabel 5 berikut ini.
Tabel 5. Proses Crossover
Induk Gen
1 2 3 4 5 6 7 8 9 10
Kromosom 1 2 4 4 3 6 7 5 10 9 8
Kromosom 9 5 4 6 5 3 2 10 7 6 3
Offspring Gen
1 2 3 4 5 6 7 8 9 10
Offspring 1 2 4 4 5 3 2 10 10 9 8
Offspring 2 5 4 6 3 6 7 5 7 6 3
2.5 Mutasi
Pada penelitian ini mekanisme mutasi yang digunakan adalah mutasi biner. Langkah pertama yang dilakukan yaitu menentukan mutation rate (mr), nilai mr yang digunakan dalam penelitian ini adalah 0.05 dan total kromosom yang akan bermutasi dapat diketahui dengan menghitung mr dikalikan dengan jumlah populasi, sehingga dalam penelitian ini ada 1 kromosom. Setelah kromosom terpilih, langkah selanjutnya pilih 1 gen yang akan dimutasi secara acak, lalu konversi nilainya ke biner, ubah nilai binernya dan konversikan lagi ke desimal, sehingga nilai gen hasil mutasi akan berubah. Berikut ini adalah ilustrasi mutasi pada kromosom 1:
Gambar 3. Ilustrasi Proses Mutasi Biner
2.6 Seleksi Elits dan Pembentukan Populasi Baru
Seleksi elits merupakan strategi deterministk yang menjamin sejumlah popSize kromosom terbaik (dari kumpulan parent dan offspring) dipilih untuk lulus ke generasi berikutnya (Jafarian, 2010). Cara kerja metode seleksi elitism adalah semua kromosom baik induk maupun offspring diurutkan dari yang terbaik berdasarkan nilai fitness masing-masing kromosom. Kromosom yang terbaik akan di-copy ke dalam populasi baru yang akan menjadi generasi berikutnya. Kromosom baru hasil rekayasa genetika yang sudah diseleksi dengan proses elits disajikan pada Tabel 6 berikut ini:
Tabel 6. Populasi Baru Hasil Elits
Kromosom Fitness
K1 0.875757576
Offspring 1 0.663636364
K7 0.403030303
K2 0.184848485
Offspring 2 0.172727273
K3 0.145454545
Offspring 3 0.142424242
K6 0.127272727
K9 0.112121212
K8 0.021212121
2.7 Terminasi Laju Generasi
Didalam algortima genetika tidak ada indikasi langsung kapan proses telah selesai menentukan solusi terbaik. Namun, ada berbagai macam metode yang dapat digunakan untuk menghentikan laju generasi (Jafarian, 2010). Ada dua kondisi yang digunakan untuk menghentikan laju generasi dengan asumsi bahwa populasi telah menghasilkan solusi optimal. Yang pertama yaitu mengambil suatu nilai sebagai batas regenerasi yaitu 30 generasi. Yang kedua yaitu menghitung kegagalan penggantiaan anggota populasi yang terjadi secara berurutan, diasumsikan terdapat 10 kali kegagalan penggantian kromosom dalam 1 siklus.
2.8 Data Uji
Dalam proses penilaian pilihan ganda menggunakan algoritma genetika, disimulasikan dengan 30 nomor soal pilihan ganda dengan 30 peserta ujian. Jawaban benar untuk hasil ujian dibuat sama yaitu benar pada 25 nomor dan salah pada 5 nomor, namun jawaban yang salah terletak di nomor yang berbeda-beda. Dengan pemodelan seperti yang dijelaskan diatas diharapkan akan muncul hasil penilaian yang beragam meskipun jumlah jawaban benarnya sama, sehingga lebih mudah mendapatkan hasil penilaian yang optimal. Selain data hasil ujian dibutuhkan juga data peringkat dari 30 siswa yang akan dijadikan data perbandingan dengan hasil pembobotan menggunakan algoritma genetika. Nantinya, peringkat sebenarnya akan diperoleh melalui wawancara dengan pakar. Pakar disini bisa seorang guru kelas yang mengetahui dengan pasti tingkat kemampuan siswanya. Contoh data peringkat tersebut ditampilkan dalam Tabel 7.
Tabel 7. Data Peringkat Siswa
No. Nama Siswa Peringkat Sebenarnya
1 Siswa 1 1
Tabel 7. Data Peringkat Siswa (Lanjutan)
Berdasarkan perancangan yang dibahas pads bab sebelumnya, ditentukan bahwa jumlah soal pilihan ganda yang digunakan adalah 30 soal dengan 30 peserta ujian. Dari data hasil ujian yang sudah didapat, akan dihitung bobot penilaian yang paling optimal dengan algoritma genetika dengan dasar peringkat siswa sebagai patokan penentuan kombinasi bobot yang paling optimal. Penilaian dengan bobot hasil generate algoritma genetika dianggap sebagai hasil yang paling optimal, karena sudah melalui proses penghitungan fitness dengan rumus korelasi
Spearman dengan membandingkan peringkat
hasil pembobotan dengan peringkat siswa yang sebenarnya.
Sebelum melakukan penghitungan bobot dengan algoritma genetika, harus ditentukan dulu parameter algoritma genetika yang digunakan. Pada penelitian sebelumnya yang dilakukan oleh Wahyuni (2014) didapatkan kombinasi cr (crossover rate) dan mr (mutation rate) yang paling optimal seperti yang ditampilkan pada Tabel 8. Data parameter genetika tersebut yang akan digunakan dalam penelitian ini.
Tabel 8. Data Parameter Algoritma Genetika
Parameter Nilai
Population Size 30
Max Generation 30
Crossover Rate 0.95
Mutation Rate 0.05
Hasil dari proses penilaian menggunakan pembobotan algoritma genetika yang paling optimal pada 30 soal dengan 25 jawaban benar dan 5 jawaban salah ditunjukkan pada Tabel 9 berikut ini.
Tabel 9. Hasil Penilaian dengan Pembobotan Algoritma Genetika yang Mempunyai Tingkat Korelasi Tertinggi
No. Nama Siswa Nilai Peringkat GA Peringkat Sebenarnya di di2
1 Siswa 1 86 7.5 1 6.5 42.25
2 Siswa 2 90 1 2 -1 1
3 Siswa 3 88 2 3 -1 1
4 Siswa 4 86 7.5 4 3.5 12.25
5 Siswa 5 87 3.5 5 -1.5 2.25
6 Siswa 6 86 7.5 6 1.5 2.25
7 Siswa 7 86 7.5 7 0.5 0.25
8 Siswa 8 83 18 8 10 100
9 Siswa 9 83 18 9 9 81
10 Siswa 10 83 18 10 8 64
11 Siswa 11 83 18 11 7 49
12 Siswa 12 84 13.5 12 1.5 2.25
13 Siswa 13 86 7.5 13 -5.5 30.25
14 Siswa 14 87 3.5 14 -10.5 110.25
15 Siswa 15 86 7.5 15 -7.5 56.25
16 Siswa 16 84 13.5 16 -2.5 6.25
17 Siswa 17 80 26 17 9 81
18 Siswa 18 82 21 18 3 9
19 Siswa 19 81 22.5 19 3.5 12.25
20 Siswa 20 77 29 20 9 81
21 Siswa 21 76 30 21 9 81
22 Siswa 22 80 26 22 4 16
23 Siswa 23 81 22.5 23 -0.5 0.25
24 Siswa 24 84 13.5 24 -10.5 110.25
25 Siswa 25 84 13.5 25 -11.5 132.25
26 Siswa 26 85 11 26 -15 225
27 Siswa 27 80 26 27 -1 1
28 Siswa 28 80 26 28 -2 4
29 Siswa 29 80 26 29 -3 9
30 Siswa 30 83 18 30 -12 144
GL2 1466.5
Korelasi Spearman 0.6737486
Tabel 10. Hasil Korelasi dengan Penilaian Tanpa Pembobotan
No. Nama Siswa Nilai Peringkat Tanpa GA Peringkat Sebenarnya di di2
1 Siswa 1 83.33 15.5 1 14.5 210.25
2 Siswa 2 83.33 15.5 2 13.5 182.25
3 Siswa 3 83.33 15.5 3 12.5 156.25
4 Siswa 4 83.33 15.5 4 11.5 132.25
5 Siswa 5 83.33 15.5 5 10.5 110.25
6 Siswa 6 83.33 15.5 6 9.5 90.25
7 Siswa 7 83.33 15.5 7 8.5 72.25
8 Siswa 8 83.33 15.5 8 7.5 56.25
9 Siswa 9 83.33 15.5 9 6.5 42.25
10 Siswa 10 83.33 15.5 10 5.5 30.25
11 Siswa 11 83.33 15.5 11 4.5 20.25
12 Siswa 12 83.33 15.5 12 3.5 12.25
13 Siswa 13 83.33 15.5 13 2.5 6.25
14 Siswa 14 83.33 15.5 14 1.5 2.25
15 Siswa 15 83.33 15.5 15 0.5 0.25
Tabel 10. Hasil Korelasi dengan Penilaian Tanpa Pembobotan
Korelasi Spearman 0.5
Dari hasil pembobotan pada Tabel 9 didapatkan hasil penilaian yang beragam meskipun jumlah jawaban benar dibuat sama yaitu benar 25 soal dan salah 5 soal. Dengan pembobotan menggunakan algoritma genetika didapatkan korelasi yang cukup besar yaitu 0.6737486. Menurut tabel korelasi Spearman, angka korelasi 0.6737486 termasuk ke dalam tingkat korelasi tinggi (Sari & Mahmudy, 2015). Nilai korelasi yang didapatkan dari hasil pembobotan lebih besar jika dibandingkan dengan penilaian tanpa pembobotan yang disajikan pada Tabel 10 yaitu sebesar 0.5. Dengan tingkat korelasi yang lebih tinggi antara peringkat pakar dengan peringkat hasil pembobotan dengan algoritma genetika, maka pembobotan soal dengan metode algoritma genetika dapat digunakan sebagai metode pembobotan untuk soal pilihan ganda.
3. KESIMPULAN
Dari hasil penelitian ini ditemukan bahwa algoritma genetika dapat digunakan sebagai metode pembobotan untuk soal pilihan ganda. Dengan menggunakan data hasil ujian, algoritma genetika dapat menentukan kombinasi pembobotan yang paling optimal sesuai dengan
kemampuan peserta didik sehingga
menghasilkan penilaian yang lebih objektif dan bervariasi. Untuk menghitung tingkat keterhubungan antara peringkat pakar dan peringkat hasil pembobotan algoritma genetika digunakan rumus korelasi Spearman. Dalam penelitian ini, korelasi yang didapatkan untuk kombinasi pembobotan yang paling optimal adalah 0.6719689. Hasil korelasi tersebut
mempunyai maka korelasi tinggi, artinya ada keterkaitan yang cukup tinggi antara peringkat pakar dan peringkat hasil pembobotan algoritma.
Hasil korelasi sebesar 0.6719689 masih mempunyai kemungkinan untuk bertambah tinggi tergantung pada banyaknya soal ujian yang dipakai dan jumlah jawaban benar dan jawaban salah yang bervariasi. Pada penelitian selanjutnya, akan digunakan representasi real
coded genetic algorithms (RCGA) untuk
menentukan bobot yang semakin mendekati optimal. Selain itu akan digunakan hybrid
genetic algorithm (HGA) untuk meningkatkan
performa dari RCGA (Mahmudy, Marian, & Luong, 2014). Penggunaan algoritma genetika untuk pembobotan soal diharapkan dapat digunakan secara massal untuk proses penilaian pilihan ganda. Hal tersebut diperlukan mengingat di Indonesia hampir seluruh proses ujian menggunakan bentuk pilihan ganda sebagai media ujian.
PUSTAKA
Jafarian, J. (2010). An Experiment to Study Wandering Salesman Applicability on Solving the Travelling Salesman Problem based on Genetic Algorithm. International
Conference on Educational and
Information Technology (ICEIT 2010) An, (Iceit), 1±7.
Lesage, E., Valcke, M., & Sabbe, E. (2013). Studies in Educational Evaluation Scoring methods for multiple choice assessment in higher education ± Is it still a matter of
QXPEHUULJKWVFRULQJRUQHJDWLYHPDUNLQJௗ"
Studies in Educational Evaluation, 39(3), 188±193.
http://doi.org/10.1016/j.stueduc.2013.07.00 1
Mahmudy, W. F. (2013). Optimization of Part Type Selection and Loading Problem with Alternative Production Plans in Flexible Manufacturing System using Hybrid Genetic Algorithms ± 3DUW ௗ *HQHWLF
Operators and Results. 2013 5th International Conference on Knowledge
and Smart Technology (KST) Optimization,
81±85.
Mahmudy, W. F. (2014). Optimasi Penjadwalan Two-Stage Assembly Flowsop. Konferensi Nasional Sistem Informasi (KNSI), STMIK Dipanegara, Makassar, 27 Februari - 1 Maret, 478±483.
Mahmudy, W. F., Marian, R. M., & Luong, L. H. S. (2013). Modeling and Optimization of Part Type Selection and Loading Problem in Flexible Manufacturing System Using Real Coded Genetic Algorithms.
International Journal of Electrical,
Computer, Energetic, Electronic and Communication Engineering, 7(4), 251±
260.
Mahmudy, W. F., Marian, R. M., & Luong, L. H. S. (2014). Hybrid genetic algorithms for part type selection and machine loading problems with alternative production plans in flexible manufacturing system Hybrid Genetic Algorithms for Part Type Selection and Machine Loading Problems with Alternative Production Pl. ECTI
Transactions on Computer and
Information Technology, 8(February
2016). Retrieved from
https://www.researchgate.net/publication/2 80697973Hybrid
Pate, A., & Caldwell, D. J. (2014). Effects of multiple-choice item-writing guideline utilization on item and student performance. Currents in Pharmacy Teaching and Learning, 6(1), 130±134. http://doi.org/10.1016/j.cptl.2013.09.003 Reich, G. A. (2013). The Journal of Social
Studies Research Imperfect models , imperfect conclusionsௗ $Q H[SORUDWRU\
study of multiple-choice tests and historical knowledge. The Journal of Social Studies Research, 37(1), 3±16. http://doi.org/10.1016/j.jssr.2012.12.004 Santika, G. D., & Mahmudy, W. F. (2015).
Penentuan Pemasok Bahan Baku Menggunakan Fuzzy Inference System Tsukamoto. Seminar Nasional Sistem Informasi Indonesia, 2-4 Nopember, 1±8. Sari, N. R., & Mahmudy, W. F. (2015). Fuzzy
Inference System Tsukamoto untuk Menentukan Kelayakan Calon Pegawai.
Seminar Nasional Sistem Informasi
Indonesia, 2-4 Nopember 2015, (2002), 2±
4.
Wahyuni, I. (2014). Pembuatan Aplikasi Media Ujian Cerdas Mneggunakan Algoritma Genetika Berbasis Mobile. STMIK Asia Malang, 1±7.
