DESAIN DAN IMPLEMENTASI COMPUTERIZED
ADAPTIVE TEST BERBASIS ITEM RESPONSE THEORY
PADA LEARNING MANAGEMENT SYSTEM MOODLE
Musthofa Fahmi, Abdullah Alkaff, Yusuf Bilfaqih
Jurusan Teknik Elektro, Fakultas teknologi Industri, Institut Sepuluh November, Surabaya 60111.
e-mail: fahmi.musthofa@gmail.com; abdullah.alkaff@gmail.com; bilfaqih@elect-eng.its.ac.id
Perkembangan teknologi pendidikan
khususnya penyelenggaraan tes di masa yang akan datang akan mengadopsi tes yang dapat mengakomodir perbedaan kemampuan siswa [3].
Computer Adaptive Test (CAT) merupakan salah satu
solusi untuk mewujudkannya. Dengan CAT, seorang siswa yang kemampuannya tinggi diberikan soal yang relatif sulit. Sedangkan siswa dengan kemampuan kurang diberikan soal dengan kemampuan yang relatif mudah. Tugas Akhir ini mendesain dan mengimplementasikan modul CAT yang diterapkan pada Learning Management System (LMS) Moodle. Bentuk aplikasinya berupa modul yang melekat pada Moodle dan dapat diakses setelah membuat suatu matakuliah. Penggunaan Moodle dikarenakan LMS ini
open source dan salah satu yang paling banyak
digunakan di dunia. Selain itu, saat ini sistem e-pembelajaran yang ada di kampus ITS (Institut Teknologi Sepuluh Nopember) juga menggunakan Moodle.
Modul CAT pada tugas akhir ini mengadopsi algoritma Item Response Theory (IRT) dengan tiga parameter. Parameter tersebut adalah parameter kesulitan soal, parameter guess, dan parameter diskriminasi. Untuk mengestimasi kemampuan siswa akan digunakan metode Maximum Likelihood (MLE). Sedangkan untuk menentukan kriteria pemberhentian tes akan digunakan kombinasi dari time limit, fixed
length, dan variabel length. Untuk variabel length
nilai standar errornya dapat diatur pada opsi tes adaptif.
Kata kunci: CAT, IRT, MLE, dan Kriteria Pemberhentian
1. Pendahuluan
Model penilaian pendidikan yang selama ini diterapkan di Indonesia adalah dengan menggunakan desain tes yang sama untuk peserta didik dengan usia atau jenjang pendidikan yang sama. Praktek semacam ini didasarkan pada asumsi bahwa peserta didik dengan usia atau jenjang pendidikan yang sama mempunyai kemampuan yang sama. Padahal dalam kenyataannya terdapat variasi kemampuan yang signifikan.
Model tes adaptif dapat mengatasi kelemahan model penilaian pendidikan yang berlangsung selama ini. Model ini memungkinkan penggunaan tes yang on
target, yaitu tes yang tingkat kesulitan soalnya sesuai
dengan kemampuan siswa [2]. Sebagai contoh, jika siswa dengan kemampuan tinggi, maka soal yang akan diajukan hanya soal-soal yang sulit atau sesuai kemampuannya saja. Sedangkan siswa yang berkemampuan dibawah rata-rata hanya akan diberi soal yang mudah saja. Penggunaan tes tersebut akan menghasilkan informasi yang optimal. Selain itu, siswa yang pintar akan merasa lebih tertantang, dan siswa yang kurang pandai tidak akan tertekan [3].
Perkembangan Computerized Adaptive Test (CAT) di indonesia terbilang masih tertinggal dibandingkan dengan negara lain. Masih sedikit lembaga yang mengembangkan CAT. Salah satunya adalah pada tahun 2007 oleh Puspendik (Pusat Penilaian Pendidikan) dibawah Kementerian Pendidikan Nasional. CAT ini berhasil diuji cobakan sekali via intranet dan dua kali (2008 dan 2009) via internet [2].
CAT sendiri sudah jamak diterapkan untuk tes kepegawaian di banyak negara [4]. Selain itu, CAT juga digunakan untuk mengukur kemampuan mahasiswa di perguruan tinggi favorit di Amerika Serikat. Salah satu yang paling terkenal adalah GMAT (Graduate Management Admission Test).
Berangkat dari sini penulis hendak mendesain dan mengimplementasikan suatu perangkat lunak yang memungkinkan penyelenggaraan CAT. Perangkat lunak ini nantinya diharapkan juga dapat diintegrasikan dengan suatu Learning Management
System (LMS). Hal ini karena perkembangan
ePembelajaran sendiri tidak bisa terlepas dari LMS. Dan jika dapat diintegrasikan secara penuh pada suatu LMS, maka akan menjadi nilai tambah bagi pengembangan dan penggunaan LMS itu sendiri.
Pada penelitian ini, melaporkan tentang kajian yang dilakukan dalam enam bab. Bab 1 menjelaskan tentang pendahuluan. Bab 2 memaparkan tentang
Computerized Adaptive Test. Bab 3 menjelaskan
tentang perancangan sistem CAT. Bab 4 menjabarkan tentang implementasi dan pengujian CAT di Moodle. Terakhir, bab 5 menjelaskan tentang kesimpulan.
2. Prinsip Kerja CAT dengan Soal Dikotomi
Perhatikan Gambar 1. Misalkan suatu bank soal dibuat dengan soal-soal pilihan ganda yang dikotomi (dua kebenaran logika untuk satu jawaban, benar atau salah). Tiap-tiap soal memiliki tingkat kesulitan yang berbeda-beda, dari skala 0 sampai skala 100 misalnya. Perhatikan gambar 2.1. Katakan suatu soal, memiliki tingkat kesulitan 30. Soal ini ketika diberikan kepada
seorang anak yang memiliki kemampuan 50, maka kemungkinan besar dia akan menjawab benar.
Komputer kemudian akan memilihkan soal yang lebih sulit, katakan di tingkat kesulitan 40. Anak ini menjawab benar lagi. Komputer akan memilih soal yang lebih sulit lagi, tingkat kesulitan 50. Sekarang tingkat kesulitan dan kemampuannya sama. Kemungkinan anak ini menjawab benar adalah 50%, katakan dia salah. Maka komputer akan memilihkan soal yang lebih mudah, katakan di tingkat kesulitan 45, anak ini menjawab benar. Lalu komputer memberikan di tingkat kesulitan 48, dan bisa menjawab benar. Dengan melihat bahwa anak ini bisa mengerjakan 40 dan 48, maka ada kemungkinan dia kurang beruntung ketika menjawab soal 50.
Komputer akan memberikan soal dengan kesulitan 52. Item ini hanya sedikit agak sulit untuk si anak, dan kemungkinan hampir 50%dia bisa menjawab benar. Pada kasus ini, dia menjawab benar. Kemudian komputer memberikan tingkat kesulitan 54. Si anak gagal. Komputer memberikan soal 49, dan si anak sukses. Proses ini kemudian diulang ulang hingga akhirnya komputer dapat menghitung bahwa kemampuan anak ini adalah di kisaran 50. Semakin banyak soal yang diberikan, semakin akurat hasilnya. Program komputer sendiri mengandung beberapa kriteria pemberhentian. Jika salah satunya terpenuhi, maka tes akan dihentikan dan diberikan nilai akhir siswa [3].
Gambar 1. Prinsip kerja CAT untuk soal dikotomi Untuk mewujudkan prinsip ini, pada tugas akhir ini kami menggunakan diagram alir seperti pada Gambar 2.3. diagram alir dimulai dengan memberikan nilai inisial kemampuan siswa dan soal inisial yang akan ditampilkan. Nilai inisial ini biasanya ditentukan sebesar 50 % atau titik tengah dari keseluruhan nilai. Namun akan lebih akurat jika nilai inisial ini disesuaikan dengan data siswa yang ada. Misalkan seorang siswa pernah mengikuti tes adaptif sebelumnya dan mendapatkan nilai 75%, maka kita bisa berangkat dari nilai ini sehingga nantinya akan didapatkan nilai standar error yang sesuai kriteria lebih cepat. Sedangkan untuk soal inisial biasanya diatur dengan mengacak soal yang memiliki kesulitan
dipertengahan range bank soal. Atau disesuaikan dengan nilai inisial kemampuan siswa.
Setelah memberikan nilai inisial, maka soal pertama diberikan pada siswa dan didapatkan responnya (benar atau salah). Dari respon ini kemudian dievaluasi nilai kemampuan siswa dan standar error. Kemudian jika kriteria pemberhentian terpenuhi, maka tes dihentikan dan menampilkan hasil evaluasi berupa kemampuan siswa. Namun jika belum memenuhi kriteria pemberhentian, maka dihitung nilai IIF dan memilih soal berikutnya untuk ditampilkan. Berikut ini gambar diagram alir CAT.
Gambar 2. Diagram alir CAT
3. Item response theory
Teori ini menekankan pada pemberian beberapa parameter pada soal yang akan diberikan pada siswa. Nilai parameter-parameter ini berbeda-beda pada tiap soal. IRT tiga parameter memiliki parameter kesulitan (parameter b), parameter diskriminasi (parameter a), dan parameter guess (parameter c). Parameter yang paling utama adalah parameter kesulitan. Tanpa parameter ini, nilai yang lain tidak berpengaruh.
Untuk lebih memahami parameter kesulitan ini, perhatikan Tabel 2.1. Angka 1 pada Tabel 1 menunjukkan jawaban benar, sedangkan angka 0 menunjukkan jawaban salah. Nilai kemampuan siswa didapatkan dari jumlah jawaban benar dibagi jumlah soal yang dikerjakan. Nilai 1 dapat diartikan bahwa si A lebih pintar dari siswa dengan nilai 0,8 dan dibawahnya. Si B lebih pintar dari si C, si D, dan si E dan seterusnya. Sedangkan tingkat kesulitan soal didapatkan dari jumlah jawaban salah pada satu soal dibagi total peserta yang mengikuti tes. Semakin tinggi nilai kesulitan artinya semakin sulit soal itu dapat dijawab dengan benar oleh siswa yang akan mengikuti tes. Nilai ini kemudian disebut sebagai parameter kesukaran / kesulitan dalam IRT.
Tabel 1 Tabel kalibrasi soal Soal
1 Soal 2 Soal 3 Soal 4 Soal 5 Kemampuan Siswa
Si A 1 1 1 1 1 1 Si B 0 1 1 1 1 0.8 Si C 0 0 1 1 1 0.6 Si D 0 0 0 1 1 0.4 Si E 0 0 0 0 1 0.2 Tingkat kesulitan soal 0.8 0.6 0.4 0.2 0
Hal inilah yang kemudian mendasari lahirnya IRT. Seorang siswa dalam menjawab soal akan memiliki probabilitas menjawab benar dengan nilai tertentu. Untuk Suatu tes dengan soal yang hanya memiliki satu parameter, parameter kesulitan, nilai probabilitas ini dapat dihitung dengan menggunakan persamaan 1 di bawah.
(1) Pi(Ѳ) : probabilitas seorang siswa menjawab benar
suatu soal dengan paramater b Ѳ : kemampuan terestimasi dari siswa
b : parameter kesulitan yang menentukan
tingkat kesulitan soal
Rumusan ini ketika proses ujian berlangsung merupakan suatu proses iterasi. Untuk setiap soal yang diberikan, akan didapatkan suatu nilai probabilitas tersendiri.
Dari rumusan ini dapat digambarkan suatu grafik yang menghubungkan antara probabilitas dan kemampuan siswa yang disebut Item Characteristic
Curve (ICC). Gambar 2.2 adalah gambar ICC untuk
nilai b adalah 1. Nilai b dapat diukur secara grafis dengan mengambil koordinat ketika didapatkan nilai probabilitas adalah tepat 0.5.
Gambar 0 Item characteristic curve dengan b = 1 Model IRT dengan satu parameter ini diterapkan oleh Akiyama dan Koyama dalam CAT mereka. CAT yang mereka buat merupakan suatu modul pada LMS Moodle [6]. Selain itu, ada pula CAT yang dibuat oleh Echnomides yang juga berbasis IRT dengan satu parameter. Namun penerapannya pada perangkat komunikasi seluler. Aplikasi yang ditawarkan berbasis java applet [3].
Persamaan 1 diatas, digunakan untuk IRT satu parameter. Sedangkan untuk IRT dengan tiga parameter menggunakan persamaan 2.
) (
1
1
)
1
(
)
(
a be
c
c
P
(2) a = parameter diskriminasi c = parameter guessPada persamaan ini ada dua parameter baru yang dikenalkan, yakni parameter beda dan parameter
guess. Parameter diskriminasi merupakan suatu nilai
yang menunjukkan tingkat akurasi soal untuk siswa dengan kemampuan (Ѳ) tertentu. Semakin tinggi nilai dari parameter a, semakin akurat untuk memprediksi nilai Ѳ. Sedangkan parameter guess adalah nilai yang dikompensasikan untuk kemungkinan seorang siswa menjawab benar suatu pilihan secara random. Jika ada lima pilihan jawaban (soal pilihan ganda), maka seyogyanya nilai parameter guessnya adalah satu berbanding lima atau 0.2. Untuk nilai parameter diskriminasi, jika dikelompokkan menjadi tujuh macam, maka bisa disajikan seperti pada Tabel 2. Tabel 0 Variasi nilai parameter diskriminasi
Label Verbal Range Nilai
Tanpa diskriminasi 0 Sangat rendah 0.01 – 0.34 Rendah 0.35 – 0.64 Sedang 0.65 – 1.34 Tinggi 1.35 – 1.69 Sangat Tinggi > 1.7
Sempurna Tak terhingga
Setelah kita ketahui ICC dari tiap-tiap soal, maka kemudian dari respon soal yang diberikan kepada siswa dapat kita estimasi kemampuan siswa. Salah satu metode estimasi kemampuan adalah dengan menggunakan metode Maximum likelihood estimation (MLE). Keunggulan metode ini adalah metode ini cukup efisien, error berdistribusi normal, dan tidak bias (Embretson & Reise, 2000). Metode ini merupakan suatu proses iterasi yang dimulai dengan suatu nilai inisial untuk kemampuan siswa. Pendekatan perhitungan estimasi adalah modifikasi dari metode iteratif Newton-Raphson untuk menyelesaikan metode persamaan yang dibuat Lord. Estimasi ini dapat dihitung dengan mengggunakan persamaan 3 berikut ini :
N i s i s i i N i s i i i s s
Q
P
a
P
u
a
1 1 1)
(
)
(
)
(
2 (3) dimana :Ѳs : kemampuan siswa pada iterasi ke-s
Qi(Ѳs) : prosentase menjawab salah suatu soal yang
ui : respon / jawaban siswa. Jika responnya
benar, maka u bernilai 1 dan jika salah maka bernilai 0
Penggunaan MLE merupakan salah satu yang dinilai paling efisien. Model ini diterapkan pada CAT yang disusun oleh Puspendik [2]. Selain itu, CAT yang disusun oleh Echonomides juga menggunakan metode ini. Namun untuk penerapan pada Puspendik dan Echonomides, model MLE tidak disusun sebagai suatu iterasi karena soal yang disajikan dibatasi satu buah per sesi. Untuk CAT oleh Echonomides, persamaan diatas nilai parameter a diisi dengan nilai 1 karena menggunakan IRT dengan satu parameter [3]. Setelah kemampuan siswa dihitung, tidak serta merta hasil perhitungan tersebut adalah hasilnya. Karena psikometri berbasis statistika, maka hasil perhitungan memilliki nilai error / kesalahan yang dihitung dari standar error. Standar error dari kemampuan siswa dapat dihitung dengan persamaan 4 berikut ini :
N i i
P
Q
a
SE
1 2(
)
(
)
/
1
)
(
(4) dimana SE (Ѳ) adalah Standar Error untuk nilai kemampuan siswa Ѳ. Dalam aplikasi CAT, nilai maksimum standar error yang biasa dipakai adalah 0.33 [2].Setelah kita dapatkan estimasi kemampuan dan standar error dari siswa, maka untuk pemberian soal selanjutnya didasarkan pada Item information function (IIF). Tentu saja proses pemberian soal ini jika standar error yang didapat belum lebih kecil dari nilai standar error yang kita tentukan. Dari IIF soal-soal yang ada di bank soal kita, kemudian dipilih yang nilainya paling besar untuk kemudian dipilih dan ditampilkan kepada siswa sebagai soal selanjutnya. Untuk menghitung IIF dapat kita gunakan persamaan 5 berikut ini : 2 2 2
1
)
)
(
(
)
(
)
(
)
(
c
c
P
P
Q
a
I
i i i i (5) Perhatikan persamaan 2.5 diatas. Untuk IRT dengan satu atau dua parameter dapat tetapmenggunakan rumusan ini. Namun cukup
memberikan nilai a=1 dan nilai c=0.
Metode ini digunakan pada penelitian yang dilakukan oleh Puspendik, Akiyama dan Koyama, serta Echonomides. Pada CAT yang disusun oleh Akiyama dan Koyama dan Echonomides, persamaan diatas diimplementasikan dengan memberikan nilai parameter a sebesar 1 dan nilai parameter c sebesar 0 [3], [6]. Sedangkan untuk CAT oleh Puspendik tetap menggunakan persamaan diatas [2].
Satu karakteristik penting dari CAT adalah kriteria pemberhentian atau kriteria penghentian tes. Ada beberapa hal biasanya yang dijadikan dasar untuk dijadikan kriteria pemberhentian, yakni :
a. Variable length
Tes adaptif dihentikan setelah mencapai nilai Standar Error tertentu
b. Fixed length
Tes adaptif dihentikan setelah sejumlah item diberikan (seperti Computerized Base Test / tes konvensional)
c. Fixed-variable length
Tes adaptif dihentikan dengan memperhatikan gabungan dari dua kriteria diatas. Apabila Standar Error yang ditentukan belum tercapai namun telah mencapai sejumlah item yang ditetapkan maka tes dihentikan.
d. Time limit
Tes adaptif dihentikan setelah mencapai waktu tertentu [2].
Dari sekian pilihan kriteria pemberhentian, model
variabel length merupakan metode yang paling valid
untuk mengukur nilai siswa. CAT yang disusun oleh Puspendik, Echonomides, dan Akiyama dan Koyama juga memilih menggunakan kriteria pemberhentian ini. Sedangkan kriteria pemberhentian fixed length pernah disusun oleh Halkitis pada tahun 2003 [1].
3. Perancangan Sistem CAT
Bagian utama dalam bab ini adalah perancangan sistem CAT di Moodle. Metode yang digunakan adalah waterfall seperti telah dijelaskan pada bagian pendahuluan. Sistem yang dibuat nantinya akan terintegrasi dengan Moodle berupa suatu modul. Modul ini merupakan modifikasi dari modul quiz yang sudah ada di Moodle 1.9. Sehingga aplikasi CAT yang dibuat nantinya akan memiliki kemampuan standar modul quiz yang ada di Moodle 1.9.
3.1 Gambaran Umum Sistem
Perangkat Lunak yang dihasilkan adalah suatu modul tambahan pada LMS Moodle. Bentuk modul ini merupakan pengembangan dari modul quiz yang sudah ada pada Moodle 1.9. Produk ini akan dibuat dengan basis pemrograman bahasa PHP dan database MySql. Dengan adanya modul ini seorang admin dan guru dapat menambahkan aktivitas tes adaptif pada matakuliah yang telah dibuat. Tes adaptif yang dimaksud adalah tes adaptif yang berbasis algoritma IRT. Dengan tes model ini diharapkan hasil tes lebih efisien dan penyelenggaraan tes yang lebih efektif. Untuk lebih jelasnya tentang CAT dalam suatu lingkup Moodle dapat dilihat pada Gambar 3.
Gambar 3.1 memperlihatkan bahwa CAT adalah suatu bagian dari matakuliah. Bentuk dari CAT adalah berupa modul. Dalam satu matakuliah bisa terdapat berbagai macam bentuk aktivitas. Pada Gambar 3 ada aktivitas tes adaptif, lesson, dan team builder. Matakuliah merupakan suatu bagian dari Moodle. Bagian dari Moodle tidak hanya berupa matakuliah, namun bisa juga berupa block. CAT harus bekerja dengan ruang lingkup Moodle yang berbasis PHP dan MySql. Untuk mengembangkan modul CAT juga harus mempertimbangkan standar pemrograman yang ada di Moodle. Tidak semua PHP dan MySql bisa
langsung diaplikasikan dan diintegrasikan.
Gambar 0 Gambaran Umum Modul CAT
3.2 Data Context Diagram Sistem
Pada bagian ini akan dijelaskan semua input dan output sistem. Untuk mempermudah penjelasan akan digunakan Data context diagram (DCD). Berikut ini adalah gambar DCD yang kami susun :
Gambar 4 Data context diagram CAT
Dapat dilihat bahwa CAT pada DCD diatas dipandang sebagai sebuah proses utuh. Dari tiga macam pengguna, siswa memberikan masukan kepada proses CAT berupa jawaban. Masukan ini kemudian diolah oleh CAT menjadi hasil tes, baik hasil oleh diri siswa bersangkutan maupun hasil kelas yang telah mengikuti ujian adaptif. Guru memberikan masukan berupa soal / pertanyaan, beserta atribut yang mengikutinya. Dari masukan ini kemudian diolah menjadi soal yang ditampilkan pada siswa, dan kemudian memberikan hasil tes. Sedangkan admin memberikan masukan berupa kontrol terhadap aplikasi. Dengan kontrol ini seorang admin dapat mengkastemisasi aplikasi CAT yang tersedia dan juga databasenya.
3.3 Fungsi Produk
Modul CAT yang nanti akan dibuat tidak jauh berbeda secara fungsional dari modul quiz yang sudah ada. Hanya saja perbedaannya modul CAT menggunakan algoritma IRT. Berikut ini fungsi-fungsi utama yang ada pada Modul CAT :
a. membuat tes adaptif b. mengikuti tes adaptif c. melihat hasil tes adaptif
d. mengolah respon dari siswa dengan algoritma
IRT
4. Implementasi dan Pengujian Sistem
Setelah rancangan sistem telah ditentukan, kemudian diimplementasikan dalam kode berbasis pemrograman PHP - MySql. Kode-kode ini kemudian diuji
kinerjanya untuk bisa bersinambung dengan Moodle.
4.1 Database
Untuk mengubah modul quiz yang sudah tersedia pada Moodle 1.9 menjadi modul CAT, ada beberapa hal yang dilakukan. Pertama adalah pengubahan database modul quiz dengan menambahkan beberapa field baru pada beberapa tabel. Perubahan-perubahan ini seperti dijelaskan pada bagian desain adalah :
a. Penambahan field stderror, initialtheta, adaptivemode, adaptivemethod, maxsoal, soalpertama pada tabel quiz
b. Penambahan field currenttheta dan
currentstderror pada tabel quiz_attempts
c. Penambahan field stderror dan theta pada tabel quiz_statistics
d. Penambahan field parametera, parameterb, dan parameterc pada tabel question
Untuk melakukan perubahan database ini ada beberapa langkah yang harus dilakukan yakni :
a. Menambahkan field diatas melalui xmldbeditor yang ada pada Moodle. untuk lebih jelasnya, perhatikan Lampiran 1.a
b. Menambahkan PHP code dari xmldbeditor ke dalam file upgrade.php. Untuk lebih jelasnya perhatikan Lampiran 1.b
c. Mengubah versi modul pada file version.php.
Untuk lebih jelasnya perhatikan Lampiran 1.c
4.2 Pembuatan Bank Soal
Bank soal yang dibuat disini akan dibuat dalam 5 level kesulitan dimana dalam setiap level akan memiliki nilai kesulitan yang tidak sama. Materi untuk ujicoba adalah materi aritmatika penjumlahan, pengurangan, perkalian, dan pembagian. Materi ini dipilih agar pembaca dapat membedakan dengan mudah level kesulitan antar soal.
Secara garis besar, soal-soal yang ada dalam bank soal akan dikelompokkan menjadi 5 level kesulitan berdasarkan dua prinsip. Pertama, diasumsikan bahwa penjumlahan dan pengurangan memiliki kesulitan yang sama seperti halnya perkalian dan pembagian. Kedua, penjumlahan / pengurangan dan perkalian / pembagian memiliki level kesulitan yang berbeda. Ketiga, kombinasi dua hal tersebut memiliki level kesulitan yang lebih tinggi. Berikut ini penjabaran detail level kesulitan yang digunakan dalam Tabel 2 Tabel 2 Pembagian Level Kesulitan Soal
Level Materi
1 Penjumlahan dan pengurangan
2 Kombinasi penjumlahan dan
pengurangan
3 Perkalian dan pembagian
4 Kombinasi perkalian dan pembagian
5 Kombinasi penjumlahan, pengurangan,
Setelah level kesulitan soal dikelompokkan, maka selanjutnya dapat disusun soal yang digunakan dalam CAT. Setiap soal dalam CAT memiliki beberapa komponen, yakni jenis soal, teks soal, solusi soal, pilihan jawaban yang disediakan untuk siswa, umpan balik untuk pilihan benar, umpan balik untuk pilihan salah, umpan balik umum, parameter a, parameter b, dan parameter c. Berikut ini contoh soal yang ada pada level 1.
Tabel 3 Contoh Soal dengan level kesulitan 1
Jenis Soal Short Answer
Nama Soal SSS
Teks Soal 1 + 2 = ??
Solusi Soal 3
Jawaban yang dianggap
benar 1 3
Jawaban yang dianggap
benar 2 tiga
Umpan Balik Respon
Benar Bagus, kamu bisa mencoba soal yang lain Umpan Balik Respon
Salah Jawaban Kamu salah. Sebaiknya pelajari lagi materi penjumlahan.
Umpan Balik Umum Ini adalah materi
penjumlahan.
Parameter a 5 (skala 0-100)
Parameter b 0.5
Parameter c 0
Jika diujicobakan dalam Moodle, maka tampilan ketika memasukkan soal ini akan seperti Gambar 4 dibawah.
Gambar 4 Tampilan Edit Soal
4.3 Pelaksanaan Tes
Jika tes soal yang telah disusun dalam bank soal selesai disusun, maka selanjutnya harus ditentukan terlebih dahulu soal mana yang akan dijadikan soal pertama untuk ditampilkan. Misalkan soal pada gambar 5.1 tadi kita jadikan sebagai soal pertama yang ditampilkan, maka tampilannya seperti pada Gambar 5 dibawah.
Setelah soal pertama telah kita pilih, maka selanjutnya dapat kita mulai suatu tes. Tes ini akan menampilkan soal pertama dan respon dari soal pertama ini akan diolah sesuai dengan algoritma IRT yang telah disusun pada Bab II dan dikodekan pada BAB IV. Berikut ini tampilan pelaksanaan tes seperti pada Gambar 6 dengan soal yang dimasukkan seperti pada Tabel 3 diatas.
Gambar 5 Pemilihan Soal Pertama
Gambar 6 Tampilan Soal Ketika Tes Berlangsung
4.4 Penyajian Hasil tes
Setelah tes dilangsungkan, maka seorang siswa akan otomatis mendapatkan tampilan hasil tes yang baru diikuti. Gambar 7 menampilkan hasil tes yang baru diikuti dengan hanya satu soal, yakni soal yang tersaji pada Tabel 3
Gambar 7. Tampilan hasil tes yang baru diikuti Tampilan ini tidak hanya dapat dilihat ketika selesai mengikuti suatu tes saja. Jika seorang siswa ingin melihat hasil tes yang diikuti untuk beberapa attempt yang pernah dia ikuti, maka disediakan fitur untu mengaksesnya. tampilan hasil tes „quiz1‟ untuk user fafa3 setelah mengikuti tiga kali attempt disajikan pada gambar 5.5 dibawah.
Jika kita masuk ke Moodle sebagai seorang guru dan ingin melihat hasil tes yang diikuti untuk quiz1, maka kita dapat melihat hasil tes untuk semua siswa dan masing-masing attempt yang diikutinya. Gambar 5.6 menampilkan hasil tes dari sisi user guru.
5. Kesimpulan
Dari hasil desain dan implementasi CAT pada LMS Moodle dengan menggunakan algoritma IRT, dapat disimpulkan beberapa hal sebagai berikut :
a. Aplikasi CAT berupa modul pada LMS Moodle dapat menjadi antarmuka penyelenggaraan tes adaptif
b. Modul CAT yang dibuat dapat diatur kriteria pemberhentian tesnya dengan memperhatikan tiga kombinasi, yakni
variabel length, fixed length, dan time limit
Nilai standar error sebagai kriteria pemberhentian jenis variabel length dapat diatur pada opsi modul CAT
Referensi
1. Linacre, John Michael (2000). “Computer -Adaptive Testing: A Methodology Whose Time Has Come”, Development of Computerized Middle School Achievement Test [in Korean]. Seoul, South Korea: Komesa Press
2. Bagus, Handaru Catu (2010). “Sosialisasi Aplikasi Program CAT”. Dalam acara uji coba aplikasi CAT Puspendik, Jakarta.
3. Economides, Anastasios A (2005). “Adaptive Orientation Methods in Computer Adaptive Testing”, E-Learn 2005 World Conference on EPembelajaran in Corporate, Government, Healthcare, and Higher Education, pp 1290-1295 Vancouver, Canada
4. MyCube Article (2007) “Computer Adaptive Testing”, Article 07, MC01/A07 – 18/10 5. http://en.wikipedia.org/wiki/Learning_manage
ment_system, diakses pada tanggal 1 September 2010 pukul 11.45
6. Koyama, Yukie , Akiyama, Minoru (2009) “Developing A Computer Adaptive ESP Placement Test Using Moodle”, Nagoya Institute of Technology e-learning Service CO. LTD. Japan
7. Fariza, Arna (2008). “Pengenalan Software Engineering”, diktat matakuliah Rekayasa perangkat Lunak PENS ITS. Surabaya, Indonesia
8. Baker, Frank (2001). “Basics of Item response
theory”. ERIC Clearing house, second edition,
USA
9. Triantafillou, Evangelos, Georgiadou, Elissavet (2006) “CAT-MD: Computer Adaptive Test on Mobile Devices”, Current
Development in technology-Assisted
Education, university of macedonia
10. Yu, Chong Ho “A Simple Guide To The Item
response theory” <URL
:http://www.creative-wisdom.com/multimedia/IRTT.htm> Pebruari 2011.
11. Anonim “Quiz State Diagram” <URL : http://docs.moodle.org/dev> Juni 2011.
12. Gustafon, David “Theory and Problem of Software Engineering”, McGraw Hill, New York City, 2002
13. Bilfaqih, yusuf “Strategi pengembangan e-Materi di SMK”, Surabaya, 2011
Bilfaqih, yusuf “Model Sistem e-Pembelajaran di SMK”, Surabaya, 2011
RIWAYAT HIDUP
Musthofa Fahmi lahir bulan Mei 1985 di Pasuruan Jawa Timur, merupakan putra kedua dari empat bersaudara dari pasangan Chanif Mahmud
B.A. dan Masyfuah.
Menamatkan pendidikan dasar di SD Ma‟arif Pandaan dan melanjutkan ke SMP Ma‟arif Pandaan kemudian melanjutkan di SMUN 2 Kediri hingga lulus pada tahun 2003. Pada tahun 2006 penulis mengikuti SPMB dan diterima di Jurusan Teknik Elektro, FTI-ITS. Tahun 2011 mengikuti seminar dan ujian lisan tugas akhir di bidang Teknik Sistem Pengaturan, Jurusan Teknik Elektro, FTI-ITS.
