KAJIAN PUSTAKA
G. Hasil-hasil Penelitian CAT yang Relevan
Hasil penelitian mengenai produk CAT sudah banyak diaplikasikan secara online (van der Linden & Glass, 2010). Beberapa produk CAT tersebut memiliki spesifikasi pengembangan yang berbeda-beda sebagai berikut.
1. Produk J-CAT
Shingo Imai (2008) mengemukakan rancangan properti CAT di Jepang dengan nama J-CAT. Produk tersebut menggunakan model 3PL dengan spesifikasi tertentu, yakni versi tes testlet, batasan waktu ditetapkan 30 detik sampai lima menit tiap butir, dan setiap seksi memuat 60 butir. CAT tersebut menggunakan bahasa Jepang dan Inggris. Sistem operasi menggunakan sistem operasi XP atau Vista. Proses awal ujian ditetapkan nilai max dan min sama dengan nol. Hasil tiap seksi ditampilkan serta rerata keempat seksi ditampilkan di screen pada akhir tes.
60 2. Produk OAVTS.
Wen-shuenn Wu (2004) mengemukakan rancangan properti CAT di Taiwan dengan nama OAVTS. CAT berbasis online memiliki tiga antar muka yakni peserta tes mengambil ujian, guru atau pembuat tes menyajikan, mengedit dan meng-upload butir soal, dan administrator yang menangani sistem dan semua butir soal. Klasifikasi tingkat kesukaran tatabahasa terbagi enam tingkatan. Tatabahasa tersebut mengacu pada tiga sumber kamus Inggris yakni Collins COBUILD English Dictionary for
Advanced Learner, Macmillan English Dictionary for Advanced Learner American English, dan Longman Dictionary of Contemprorary English. Pendefinisian kode butir
soal terdiri 10 tahap dan aturan pemberhentian tes bergantung pada level. Untuk level tiga diberi waktu 15 menit, level empat diberi waktu 15 menit untuk tiga butir soal menjawab benar, dan 15 menit untuk tiga butir bagi peserta tes yang menjawab salah. Jika menjawab 3 butir secara benar, maka naik ke level 4, namun jika gagal maka diberikan butir yang lebih mudah pada level 2 dan akan dibatasi oleh waktu selama 15 menit. Butir yang pertama kali diberikan pada peserta tes adalah level tingkat kesukaran menengah dari bank butir soal dengan tiga aturan pemberhentian, yakni target tingkatan akurasi pengukuran tercapai, butir soal yang tersedia tidak ada lagi, dan jumlah waktu yang telah ditetapkan telah habis. Model pengukuran menggunakan IRT. Pengamanan ujian menggunakan beberapa tahap, yakni tampilan soal dalam bentuk full screen, fitur klik kanan pada mouse dikunci, fungsi backspace dikunci agar tidak kembali ke butir soal sebelumnya, dan Uniform Resource Locator (URL) ujian hanya akan valid selama batasan waktu ujian.
3. Produk SIETTE
Guzman (2005) mengemukakan pengembangan property CAT di Spanyol dengan nama SIETTE. Walaupun CAT tersebut berbasis web namun dapat standalone
61
atau berbasis lain. CAT tersebut sebagai alat diagnosis. SIETTE menggunakan bahasa Inggris dan Spanyol namun terbuka untuk bahasa lain. Arsitekturnya terbagi tiga, yakni interface untuk siswa yang disebut sebagai ruang siswa, interface untuk guru yang disebut sebagai lingkungan penulisan. Diantara keduanya ada penyimpanan model peserta tes (history) dan basis pengetahuan. Guru melakukan login dengan password yang diberikan oleh admin. Selanjutnya, interface ketiga yang terbagi dua sebagai interface Admin, sebelah kiri mengenai kurikulum sedangkan sebelah kanan seleksi elemen untuk update. Topik yang sama dapat diakses oleh guru yang berbeda. Kriteria seleksi butir terbagi dua, yakni kriteria adaptive Owen yaitu butir yang terseleksi mengecilkan distribusi variance posterior pengetahuan peserta tes dan kriteria berdasarkan tingkat kesukaran (ICC). Teknik penilaian menggunakan mekanisme diskret Bayesian. Definisi bentuk butir soal terdiri dari bentuk tes benar salah, pilihan ganda, jawaban bertingkat, dan butir soal koreksi sendiri (kunci jawaban sudah ada di basis data).
4. Produk Computer-Adaptive Multiple Choice Assessment (CAAS)
Sie Hoe, Lau, et al. (2005) mengemukakan Computer-Adaptive Multiple
Choice Assessment (CAAS) dikembangkan di Malaysia. CAT tersebut menggunakan
butir soal bentuk tes pilihan ganda dan menggunakan teknik penskoran Number Right
Elimination Testing (NRET) yakni sebuah metode hybrid memadukan antara Number Right (NR) dan Elimination Testing (ET). Sistem penskoran NRET menutut peserta
tes mencari jawaban dengan tiga alternatif yakni benar, salah dan tidak yakin untuk tiap pilihan pada tiap butir. Jika ada 4 pilihan untuk tiap butir maka ada 12 kemungkinan untuk menjawab pada butir tersebut. Bentuk respon NRET menetapkan
62
empat basis pengetahuan, yakni 1) pengetahuan penuh, yakni menjawab benar dan tiga lainnya diidentifikasi sebagai tidak benar, 2) pengetahuan sebagian, yakni ada lima kemungkinan dimana tiga jawaban benar dan dua jawaban salah, 3) tidak ada pengetahuan, yakni jawaban salah, dan tidak ada pilihan dianggap salah, 4) Ketidakmengertian sebagian yakni jawaban diidentifikasi tidak benar dan diidentifikasi 2 pilihan sebagai tidak benar dan 1 pilihan yang tidak benar, dan 5) Ketidakmengertian penuh yakni identifikasi hanya jawaban sebagai pengindentifikasin tidak benar. Penetapan skor masing-masing tingkatan bergerak dari [-3,4], dimana -3 artinya ketidakmengertian sama sekali, dan 4 pengertian penuh. Semua hasil aturan penskoran tersebut dijadikan unpan balik bagi peserta tes dengan mereviu pertanyaan pada tiap level pengetahuan.
5. Produk Graduate General Examination (GRE)
Graduate General Examination (GRE) CAT yaitu produk pengujian yang
dikembangkan pada tahun 1993 di Amerika Serikat dengan fokus pada ujian akhir (kelulusan). GRE memuat tes kemampuan umum dan tes prestasi belajar khusus pada mata pelajaran teknik rekayasa dan psikologi. Produk tersebut dikelola langsung oleh Educational Testing Service (ETS) dengan tujuan membantu lulusan sekolah dalam mengidentifikasi dan menyeleksi siswa yang lulus dengan layanan program pengujian penuh. Walaupun telah dipakai bertahun-tahun namun produk GRE masih terus disempurnakan. Mills, C. N & Steffen, M. (1999) mengemukakan kondisi GRE, yakni: butir soal pada GRE tumpang tindih antar butir soal pada level kemampuan peserta tes, kelangsungan kualitas butir yang sudah kadaluarsa (over time), dan penskoran yang tidak lengkap.
63 6. Produk MATHCAT
MATHCAT yaitu produk CAT yang dikembangkan di Belanda pada awalnya
untuk pendidikan orang dewasa. MATHCAT menggunakan bank butir soal khusus materi matematika dengan empat domain kognitif, yaitu berbasis konsep dan keterampilan, geometri, statistik, dan aljabar. Butir-butir yang digunakan pada umumnya butir soal jawaban pendek sedangkan yang lainnya pilihan ganda dengan format yang sama. Kemudian MATHCAT diperluas pada tes penempatan dan tes prestasi belajar. Fitur-fitur MATHCAT sebagai berikut. Pertama, MATHCAT menggunakan model logistik dua parameter dimana nilai daya beda butir dan tingkat kesukaran butir. Butir soal dianalisis dengan metode penaksiran kebolehjadian maksimum kondisional, sedangkan penaksiran kemampuan dianalisis dengan metode kebolehjadian maksimum dimana kedua metode tersebut menggunakan software
OPLM. Butir soal yang tidak terkalibrasi tidak dimasukkan dalam tes adaptif. Kedua, cut score melalui tiga prosedur, yaitu: (1) membagi konten tiga bagian dengan label
tingkat 1, tingkat 2, dan tingkat 3 sesuai dengan tingkatan kursus, (2) melakukan perhitungan rata-rata tingkat kesukaran butir pada tiap tingkatan, dan (3) menggunakan persamaan dasar model OPLM.
Hasil-hasil penelitian lain yang relevan dengan tema penelitian sebagai berikut. Pertama, hasil penelitian Triantafillou, et al. (2006) memperluas CAT pada
mobile devices. Selanjutnya, CAT tersebut menggunakan model Rasch dan
inisialisasi awal kemampuan sama dengan satu. Kedua, tes adaptif berbasis komputer dalam proses pembelajaran menggunakan web service dikaji Phankokkruad, et al. (2008) di Bangkok. Tes adaptif tersebut mengintegrasikan basisdata yang berbeda platform baik dan segi basis data maupun dan segi sistem operasinya. Ketiga, Anastasions (2005) mengemukakan daerah orientasi informasi pada butir tes adalah
64
konten, waktu, tingkat kesukaran, skor, perbandingan antar peserta tes, presentasi, media dan format, komunikasi dan kolaborasi, umpanbalik, kontrol pada tes, karakteristik peserta tes, dan bentuknya serta dampak pada pendidikan.
Selanjutnya, hasil penelitian CAT di Indonesia baru pada tahap pengembangan dan belum diaplikasikan secara online. Penelitian Agus Santoso (2009) melakukan pengembangan CAT dengan model logistik tiga parameter pada ujian Universitas Terbuka. Produk CAT tersebut berbasis desktop. Penelitian Rukli (2010) melakukan pengembangan CAT dengan model 1PL serta dilengkapi DSS. CAT tersebut melibatkan tiga aktor yakni admin, peserta tes, dan PT, serta menggunakan butir soal UN SMA pada mata pelajaran matematika, bahasa Indonesia, dan bahasa Inggris. Aturan pemberhentian menggunakan selisih dua galat baku penaksiran butir berturut-turut lebih kecil atau sama dengan 0,01.
Lebih lanjut, Haryanto (2009) mengembangkan CAT dengan metode Tsukamoto berdasarkan model pengukuran TTK dalam memilih butir soal bentuk tes pilihan ganda dengan beberapa spesifikasi. Berdasarkan hal tersebut, CerdasCAT mempunyai rancangan spesifikasi-spesifikasi tertentu yang membedakan dengan produk lainnya, misalnya model CAT hasil penelitian Haryanto (2009). Spesifikasi tersebut berbeda dengan spesifikasi CAT yang dikembangkan dengan rincian sebagai berikut. (1) Metode model CAT menggunakan metode fuzzy Tsukamoto, Sugeno, dan Mamdani yang dipadukan dengan metode high low dalam memilih butir soal yang adaptif sedangkan Haryanto hanya menggunakan metode fuzzy Tsukamoto. Pengembangan CAT dengan satu metode menghasilkan data satu sisi saja namun pengembangan CAT dengan tiga metode secara terpisah akan memberikan data lebih lengkap, misalnya perbandingan tingkat keakuratan penaksiran butir terhadap kemampuan peserta tes. (2) Pengembangan CAT menggunakan model Rasch dengan
65
membandingkan panjang tes, tingkat exposure butir soal, galat baku penaksiran kemampuan peserta tes, dan waktu respon butir soal sedangkan Haryanto menggunakan TTK tanpa perbandingan. Model Rasch dibandingkan TTK memberi argumentasi yang lebih kokoh terutama karakteristik butir soal dan penafsirannya. (3) Karakteristik tingkat kesukaran butir soal dipadukan dengan tingkat kemampuan dalam konsep model Rasch sedangkan Haryanto daya beda dan tingkat kesukaran dipadukan dengan skor peserta tes dalam konsep TTK.
Tabel 3.
Perbandingan Produk CAT
No Nama/Nama CAT Metode Model DSS Aturan
Keberhentian 1 Singo Imai / J_CAT Statistik 3 PL Tidak ada mMd max( ms)
) min( mf Mu m 2 Wen-shuenn Wu/ OAVTS
Statistik IRT Tidak Ada
Bergantung pada waktu 3 Guzman /SIETTE Kriteria adaptive
Owen’s dan b
IRT Tidak Ada
Kecukupan materi 4 Sie Hoe Lau, et al. /
CAAS Hybrid - Tidak Ada Selisih SE < 0,01 5 Mills, C. N & Steffen /GRE
Statistik IRT Tidak Ada
Alokasi Materi
6 Agus/CAT Statistik 3PL Tidak
Ada
SE = 0,30 dan jumlah butir soal
7 Haryanto/CAT Fuzzy Tsukamoto Tes Klasik Tidak Ada Alokasi Materi 8 Rukli/UniversiCAT Statistik 1PL Ada Selisih SE < 0,01 9 Rukli/CerdasCAT Futsuhilow
Fusuhilow Fumahilow
Rasch Ada Selisih SE < 0,01
Selanjutnya, (4) jumlah pengklasifikasian variabel fuzzy tingkat kesukaran butir soal yakni sangat rendah, rendah, sedang, tinggi, dan sangat tinggi sehingga lebih halus memberikan butir soal sedangkan Haryanto melakukan klasifikasi tingkat kesukaran rendah, sedang, dan tinggi. Penambahan kriteria tersebut akan lebih
66
memperhalus pemilihan butir soal adaptif terhadap kemampuan peserta tes. (5) Penambahan DSS memberikan informasi kepada user bukan hanya data kemampuan peserta tes namun informasi pelaporan kelulusan sedangkan Haryanto tidak tersedia. Penambahan DSS memberi kesempatan kepada user untuk melakukan pembobotan dan menentukan kriteria kelulusan sesuai preferensinya.
Adapun perbandingan nama, metode, model, DSS, dan aturan keberhentian produk CAT terdapat pada Tabel 3.