KAJIAN PUSTAKA
H. Kerangka Berpikir
Berdasarkan kajian teori dan hasil penelitian relevan, maka kerangka berpikir penelitian ini mempunyai tiga tahapan, yakni analisis butir soal, karakteristik model
CAT, dan prosedur DSS dalam model CAT. Adapun rincian uraian tiap tahapan
sebagai berikut. 1. Analisis Butir Soal
Data respon peserta tes dan butir soal diambil dari hasil ujian UN SD. Data tersebut diolah dengan program Bilog-MG untuk menentukan tingkat kesukaran butir soal dan nilai sig Kai_Kuadrat. Nilai sig Kai_Kuadrat untuk mengetahui butir soal yang cocok dan tidak cocok dengan model Rasch. Butir soal yang cocok dengan model di masukkan ke bank butir soal, sedangkan yang tidak memenuhi model dianalisis secara kualitatif dengan asumsi bahwa tingkat kesukaran butir soal tidak berubah secara signifikan jika butir soal tersebut dianalisis secara kualitatif. Selanjutnya butir tersebut dimasukkan dalam bank soal CAT.
2. Pemodelan Karakteristik CAT
Inisialisasi kemampuan peserta tes menggunakan tiga butir soal dari bank butir soal. Butir soal tersebut dipilih oleh admin dalam satu kali ujian. Ketiga butir
67
soal diurutkan oleh sistem dari atas ke bawah berdasarkan tingkat kesukarannya, yakni dari mudah ke sukar. Misalkan, admin memilih tiga butir 1, 2, dan 3. Jika butir soal (1,2,3) dijawab benar maka tingkat kemampuan sama dengan tiga, selanjutnya diberikan butir soal pada kategori sangat sukar (tiga atau lebih kecil tiga), jika butir soal (1), (1,2) atau (1,3) dijawab benar maka tingkat kemampuan sama dengan dua, selanjutnya diberikan butir soal pada kategori sukar (dua atau lebih kecil dua), jika hanya butir soal (1,2) atau (2) dijawab benar maka tingkat kemampuan sama dengan nol, selanjutnya diberikan butir soal pada kategori sedang (nol atau lebih kecil nol), jika hanya butir soal (3) dijawab benar maka tingkat kemampuan sama dengan -dua, selanjutnya diberikan butir soal pada kategori mudah (-dua atau lebih kecil -dua), dan jika tidak ada butir soal dijawab benar maka tingkat kemampuan sama dengan –tiga, selanjutnya diberikan butir soal pada kategori sangat mudah (-tiga atau lebih kecil -tiga). Jadi butir tes pertama yang diberikan oleh sistem ke peserta tes selalu lebih kecil atau sama dengan nilai inisialisasi kemampuan.
Pemilihan butir soal selanjutnya menggunakan aturan fuzzy dari tiap metode
fuzzy . Metode tersebut mentransformasikan tingkat kesukaran butir soal ke tingkat
kemampuan peserta tes sesuai dengan mekanisme tiap metode. Metode tersebut dioptimalisasi dengan metode high low. Jika respon benar maka tingkat kesulitan butir soal dinaikkan 0,1 atau lebih, sebaliknya jika respon salah maka tingkat kesulitan butir soal diturunkan 0,2 atau lebih. Selanjutnya, menghitung galat baku penaksiran kemampuan peserta tes, selisih galat baku penaksiran kemampuan peserta tes, kemampuan peserta tes, skor, dan waktu respon butir soal. Jika selisih galat baku penaksiran kemampuan peserta tes dari hasil respon dua butir soal berturut-turut dengan nilai lebih kecil atau sama dengan 0,01 maka pengujian diberhentikan oleh sistem. Artinya, jika diberikan butir soal tambahan maka
68
kemampuan peserta tes tidak berubah secara signifikan. Jika masih ada domain yang diujikan maka dilanjutkan proses sebagaimana langkah-langkah sebelumnya.
Pelaksanaan ujian peserta tes pada model CAT melalui beberapa tahapan sebagai berikut. Peserta tes memasukkan username dan password kemudian melakukan verifikasi nomor tes. Jika ketiga hal tersebut di-entry secara benar maka peserta tes baru dapat menempuh ujian dengan metode dan domain yang ada. Peserta tes memilih domain tersebut, selanjutnya mengerjakan tiga butir soal sebagai inisialisasi kemampuan. Peserta tes merespon ketiga butir tersebut dengan alokasi waktu sembilan menit. Hasil respon ketiga butir tersebut menentukan butir selanjutnya. Selanjutmya, peserta tes merespon butir demi butir selama tiga menit setiap butir. Jika selama tiga menit tidak menjawab maka dianggap salah sehingga diberikan soal selanjutnya yang lebih mudah yakni diturunkan 0,2 atau lebih, dan jika benar maka dinaikkan 0,1 atau lebih. Selama ujian berlangsung, kemampuan peserta tes, galat baku penaksiran kemampuan peserta tes, selisih galat baku penaksiran kemampuan peserta tes dan waktu respon peserta tes terus di_update oleh sistem. Jika penaksiran kemampuan peserta tes konvergen maka pemberian butir soal selesai, selanjutnya dilaporkan skor peserta tes tersebut pada domain tadi. Hal tersebut dilakukan dengan cara yang sama pada domain yang lain sampai semua domain yang telah ditetapkan.
Hasil ujian peserta tes langsung dapat dilihat dan dicetak berupa identitas peserta tes (nomor peserta tes, nama lengkap, metode, inisialisasi, model, penyajian soal, nama sekolah, dan foto peserta tes), nilai kuantitatif (id_soal, SKL dari mana butir soal berasal, tingkat kesukaran butir soal, nilai respon (1 atau 0), galat baku, selisih galat baku, theta akhir, skor, dan waktu respon butir masing-masing saat ini) serta kurva kecenderungan pergerakan butir soal terhadap kemampuan peserta tes.
69
Hal tersebut diharapkan bermanfaat dalam mendiagnosis peserta tes secara dini. Laporan hasil respon peserta tes untuk tiap domain dan kurva trace kemampuan peserta baik secara kuantitatif berupa skor maupun secara grafik. Informasi tersebut bermanfaat bagi peserta tes, tergambar butir soal yang respon salah dan benar sehingga lebih informatif sebagai bahan remedial selanjutnya. Hasil ujian tersebut dapat dilihat dan dicetak secara langsung saat setelah ujian baik peserta tes maupun wali peserta tes.
3. Prosedur DSS dalam CAT
Skor yang diperoleh peserta tes pada saat ujian di CerdasCAT kemudian diolah kembali sesuai konsep DSS. Pimpinan sebagai aktor melakukan pembobotan terhadap butir soal secara tidak langsung melalui SKL. Nilai pembobotan tiap SKL dalam domain tersebut menjadi referensi bagi pimpinan sesuai dengan kebutuhan institusinya. Jumlah pembobotan tiap SKL di tambah nilai yang diperoleh peserta tes menjadi nilai tiap domain. Domain yang ada kemudian dibobot sesuai dengan preferensi kebutuhan pimpinan. Jumlah bobot domain menjadi nilai ujian pada CerdasCAT tiap peserta tes bersangkutan. Disamping nilai ujian tersebut, pimpinan juga mempertimbangkan nilai lain, misalnya nilai ujian sekolah, pengamatan sehari-hari, dan lainnya sebagai syarat kelulusan bagi setiap peserta tes. Nilai-nilai tersebut kemudian dibobot sesuai dengan preferensi kebutuhan pimpinan. Jumlah nilai bobot tersebut menjadi nilai akhir peserta tes bersangkutan dalam bersaing dengan peserta lain. Nilai akhir tiap peserta tes tersebut kemudian disaring dengan dua kriteria yakni skor minimum dan kuota maksimum. Hasil penjaringan tersebut kemudian diurut secara ascending sehingga didapat informasi peseta tes yang lulus saringan. Hasil kelulusan tersebut kemudian dapat diakses oleh peserta tes, pengajar, dan wali peserta
70
tes untuk dilihat atau dicetak. Adapun skema kerangka berpikir model CAT terdapat pada Gambar 16. Selanjutnya, kerangka berpikir tersebut dioperasionalkan di Bab III dengan model RRAD dalam menjawab pertanyaan penelitian.
Bank Butir Soal
Proses Ujian pada Aplikasi CAT
Persiapan Anaisis Secara Kualitatif Analisis Data Data Uasbn
Analisis Data Informasi Butir Butir Soal Baik
Peserta Tes
Pilih Domain
Pengerjaan Output
Respon Butir Soal Sesuai Metode Update Karakteristik Peseta Tes Konvergen Jumlah Butir Username, Password
Verifikasi Nonor Ujian Inisialisasi Kemampuan Trace Kemampuan Waktu Respon Tingkat Exposure Galat baku
Bobot SKL Bobot Domain Bobot Kriteria
Hasil Kelulusan Kemampuan
Gambar 16.
Pola Kerangka Berpikir Model CAT
I. Pertanyaan Penelitian
1. Apakah hasil simulasi CerdasCAT sesuai rancangan metode Futsuhilow,
Fusuhilow, dan Fumahilow dengan memperhatikan tingkat kemampuan peserta
tes, panjang tes, tingkat exposure soal, dan galat baku penaksiran parameter kemampuan dalam berbagai pola respon?
71
2. Apakah hasil uji coba CerdasCAT secara one to one dengan metode Futsuhilow,
Fusuhilow, Fumahilow sesuai peran user?
3. Apakah hasil uji coba CerdasCAT secara one to one dengan metode Futsuhilow,
Fusuhilow, Fumahilow sesuai tingkat ketersediaan butir soal di bank butir soal?
4. Bagaimanakah hasil uji coba terbatas CerdasCAT dengan metode Futsuhilow,
Fusuhilow, dan Fumahilow berdasarkan panjang tes?
5. Bagaimanakah hasil uji coba terbatas CerdasCAT dengan metode Fumahilow,
Fusuhilow, dan Fumahilow berdasarkan tingkat exposure butir soal?
6. Bagaimanakah hasil uji coba terbatas CerdasCAT dengan metode Futsuhilow,
Fusuhilow, dan Fumahilow berdasarkan galat baku penaksiran parameter
kemampuan peserta tes?
7. Bagaimanakah hasil uji coba terbatas CerdasCAT dengan metode Futsuhilow,
Fusuhilow, dan Fumahilow berdasarkan waktu respon butir soal?
8. Bagaimanakah prosedur penerapan DSS dalam CerdasCAT menghasilkan informasi laporan kelulusan sesuai dengan kriteria user?
72 BAB III
METODE PENELITIAN