KAJIAN PUSTAKA
HASIL PENELITIAN A. Data Pengembangan
5. Analisis perbandingan ketiga metode pengembangan
Uji coba terbatas produk CerdasCAT menghasilkan output panjang tes, tingkat exposure, galat baku penaksiran parameter kemampuan, dan jumlah waktu respon butir soal. Ketiga metode pengembangan mempunyai mekanisme berlainan menghasilkan output sehingga nilainya berbeda-beda. Oleh karena itu, perbandingan ketiga metode tersebut dengan memperhatikan panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan jumlah waktu respon butir soal memerlukan analisis lebih lanjut.
Data panjang tes ketiga metode terdapat pada Lampiran E_1. Ketiga metode mempunyai perbedaan secara signifikan dimana metode Fusuhilow mempunyai panjang tes yang paling kecil dengan rerata 14 butir soal, kemudian metode
Fumahilow dengan rerata 16 butir soal, dan metode Futsuhilow mempunyai rerata 17
yang terdapat pada Lampiran E_3 dan E_4.
Tingkat exposure butir soal ketiga metode memperhatikan tingkat kemapanan butir soal yang direspon peserta tes dengan domain himpunan fuzzy kemampuan peserta tes saat inisialisasi. Secara statistik kecenderungan tersebut diperoleh dengan mengkategorikan kemapanan tersebut berdasarkan letak inisialisasi awal kemampuan pada himpunan fuzzy dengan pergerakan nilai theta dan tingkat kesukaran butir soal dengan analisis korelasi.
Tingkat exposure butir soal pada metode Futsuhilow dapat dilihat pada analisis secara deskriptif. Perbedaan rerata dan simpangan baku tiap kategori theta dan tingkat kesukaran hampir sama. Artinya, ada hubungan dan positif, namun belum diketahui tingkat hubungan tersebut. Oleh karena itu, dilakukan analisis lanjutan
164
menggunakan analisis korelasi Pearson. Kategori himpunan fuzzy kemampuan sangat tinggi mempunyai korelasi 0,816, kategori himpunan fuzzy kemampuan tinggi mempunyai korelasi 0,857, kategori himpunan fuzzy kemampuan sedang mempunyai korelasi 0,898, kategori himpunan fuzzy kemampuan rendah mempunyai korelasi 0,724, sedangan kategori himpunan fuzzy kemampuan sangat rendah tidak mempunyai data disebabkan tidak ada peserta tes yang menempuh kategori kemampuan tersebut. Analisis secara deskriptif dan korelasi terdapat pada Lampiran F_1 dan F_2.
Tingkat exposure butir soal pada metode Fusuhilow dapat dilihat pada analisis secara deskriptif. Perbedaan rerata dan simpangan baku antara tiap kategori theta dan tingkat kesukarannya hampir sama. Artinya ada hubungannya dan positif, namun belum diketahui tingkat hubungan tersebut. Oleh karena itu, dilakukan analisis lanjutan menggunakan analisis korelasi. Kategori himpunan fuzzy kemampuan sangat tinggi mempunyai korelasi 0,730, kategori himpunan fuzzy kemampuan tinggi mempunyai korelasi 0,791, kategori himpunan fuzzy kemampuan sedang mempunyai korelasi 0,786, kategori himpunan fuzzy kemampuan rendah mempunyai korelasi 0,105, dan kategori himpunan fuzzy kemampuan sangat rendah mempunyai korelasi 0,840. Analisis secara deskriptif dan korelasi terdapat pada Lampiran F_3 dan F_4. Berdasarkan hal tersebut hanya kategori himpunan fuzzy kemampuan rendah mempunyai korelasi tidak signifikan.
Tingkat exposure butir soal pada metode Fumahilow dapat dilihat pada analisis deskriptif. Perbedaan rerata dan simpangan baku antara tiap kategori theta dan tingkat kesukarannya hampir sama. Artinya ada hubungannya dan positif, namun belum diketahui tingkat hubungan tersebut. Oleh karena itu, dilakukan analisis lanjutan menggunakan analisis korelasi. Kategori himpunan fuzzy kemampuan sangat
165
tinggi mempunyai korelasi 0,795, kategori himpunan fuzzy kemampuan tinggi mempunyai korelasi 0,841, kategori himpunan fuzzy kemampuan sedang mempunyai korelasi 0,821, kategori himpunan fuzzy kemampuan rendah mempunyai korelasi 0,848, dan kategori himpunan fuzzy kemampuan sangat rendah mempunyai korelasi 0,874. Analisis secara deskriptif dan korelasi terdapat pada Lampiran F_3 dan F_4. Berdasarkan analisis tersebut menunjukkan bahwa metode Fumahilow mempunyai korelasi yang paling tinggi di antara semua kategori kemampuan lalu metode
Futsuhilow walaupun tidak mempunyai informasi pada kategori sangat rendah.
Sedangkan metode Fusuhilow terdapat korelasi yang tidak signifikan pada kategori kemampuan rendah.
Analsis secara deskriptif data galat baku penaksiran parameter kemampuan ketiga metode terdapat pada Lampiran E_3. Ketiga metode mempunyai perbedaan secara signifikan dimana metode Futsuhilow mempunyai rerata galat baku penaksiran parameter kemampuan yang paling kecil dengan rerata sebesar 0,818, kemudian metode Fumahilow mempunyai rerata galat baku penaksiran parameter kemampuan dengan rerata sebesar 0,839. Sedangkan metode Fusuhilow mempunyai rerata galat baku penaksiran parameter kemampuan dengan rerata 0,877. Hasil analisis galat baku penaksiran parameter kemampuan terdapat pada Lampiran E_4.
Analsis secara deskriptif menunjukkan rerata jumlah waktu respon butir soal ketiga metode terdapat pada Lampiran E_3 dimana rerata jumlah waktu respon butir soal tes pada metode Futsuhilow yang paling kecil yakni rerata selama 1 menit17 detik per butir soal, lalu metode Fusuhilow yakni rerata selama 1 menit 24 detik per butir soal, terakhir metode Fumahilow selama 1 menit 25 detik per butir soal . Metode
Futsuhilow berbeda secara signifikan dengan Fusuhilow dan metode Fumahilow,
166
Fumahilow. Hasil analisis jumlah waktu respon butir soal tes terdapat pada Lampiran
E_4. Walaupun demikian, jika waktu respon yang diolah menggunakan jumlah respon tiap peserta tes maka metode Fusuhilow yang paling singkat jika dibandingkan dengan metode Futsuhilow walaupun tidak signifikan. Metode Fumahilow berbeda secara signifikan dengan metode Futsuhilow pada taraf signifikasi 0,05 sedangkan dengan metode Fusuhilow tidak berbeda secara signifikan.
Uji coba produk menunjukkan bahwa panjang tes yang paling pendek ditempuh peserta tes sampai penaksiran konvergen pada metode Fusuhilow sebanyak 14 butir soal. Hal tersebut terjadi karena metode Fusuhilow memberikan butir soal yang adaptif dengan mengelola basis pengetahuan dalam memberikan butir soal lebih mudah jika dibandingkan dengan kemampuan peserta tes. Metode Futsuhilow memberikan butir soal adaptif yang persis sama dengan kemampuan peserta tes sesuai dengan basis pengetahuan tanpa ada proses defuzzifikasi. Selanjutnya, metode
Fumahilow memberikan butir soal adaptif lebih sukar sesuai dengan basis
pengetahuan yang sama dengan basis pengetahuan metode Futsuhilow namun menggunakan proses defuzzifikasi model centroid. Hasil penelitian Agus Santoso (2009) dengan metode MLE membutuhkan 8-15 butir soal sampai konvergen sedangkan penelitian Haryanto (2009) menggunakan fuzzy Tsukamoto dengan tiga kategori tingkat kesukaran butir menggunakan konsep CTT menunjukkan jumlah butir soal yang dikemas sekitar 20 butir soal menunjukkan adanya pola yang sesuai dengan kemampuan peserta tes. Selanjutnya, penelitian Rukli dan Sri Hartati (2011) menguji coba produk CAT menggunakan metode high low di SMA membutuhkan sekitar 10 butir soal. Oleh karena itu, jumlah butir soal 14 terjadi karena pencarian butir soal memperhatikan SKL dimana butir soal berada, selanjutnya pencarian butir soal adaptif bersifat fluktuatif disamping jumlah butir soal dalam SKL belum merata.
167
Jika jumlah butir soal pada SKL lebih banyak dan merata maka fluktuatif tersebut dapat diredam sehingga untuk mencapai penaksiran konvergen membutuhkan butir soal dengan jumlah lebih kecil.
Uji coba produk menunjukkan metode Fumahilow mempunyai tingkat
exposure butir soal lebih kecil dibandingkan dengan metode lain, walaupun secara
sekilas metode Futsuhilow yang lebih kecil karena butir soal yang diberikan sesuai dengan kemampuan peserta tes. Hal tersebut terjadi karena metode Fumahilow memberikan butir soal sesuai dengan pengelolaan basis pengetahuan yang lebih alami sehingga butir yang diberikan lebih sesuai dengan nilai theta awal. Selanjutnya, metode Fumahilow memberikan butir soal yang lebih tinggi dimana sesuai dengan karakteristik butir soal di bank butir soal mempunyai tingkat kesukaran di atas rerata yakni 0,462 jika dibandingkan dengan butir soal di bawah rerata, sementara metode
Fusuhilow memberikan butir soal yang lebih rendah sehingga butir soal yang
diberikan banyak yang keluar dari batas domain inisialisasi awal.
Uji coba produk menunjukkan galat baku penaksiran parameter kemampuan pada metode Futsuhilow mempunyai galat baku penaksiran parameter kemampuan yang paling kecil kemudian metode Fumahilow terus Fusuhilow. Hal tersebut terjadi karena metode Fumahilow dan Fusuhilow memberikan butir soal adaptif kepada peserta masing-masing menurunkan dan menaikkan sehingga perhitungan galat baku mengalami fluktuasi pencarian butir soal lebih besar walaupun selisih galat baku berbeda dimana selisih galat baku dihitung dari selisih galat baku antar dua butir soal. Uji coba produk menunjukkan metode Futsuhilow mempunyai waktu respon yang paling pendek yakni 1:17 (1 menit 17 detik) bukan metode Fusuhilow yang mempunyai panjang tes paling pendek. Panjang pendek tes tidak bisa menunjukkan bahwa metode tersebut waktu respon paling pendek. Waktu yang
168
dibutuhkan 1 menit 17 detik termasuk respon butir yang cepat jika dibandingkan dengan alokasi waktu yang diberikan respon tiap butir soal yakni 3 menit walaupun tidak diinformasikan jawaban benar dan salah selama selang waktu ujian tersebut. Jika rerata waktu respon tiap peserta tes menjadi data mentah bukan jumlah waktu respon tiap peserta tes maka yang paling cepat waktu respon butir adalah metode
Futsuhilow, sebalilknya jika jumlah waktu respon menjadi data mentah bukan rerata
waktu respon tiap peserta tes maka yang paling pendek waktu respon tiap butir adalah metode Fusuhilow. Namun cara perhitungan yang terakhir menyesatkan karena tidak bisa ditetapkan secara pasti bahwa peserta tes yang menempuh butir soal banyak mempunyai waktu respon lebih lama selama ujian. Oleh karena itu, peserta tes yang mengambil ujian pada metode Futsuhilow mempunyai waktu yang paling singkat merespon butir soal secara adaptif.