KAJIAN PUSTAKA
HASIL PENELITIAN A. Data Pengembangan
1. Analisis Butir Soal
Analisis butir soal tujuh paket tes matematika UN SD dilakukan secara simultan. Untuk tujuan tersebut, analisis butir soal menggunakan desain Group-Wise
Adaptive Testing program Bilog_MG. Hasilnya analisis menunjukkan jumlah soal
paket Provinsi Sulawesi Selatan dan Kabupaten Sidoarjo Provinsi Jawa Timur yang
fit dan tidak fit dengan model Rasch pada Tabel 21.
Tabel 21.
Jumlah Butir Soal Fit dan Tidak Fit Model Rasch Tempat/Tahun Jumlah
Soal
Analisis Tahap I Analisis Tahap II
Bank Soal Fit Model Tidak Fit Model Fit Model Tidak Fit Model Kabupaten Soppeng/2007 40 35 5 35 0 40 Kabupataten Sidoarjo, Kabupaten Soppeng,
dan Kota Makassar/ 2008
120-20 90 10 90 0 100
Provinsi Sul-Sel/2009 120-20 78 22 78 0 100
Jumlah Butir Soal 240 203 37 203 0 240
Pada Tabel 21 kolom analisis tahap I menunjukkan 203 butir soal fit model dianalisis lebih lanjut secara kuantitatif pada tahap II sedangkan 37 butir soal tidak fit model dianalisis lebih lanjut secara kualitatif. Hasil analisis secara kuantitatif menunjukkan semua butir soal sudah fit model sehingga analisis kuantitatif tahap ke tiga tidak dilakukan. Selanjutnya, hasil analisis kualitatif melibatkan tiga kelompok guru masing-masing guru kelas IV, V, dan VI menunjukkan 11 butir soal direvisi karena pokok butir soal tidak dirumuskan secara jelas dan tegas, 5 butir soal direvisi karena butir soal tidak menggunakan bahasa yang sesuai dengan kaidah bahasa Indonesia, dan 21 butir soal tidak direvisi karena masalah respon peserta tes terhadap butir tersebut hampir sama.
149
Berdasarkan asumsi yang telah ditetapkan bahwa butir soal yang tidak memenuhi model setelah dianalisis secara kualitatif dan pola respon tidak mengalami perubahan secara signifikan karakteristiknya sehingga 240 butir soal tersebut dimasukkan pada bank butir soal. Butir soal tersebut terdiri dari lima SKL, yakni 87 butir soal dari SKL bilangan, 61 butir soal dari SKL ukuran, 67 butir soal dari SKL bangun, lima butir soal dari SKL koordinat, dan 20 butir soal dari SKL data. Karena, jumlah butir soal pada SKL koordinat sebanyak lima tidak dimasukkan dalam bank butir soal dalam SKL koordinat tersendiri namun digabung ke SKL bangun sehingga pada produk CerdasCAT tidak ada SKL koordinat. Hal tersebut dilakukan karena hasil simulasi menunjukkan jika SKL tersebut dimasukkan maka tidak ada simulasi yang bisa konvergen karena pada saat pelacakan butir soal yang adaptif pada SKL tersebut maka penaksiran berhenti karena butir soal tidak tersedia. Oleh karena itu, kelima butir SKL koordinat tersebut digabung ke SKL bangun karena lebih sesuai dibandingkan dengan SKL lain. Jadi, jumlah butir soal yang dientri pada bank butir soal sebanyak 240 butir. Tingkat kesukaran dan kunci butir soal tersebut masing-masing terdapat pada Lampiran B_6 dan B_7.
Jumlah butir soal tersebut jika dibagi dengan jumlah kategori tingkat kemampuan sebanyak 5 maka tiap SKL mempunyai butir soal cukup besar walaupun penyebaran tingkat kesukaran butir soal tidak merata. Jika dibandingkan penelitian Haryanto (2009) menggunakan 62 butir soal dengan tiga kategori yakni hanya sekitar 20 butir soal maka butir soal yang ada pada bank butir soal produk CerdasCAT termasuk dalam jumlah yang besar.
150 2. Analisis Data Simulasi produk CAT a. Simulasi Metode Futsuhilow
Sampel hasil simulasi pada pola respon benar-semua menunjukkan galat baku penaksiran parameter kemampuan semakin kecil seiring meningkatnya jumlah butir soal. Artinya simulasi pola respon benar-semua pada metode
Futsuhilow sesuai dengan teori pengembangan CAT yang telah ditetapkan. Hasil
pola respon benar-semua pada Lampiran D_1.
Selanjutnya, hasil simulasi dengan empat pola respon pada metode
Futsuhilow menunjukkan semua pola respon sudah sesuai dengan metode
Tsukamoto dan metode high-low dimana exposure butir soal yang diberikan secara adaptif dengan kemampuan peserta tes pada umumnya berada pada setiap domain kategori inisialisasi. Semakin panjang tes maka semakin kecil galat baku walaupun pada panjang tes yang sama nilai galat baku bervariasi bergantung pada karakteristik butir tes yang direspon saat ini. Galat baku penaksiran parameter kemampuan sudah sesuai dengan teori dan terkait dengan konvergen suatu taksiran. Hal tersebut dapat dilihat pada Lampiran D_4. Berdasarkan hal tersebut metode Futsuhilow dapat diujicobakan secara riil di lapangan.
b. Simulasi Metode Fusuhilow
Sampel hasil simulasi pola respon salah-benar pada metode Fusuhilow menunjukkan penaksiran konvergen dengan panjang tes 15 butir soal dan skor 36,825 serta tingkat exposure butir soal dalam kategori tinggi karena tidak terdapat butir soal yang melewati batas domain inisialisasi kemampuan -2. Galat baku penaksiran parameter kemampuan menurun seiring meningkatnya jumlah butir soal yang direspon. Artinya simulasi pola respon salah-benar pada metode
151
Fusuhilow sesuai dengan teori pengembangan CAT yang telah ditetapkan. Hasil
pola respon salah-benar pada Lampiran D_2.
Selanjutnya, hasil simulasi dengan empat pola respon pada metode
Fusuhilow menunjukkan semua pola respon sudah sesuai dengan teori metode fuzzy Sugeno dan metode High-Low dimana exposure butir soal yang diberikan
secara adaptif dengan kemampuan peserta tes pada umumnya berada pada setiap domain kategori inisialisasi. Semakin panjang tes maka semakin kecil galat baku walaupun pada panjangn tes sama nilai galat baku bervariasi bergantung pada karakteristik butir tes yang direspon saat ini. Galat baku penaksiran parameter kemampuan sudah sesuai dengan teori dan terkait dengan konvergen suatu taksiran. Hal tersebut dapat dilihat pada Lampiran D_5. Berdasarkan hal tersebut metode Fusuhilow dapat diujicobakan secara riil di lapangan.
c. Simulasi Metode Fumahilow
Sampel hasil simulasi pola respon normal pada metode Fumahilow menunjukkan penaksiran konvergen dengan panjang tes 15 butir soal dengan skor 86,388 dimana tingkar exposure butir soal dalam kategori sedang karena hanya satu butir soal terakhir melewati batas domain himpunan fuzzy parameter kemampuan atau inisialisasi kemampuan = 0. Galat baku penaksiran parameter kemampuan menurun seiring meningkatnya jumlah butir soal yang direspon dan selama proses tersebut tingkat kemampuan meningkat terus sampai penaksiran konvergen. Artinya simulasi pola respon normal pada metode Fumahilow sesuai dengan teori pengembangan CAT yang telah ditetapkan. Hasil pola respon normal pada Lampiran D_3.
Selanjutnya, hasil simulasi menggunakan empat pola respon metode
152
penalaran Mamdani dan metode high-low dimana exposure butir soal yang diberikan secara adaptif dengan kemampuan peserta tes pada umumnya berada pada setiap domain kategori inisialisasi. Semakin panjang tes maka semakin kecil galat baku walaupun pada panjang tes yang sama nilai galat baku bervariasi bergantung pada karakteristik butir tes yang direspon saat ini. Galat baku penaksiran parameter kemampuan sudah sesuai dengan teori dan terkait dengan konvergen suatu taksiran. Hal tersebut dapat dilihat pada Lampiran D_6. Berdasarkan hal tersebut metode Fumahilow dapat diujicobakan secara riil di lapangan.
Berdasarkan hasil simulasi pola respon ketiga metode dengan memperhatikan panjang tes, tingkat exposure soal, dan galat baku penaksiran parameter kemampuan sudah sesuai dengan rancangan dengan memperhatikan rancangan antamuka, aturan logika ketiga metode, dan karakteristik bank butir soal.
3. Analisis Data Instrumen Pendapat User Terhadap Produk CerdasCAT