ii ABSTRAK
RUKLI: Pengembangan Computerized Adaptive Testing dengan Metode Futsuhilow, Fusuhilow, dan Fumahilow. Disertasi. Yogyakarta: Program Pascasarjana Universitas Negeri Yogyakarta, 2012.
Penelitian ini bertujuan untuk: (1) pengembangan model Computerized Adaptive Testing (CAT) yang disebut CerdasCAT dengan metode Futsuhilow, Fusuhilow, dan Fumahilow berdasarkan model Rasch; (2) menerapkan model CAT untuk menghasilkan kemampuan peserta tes, panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu respon butir soal; (3) menemukan prosedur penerapan DSS dalam CAT; dan (4) menerapkan DSS dalam model CAT untuk menghasilkan laporan kelulusan peserta tes.
Penelitian ini menggunakan model Revised of Rapid Application Development (RRAD) melalui enam tahap yaitu pemodelan bisnis, pemodelan data, pemodelan proses, pembentukan aplikasi, pengujian, dan diseminasi. Uji coba CerdasCAT dilakukan secara simulasi dan pengujian secara terbatas di sekolah dasar. Uji coba melibatkan dua sekolah dengan menggunakan purposive sampling. Peserta tes dipilih secara acak dari dua sekolah tersebut sebanyak 90, kemudian peserta tes tersebut dikelompokkan secara acak ke dalam tiga kelas, yaitu: kelas Futsuhilow sebanyak 30 peserta tes, kelas Fusuhilow sebanyak 30 peserta tes, dan kelas Fumahilow sebanyak 30 peserta tes. Butir soal berasal dari Ujian Nasional Sekolah Dasar. Jumlah butir soal tersebut sebanyak 240 butir.
Hasil penelitian menunjukkan sebagai berikut. Pertama, CerdasCAT memberikan butir soal adaptif terhadap kemampuan peserta tes dalam menghasilkan panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu respon butir soal secara optimal. Kedua, metode Fusuhilow memiliki panjang tes yang paling pendek. Metode Fumahilow memiliki tingkat exposure butir soal yang paling kecil. Metode Futsuhilow memiliki rerata galat baku penaksiran parameter kemampuan yang paling kecil dan memiliki rerata waktu respon butir soal yang paling kecil. Ketiga, CerdasCAT menghasilkan kemampuan peserta tes. Pengolahan data tersebut menggunakan prosedur DSS, yakni pembobotan SKL, pembobotan domain, dan pembobotan kriteria penilaian dalam batasan kuota maksimum dan skor minimum. Keempat, penerapan DSS pada CerdasCAT memberikan informasi yang sesuai dengan kriteria user dalam menentukan peserta tes yang lulus ujian.
iii ABSTRACT
RUKLI: The Development of Computerized Adaptive Testing by the Futsuhilow, Fusuhilow, and Fumahilow Methods. Dissertation. Yogyakarta: Graduate School, Yogyakarta State University, 2012.
This study aims to: (1) develop Computerized Adaptive Testing (CAT) model called CerdasCAT by Futsuhilow, Fusuhilow, and Fumahilow methods based on Rasch models; (2) apply the CAT model to obtain examinees’ ability, test lengths, item exposure levels, standard errors of ability parameter estimates, and item response time; (3) find the application procedure of DSS in the CAT; and (4) apply DSS in CAT models to obtain graduation reports of the examinees.
This study used a model of Revised Rapid Application Development (RRAD) through eight stages of business modeling, data modeling, process modeling, application creation, testing, and dissemination. CerdasCAT tryouts were conducted in simulation and testing on a limited basis in primary schools. The tryouts involved two schools selected using the purposive sampling technique. The examinees were randomly selected from two schools as many as 90, and then they were grouped randomly into three classes, namely the class for Futsuhilow consisting of 30 examinees, the class for Fusuhilow consisting of 30 examinees, and the class for Fumahilow consisting of 30 examinees. The items were taken from of the Primary School National Examination. The total number of items was 240.
The results of the research are as follows. First, the CerdasCAT model gives adaptive items to obtain examinees’ ability, test lengths, item exposure levels, standard errors of ability parameter estimates, and item response time maximally. Second, the Fusuhilow method has the shortest test length. The Fumahilow method has the lowest item exposure level. The Futsuhilow method has the smallest mean of standard errors of the ability parameter estimate and has the shortest item response time. Third, CerdasCAT produces examinees’ ability. The data processing procedures use DSS, namely the weighting of SKL, the weighting of domain, and the weighting of assessment criteria in terms of maximum quota and minimum scores. Fourth, the DSS implementation in CAT model provides information relevant to users’ criteria in determining which examinees pass the exam.
vi
KATA PENGANTAR
Alhamdulillah, penulisan disertasi dengan judul Pengembangan Computerized Adaptive Testing dengan Metode Futsuhilow, Fusuhilow, dan Fumahilow telah diselesaikan oleh penulis dengan melibatkan bantuan dari berbagai pihak. Oleh karena itu, penulis menyampaikan ucapan terima kasih dan penghargaan setinggi-tingginya kepada:
1. Orang tua, mertua, dan keluarga besar penulis di Soppeng-Makassar dan Dago-Bandung yang telah memberikan segalanya selama perkuliahan dalam mendampingi keluarga saya dengan bantuan, doa, dan kasih sayang.
2. Istriku tercinta sebagai belahan hatiku, Ati Dwi Septawati, Drg serta ketiga anakku sebagai mutiaraku Moh. Adli Akbar, Moh. Habibi Akbar, dan Moh. Dliyaul Haq yang telah memberikan segalanya baik perhatian, pengorbanan, doa, cinta, harta, dukungan semangat, dan jiwa.
3. Tim promotor yang terdiri atas Bastari Ed.D. dan Prof. Kumaidi, Ph.D. yang telah meluangkan banyak waktu, tenaga, dan pikiran dalam mendampingi dan membimbing penulis dengan penuh kecermatan, ketelitian, memberi pengarahan, koreksi, dan saran konstruktif bagi kesempurnaan penyelesaian disertasi.
4. Rektor Universitas Negeri Yogyakarta dan Direktur Program Pascasarjana UNY beserta para dosen dan staf yang telah memberikan pelayanan dan bantuan maksimal.
5. Prof. Djemari Mardapi, Ph. D., sebagai ketua Program Studi PEP pada PPS UNY dan penguji proposal disertasi yang selalu memberi motivasi, semangat, dan petunjuk agar supaya cepat selesai sejak program Magister tahun 1995 sampai program Doktor.
6. Dewan Penguji proposal disertasi dan Dewan Penguji Ujian Tertutup yang telah memberikan arahan dan koreksi dalam melakukan persiapan penelitian agar lebih terarah dan lancar saat di lapangan serta mengoreksi hasil penelitian secara akurat. 7. Reviewer, Herman Dwi Surjono, Ph. D yang telah mengoreksi laporan penelitian
disertasi dan menguji coba produk cerdasCAT secara akurat dengan berbagai masukan bagi penyempurnaan produk tersebut di masa depan.
vii
8. Validator Expert, Dra. Sri Hartati, M.Sc., Ph.D. dan Dra. Ermatita, M. Kom. yang telah melakukan validasi produk CerdasCAT secara akurat.
9. Koordinator Kopertis Wilayah IX Sulawesi memberikan ijin melanjutkan studi Program Doktor di Universtas Negeri Yogyakarta.
10.Ketua Yayasan Lamappapoleonro Soppeng beserta keluarga yang telah memberikan ijin, bantuan dana, dorongan, dan doa selama kuliah.
11.Dinas Pendidikan Propinsi Sulawesi Selatan yang telah memberikan kesempatan kepada penulis untuk mengambil data penelitian.
12.Pimpinan proyek BPPS dan Proyek Hibah Program Doktor 2011 Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional yang telah memberikan bantuan beasiswa dan bantuan hibah doktor yang sangat mendukung program S3 saya.
13.Para kepala sekolah, guru, staf (admin), murid kelas VI, dan orang tua murid yang telah membantu terselenggaranya ujicoba produk CerdasCAT di lapangan.
14.Civitas akademika AMIK, STMIK, dan STIE Lamappapoleonro Soppeng atas dukungan dan doanya.
15.Rekan-rekan mahasiswa Program Doktor Universitas Negeri Yogyakarta yang telah membantu dalam mengoreksi disertasi penulis.
16.Keluarga besar Ikatan Mahasiswa Pelajar Soppeng dan Angin Mamiri Sulawesi Selatan, khususnya Kakak Drs. Muh. Safar Natsir, M.Si. beserta keluarga yang telah memberi bantuan, nasehat, dan doa.
17.Semua pihak yang terlibat dalam proses penyelesaian dan penulisan disertasi ini. Semoga bantuan, arahan, bimbingan, koreksi, nasehat, dorongan, masukan, dan doa serta perhatian yang telah diberikan selama ini bernilai ibadah disisiNya, Amien yaa Rabbal Alamien. Wasalam.
Yogyakarta, 2012
ix
DAFTAR ISI
HALAMAN JUDUL ………. ABSTRAK ………. ABSTRACT ……….. LEMBAR PENGESAHAN ……… PERNYATAAN KEASLIAN ……….. KATA PENGANTAR ………...HALAMAN MOTTO ………..
DAFTAR ISI ……….. DAFTAR TABEL ……… DAFTAR GAMBAR ……… DAFTAR PERSAMAAN ……….. DAFTAR LAMPIRAN ………. BAB I PENDAHULUAN ……….. A. Latar Belakang ………..……….
B. Identifikasi Masalah Penelitian ………... C. Pembatasan Masalah Penelitian ………. D. Perumusan Masalah Penelitian ………... E. Tujuan Penelitian ………... F. Spesifikasi Produk yang Dikembangkan ………..
G. Manfaat Penelitian ……….
H. Asumsi dan Keterbatasan Pengembangan Produk ………
BAB II STUDI PUSTAKA ………..
A. Kajian Butir Soal …..………... 1. Teori Tes Klasik ………... 2. Model Pengukuran Rasch ………..
B. Metode Penaksiran ……….
1. Metode MLE dan Bayesian ………
2. Metode High Low ……….
3. Metode Heuristik ………
4. Logika Fuzzy ……….
5. Fuzzy pada Karakteristik Soal dan Basis Pengetahuan ……….. C. Sistem Penalaran Fuzzy ...
1. Metode Fuzzy Tsukamoto ………..
2. Metode Fuzzy Sugeno ………
3. Metode Fuzzy Mamdani ……….
D. Kriteria Pengembangan CAT ………
1. Panjang Tes ……….
2. Tingkat Exposure Butir Soal ……….. 3. Galat Baku Penaksiran Parameter Kemampuan ……… 4. Waktu Respon Butir Soal ………... E. Decision Support System (DSS) ………...
Halaman i ii iii iv v vi viii ix xii xiii xvi xvii 1 1 11 13 14 14 15 17 18 20 20 22 24 33 33 35 35 36 42 46 48 49 51 54 54 54 55 55 56
x
F. Hasil-hasil Penelitian CAT yang Relevan ……….
G. Kerangka Berpikir ………
H. Pertanyaan Penelitian ………...
BAB III METODE PENELITIAN ………
A. Model Pengembangan ……….... B. Prosedur Pengembangan Aplikasi CerdasCAT ……….. 1. Tahap Pemodelan Bisnis ………..
2. Tahap Pemodelan Data ………
3. Tahap Pemodelan Proses ……… 4. Tahap Pembentukan Aplikasi ……….
5. Pengujian ………
C.Uji Coba Produk ………...
1. Desain Uji Coba ……….……….
2. Subjek Uji Coba ……….
3. Jenis Data ………..……….
4. Instrumen ………...
5. Teknik Analisis Data ………...
BAB IV HASIL PENELITIAN ……….………..
A. Data Pengembangan ………... 1. Data Karakteristik Butir Soal ………
2. Data Rancangan ………
3. Data Pembentukan Produk ………
4. Data Validasi Internal ……….
5. Data Expert Judgement ……….
6. Data Simulasi ……….
7. Data Uji Coba Secara One to One ……… 8. Data Uji Coba Secara Terbatas ……….
B. Analisis Data ………..
1. Analisis Butir Soal ………..…… 2. Analisis Data Simulasi aplikasi CerdasCAT ……… 3. Analisis Data Pendapat User Terhadap aplikasi CerdasCAT ……. 4. Sampel Analisis Data Uji Coba Terbatas ………. 5. Analisis Perbandingan Ketiga Metode ……….. 6. Analisis Pengembangan CAT dengan Fitur DSS ………...
C. Revisi Produk ……….
1. Inisialisasi Kemampuan ……….….. 2. Model Prototipe dan Full Release ………. 3. Metode High Low ke Penalaran Fuzzy + High Low ……….. 4. Penambahan Tiga Metode pada Aplikasi CerdasCAT ………... 5. Output Data menjadi Output Data Sekaligus Informasi ………….. 6. Fungsi Informasi Butir ke Tingkat Kesukaran Butir ………
59 66 70 72 72 76 76 85 88 97 97 98 98 100 101 102 102 104 104 104 104 127 133 135 137 139 147 148 148 150 152 154 163 168 173 173 175 177 179 181 182
xi
D. Kajian Produk Akhir ………..
1. Kajian Proses Update Pengguna ………. 2. Kajian Proses Domain dan SKL dalam Content Balancing …….. 3. Kajian Proses Input Butir Soal ……… 4. Kajian Proses Peserta Tes Mengambil Ujian ……….. 5. Kajian Proses Pelaporan Kelulusan ………... 6. Kajian Proses Wali Peserta Tes Mencetak Hasil Ujian Walinya … 7. Kajian Sistem Pengamanan Produk ……….. E. Diseminasi Hasil Penelitian ………...
BAB V SIMPULAN DAN SARAN ……….
A. Simpulan ………
B. Keterbatasan Penelitian ……….. C. Saran, Pemanfaatan, dan Pengembangan Produk Lebih Lanjut ………
D. Diseminasi ……….
E. Temuan Baru Hasil Penelitian ………...
DAFTAR PUSTAKA ………. 184 184 187 191 192 200 203 205 206 210 210 211 212 214 215 216
xii
DAFTAR TABEL
Halaman
Tabel 1. Kaidah Penelahaan Soal Pilihan Ganda ……….………... Tabel 2. Perbedaan Model Rasch dan Model 1PL ……….………... Tabel 3. Perbandingan Aplikasi CAT ………... Tabel 4. Ukuran Sampel Tiap Paket Soal ………... Tabel 5. Jumlah Soal Tiap SKL UN SD ……….………
Tabel 6. Tabel Domain .………..
Tabel 7. Tabel Peserta Tes ………...
Tabel 8. Tabel SKL ………..
Tabel 9. Tabel Paket Soal Tiga Butir Detail ………... Tabel 10. Tabel Paket Soal Tiga Butir ………..………
Tabel 11. Tabel Soal ………
Tabel 12. Tabel Paket Soal Tiga Butir Jawaban ………..……… Tabel 13. Tabel Waktu Tempuh ………...……… Tabel 14. Tabel Peserta Tes Domain ………...……….. Tabel 15. Hasil Perhitungan Hasil Tes pada CerdasCAT ………..
Tabel 16. Hasil Perhitungan Hasil Tes pada Program Excel ………..
Tabel 17. Data Pendapat Admin pada Aplikasi CerdasCAT ……….. Tabel 16. Data Pendapat Pimpinan pada Aplikasi CerdasCAT ……….. Tabel 17. Data Pendapat Pengajar pada Aplikasi CerdasCAT ………….….. Tabel 18. Data Pendapat Wali Peserta Tes pada Aplikasi CerdasCAT …….. Tabel 19. Jumlah Butir Soal Fit dan Tidak Fit Model Rasch ……….
21 25 65 78 80 114 113 114 115 115 116 116 117 117 135 135 140 141 142 147 148
xiii
DAFTAR GAMBAR
Gambar 1 Perbandingan Kurva Model 1PL dan Model Rasch …..………… Gambar 2 Representasi Himpunan Klasik ……… Gambar 3 Representasi Himpunan Fuzzy ………. Gambar 4 Posisi Fitur pada Fungsi Keanggotaan ……… Gambar 5 Fungsi Keanggotaan Linier ……….. Gambar 6 Fungsi Keanggotaan Segitiga ………...
Gambar 7 Fungsi Keanggotaan Trapezium ………...
Gambar 8 Fungsi Keanggotaan Bahu ……… Gambar 9 Fungsi Keanggotaan S ……….. Gambar 10 Sistem Penalaran Fuzzy ……….. Gambar 11 Metode Fuzzy Tsukamoto ………... Gambar 12 Metode Fuzzy Sugeno ……….. Gambar 13 Posisi Metode Defuzzy ………. Gambar 14 Metode Fuzzy Mamdani ………... Gambar 15 Struktur DSS dalam CAT ………... Gambar 16. Model Kerangka Berpikir Pengembangan CAT ….………... Gambar 16 Model RRAD …….……….………. Gambar 17 Desain Model Pengembangan Model CerdasCAT .………... Gambar 18 Hubungan Entiti Peserta Tes dan Butir Soal ……….…... Gambar 19 Hubungan Entiti Domain dan Pimpinan ………... Gambar 20 Representasi Himpunan Fuzzy Variabel Tingkat Kesukaran …….. Gambar 21 Basis Pengetahuan Futsuhilow dan Fumahilow ………..…… Gambar 22 Basis Pengetahuan Fusuhilow ………... Gambar 23 Metode DSS pada Produk CerdasCAT ……….. Gambar 24 Rancangan Arsitektur DSS dalam CAT ……….. Gambar 25 Arsitektur Aplikasi CAT Berbasis Web ………..……….. Gambar 26 Perbandingan Antar Metode dengan Empat Kriteria ………. Gambar 27 Model Use Case CerdasCAT ………... Gambar 28 Diagram Kelas Peserta Tes dan Laporan Kelulusan ……….. Gambar 29 Flowchart Pengambilan Ujian CerdasCAT ……… Gambar 30 Diagram Aktifitas Peserta Tes Mengambil Ujian ………... Gambar 31 Diagram Kolaborasi User Mencari Laporan Kelulusan ………….. Gambar 32 Diagram Sekuensial Menampilkan Halaman Ujian ……… Gambar 33 Diagram Relasi Entitas ……… Gambar 34 Antar Muka Utama ……….. Gambar 34 Antar Muka Admin ………... Gambar 35 Antar Muka Form Sign Up ………. Gambar 36 Antar Muka Pimpinan ………...
Halaman 27 37 37 39 40 41 41 42 43 47 49 50 51 53 59 70 73 76 89 89 90 92 93 94 95 96 103 105 106 108 110 110 111 112 118 119 120 121
xiv
Gambar 37 Antar Muka Penetapan Pembobotan SKL ………. Gambar 38 Antar Muka Penetapan Pembobotan Domain ……….. Gambar 39 Antar Muka Penetapan Pembobotan Kriteria Penilaian …………. Gambar 40 Antar Muka Pengajar ……….. Gambar 41 Antar Muka Peserta Tes ……… Gambar 42 Antar Muka Ambil Ujian Adaptasi ………. Gambar 43 Antar Muka Hasil Ujian Peserta Tes ………... Gambar 44 Antar Muka Laporan Kelulusan Peserta Tes ……….. Gambar 45 Kode Pendaftaran Peserta Tes ………..
Gambar 47 Form Pendaftaran Peserta Tes ………
Gambar 46 Kode Log In ………..………...
Gambar 49 Form Log In ………...
Gambar 50 Kode Verifikasi Nomor Peserta ………..
Gambar 51 Form Verifikasi Nomor Peserta Tes ………... Gambar 52 Kode Inisialisasi Kemampuan ……… Gambar 49 Kode Perhitungan Kemampuan Metode Futsuhilow ………. Gambar 50 Kode Perhitungan Kemampuan Metode Fusuhilow ……….. Gambar 51 Kode Perhitungan Kemampuan Metode Fumahilow ………. Gambar 52 Kode Metode High Low ……… Gambar 53 Kode Waktu Mengerjakan Butir Soal ………. Gambar 58 Konfigurasi Kelulusan ………
Gambar 55 Pembobotan SKL ………..
Gambar 56 Pembobotan Domain ……….
Gambar 57 Pembobotan Kriteria ………... Gambar 58 Laporan Kelulusan Memenuhi Kuota ………... Gambar 59 Laporan Kelulusan Memenuhi Skor Minimum ……….
Gambar 64 Inisialisasi Kemampuan Sebelum (a) dan Sesudah Revisi (b) …... Gambar 65 Model Prototipe pada Model CAT ……….. Gambar 66 Model Full Release pada Model CAT ………. Gambar 67 Pencarian Butir Soal dengan Metode High Low ………. Gambar 68 Metode Fuzzy Diakselerasi oleh Metode High Low ………... Gambar 69 Model CAT Satu Metode (a) dan Tiga Metode (b) ……… Gambar 70 Model CAT Menghasilkan Data (a) dan Informasi (b) …………... Gambar 71 Fungsi Informasi (a) dan Tingkat Kesukaran (b) ………... Gambar 72 Halaman Daftar Admin ………..
Gambar 73 Halaman Form Admin ………
Gambar 74 Halaman Daftar Pimpinan ………... Gambar 75 Halaman Form Input Pimpinan ……… Gambar 76 Spesifikasi Bank Soal CerdasCAT ……….. Gambar 77 Update Dinamis Bank Soal ………... Gambar 78 Arsitektur Content Balancing ………. Gambar 79 Halaman Daftar Soal ……….. Gambar 80 Form Memasukkan Butir Soal ……… Gambar 81 Halaman Data Paket Soal ……… Gambar 82 Form Paket Soal Tiga Butir ……… Gambar 83 Form Identitas Peserta Tes ………..
122 122 123 123 124 125 126 127 127 128 129 129 130 130 131 131 132 132 133 133 169 170 170 171 172 173 175 176 177 178 179 180 182 183 185 185 186 186 188 189 190 191 192 193 194 195
xv
Gambar 84 Form Penentuan Domain Bagi Peserta Tes ……….. Gambar 85 Form Verifikasi Nomor Tes Peserta ………. Gambar 86 Pilih Domain Soal ………... Gambar 87 Halaman Peserta Tes Menjawab Semua Tiga Butir Soal ………… Gambar 88 Pengerjaan Butir Soal Pertama ……… Gambar 89 Hasil Ujian pada Domain ……… Gambar 90 Halaman Konfigurasi Kelulusan ………..
Gambar 91 Pembobotan SKL ………
Gambar 92 Pembobotan Domain ………. ………..
Gambar 93 Pembobotan Kriteria Penilaian ……….
Gambar 94 Laporan Kelulusan ……….
Gambar 95 Form Input Wali Peserta Tes ……….. Gambar 96 Wali Peserta Tes Melihat Hasil Ujian Peserta Tes Walinya ………
196 196 197 197 198 199 200 201 201 202 202 203 204
xvi
DAFTAR PERSAMAAN
Halaman
Persamaan 1 Model Rasch ………..
Persamaan 2 Model 1PL ……….
Persamaan 3 Kemampuan Peserta Tes secara Maksimum ……….. Persamaan 4 Fungsi Informasi Butir ………... Persamaan 5 Fungsi Informasi Tes ……….. Persamaan 6 Galat Baku Penaksiran Parameter Kemampuan ………. Persamaan 7 Fungsi Keanggotaan Bentuk Kurva Linier ………. Persamaan 8 Fungsi Keanggotaan Bentuk Kurva Segitiga ………. Persamaan 9 Fungsi Keanggotaan Bentuk Kurva Trapezuim ……….. Persamaan 10 Fungsi Keanggotaan Bentuk Kurva S ………. Persamaan 11 Aturan Operator AND ………
Persamaan 12 Aturan Operator OR ……….
Persamaan 13 Aturan Operator NOT ………. Persamaan 14 Metode Penalaran Fuzzy Sugeno Orde Nol ………. Persamaan 15 Metode Penalaran Fuzzy Sugeno Orde Satu ……… Persamaan 16 Centre of Gravity ………...……….. Persamaan 17 Perhitungan Simple Centre of Gravity ……… Persamaan 18 Perhitungan Simple Centre of Gravity Update ……….
Persamaan 19 Tranformasi Theta ke Skor ………. 27 27 30 31 31 32 40 40 41 42 44 44 44 49 50 52 52 53 58
xvii
DAFTAR LAMPIRAN
Halaman
LAMPIRAN A
1. Simulasi Variabel Fuzzy Tingkat Kesukaran dan Kemampuan ………. 2. Simulasi Basis Pengetahuan Metode PenalaranTsukamoto ………. 3. Simulasi Basis Pengetahuan Metode Penalaran Sugeno ………. 4. Simulasi Basis Pengetahuan Metode Penalaran Mamdani ………..
LAMPIRAN B
1.Sampel Data Respon Peserta Tes pada UN SD ……….. 2.Desain Analisis Butir Soal Tujuh Paket Soal ………... 3.Nama Peserta Analisis Soal dari Guru Kelas IV ……… 4.Nama Peserta Analisis Soal dari Guru Kelas V ………... 5.Nama Peserta Analisis Soal dari Guru Kelas VI ………... 6.Tingkat Kesukaran Butir Soal Tujuh Paket Soal ………. 7.Kunci Jawaban Butir Soal Tujuh Paket Soal ……….. LAMPIRAN C
1. Identitas Peserta Tes yang Mengikuti Ujian pada Metoda Futsuhilow ………. 2. Identitas Peserta Tes yang Mengikuti Ujian pada Metoda Fusuhilow ……….. 3. Identitas Peserta Tes yang Mengikuti Ujian pada Metoda Fumahilow …... LAMPIRAN D
1. Sampel Hasil Simulasi Peserta Tes pada Metode Futsuhilow ………... 2. Sampel Hasil Simulasi Peserta Tes pada Metode Fusuhilow ………... 3. Sampel Hasil Simulasi Peserta Tes pada Metode Fumahilow ………... 4. Hasil Simulasi Empat Pola Respon pada Metode Futsuhilow ………... 5. Hasil Simulasi Empat Pola Respon pada Metode Fusuhilow ………... 6. Hasil Simulasi Empat Pola Respon pada Metode Fumahilow ……….. 7. Panjang Tes, Galat Baku, dan Waktu Respon pada Metode Futsuhilow……… 8. Panjang Tes, Galat Baku, dan Waktu Respon pada Metode Fusuhilow ……… 9. Panjang Tes, Galat Baku, dan Waktu Respon pada Metode Fumahilow……… 10.Data Tingkat Exposure Butir Soal pada Metode Futsuhilow ……….. 11.Data Tingkat Exposure Butir Soal pada Metode Fusuhilow ……….. 12.Data Tingkat Exposure Butir Soal pada Metode Fumahilow ………... 13.Data Uji Coba Secara One to One pada Metode Futsuhilow ………. 14.Data Uji Coba Secara One to One pada Metode Fusuhilow ……….. 15.Data Uji Coba Secara One to One pada Metode Fumahilow ………. 16.Data Validasi Expert Judgment Pertama ………... 17.Data Validasi Expert Judgment Kedua ……….. 18.Kuesioner Validasi Expert Terhadap Model CAT ……….. 19.Data Prosentase Hasil Validasi Expert Judgment ………..
223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 250 254 257 258 259 260 262 264 266
xviii LAMPIRAN E
1. Panjang Tes Tiap Peserta Tes Ketiga Metode ……….. 2. Skor Tiap Peserta Tes Ketiga Metode ……….. 3. Statistik Deskriptif dan Uji Homogenitas Ketiga Metode ……… 4. Panjang Tes, Galat Baku, dan Waktu Respon Ketiga Metode ………. LAMPIRAN F
1. Statistik Deskriptif Tingkat Exposure Butir pada Metode Futsuhilow ……. 2. Korelasi Tingkat Exposure Butir Tes pada Metode Futsuhilow ……... 3. Statistik Deskriptif Tingkat Exposure Butir pada Metode Fusuhilow …….. 4. Korelasi Tingkat Exposure Butir Tes pada Metode Fusuhilow ………. 5. Statistik Deskriptif Tingkat Exposure Butir pada Metode Fumahilow …….. 6. Korelasi Tingkat Exposure Butir Tes pada Metode Fumahilow ………. 7. Statistik Deskriptift Exposure Butir Sampel Peserta Tes Ketiga Metode……. 8. Korelasi Tingkat Exposure Butir Sampel Peserta Tes Ketiga Metode ... LAMPIRAN G
1. Format Verifikasi Internal Komponen Aplikasi CerdasCAT ……….. 2. Hasil Verifikasi Internal Komponen Aplikasi CerdasCAT ………. 3. Contoh Verifikasi Internal Kompoen Komputasi Hasil Ujian ……….. LAMPIRAN H
1. Galat Baku Penaksiran Parameter Kemampuan Metode Futsuhilow ………. 2. Galat Baku Penaksiran Parameter Kemampuan Metode Fusuhilow …... 3. Galat Baku Penaksiran Parameter Kemampuan Metode Fumahilow ………. 4. Statistik Deskriptif Galat Baku Penaksiran pada Metode Futsuhilow ………. 5. Statistik Deskriptif Galat Baku Penaksiran pada Metode Fusuhilow ………... 6. Statistik Deskriptif Galat Baku Penaksiran pada Metode Fumahilow ……….. LAMPIRAN I
1. Waktu Respon Tiap Butir Soal pada Metode Futsuhilow ……….. 2. Waktu Respon Tiap Butir Soal pada Metode Fusuhilow ……….. 3. Waktu Respon Tiap Butir Soal pada Metode Fumahilow ……….. 4. Statistik Deskriptif Waktu Respon Peserta Tes Metode Futsuhilow ………... 5. Statistik Deskriptif Waktu Respon Peserta Tes Metode Fusuhilow …………. 6. Statistik Deskriptif Waktu Respon Peserta Tes Metode Fumahilow ……….. LAMPIRAN J
1. Sampel Hasil Ujian Peserta Tes pada Metode Futsuhilow ………. 2. Sampel Hasil Ujian Peserta Tes pada Metode Fusuhilow ……….. 3. Sampel Hasil Ujian Peserta Tes pada Metode Fumahilow ……… 4. Pendapat Peserta Tes Uji Coba One to One dengan Metode Futsuhilow……. 5. Pendapat Peserta Tes Uji Coba One to One dengan Metode Fusuhilow…….. 6. Pendapat Peserta Tes Uji Coba One to One dengan Metode Fumahilow……..
267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299
xix LAMPIRAN K
1. Kuesioner Pendapat Peserta Tes Terhadap Aplikasi CerdasCAT …………. 2. Kuesioner Pendapat Pimpinan Terhadap Aplikasi CerdasCAT ………….. 3. Kuesioner Pendapat Pengajar Terhadap Aplikasi CerdasCAT ………. 4. Kuesioner Wali Peserta Tes Terhadap Aplikasi CerdasCAT ………... 5. Kuesioner Pendapat Administrator Terhadap Aplikasi CerdasCAT ………. LAMPIRAN L
1. User’s Guide Aplikasi CerdasCAT ………...
2. Foto Kegiatan Pelatihan Analisis Soal Program Bilog-MG ………... 3. Foto Hasil Uji Coba One to One Aplikasi CerdasCAT ………... 4. Foto Hasil Uji Coba Terbatas Aplikasi CerdasCAT ………... LAMPIRAN M
1. Surat Ijin dari Pasca Sarjana UNY ………. 2. Surat Ijin dari Dinas Pendidikan Propinsi Sulawesi Selatan ………... 3. Surat Keterangan dari Kepala SDN 1 Lamappoloware ………. 4. Surat Keterangan dari Kepala SDN 161 Karya ………..
300 302 303 304 305 306 327 328 329 330 331 332 333
viii HALAMAN MOTTO
So far as the laws of mathematics refer to reality, they are not certain. And so far as they are certain, they do not refer to reality.
_@Albert Einstein
As complexity rises, precise statements lose meaning and meaningful statements lose precision.
_@Lotfi Zadeh
Bacalah dan tulislah sebab bagaimanapun dengan menuliskannya berarti telah mengikat, menyebarluaskan, dan mengamalkan sehingga akan berbuah amal
ibadah disisi Allah SWT jika dilakukan secara ikhlas _@Rukli
1
BAB I
PENDAHULUAN
A. Latar Belakang Masalah
Pada Modern Test Theory (MTT), skala kemampuan peserta tes yang merespon butir soal berada pada rentang antara negatif tak terhingga dengan positif tak terhingga. Untuk mengukur kemampuan tersebut membutuhkan tes yang cakupan jumlah butir soal besar disertai dengan tingkat kesukaran butir soal yang tinggi pula. Jika rentang tingkat kemampuan peserta tes besar maka diperlukan lebih banyak butir soal dalam tes namun akan ada banyak butir soal yang tidak optimal mengukur kemampuan peserta tes. Jika panjang tes pendek maka kemungkinan tidak akurat dalam mengukur variasi kemampuan peserta tes yang tinggi.
Tingkat kemampuan peserta tes berada pada skala yang sama dengan tingkat kesukaran butir soal. Jika rentang tingkat kesukaran butir soal besar dalam suatu tes maka tidak akurat mengukur kemampuan peserta tes yang bervariasi, sebaliknya jika rentang tingkat kesukaran butir soal kecil misalnya di sekitar rata-rata tingkat kesukaran butir soal maka butir soal tersebut sesuai dengan peserta tes berkemampuan sedang. Oleh karena itu, dibutuhkan suatu mekanisme penyajian butir soal dimana tingkat kesukaran butir soal adaptif terhadap variasi tingkat kemampuan peserta tes yang tinggi namun hasilnya tetap adil bagi peserta tes. Menurut Hambleton, et al. (1991: 145) secara umum kemampuan peserta tes berbeda, sehingga tingkat kesukaran butir soal perlu dipadankan dengan tingkat kemampuan peserta tes, yakni peserta tes berkemampuan tinggi diberikan butir soal yang lebih sukar, sebaliknya peserta tes yang berkemampuan rendah diberikan butir soal yang lebih mudah. Implikasinya, agar supaya semua butir soal akurat mengukur kemampuan peserta tes maka setiap peserta tes menempuh butir soal yang unik sesuai dengan keunikan kemampuannya secara
2
adaptif sehingga kemampuan tersebut terungkap secara maksimum. Mekanisme tes adaptif berbasis komputer dikenal sebagai Computerized Adaptive Testing (CAT).
Menurut Hambleton, et al. (1991: 146) MTT mempunyai karakteristik butir soal independen terhadap kelompok uji sehingga cocok dengan tes adaptif. Karakteristik butir soal tergambar pada kurva karakteristik butir soal dimana butir soal dikaitkan dengan kemampuan peserta tes dalam bentuk model logistik. Jika tingkat kesukaran butir soal dikaitkan dengan kemampuan peserta tes maka modelnya adalah logistik satu parameter (1PL), jika daya beda butir soal dan tingkat kesukaran butir soal dikaitkan dengan kemampuan peserta tes maka modelnya adalah logistik dua parameter (2PL), dan jika daya beda butir soal, tingkat kesukaran butir soal, dan peluang tebakan butir soal dikaitkan dengan kemampuan peserta tes maka modelnya adalah logistik tiga parameter (3PL). Menurut Linacre (2005), ketiga model tersebut merupakan model statistik yang ukuran metriknya normal atau model normal ogive dengan nilai D = 1,7. Disamping ketiga model tersebut, terdapat model lain yang mirip namun tak sama dengan 1PL yakni model Rasch dengan nilai D = 1.
Model Rasch merupakan model pengukuran bukan model statistik. Model Rasch secara filosofi psikometri menetapkan bahwa data yang cocok dengan model bukan model yang cocok dengan data. Model Rasch mempunyai unit skala logistik (logits) bukan probits. Oleh karena itu, model Rasch merupakan model mapan terhadap ukuran sampel kecil dan cukup dimana tingkat kesukaran butir soal menjadi ukuran dalam mengukur kemampuan sedangkan daya beda butir soal sama dan peluang tebakan butir soal sama dengan nol. Karakteristik butir soal bentuk tes pilihan ganda dalam CAT diadaptasikan dengan kemampuan peserta tes sehingga peluang tebakan kurang signifikan dan daya beda kurang memberi sumbangsih pada kemampuan maksimal peserta tes secara individu. Lebih lanjut, model pengukuran Rasch tidak
3
memperhatikan (rejected) variasi daya beda yang dianggap sebagai gejala (symptom) butir soal bias dan multidimensi. Berdasarkan hal tersebut, model Rasch lebih cocok digunakan dalam pengembangan CAT.
Mekanisme pengembangan CAT membutuhkan beberapa aturan pokok. Pertama, inisialisasi kemampuan peserta tes atau butir soal pertama yang direspon peserta tes. Inisialisasi tersebut merupakan titik awal dalam pencarian butir soal selanjutnya. Jumlah perbedaan aturan inisialisasi kemampuan yang ditetapkan dalam pengembangan CAT cukup banyak. Misalnya, Peserta tes merespon tiga butir soal sebagai inisialisasi awal kemampuan. Aturan tersebut memetakan kemampuan awal dalam kategori kemampuan sangat rendah, rendah, sedang, tinggi, dan sangat tinggi. Kedua, aturan pemberhentian penyajian butir soal pada CAT juga bervariasi. Misalnya, peserta tes merespon satu butir soal untuk mendapatkan galat baku penaksiran parameter kemampuan lebih kecil atau sama dengan 0,43 (Reshetar dalam Hambleton, et al, 1991: 149) atau lebih kecil atau sama dengan 0,3 (Gustha, 2003: 10). Aturan lain, peserta tes merespon dua butir soal untuk mendapatkan selisih galat baku penaksiran parameter kemampuan lebih kecil atau sama dengan 0,01. Aturan pemberhentian menggunakan satu butir soal dan dua butir soal mirip namun aturan kedua lebih mapan karena menggunakan selisih dua galat baku penaksiran parameter kemampuan peserta tes secara berturut-turut. Aturan pemberhentian lain, penetapan sejumlah butir soal berdasarkan alokasi waktu tertentu seperti Paper and Pencil Test (P&P), misalnya 25 butir soal (Gustha, 2003) atau 40 butir soal dengan waktu 120 menit dimana setiap butir soal dikerjakan rata-rata selama tiga menit.
Ketiga, pemilihan metode dalam menyajikan butir soal adaptif terhadap kemampuan peserta. Swaminathan (1983: 24) dan Hambleton, et al. (1991: 46) mengemukakan bahwa ada beberapa metode penaksiran parameter kemampuan bila
4
parameter butir soal tes diketahui, antara lain: Maximum Likelihood Estimation (MLE), bayesian, heuristik, dan analisis faktor non linier. Metode heuristik memiliki banyak variasi prosedur. Selanjutnya metode tersebut dapat digunakan pada tingkatan diskrit atau kontinu, misalnya clustering, pelacakan, dan kontrol.
Metode heuristik mencakup metode pencarian, pengontrolan, dan penalaran sehingga banyak digunakan dalam sistem inteligen, sistem pakar, atau sistem pendukung keputusan dimana asumsinya tidak ketat. Misalnya, jaringan syaraf tiruan, algoritma genetika, dan logika fuzzy tidak memerlukan asumsi ketat sehingga penarapannya semakin luas dalam berbagai pengontrolan dan optimasi baik dalam rekayasa teknik, kedokteran, maupun psikometri. Salah satu metode heuristik, yakni logika fuzzy tidak memerlukan pelatihan dan tidak memerlukan aturan logika tinggi namun dapat diandalkan pada pemecahan masalah ketidakpastian.
Logika fuzzy mempunyai kelebihan jika dibandingkan dengan logika boolean. Logika boolean mempunyai tingkat ketelitian diskrit sehingga pada penalaran yang tinggi kurang tepat. Menurut Siler & Buckley (2005) dan user’s guide MATLAB versi_2 (2004) logika fuzzy menawarkan beberapa karakteristik spesifik sehingga salah satu pilihan yang baik pada masalah kontrol. Konsep logika fuzzy mudah dimengerti karena konsep matematis mendasari penalaran fuzzy sangat sederhana dan mudah. Penerapan logika fuzzy adalah fleksibel dan memiliki toleransi terhadap data-data yang memerlukan penafsiran lebih lanjut, misalnya pemodelan fungsi-fungsi nonlinear yang sangat kompleks. Logika fuzzy dapat membangun dan menerapkan pengalaman pakar dalam bentuk basis pengetahuan secara langsung tanpa harus melalui proses pelatihan.
Basis pengetahuan (aturan fuzzy) sebagai dasar penalaran fuzzy dapat mengontrol sistem fuzzy sehingga dapat mengoptimalkan ouput sesuai metode fuzzy. Metode fuzzy terbagi tiga yakni Tsukamoto, Sugeno, dan Mamdani. Ketiga metode
5
tersebut mempunyai prosedur pencarian yang tidak sama dalam menentukan output sehingga walaupun bentuk input (anteseden) serupa akan menghasilkan bentuk output (konsekuen) yang berbeda. Metode fuzzy Tsukamoto mempunyai konsekuensi dari setiap basis pengetahuan. Setiap basis pengetahuan menggunakan aturan IF-THEN. Selanjutnya aturan tersebut direpresentasikan dengan suatu himpunan fuzzy ke fungsi keanggotaan monoton sehingga tidak ada proses defuzifikasi. Metode fuzzy Sugeno mempunyai konsekuensi berupa konstanta atau fungsi matematika. Bila basis pengetahuan dikomposisikan maka defuzifikasi dilakukan dengan mencari nilai rerata berbobot. Metode fuzzy Mamdani menggunakan himpunan fuzzy, baik variabel masukan maupun variabel keluaran dibagi menjadi satu atau lebih himpunan fuzzy. Operasi komposisi basis pengetahuan menggunakan aturan MIN. Selanjutnya, komposisi korelasi basis pengetahuan menggunakan penalaran max, additive, atau probabilistik OR. Agregasi keluaran semua aturan menggunakan metode defuzzifikasi. Ketiga metode fuzzy tersebut mempunyai kelebihan dan kekurangan masing-masing.
Metode fuzzy Mamdani lebih intuitif memberikan keluaran dan lebih sesuai dengan pola pikir namun perhitungan mendapatkan keluaran lebih komplit jika dibandingkan dengan metode fuzzy Sugeno. Metode fuzzy Sugeno lebih sederhana namun kurang mengikuti pola pikir. Keduanya mempunyai metode defuzzifikasi dan keluaran yang berbeda, sedangkan metode fuzzy Tsukamoto tidak melakukan proses defuzifikasi dalam menghasikan keluaran sehingga paling sederhana namun mempunyai kesamaan basis pengetahuan metode fuzzy Mamdani walaupun keluarannya berbeda. Ketiga metode tersebut sama-sama dapat memecahkan masalah ketidakpastian berupa pengelolaan input menggunakan metode fuzzy dan basis pengetahuan untuk menghasilkan output. Berdasarkan hal tersebut, ketiga metode dapat mengontrol butir soal yang terlalu sukar atau terlalu mudah bagi peserta tes
6
menjadi lebih adaptif terhadap kemampuan peserta tes dengan bantuan suatu metode pencarian. Ketiga metode fuzzy tersebut dioptimalisasi dengan metode high low.
Metode high low merupakan metode pencarian yang sederhana, yakni jika respon benar maka tingkat kesulitan butir soal dinaikkan sekitar 0,1 sebaliknya jika respon salah maka tingkat kesulitan butir soal akan diturunkan sekitar 0,2 (Lord dalam Hulin, et al. 1983: 217). Metode high low menggunakan tingkat kesukaran butir soal sebagai kriteria dalam memilih butir soal selanjutnya sehingga lebih cepat proses retriavel pada saat melakukan query pada basis data jika dibandingkan metode MLE menggunakan fungsi informasi butir soal.
Perpaduan antara metode fuzzy dan metode high low pada pengembangan CAT menghasilkan model metode baru, yakni: (1) perpaduan metode fuzzy Tsukamoto dengan metode high-low menghasilkan metode Futsuhilow, (2) perpaduan metode fuzzy Sugeno dengan metode high-low menghasilkan metode Fusuhilow, dan (3) perpaduan metode fuzzy Mamdani dengan metode high-low menghasilkan metode Fumahilow. Ketiga metode tersebut memiliki mekanisme berlainan dalam pengembangan CAT.
Pengembangan CAT dapat menggunakan perbandingan antar metode sehingga diperoleh data panjang tes, tingkat exposure butir soal, galat baku penaksiran kemampuan peserta tes, dan jumlah waktu respon soal. Informasi tersebut dapat menjadi pilihan bagi user sesuai preferensinya.
Panjang tes menyangkut jumlah butir soal yang direspon peserta tes sampai penaksiran kemampuan peserta tes konvergen. Metode yang menyajikan jumlah butir soal jumlah kecil akan menghemat jumlah butir soal dalam bank soal dan dapat mencerminkan tingkat kecocokan kemampuan peserta tes dengan butir soal yang direspon. Tingkat exposure mengungkapkan jumlah butir soal direspon selama ujian
7
berlangsung yang keluar dari domain himpunan fuzzy inisialisasi kemampuan peserta tes. Metode yang mempunyai tingkat exposure yang besar menunjukkan metode tersebut memberikan butir soal kepada peserta tes berada di luar rentang inisialisasi kemampuan peserta tes. Jika hal tersebut terjadi, kerahasiaan butir soal semakin menurun sehingga butir soal tidak bisa berfungsi sebagaimana mestinya. Metode yang dapat menekan tingkat exposure butir soal sekecil mungkin merupakan mekanisme pemberian soal yang baik terutama dalam menyajikan butir soal yang mempunyai karakteristik butir soal yang ekstrim walaupun secara statistik hal tersebut sesuatu yang bisa dipahami secara logika. Galat baku penaksiran parameter kemampuan peserta tes memberikan informasi sejauh mana metode tersebut menyajikan butir soal yang adaptif terhadap kemampuan peserta secara akurat. Metode yang menyajikan butir soal yang lebih adaptif terhadap kemampuan peserta tes akan memiliki galat baku penaksiran parameter kecil. Jumlah waktu respon bagi peserta tes dalam menjawab butir soal memberikan informasi tentang kecepatan query-retrival pada basis data. Hal-hal tersebut merupakan faktor yang perlu diperhatikan dalam pengembangan CAT dengan dukungan teknologi informasi global jika produk berbasis web.
Perkembangan teknologi informasi dengan dukungan rekayasa produk perangkat keras dan lunak komputer dapat mempercepat akses user sebagai stakeholder yang berada di daerah yang berlainan. Pengembangan CAT berbasis web memberi keuntungan bagi user yakni peserta tes sebagai aktor yang merespon butir tes, pengajar sebagai aktor memasukkan butir soal, dan pimpinan serta user lain sebagai aktor mencari data dan informasi jika dibandingkan sistem desktop atau client server bila tingkat ketepatan, kekinian, dan kerelevanan informasi diprioritaskan.
Beberapa produk CAT berbasis web di beberapa negara telah diaplikasikan secara online. Misalnya, J-CAT dikembangkan di Jepang (Shinggo Imai, 2008),
8
SIETTE dikembangkan di Spanyol (Guzman, 2005), CAAS dikembangkan di Malaysia (Sie, et al. 2005), dan OAVTS dikembangkan di Taiwan (Wen-shuenn Wu, 2004). Walaupun produk tersebut berbasis web namun user bersifat pasif. Pengembangan CAT berbasis web memerlukan Decision Support System (DSS) agar user lebih mudah menerima dan mencari informasi secara aktif sesuai dengan preferensinya.
Pengembangan CAT sebagai media pengujian berbasiskan komputer tak lepas dari peningkatan kebutuhan user sebagai pemakai produk berupa pendukung keputusan. CAT sebagai produk dapat menghasilkan informasi sesuai kebutuhan bukan hanya data sehingga perlu penambahan sistem cerdas berupa DSS. Menurut Turban (2001) DSS merupakan sistem informasi berbasis komputer yang interaktif, fleksibel, dan adaptif. DSS dibangun secara khusus untuk mendukung pemecahan masalah manajemen yang tidak terstruktur dalam meningkatkan kualitas pengambilan keputusan sesuai dengan preferensi. User dapat melakukan pembobotan terhadap domain (mata pelajaran) dan memberikan kriteria kelulusan. Penelitian Rukli (2010) dalam menerapkan DSS menunjukkan bahwa user dapat melakukan pembobotan dan penetapan kriteria penerimaan sesuai preferensinya. Beberapa hasil penelitian mengenai model CAT tidak memperhatikan hal tersebut, misalnya penelitian Agus Santoso (2009) dan Haryanto (2009).
Penerapan CAT dapat dilakukan di Sekolah Dasar (SD) dimana setiap tahun Pemerintah menyelenggarakan Ujian Nasional (UN). Hasil observasi dilakukan di Provinsi Sulawesi Selatan tahun 2008 dan 2010 menunjukkan beberapa hal terkait penyelengaraan UN sebagai berikut. (1) Ada beberapa sekolah menganggap penyelengaraan UN SD hanya seremonial belaka jika dibandingkan dengan Ujian Nasional di tingkat Sekolah Menengah Pertama (SMP) dan Sekolah Menengah Atas (SMA) karena menganggap SMP merupakan kelanjutan SD dalam bingkai pendidikan
9
dasar sembilan tahun. Akibatnya UN SD tidak terlalu diperhatikan oleh user (peserta tes, pengajar, wali peserta tes, dan pimpinan). Oleh karena SD merupakan pintu pertama dan utama dalam mengembangkan potensi peserta tes secara dini dan secara formal sehingga sistem evaluasi yang ada perlu diperbaiki dan ditingkatkan, misalnya menggunakan CAT. (2) Tingkat kebocoran butir soal berpeluang terjadi karena dua guru dari setiap kabupaten/kota membuat butir soal UN di provinsi sehingga menjadi kendala dalam mengukur kemampuan peserta tes secara jujur, adil, dan akurat. (3) Penilaian kelulusan diserahkan sepenuhnya kepada sekolah sehingga setiap sekolah mempuyai standar kelulusan yang berbeda-beda. Keempat, pengawasan ujian dilakukan secara silang antar sekolah, namun masih terbatas antar sekolah dalam satu gugus atau kelurahan/desa sehingga tingkat kejujuran kurang terjamin.
Disamping hal tersebut, beberapa hasil observasi terkait perkembangan teknologi komputer sebagai berikut. (1) Keberadaan teknologi komputer di SD misalnya pada SD Unggulan mengalami kemajuan pada rentang waktu tersebut, misalnya fasilitas laboratorium kemputer dan perpustakaan berbasis informasi teknologi. Data deskriptif menunjukkan keberadaan komputer di sekolah inti dan unggulan sudah memiliki komputer walaupun jumlahnya tidak sama. Misalnya, SDN 1 Lamappapoloware dan SDN 161 Karya mempunyai komputer cukup memadai bagi peserta tes kelas empat, lima, dan enam dalam kegiatan praktek komputer. (2) Dana pembelian dan perawatan komputer berasal dari berbagai sumber. Misalnya, United States Agency For International Development (USAID) dalam bentuk program Desentralised Basic Education (DBE) bidang pendidikan dasar sejak tahun 2005, dana Sekolah Standar Nasional (SSN), Bantuan Operasi Sekolah (BOS), Dana Alokasi Umum (DAU), Anggaran Pendapatan Belanja Daerah (APBD), dan bantuan dari anggota komite sekolah. (3) Jumlah SD semakin banyak yang tersebar di beberapa
10
pulau terpencil memerlukan model CAT berbasis web agar ketimpangan sistem pengujian dapat diminimalisasi. (4) Kemampuan dan kebiasaan peserta tes SD dalam menggunakan komputer cukup memadai dimana peserta tes kelas IV sudah belajar dan praktek komputer berupa latihan menggambar, mewarnai bunga, dan membuat bagunan sederhana. (5) Jumlah guru SD unggulan dan inti yang memiliki laptop pribadi sekitar 80%.
Hasil observasi tersebut memberikan informasi bagaimana rentangnya kerahasian butir soal dan hasil ujian di SD yang perlu dibenahi. Demikian halnya, memberikan informasi bahwa perkembangan dan penguasaan teknologi komputer di SD sudah cukup maju. Walaupun bukan solusi mutlak yang dapat menanggulangi semua permasalahan tersebut namun penerapan model CAT di SD diharapkan akurasi informasi kemampuan peserta dapat di tingkatkan berdasarkan dukungan teknologi komputer di daerah dan beberapa manfaat lain bagi user. Adapun hal-hal yang dapat diperoleh user dengan pengembangan model CAT sebagai berikut. (1) Butir soal yang dikerjakan sesuai dengan keunikan kemampuan tiap peserta tes. (2) Kerjasama antar peserta tes (cheating) selama ujian dapat dibatasi karena setiap peserta tes mengerjakan tes yang berbeda. (3) Waktu pelaporan hasil ujian lebih cepat. (4) Jika terjadi kebocoran butir soal maka tebakan jawaban soal dalam waktu singkat dapat dibatasi sebab jumlah butir soal dalam bank soal ratusan bahkan ribuan. (5) Peserta tes dapat mencetak secara langsung hasil ujian saat ini sehingga kemungkinan rekayasa nilai yang dapat merugikan peserta tes dapat dihindari secara maksimal. Berdasarkan hal tersebut, perlu dikembangkan model CAT dengan metode Futsuhilow, Fusuhilow, dan Fumahilow di SD unggulan dan inti sehingga informasi diperoleh user cepat, akurat, dan relevan terutama dalam pengujian peserta tes SD masuk SMP.
11 B. Identifikasi Masalah
Berdasarkan latar belakang masalah yang telah dipaparkan, maka diidentifikasi beberapa masalah sebagai berikut.
1. User (peserta tes, pengajar, wali peserta tes, dan pimpinan) menganggap kegiatan ujian UN hanya seremonial belaka pada hal SD pintu utama dan pertama dalam meningkatkan kemampuan peserta tes sehingga perlu diperbaiki dan ditingkatkan secara dini.
2. Pemilihan tingkat kesukaran butir soal dalam membuat tes belum memperhatikan tingkat kemampuan peserta tes secara unik.
3. Penerapan teknologi komputer semakin pesat dalam berbagai bidang ilmu namun belum digunakan secara optimal dalam sistem pengujian.
4. Butir soal yang diberikan kepada peserta secara adaptif belum menggunakan metode tanpa persyaratan yang ketat.
5. Panjang tes yang terdapat pada P&P sama bagi semua peserta tes pada hal setiap peserta tes mempunyai kemampuan yang unik.
6. Waktu respon yang terdapat pada P&P sama bagi semua peserta tes pada hal setiap peserta tes mempunyai kecepatan dan kemampuan yang tidak sama dalam merespon butir soal.
7. Tingkat kemunculan butir soal dalam suatu ujian pada P&P sama bagi semua peserta tes jika terjadi kebocoran butir soal maka tebakan kunci jawaban sangat tinggi.
8. Galat baku penaksiran kemampuan peserta tes pada P&P besar karena setiap peserta tes merespon butir soal dengan karakteristik yang sama sedangkan karakteristik kemampuan peserta tes tidak sama.
12
9. Belum adanya penilaian standar kelulusan kepada sekolah sehingga setiap sekolah mempunyai standar kelulusan sendiri.
10.Belum ada sistem pengujian yang menggunakan tiga metode fuzzy berdasarkan model Rasch dalam satu produk.
11.Bank soal yang ada di sekolah belum optimal menggunakan teknologi komputer. 12.Walaupun sudah beberapa kali diperbaiki namun setiap tahun masih banyak peserta
tes bekerjama selama ujian dan masih terjadi kebocoran butir soal ujian.
13. Belum ada keseragaman waktu pelaporan hasil ujian Nilai Ebtanas Murni (NEM) di sekolah.
14.Model CAT sudah diaplikasikan di beberapa negara namun keluaran yang diterima user masih sebatas data hasil ujian belum ada informasi laporan kelulusan. 15.Belum ada kajian sistem ujian adaptif yang memperhatikan panjang tes, tingkat
exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu respon butir soal dalam satu model CAT terutama di Indonesia.
C. Pembatasan Masalah
Berdasarkan latar belakang dan identifikasi masalah, maka penelitian dibatasi pada masalah sebagai berikut.
1. Model CAT dikembangkan dengan metode Futsuhilow, Fusuhilow, dan Fumahilow. Ketiga metode tersebut mempunyai konsep logika sederhana, mudah, dan fleksibel sehingga memiliki toleransi terhadap data-data yang memerlukan penafsiran lebih lanjut, misalnya pemodelan fungsi nonlinear yang sangat kompleks. Selanjutnya, logika fuzzy dapat membangun dan menerapkan pengalaman pakar dalan basis pengetahuan secara langsung tanpa proses pelatihan.
13
2. Ketiga metode tersebut mempunyai kelebihan dan kekurangan karena berbeda dalam mengelola basis pengetahuan dan proses defuzifikasi walaupun mempunyai input, starting point, dan stoping rule yang sama. Oleh karena itu, metode tersebut memerlukan kriteria yang diharapkan dapat menjadi acuan pembanding dalam kaitan penaksiran parameter kemampuan peserta tes secara unik yang tidak dipenuhi oleh P&P. Misalnya, jumlah butir soal direspon peserta tes sampai penaksiran kemampuan konvergen (panjang tes), tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu respon butir soal.
3. Model CAT memerlukan syarat unidimensi agar pengukuran kemampuan peserta tes tidak dipengaruhi oleh dimensi lain. Oleh karena itu diperlukan suatu tes yang mempunyai daya beda sama dimana tidak adanya gejala bias (differential item functioning non_uniform) dan tidak multidimensi. Tes demikian lebih dipenuhi oleh model Rasch. Lebih lanjut, model Rasch merupakan model pengukuran bukan model statistik dimana model tersebut lebih mendekati model pengukuran skala Gutman yang menekankan pada syarat unidimensi suatu tes. Oleh karena itu, berdasarkan karakteristik tersebut model Rasch lebih memenuhi syarat dalam pengembangan model CAT.
4. Model CAT di beberapa negara hanya memberikan data kepada user. Hal tersebut membuat user bersifat pasif terhadap data sehingga kurang adaptif terhadap kebutuhan user yang lebih spesifik sesuai dengan preferensinya. DSS merupakan sistem informasi berbasis komputer dimana memberikan informasi kepada user sesuai dengan preferensinya. Pimpinan mengelola data hasil ujian tiap peserta tes berupa pembobotan skl, domain, dan kriteria penilaian kemudian menetapkan kriteria kelulusan dalam suatu ujian untuk menghasilkan informasi laporan
14
kelulusan. Laporan tersebut dapat diakses oleh peserta tes, wali peserta tes, dan pengajar. Hal tersebut dapat dilakukan jika DSS diterapkan dalam model CAT.
D. Rumusan Masalah
Berdasarkan identifikasi dan pembatasan masalah yang telah dijelaskan maka rumusan masalah penelitian sebagai berikut.
1. Bagaimanakah karakteristik model CAT dengan metode Futsuhilow, Fusuhilow, dan Fumahilow berdasarkan model Rasch untuk menghasilkan kemampuan peserta tes, panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu respon butir soal?
2. Bagaimanakah prosedur penerapan DSS dalam model CAT untuk menghasilkan laporan kelulusan?
E. Tujuan Penelitian
Tujuan penelitian ini adalah untuk mengetahui hal-hal sebagai berikut. (1) Menemukan model CAT dengan metode Futsuhilow, Fusuhilow, dan Fumahilow berdasarkan model Rasch. (2) Menerapkan model CAT untuk menghasilkan kemampuan peserta tes, panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu respon butir soal. (3) Menemukan prosedur penerapan DSS dalam model CAT. (4) Menerapkan DSS dalam model CAT untuk menghasilkan laporan kelulusan peserta tes.
F. Spesifikasi Produk yang Dikembangkan
Model CAT dikembangkan dengan Futsuhilow, Fusuhilow, dan Fumahilow. Model tersebut menggunakan model pengukuran Rasch dalam menghasilkan
15
kemampuan peserta tes, panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu respon butir soal. Selanjutnya, DSS sebagai sistem cerdas mengolah data kemampuan peserta tes dan referensi user berupa pembobotan dan penetapan kriteria dalam menghasilkan informasi laporan kelulusan. Oleh karena itu, produk yang dihasilkan disebut CerdasCAT dengan spesifikasi sebagai berikut. 1. Butir soal diadaptasikan terhadap kemampuan peserta tes dengan metode
Futsuhilow, Fusuhilow, dan Fumahilow.
2. CerdasCAT menggunakan model pengukuran Rasch dimana daya beda tidak diperhatikan dan peluang tebakan ditetapkan nol.
3. CerdasCAT menghasilkan keluaran tingkat kemampuan peserta tes, panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu respon.butir soal.
4. Semesta pembicaraan variabel fuzzy tingkat kesukaran butir soal sama dengan semesta pembicaraan variabel fuzzy tingkat kemampuan peserta tes yakni [-4,4]. 5. Variabel fuzzy tingkat kesukaran butir soal dibagi menjadi lima himpunan fuzzy
yakni himpuan fuzzy sangat tinggi dengan domain [2,4], himpunan fuzzy tinggi dengan domain [0,4], himpunan fuzzy sedang dengan domain [-2,2], himpunan fuzzy rendah dengan domain [-4,0], himpunan fuzzy sangat rendah dengan domain [-4,-2]. Himpunan fuzzy variabel tingkat kemampuan peserta tes sama dengan himpunan fuzzy variabel tingkat kesukaran butir soal.
6. CerdasCAT menghasilkan keluaran data kemampuan peserta tes. Pengolahan data menggunakan DSS dengan tahapan pembobotan SKL, pembobotan domain, dan pembobotan kriteria penilaian sehingga menghasilkan informasi laporan kelulusan sesuai preferensi user dalam batasan kuota maksimum dan skor minimum.
16
7. Pemrograman CerdasCAT menggunakan program java sehingga produk tersebut dapat berbasis web, client server, atau localhost selanjutnya sistem pengamanan lebih tinggi serta fleksibel antar sistem operasi dan browser.
8. Ada lima aktor yang terlibat dalam CerdasCAT yakni administrator, peserta tes, pimpinan, wali peserta tes, dan pengajar. Kelima aktor tersebut mempunyai peran yang berbeda terhadap sistem.
9. Modul panduan CerdasCAT merupakan buku petunjuk berisi spesifikasi kemampuan komputer, penginstalan, dan pengoperasian.
10.Keluaran CerdasCAT berupa hasil ujian dan laporan kelulusan dapat dibaca dan dicetak oleh user.
11.Peserta tes telah mengikuti ujian domain matematika pada produk CerdasCAT sedangkan domain lain tidak dilakukan karena data respon butir soal tidak cukup tersedia di lapangan.
12.CerdasCAT membutuhkan spesifikasi minimal perangkat keras dan lunak komputer. Perangkat keras yang dibutuhkan, yakni: microprosesor berupa intel pentium III, kecepatan clock sebesar 1,2 GHz, RAM sebesar 1 gigabyte, hardisk sebesar 50 gigabyte, tipe layar berupa tube atau flat screen, dan sistem warna berupa color RGB 24 bit. Perangkat lunak yang dibutuhkan, yakni: semua sistem operasi, semua browser, database mysql in XAMPP, program server dan client berupa JRE 1.6 dan JavaScript, platform dan desktop, client server atau web, java web server berupa tomcat apache, web server berupa XAMPP, dan MySQL GUI Tools berupa MySQL GUI Tools 5.0.
17
Model CAT dengan metode Futsuhilow, Fusuhilow, dan Fumahilow berdasarkan model pengukuran Rasch menghasilkan kemampuan peserta tes, panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu respon butir soal. Selanjutnya, DSS dalam CAT dapat menghasilkan informasi laporan kelulusan peserta tes. Oleh karena itu, penelitian ini mempunyai beberapa manfaat teoritis dan praktik. Manfaat teoritis model CAT yaitu: 1) temuan hasil penelitian dapat menambah ragam konsep model CAT terutama pada model pengukuran Rasch sehingga menghasilkan kemampuan peserta tes, panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu respon butir soal, serta informasi laporan kelulusan peserta tes; 2) menjadi referensi dalam melakukan penelitian pengembangan selanjutnya; dan 3) menjadi sumbangan pemikiran dalam melakukan simulasi perbandingan metode pemilihan butir soal.
Manfaat praktik model CAT yaitu: 1) pelaksanaan pengujian lebih sederhana dan lebih terjamin keamanan dengan tingkat kebocoran butir soal dapat diperkecil jika database dirancang secara maksimal sesuai dengan kondisi setempat; 2) dapat lebih menghemat tenaga dan dana dalam melaksanakan ujian sekolah, daerah, dan nasional jika perangkat keras dan perangkat lunak jaringan komputer telah tersedia; 3) ujian dilaksanakan lebih efisien dan efektif serta informasi yang diperoleh user lebih relevan, akurat, dan cepat; 4) produk CAT dikembangkan berbasis web namun produk tersebut dapat berbasis client server dan desktop sehingga dapat digunakan pada sekolah yang belum tersedia jaringan internet; 5) penambahan DSS pada CAT membuat user lebih aktif mencari dan menerima informasi sesuai dengan preferensinya dalam menghasilkan informasi laporan kelulusan peserta tes; dan 6) produk CAT dapat digunakan dalam ujian lisensi atau sertifikasi masuk perusahaan atau instansi dengan menambah domain pengujian sesuai dengan materi ujian.
18
H. Asumsi dan Keterbatasan Pengembangan Produk
1. Kemampuan setiap peserta tes unik sehingga setiap peserta tes merespon tes yang unik secara adaptif dengan metode Futsuhilow, Fusuhilow, dan Fumahilow. 2. Pengajar meng_input soal bentuk image dalam bank soal model CAT sedangkan
soal dalam bentuk teks belum tersedia.
3. Model CAT menggunakan model pengukuran Rasch dimana daya beda butir soal ditetapkan sama, dan peluang tebakan butir soal ditetapkan nol serta D = 1. 4. Butir soal yang tidak memenuhi model direvisi secara kualitatif. Butir soal yang
telah direvisi tersebut, nilai karakteristiknya diasumsikan tidak berubah secara signifikan.
5. Semesta pembicaraan variabel fuzzy tingkat kesukaran butir soal dan variabel fuzzy tingkat kemampuan peserta tes dibatasi dalam rentang [-4,4].
6. Variabel fuzzy tingkat kesukaran butir soal dan tingkat kemampuan peserta tes dibatasi dalam lima himpunan fuzzy yakni sangat tinggi, tinggi, sedang, rendah, dan sangat rendah.
7. Inisialisasi kemampuan peserta tes menggunakan tiga butir soal.
8. Butir soal menggunakan media tambahan seperti audio, video, games, atau animasi misalnya soal tes percakapan dalam bahasa Inggris belum tersedia dalam model CAT.
20
BAB II
KAJIAN PUSTAKA
A. Kajian Butir Soal
Analisis butir soal terbagi dua yakni kualitatif dan kuantitatif. Analisis kualitatif (teoritik) mencakup isi (konten), bahasa, dan konstruksi. Cakupan tiap analisis butir soal secara kualitatif tersebut memerlukan keahlian spesifik, yaitu penelaahan isi (materi) membutuhkan keahlian bidang studi, penelaahan bahasa membutuhkan keahlian bahasa, dan penelaahan konstruksi membutuhkan keahlian psikometri. Spesifikasi keahlian tersebut akan lebih bermakna bila ada pengalaman dalam menganalisis butir soal. Kemampuan tersebut dibutuhkan dalam pengembangan butir soal yaitu jika terdapat butir soal yang tidak memenuhi model maka butir soal tersebut ditelaah lebih lanjut untuk direvisi atau dibuang termasuk butir soal pilihan ganda. Butir soal bentuk pilihan ganda terdiri atas stem dan option dimana option terdiri atas key dan distractors memerlukan kaidah-kaidah penelaahan dari segi materi, konstruksi, dan bahasa (Puspendik, 2007). Kaidah penelaahan butir soal pilihan ganda yang terdiri atas materi, konstruksi, dan bahasa pada Tabel 1.
Analisis kuantitatif mencakup penelaahan lanjutan dari analisis kualitatif (empiris). Analisis kuantitatif dapat dilakukan secara manual atau komputer. Misalnya, analisis kuantitatif menghitung validitas konstruk dengan analisis faktor, reliabilitas tes dengan analisis alpha, atau karakteristik butir soal berupa daya beda, tingkat kesukaran, dan peluang tebakan dengan program excel. Untuk data respon butir soal yang berskala besar lebih mudah menggunakan program komputer. Misalnya, jumlah data respon sebesar 500 atau lebih dapat menggunakan program Bilog-MG.
21
Tabel 1.
Kaidah Penelahaan Butir Soal Tes Pilihan Ganda 1 Materi
a. Butir soal harus sesuai dengan indikator. b. Pilihan jawaban harus homogen.
c. Logis ditinjau dari segi materi.
d. Setiap butir soal harus mempunyai satu jawaban yang benar atau yang paling benar.
2 Konstruksi
e. Pokok butir soal harus dirumuskan secara jelas dan tegas.
f. Rumusan pokok butir soal dan pilihan jawaban harus merupakan pernyataan yang diperlukan saja.
g. Pokok butir soal jangan memberi petunjuk ke arah jawaban benar.
h. Pokok butir soal jangan mengandung pernyataan yang bersifat negatif ganda.
i. Panjang rumusan pilihan jawaban harus relatif sama.
j. Pilihan jawaban jangan mengandung pernyataan, "Semua pilihan jawaban di atas salah", atau "Semua pilihan jawaban di atas benar". Pilihan jawaban yang berbentuk angka atau waktu harus disusun berdasarkan urutan besar kecilnya nilai angka tersebut, atau kronologisnya.
k. Gambar, grafik, tabel, diagram, dan sejenisnya yang terdapat pada butir soal harus jelas dan berfungsi.
l. Butir soal jangan bergantung pada jawaban butir soal sebelumnya. 3 Bahasa
m. Setiap butir soal harus menggunakan bahasa yang sesuai dengan kaidah bahasa Indonesia.
n. Jangan menggunakan bahasa yang berlaku setempat, jika butir soal akan digunakan untuk daerah lain atau nasional.
o. Setiap butir soal harus menggunakan bahasa yang komunikatif.
p. Pilihan jawaban jangan mengulang kata atau frase yang bukan merupakan satu kesatuan pengertian.
Sumber: Pusat Penilaian Pendidikan, 2007.
Jika analisis kualitatif sudah dilakukan sesuai dengan kaidah Tabel 1 maka diharapkan analisis kuantitatif menghasilkan karakteristik butir soal dan tes yang memenuhi kriteria sebagai tes yang baik. Data statistik berupa karakteristik butir soal tersebut merupakan informasi atau menjadi pertimbangan memasukkan butir soal tersebut di bank soal walaupun bukan syarat mutlak. Menurut Sumadi Suryabata (1987) data statistik tersebut bukan semata-mata menjadi rujukan butir soal untuk
22
dibuang atau diganti namun perlu diperhatikan dari segi lain, misalnya validitas konten. Oleh karena itu, karakteristik butir soal yang tidak memenuhi data statistik, misalnya tidak memenuhi model dianalisis secara kualitatif atau ditelaah pola jawaban peserta tes yang merespon butir tersebut.
1. Teori Tes Klasik
Untuk mengetahui kemampuan peserta tes dan karakteristik butir soal atau tes dapat menggunakan pendekatan Teori Tes Klasik (TTK), Modern Test Theory (MTT), dan Cognitive Diagnostics Model (CDM). Setiap pendekatan tersebut mempunyai asumsi tidak sama sehingga pengaplikasiannya juga tidak sama.
Ada beberapa asumsi melandasi TTK. Pertama, skor amatan (X) tidak pernah sama dengan skor sebenarnya (T) karena selalu ada kesalahan pengukuran (E) yang dirumuskan X T E. Kedua, jika tes dilakukan secara berulang pada peserta tes yang sama dan independen maka nilai harapan skor amatan akan mendekati skor sebenarnya, yakni (X)T. Ketiga, skor sebenarnya dan galat pengukuran tidak pernah berkorelasi, yakni TE 0. Keempat, jika dua tes mengukur hal yang sama, maka galat baku pengukuran kedua tes tersebut tidak berkorelasi, yakni E1E20. Kelima, jika dua tes direspon oleh dua kelompok yang sama, maka skor sebenarnya tes pertama tidak berkorelasi dengan galat baku pengukuran tes kedua, yakni T1E20.
Berdasarkan asumsi tersebut didefinisikan sebagai berikut. (1) Jika dua tes mempunyai skor amatan X dan X’. Selanjutnya memenuhi asumsi 1 sampai 5 dan jika tiap populasi peserta tes memenuhi T T' dan 2E2E'maka kedua tes tersebut paralel. (2) Jika dua tes mempunyai skor amatan X1 dan X2. Selanjutnya, memenuhi
23
asumsi 1 sampai 5 dan memenuhi T1T2C12untuk C12 adalah konstan, maka kedua tes ekuivalen (Allen& Yen, 1979: 57) dan Feldt & Brennan (1989: 108-110). (3). Jika dua tes mempunyai skor amatan Xt dan Xt’ dan memenuhi asumsi 1 dan 5. Selanjutnya, memenuhi X B12X'C12 untuk B12 dan C12 konstan dan tidak sama dengan nol maka kedua tes tersebut konjenerik (Feldt & Brennan dalam Linn, 1989: 110).
Menurut Hambleton & Swaminathan (1985: 2-3), asumsi TTK memiliki beberapa kelemahan mengenai informasi keadaan tes dan peserta tes sebagai berikut.
(1) Statistik butir tes bergantung pada karakteristik subjek yang di tes. (2) Penaksiran kemampuan peserta tes bergantung pada butir tes ujian. (3) Galat baku penaksiran skor berlaku untuk semua peserta tes sehingga galat baku pengukuran tiap peserta tes tidak ada. (4) Informasi terbatas menjawab benar atau salah saja namun tidak memperhatikan pola jawaban peserta tes. (5) Asumsi tes paralel susah dipenuhi.
Ciri butir pada TTK, yang dikenal dengan parameter bergantung pada kelompok uji, jika kelompok uji berbeda, maka ciri butir soal juga beda, artinya ciri butir soal bergantung pada kelompok uji sehingga skor yang merupakan cermin kemampuan peserta tes yang didapat juga bergantung pada kelompok butir.
Berdasarkan asumsi dan ciri TTK tersebut maka para ahli psikometri mencari model alternatif. Hambleton et al. (1991) dan Hulin et al. (1983) mengemukakan bahwa model MTT memiliki ciri yakni sekali parameter butir terkalibrasi maka parameter tersebut invarian, artinya ciri butir tidak berubah sekalipun dilakukan pada kelompok uji lain, begitu juga kemampuan peserta tes tetap sekalipun mengerjakan butir yang beda dengan asumsi bahwa distribusi kemampuan kelompok setara sehingga skor yang merupakan cermin kemampuan peserta tes tidak bergantung pada kelompok butir. Walaupun TTK dan MTT berbeda asumsi, namun dalam satu software kadangkala kedua pendekatan tersebut saling melengkapi.
