COMPUTERIZED ADAPTIVE TESTING
(CAT)
SALAH SATU ALTERNATIF PENGGANTI
PAPER BASED TEST
(PBT)
Handaru Catu Bagus
Peneliti Pertama di Puspendik Balitbang Kemdikbud Email: [email protected]
ABSTRAK
Selama ini, model penilaian pendidikan yang sering digunakan adalah Paper Based Test (PBT). Pada model penilaian PBT digunakan desain tes yang sama untuk setiap peserta didik dengan usia atau jenjang pendidikan yang sama. Praktek tersebut berdasar pada asumsi bahwa peserta didik dengan usia atau jenjang pendidikan yang sama mempunyai kemampuan yang sama. Namun dalam kenyataannya terdapat variasi kemampuan yang signifikan antara setiap penempuh tes, Hal ini mengakibatkan penempuh tes dengan kemampuan tinggi kemungkinan akan mendapat beberapa soal mudah, dimana mereka memiliki kemungkinan kecil untuk menjawab salah. Dengan demikian, soal tes seperti itu tidak memberikan informasi kemampuan penempuh tes. Sebaliknya, penempuh tes dengan kemampuan rendah kemungkinan akan mendapatkan beberapa soal yang terlalu sulit. Dengan demikian, jawaban salah memberikan sedikit informasi mengenai kemampuan mereka.
Untuk mengatasi kelemahan pengukuran yang mengabaikan variasi kemampuan penempuh tes adalah dengan menggunakan model tes adaptif. Model tes adaptif menurut Wainer (1990) adalah tes dimana individu yang memiliki kemampuan tinggi akan mendapatkan soal yang berbeda dengan individu yang memiliki kemampuan lebih rendah. Oleh karena itu soal yang akan muncul pada setiap tes akan disesuaikan dengan kamampuan
individu penempuh tesnya, sedangkan komputer adalah media untuk membantu pemilihan soal pertama hingga terakhir dan menghitung skor penempuh tesnya. Hal tersebut yang mendasari pentingnya model alternatif pengganti PBT yaitu dengan model CAT yang aplikasinya memanfaatkan pendekatan model Soal Response Theory (IRT) .
Terdapat dua pembahasan dalam tulisan ini adalah pertama, tahap dalam penerapan CAT diantaranya menjelaskan tahap memulai dengan perkiraan estimasi kemampuan peserta, memilih dan menampilkan soal pertama, evaluasi Respons terhadap soal-soal, memperbaiki estimasi kemampuan peserta, memilih soal berikutnya, aturan pemberhentian tes, Soal Exposure Control, Content Balancing dan Setting Time periode per soal. Kedua, dibahas tentang persyaratan yang penting dalam penerapan CAT yaitu infrastruktur hardware dan software, melakukan sosialisasi dan edukasi ke pemangku kepentingan baik daerah maupun pusat terhadap model CAT, pengembangan bank soal terkalibrasi, dan pengembangan sumber daya manusia (SDM)
Kata Kunci : Computerized Adaptive Testing (CAT), Paper Base Test (PBT), Soal Response Theory (IRT),
PENDAHULUAN
Latar Belakang
Selama ini, praktek penilaian pendidikan di sekolah-sekolah digunakan Paper Based Test (PBT). Pada model penilaian tersebut digunakan desain tes yang sama untuk setiap penempuh tes dengan usia atau jenjang pendidikan yang sama. Praktek tersebut didasarkan pada asumsi bahwa penempuh tes dengan usia atau jenjang pendidikan yang sama mempunyai kemampuan yang sama. Namun dalam kenyataannya terdapat variasi kemampuan yang signifikan antar setiap penempuh tes.
Padahal model penilaian yang mengabaikan variasi kemampuan indvidu akan mengakibatkan lemahnya hasil penilaian dan informasi yang diberikan menjadi tidak optimal. Sebagai contoh, tes yang soal-soalnya dikategorikan sebagai mudah dan diberikan kepada sekelompok siswa yang memiliki kemampuan tinggi akan memberikan informasi yang kurang berarti, karena hampir dapat dipastikan bahwa
semua siswa akan menjawab benar pada soal tes. Sebaliknya, bila tes yang sosl-soalnya dikategorikan sulit dan diberikan kepada sekelompok siswa akan yang memiliki kemampuan rendah maka kemungkinan semua siswa memperoleh skor 0 atau minimal.
Sebagian besar alat tes yang menggunakan PBT mengabaikan variasi kemampuan individu dan dianggap tidak efisien. Hal ini karena banyak soal yang tidak mampu memberikan informasi yang berguna untuk membedakan penempuh tes dalam rentang kemampuan tertentu. Penempuh tes dengan kemampuan tinggi yang mendapat beberapa soal mudah akan memiliki kemungkinan kecil untuk menjawab salah. Dengan demikian, soal tes seperti itu tidak menyediakan informasi mengenai kemampuan mereka. Sebaliknya, penempuh tes dengan kemampuan yang rendah dan mendapatkan beberapa soal yang sangat sulit. Dengan kondisi demikian maka jawaban salah akan memberikan sedikit informasi mengenai kemampuan mereka.
Selain itu ujian menggunakan PBT mengandung resiko kecurangan antara penempuh tes dan kebocoran naskah soal. Hal ini karena PBT menggunaan desain tes yang sama untuk jenjang yang sama. Apabila distribusi soal ke penempuh tes melibatkan banyak pihak, maka soal tersebut sangat rawan kecurangan dan kebocoran. Oleh karena itu hasil tes akan menjadi tidak objektif dan informasinya menjadi sulit dipercaya.
Untuk mengatasi kelemahan pengukuran di atas maka diajukan alternatif model tes adaptif. Model tes adaptif menurut Wainer (1990) adalah tes dimana individu yang memiliki kemampuan tinggi akan mendapatkan soal yang berbeda dengan individu yang memiliki kemampun lebih rendah. Soal yang akan muncul pada suatu tes akan disesuaikan dengan kamampuan individu penempuh tesnya. Model tes adaptif menggunakan pendekatan soal response theory (IRT). Menurut Hambleton, dkk (1999) IRT berorientasi pada soal tes, tidak seperti pendekatan klasikal yang berorientasi pada tes sehingga performa seseorang atau
sekelompok orang dalam sebuah soal dapat ditentukan.
Dalam perkembangannya, penerapan model tes adaptif dengan pendekatan IRT mulai digunakan dengan bantuan media komputer. CAT dengan pendekatan IRT memungkinkan kemampuan individu dan kemampuan soal dinyatakan dalam skala yang sama. Dengan model ini komputer digunakan untuk menampilkan soal yang sesuai dengan kemampuan penempuh tes. Pemanfaatan komputer seperti ini disebut sebagai Computerized Adaptive Testing (CAT).
Dari penjelasan di atas, diketahui bahwa pengukuran kemampuan individu dengan menggunakan CAT dan pendekatan IRT memiliki kelebihan dibandingkan PBT yang mengabaikan variasi kemampuan individu penempuh tesnya. Selain itu juga dengan penggunaan media komputer, mengakibatkan tidak ada tahap percetakan naskah soal, soal dapat di distribusikan ke setiap komputer individu penempuh tes sebagai user. Dengan demikian, CAT berbasis IRT biasanya berisi lebih sedikit soal dibandingkan pengukuran PBT yang
konvensional (Embretson & Reise, 2000), dan dengan bantuan media komputer hasil tes akan jauh lebih objektif.
Rumusan Masalah
Rumusan masaah dalam tulisan ini adalah :
1. Bagaimana prosedur CAT yang baku yang dapat menghasilkan skor sesuai dengan kemampuan individu dari penempuh tes? 2. Bagaimana persiapan dan persyaratan
yang diperlukan agar aplikasi CAT dapat terlaksana?
Tujuan
Berdasarkan rumusan masalah, tulisan ini bertujuan untuk :
1. Menentukan prosedur CAT yang dapat menghasilkan skor sesuai dengan kemampuan individu dari penempuh tes. 2. Menentukan persiapan dan persyaratan
yang diperlukan agar aplikasi CAT dapat terlaksana.
Manfaat
Manfaat tulisan ini adalah untuk 1) menyediakan informasi bagi pengambil kebijakan di Kementerian Pendidikan dan Kebudayaan tenteng alternatif model penilaian pendidikan pengganti ujian akhir yang lebih objektif untuk penempuh tes, dan 2) memberikan solusi yang efektif bagi pemerintah untuk mengatasi permasalahan Ujian akhir berbasiskan PBT.
KAJIAN LITERATUR
Computerized Adaptive Testing (CAT) dengan Pendekatan IRT
Computerized Adaptive Testing merupakan generasi kedua dari penggunaan komputer untuk pengetesan (Bunderson dkk, 1989). Salah satu aplikasi dari pendekatan IRT adalah penggunaan CAT. Makna Adaptif pada tulisan ini memiliki pengertian bahwa soal yang diberikan sesuai dengan kemampuan setiap penempuh tes, sehingga setiap individu akan mendapatkan seperangkat soal yang berbeda. Leung dkk (2005) mengatakan bahwa dalam CAT seorang penempuh tes
diberikan soal yang dipilih berdasarkan kemampuannya yang diperkirakan (θ). Berhubung setiap individu mendapatkan seperangkat soal yang sesuai dengan kemampuannya, maka CAT termasuk dalam tailored-testing.
CAT dalam penerapannya menggunakan pendekatan IRT. Apabila kemampuan awal individu telah diketahui, maka soal-soal pada tes disesuaikan dengan kemampuan individu tersebut. Misalnya, untuk mengetes anak berbakat, maka soal-soal tesnya adalah soal-soal dengan kesukaran tinggi. Soal-soal tersebut digunakan untuk memperkirakan kemampuan individu. Dengan kata lain, jumlah soal tes yang diberikan tidak perlu banyak. Hal ini menyebabkan waktu pengetesan akan lebih singkat dibandingkan dengan pendekatan klasik yang harus memberikan seluruh soal tes. Selain itu, measurement error akan lebih kecil karena setiap individu hanya mendapatkan soal yang sesuai dengan kemampuannya.
Penerapan CAT tidak hanya sekedar memindahkan soal ke dalam komputer,
tetapi memberikan soal sesuai dengan kemampuan penempuh tes. Penyebutan adaptif ini karena komputer digunakan untuk mengatur soal yang akan diberikan selanjutnya kepada penempuh tes terkait dengan jawaban pada soal sebelumnya. Selain individu dapat mengerjakan soal pada CAT sesuai dengan kemampuannya, Wainer (1990) mengemukakan beberapa keunggulan lain dari CAT, seperti tes lebih aman karena tersimpan dalam komputer, setiap peserta tes mendapatkan butir soal yang berbeda, tidak diperlukan lembar jawaban, serta tes dapat diskor dengan segera.
Berbeda dengan pendekatan klasik atau konvensional dimana soal harus disusun berdasarkan derajat kesukaran, dalam pendekatan IRT urutan soal menjadi tidak relevan (Wainer & Mislevy, 1990). CAT menggunakan pendekatan IRT untuk menciptakan sebuah algoritma dimana setiap penempuh tes mendapatkan sebuah tes yang merupakan pengukuran yang terbaik terhadap individu tersebut (Embretson & Reise, 2000). Apabila penempuh tes tidak dapat menjawab benar pada soal yang
diberikan, maka komputer akan memberikan soal yang lebih mudah. Sebaliknya, apabila penempuh tes dapat menjawab benar, soal yang diberikan selanjutnya adalah soal yang lebih sulit. Olsen (dalam Bunderson dkk,
1989) mencatat pada sebuah tes prestasi belajar hanya dibutuhkan 30% hingga 50% dari keseluruhan soal tes untuk mencapai tingkat presisi yang sama dengan PBT
Perbandingan CAT dengan PBT
Paper Based Test (PBT) Computerized Adaptive Testing (CAT)
Desain tes yang sama untuk beberapa penempuh tes Informasi tidak optimal
Setiap Peserta tes memperoleh soal – soal yang disesuaikan dengan tingkat kemampuan penempuh informasi Optimal
Waktu pengerjaan tes dan jumlah soal sudah ditentukan dan perlu waktu pengolahan untuk memperoleh nilai
Tes akan berhenti apabila estimasi kemampuannya sudah tercapai sehingga waktu lebih efisien dan lebih efektif dan soal – soal yang muncul sesuai dengan kemampuan penempuh tes. Hasil tes dapat langsung diketahui.
Tingkat kebocoran soal yang tinggi Tingkat kebocoran soal dapat di perkecil sebab keberadaan soal terpusat
Investasi awal yang lebih ekonomis, namun setiap tahun harus menggandakan soal dan ini membutuhkan biaya yang sama dengan investasi awal
Investasi awal yang mahal untuk pembelian infrastruktur dan jaringan di sekolah, namun setiap tahun tidak terbebani dengan biaya penggandaan soal, hanya biaya perawatan infrastruktur dan jaringan di sekolah
Waktu pelaksanaan yang tidak flexible karena kendala pendistribusian bahan tes ke seluruh Indonesia
Waktu pelaksanaan yang flexibel tergantung kesiapan sekolah dalam menyelenggarakan tes khususnya masalah kesiapan infrastruktur dan jaringan di sekolah Sumber: Handaru (2011)
Gambar di bawah diberikan bagan proses CAT yang dikemukakan oleh Wainer (1990)
PEMBAHASAN
Tahapan Penerapan CAT
Tahapan CAT merupakan kerangka kerja dari proses aplikasi program CAT. Berikut ini adalah tahapan CAT.
1. Mulai dengan perkiraan estimasi kemampuan penempuh tes
Perkiraan estimasi kemampuan penempuh tes dapat dilakukan apabila penempuh tes sudah pernah mengikuti tes. Penentuan atau memilihan soal awal didasarkan pada kemampuan penempuh tes pada tes sebelumnya. Sementara penempuh tes yang belum pernah mengikuti tes, belum bisa ditentukan perkiraan estimasi kemampuan pesertanya.
2. Memilih dan menampilkan soal pertama Terdapat tiga metode dalam memilih dan menampilkan soal pertama, yaitu: (1) apabila penempuh tes belum pernah mengikuti tes atau belum memiliki data kemampuan atau ability maka soal pertama yang diberikan atau ditampilkan adalah soal dengan tingkat kesukaran menengah atau
sedang yaitu antara -0.5 sampai 0.5, (2) soal pertama yang dipilih dan ditampilkan dengan menggunakan mean dari kemampuan peserta (θ) populasi, dan (3) soal pertama dapat dipilih dan ditampilkan cara menggunakan data kemampuan penempuh tes (θ) terakhir, soal pertama tersebut sama dengan kemampuan penempuh tes.
3. Evaluasi Respon terhadap Soal
Metode evaluasi respon terhadap soal digunakan metode Maximum Likehood (ML) dengan mencari θ. Terdapat 2 metode dalam evaluasi respon terhadap soal yaitu 1) Maksimum θ dimana memaksimumkan kemungkinan pola respon soal setiap individu. Apabila respon soal pertama benar maka estimasi kemampuan peserta (θ) adalah 3 dan apabila respon soal pertama salah maka estimasi kemampuan peserta (θ) adalah -3. 2) Step Sizing dimana penentuan θ peserta berdasarkan respon penempuh tes. Apabila respon soal pertama benar maka estimasi kemampuan peserta (θ) adalah penjumlahan dari indek tingkat kesukaran soal tersebut dengan nilai sizing yang
ditentukan oleh admin tes, dan apabila respons soal pertamanya salah maka estimasi kemampuan peserta (θ) adalah pengurangan dari nilai tingkat kesukaran soal tersebut dengan nilai sizing yang ditentukan oleh admin tes. Langkah ini diaplikasikan hingga pola respon penempuh tes menjadi heterogen.
4. Memperbaiki estimasi kemampuan penempuh tes
Estimasi kemampuan penempuh tes dapat diperbaiki dan dihitung setelah soal kedua dan seterusnya namun juga dapat dihitung dan diperbaiki apabila respon kedua dan seterusnya terjadi dengan pola soal 1 dengan respon salah dan soal 2 respon benar, atau soal 1 dengan respon benar dan soal 2 dengan respon salah. Apabila pola respon adalah soal 1 respon benar dan soal 2 dengan respon benar atau sebaliknya maka maximum likelihood belum bisa menghitung estimasi kemampuan penempuh tes.
5. Memilih soal berikutnya
Untuk memilih soal berikutnya digunakan metode maximum information informasi maksimum untuk estimasi θ berdasar dari respon sebelumnya. Metode maximum information memberikan penurunan SEM yang cepat, sehingga CAT menjadi efisien. Umumnya soal berikutnya itu sesuai atau sama dengan estimasi θ kemampuan penempuh tes yang sudah diperbaiki. Umumnya apabila respon sebelumnya benar maka soal berikutnya akan lebih sulit dari sebelumnya dan sebaliknya apabila respon sebelumnya itu salah maka soal berikutnya akan lebih mudah dari soal sebelumnya.
6. Aturan Pemberhentian tes
Aturan pemberhentian yang digunakan adalah variable length dengan Standard Error (SE) ≤ 0,4 untuk mencapai efektivitas. Hal ini karena bila SE ≤ 0,4 maka SE dari estimasi θ hanya berbeda sebesar 0,03 dari estimasi sebelumnya. Jadi jika SE sudah memenuhi syarat maka kemampuan penempuh tes sudah dapat ditentukan dan tes berhenti.
7. Item Exposure Control, Content Balancing dan Setting Time periode per soal
Item exposure control dan content balancing adalah syarat utama CAT. Content balancing pada CAT menuntut setiap penempuh tes harus mengerjakan seluruh aspek (content) di setiap mata pelajaran. Ability (kemampuan) penempuh tes dapat ditentukan bila materi yang dikerjakan sudah lengkap. Penentuan jumlah soal setiap aspek dinamis dan ditentukan oleh administrator tes serta didasarkan pada PBT. Misalnya dalam PBT terdapat 40 soal, yang terdiri atas 10 soal aspek I, 20 soal aspek II dan 10 soal aspek III, Informasi tersebut menjadi dasar CAT dalam menentukan jumlah soal setiap aspek. Untuk aspek I ditentukan sebanyak 25%, aspek II sebanyak 50%, dan aspek III sebanyak 25%. Ketiga aspek tersebut harus dikerjakan terlebih dahulu oleh penempuh, dan apabila SE belum tercapai maka penempuh akan diberikan lagi soal dengan materi dari ke tiga aspek tersebut dengan persentase yang sama, dan seterusnya hingga SE terpenuhi.
Untuk Item exposure control, cara untuk membatasi soal yang sering muncul, apabila sudah melebihi batas yang ditentukan oleh administrator tes maka soal itu tidak boleh lagi untuk ditampilkan. Untuk penentuan batasan jumlah soal, telah disepakati bahwa soal yang memiliki tingkat kesukaran tinggi dapat sering muncul atau batasan jumlahnya tinggi, sementara sebaliknya soal dengan tingkat kesukaran rendah akan dibatasi penampilannya lebih kecil. Penentuan item exposure control bersifat dinamis dan dapat disesuaikan dengan rata – rata kemampuan penempuh tes.
Persiapan dan Persyaratan Dalam Penerapan Aplikasi CAT
Aplikasi CAT dapat diterapkan untuk ujian akhir sebagai alternatif pengganti PBT dengan menyiapkan sistem pusat data yang terpadu dan tersebar di beberapa daerah. Pusat data ini fungsinya untuk mempercepat akses data, selain itu sebagai duplikasi karena pustusnya akses internet di suatu daerah. Selain itu perlu disiapkan infrastruktur
komputer yang relatif banyak termasuk di dalamnya jaringan LAN, WAN maupun internet khususnya masalah kecepatan akses yaitu Band Width (BW) untuk masing – masing daerah. Tipe jaringan yang harus dipakai adalah Virtual Private Network (VPN) karena lebih mudah dalam pengendalian jaringan, lebih mempercepat akses, dan yang paling penting adalah lebih aman security network.
Seluruh sekolah yang telah memiliki infrastruktur baik hardware, maupun jaringan yang dapat mengakses internet, dapat mengaplikasikan CAT. Untuk komputer spesifikasi minimum adalah pentium IV yang memiliki software web aplikasi (contoh: Internet Explorer, Mozilla, Fire Fox, dll)
Setelah infrastruktur dipersiapkan persiapan berikutnya adalah dengan melakukan sosialisasi penggunaan komputer kepada calon pengguna atau penempuh tes. Hal ini agar hasil tes tidak terpengaruh oleh faktor gagap teknologi dari penempuh. Kompetensi minimal yang diharapkan dari penempuh tes adalah dapat mengoperasikan komputer khususnya mouse dan keyboard.
Selain sosialisasi, aplikasi CAT dapat diterapkan untuk ujian yang sesungguhnya dengan memberikan informasi dan edukasi kepada stakeholder pendidikan tentang metode yang digunakan CAT yaitu menggunakan Soal Response Theory (IRT) dalam penentuan prediksi kemampuan penempuh tes atau penghitungan skor. Hal ini memungkinkan hasil CAT dapat langsung dibandingkan, antara peserta yang memang memiliki kemampuan tinggi dengan peserta yang memiliki kemampuan yang rendah, karena menggunakan bank soal yang sudah terkalibrasi.
Hal yang paling penting dalam penerapan aplikasi CAT adalah menyiapkan bank soal terkalibrasi yang tersebar merata dalam seluruh tingkat kesukaran soal (mudah, sedang dan sulit) sehingga seluruh kemampuan penempuh tes dapat terwakili. Selain itu juga, bank soal tersebut memiliki jumlah yang banyak. Menurut keterangan dari Australian Council for Education Research (ACER) jumlah soal yang harus ada dalam Bank soal terkalibrasi sedikitnya adalah
3000 soal yang tersebar merata untuk tingkat kesukaran soalnya.
Persyaratan akhir yang harus disiapkan adalah masalah sumber daya manusia (SDM) yang handal khususnya SDM untuk masalah teknologi ICT dan SDM yang handal dalam bidang psikometri. Hal demikian agar aplikasi CAT tetap dapat dikembangkan sesuai dengan kebutuhan.
Teknologi pendukung tambahan dalam penerapan Aplikasi CAT
Dalam penerapan CAT, teknologi web cam bisa sebagai pendukung. Hal ini untuk mengantisipasi adanya kecurangan dalam pelaksanaan tes. Setiap komputer dilengkapi oleh web kamera dan pengamatan dapat dilakukan di local server (sekolah, Kecamatan, Kabupaten/kota atau propinsi). Dalam penerapan CAT, teknologi Finger Print juga bisa sebagai pendukung, untuk mengantisipasi adanya joki tes. Prosedurnya adalah pada saat mendaftar penempuh harus melakukan scanning jari, dan pada saat memasuki lokasi tes penempuh tersebut harus melakukan scanning jari untuk
memastikan apakah yang bersangkutan terdaftar sebagai penempuh tes. Selain itu, harus tersedia generator set (genset). Hal ini untuk mengantisipasi aliran listrik di sekolah putus yang mengakibatkan tertundanya tes.
SIMPULAN DAN SARAN
Simpulan
Dari hasil kajian literatur menghasilkan dua kesimpulan. Pertama, penerapan aplikasi CAT memiliki tujuh tahapan hingga skor penempuh tes dapat di estimasi, yaitu: mulai dengan perkiraan estimasi kemampuan memilih dan menampilkan soal pertama, evaluasi respon terhadap soal, memperbaiki estimasi kemampuan, memilih soal berikutnya, aturan pemberhentian tes, Soal Exposure Control, Content Balancing dan Setting Time periode per soal.
Kedua, CAT dapat diterapkan untuk ujian sesungguhnya dengan menyiapkan empat persyaratan diantaranya yaitu: Infrastruktur hardware (jaringan dan data center) dan infrastruktur software (aplikasi program CAT), melakukan sosialisasi ke
sekolah dan mengedukasi ke pemangku kepentingan baik daerah maupun pusat tentang model CAT, pengembangan bank soal terkalibrasi yang memiliki jumlah soal memadai dan tersebar merata untuk seluruh tingkat kesukaran soal, dan pengembangan sumber daya manusia (SDM).
Saran
Saran untuk menindaklanjuti hasil tulisan ini ialah:
1. Model CAT sangat penting sebagai alternatif pengganti model PBT untuk ujian akhir sesungguhnya. Oleh karena itu pemerintah dalam hal ini Kementerian Pendidikan dan Kebudayaan perlu memikirkan kebijakan alternatif model penilaian yaitu model CAT.
2. Bagi akademisi diharapkan bersedia melakukan penelitian dan pengembangan lebih lanjut khususnya masalah hasil keakuratan, efektifitas dan efisiensi model CAT dibandingkan dengan PBT agar hasilnya sebagai bahan penunjang dalam sosialisasi dan edukasi kepada seluruh pemangku kepentingan.
PUSTAKA ACUAN
Hambleton, R.K., H. Swaminathan, and H.J.Rogers .(1991). Fundamental of Soal Response Theory. Volume 2. California: Sage Publications, Inc. Leung, C., H.Chang, and K.Hau. (2005).
Computerized Adaptive Testing: A Mixture Soal Selection Approach for Constrained Situations. British Journal of Mathematical & Statistical Psychology, Nov 2005, 58, Proquest Psychology Journals, pp 239.
Embretson, S.E, and S.P.Reise. (2000). Soal Response Theory for Psychologist. New Jersey : Lawrence Erlbaum Associates, Inc.
Wainer, H. (1990). Introduction and History. Dalam H. Wainer, N.J. Dorans, R. Flugher, & B.F. Green. Computerized Adaptive Testing: a Primer. New Jersey: Lawrance Erlbaum Associates, Publishers.
Bagus, H.C. (2011). Laporan Hasil kegiatan Model Adaptif APBN-P 2011, Puspendik.
