LAPORAN
ITEM REVIEW
Direktorat Pembelajaran dan Kemahasiswaan
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
Hotel Mitra Bandung, 21
LAPORAN WORKSHOP NASIONAL
ITEM REVIEW CBT BIDAN DENGAN IBA
GELOMBANG 3
Direktorat Pembelajaran dan Kemahasiswaan
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
Hotel Mitra Bandung, 21 – 22 Oktober 2011
NASIONAL
CBT BIDAN DENGAN IBA
Direktorat Pembelajaran dan Kemahasiswaan
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
22 Oktober 2011
WO
WORKSHOP KOMPONEN 2 – OKTOBER 2011 Page 2
1. Pendahuluan
Upaya peningkatan sistem ujian pada pendidikan tenaga kesehatan khususnya bidan yang menjadi salah satu fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tertulis dengan dukungan teknologi berbasiskan komputer atan disebut juga sebagai computer-based testing (CBT).
Dalam persiapan ujian CBT ini diperlukan soal yang kredibel, melalui satu proses pembuatan soal sesuai dengan kaidah dan standar. Soal yang telah dibuat harus ditelaah apakah memuat kompetensi esensial dalam pekerjaan dan apakah struktur soal terstandar dengan baik.
Menghadapi kegiatan uji coba dengan CBT maka perlu dilakukan review soal dengan program CBT dimana soal tersebut secara langsung dilakukan review pada system aplikasi IBA yang telah di siapkan. Mengingat waktu pelaksanaan uji coba CBT Bidan pada bulan November 201,1,, maka proyek HPEQ berinisiasi untuk kembali mengadakan workshop item review bidan gelombang 3.
2. Tujuan
Tujuan dilaksanakannya workshop nasional item review CBT bidan dengan IBA ini adalah:
1. Meningkatkan kemampuan SDM bidan dalam melakukan review soal untuk menghasilkan soal uji tulis yang berkualitas khususnya review dalam program lBA. 2. 600 soal uji yang ter-review untuk digunakan pada uji nasional
3. Luaran
Luaran yang diharapkan dari workshop ini adalah:
1. Sejumlah item reviewer soal ujian tulis yang berkualitas
2. 600 soal uji yang berhasil direview dan masuk dalam sistem IBA 4. Metode Pelaksanaan Workshop
Workshop nasional item review CBT bidan dengan IBA ini dilaksanakan pada tanggal 21-22 Oktober 2011 di Hotel Mitra, Bandung. Peserta workshop adalah 23 item reviewer yang sebagian telah mengikuti workshop item review nasional sebelumnya, dan juga 8 orang item reviewer baru. Selain itu juga hadir 1 LO profesi, 3 fasilitator reviewer, 2 fasilitator IBA, dan 3 orang narasumber. Berikut daftar peserta yang hadir:
NO NAMA INSTITUSI PESERTA (item reviewer)
1 Suriani Poltekkes Kemenkes Banjarmasin
2 Tut Barkinah Poltekkes Bandung Jur Kebidanan Bandung 3 Ferina Jur Kebidanan Poltekkes Makasar
4 Nur Yaqin STIKES For de Kock Bukittinggi 5 Evi Hasnita Akademi Kebidanan Bandung 6 Marliana Rahma STIKES Mercu Bakti Jaya Padang 7 Devi Syarief STIKES Kharisma Karawang
8 Dewi Purnamawati Prog.Studi Pend. Bidan Poltekkes Bandung 9 Dwi Izzati Prodi Kebidanan Bukittinggi Poltekkes Padang 10 Lisma Evareny Poltekkes Denpasar Jurusan Kebidanan 11 Ni Nyoman Budiani Akademi Kebidanan Bandung
12 Inna Noorinayati Jur Kebidanan Poltekkes Bandung
13 Yulinda Prodi Kebidanan Sutomo Jur Kebidanan Poltekkes Kemenkes Sby
14 Kasiati Poltekkes Jakarta III
15 Herlyssa Jur Kebidanan Poltekkes Kemkes Pontianak 16 Utin Siti Chandra Sari Poltekkes Jakarta III
17 Karningsih STIKES Ahmad Yani
18 R Noucie Septrilyana Poltekkes Jakarta III Prodi Keb.RSCM 19 Ani Kusumastuti STIKES Widya Dharma Husada Tangerang 20 Bayu Irianti Poltekkes Kemenkes Riau Jur Kebidanan 21 Tri Novi Kurnia Wardani Akbid Minasa Upa Makasar
22 Siti Mardiyah Poltekkes Kemenkes Banjarmasin 23 Sri Yum Poltekkes Jambi
LO Profesi
24 Dewi Purwaningsih Jur Kebidanan Bandung Fasilitator Reviewer
25 Tati Rostati Jur Kebidanan Poltekkes Bandung 26 Gita Nirmala Sari Poltekkes Jakarta III
27 Diana Hartati Poltekkes Jakarta III Fasilitator IBA
28 Diana Hartati Poltekkes Jakarta III
29 JM Metha Poltekkes Kemenkes Riau Jur Kebidanan Narasumber
30 Khotibuddin FKIK UMY Yogyakarta 31 Sinta Setiadi Bandung
32 Beny Setioko Bandung
Pada pelaksanaannya, undangan yang dapat hadir pada Item Review bidan ini hanya 32 orang dari 38 orang yang diundang. 23 peserta didampingi oleh 3 orang fasilitator reviewer, 2 fasilitator IBA (1 orang berhalangan hadir), 1 orang Liaison Officer (1 orang berhalangan hadir) yang membantu peserta dalam melakukan proses item review, serta 3 orang narasumber yaitu Bapak Khotibuddin dari KB UKDI dan 2 orang narasumber IT. Adapun Ibu Jumiarni Ilyas sebagai ketua AIPKIND juga berhalangan hadir. Lalu untuk mempermudah proses review soal, para item reviewer dibagi menjadi 7 kelompok yang terdiri dari 3-4 orang.
5. Hasil Kegiatan
Workshop ini diawali dengan pembukaan dari Ibu Tati Rostati sebagai perwakilan dari AIPKIND dan Ibu Dewi Purwaningsih selaku LO Profesi Bidan Komponen 2. Pembukaan berisi penjelasan mengenai kegiatan item review yang akan dilakukan dalam workshop selama dua hari serta mekanisme penggunaan aplikasi IBA secara umum. Ibu Dewi menjelaskan kepada peserta bahwa soal yang akan di-review adalah soal yang bersifat rahasia dan diharapkan semua peserta mau bekerja sama untuk menghapus semua soal di laptopnya masing-masing setelah proses item review selesai.
Ibu Dewi juga menjelaskan bahwa proses me-review soal dilihat dari tiga indikator yaitu dari segi substansi, segi bahasa dan segi struktur soal. Lalu pada akhir proses diberikan keputusan untuk
WO
WORKSHOP KOMPONEN 2 – OKTOBER 2011 Page 4
setiap soal dengan kategori diterima dengan perbaikan, diterima tanpa perbaikan dan ditolak. Menurut KPI kegiatan, target soal yang akan di-review dalam kegiatan ini adalah 600 soal. Untuk pelatihan item review CBT bidan kali ini akan digunakan aplikasi IBA. Pada saat awal pelatihan, setiap peserta diharapkan membawa flashdisk kosong 2 GB untuk dimasukkan file aplikasi IBA. Semua peserta membawa flashdisk yang diminta, namun memang membutuhkan waktu yang cukup lama untuk memasukan data ke 30 flashdisk peserta sehingga masing-masing peserta baru menerima aplikasi itu setelah istirahat sore. Selain itu, karena bagian tinjauan di aplikasi IBA ini masih kurang, sehingga pada hari kedua peserta harus meng-upgrade kembali aplikasi IBA mereka dengan aplikasi yang sudah dibetulkan.
Lambatnya proses peng-kopi-an aplikasi IBA ke flashdisk masing-masing peserta serta masih belum lengkapnya tinjauan soal di aplikasi IBA bidan ini akhirnya membuat review soal dilakukan secara konvensional (dengan kertas) terlebih dahulu. Penyediaan flashdisk oleh proyek HPEQ yang sudah terisi aplikasi IBA dari awal mungkin akan menjadi solusi untuk mempermudah proses pelatihan sehingga peserta tidak perlu lagi menunggu dan langsung mereview dengan aplikasi IBA.
Karena sebagian peserta sudah pernah menjadi reviewer maka setelah pemberian materi oleh narasumber, peserta langsung membagi menjadi 7 kelompok kecil yang terdiri dari 3-4 peserta dengan target masing-masing kelompok sekitar 100 soal.
Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop item review CBT bidan dengan aplikasi IBA secara umum adalah sebagai berikut :
NO KOMPONEN TARGET REALISASI 1. Jumlah soal yang direview dalam workshop 600 232 2. Jumlah soal yang memenuhi kriteria soal yang baik 600 151 3. Jumlah soal yang ditolak - 81 4. Jumlah peserta workshop secara keseluruhan 38 32 5. Jumlah fasilitator (reviewer dan IBA) 6 5
Hasil rekapitulasi output workshop workshop inimasih kurang
jumlah soal yang berhasil di
jumlah soal yang memenuhi kriteria soal yang baik keseluruhannya.
Jumlah institusi yang berkontribus pendidikan yang diundang.
digantikan sehingga jumlah peserta item reviewer tetap 23 orang. datang pada hari kedua, tetapi
6. Refleksi
Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu d evaluasi pelaksanaan workshop
umum. Melalui refleksi ini diharapkan akan teridentifikasi yang kurang optimal dalam
beberapa perspektif tersebut :
0 100 200 300 400 500 600
Jumlah soal yang direview dalam
workshop 600
39%
Jumlah soal yang direview dalam workshop
25%
Jumlah soal yang memenuhi kriteria soal yang baik
output workshop secara umum menyimpulkan bahwa pencapaian target dari target yang ditetapkan. Kesimpulan ini dapat dilihat dari jumlah soal yang berhasil direview, maka pencapaiannya hanya sekitar 38,7% sedangkan untuk jumlah soal yang memenuhi kriteria soal yang baik juga hanya memenuhi 25,2% dari target
Jumlah institusi yang berkontribusi dalam workshop ini sebanyak institusi 21 dari 22 pendidikan yang diundang. Beberapa peserta institusinya tidak dapat hadir
digantikan sehingga jumlah peserta item reviewer tetap 23 orang. Ada 1 peserta yang , tetapi hal ini tidak sampai mengganggu jalannya pelatihan.
Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja kelompok yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan
beberapa perspektif tersebut :
Jumlah soal yang direview dalam
workshop
Jumlah soal yang memenuhi kriteria soal
yang baik 600
232
151
Jumlah soal yang direview dalam workshop
Jumlah soal yang memenuhi kriteria soal yang baik
bahwa pencapaian target ini dapat dilihat dari target aka pencapaiannya hanya sekitar 38,7% sedangkan untuk juga hanya memenuhi 25,2% dari target
i dalam workshop ini sebanyak institusi 21 dari 22 institusi institusinya tidak dapat hadir namun telah Ada 1 peserta yang baru tidak sampai mengganggu jalannya pelatihan.
ilakukan refleksi sebagai bentuk ditinjau dari perspektif peserta, fasilitator, dan tim monev secara dari kinerja kelompok ini. Berikut adalah refleksi pelaksanaan workshop dari
Target Realisasi
WO
WORKSHOP KOMPONEN 2 – OKTOBER 2011 Page 6
Gambaran Umum
• Waktu pelaksanaan workshop selama 2 hari untuk mencapai target item review 600 soal dirasakan masih kurang, sehingga hasil yang dicapai kurang dari 30%.
• Kurangnya buku referensi yang dibawa peserta menjadi salah satu kendala peserta dalam melakukan rujukan jika terdapat perbedaan persepsi.
• Koneksi internet tersedia melalui wi-fi sehingga peserta yang membutuhkan referensi selain dari buku juga bisa membuka situs-situs referensi.
• Proses pemidahan software dari IT ke flashdisk peserta memakan waktu cukup lama sehingga baru bisa digunakan setelah makan malam. Setelah dicoba ada beberapa software dari flasdisk peserta yang tidak bisa digunakan karena kesalahan teknis.
• Setelah dicoba untuk digunakan ternyata software yang ada masih menggunakan blueprint yang lama sehingga proses input dan review soal menjadi kurang efektif.
• Ada 1 peserta yang meninggalkan pelatihan ditengah-tengah acara dan kembali pada hari kedua pada saat acara sudah hampir selesai.
• Soal yang direview banyak yang tidak memenuhi kaidah pembuatan soal sehingga menyulitkan dan menambah waktu untuk me-review
• Beberapa peserta tidak menjawab pertanyaan monev nomor tiga dan nomor lima, karena aplikasi IBA belum siap digunakan sehingga masih menggunakan cara conventional.
Beberapa hal yang perlu ditingkatkan dari pelaksanaan workshop ini adalah :
• Workshop sejenis (item development dan item review) di tingkat institusi/ lokal perlu dilakukan secara regular sehingga akan semakin banyak item writer yang berkualitas yang dapat menghasilkan dan mereview soal-soal yang berkualitas baik.
• Peserta perlu lebih memahami blueprint uji kompetensi, Standar Pendidikan dan Standar Kompetensi Bidan sehingga memiliki persamaan persepsi dalam melakukan review soal. • Sebaiknya flasdisk disiapkan oleh panitia yang sudah terinstall software siap pakai sehingga
software bisa langsung digunakan oleh peserta.
Peserta dan Fasilitator
• Kendala yang dihadapi dalam melakukan item review Bidan Pemahaman teknik membuat soal masih berbeda
Reviewer kurang sepahaman dengan maksud/ presepsi item writer sehingga soal banyak yang perlu diperbaiki.
Pembuat soal belum memahami cara pembuatan soal yang baik.
Beberapa soal tidak memenuhi criteria soal yang baik, sehingga dibutuhkan waktu yang cukup lama dalam menganalisis kelayakan soal.
Soal yang dibuat banyak yang kurang sesuai dengan kasus yang disiapkan begitu juga dengan item jawaban. kurang relevan dengan kasus.
Soal tidak memenuhi standar penulisan soal yang baik dan benar sehingga soal yang harus direview akhirnya direvisi langsung. Hal ini membuat proses review menjadi lambat.
Referensi tidak dicantumkan
Reviewer sering tidak tau / kurang jelas untuk memahami arah soal sebagai alat ukur dan ingin mengukur apa.
Belum hafal langkah kerja.
Tidak ditemukan Kendala yang berarti.
Belum adanya kesepahaman oleh semua pembuat soal mengenai prosedur pembuatan soal yang terstandar sehingga soal-soal yang dievaluasi / review banyak yang sangat tidak sesuai.
Penulisan soal sudah mengikuti blueprint uji kompetensi bidan.
• Strategi pengumpulan soal yang baik dari tiap institusi
Setiap institusi memiliki bank soal yang dapat diakses oleh tim nasional Memiliki tim khusus untuk pembuatan soal
Memerlukan komitment dengan terjadwal -> kedisiplinan Ada item writer -> item review -> item bank sudah OK
Dikoordinir oleh pengumpul soal dari institusi massing-masing kemudian disetorkan ke pengumpul soal regional.
Strateginya harus di koordinir oleh kopertis untuk institusi swasta dan
Di Institusi diberikan blueprint, disusun pelaksana teknis di institusi kemudian di institusi secara berkala diberikan kewjiban membuat minimum pengumpulan soal yang sesuai criteria setelah direview oleh institusi tersebut sebelumnya.
Memastikan soal yang direview adalah soal yang baik.
Latih dulu semua perwakilan institusi untuk item development Sebaiknya ada perwakilan untuk masing-masing wilayah/ regional.
Secara administrasi informasi ke institusi sehingga memacu untuk pengumpulan soal. Setiap pembuat soal dianjurkan membuat soal sesuai tinjauan blueprint
Setiap institusi harus menyiapkan soal yang di kumpul pada seorang IBA.
Sebaiknya soal yang dikirimkan sudah terlebih dahulu direview oleh tim reviewer institusi tapi tidak semua institusi pernah mengikuti pelatihan item development / item reviewer. Tiap institusi secara continue setiap bulan mengirim soal minimal 100 soal via email. Setiap institusi mengirimkan soal via email sesuai dengan bobot blueprint yang
ditentukan.
siapkan personil item reviwer, item bank administrasi ditingkat regional. Dari institusi imput soal regional
Semua dosen diwajibkan membuat soal sesuai dengan kaidah pembuatan soal Soal yang dibuat dosen masuk ke tim soal institusi
Tim institusi meriview soal dosen hasil ke tim regional tim nasional Dari masing-masing dosen matakuliah sudah di collect di bagian evaluasi. Setiap dosen diwajibkan membuat soal yang baik ( item writer)
Membutuhkan item reviewer dengan IBA.
Mensharekan standar procedure pembuatan soal yang baik menentukan dosen pembuat soal tabulasi dengan deadline waktu
WO
WORKSHOP KOMPONEN 2 – OKTOBER 2011 Page 8
Memastikan penulisan soal berdasarkan blueprint terbaru dan sesuai dengan ketentuan soal standar (vingete-lead in-option)
Semua dosen dapat membuat soal yang sesuai blueprint dan direview secara bertahap. • Kendala yang mungkin dihadapi dalam input soal ke aplikasi IBA
Sarana dan prasarana yang tidak memadai (kendala teknis dari IT) Tinjauan belum sesuai dengan yang jelas disepakati
Karena manual, jadi cukup merepotkan Salah input
Lupa langkah-langkahnya, terutama bila lama tidak dibuka/memasukkan data.
Ketelitian, jika ada kerusakan software atau software tidak berfungsi karena harus di update / diperbaiki lagi.
Blueprint masih lama
Membutuhkan tim yang mengimput soal. Membutuhkan ketrampilan/ keahlian khusus. Waktu yang dipergunakan cukup lama. Laptop tidak berespon dengan software.
Belum familiar dengan aplikasi dan perlu waktu yang lama.
Belum menguasai betul tentang aplikasi IBA sehingga perlu latihan yang countinue Software yang kadang bermasalah.
Membutuhkan waktu yang lama Beberapa tinjauan tidak ada.
Jaringan/ software rusak/ kena virus Software belum lengkap.
Software tidak compatible
Tenaga yang mengentry soal jangan dosen tapi adm Procedure yang rumit sehingga susah dihafal.
Tehnologi ini belum match dengan system computer yang ada.
Tinjauan soal dalam software tidak sesuai dengan tujuan soal yang akan di input. Software tidak sesuai dengan program computer yang ada.
Review dari masing-masing dosen secara bertahap.
• Mekanisme koordinasi antara item reviewer dan item bank administrator yang efektif Membentuk jejaring informasi yang mudah di akses (sistem komputerisasi)
Komunikasi berjenjang kembali lagi membutuhkan komitmen dengan melibatkan pimpinan institusi.
Minimal kontak via email / ada up date data setiap ada input data baru
Seharusnya dalam review dan penyimpanan soal dilakukan secara bersama-sama oleh tim reviewer dan administrtor item bank.
Keduanya harus bekerjasama.
Secara berkala reviewer haus memberikan soal yang valid kepada IBA. Soal yang direview dipastikan sesuai kaidah
Reviewer harus terbiasa dulu dengan sistem IBA.
Dilaksanakan disatu tempat dengan kegiatan yang sama. Item reviewer sebaiknya juga menjadi IBA.
Kegiatannya dilaksanakan bersama.
Perlu dibuatkan rencana untuk rapat/ koordinasi pada waktu dan tempat yang sudah ditentukan sebelumnya.
Item reviewer dan IBA sama-sama memasukkan soal ke software sehingga memudahkan IBA dalam meriview.
Pelaku item reviewer dan item bank administrative harus beda orang. Dikumpulkan dalam waktu yang bersamaan dan duduk satu meja. Duduk bersama (kerja bersama-sama)
Ada jobdesk yang jelas, antara keduanya. Sering mengadakan komunikasi agar keinginan item reviewer dapat dimengerti oleh item bank administrator.
Segera dibentuk suatu jaringan yang resmi antara IBA dengan regional dan institusional. Item reviewer harus menentukan soal pasca review sudah sesuai standar soal yang baik. Software yang digunakan sesuai dengan soal yang akan diinput oleh IBA sehingga soal
yang tersedia bertambah.
Item reviewer mengerti operational IBA.
• Saran untuk perbaikan mekanisme review soal dan aplikasi IBA
Software dikemas dengan baik karena akan berpengaruh dengan waktu. Usaha sudah cukup baik, memerlukan pengulangan.
Aplikasi IBA tuntas, karena semua harus dicoba / mencoba menginput data Review soal mengikutsertakan item writer
Review soal dengan operasional aplikasi IBA terpisah agar pemahaman peserta optimal. Pelatihan bersama sehingga masing-masing dapat langsung melakukan review sekaligus
menyimpan -> Bank Soal.
Lengkapi software dan update sesuai kebutuhan.
Blueprint yang digunakan adalah yang final software diinstall saat awal pertemuan. Harus dilatih dan dievaluasi secara berkala.
Perlu kegiatan review soal dan aplikasi IBA secara countinue. Ada sosialisasi secara kesinambungan dengan semua institusi bidan. Software dilengkapi dan diperbaiki.
Peserta harus paham dulu untuk aplikasi IBA
Soal yang akan direview sudah ada dalam / sudah diinput di software Soal yang sudah direview harus sudah siap untuk dimasukkan ke IBA.
IT seharusnya mengupdate software sesuai dengan tinjauan kompetensi bidan sehingga compatible.
Lebih sering melakukan kegiatan dan update software
Agar langkah-langkah penginputan data dipermudah, sehingga mudah diingat dan meminimalkan lupa/kesalahan pada saat penginputan data.
WO
WORKSHOP KOMPONEN 2 – OKTOBER 2011 Page 10
Ditingkatkan kualitas awal mulai dari tingkat institusional (penjelasan ulang kepembuat soal supaya mengikuti model yang benar.
Soal yang direview hanya meriview struktur tidak lagi menriview content. Software IBA sesuai dengan tujuan dalam soal blueprint
Kualitas soal ditingkatkan. 7. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan dan evaluasi pelaksanaan workshop beberapa hal yang dapat direkomendasikan sebagai bentuk peningkatan dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
• Setiap institusi yang sudah berpartisipasi dalam pelatihan item development dan item review melakukan workshop serupa di institusi masing-masing, sehingga proses transfer knowledge dapat berlangsung baik hingga ke tingkat institusi.
• Asosiasi institusi pendidikan bekerjasama dalam proses pengumpulan soal dan dalam pelaksanaan workshop di regionalnya masing-masing.
• Perlunya sistem yang terintegrasi dan berjenjang dalam pengumpulan soal dari tingkat institusi, regional hingga pusat.
• Pelaksanaan workshop Item Review CBT/ Item Bank Adminsitration yang direncanakan untuk dilakukan dalam waktu dekat dan secara berkala.
• Perlu lebih banyak soal yang direview untuk mencapai target soal, yaitu 1000 soal sehingga pada bulan November uji coba uji kompetensi dapat dilakukan.
• Software diperbaiki agar dapat segera digunakan dan lebih user friendly. 8. Penutup
Kualitas soal dalam uji kompetensi harus disesuaikan dengan standar kompetensi lulusan. Jumlah soal yang dikumpulkan diharapkan dapat meningkat di setiap pelatihan. Sistem pengiriman soal juga harus segera dikembangkan dan ditetapkan agar keefektifan dalam pengumpulan dapat terjadi dan akan semakin banyak soal berkualitas dan sesuai dengan kriteria review yang masuk ke dalam bank soal nasional untuk uji kompetensi. Program software IBA segera direvisi agar dapat digunakan untuk mengentri data secara mudah.
