LAPORAN
WORKSHOP ITEM DEVELOPMENT DAN REVIEW
COMPUTER BASED TESTING (CBT) KEDOKTERAN
Direktorat Pembelajaran dan Kemahasiswaan
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan dan Kebudayaan
Hotel Grand Royal Panghegar, Bandung
28-29 Maret 2012
1. Pendahuluan
Proyek HPEQ Komponen 2 mempunyai fokus kegiatan pada upaya penyempurnaan sistem ujian. Metode ujian yang akan dikembangkan salah satunya adalah computer-based testing (CBT). Metode ini memerlukan persiapan yang salah satunya adalah penyiapan perangkat soal (item) yang akan dikumpulkan dalam suatu Bank Soal yang secara kuantitas dan kualitas dapat dipertanggungjawabkan serta memiliki kredibilitas tinggi. Mengingat pentingnya keberadaan Bank Soal yang mendukung sistem ujian pada pendidikan tenaga kesehatan, maka diperlukan adanya suatu penelaahan soal yang berjenjang mulai dari pembuat soal, institusi, regional dan akhirnya review akhir oleh panel expert. Selain itu bank soal perlu dipenuhi terkait blue print yang ditentukan. Oleh karena itu pe
rlu dibuat suatu lokakarya Item Development dan
Review.
2. Tujuan
Setelah mengikuti kegiatan lokakarya ini diharapkan:
1. Kemampuan peserta untuk pembuatan dan penelaahan soal ujian tulis tipe A (one best answer) yang baik di wilayah dan institusi setempat.
2. Terpilihnya sejumlah soal yang memenuhi syarat untuk dimasukan ke dalam Bank Soal.
3. Luaran
1. Dihasilkannya para ahli pembuat dan penelaah soal yang baik di tingkat nasional
2. Dihasilkannya para pelatih untuk pelatihan pembuatan dan penelaahan soal yang baik di tingkat wilayah dan institusi
3. Dihasilkannya soal – soal yang baik untuk dimasukan ke dalam Bank Soal tingkat wilayah dan institusi
4. Metode Pelaksanaan Workshop
Workshop item development dan review CBT kedokteran ini dilaksanakan pada tanggal 28 – 29 Maret 2012 di Hotel Grand Royal Panghegar, Bandung. Peserta workshop yang diundang adalah 12 item writer, 11 item reviewer, dan 6 item bank administrator yang didampingi oleh 1 narasumber, 3 orang fasilitator dan 3 orang anggota KB UKDI.
Daftar narasumber, fasilitator dan anggota KB UKDI yang hadir:
No Nama Institusi Keterangan
1 M. Ghozali UNPAD/ KB UKDI Narasumber
2 Dewi Masyitah USU Fasilitator
3 Yuni S Pratiwi UNPAD Fasilitator
4 Fajar KB UKDI
5 Herru KB UKDI
6 Windi KB UKDI
Pada pelaksanaannya, narasumber/ pemimpin sidang yang ditunjuk yaitu Ibu Sari Puspa Dewi berhalangan untuk hadir sehingga digantikan oleh Bapak M Ghozali (fasilitator). Seluruh item writer,
item reviewer, dan fasilitator dapat hadir/ digantikan, namun terdapat dua orang IBA yang berhalangan hadir. Berikut adalah daftar peserta yang hadir:
Item Writer
No Nama Institusi Spesialisasi No Tlp Email
1 Budi Utomo FK UNAIR/
Surabaya IKM 083854939300 budiutom@gmail.com 2 Mayetti FK UNAND/
Padang IKA 0811669779 mayettispa@yahoo.com 3 Samdei C. Rumbino FK UNCEN/ Jayapura Radiologi 081543344300; 081344569710 samdeyrumbino@yahoo.com 4 Intaniati Nur R. FK UNDIP/
Semarang Forensik 081325081977 intarforensic@yahoo.co.id 5 Wahyudi
Istiono
FK UGM/
Yogyakarta IKM 081578969685 wistiono@gmail.com 6 Femi S. FK UNHAS/ Makassar IPD 085298047919 femy.internist@yahoo.co.id; fsyahriani@gmail.com 7 Retno Asti Werdani FK UI/
Jakarta IKM 0811902081 retnoasti@yahoo.com 8 Ahmad Dian W. FK UB/
Malang THT
08174304145;
081779304141 dian_punk@yahoo.com 9 Lucky Sjahputra FK UNPAD/
Bandung IPD 08122315831 luckysdr@yahoo.com 10 Andri Reza FK UNPAD/
Bandung KJ 08164863057 rahmadiandri@yahoo.com 11 Truly Sitorus FK UNPAD/
Bandung 085720750004 trullysitorus@yahoo.com 12 Sri Hastuti FK YARSI/
Jakarta IKA 08122023220 srihastutiandayani@yahoo.com 13 Artha Budi
Dhuarsa
FK YARSI/
Jakarta IKM 081540837900 arthabudi@gmail.com
Item Reviewer
14 Huriatul FK UNRI/
Pekanbaru Histologi 081275652210 dr_huriatul@yahoo.co.id 15 Ramzi Amin FK UNSRI/
Palembang Mata 08127393599 ramzi.amin@rocketmail.com 16 Insi Farisa Desi FK UNPAD/
Bandung IKM 17 Hanna Yolanda FK UNIKA Atmajaya/ Jakarta 081322285483 hanna.yolanda@atmajaya.ac.id 18 Hermin Aminah FK UNPAD/
Bandung
Patologi
Anatomi 08382804910 hermin.seroja@gmail.com 19 Fen Tih FK UKM/
Bandung Biokimia 0811217545 fentih@melsa.net.id; fentihfk@gmail.com 20 Eka Hendryanny FK UNISBA/
Bandung Ilmu Faal 0817224082 eka_hendryanny@yahoo.com 21 Mahar Agustono FK UGM/ Yogyakarta KJ 08122732316 m_agusno2@yahoo.com 22 Moh. Khotibbudin FK UMY/ Yogyakarta IKM 085643218504 muhammad_khotibuddin@yaho o.com
Surabaya gi 24 Sri Wahyuni FK UMI/
Makassar IKM
Item Bank Administrator CBT
25 Hemma Yulfi FK USU/ Medan
0811611454 hemmayulfi@yahoo.com 26 Ninik Sukartini FK UI/
Jakarta
Patologi
Klinik 08128868415 niniksukartini@yahoo.com 27 Iis Inayati FK UNJANI/
Cimahi Biokimia 08164864092 iis_inayati@yahoo.co.id 28 Achmad Yanuari H. FK UNAIR/ Surabaya Ilmu Kesehatan Anak 0811347662 ayherjana@yahoo.com; boy@curvelife.com
Dalam workshop ini peserta dibagi menjadi dua kelompok besar, yaitu kelompok item development dan item review. Pembagian kelompok pada hari H disesuaikan kembali dengan peserta yang hadir. Kelompok item development terdiri dari 13 orang yang secara khusus diundang untuk memenuhi kebutuhan soal khususnya mengenai ilmu kesehatan masyarakat yang jumlahnya masih sedikit dalam bank soal. Oleh karena itu, masing-masing peserta yang diundang untuk item development akan membawa 30 soal terkait spesialisasi masing-masing, yang kemudian akan di-review bersama-sama dalam kelompok kecil.
Kelompok item review terdiri dari 11 orang item reviewer dan 4 orang IBA CBT. yang dibagi berdasarkan wilayah menjadi 5 kelompok kecil yang masing-masing terdiri dari tiga orang. Karena item reviewer wilayah 6 hanya ada satu orang, maka beliau digabungkan ke dalam kelompok lain yang jumlahnya masih dua orang. Kelompok item review akan me-review soal-soal dari regional. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan cukup tepat waktu. Berikut adalah rundown acara workshop pada kondisi riil :
Rabu, 28 Maret 2012
14.15 – 15.00 Pembukaan dan Pengarahan Item Review CBT Kedokteran
M. Ghozali 15.00 – 18.00 Rekapitulasi soal dan telaah soal dalam
kelompok (peer review)
Fasilitator 18.00 – 19.30 ISHOMA
19.30 – 22.00 Telaah soal dalam kelompok (peer review)
Fasilitator
Kamis, 29 Maret 2012
08.00 – 11.00 Telaah soal dalam kelompok (peer review)
Fasilitator 11.00 – 11.30 Rekapitulasi soal dan Penutup M. Ghozali
5. Hasil Kegiatan
Workshop ini diawali briefing oleh narasumber dari KB UKDI mengenai hal-hal yang akan dikerjakan selama workshop beserta target pencapaian. Dilakukan penjelasan kembali mengenai garis besar cara penilaian soal, teknis penilaian soal dalam bentuk word dan SIPENA, serta mengenai teknis penyimpanan soal untuk diserahkan kepada proyek.
Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop item development secara umum adalah sebagai berikut:
No. KOMPONEN TARGET REALISASI
1. Jumlah soal yang terkumpul dalam workshop 1272 2. Jumlah soal yang direview dalam workshop 1272 711 3. Jumlah soal yang diterima (soal yang memenuhi kriteria soal yang
dianggap eligible untuk diinputkan ke bank soal UKDI)
711 627
4. Jumlah soal yang ditolak 84
5. Jumlah item writer yang terlibat 13 13 6. Jumlah item reviewer yang terlibat 11 11
Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini cukup optimal dalam mendapatkan soal yang baik untuk diinputkan ke bank soal UKDI. Jumlah soal yang terkumpul dalam workshop baik soal kiriman dari institusi maupun soal yang dibawa oleh item writer mencapai 1272 soal. Meskipun demikian, jumlah soal yang direview jauh lebih sedikit dari target yaitu hanya 56%. Meskipun demikian, dari keseluruhkan soal yang berhasil selesai di review, sebagian besar dapat diterima (88%) dan persentase soal yang ditolak hanya sebesar 12% sehingga dapat dikatakan bahwa soal yang terkumpul berkualitas cukup baik. Seluruh
1272 711 13 11 1272 711 627 84 13 11 0 200 400 600 800 1000 1200 1400 Jumlah soal yang terkumpul dalam workshop Jumlah soal yang direview dalam workshop Jumlah soal yang diterima Jumlah soal yang ditolak Jumlah item writer yang terlibat Jumlah item reviewer yang terlibat
Grafik Pencapaian Target
Target Realisasi
Jumlah item writer dan item reviewer yang diundang dapat hadir/ digantikan, sehingga target kehadiran mencapai 100%.
Item reviewer yang hadir pada workshop ini diharapkan membawa soal kiriman institusi sesuai dengan wilayah masing-masing dengan pembagian institusi yang sudah meluluskan diharuskan mengirim minimal 50 soal dan untuk setiap institusi yang belum meluluskan mengirim minimal 25 soal. Pada kenyataannya tidak semua institusi mengirim soal sebanyak yang diminta. Perlu dicermati kembali bahwa kontribusi dari masing-masing institusi sangat penting bagi pemerataan kontribusi dalam pembuatan soal uji kompetensi.
Beberapa faktor tidak tercapainya target jumlah soal yang direview adalah sebagai berikut:
1. Penggunaan SIPENA pada awalnya cenderung memakan waktu lebih lama dalam operasinya, namun seiring dengan semakin seringnya dipakai, software SIPENA akan sangat membantu dalam proses review soal.
2. Banyak soal yang masih perlu diperbaiki secara konten sehingga diskusi lebih lama mengenai konten dibandingkan review struktur soal.
Pada dasarnya, pencapaian jumlah soal dalam workshop ini juga dibatasi oleh waktu pelaksanaan workshop. Apabila diberi alokasi waktu lebih lama, maka jumlah soal yang direview tentunya juga akan semakin banyak. Berikut adalah tabel rekapitulasi item development per kelompok pada workshop ini.
Tabel Rekapitulasi Item Review
Wilayah No Nama Reviewer Institusi Soal
Terkumpul
Total Soal Tereview
Soal yang Direview Soal Belum
Direview Soal Diterima Soal Dikembalikan
1
1 Hemma Yulfi USU
205 52 44 8 153
2 Huriatul USU 3 Ramzi Amin UNSRI
2
4 Ninik Sukartini UI
270 129 94 35 141 5 Hanna Yolanda UAJ
6 Sri Wahyuni UMI
3
7 Iis Inayati UNJANI
135 86 67 19 49
8 Eka Handryanny UNISBA 9 Hermin Aminah UNPAD
4
10 Moh. Khotibuddin UMY
173 85 73 12 88
11 Mahar Agusno UGM 12 Intarniati Nur R UNDIP
5
13 Achmad Yanuari UNAIR
133 71 67 4 62
14 Roostantia UNAIR 15 Lucky Sjahputra UNPAD
Tabel Rekapitulasi Item Development dan Review Ke l N o Nama Penulis Institu si Bidang Ilmu Target Soal Terkump ul Soal Terkump ul Total Soal Terevie w
Soal yang Direview Soal
Belum Direvie w Soal Diterima Soal Dikembalikan 7
1 Mayetti UNAND IKA 30 20
60 57 3 40 2 Sri Hastuti UY IKA 30 30
3 Samdei C
Rumbino UNCEN RADIOLOGI 30 50
8
4 Andri Reza UNPAD IPD 30 36
68 68 - - 5 Femi S UNHAS IPD 30 32
6 Fen Tih UKM BIOKIMIA REVIEWER
9
7 Ahmad Dian W UB THT 30 30
65 64 1 - 8 Truly Sitorus UNPAD FARMAKOLOGI 30 31
9 Dewi Mastiyah USU PARASITOLOGI REVIEWER 4 .
10
10 Artha Budi
Dhuarsa UY IKM 30 33
65 63 2 - 11 Budi Utomo UNAIR IKM 30 32
12 Yuni S Pratiwi UNPAD FAAL REVIEWER
11
13 Insi Farisa Desi UNPAD IKM REVIEWER 8
30 30 - 28 14 Retno Asti
Werdani UI IKM 30 20 15 Wahyudi Istiono UGM IKM 30 30
Berdasarkan soal-soal yang telah direview, maka dipilih soal-soal yang memenuhi kriteria baik dan layak untuk dimasukkan ke dalam item bank nasional sebelum di review kembali oleh panel expert. Jumlah soal yang diterima adalah sebesar 88% dari jumlah soal yang direview.
Berdasarkan analisis tim monev, pencapaian target jumlah soal yang berkualitas baik dan dapat dimasukkan ke dalam item bank sudah cukup baik. Hal ini menandakan bahwa baik soal yang dikirim dari institusi maupun yang dibawa oleh item writer sudah cukup baik. Meskipun demikian, tetap diperlukan lebih banyak perhatian pada relevansi soal yang akan dikumpulkan ke workshop dengan UKDI.
Tujuan lain dari workshop ini adalah untuk membangun capacity building bagi item reviewer institusi. Dengan demikian, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja masing-masing institusi dalam hal implementasi mekanisme item development & review yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter dan lulusannya. Analisis ini juga dapat dijadikan input evaluasi diri dari tim item development dan dapat dijadikan dasar pemetaan kemampuan dan strategi yang seharusnya diterapkan untuk tiap wilayah item development dalam meningkatkan kualitas pelaksanaan uji kompetensi yang akan berdampak positif pada kualitas lulusan uji kompetensi dokter.
6. Refleksi
Setelah dilakukan analisis hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum.
Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut :
Fasilitator
KENDALA YANG DIHADAPI PESERTA DALAM MEMBUAT DAN MEREVIEW SOAL :
- Menyesuaikan konten epidemiologi dan aspek public health dengan SKDI/ relevansi - Penentuan criteria soal (sulit-sedang-mudah)
- Item writer belum benar-benar memahami pembuatan soal yang baik, namun lama kelamaan sudah dapat melakukannya dengan baik
REKOMENDASI PERBAIKAN :
- Sosialisasi panduan review yang free to download sebelum hadir di workshop - Penguatan SDM dari segi item writer dan item reviewer di tingkat regional/ institusi
- Item writer sudah membawa soal lebih dulu sehingga target soal lebih banyak yang didapat
Peserta
Feedback form didistribusikan oleh tim monev kepada seluruh peserta. Dari 28 kuesioner, 19 yang kembali ke tim monev. Hasil kuesioner tersebut adalah sebagai berikut:
Kendala yang dihadapi dalam pengumpulan soal
Sosialisasi pengumpulan soal terlalu mendadak dan waktunya terlalu singkat untuk mengumpulkan soal dari institusi
Institusi terlambat mengumpulkan soal
Sulitnya mengumpulkan soal dari dosen pengampu
IBA dan tim reviewer di institusi belum aktif/ belum bekerja secara optimal Sebagian soal belum direview di tingkat regional
Kendala yang dihadapi dalam mereview soal Soal yang dikirim masih dalam bentuk word
Soal sudah ada, namun tidak dalam format/ kaidah UKDI Sebagian soal belum bervignette
Kadang sulit mengerti apa yang dimaksud dalam soal Ketidakkonsistenan dalam struktur dan konten Soal sering kali tidak sesuai dengan SKDI
Soal yang dibuat oleh dosen yang belum dilatih cara membuat soal UKDI biasanya soal akan diedit secara keseluruhan
Isi soal tidak dikuasai oleh reviewer Jumlah SDM
Kesesuaian format dan guideline review soal dan parameter review yang perlu dioptimalkan atau ditambah
Sudah sesuai dan cukup optimal
Rekomendasi perbaikan untuk pembuatan soal yang lebih baik
Mengadakan workshop khususnya untuk item writer agar sesuai dengan format UKDI
Pembuat soal harus menyesuaikan soal dengan SKDI Pertemuan rutin antara item writer, item reviewer dan IBA Setiap soal yang sudah diujikan diberikan feedback
Rekomendasi untuk meningkatkan jumlah soal yang dikumpulkan
Perlu jadwal yang terencana sejak awal dan melibatkan personil yang lebih banyak Jejaring reviewer dan IBA di institusi lebih di aktifkan
Koordinasi dengan setiap institusi
Jangan hanya kuantitas soal namun kalau bisa soal harus mempunyai variasi yang luas
Pelatihan di regional yang lebih sering
Pemberitahuan jadwal nasional untuk item reviewer lebih awal (kalau perlu dimasukkan dalam kalender kegiatan UKDI)
Topik-topik yang masih kosong agar disebarkan sehingga item yang dibuat cukup bervariasi
Rutin ditagih via email 2-3 minggu sebelum workshop
Kesan secara umum dan saran terhadap pelaksanaan workshop Workshop berjalan dengan baik
Undangan diberikan lebih awal
Pelaksanaan review dalam group kecil lebih efektif dibandingkan dalam group besar Soal kadang-kadang overlap , sebaiknya di pertemuan selanjutnya masing-masing
sudah ditentukan tema soalnya Fasilitator membimbing dengan baik
7. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
1. Mengadakan workshop serupa secara berkala
2. Undangan kepada peserta diberikan lebih awal sehingga pengumpulan soal dari institusi/ regional dapat berjalan dengan baik
3. Koordinasi dengan pihak institusi untuk menngirimkan soal dengan kualitas dan kuantitas yang diharapkan
4. Penentuan tema dari awal agar soal yang dibuat item writer lebih bervariasi
8. Penutup
Standarisasi lulusan dokter melalui uji kompetensi merupakan bagian penting dari upaya peningkatan kualitas lulusan dokter dan juga untuk institusi pendidikan dokter. Untuk terlaksananya uji kompetensi yang baik penting untuk dikembangkan pembuatan soal yang berkualitas, komprehensif dan sesuai dengan tingkat kompetensi yang diharapkan. Dengan pelaksanaan workshop yang berkesinambungan maka diharapkan didapatkan bank soal yang berkualitas dan sekaligus membangun kapasitas item writer di institusi dan regional sehingga akhirnya tujuan peningkatan kualitas dokter melalui standarisasi uji kompetensi dapat tercapai. Mengingat fungsi
dan perannya yang sangat besar, maka dukungan dari semua pihak terkait kegiatan komponen sangat diperlukan.
