LAPORAN
WORKSHOP ITEM REVIEW
OSCE KEDOKTERAN
Direktorat Akademik
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
1. Pendahuluan
Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian praktik dengan dukungan teknologi berbasiskan computer yang disebut juga sebagai Objective Structured Clinical Examination (OSCE). Untuk itu maka diperlukan suatu upaya untuk membuat suatu Bank Soal yang sangat kredibel baik dari segi sistem maupun soal – soal yang terkandung di dalamnya.
Di samping pengembangan infrastruktur, aplikasi, pelatihan untuk Standardized Patient (SP), serta standarisasi para penguji yang diperlukan untuk melaksanakan OSCE, tentu saja hal yang diperlukan secara mendasar adalah pembuatan soal – soal OSCE itu sendiri. Hal ini menjadi sangat mendasar karena penyiapan unsur–unsur lainnya didasari atas soal-soal yang akan diujikan dalam ujian praktik ini.
Mengingat kepentingan hal itu maka setelah dilakukan pelatihan pembuatan soal OSCE (OSCE Development), perlu dilakukan proses review untuk menghasilkan soal OSCE yang kredible. Oleh karena itu, untuk memenuhi target implemetasi OSCE pada tahun 2011, maka proyek HPEQ akan memfasilitasi workshop nasional item review OSCE untuk menghasilkan lebih banyak soal OSCE yang berkualitas dan menambah jumlah item reviewer OSCE nasional
2. Tujuan
a) Mereview soal-soal OSCE yang telah dihasilkan dalam workshop penulisan soal OSCE nasional.
3. Luaran
a) Terkumpulnya 20 soal OSCE berkualitas baik dan mengisi bank soal baik di tingkat nasional
4. Metode Pelaksanaan Workshop
Kegiatan Iterm Review OSCE Kedokteran ini akan dilaksanakan pada: Hari : Senin– Selasa,
Tanggal : 22 - 23 Agustus 2011
Senin, 22 Agustus 2011
14.00 - 14.15 Pembukaan & Pengarahan Workshop Gandes Retno Rahayu
14.15–17.30 Review soal Peserta dan fasilitator
17.30–19.00 ISHOMA
19.00–22.00 Review soal Peserta dan fasilitator
Selasa, 23 Agustus 2011 Waktu Acara
08.00 - 10.00 Review soal Peserta dan fasilitator
11.00 –11.30 Pleno Gandes Retno Rahayu
Pada pelaksanaannya, tidak semua peserta hadir tepat pada waktunya. Salah seorang fasilitator dan 3 orang peserta lainnya datang terlambat 30 menit setelah acara dimulai.
5. Hasil Kegiatan
Workshop ini diawali pengarahan dari perwakilan komponen 2 mengenai hal-hal yang akan
dikerjakan selama review soal OSCE Nasional beserta penentuan target yang akan dicapai. Masing-masing peserta kembali diberikan pengarahan penyelenggaraan OSCE. Secara umum, sebagian besar peserta sudah memahami proses tersebut. Dalam acara kali ini, beberapa penguji OSCE Lokal UGM juga diikutsertakan. Pada hari pertama fasilitator menitikberatkan pengarahan terhadap proses sinkronisasi template soal OSCE. Di sini peserta diminta mencocokkan antara tujuan station, kompetensi yang harus dicapai, dan instrumen yang digunakan. Peserta kemudian dibagi menjadi kelompok kecil yang terdiri dari 2 orang guna melakukan review mendetail terhadap item OSCE ini. Tim MONEV akhirnya ikut melebur kedalam proses review, karena keterbatasan peserta. Asisten MONEV kali ini membantu proses
review item ketrampilan pemeriksaan mata, karena yang bersangkutan mempunyai minat lebih pada
bidang tersebut. Pada awalnya proses review berjalan dengan lancar. Permasalahan muncul ketika beberapa dari reviewer ternyata bukan merupakan ahli dalam bidang/soal OSCE yang diujikan. Akan tetapi fasilitator menjembatani hal ini dengan mengarahkan reviewer untuk berperan sebagai dokter umum, dan bukan sebagai seorang ahli spesialis tertentu. Hal ini dilakukan untuk menghindari soal yang terlalu sub-spesialistik. Soal yang terlalu detail mendalam pada spesialis tertentu tidak akan cocok digunakan dalam OSCE UKDI, mengingat para peserta nantinya adalah calon dokter umum dan bukan dokter spesialis. Hari pertama diakhiri dengan menyelesaikan sebuah soal OSCE.
Pada hari kedua proses yang sama dilakukan oleh para item reviewer OSCE. Para reviewer kembali mencocokan kelengkapan template untuk soal kedua. Menjelang akhir hari kedua, dilakukan pemaparan atas hasil reviewer kepada seluruh peserta workshop. Pada acara ini baik fasilitator maupun peserta memberikan banyak masukan untuk kelengkapan template tersebut. Hal yang paling menarik dalam acara ini adalah proses sinkronisasi rubrik penilaian OSCE. Proses ini memakan waktu cukup lama, sehingga tidak semua peserta dapat memaparkan hasil reviewnya didepan. Hal ini disebabkan belum adanya pemahaman yang cukup dari peserta mengenai rubrik generik untuk semua station. Pada akhir acara, didapatkan 20 soal OSCE yang telah direview secara parsial. Kata parsial disini mengindikasikan bahwa, soal sudah selesai direview, namun rubrik masih akan diperbaiki. Para peserta akan mengirimkan hasil review rubrik kepada fasilitator melalui email.
6. Refleksi
Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi permasalahan yang ada di setiap wilayah dan dalam
workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut :
Gambaran Umum
Para peserta tampak sangat antusias dalam mereview soal OSCE.
Proses review berjalan lancar tanpa ada hambatan yang berarti.
Proses review menemui sedikit kendala mengenai pemahaman rubrik oleh peserta.
Peran fasilitator sangat dibutuhkan dan sudah dapat membantu sehingga proses review dapat berjalan dengan baik.
Tim MONEV sedikit menemui kendala dalam proses monitoring. Hal ini dikarenakan asisten MONEV ikut terlibat dalam proses review.
Tim Monev : Monitoring Sheet
Monitoring sheet didistribusikan oleh tim monev kepada seluruh peserta untuk mendapatkan masukan dari peserta terkait aspek-aspek pelaksanaan workshop dan OSCE. Berikut adalah paparannya:
1. Kesulitan yang dihadapi dalam mereview soal ?
Membuat deskripsi rubrik
Harus menyesuaikan dengan SOP Kolegium yang paling baru
Persiapan terbatas, dan materi yang harus direview belum diketahui sebelumnya
Menyusun kalimat yang mudah dipahami dan tidak multi-interpretasi
Memprediksi kecukupan waktu bagi kandidat
Membuat kriteria penilaian perilaku profesional
Review soal diluar bidang keahlian
Waktu untuk mereview dirasa kurang
Belum pernah mereview sebelumnya 2. Penilaian umum soal yang telah direview ?
Beberapa soal sudah baik, namun masih ada beberapa bagian yang belum koheren
Soal sudah hampir lengkap, tinggal ditambah sedikit instruksi step by step untuk kandidat.
Materi soal sudah baik.
Soal cukup sederhana, namun skenario membingungkan kandidat karena tidak konsisten.
Kasus yang dimunculkan tidak sesuai dengan diagnosis yang diharapkan.
3. Apakah format dan guideline review soal sudah sesuai sehingga dapat terimplementasikan dengan baik ? Apabila belum optimal, parameter review apa yang masih harus dioptimalkan atau ditambahkan ?
Sudah optimal dan sesuai
Secara umum sudah jelas (dapat diimplementasikan)
Perlu ada penyeragaman pemahaman parameter perilaku profesional, karena memiliki potensi subyektivitas yang besar.
Perlu ada perbaikan parameter edukasi, komunikasi, dan profesionalisme. 4. Rekomendasi perbaikan untuk membuat soal yang lebih baik?
Perlu ada perbaikan kisi-kisi soal.
Perlu ada evaluasi secara berkala.
Soal hendaknya dilengkapi dengan diagnosis pasti.
Soal sebaiknya disusun sesuai dengan bidang keahlian kemudian direview oleh dokter spesialis dan dokter umum.
Perlu ada komunikasi antara penguji, pelatih PS, dan pembuat soal. 5. Rekomendasi untuk meningkatkan jumlah soal yang dikumpulkan ?
Perlu dilakukan workshop di tingkat nasional, yang di follow up dengan workshop di tingkat regional dan lokal.
Perlu dilakukan pembuatan soal secara berkelanjutan yang melibatkan sumber daya manusia di tingkat lokal institusi.
Perlu dibuat sistem yang terstruktur di tingkat lokal dan regional untuk mekanisme pembuatan dan pengumpulan soal.
Pembuatan soal bisa didasarkan pada 20 gejala klinis dasar pada Kedokteran Keluarga agar soal sesuai dengan SKDI.
6. Kesan secara umum terhadap pelaksanaan workshop. Hal-hal apa yang masih perlu diimprove untuk pelaksanaan workshop selanjutnya?
Perlu melibatkan stake holder di tingkat institusi untuk memperlancar implementasi di tingkat institusi.
Sudah berjalan dengan baik, sebaiknya soal dan guideline review dibagikan sebelum workshop.
Sebaiknya workshop jangan dilakukan pada awal minggu.
Reviwer nasional sebaiknya mendenganrkan peserta terlebih dahulu baru kemudian memberikan komentar di akhir acara.
Analisa lebih lanjut terhadap feedback peserta, menunjukkan perlu adanya workshop lanjutan yang lebih terstruktur dan dipersiapkan secara matang. Fasilitas yang diberikan selama workshop dan
pelayanan panitia dinilai sangat memuaskan peserta. Faktor yang dinilai kurang memuaskan adalah dari sisi persiapan peserta workshop item review.
7. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
Perlu ada workshop lanjutan di tingkat institusi untuk mereview soal.
Perlu ada pertemuan di tingkat stake holder untuk memudahkan implementasi item review OSCE.
Perlu dipikirkan mengenai bidang keilmuan peserta dengan materi yang akan direview.
Perlu dihadirkan dokter umum sebagai reviewer.
Untuk mempersiapkan TO OSCE yang kedua, akan dilakuakan item review tingkat nasional guna memperbaiki kekurangan soal yang ada.
Akan dibuat mekanisme yang lebih terstruktur dalam pembuatan dan pengumpulan soal, seperti yang sudah ada pada CBT.
8. Penutup
Upaya peningkatan kualitas dan kuantitas pembuatan dan review soal OSCE diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat Institusi pendidikan. Untuk itu diharapkan bahwa para peserta workshop yang terpilih dapat menjadi calon narasumber untuk pelatihan yang diadakan di tingkat regional dan lokal. Dengan demikian upaya percepatan pembuatan dan review soal OSCE yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna.
