LAPORAN
WORKSHOP NASIONAL
ITEM DEVELOPMENT OSCE KEDOKTERAN
Direktorat Akademik
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
Hotel Grand Aquila Bandung, 17 – 18 Mei 2010
1. Pendahuluan
Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ
Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas,
komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian praktik dengan dukungan teknologi berbasiskan komputer yang disebut juga sebagai Objective Structured Clinical Examination (OSCE). Untuk itu maka diperlukan suatu upaya untuk membuat suatu Bank Soal yang sangat kredibel baik dari segi sistemnya maupun soal – soal yang terkandung di dalamnya.
Di samping pengembangan infrastruktur, aplikasi, pelatihan untuk standardized patient (SP), serta standarisasi para penguji yang diperlukan untuk melaksanakan OSCE, tentu saja hal yang diperlukan secara mendasar adalah pembuatan soal – soal OSCE itu sendiri. Hal ini menjadi sangat mendasar karena penyiapan unsur – unsur lainnya didasari atas soal - soal yang akan diujikan dalam ujian praktik ini. Mengingat kepentingan hal itu maka diperlukan serangkaian workshop pembuatan soal OSCE (OSCE Item Development) yang diselenggarakan secara luas dan berkesinambungan. Kegiatan ini juga harus melibatkan seluruh klinisi yang terkait dari berbagai Institusi Pendidikan sebagai upaya peningkatan sumber daya manusia dalam hal ini staf pengajar, dalam pembuatan soal. Dengan demikian maka proses ujian di tingkat nasional dapat diiringi dengan berkembangnya sistem ujian di setiap institusi pendidikan yang pada akhirnya diharapkan dapat meningkatkan proses belajar peserta didik dan meningkatkan nilai capaian dari ujian ini.
2. Tujuan
Tujuan dilaksanakannya workshop nasional item development nasional kedokteran ini adalah : 1. Terkumpulnya soal - soal OSCE yang berkualitas sebagai bahan untuk proses selanjutnya
dalam penyiapan OSCE yakni pelatihan SP dan standarisasi para penguji.
2. Meningkatnya jumlah dan kemampuan para pembuat soal dalam membuat soal OSCE yang memenuhi syarat untuk digunakan sebagai ujian yang bersifat nasional.
3. Terkumpulkannya nama pembuat soal yang berbakat dan berkapasitas dari berbagai bidang ilmu yang terkait secara menyeluruh yang dapat mewakili kepentingan para pemangkunnya.
3. Output Workshop
Output yang diharapkan dari workshop ini adalah :
1. Jumlah soal OSCE berkualitas baik yang dapat digunakan untuk ujian nasional dan mengisi bank soal di tingkat nasional
2. Jumlah pembuat soal OSCE yang berkualitas dari berbagai bidang ilmu yang terkait secara menyeluruh yang dapat mewakili kepentingan para pemangku dan kisi-kisi soal ujian. 3. Kualitas soal ujian OSCE lebih baik sehingga jumlah peserta ujian yang lulus dapat
4. Metode Pelaksanaan Workshop
Workshop nasional item development OSCE kedokteran ini dilaksanakan pada tanggal 17 – 18 Mei 2010 di Hotel Grand Aquila Bandung. Workshop ini diikuti oleh 10 item writer terpilih dari tingkat regional, yaitu :
No Nama Institusi Email
1. David Wither FK Univ. HKBP Nommensen [email protected]
2. Tri Juli Edi Tarigan FK UI [email protected] 3. Riva Auda FK UIN [email protected] 4. Tita Husnitawati FK UNPAD
5. Heddy Herdiman FK Maranatha [email protected] 6. Cut Aria Arina FK USU [email protected]
7. Farokah FK UNDIP [email protected] 8. Nelly Al Audhah FK UNLAM [email protected] 9. Suliati P Amir FK UMI MAKASSAR [email protected]
10. Paulina W FK UNCEN [email protected]
Dalam menyusun dan merevier soal, para item writer dipandu dan didampingi oleh 3 orang fasilitator dari KB UKDI, yaitu Susi Susannah, Faturrahman dan Mohammad Ghozali.
Pada pelaksanaannya, rundown acara workshop nasional item development OSCE kedokteran tersebut adalah sebagai berikut :
Hari ke-1 :
WAKTU EVENT PIC / NARASUMBER
14.30 – 14.45 Pembukaan Ramdan Panigoro 14.45 – 15.00 Sesi I :
-Perkenalan peserta dan fasilitator -Pengarahan Workshop
Susi Susannah
15.00 – 17.00 Sesi 2 :
Pengarahan Pembuatan Blueprint baru
Susi Susannah 17.00- 18.00 Pembuatan soal OSCE berdasarkan template Fasilitator 18.00 – 19.30 Break
19.30 – 20.30 Sesi 3 :
Pembuatan soal OSCE berdasarkan template
Fasilitator 20.30 – 22.00 Sesi 4 : Simulasi Review Soal Fasilitator
Hari ke-2:
WAKTU EVENT PIC / NARASUMBER
08.30 – 09.30 Review all about OSCE Fasilitator 09.30 – 12.00 Melanjutkan simulasi review soal Fasilitator 12.00 – 12.15 Pleno, Wrap Up dan penutupan Susi Susannah
5. Hasil Kegiatan
Pada sesi kedua setelah pembukaan dan pengarahan, peserta diarahkan oleh fasilitator untuk
membuat blue print baru yang disesuaikan dengan perkembangan terkini. Berikut adalah blue print
baru yang berhasil tersusun :
Setelah blue print baru tersusun, selanjutnya peserta diarahkan untuk membuat soal OSCE
berdasarkan blue print dan template baru tersebut. Masing-masing item writer diberi tugas untuk
membuat soal berdasarkan kategori kompetensi sebagai berikut :
Setelah itu, dilakukan simulasi review soal yang didampingi oleh fasilitator. Pada tahap ini, beberapa isu yang perlu menjadi perhatian adalah pembagian tugas kepada peserta sebaiknya spesifik mengenai procedural skill pemeriksaan fisik (pemeriksaan abdomen). Selain itu, peserta juga masih perlu pemahaman lebih lanjut mengenai metode global rating score dan penilaian professional
behavior (aspek yang dinilai dan standarisasinya).
Secara umum, berikut adalah output dari workshop nasional item development OSCE kedokteran :
No. KOMPONEN TARGET REALISASI
1. Jumlah soal OSCE yang terkumpul 12 15 2. Jumlah soal OSCE yang berkualitas baik 12 3 3. Jumlah peserta workshop 12 10 4. Jumlah pembuat soal OSCE yang berkualitas 12 10
5. Jumlah narasumber 3 3
Berdasarkan rekap tersebut, dapat dilihat bahwa jumlah soal OSCE yang terkumpul melebihi target, yaitu 15 soal. Akan tetapi, dari 15 soal yang berhasil dikumpulkan, baru 3 soal OSCE yang dinilai berkualitas baik. Jumlah peserta workshop kurang dari target, karena peserta regional 5 belum ada yang dapat mengikuti workshop nasional ini.
Selanjutnya, beberapa hal penting terkait penilaian OSCE, diantaranya adalah :
OSCE yang dimaksud dalam workshop ini adalah instrumen untuk mengukur output proses pendidikan dokter secara komprehensif, mulai dari fase preklinik hingga rotasi klinik yang meliputi: knowledge, skills, dan attitude. OSCE yang dirancang bukanlah sistem yang “terisolasi” seperti pada blok-blok (fase pre-klinik).
Penggunaan global rating score dengan skala dari 0, 1, 2, 3 sebagai alat ukur utama
-Penilaian OSCE di Indonesia menggabungkan antara global rating scale dan Mini-CEX sehingga bisa dalam bentuk kuantitatif.
-Pass-failed criteria perlu dituliskan dalam template (dibawah lembar penilaian global rating scale) termasuk adanya pembobotan/weighting disertakan juga adanya kolom komentar.
-Standard setting diimplementasikan untuk menentukan jumlah station uji yang harus dilewati supaya dapat dinyatakan lulus.
Penggunaan weighting/pembobotan.
Perlu standard setting untuk menentukan nilai batas kelulusan.
Hal yang paling mendasar dari penyelenggaraan OSCE adalah standarisasi dalam segala aspek penyelenggaraan, sehingga OSCE dapat menjadi suatu alat ukur yang reliable dalam menilai kompetensi seorang dokter.
6. Evaluasi Kegiatan
Evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator dan tim monev secara umum. Berikut adalah evaluasi workshop dari beberapa perspektif tersebut :
Gambaran Umum
Peserta cukup antusias mengikuti rangkaian sesi workshop dari awal sampai akhir.
Perlu adanya perbaikan SKDI (Standar Kompetensi Dokter Indonesia) yang disesuaikan dengan perkembangan kedokteran Indonesia saat ini.
Jumlah fasilitator yang sedikit mengakibatkan workshop berjalan kurang efektif, terutama dalam sesi review soal
Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah :
Perlu adanya standarisasi dan sosialisasi mengenai global rating scale sebagai metode penilaian OSCE
Perlu adanya pelatihan yang berkelanjutan berkaitan dengan OSCE
Fasilitator yang mendampingi diharapkan dapat diperbanyak agar workshop dapat berjalan lebih efektif, terutama dalam proses pendampingan mereview soal
Perlu adanya textbook tentang teknik review OSCE
Perlu adanya surat penunjukan dari Dikti untuk peserta workshop, sehingga ada legalitas untuk melaksanakan workshop
Panitia HPEQ (PIC persidangan) seharusnya selalu stand by ditempat workshop, sehingga dapat selalu menjaga kelancaran workshop, terutama terkait hal-hal teknis
Fasilitator
Penilaian narasumber terhadap kemampuan peserta dalam workshop ini sudah baik dikarenakan semua institusi sudah menyelenggarakan kegiatan OSCE meskipun masih dalam tingkat pre-klinis/ pendidikan S1 (terdapat dalam sistem blok)
Berdasarkan soal-soal yang dihasilkan, terdapat peningkatan kemampuan para item writer dalam menulis soal terutama dalam penggunaan template form
Semua peserta dinilai sudah mampu menjadi pelatih OSCE item development di institusi masing-masing
Manfaat utama dari kegiatan ini adalah para item writer mampu membuat soal yang terstandar
Peserta
Ada beberapa peserta yang terlambat dikarenakan undangan yang sangat mendadak dan juga beberapa peserta tidak mengikuti hingga akhir sesi dikarenakan masalah jadwal penerbangan.
Sebagian besar peserta mengaku tidak mempersiapkan diri secara khusus untuk mengikuti workshop ini, namun demikian mereka sudah mengerti maksud dan tujuan diadakannya workshop ini.
Hampir semua peserta mengakui bahwa workshop ini meningkatkan kemampuannya sebagai
item writer dan item reviewer untuk bekal melatih di institusinya masing-masing dan
bermanfaat dalam pengembangan sistem uji kompetensi dokter.
Setelah melakukan review soal, hampir semua peserta menyatakan bahwa pembuat soal memiliki kemampuan yang baik dalam membuat soal.
Semua peserta mengakui bahwa narasumber memfasilitasi workshop dengan baik bahkan sangat baik, pelayanan dan fasilitas pada workshop ini juga dinilai cukup memadai.
Beberapa peserta juga menyatakan siap untuk melatih di institusi masing-masing setelah mengikuti workshop ini.
Tim Monev : Feedback Peserta
Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 10
kuesioner yang kembali ke tim monev, 56 % responden menyatakan pelaksanaan workshop sangat memuaskan, dan tidak ada responden yang menyatakan kurang puas. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia dan peserta yang sangat cooperative.
Analisa lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap materi workshop dan performa fasilitator yang membawakan materi tersebut. Materi komprehensif dan dapat disampaikan dengan interaktif oleh para fasilitator. Berdasarkan feedback tersebut, peserta menyatakan bahwa workshop ini sangat bermanfaat dalam pengembangan sistem uji kompetensi dokter.
7. Rencana Tindak Lanjut
Berdasarkan hasil evaluasi pelaksanaan workshop nasional item development OSCE kedokteran, beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
Soal-soal OSCE yang telah direview sebaiknya dapat dikirimkan ke tiap-tiap sentra pendidikan kedoktera sebagai bahan acuan di masing-masing IPD
Akan dilaksanakan workshop-workshop lanjutan terkait dengan pengembangan OSCE , seperti
standard setting dan standarisasi penguji OSCE
Peserta dapat melakukan pelatihan kepada item writer dan item reviewer di tingkat regional dan institusi masing-masing untuk mempersiapkan penyelenggaraan OSCE, khususnya OSCE untuk UKDI.
Penyelenggaraan OSCE membutuhkan manequin dan Standardized Patient (SP) yang membutuhkan biaya besar. Hal ini akan menjadi masalah untuk IPD yang belum well-established. Untuk itu, diharapkan DIKTI dapat membantu penyiapan OSCE untuk tiap IPD tersebut.
8. Penutup
Upaya peningkatan kualitas dan kuantitas pembuatan soal diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat Institusi Pendidikan. Untuk itu diharapkan bahwa para peserta workshop yang terpilih dapat menjadi calon narasumber untuk pelatihan yang diadakan di tingkat regional dan lokal. Dengan demikian upaya percepatan pembuatan soal yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna.
9. Lampiran
Materi workshop
