LAPORAN
WORKSHOP PELATIHAN PENGUJI OSCE KG WILAYAH BARAT
Komponen 2- Health Professional Education Quality (HPEQ Project)
Direktorat Pembelajaran dan Kemahasiswaan
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Dan Kebudayaan
1. Pendahuluan
Komponen 2 HPEQ Project bertujuan untuk meningkatkan kompetensi tenaga kesehatan melalui peningkatan kualitas sistem ujian. Salah satu fokus kegiatan adalah peningkatan sistem ujian dengan pengembangan metode ujian yang menguji keterampilan klinik dalam bentuk Objective Structured Clinical Examination (OSCE).
Objective Structured Clinical Examination (OSCE) pada Uji Kompetensi Dokter Gigi Indonesia (UKDGI) telah memasuki tahap implementasi pada UKDGI Periode I Tahun 2012. Terhadap pelaksanaan implementasi tersebut telah dilaksanakan evaluasi yang salah satu hasilnya menunjukan bahwa salah satu titik lemah penyelenggaraan OSCE adalah banyaknya penguji yang kurang memiliki pemahaman dan keterampilan dalam melakukan penilaian.
Sebagai tindak lanjut temuan tersebut dipandang perlu untuk melaksanakan Pelatihan Penguji OSCE di tingkat nasional sebagai upaya peningkatan kualitas Penguji OSCE yang menjadi salah satu faktor penentu keberhasilan ujian dengam metoda Objective Structured Clinical Examination (OSCE).
2. Tujuan
1. Tercapainya kesamaan persepsi mengenai tugas Penguji OSCE
2. Penguji OSCE memahami cara menilai dan mengisi Lembar Penilaian (Check List) 3. Penguji OSCE memahami cara menilai dan mengisi Global Performance Scale
3. Output Workshop
1. Penguji OSCE memahami tugasnya
2. Penguji OSCE dapat melakukan penilaian dan pengisian Lembar Penilaian (Check List) dengan benar
3. Penguji OSCE dapat melakukan penialian dan pengisian Global Performance Scale dengan benar.
4. Metode Pelaksanaan Workshop
Pelatihan ini akan diberikan dengan cara: 1. Pemaparan materi oleh narasumber 2. Contoh kasus
3. Tanya jawab
Workshop nasional panel expert ini dilaksanakan pada tanggal 11-12 April 2012 di Hotel Century Atlit, Jakarta. Jumlah peserta workshop yang hadir adalah peserta yang terdiri dari :
Peserta pelatihan terdiri atas Penguji OSCE Wilayah Barat:
2. 8 orang penguji dari Universitas Baiturrahmah 3. 8 orang penguji dari Universitas Indonesia
4. 8 orang penguji dari Universitas Prof. Dr. Moestopo (Beragama) 5. 8 orang penguji dari Universitas Padjadjaran
6. 8 orang penguji dari Panitia Lokal UKDGI di KDGI Jakarta
Institusi Nama Pendidikan Keahlian
UI Bramma Kiswanjaya S3 Radiologi UI Daru Indrawati Sp Kons. Gigi UI Vera Zulia Sp Bedah Mulut UI Indriati Indah Wardhany Sp Peny. Mulut UI Muslita Indrasari Sp Prostodonsia UI Nada Ismah Sp Ortodontik UI Winoto Suhartono S2 Biologi Mulut UI Yuniardini Septorini S3 Bio Medik Unbrah Abu Bakar S1 Peny. Mulut Unbrah Augeswina S1 Ked. Gigi Anak Unbrah Fauzia Nilani Orienty S1 Periodonsia Unbrah Firdaus S1 Bedah Mulut Unbrah Kornialia S1 Ortodontik Unbrah Resa Ferdina S1 Prostodonsia Unbrah Ricky Amran S1 Prostodontik Unbrah Senja Dini Harti S1 Kons. Gigi
Unpad Dede Hadidjah S2 Periodonsia Unpad Elih Sp Ortodontik Unpad Endang Sukartini Sp Kons. Gigi Unpad Kirana Lina Gunawan S2 Anastesi Unpad Ratna Indriyanti Sp Ked. Gigi Anak Unpad Asti Samiati S2 IKGM
Unpad Setyawan Bonifacius S1 Prostodontik Unpad Tenny Setiani Dewi S2 Peny. Mulut UPDM(B) Budihardjo S3 IKGM UPDM(B) Evie Lamtiur Sp Ortodontik UPDM(B) Paulus Januar S3 IKGM UPDM(B) Grace Syavira Sp Kons. Gigi UPDM(B) Pricilia Priska Sianita Sp Ortodontik UPDM(B) Ricky Setiawan Sp Prostodontik UPDM(B) Tjokro Inghadiwidjojo S1 Peridontik UPDM(B) Wilya Elawitachya S1 IKGM
Usakti Anastasia Elsa Priahasti Sp Kons. Gigi Usakti Anggraeny Putri Sekar Sp Bedah Mulut
Usakti Dewi Priandini S3 Peny. Mulut Usakti Elsyawati Nizar S2 Prostodontik Usakti Fatimah Boenjamin S3 Ked. Gigi Anak Usakti Isnanie Tenie S2 Ortodontik Usakti Lies Zubardiah S3 Periodontik Usakti Sri Lestari S2 IKGM
USU Cut Nurliza S2 Kons. Gigi USU Hendri Rusdi Sp Bedah Mulut USU Irmansyah S3 Periodontik USU Muslim Sp Ortodontik USU M. Zulkarnain S2 Prostodontik USU Pitu Wulandari Sp Periodontik USU Trelia Boel S3 Radiologi USU Wilda Hafni Lubis S2 Peny. Mulut
Narasumber Pelatihan Peguji OSCE:
1. Ketua KDGI, Boedi Oetomo Roeslan 2. Ketua Tim Teknis UKDGI, Melani S. Djamil 3. Mei Syafriadi (FKG UNEJ)
4. Adam Malik (FKG UNHAS) 5. Indri Kurniasih (FKG UMY)
Core Team Kedokteran Gigi
1. Kosterman 2. Iwan Dewanto 3. Wiwiek P 4. Mia Damiyanti
Participation rate pada workshop pelatihan ini sangat baik karena peserta yang hadir adalah 100% sesuai dengan undangan. Narasumber Pelatihan kali ini juga hadir semua. Ada beberapa anggota core team yang tidak hadir yaitu prof Hazlinda, drg Utmi, serta drg Gilang Yubliana.
Acara dimulai tepat jam 14.00. Secara umum acara berjalan sesuai TOR namun ada beberapa penyesuaian jadwal acara dan pemberi materi. Meskipun demikian, nilai substansi dari tiap materi yang diberikan oleh narasumber tidak berkurang. Berikut adalah rundown acara workshop pada kondisi riil :
Rabu, 11 April 2012
13.00–14.00 Registrasi dan Makan Siang Panitia
14.15 – 14.30 Pembukaan Ketua KDGI / Prof Boedi O Roeslan
14.30 - 15.30 Penjelasan Mengenai Evaluasi Hasil Kerja Penguji OSCE UKDGI Periode I Tahun 2012
Ketua Tim Teknis UKDGI/ Melani S. Djamil
15.30 – 16.00 ISHOMA PANITIA
16.00 - 18.00 Diskusi Kelompok Core Team
18.30 - 20.00 ISHOMA Panitia
20.30 – 21.00 Objective Structured Clinical Examination (OSCE), Filosofi dan Mekanisme Pelaksanaan
Wiwiek Poedjiastoeti
21.00 - 22.00 Simulasi Pengisian GPS & Diskusi Tentang Ceklist & GPS
Core Team
Kamis, 12 April 2012
08.00 - 09.00 Analisa Data Adam Malik
09.00 – 10.00 Standart Setting OSCE Indri Kurniasih
10.00 - 11.00 Wrap Up dan penutupan Ketua KDGI/ Boedi Oetomo Roeslan
5. Peserta
Persyaratan peserta pada workshop pelatihan penguji OSCE Kedokteran Gigi Wilayah Timur kali ini adalah :
1. Staf dosen FKG/PSKG
2. Ditunjuk oleh Dekan/ Kaprodi dan akan ditugaskan menjadi Penguji OSCE pada UKDGI Periode II Tahun 2012
3. Disarankan peserta yang tidak sedang ditugaskan sebagai salah satu komponen pelaksana kegiatan HPEQ yang lain
6. Hasil Kegiatan
Workshop ini diawali pembukaan dari Ketua KDGI terkait hal-hal yang berkaitan tentang uji kompetensi. Dimulai dari latar belakang uji kompetensi, kerjasama antara project HPEQ dengan phak kolegium dalam meningkatkan kualitas lulusan doter gigi serta overview singkat mengenai hasil pelaksanaan ujian OSCE pada periode 1 UKDGI 2012. Tak lupa, ketua KDGI mengingatkan kepada perwakilan institusi untuk menyampaikan
kepada dekan institusinya masing-masing mengenai hasil-hasil yang diperoleh dalam pelatihan ini.
Materi selanjutnya disampaikan oleh prof Melanie mengenai hasil evaluasi hasil kerja penguji OSCE UKDGI Periode I Tahun 2012. Dimulai dari latar belakang workshop pelatihan penguji OSCE kali ini, berbagai kesalahan yang dilakukan oleh penguji OSCE, hasil-hasil dari setiap station yang ada dan harapan-harapan setelah adanya workshop pelatihan penguji OSCE ini.
Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop pelatihan penguji OSCE secara umum adalah sebagai berikut:
No. KOMPONEN TARGET REALISASI
1. Jumlah institusi yang mengirim peserta dalam workshop 6 6 2. Jumlah peserta workshop 48 48
3. Jumlah narasumber 5 5
Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini sudah optimal dalam semua komponen.
Beberapa faktor mendukung tercapainya target
1. Narasumber yang sudah memahami materi dengan baik
2. Institusi-institusi yang berada dalam wilayah barat berperan serta aktif dalam persiapan ujian OSCE
Berikut ini adalah realisasi jumlah penguji OSCE wilayah barat yang mewakili institusinya. 0 10 20 30 40 50 60
Jumlah Institusi yang mengirim eserta dalam
workshop
Jumlah peserta workshop Jumlah Narasumber
TARGET REALISASI
Sebelum pembekalan materi, setiap peserta diberi lembar pretest dan kemudian dilanjutkan dengan diskusi kelompok dengan topik bahasan yaitu :
1. Syarat penguji
2. Tugas/fungsi penguji OSCE
2. Global Performance Scale (GPS) didalam osce 3. Pengertian borderline dalam GPS OSCE UKDGI 4. Fungsi GPS di dalam Standart Setting
Setelah ishoma, setiap kelompok mempresentasikan hasil diskusinya. Acara kemudian dilanjutkan dengan pembekalan materi OSCE Examiner Enhanced oleg drg Wiwiek P dan simulasi pengisian GPS serta diskusinya (peserta dibagi menjadi 8 station). Dikarenakan ada beberapa fasilitator dari core team yang tidak dapat hadir maka ada fasilitator yang menjadi koordinator di 2 station.
Berikut Pembagian Kelompok Simulasi Pengisian GPS
No INSTITUSI MEJA
1 STASION 1 (Bedah Mulut) WIWIK P 1
2 STASION 2 (Bedah Mulut) MEI S 2
3 STASION 3 (Konservasi) ADAM M 3
4 STASION 4 (Perio) KOSTERMAN 4
5 STASION 5 (Ortho) MIA D 5
0 1 2 3 4 5 6 7 8 9 Universitas Sumatera Utara Universitas Baiturahmah Universitas Indonesia Universitas Prof Dr. Moestopo (Beragama) Universitas Padjadjaran Universitas Trisakti Target Realisasi
6 STASION 6 (IKGM) IWAN D 6
7 STASION 7 (Ilmu Penyakit Mulut) 7
8 STASION 8 (Prostodonti) Indri 8
Uji coba OSCE kali ini dapat berjalan dengan baik. Soal-soal OSCE yang dipakai dalam workshop kali ini merupakan soal yang telah terkumpul dalam item development OSCE beberapa saat yang lalu.
Hari kedua diisi dengan presentasi hasil dari pretest yang telah dilakukan di hari pertama oleh drg Adam Malik serta presentasi standart Setting OSCE oleh drg Indri Kurniasih. Sebelum acara ditutup, peserta kembali diberikan lembar postest untuk melhat hasil perkembangan peserta sebelum dan sesudah mengikuti workshop
Hasil Evaluasi Pre test
0
2
4
6
8
10
1
2
3
4
5
6
1
2
3
4
5
6
7
8
Grafik Total Jumlah Peserta Yang Menjawab Kurang Tepat
Berdasarkan analisa tim monev, pencapaian target jumlah institusi yang berkontribusi dan jumlah peserta yang berpartisipasi sudah mendekati target yang disepakati bersama.
Peserta sudah berjanji bahwa akan mengadakan workshop pelatihan penguji OSCE di institusinya masing-masing.
Berdasarkan kesepakatan tersebut, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja masing-masing institusi dalam hal implementasi mekanisme pelatihan penguji OSCE yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter gigi dan lulusannya. Analisis ini juga dapat dijadikan input evaluasi diri dari tim core UKDGI dan strategi yang seharusnya diterapkan untuk tiap wilayah OSCE kedokteran gigi dalam meningkatkan kualitas pelaksanaan uji kompetensi yang akan berdampak positif pada kualitas lulusan uji kompetensi dokter gigi.
7. Refleksi
Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja peserta yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut :
Gambaran Umum
1
2
3
4
5
6
7
8
9
10 11
Total 15 13 10
2
27 21 17 20 29 25 19
0
10
20
30
40
Axis
Title
Total
Acara berjalan sesuai jadwal meskipun urutan acara mengalami perubahan dari yang ada didalam TOR
Perlu koordinasi intens dengan pihak Proyek HPEQ terkait hal-hal atau materi yang mendukung kegiatan ini seperti form pre test dan post test, form data peserta, serta bahan-bahan untuk simulai ujian OSCE
Narasumber
1. Bagaimana kemampuan peserta sebagai penguji OSCE ? - Sebagian besar mampu menjadi penguji
- Diawal masih kurang memahami fungsi GPS tetapi diakhir kegiatan sudah mempunyai persepsi yang sama tentangcara pengisian GPS
- Masih belum sempurna, namun usaha untuk lebih baik sudah terlihat
- Belum ada cek untuk para peserta akan menularkan pengetahuannya ke institusi masing-masing
- Cukup mampu berperan sebagai penguji
- Ada beberapa peserta baru yang kurang paham
2. Kendala yang mungkin akan dihadapi oleh peserta workshop sebagai penguji OSCE ? - Kemampuan fasilitator yang maish perlu dikalibrasi
- Pengisian checklist penilaian & GPS
- Imajinasi pada saat proses sebagai pengujimasih belum optimal
- Metode Pelatihan yang perlu diperbaiki/disempurnakan misal dengan simulasi (role play) atau dengan video untuk mencapai penguatan penguji dalam menilai checklist dan GPS
- Belum ada pengalaman beberapa peserta
3. Kendala yang dihadapi dalam melatih penguji OSCE ?
- Alat/ sarana untuk melatih seperti video atau sarana IT lainnya
- Masih ada peserta yang belum mempunyai pengalaman menjadi penguji OSCE - Membuat alur yang tepat untuk mendapatkan outcome yang baik
- Keterbatasan pehamanan terutama pada aspek standar setting dengan metode borderline regression method
- Tidak ada
4. Masukan perbaikan terhadap workshop ini ?
- Perlu kalibrasi fasilitator dan persiapan dan pengadaan sarana-sarana penunjang - Dibutuhkan adanya simulasi sebagai penguji
- Pakai media ajar & multimedise sehingga lebih visual - Perlu persiapan dan perencanaan pelatihan yang lebih baik - Tidak ada
1. Kesiapan menjadi penguji OSCE serta menjadi fasilitator workshop penguji OSCE baik ditingkat institusi maupun regional setelah mengikuti workshop ini ?
- Lebih baik - Siap
- Masih butuh waktu untuk penyempurnaannya
2. Kesiapan institusi dan mahasiswa dalam mengimplementasikan OSCE ?
- Mahasiswa lebih giat belajar mandiri dengan menjawab benar dan penampilan, sistematika, waktu, kecepatan menjawab
- Siap
- Siap dengan perbaikan-perbaikan atas kekurangan yang ada - Institusi siap tetapi untuk mahasiswa perlu dilakukan sosialisasi
3. Kendala yang dihadapi sebagai penguji OSCE ?
- Menilai sobyektif mungkin dengan benar, jujur, adil, dan cepat - Siap fisik dan sehat (Sering jadi kendala)
- Belum terbiasa
- Persamaan persepsi dalam menilai - Padatnya tugas pada institusi
- Soal yang diuji sebenarnya yang membuat adalah orang-orang yang ahli dibidangnya
- Bila soal/yang dituntut banyak tapi waktu kurang per station - Soal kurang baik -> bingung
- Tidak semua sdm di fakultas - Ketidaksamaan istilah
- Ketidaksamaan pemberian materi di setiap fakultas - Tidak semua SDM di fakultas
- Sementara hanya tidak cocok antara soal dan tugas - Waktu ujian di hari sabtu
- Soal kurang sempurna dan soal terlalu panjang sehingga waktu kurang - Menentukan skor GPS memerlukan pengalaman
- Ketidaksesuaian antara skenario dan ceklist - (faktor kelelahan)
- Penilaian GPS masih sulit perlu beberapa kali latihan/tryout - Dalam hal subjektifitas
4. Usul/saran konsolidasi item writer, penguji OSCE dan pelatih SP yang efektif ? - Sering berlatih terus
- Adakan evaluasi tentang sistem dan atau option kemudian diujicobakan / vealiditas dan reliabilitasnya
- Untuk item writer perlu menguji soal sebelum digunakan - Untuk penguji perlu persamaan persepsi
- Untuk pelatih PS agar secara secara konsisten
- Pembuat soal harus mempunyai persepsi yang sama dalam penalaran
- Pembuat soal penguji atau pelatih mempunyai persepsi yang sama tentang keilmuan disetiap stasiun
- Pertemuan pakar berkala dari tiap bidang ilmu yang berasal dari berbagai universitas
- Perlu sosialisasi tim inti ke tia-tiap fakultas
- Perlu koordinasi tim ikatan profesi untuk masuk soal
- Semua FKG se indonesia harus berkumpul untuk review soal - SP harus betul-betul dilatih
- Item writer perlu didiskusikan materinya di institusi sesuai dengan bidangnya terlebih dahulu
- Penguji OSCE dan pelatih SP -> mengikuti pelatihan secara berkala mendapat update informasi
- Item writer sebaiknya mensosialisasikan buku ajar yang dipakai kepada tiap isntitusi
- Penguji sebaiknya sempat memeriksa soal dan menyamakan persepsi
- Pelatih SP -> membaca soal dengan seksama sehingga dapat memberi arahan dengan tepat
5. Usul/saran untuk memperbaiki kualitas penguji OSCE dalam UKDGI ? - Sering berlatih terus
- Perlu ada pelatihan-platihan lagi dan perbaikan dari saran-saran dosen pada meeting ini
- Kalau bisa, pakar lebih transparansi, siapa saja
- Adakan reinforcing dana monitoring para penguji dan evaluasi - Sering diadakan pelatihan
- Sering diadakan penataran (workshop) / penyegaran dalam waktu yang tidak terlalu lama
- Sering diadakan pertemuan - Selalu diberi penyegaran
- Refresh, berkala dan persyaratan benar-benar dipenuhi - Pelatihan berkala Tambah pelatihan melalui video
- Pelatihan secara menyeluruh dan evaluasi tiap akhir ujian sehingga didapat penguji yang juga kompeten dalam menguji
6. Usul/saran untuk memperbaiki checklist/form penilaian OSCE ? - Perlu adanya reviewer yang ahli pada bidangnya
- Untuk substansi essential skala likert digunakan supaya lebih adil dan obyektif - Perlu prioritas dalam check list utnuk hal-hal yang essential
- Judge/penguji harus menilai tidak secara obyektif
- Untuk ceklist essential harus disepakati oleh pakar+reviewer
- Judge /penguji harus menilai secara objektif untuk ceklist essential harus disepakati oleh para pakar+reviewer
- Ceklist benar-benar jelas sehingga siapapun yang menjadi penguji akan mempunyai persepsi yang sama
- Judge/penguji harus menilai secara subjektif atau unsur suka dan tidak suka terhadap kandidat/harus netral
- Pembuat soal, penguji, dan pelatih mempunyai bekal yang sama tentang keilmuan disetiap station
- Ada seorang yang independen yang ditugaskan untuk menelaah ceklist secara teknis untuk meminimalkan kesalahan teknis -> ceklist sudah harus disetujui oleh pakar
- Ceklist menimbulkan keraguan pemahaman - Ceklist tidak hanya skor 0 dan 1 (hanya 2 pilihan) - Konsolidasi para pakar setiap universitas
- Sesuai soal dengan ceklist
- Dikaji oleh pakar interviewer dan mempertimbangkan usulan-usulan dari evaluasi/catatan enguji OSCE sebelumnya
- Memberi tanda padaitem yang essential pada tutor guide
- Format ceklist diseragamkan dan dibuat dalam point yang tidak terlalu banyak sehingga tidak memakan waktu terlampau panjang untuk pengisiannya, mengingat tidak banyak waktu tersedia tiap peralihan station
- Point-point / penilaian yang menimbulkan multi persepsi coba untuk diseragamkan
- Nilai untuk setiap kolom dicetak -> examiner tinggal melingkari saja - Soal lebih mengerucut
- Soal harus mudah dimengerti
- Selalu mengikuti perkemangan ilmu dan metode dari setiap universitas agar didaptkan standar penilaian yang baik
8. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
- Memberi latihan dari video saat test kandidat
- Adakan reinforcing, tukar/sharing pengalaman para penguji per wilayah 6 s/d 1 tahun sekali
- Adanya keseimbangan dengan ilmu yang ditempuh - Pelatihan berkala
- Diikuti dengan pelatihan pembuatan soal dan review soal - Kritik, saran, dan masukan peserta dapat diterima baik oleh tim - Pelatihan berkala
- Sering workshop
- Buku, media video, powerpoin sebagai alat bantu diberikan - Diadakan kursus penyegaran dan evaluasi rutins
- Berikan handsout/buletin/majalah yang dikeluarkan secara berkala agar peserta workshop selalu mendapatkan update berita dan ilmu pengetahuan
- Waktunya diperpanjang sehingga peserta bisa berkonsentrasi dalam mengikuti pelatihan
9. Penutup
Upaya peningkatan mutu lulusan dokter gigi dilakukan melalui uji kompetensi dengan OSCE menjadi salah satu bagian exit exam selain CBT. Penguji OSCE merupakan bagian krusial karena mereka lah yang menjadi judges. Pelatihan penguji dimaksudkan agar ada kalibrasi dan bahan evaluasi setelah pelaksanaan Uji Kompetensi CBT dan OSCE periode 1 2012. Hasil pelatihan juga meminta para peserta workshop yang terpilih supaya dapat menjadi narasumber dan fasilitator untuk pelatihan di institusinya masing-masing serta menjadi motor penggiat Item Development. Dengan demikian upaya peningkatan mutu uiaan OSCE kedokteran gigi dapat berjalan dengan baik dan memiliki dampak yang lebih luas.
Lampiran
Point of Discussion Workshop
Form Pretest dan Posttest Penguji OSCE
Blue Print OSCE Design
Standart Setting
Hasil Pretest Wilayah Barat
Database Panel Expert
Rundown Pelatihan Penguji OSCE
