LAPORAN
WORKSHOP STANDARD SETTING KEDOKTERAN
UKDI XIX PERIODE PROYEK TAHUN 2012
KOMPONEN 2 PROYEK HPEQ
Direktorat Pembelajaran dan Kemahasiswaan
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan dan Kebudayaan
Gedung Dikti Lantai 3,
29 Februari 2012
1. Pendahuluan
Komponen 2 Proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian salah satunya yang dilakukan adalah proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Untuk itu telah terdapat berbagai metode yang telah teruji secara ilmiah dan dilaksanakan secara internasional. Secara umum terdapat 2 pengelompokan metoda yang dapat digunakan, yaitu metoda relatif dan metoda absolut.
Dalam kerangka Uji Kompetensi Dokter Indonesia (UKDI) yang dilaksanakan oleh AIPKI bekerjasama dengan Kolegium Dokter Indonesia, selama ini telah dilakukan standard setting untuk penentuan batas lulus peserta UKDI. Setelah sebelumnya digunakan metoda Standard Setting Hofstee (compromised method) yang perlu ditingkatkan kualitasnya dengan melaksanakan metoda absolut, apakah Ebel atau Modified Angoff. Dalam melaksanakan metode yang baru ini diperlukan Judge, yang perlu dilatih untuk penyamaan pemahaman secara teknis maupun filosofis. Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal tersebut, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Standard setting. Pada tahun 2010 dan 2011, proyek HPEQ telah memfasilitasi Workshop Standard Setting, yang telah menghasilkan kesepakatan penggunaan metode, yaitu modified Angoff. Untuk menjaga kualitas
standard setting yang digunakan serta menjaga nilai batas lulus yang reliabel, maka UKDI periode
XIX, perlu dilaksanakan standard setting. 2. Tujuan
Tujuan dari Workshop Standard setting UKDI XIX ini adalah: 1. Menentukan nilai batas lulus UKDI XIX
2. Dipahaminya metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah
3. Output Workshop
Output yang diharapkan dari workshop ini adalah:
1. Batas lulus untuk UKDI XIX
2. Memahami metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah
4. Metode Pelaksanaan Workshop
Workshop standard setting UKDI XIX ini dilaksanakan pada tanggal 29 Februari 2012 di Gedung Dikti Lantai 3. Peserta workshop adalah 59 judges perwakilan dari berbagai institusi dan 12 orang fasilitator.
Dari segi peserta, kehadiran peserta sangat baik dengan presentase kehadiran sebesar 100% dari total undangan. Bahkan Fakultas kedokteran Unair mengirimkan 2 orang judges. Seorang judges
dari FK UHT namanya sempat tidak ada diundangan, namun setelah konfirmasi bahwa beliau sudah pernah menjadi judges, akhirnya beliau dapat hadir pada workshop ini.
Daftar peserta workshop yang hadir adalah sebagai berikut:
NO NAMA INSTITUSI Nomor HP EMAIL
1 Tilaili Ibrahim FK Unsyiah Banda
Aceh 08126983789 tilailiibr_dr@yahoo.com 2 Arif Fadillah FK Univ. Abulyatama
Banda Aceh 08126914937; 081269416760 (No HP Sekretaris Dekan) fadillah_smart@yahoo.co.id; sri_veria@yahoo.com (Email Sekretaris Dekan)
3 Rahmi Surayya FK Univ. Malikussaleh
Lhokseumawe 085277712232
rahmisurayya@gmail.com; pspdunimal@gmail.com 4 Farhat FK Univ. Sumatera
Utara Medan 08126556810 farhatmd_ent@yahoo.co.id 5 Ristarin P. Zaluchu FK Univ. HKBP Nommensen 085292122521 ristarin@yahoo.com; fknommensen@yahoo.com 6 Linda Panjaitan FK Univ. Prima
Indonesia Medan 081376560289 dr.lindapanjaitan@yahoo.com 7 Yuniar Lestari Universitas Andalas
Padang 081363490919 yuniarmadar@yahoo.co.id 8 H. Yasril Hasan FK Univ. Baiturrahmah Padang 08126606772 hyasrilhasan@gmail.com 9 Syarif Husin FK Univ. Sriwijaya
Palembang 08127849798 pohan_61@yahoo.com 10 Hibsah Ridwan FK Univ. Muh.
Palembang 08117100130 hibsah@yahoo.com 11 Ninik Sukartini FK Univ. Indonesia
Jakarta 08128868415 niniksukartini@yahoo.com 12 Shirly Gunawan FK Univ.
Tarumanagara 0816987751 shirlyfgt@yahoo.com 13 Poppy K.
Sasmita
FK Univ. Atma Jaya
Jakarta 08161620537 poppyksasmita@yahoo.com 14 Saskia N. M. FK Univ. YARSI
Jakarta 0811955246 sknassa@yahoo.com 15 Bernadetta
Nadaek
FK Univ. Kristen
Indonesia Jakarta 081385392124 bena_beni@yahoo.com 16 Suryadi
Susanto
FK Univ. Kristen Krida
Wacana Jakarta 08990943963 suryadis_md@yahoo.com 17 Nur Hajriya Brahmi FK Univ. Pembangunan Nasional Veteran Jakarta 08128707723 hajriya@yahoo.com 18 Amir
Syarifuddin FK Univ. Muh. Jakarta 081387243577
amirfkkumj@yahoo.com; amirkiradan@gmail.com
19 Alyya Siddiqa FK UIN Jakarta 085882748084 alyyasiddiqa@gmail.com 20 Ike MP Siregar FK Unpad Bandung 0811221596 imps@psychiatry.fk.unpad.ac.id 21 Winsa FK Univ. Maranatha
Bandung 08122312777 winsa.husin@gmail.com 22 Welly Ratwita FK Univ. Jenderal
Achmad Yani Cimahi 082117811700 lywita@yahoo.com 23 Eka Hendryanny FK Univ. Islam Bandung 0817224082 eka_hendryanny@yahoo.com 24 Neneng Suryadinata FK Univ. Pelita
Harapan Tangerang 08158854481 drnenengsuryadinata@yahoo.com 25 Fitria Saftarina FK Univ. Lampung
Bandar Lampung 085788515128 fitria205@gmail.com 26 Adi Khuntoro FK Univ. Swadaya
Gunung Jati Cirebon 08122932611 drkhuntoro@gmail.com 27 Setyo Purwono FK Univ. Gadjah
Mada Yogyakarta 08562881671 setyop2003@yahoo.com 28 Arum Krismi FK Univ. Kristen Duta
Wacana Yogyakarta 0811254861 arumkrismi@yahoo.com 29 Erlina Marfianti FK Univ. Islam
Indonesia Yogyakarta 087839161997 erlyna_marf@yahoo.com 30 Dwi Ngestiningsih FK Univ. Diponegoro Semarang 08157702672 ngestiruro@yahoo.com 31 Ulfah Dian Indrayani
FK Univ. Islam Sultan
Agung Semarang 087839993553 ulfahdian@gmail.com 32 Noor Yazid FK Univ. Muh.
Semarang 08156586799 yazid_ad@yahoo.com 33 Dhoni Akbar
Ghozali
FK Univ. Sebelas
Maret Surakarta 085728275555 dhoniakbar@rocketmail.com 34 Safari Wahyu FK Univ. Muh.
Surakarta 08156714268 safari.wahyu@yahoo.co.id 35 Dwi Arini Ernawati FK Univ. Jenderal Soedirman Purwokerto 082135776427 dr_arini_unsoed@yahoo.com 36 Arif Wicaksono FK Univ. Tanjungpura
Pontianak 081802726767 docteur_arif@yahoo.com 37 Loly RD Siagian FK Univ. Mulawarman Samarinda 08123315067 lonita_ui@yahoo.com 38 Istiana FK Univ. Lambung Mangkurat Banjarmasin 081803214919 istiana_aribudi@yahoo.com 39 Astrid Teresa FK Univ.
Palangkaraya 081210909096 astridteresa86@yahoo.com 40 Sri Andarini FK Univ. Brawijaya
Malang 0816554610 sriandarini@yahoo.com 41 Fundhy Sinar FK Univ. Airlangga 08563392515 fundhy@fk.unair.ac.id
Ikrar P Surabaya
42 Al Munawir FK Univ. Jember 081559600145 diahtamankampus@yahoo.com 43 Diah
Hermayanti
FK Univ. Muh.
Malang 0811368865 diahhermayanti@yahoo.com 44 Herni Suprapti FK Univ. Wijaya
Kusuma Surabaya 08155114086 hernisuprapti@yahoo.co.id 45 Diana FK Univ. Nusa
Cendana Kupang 081353720018 hd14na@yahoo.co.id 46 Desak Made
Wihandani FK Univ. Udayana Bali 081338776244 dmwihandani@yahoo.co.id 47 M. Rizkinov
Jumsa FK Univ. Mataram 087854366606 rizkinovjumsa@yahoo.com 48 I Nengah Kapti FK Univ. Warmadewa
Denpasar 08155763967 inkapti@yahoo.com 49 Ashaeryanto FK Unhalu 081342444225 ashaeryanto@yahoo.com 50 Aristo PSPD Untad 085255278466 ithoe_gore@yahoo.com 51 Nurmeity PSPD Univ. Alkhairat 081241881401 meity_pasau@yahoo.com 52 Bernadette
Dian Novita
FK Unika Widya
Mandala Surabaya 08123547540 diannovitakrisdianto@yahoo.co.id 53 Ikhlas M. Jenie FK Univ. Muh.
Yogyakarta 085868182858 ikhlasjenie@yahoo.co.uk 54 R. Hasanusi FK Univ. Pattimura 085243050050 refretro@ymail.com;
refretro@gmail.com 55 Agnes S Rahayu FK Univ.
Cenderawasih 085244719222 visusdoc@yahoo.com 56 Sri Asriyani FK Univ. Hasanuddin
Makassar 08164399032 sri_asriyani@yahoo.com 57 M. Yulis
Hamidy FK UNRI 085211324747 yulis_hamidy@yahoo.com 58 Herin
Setianingsih FK UHT
031-92129634;
089677529949 herinpurwanto22@gmail.com *Satu orang judge dari FK Unair tidak mengisi database.
Fasilitator yang hadir berjumlah 9 orang dari 12 undangan dan wakil koordinator komponen 2. Daftar fasilitator yang hadir adalah sebagai berikut:
No. Nama Institusi HP E-mail
1 Sugito Wonodirekso Tim KB UKDI/ FK UNTAN 081319243747 gitorekso@yahoo.com
2 Gandes Retno Rahayu FK UGM 08121552676 gandes_rr@hotmail.com
3 Iwan Dwi Prahasto FK UGM 0811293963 Iwan_dwiprahasto@yahoo.co.
uk
5 Erial Bahar FK UNSRI 0816385712 erialbahar@unsri.ac.id
6 Mohammad Ghozali Tim KB UKDI/ FK UNPAD 081320359090 moh.ghozali@yahoo.com;
ghozali@unpad.ac.id
7 Yulherina Tim KB UKDI 0811980414 yulherina@yahoo.com
8 Cholis Abrori FK UNEJ 08121519580 dollis_dr@yahoo.com
9 Riyani Wikaningrum FK UY 08161379025 rwikaningrum@yahoo.com
Workshop diawali dengan pembukaan oleh Ketua KBUKDI, Sugito Wonodirekso dengan pengarahan pentingnya standard setting dalam Uji Kompetensi Dokter Indonesia. Setelah itu dilanjutkan presentasi mengenai Borderline atau minimally competent student oleh Moh. Ghozali. Setelah menyepakati kriteria borderline UKDI yang akan digunakan dan kemudian peserta/ judges standard setting dibagi dalam kelompok kecil (8 kelompok) dengan menggunakan metode modified Angoff. Masing-masing kelompok di dampingi oleh fasilitator. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan cukup tepat waktu. Berikut adalah rundown acara workshop pada kondisi riil :
Rabu, 29 Febuari 2012
09.30-09.45 Pembukaan dan Pengarahan Sugito Wonodirekso/ Ketua KB UKDI
09.45-10.00 Penjelasan borderline KB UKDI/ Moh. Ghozali 10.00-12.30 Penentuan Batas Lulus UKDI XIX dengan
Metode Absolut Angoff (Kerja Kelompok dibagi 8 kelompok)
Fasilitator
12.30-13.30 ISHOMA Panitia
13.30–14.00 Kesepakatan hasil perhitungan Nilai Batas Lulus (NBL) dan Diskusi
KB UKDI / Yulherina
14.00–14.30 Wrap up dan Rencana tidak Lanjut Sugito Wonodirekso/ Ketua KB UKDI
5. Hasil Kegiatan
Hasil dari latihan menentukan standard setting pada hari pertama adalah sebagai berikut. Kelompok 1-4 mengerjakan buku 1 mendapatkan rata-rata nilai batas lulusnya adalah 62,2. Sedangkan kelompok 5-8 yang mengerjakan buku 2 mendapatkan nilai batas lulusnya adalah 62,9. Hasil rata-rata kedua kelompok ini tidak menunjukkan perbedaan yang signifikan sehingga disepakati bahwa Nilai Batas Lulus (NBL) pada UKDI kali ini adalah 62.
Dari hasil kuesioner terhadap fasilitator diketahui bahwa pemahaman judges terhadap konsep
borderline sudah cukup baik, karena judges yang terlibat dalam standard setting kali ini pada
dasarnya sudah berpengalaman menjadi judges pada standard setting sebelumnya.
Hasil dari penentuan Nilai Batas Lulus untuk UKDI XIX pada workshop ini adalah sebagai berikut: No. KOMPONEN TARGET REALISASI
1. Jumlah judge 57 59
2. Jumlah fasilitator 12 9 3. Nilai Batas Lulus 61 62 4. Kelulusan 1st taker - 79%
Nilai kelulusan first taker tidak ditentukan targetnya karena berdasarkan hasil diskusi tim monev dengan wakil koordinator komponen 2, memang tidak menargetkan presentase kelulusan. Nilai batas lulus lebih tinggi 1 poin dibandingkan UKDI sebelumnya yaitu 61. Nilai batas lulus yang dihasilkan dari proses ini dinilai sudah cukup ideal. Dengan peningkatan nilai batas lulus ini diharapkan lulusan dokter yang dihasilkan benar-benar memiliki kompetensi sesuai dengan standar.
Namun demikian, dari hasil kuesioner terhadap penilaian nilai ideal dalam UKDI, beberapa peserta berpendapat bahwa NBL dibawah 70 masih belum ideal karena belum menunjukkan nilai kompetensi seorang dokter.
Berdasarkan analisis tim monev, partisipasi peserta sudah baik dalam mengikuti workshop baik dari kehadiran maupun keaktifan dalam berdiskusi. Sebagian besar peserta kooperatif dan memiliki itikad baik dalam melakukan standard setting. Namun, masih ada peserta yang datang terlambat. Apabila peserta datang tepat waktu dan menghadiri semua sesi, workshop dapat berjalan lebih efektif.
Di lain pihak, tetap dibutuhkan pematangan dalam kemampuan menentukan standard setting dalam memahami konsep dan metode standard setting serta meninggalkan segala atribut atau kepentingan institusi. Dengan demikian, sebaiknya masing-masing peserta dapat menyusun plan
of action yang strategis untuk memperbaiki kinerja sebagai judges dalam penentuan standard setting yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter dan
lulusannya. 6. Refleksi
Setelah dilakukan analisis hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut :
Gambaran Umum
Diskusi dan pemberian materi secara umum berjalan dengan baik. Peserta aktif berdiskusi dan sehingga tercapai kesepahaman dalam memahami kriteria borderline dan metode modified
diikutsertakan adalah yang sudah berpengalaman, sehingga pada hari pertama pertemuan,
judges sudah langsung bekerja dalam kelompok. Pemahaman yang baik terhadap borderline juga
dianggap sebagai salah satu faktor pendukung kesuksesan standard setting kali ini. Hal ini dapat dilihat dari perbedaan antara hasil NBL antara kelompok 1 dan kelompok 2 yang tidak terlalu signifikan. Sehingga secara umum dapat diartikan pemahaman judges terhadap konsep
borderline sudah cukup seragam.
Fasilitator
KENDALA YANG DIHADAPI :
Kesulitan ditemui pada judges yang institusinya belum meluluskan Beberapa soal dianggap tidak valid
Ada ‘oknum’ yang belum menghayati filosofinya. Secara umum tidak ada kendala yang berarti
Penghayatan atau penentuan borderline belum sempurna REKOMENDASI PERBAIKAN :
Dicoba online method
Fasilitator sebaiknya dari AIPKI wilayah
Perlu menyiapkan sistem komputerisasi/ computer based untuk standard setting Peserta
Beberapa usul dan saran peserta:
perbaiki kelancaran penggantian transport jangan tertunda lama mohon sediakan stempel untuk surat tugas dari fakultas
persamaan persepsi fasilitator dalam teknis bimbingan kelompok sehingga sama ruangan terlalu dingin
waktu workshop lebih panjang
perbanyak simulasi terutama jika jumlah judge baru banyak lokasi workshop di tempat yang lebih mudah dijangkau
SPPD dari Dikti diberikan bersama undangan, bukan pada saat acara berlangsung undangan diberikan lebih awal
Tim Monev
Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari
59 kuesioner, sejumlah 52 kuesioner kembali ke tim monev. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama orientasi di awal yang jelas, materi yang sangat baik, fasilitator, dan metode workshop yang baik.
0% 2%
54% 44%
Proporsi Satisfaction Level
tidak sesuai kurang sesuai sesuai paling sesuai 0 5 10 15 20 25 30 35 0 0 0 0 2 0 0 0 0 0 0 0 0 1 0 1 0 3 2 3 0 1 2 1 1 0 1 2 25 25 25 24 28 27 19 27 24 33 33 29 34 32 26 25 26 24 19 21 31 23 23 17 16 22 16 16
Rekap Feedback WS Standard Setting UKDI XIX
Analisis lebih lanjut terhadap feedback peserta, didapatkan bahwa sebagian besar peserta memberikan respon positif terhadap semua indikator penilaian. Nilai kepuasan terbesar terdapat pada indikator fasilitator dimana peserta merasa mendapatkan added value yang maksimal dari pengarahan yang diberikan oleh fasilitator dalam membantu memahami tugas sebagai judges. Faktor yang dinilai sedikit kurang memuaskan adalah dalam hal indeks kesukaran untuk membantu penilaian dan NBL yang dihasilkan.
Dari sisi pelaksanaan workshop, seluruh agenda kegiatan dapat dilaksanakan secara time
efficient. Tujuan workshop pun dapat dicapai dengan baik. Acara selesai pada pukul 14.30 dari
yang semula direncanakan selesai pada pukul 16.00. Meski demikian, dengan selesainya acara sebelum waktu yang direncanakan menyebabkan tim pelaksana teknis, dalam hal ini keuangan, harus bekerja lebih cepat dalam menyiapkan dana pengganti kepada peserta. Pada saat kegiatan berlangsung juga ada beberapa peserta yang harus pulang sebelum waktunya dikarenakan keterbatasan tiket pesawat untuk pulang ke daerah masing-masing.
7. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
1. Perlunya sosialiasi hasil Standard setting ini ke institusi masing-masing dalam forum dekan maupun media sosialisasi lainnya.
2. Pemahaman yang lebih baik terhadap konsep borderline dan kesukaran soal kepada masing- masing judges.
3. Pembinaan mahasiswa terutama retaker sebagai hasil tindak lanjut Standard Setting 4. Perbaikan terhadap sistem assessment di institusi pendidikan kedokteran.
5. Penyempurnaan terhadap kriteria judges. 8. Penutup
Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini yang sangat menentukan kelulusan terutama pada kelompok borderline sangat krusial. Oleh karena itu, pemahaman dan peningkatan kemampuan standard setter dalam panel expert sangat diperlukan melalui kegiatan workshop. Oleh karena itu, dukungan semua pihak terhadap keberhasilan workshop ini sangat diperlukan.
9. Lampiran
a. Catatan Diskusi b. Materi workshop c. Hasil Standard Setting d. Database peserta e. Foto-foto
