LAPORAN
WORKSHOP STANDARD SETTING KEDOKTERAN
UKDI XVIII PERIODE PROYEK TAHUN 2011
KOMPONEN 2 PROYEK HPEQ
Direktorat Pembelajaran dan Kemahasiswaan
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
Hotel Arion Cengkareng,
1. Pendahuluan
Komponen 2 Proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian salah satunya yang dilakukan adalah proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Untuk itu telah terdapat berbagai metode yang telah teruji secara ilmiah dan dilaksanakan secara internasional. Secara umum terdapat 2 pengelompokan metoda yang dapat digunakan, yaitu metoda relatif dan metoda absolut.
Dalam kerangka Uji Kompetensi Dokter Indonesia (UKDI) yang dilaksanakan oleh AIPKI bekerjasama dengan Kolegium Dokter Indonesia, selama ini telah dilakukan standard setting untuk penentuan batas lulus peserta UKDI. Setelah sebelumnya digunakan metoda Standard Setting Hofstee (compromised method) yang perlu ditingkatkan kualitasnya dengan melaksanakan metoda absolut, apakah Ebel atau Modified Angoff. Dalam melaksanakan metode yang baru ini diperlukan Judge, yang perlu dilatih untuk penyamaan pemahaman secara teknis maupun filosofis. Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal tersebut, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Standard Setting.
Pada tahun 2011, proyek HPEQ telah memfasilitasi 3 gelombang Workshop Standard Setting, yang telah menghasilkan kesepakatan penggunaan metode, yaitu modified angoff. Untuk menjaga kualitas standard setting yang digunakan serta menjaga nilai batas lulus yang reliabel, maka UKDI periode XVIII, perlu dilaksanakan standard setting.
2. Tujuan
1. Menentukan nilai batas lulus UKDI XVIII
2. Dipahaminya metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah
3. Output Workshop
Output yang diharapkan dari workshop ini adalah:
1. Batas lulus untuk UKDI XVIII
2. Memahami metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah
4. Metode Pelaksanaan Workshop
Workshop standard setting UKDI XVIII ini dilaksanakan pada tanggal 22-23 November 2011 di Hotel Arion Cengkareng. Peserta workshop adalah 58 judges perwakilan dari berbagai institusi dan 11 orang fasilitator.
Dari segi peserta, kehadiran peserta cukup baik dengan prosentase kehadiran sebesar 80,5% dari total undangan. Daftar peserta workshop yang hadir adalah sebagai berikut:
NO NAMA INSTITUSI HP EMAIL
1 Tilaili Ibrahim FK Unsyiah Banda Aceh 08126983789 tilailiibr_dr@yahoo.com 2 Arif Fadillah FK Univ. Abulyatama Banda
Aceh 08126914937 fadillah_smart@yahoo.co.id 3 Rahmi Surayya FK Univ. Malikussaleh
Lhokseumawe 085277712232
rahmisurayya@gmail.com; pspdunimal@gmail.com 4 Farhat FK Univ. Sumatera Utara
Medan 08126556810 farhatmd_ent@yahoo.co.id 5 Ristarin P. Zaluchu FK Univ. HKBP Nommensen 085292122521 ristarin@yahoo.com;
fknommensen@yahoo.com 6 Linda Panjaitan FK Univ. Prima Indonesia
Medan 081376560289 dr.lindapanjaitan@yahoo.com 7 Arina Widya Murni FK Univ. Andalas Padang 08126740742 arina_widya_murni@yahoo.com 8 H. Yasril Hasan FK Univ. Baiturrahmah Padang 08126606772 hyasrilhasan@gmail.com 9 Syarif Husin FK Univ. Sriwijaya Palembang 08127849798 pohan_61@yahoo.com 10 Hibsah Ridwan FK Univ. Muh. Palembang 08117100130 hibsah@yahoo.com 11 Ninik Sukartini FK Univ. Indonesia Jakarta 08128868415 niniksukartini@yahoo.com 12 Shirly Gunawan FK Univ. Tarumanagara 0816987751 shirlyfgt@yahoo.com 13 Rika Haryono FK Univ. Atma Jaya Jakarta 0811192594 rika_haryono@yahoo.com 14 Saskia N. M. FK Univ. YARSI Jakarta 0811955246 sknassa@yahoo.com 15 Bernadetta Nadeak FK Univ. Kristen Indonesia
Jakarta 081385392124 bena_beni@yahoo.com 16 Suryadi Susanto FK Univ. Kristen Krida Wacana
Jakarta 08990943963 suryadis_md@yahoo.com 17 Nur Hajriya Brahmi FK Univ. Pembangunan
Nasional Veteran Jakarta 08128707723 hajriya@yahoo.com 18 Amir Syarifuddin FK Univ. Muh. Jakarta 081387243577 amirfkkumj@yahoo.com 19 Alyya S FK UIN Jakarta 085882748084 alyyasiddiqa@gmail.com 20 Angga K FK Unpad Bandung 0811248818 anggakartiwa@gmail.com 21 Hana Ratnawati FK Univ. Maranatha Bandung 0816624539 hana.ratnawati@gmail.com 22 Welly Ratwita FK Univ. Jenderal Achmad Yani
Cimahi 082117811700 lywita@yahoo.com
23 Eka Hendryanny FK Univ. Islam Bandung 0817224082 eka_hendryanny@yahoo.com 24 Neneng Suryadinata FK Univ. Pelita Harapan
Tangerang 08158854481 drnenengsuryadinata@yahoo.com 25 Fitria Saftarina FK Univ. Lampung Bandar
26 Adi Khuntoro
Cirebon 08122932611 drkhuntoro@gmail.com 27 Setyo Purwono FK Univ. Gadjah Mada
Yogyakarta 08562881671 setyop2003@yahoo.com 28 Arum Krismi FK Univ. Kristen Duta Wacana
Yogyakarta 0811254861 arumkrismi@yahoo.com 29 Erlina Marfianti FK Univ. Islam Indonesia
Yogyakarta 087839161997 erlyna_marf@yahoo.com 30 Dwi Ngestiningsih FK Univ. Diponegoro Semarang 08157702672 ngestiruro@yahoo.com 31 Ulfah Dian Indrayani FK Univ. Islam Sultan Agung
Semarang 087839993553 ulfahdian@gmail.com 32 Noor Yazid FK Univ. Muh. Semarang 08156586799 yazid_ad@yahoo.com 33 Dhoni Akbar Ghozali FK Univ. Sebelas Maret
Surakarta 085728275555 dhoniakbar@rocketmail.com 34 Safari Wahyu FK Univ. Muh. Surakarta 08156714268 safari.wahyu@yahoo.co.id 35 Dwi Arini Ernawati FK Univ. Jenderal Soedirman
Purwokerto 082135776427 dr_arini_unsoed@yahoo.com 36 Arif Wicaksono FK Univ. Tanjungpura
Pontianak 081802726767 docteur_arif@yahoo.com 37 Loly Rd. Siagian FK Univ. Mulawarman
Samarinda 08123315067 lonita_ui@yahoo.com 38 Istiana FK Univ. Lambung Mangkurat
Banjarmasin 081803214919 istiana_aribudi@yahoo.com 39 Astrid Teresa FK Univ. Palangkaraya 081210909096 astridteresa86@yahoo.com 40 Sri Andarini FK Univ. Brawijaya Malang 0816554610 sriandarini@yahoo.com 41 Fundhy Sinar Ikrar P FK Univ. Airlangga Surabaya 08563392515 fundhy@fk.unair.ac.id
42 Al Munawir FK Univ. Jember 081559600145 diahtamankampus@yahoo.com 43 Diah Hermayanti FK Univ. Muh. Malang 0811368865 diahhermayanti@yahoo.com 44 Herni Suprapti FK Univ. Wijaya Kusuma
Surabaya 08155114086 hernisuprapti@yahoo.co.id 45 Diana FK Univ. Nusa Cendana Kupang 081353720018 hd14na@yahoo.co.id 46 Desak Made
Wihandani FK Univ. Udayana Bali 081338776244 dmwihandani@yahoo.co.id 47 M. Rizkinov Jumsa FK Univ. Mataram 087854366606 rizkinovjumsa@yahoo.com 48 I Nengah Kapti FK Univ. Warmadewa Denpasar 08155763967 inkapti@yahoo.com 49 Ashaeryanto FK Unhalu 081342444225 ashaeryanto@yahoo.com 50 Aristo PSPD Untad 085255278466 ithoe_gore@yahoo.com 51 Nurmeity PSPD Univ. Alkhairat 081241881401 meity_pasau@yahoo.com 52 Bernadette Dian
Novita
FK Unika Widya Mandala
Surabaya 08123547540 diannovitakrisdianto@yahoo.co.id 53 Ikhlas M. Jenie FK Univ. Muh. Yogyakarta 085868182858 ikhlasjenie@yahoo.co.uk
54 R. Hasanusi FK Univ. Pattimura 085243050050
refretro@gmail.com 55 Agnes S Rahayu FK Univ. Cenderawasih 085244719222 visusdoc@yahoo.com 56 Sri Asriyani FK Univ. Hasanuddin Makassar 08164399032 sri_asriyani@yahoo.com 57 Djoko Prakosa FK Univ. Gadjah Mada
Yogyakarta 08121567167 djokoprakosa@yahoo.com 58 M. Yulis Hamidy FK UNRI 085211324747 yulis_hamidy@yahoo.com
Adapun peserta yang tidak dapat hadir adalah sebagai berikut:
Fasilitator yang hadir berjumlah 11 orang dari 13 undangan. Daftar fasilitator yang hadir adalah sebagai berikut:
No. Nama Institusi HP E-mail
1 Sugito Wonodirekso Tim KB UKDI/ FK UNTAN 081319243747 gitorekso@yahoo.com 2 Gandes Retno Rahayu FK UGM 08121552676 gandes_rr@hotmail.com 3 Iwan Dwi Prahasto FK UGM
4 Tom Suryadi FK UNTAR 08164809807 tom_surjadi@yahoo.com 5 Erial Bahar FK UNSRI 0816385712 erialbahar@unsri.ac.id 6 Sari Puspa Dewi Tim KB UKDI/ FK UNPAD 08121416638 spdewi@yahoo.com 7 Mohammad Ghozali Tim KB UKDI/ FK UNPAD 081320359090 moh.ghozali@yahoo.com;
ghozali@unpad.ac.id 8 Yulherina Tim KB UKDI 0811980414 yulherina@yahoo.com 9 Setiawan Tim KB UKDI/ FK UNPAD 087821987995 setiawan2501@yahoo.com 10 Cholis Abrori FK UNEJ
11 Riyani Wikaningrum FK UY 08161379025 rwikaningrum@yahoo.com
Workshop diawali dengan pembukaan oleh narasumber KBUKDI. Pada workshop hari pertama dilakukan pemberian materi kepada seluruh peserta dengan metode presentasi materi, diskusi dan tanya jawab. Setelah itu dilanjutkan dengan menyepakati kriteria borderline UKDI yang akan digunakan dan kemudian dilakukan latihan untuk menentukan standard setting dalam kelompok kecil (8 kelompok) dengan menggunakan metode Angoff.
Pada hari kedua peserta menentukan Nilai Batas Lulus UKDI XVIII dengan Setelah itu di akhir workshop dilakukan post-test untuk menilai peningkatan pengetahuan peserta.
Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan cukup tepat waktu. Berikut adalah rundown acara workshop pada kondisi riil :
5. Hasil Kegiatan
Hasil dari latihan menentukan standard setting pada hari pertama adalah sebagai berikut:
Kelompok Round 1 Round 2
1 70,6 70,6 2 61 58,6 3 72,4 73,2 4 71 66 5 66,4 63,4 6 68,7 65,6 7 60 58,4 Selasa, 22 November 2011
14.20 – 14.30 Pembukaan dan Pengarahan Workshop Yulherina /
Narasumber KBUKDI
14.30 – 16.15 Materi: Penentuan Batas Kelulusan UKDI dengan Metode Absolut Angoff
Gandes Retno Rahayu
16.15 – 18.00 Penentuan Kriteria Borderline Gandes Retno Rahayu
18.00 – 19.45 ISHOMA Panitia
19.45 – 22.30 Latihan Penentuan Nilai Batas Lulus (standard setting)
Fasilitator
22.30 – 23.00 Penentuan Nilai Batas Lulus dan diskusi Fasilitator
Rabu, 23 November 2011
08.00 – 08.30 Pemaparan profil UKDI XVIII Fasilitator
08.30 – 11.00 Penentuan Batas Lulus UKDI XVIII dengan Metode Absolut Angoff
Fasilitator
11.00 – 11.30 Kesepakatan hasil perhitungan Nilai Batas Lulus
Fasilitator
8 65,6 60
MEAN 66,96 64,47
SD 4,60 5,47
Berdasarkan hasil di atas dapat terlihat bahwa antara satu kelompok dengan yang lain cukup bervariasi dalam menentukan nilai batas lulus. Berdasarkan diskusi yang dilakukan peserta dan fasilitator terhadap hasil latihan ini, hal ini dapat disebabkan oleh:
Terkadang melupakan pemahaman mengenai kriteria borderline dan menentukan nilai berdasarkan berapa persen mahasiswa yang dapat menjawab soal
Pengaruh dari kualitas soal
Pengaruh dari persepsi pribadi mengenai tingkat kesulitan soal
Judge menempatkan diri sebagai borderline, bukan menempatkan diri sebagai judge Berdasarkan input dari fasilitator, variasi akan selalu ada di dalam satu kelompok antara satu judge dan lainnya. Hal yang terpenting adalah argumentasi dan proses dialog dalam penentuan
standard setting agar menghasilkan nilai batas lulus yang memiliki dasar secara ilmiah.
Pada hari kedua judges menentukan standard setting untuk UKDI XVIII. Hasil dari penentuan Nilai Batas Lulus untuk UKDI XVIII pada workshop ini adalah sebagai berikut:
No. KOMPONEN TARGET REALISASI
1. Jumlah judge 72 58
2. Jumlah fasilitator 13 11
3. Nilai Batas Lulus 60 61
4. Kelulusan 1st taker 70 71,67%
Didapatkan nilai batas lulus dan kelulusan 1st taker sudah mencapai target. Nilai batas lulus lebih tinggi dibandingkan UKDI sebelumnya yaitu 58. Nilai batas lulus yang dihasilkan dari proses ini dinilai sudah cukup ideal. Dengan peningkatan nilai batas lulus ini diharapkan lulusan dokter yang dihasilkan benar-benar memiliki kompetensi sesuai dengan standar.
Berdasarkan analisis tim monev, partisipasi peserta sudah baik dalam mengikuti workshop baik dari kehadiran maupun keaktifan dalam berdiskusi. Peserta kooperatif dan memiliki itikad baik dalam melakukan standard setting. Namun, masih ada peserta yang datang terlambat. Apabila peserta datang tepat waktu dan menghadiri semua sesi, workshop dapat berjalan lebih efektif. Setelah menjalankan dua hari workshop, peserta dinilai telah mampu menjadi judges. Dengan demikian, target workshop ini sudah tercapai.
Di lain pihak, tetap dibutuhkan pematangan dalam kemampuan menentukan standard setting baik untuk judges yang baru ataupun yang sudah berpengalaman dalam memahami konsep dan metode standard setting serta meninggalkan segala atribut atau kepentingan institusi. Dengan demikian, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja sebagai judges dalam penentuan standard setting yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter dan lulusannya.
6. Refleksi
Setelah dilakukan analisis hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut :
Gambaran Umum
Diskusi dan pemberian materi secara umum berjalan dengan baik. Peserta aktif berdiskusi dan sehingga tercapai kesepahaman dalam memahami kriteria borderline dan metode absolute
Angoff dengan baik. Pada saat latihan terlihat variasi antar kelompok judges masih cukup besar
namun setelah mendapatkan feedback dari fasilitator, pada hari kedua kelompok sudah lebih seragam dalam penentuan standard setting.
Fasilitator
KENDALA YANG DIHADAPI :
Konsistensi peserta dalam penilaian
Definisi borderline belum dapat diterapkan secara penuh
Judges yang dikirimkan berganti-ganti dan sebagian belum memenuhi persyaratan/kualifikasi yang ada untuk menjadi judge.
Diperlukan effort lebih untuk menanamkan pemahaman konsep pada judges yang baru.
REKOMENDASI PERBAIKAN :
Ruangan lebih besar
Mengundang semua stakeholders baik judges yang senior maupun yang masih baru Membuat banyak set judges
Banyak berlatih, konsep standard setting sebaiknya mulai dikenalkan di institusi Kriteria dan representasi dari judge perlu disempurnakan
Peserta
Beberapa usul dan saran peserta:
perbaiki kelancaran penggantian transport jangan tertunda lama
mohon sediakan stempel untuk surat tugas dari fakultas
persamaan persepsi fasilitator dalam teknis bimbingan kelompok sehingga sama
ruangan terlalu dingin
waktu workshop lebih panjang
perbanyak simulasi terutama jika jumlah judge baru banyak
lokasi workshop di tempat yang lebih mudah dijangkau
SPPD dari Dikti diberikan bersama undangan, bukan pada saat acara berlangsung
undangan diberikan lebih awal
Tim Monev
Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari
58 kuesioner, sejumlah 52 kuesioner kembali ke tim monev. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama orientasi di awal yang jelas, materi yang sangat baik, fasilitator, dan metode workshop yang baik.
1% 4%
46% 49%
PROPORSI SATISFACTION LEVEL
tidak sesuai kurang sesuai sesuai paling sesuai
Me m p ertimba n gka n stak eh o ld er Tu ju an & m an faa t SS d ip ah ami Orie n ta si a w al WS jel as De fin is i b o rd erlin e In d eks kes u ka ra n me m b an tu K es em p at an s am a p es erta Fas ili ta to r Wa kt u N BL id eal TOR j elas Me to d e W S ef ekt if Ou tp u t m en ja d i re fe re n si Pel ay an an p an itia Ke n yaman an tem p at 0 0 0 3 0 1 1 2 1 0 0 0 2 0 0 0 1 1 5 3 1 1 4 2 0 3 2 3 30 28 9 16 20 33 14 24 30 24 24 27 23 27 21 21 42 33 25 15 37 27 10 25 28 21 26 20
REKAP FEEDBACK WS STANDARD SETTING KEDOKTERAN
Jakarta, 23 November 2011
Analisis lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap output workshop, dimana peserta merasa mendapatkan added value yang besar dalam membantu memahami tugas sebagai judges. Faktor yang dinilai sedikit kurang memuaskan adalah dalam hal indeks kesukaran untuk membantu penilaian dan NBL yang dihasilkan.
7. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
1. Standard setting diharapkan dapat mulai diterapkan di institusi masing-masing 2. Mematangkan pemahaman dan terus berlatih sebagai judge
3. Untuk penentuan standard setting UKDI diharapkan judge dari institusi sebisa mungkin memenuhi kriteria/persyaratan yang ada
4. Hasil standard setting pada workshop ini diharapkan dapat menjadi landasan evaluasi pelaksanaan proses pendidikan dan sistem assessment di institusi masing-masing
8. Penutup
Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini yang sangat menentukan kelulusan terutama pada kelompok borderline sangat krusial. Oleh karena itu, pemahaman dan peningkatan kemampuan standard setter dalam panel expert sangat diperlukan melalui kegiatan workshop. Oleh karena itu, dukungan semua pihak terhadap keberhasilan workshop ini sangat diperlukan.
