LAPORAN
WORKSHOP STANDARD SETTING KEDOKTERAN
UKDI XVIII PERIODE PROYEK TAHUN 2011
KOMPONEN 2 PROYEK HPEQ
Direktorat Pembelajaran dan Kemahasiswaan
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
Hotel Arion Cengkareng,
1. Pendahuluan
Komponen 2 Proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian salah satunya yang dilakukan adalah proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Untuk itu telah terdapat berbagai metode yang telah teruji secara ilmiah dan dilaksanakan secara internasional. Secara umum terdapat 2 pengelompokan metoda yang dapat digunakan, yaitu metoda relatif dan metoda absolut.
Dalam kerangka Uji Kompetensi Dokter Indonesia (UKDI) yang dilaksanakan oleh AIPKI bekerjasama dengan Kolegium Dokter Indonesia, selama ini telah dilakukan standard setting untuk penentuan batas lulus peserta UKDI. Setelah sebelumnya digunakan metoda Standard Setting Hofstee (compromised method) yang perlu ditingkatkan kualitasnya dengan melaksanakan metoda absolut, apakah Ebel atau Modified Angoff. Dalam melaksanakan metode yang baru ini diperlukan Judge, yang perlu dilatih untuk penyamaan pemahaman secara teknis maupun filosofis. Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal tersebut, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Standard Setting.
Pada tahun 2011, proyek HPEQ telah memfasilitasi 3 gelombang Workshop Standard Setting, yang telah menghasilkan kesepakatan penggunaan metode, yaitu modified angoff. Untuk menjaga kualitas standard setting yang digunakan serta menjaga nilai batas lulus yang reliabel, maka UKDI periode XVIII, perlu dilaksanakan standard setting.
2. Tujuan
1. Menentukan nilai batas lulus UKDI XVIII
2. Dipahaminya metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah
3. Output Workshop
Output yang diharapkan dari workshop ini adalah:
1. Batas lulus untuk UKDI XVIII
2. Memahami metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah
4. Metode Pelaksanaan Workshop
Workshop standard setting UKDI XVIII ini dilaksanakan pada tanggal 22-23 November 2011 di Hotel Arion Cengkareng. Peserta workshop adalah 58 judges perwakilan dari berbagai institusi dan 11 orang fasilitator.
Dari segi peserta, kehadiran peserta cukup baik dengan prosentase kehadiran sebesar 80,5% dari total undangan. Daftar peserta workshop yang hadir adalah sebagai berikut:
NO NAMA INSTITUSI HP EMAIL
1 Tilaili Ibrahim FK Unsyiah Banda Aceh 08126983789 [email protected] 2 Arif Fadillah FK Univ. Abulyatama Banda
Aceh 08126914937 [email protected] 3 Rahmi Surayya FK Univ. Malikussaleh
Lhokseumawe 085277712232
[email protected]; [email protected] 4 Farhat FK Univ. Sumatera Utara
Medan 08126556810 [email protected] 5 Ristarin P. Zaluchu FK Univ. HKBP Nommensen 085292122521 [email protected];
[email protected] 6 Linda Panjaitan FK Univ. Prima Indonesia
Medan 081376560289 [email protected] 7 Arina Widya Murni FK Univ. Andalas Padang 08126740742 [email protected] 8 H. Yasril Hasan FK Univ. Baiturrahmah Padang 08126606772 [email protected] 9 Syarif Husin FK Univ. Sriwijaya Palembang 08127849798 [email protected] 10 Hibsah Ridwan FK Univ. Muh. Palembang 08117100130 [email protected] 11 Ninik Sukartini FK Univ. Indonesia Jakarta 08128868415 [email protected] 12 Shirly Gunawan FK Univ. Tarumanagara 0816987751 [email protected] 13 Rika Haryono FK Univ. Atma Jaya Jakarta 0811192594 [email protected] 14 Saskia N. M. FK Univ. YARSI Jakarta 0811955246 [email protected] 15 Bernadetta Nadeak FK Univ. Kristen Indonesia
Jakarta 081385392124 [email protected] 16 Suryadi Susanto FK Univ. Kristen Krida Wacana
Jakarta 08990943963 [email protected] 17 Nur Hajriya Brahmi FK Univ. Pembangunan
Nasional Veteran Jakarta 08128707723 [email protected] 18 Amir Syarifuddin FK Univ. Muh. Jakarta 081387243577 [email protected] 19 Alyya S FK UIN Jakarta 085882748084 [email protected] 20 Angga K FK Unpad Bandung 0811248818 [email protected] 21 Hana Ratnawati FK Univ. Maranatha Bandung 0816624539 [email protected] 22 Welly Ratwita FK Univ. Jenderal Achmad Yani
Cimahi 082117811700 [email protected]
23 Eka Hendryanny FK Univ. Islam Bandung 0817224082 [email protected] 24 Neneng Suryadinata FK Univ. Pelita Harapan
Tangerang 08158854481 [email protected] 25 Fitria Saftarina FK Univ. Lampung Bandar
26 Adi Khuntoro
Cirebon 08122932611 [email protected] 27 Setyo Purwono FK Univ. Gadjah Mada
Yogyakarta 08562881671 [email protected] 28 Arum Krismi FK Univ. Kristen Duta Wacana
Yogyakarta 0811254861 [email protected] 29 Erlina Marfianti FK Univ. Islam Indonesia
Yogyakarta 087839161997 [email protected] 30 Dwi Ngestiningsih FK Univ. Diponegoro Semarang 08157702672 [email protected] 31 Ulfah Dian Indrayani FK Univ. Islam Sultan Agung
Semarang 087839993553 [email protected] 32 Noor Yazid FK Univ. Muh. Semarang 08156586799 [email protected] 33 Dhoni Akbar Ghozali FK Univ. Sebelas Maret
Surakarta 085728275555 [email protected] 34 Safari Wahyu FK Univ. Muh. Surakarta 08156714268 [email protected] 35 Dwi Arini Ernawati FK Univ. Jenderal Soedirman
Purwokerto 082135776427 [email protected] 36 Arif Wicaksono FK Univ. Tanjungpura
Pontianak 081802726767 [email protected] 37 Loly Rd. Siagian FK Univ. Mulawarman
Samarinda 08123315067 [email protected] 38 Istiana FK Univ. Lambung Mangkurat
Banjarmasin 081803214919 [email protected] 39 Astrid Teresa FK Univ. Palangkaraya 081210909096 [email protected] 40 Sri Andarini FK Univ. Brawijaya Malang 0816554610 [email protected] 41 Fundhy Sinar Ikrar P FK Univ. Airlangga Surabaya 08563392515 [email protected]
42 Al Munawir FK Univ. Jember 081559600145 [email protected] 43 Diah Hermayanti FK Univ. Muh. Malang 0811368865 [email protected] 44 Herni Suprapti FK Univ. Wijaya Kusuma
Surabaya 08155114086 [email protected] 45 Diana FK Univ. Nusa Cendana Kupang 081353720018 [email protected] 46 Desak Made
Wihandani FK Univ. Udayana Bali 081338776244 [email protected] 47 M. Rizkinov Jumsa FK Univ. Mataram 087854366606 [email protected] 48 I Nengah Kapti FK Univ. Warmadewa Denpasar 08155763967 [email protected] 49 Ashaeryanto FK Unhalu 081342444225 [email protected] 50 Aristo PSPD Untad 085255278466 [email protected] 51 Nurmeity PSPD Univ. Alkhairat 081241881401 [email protected] 52 Bernadette Dian
Novita
FK Unika Widya Mandala
Surabaya 08123547540 [email protected] 53 Ikhlas M. Jenie FK Univ. Muh. Yogyakarta 085868182858 [email protected]
54 R. Hasanusi FK Univ. Pattimura 085243050050
[email protected] 55 Agnes S Rahayu FK Univ. Cenderawasih 085244719222 [email protected] 56 Sri Asriyani FK Univ. Hasanuddin Makassar 08164399032 [email protected] 57 Djoko Prakosa FK Univ. Gadjah Mada
Yogyakarta 08121567167 [email protected] 58 M. Yulis Hamidy FK UNRI 085211324747 [email protected]
Adapun peserta yang tidak dapat hadir adalah sebagai berikut:
Fasilitator yang hadir berjumlah 11 orang dari 13 undangan. Daftar fasilitator yang hadir adalah sebagai berikut:
No. Nama Institusi HP E-mail
1 Sugito Wonodirekso Tim KB UKDI/ FK UNTAN 081319243747 [email protected] 2 Gandes Retno Rahayu FK UGM 08121552676 [email protected] 3 Iwan Dwi Prahasto FK UGM
4 Tom Suryadi FK UNTAR 08164809807 [email protected] 5 Erial Bahar FK UNSRI 0816385712 [email protected] 6 Sari Puspa Dewi Tim KB UKDI/ FK UNPAD 08121416638 [email protected] 7 Mohammad Ghozali Tim KB UKDI/ FK UNPAD 081320359090 [email protected];
[email protected] 8 Yulherina Tim KB UKDI 0811980414 [email protected] 9 Setiawan Tim KB UKDI/ FK UNPAD 087821987995 [email protected] 10 Cholis Abrori FK UNEJ
11 Riyani Wikaningrum FK UY 08161379025 [email protected]
Workshop diawali dengan pembukaan oleh narasumber KBUKDI. Pada workshop hari pertama dilakukan pemberian materi kepada seluruh peserta dengan metode presentasi materi, diskusi dan tanya jawab. Setelah itu dilanjutkan dengan menyepakati kriteria borderline UKDI yang akan digunakan dan kemudian dilakukan latihan untuk menentukan standard setting dalam kelompok kecil (8 kelompok) dengan menggunakan metode Angoff.
Pada hari kedua peserta menentukan Nilai Batas Lulus UKDI XVIII dengan Setelah itu di akhir workshop dilakukan post-test untuk menilai peningkatan pengetahuan peserta.
Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan cukup tepat waktu. Berikut adalah rundown acara workshop pada kondisi riil :
5. Hasil Kegiatan
Hasil dari latihan menentukan standard setting pada hari pertama adalah sebagai berikut:
Kelompok Round 1 Round 2
1 70,6 70,6 2 61 58,6 3 72,4 73,2 4 71 66 5 66,4 63,4 6 68,7 65,6 7 60 58,4 Selasa, 22 November 2011
14.20 – 14.30 Pembukaan dan Pengarahan Workshop Yulherina /
Narasumber KBUKDI
14.30 – 16.15 Materi: Penentuan Batas Kelulusan UKDI dengan Metode Absolut Angoff
Gandes Retno Rahayu
16.15 – 18.00 Penentuan Kriteria Borderline Gandes Retno Rahayu
18.00 – 19.45 ISHOMA Panitia
19.45 – 22.30 Latihan Penentuan Nilai Batas Lulus (standard setting)
Fasilitator
22.30 – 23.00 Penentuan Nilai Batas Lulus dan diskusi Fasilitator
Rabu, 23 November 2011
08.00 – 08.30 Pemaparan profil UKDI XVIII Fasilitator
08.30 – 11.00 Penentuan Batas Lulus UKDI XVIII dengan Metode Absolut Angoff
Fasilitator
11.00 – 11.30 Kesepakatan hasil perhitungan Nilai Batas Lulus
Fasilitator
8 65,6 60
MEAN 66,96 64,47
SD 4,60 5,47
Berdasarkan hasil di atas dapat terlihat bahwa antara satu kelompok dengan yang lain cukup bervariasi dalam menentukan nilai batas lulus. Berdasarkan diskusi yang dilakukan peserta dan fasilitator terhadap hasil latihan ini, hal ini dapat disebabkan oleh:
Terkadang melupakan pemahaman mengenai kriteria borderline dan menentukan nilai berdasarkan berapa persen mahasiswa yang dapat menjawab soal
Pengaruh dari kualitas soal
Pengaruh dari persepsi pribadi mengenai tingkat kesulitan soal
Judge menempatkan diri sebagai borderline, bukan menempatkan diri sebagai judge Berdasarkan input dari fasilitator, variasi akan selalu ada di dalam satu kelompok antara satu judge dan lainnya. Hal yang terpenting adalah argumentasi dan proses dialog dalam penentuan
standard setting agar menghasilkan nilai batas lulus yang memiliki dasar secara ilmiah.
Pada hari kedua judges menentukan standard setting untuk UKDI XVIII. Hasil dari penentuan Nilai Batas Lulus untuk UKDI XVIII pada workshop ini adalah sebagai berikut:
No. KOMPONEN TARGET REALISASI
1. Jumlah judge 72 58
2. Jumlah fasilitator 13 11
3. Nilai Batas Lulus 60 61
4. Kelulusan 1st taker 70 71,67%
Didapatkan nilai batas lulus dan kelulusan 1st taker sudah mencapai target. Nilai batas lulus lebih tinggi dibandingkan UKDI sebelumnya yaitu 58. Nilai batas lulus yang dihasilkan dari proses ini dinilai sudah cukup ideal. Dengan peningkatan nilai batas lulus ini diharapkan lulusan dokter yang dihasilkan benar-benar memiliki kompetensi sesuai dengan standar.
Berdasarkan analisis tim monev, partisipasi peserta sudah baik dalam mengikuti workshop baik dari kehadiran maupun keaktifan dalam berdiskusi. Peserta kooperatif dan memiliki itikad baik dalam melakukan standard setting. Namun, masih ada peserta yang datang terlambat. Apabila peserta datang tepat waktu dan menghadiri semua sesi, workshop dapat berjalan lebih efektif. Setelah menjalankan dua hari workshop, peserta dinilai telah mampu menjadi judges. Dengan demikian, target workshop ini sudah tercapai.
Di lain pihak, tetap dibutuhkan pematangan dalam kemampuan menentukan standard setting baik untuk judges yang baru ataupun yang sudah berpengalaman dalam memahami konsep dan metode standard setting serta meninggalkan segala atribut atau kepentingan institusi. Dengan demikian, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja sebagai judges dalam penentuan standard setting yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter dan lulusannya.
6. Refleksi
Setelah dilakukan analisis hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut :
Gambaran Umum
Diskusi dan pemberian materi secara umum berjalan dengan baik. Peserta aktif berdiskusi dan sehingga tercapai kesepahaman dalam memahami kriteria borderline dan metode absolute
Angoff dengan baik. Pada saat latihan terlihat variasi antar kelompok judges masih cukup besar
namun setelah mendapatkan feedback dari fasilitator, pada hari kedua kelompok sudah lebih seragam dalam penentuan standard setting.
Fasilitator
KENDALA YANG DIHADAPI :
Konsistensi peserta dalam penilaian
Definisi borderline belum dapat diterapkan secara penuh
Judges yang dikirimkan berganti-ganti dan sebagian belum memenuhi persyaratan/kualifikasi yang ada untuk menjadi judge.
Diperlukan effort lebih untuk menanamkan pemahaman konsep pada judges yang baru.
REKOMENDASI PERBAIKAN :
Ruangan lebih besar
Mengundang semua stakeholders baik judges yang senior maupun yang masih baru Membuat banyak set judges
Banyak berlatih, konsep standard setting sebaiknya mulai dikenalkan di institusi Kriteria dan representasi dari judge perlu disempurnakan
Peserta
Beberapa usul dan saran peserta:
perbaiki kelancaran penggantian transport jangan tertunda lama
mohon sediakan stempel untuk surat tugas dari fakultas
persamaan persepsi fasilitator dalam teknis bimbingan kelompok sehingga sama
ruangan terlalu dingin
waktu workshop lebih panjang
perbanyak simulasi terutama jika jumlah judge baru banyak
lokasi workshop di tempat yang lebih mudah dijangkau
SPPD dari Dikti diberikan bersama undangan, bukan pada saat acara berlangsung
undangan diberikan lebih awal
Tim Monev
Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari
58 kuesioner, sejumlah 52 kuesioner kembali ke tim monev. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama orientasi di awal yang jelas, materi yang sangat baik, fasilitator, dan metode workshop yang baik.
1% 4%
46% 49%
PROPORSI SATISFACTION LEVEL
tidak sesuai kurang sesuai sesuai paling sesuai
Me m p ertimba n gka n stak eh o ld er Tu ju an & m an faa t SS d ip ah ami Orie n ta si a w al WS jel as De fin is i b o rd erlin e In d eks kes u ka ra n me m b an tu K es em p at an s am a p es erta Fas ili ta to r Wa kt u N BL id eal TOR j elas Me to d e W S ef ekt if Ou tp u t m en ja d i re fe re n si Pel ay an an p an itia Ke n yaman an tem p at 0 0 0 3 0 1 1 2 1 0 0 0 2 0 0 0 1 1 5 3 1 1 4 2 0 3 2 3 30 28 9 16 20 33 14 24 30 24 24 27 23 27 21 21 42 33 25 15 37 27 10 25 28 21 26 20
REKAP FEEDBACK WS STANDARD SETTING KEDOKTERAN
Jakarta, 23 November 2011
Analisis lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap output workshop, dimana peserta merasa mendapatkan added value yang besar dalam membantu memahami tugas sebagai judges. Faktor yang dinilai sedikit kurang memuaskan adalah dalam hal indeks kesukaran untuk membantu penilaian dan NBL yang dihasilkan.
7. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
1. Standard setting diharapkan dapat mulai diterapkan di institusi masing-masing 2. Mematangkan pemahaman dan terus berlatih sebagai judge
3. Untuk penentuan standard setting UKDI diharapkan judge dari institusi sebisa mungkin memenuhi kriteria/persyaratan yang ada
4. Hasil standard setting pada workshop ini diharapkan dapat menjadi landasan evaluasi pelaksanaan proses pendidikan dan sistem assessment di institusi masing-masing
8. Penutup
Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini yang sangat menentukan kelulusan terutama pada kelompok borderline sangat krusial. Oleh karena itu, pemahaman dan peningkatan kemampuan standard setter dalam panel expert sangat diperlukan melalui kegiatan workshop. Oleh karena itu, dukungan semua pihak terhadap keberhasilan workshop ini sangat diperlukan.
