LAPORAN WORKSHOP STANDARD SETTING KEDOKTERAN GELOMBANG 2 KOMPONEN 2 PROYEK HPEQ

(1)

Component 2 – HPEQ Project Page 1

LAPORAN

WORKSHOP

STANDARD SETTING

KEDOKTERAN

GELOMBANG 2

KOMPONEN 2 PROYEK HPEQ

Direktorat Akademik

Direktorat Jenderal Pendidikan Tinggi

Kementerian Pendidikan Nasional

Hotel Ambhara Jakarta,

25- 26 & 27- 28 Agustus 2010

(2)

Component 2 – HPEQ Project Page 2 1. Pendahuluan

Komponen 2 proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian salah satunya yang dilakukan adalah proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang

bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan

batas lulus ini harus adil dan dapat dipertanggungjawabkan. Untuk itu telah terdapat berbagai metode yang telah teruji secara ilmiah dan dilaksanakan secara internasional. Secara umum terdapat 2 pengelompokan metoda yang dapat digunakan, yaitu metoda relatif dan metoda absolut.

Dalam kerangka Uji Kompetensi Dokter Indonesia (UKDI) yang dilaksanakan oleh AIPKI

bekerjasama dengan Kolegium Dokter Indonesia, selama ini telah dilakukan standard setting

untuk penentuan batas lulus peserta UKDI. Sampai dengan UKDI ke-12 telah dilaksanakan metoda

Hofstee (compromised method) yang perlu ditingkatkan kualitasnya dengan melaksanakan

metoda absolut, apakah Ebel atau Modified Angoff. Dalam melaksanakan metode yang baru ini

diperlukan Judge yang perlu dilatih untuk penyamaan pemahaman secara teknis maupun filosofis.

Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal tersebut, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu

dilakukan Workshop Standard Setting. Sebelumnya, proyek HPEQ telah melaksanakan Workshop

Standard Setting gelombang 1 pada tanggal 26-27 Mei 2010. Untuk memperbaiki metode

standard setting yang digunakan untuk periode UKDI selanjutnya, perlu dilaksanakan Workshop

Standard Setting gelombang 2.

Tantangan lain terkait UKDI adalah perubahan metode dari paper-based menjadi computer-based

pada tahun 2011. Perubahan ini memerlukan komitmen dari seluruh institusi pendidikan kedokteran menyangkut sarana prasarana dan pengelolaan CBT yang akan berbasis ke institusi. Demikian pula diperlukan penyiapan mahasiswa secara dini sehingga tidak ada lagi permasalahan menyangkut non-teknis akademis dari para calon peserta UKDI dengan CBT. Selanjutnya pada tahun 2012 akan diberlakukan ujian OSCE yang sangat memerlukan pengerahan SDM yang sangat banyak, baik sebagai penguji, pembuat soal dan sebagainya.

Mengingat hal di atas, maka tindak lanjut hasil standard setting dan rencana pengembangan UKDI

yang melibatkan para Dekan FK/Ketua Prodi Pendidikan Dokter sangat diperlukan. Dengan pertemuan ini maka pemahaman dan komitmen pimpinan sebagai salah satu prasyarat keberhasilan UKDI ke depan mudah-mudahan bisa tercapai dengan baik.

2. Tujuan

Tujuan dari workshop standard setting bagi para judges adalah :

1. Dipahaminya berbagai metode penentuan batas lulus yang adil dan dapat

dipertanggungjawabkan secara ilmiah.

2. Diperolehnya judge yang akan terlibat dalam pengembangan metoda standard setting ke arah

metode absolut.

3. Dilaksanakannya metode penentuan batas lulus untuk ujian nasional maupun ujian yang

(3)

Sedangkan tujuan dilaksanakannya workshop hasil standard setting dan dan pengembangan

UKDI adalah :

1. Disampaikannya hasil standard setting berdasarkan metoda absolut Modified Angoff kepada

para Dekan FK/Ketua PSPD.

2. Disepakatinya strategi tindak lanjut terhadap hasil standard setting yang diberikan, dengan berdasarkan pada praktik baik yang berjalan pada beberapa institusi pendidikan kedokteran.

3. Menyepakati strategi pembianaan retaker UKDI

4. Tersosialisasikannya rencana pengembangan UKDI pada tahun 2011 dan 2012.

5. Dipahami dan disepakatinya kontribusi institusi pendidikan dalam rencana pengembangan UKDI

pada tahun 2011 dan 2012 4. Expected Output Workshop

Expected output dari workshop standard setting bagi para judges adalah : 1. 50 Judge dari 69 institusi pendidikan yang telah dilatih.

2. Kesepakatan nasional metode penentuan batas lulus yang akan digunakan

Sedangkan expected output dari workshop hasil standard setting dan dan pengembangan UKDI adalah :

1. Hasil standard setting dengan Metoda Absolut Modified Angoff (hasil workshop standard

setting judge, 25-26 Agustus 2010)

2. Rencana operasional strategis pada tingkat institusi, regional dan nasional terkait hasil

standard setting yang ada

3. Perencanaan strategis terkait pembinaan retaker UKDI

4. Perencanaan implementasi pengembangan UKDI tahun 2011 berupa CBT dan 2012 berupa

OSCE

5. Metode Pelaksanaan Workshop

Workshop standard setting ini dilaksanakan dalam 2 tahap, yaitu workshop bagi para judges yang

dilaksanakan pada tanggal 25 – 26 Agustus 2010 dan dilanjutkan dengan pertemuan dekan FK/

Ketua PSPD untuk melaporkan hasil standard setting dan membahas isu-isu strategis lain terkait

UKDI pada tanggal 27 – 28 Agustus 2010 di Hotel Ambhara, Jakarta.

Workshop standard setting mengundang judges dari 69 IPD di Indonesia. Antusiasme peserta cukup baik, hal ini dapat dilihat dari participation rate yang mencapai 81 % (60 institusi) dari jumlah undangan yang seharusnya. 9 IPD yang tidak berpartisipasi pada workshop kali ini adalah sebagai berikut :

1. Universitas Abulyatama

2. Universitas Bengkulu

3. Universitas Abdurrab

4. UIN Syarif Hidayatullah

5. Universitas Muhammadiyah Surakarta

6. Universitas Tadulako

7. Universitas Hasanuddin

8. Universitas Nomensen

9. Universitas Kristen Duta Wacana

Workshop standard setting untuk judges ini dilaksanakan dalam 2 tahap, yaitu pelatihan

menentukan nilai batas lulus (NBL) dengan metode standard setting yang baru, yaitu modified angoff dan tahap ke-2 adalah penentuan NBL yang sebenarnya oleh judges terpilih.

(4)

Component 2 – HPEQ Project Page 4 Pada workshop tahap ke-1, beberapa narasumber dari KB UKDI memberikan materi pengantar

pelatihan dan pengarahan untuk kerja kelompok. Untuk mempermudah proses transfer

knowledge dan diskusi antar peserta, maka judges dibagi dalam 8 kelompok besar, dimana masing-masing kelompok didampingi fasilitator dari KB UKDI sebagai berikut : Gandes Rahayu, Setiawan, Sari Puspa Dewi, Yulherina, Moh. Ghozali, Riyani Wikaningrum, Erial Bahar, Cholis Abrori, Abraham Simatupang dan Suryani As’ad.

Pembagian kelompok judges beserta fasilitator yang mendampingi adalah :

1) Kelompok 1

Judges perwakilan dari : UMP, Yarsi, UPH, UGM, UMM, UNHALU, UNSYIAH, UNIMAL Fasilitator: Abraham Simatupang

2) Kelompok 2

Judges perwakilan dari : UNBAT, UKRIDA, UNISBA, UNS, UNEJ, UNISMUH, UWKS, USU Fasilitator: Erial Bahar

3) Kelompok 3

Judges perwakilan dari : UNAND, UI, UNJANI, UMY, UNRAM, UNCEN, UMSU Fasilitator: Yulherina

4) Kelompok 4

Judges perwakilan dari : UNISMA, UMJ, UKM, UNISSULA, UB, UNSRAT, UNTAR, UNSOED Fasilitator: Setiawan

5) Kelompok 5

Judges perwakilan dari : UNRI, USAKTI, UNILA, Al-Khairat, UNTAN, UM Makassar, UNDIP Fasilitator: Sari Puspa Dewi

6) Kelompok 6

Judges perwakilan dari : UNJA, UAJ, UNMAL, UMS, UNISMA, UNPATTI, UNAIR Fasilitator: Cholis Abrori

7) Kelompok 7

Judges perwakilan dari : UNSRI, UPN, UNPAD, UII, UNWAR, UHT Fasilitator: Gandes Rahayu

8) Kelompok 8

Judges perwakilan dari : UMI Medan, UKI, UNSWAGATI, UNDANA, UNUD, UNBRAH, UNLAM Fasilitator: Riyani Wikaningrum

Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan agak terlambat dari jadwal dikarenakan waktu mulainya acara terlambat sekitar setengah jam. Meskipun demikian, nilai substansi dari tiap materi yang diberikan oleh narasumber dan diskusi

tidak berkurang. Berikut adalah rundown acara workshop pada kondisi riil :

Waktu Acara Pelaksana

Rabu, 25 Agustus 2010

09.30 – 09.40 Pembukaan Arsitawati/ Sekertaris

Eksekutif Proyek HPEQ

09.40 – 10.30

Materi Standard Kompetensi Dokter Indonesia

(SKDI) sebagai Dasar Uji Kompetensi Dokter

Indonesia Setiawan

10.30 – 11.30 Penentuan Batas Kelulusan (Standard Setting) UKDI

(5)

11.30 – 11.35 Pembagian Kelompok menjadi 8 kelompok Sari PD

11.35 – 13.00 Break

13.00 - 16.50 Latihan dengan standard setting metode Angoff Fasilitator

16.50 – 19.30 ISHOMA

19.30 – 20.20 Diskusi Borderline

Gandes Rahayu

20.20 – 20.50 Presentasi hasil kerja kelompok – Nilai batas lulus

per kelompok Setiawan

20.50 – 21.00 Penutupan Setiawan dan Yulherina

Kamis, 26 Agustus 2010

08.00 – 08.30 Persiapan, pembagian kelompok dan pengumuman

ketentuan pada saat standard setting M. Ghozali

08.30 – 11.30 Penentuan Standars Setting Fasilitator

11.30 – 11.50 Pengumuman hasil dan penandatangan berita acara Gandes Rahayu

11.50 – 12.10 Penutup dan hasil monev Tatong H

Di sisi lain, workshop tindak lanjut standard setting dan pembahasan rencana strategis UKDI pada hari berikutnya mengundang 69 dekan FK dan Kaprodi dari seluruh IPD. Pada pelaksanaannya, tidak semua dekan / kepala PSPD yang hadir. Participation rate kurang memuaskan, yaitu hanya 55% (hanya 38 peserta dari 38 IPD). Selain itu, beberapa peserta yang hadir adalah perwakilan dekan atau ketua PSPD. 31 perwakilan institusi yang tidak hadir adalah :

USU, UNSRI, UNBRAH, UNAYA, Methodis, UNMAL, Nomensen, UNJA, UNIB, Abdurab, UNBAT, UNTAR, UPH, UNISBA, UNMAL, UGM, UNLAM, UNSOED, UM Surakarta, UM Semarang, UHT, UNIZAR, UNISMA, UNWAR, UNHAS, UNSRAT, UNTAD, UNHALU, AL-khairat, UNCEN dan UMI Medan.

Metode workshop yang digunakan adalah presentasi narasumber yang dilanjutkan dengan diskusi pleno untuk menjaring aspirasi para ketua IPD terkait hasil standard setting dan isu-su lain terkait

pengembangan UKDI, terutama untuk penanganan retaker. Sesi workshop diawali dengan laporan hasil

standard setting dan laporan perkembangan kegiatan AIPKI hingga saat ini. Detail rundown acara workshop yang juga merupakan acara forum dekan AIPKI ini adalah sebagai berikut :

WAKTU AGENDA PELAKSANA

Hari ke-1 (Jumat, 27 Agustus 2010)

14.30 – 14.35 Pembukaan Koordinator Komponen 2 (Tri

Hanggono)

14.35 – 15.10 Penyampaian Laporan Hasil standard setting Sekum AIPKI (Setiawan)

15.10 – 15.30 Diskusi

15.30 – 15.45 Arahan Manajer Proyek Manajer Proyek (Illah Sailah)

15.45 – 16.00 Laporan UKDI ke-13 Exam Manager UKDI (Yulherina)

16.00 – 16.40 Presentasi progress kegiatan AIPKI Ketua AIPKI (Samsul Islam)

16.40 – 17.05 Diskusi Setiawan dan Samsul Islam

17.05 – 19.40 ISHOMA

19.40 – 19.55 Diskusi Ketua AIPKI

19.55 – 20.00 Pembagian hasil ujian Sekum AIPKI

20.00 – 21.30 Diskusi pleno :

-revisi nomenkaltur SK 163 -penanganan retaker

(6)

21.30 – 22.00 Pembahasan beasiswa PPDS dan cross check

data

Sekum AIPKI

Hari ke-2 (28 Agustus 2010)

Waktu Agenda Pelaksana

08.15 – 08.30 Rekap hasil survey kebutuhan pengembangan

manajemen pendidikan tinggi kedokteran

Ketua AIPKI

08.30 – 08.40 Pengembangan dan pelatihan manajemen untuk

tenaga administratif

Sekum AIPKI

08.40 – 08.55 Program Penerbitan Jurnal Sekum AIPKI

08.55 – 09.40 Re-check kesiapan sarana & prasarana OSCE di

tiap IPD

Sekum AIPKI

09.40 – 10.00 Diskusi Ketua AIPKI

10.00 – 10.30 Wrap Up & Rencana Tindak Lanjut Ketua AIPKI

Pada implementasinya, banyak hidden agenda yang belum tercantum pada TOR workshop sebelumnya.

Akan tetapi, beberapa hidden agenda tersebut memang dinilai sangat penting untuk dibahas pada

forum dekan ini, supaya para dekan / Ketua PSPD dapat lebih aware pada program-program AIPKI.

Beberapa hidden agenda tersebut adalah pembahasan nomenklatur prodi kedokteran yang disounding

oleh manajer proyek HPEQ yang merupakan Direktur Akademik Dikti,pembahasan beasiswa PPDS, pembahasan hasil survey, pelatihan manajemen, penerbitan jurnal dan rencana strategis persiapan OSCE di tiap IPD.

6. _{Hasil Kegiatan}

A.Workshop Standard Setting Judges

Pada hari pertama, agenda utama workshop adalah pelatihan untuk menghitung NBL dengan

menggunakan metode modified angoff. Paparan dari narasumber sebagai arahan kerja kelompok

diberikan oleh tim KB UKDI, yaitu konsep awal Standar Kompetensi Dokter Indonesia (SKDI) sebagai

dasar UKDI yang diberikan oleh Setiawan dan penelaahan metode standard setting modified angoff yang

dibawakan oleh Gandes Rahayu. Sesi presentasi narasumber dilikuti dilanjutkan dengan diskusi interaktif. Beberapa catatan penting selama diskusi adalah sebagai berikut :

• SKDI memberikan landasan untuk keputusan terkait kualitas item. Pada UKDI ke-12, sudah

mempertimbangkan blue print uji, tidak hanya level of competence. Selain itu, kualitas item dapat teruji melalui item analysis.

• Untuk mengakomodir perkembangan kurikulum pendidikan kedokteran, maka perlu sedang disusun

revisi SKDI untuk penyusunan soal.

• Hal-hal yang dinilai sangat penting pada uji kompetensi adalah kualitas item, kualitas peserta dan

penentuan borderline participants (jangan sampai jauh dari ideal).

Pada workshop kali ini, telah disepakati bersama definisi borderline UKDI, yaitu sebagai berikut :

1. Masa studi tidak tepat waktu ( plus 3-4 semester)

2. IPK Sked dan profesi = syarat minimal IPK untuk lulus

3. Nilai rata-rata ujian blok/modul = syarat minimal untuk lulus ujian blok

4. Mampu lulus UKDI setelah mengikuti ujian maksimal 2x UKDI

(7)

6. Remediasi ujian blok/modul dan ujian ketrampilan klinik berkisar sepertiga dari keseluruhan

blok/modu/ujian ketrampilan

Setelah itu, para judges telah dibagi ke dalam beberapa kelompok untuk berlatih menentukan NBL dengan menggunakan 25 soal UKDI 12. Dari 25 soal tersebut, diharapkan setiap kelompok dapat mendiskusikan dan menganalisa 3 – 5 soal. Selanjutnya, latihan penentuan NBL dengan metode

modified angoff dibagi menjadi 2 round. Setiap judges harus menempatkan diri sebagai borderline student, sehingga nilai batas lulus yang didapat adalah nilai rata-rata kelulusan borderline student.

Berdasarkan hasil kerja kelompok, berikut adalah grafik rekapitulasi NBL dengan menggunakan metode modified angoff dengan 2 versi (versi 1 dengan jawaban ya dan tidak, sedangkan versi 2 dengan persentase)

Analisa lebih lanjut terhadap NBL yang ditetapkan per kelompok adalah dengan

membandingkannya dengan difficulty index berdasarkan hasil item analysis UKDI 12. Hingga UKDI

12, perhitungan difficulty index telah dilakukan oleh tim KB UKDI dengan sistem scanable, tidak dengan perhitungan manual. Idealnya, NBL yang didapat setara dengan difficulty index-nya,

karena difficulty index merepresentasikan prosentase mahasiswa yang dapat menjawab soal uji dengan benar. Berdasarkan grafik diatas, hanya kelompok 2 yang dapat menghasilkan perhitungan NBL ideal. Untuk kelompok yang menghasilkan perhitungan NBL dibawah nilai difficulty index,

dapat disimpulkan bahwa para judges masih “bermain aman” dan terkesan under estimate.

Sebaliknya, untuk NBL yang berada diatas difficulty index, judges terkesan over estimate dan

dinilai belum dapat memposisikan diri dengan baik sebagai borderline student. Sedangkan dari sisi

metode yang digunakan, sebagian besar kelompok menghasilkan perhitungan NBL yang lebih

(8)

Component 2 – HPEQ Project Page 8 Selanjutnya, perhitungan dari tiap

kelompok direkapitulasi untuk

mendapatkan NBL yang disepakati

bersama. Berdasarkan hasil

perhitungan melalui dengan

menggunakan 2 versi Angoff, NBL yang didapatkan adalah 55 dan 52, untuk versi 1 dan 2. Apabila

dibandingkan dengan real cutting

score UKDI 12, para judges cenderung terlalu optimis terhadap NBL. Hal ini dapat disebabkan juga karena para

judges masih belum bisa

memposisikan diri sebagai borderline student dengan baik.

Selain penentuan NBL, para judges juga mendapat pengetahuan mengenai successful rate UKDI 12 untuk

first taker dan retaker dengan menggunakan beberapa metode standard setting, yaitu angoff versi 1

(jawaban ya dan tidak) dan versi 2 (persentase) dibandingkan dengan real cut score.

Analisa lebih lanjut terhadap hasil perhitungan successful rate, penggunaan metode angoff versi 2

menghasilkan estimasi successful rate yang lebih tinggi, baik untuk first taker maupun untuk

retaker, meskipun perhitungan dengan metode ini pun masih lebih rendah dari real cut score. Hal ini dkarenakan NBL yang ditetapkan oleh para judges terlalu tinggi.

Setelah sesi pelatihan pada hari ke-1, selanjutnya tim KB UKDI memilih judges yang akan melakukan penilaian riil terhadap hasil UKDI 13. Selain itu, pemilihan judges ini juga ditujukan

(9)

judges, tetapi pada akhirnya seluruh judges yang hadir dipilih sebagai judges riil yang akan melakukan standard setting UKDI 13. Rules of the game bagi para judges adalah sebagai berikut :

1.Bagi judges yang terlambat datang pada sesi hari ke-2 hanya akan menjadi observer

2.Selama melakukan penilaian, tidak melakukan komunikasi dengan handphone dan alat komunikasi lainnya

3.Menandatangani formulir standard setting

4.Tidak mencatat soal pada buku ujian yang dibagikan 5.Mengisi formulir pengisian metode angoff

Pada pelaksanaannya, ada 2 judges yang terlambat hadir, yaitu dari UNTAN dan UNPATTI. Dengan

demikian, total judges yang terpilih untuk melakukan standard setting UKDI 13 sejumlah 58 judges.

Pada workshop hari ke-2, para judges melakukan standard setting yang sebenarnya untuk

pelaksanaan UKDI 13. 58 judges dari 58 IPD melakukan langkah-langkah standard setting seperti

pada sesi latihan hari sebelumnya, mulai dari menentukan NBL hingga estimasi successful rate

pesertaUKDI 13. Penentuan NBL dengan metode modified angoff dibagi menjadi 2 round. Setiap

judges harus menempatkan diri sebagai borderline student, sehingga nilai batas lulus yang didapat adalah nilai rata-rata kelulusan borderline student. Berdasarkan hasil kerja kelompok, berikut

adalah grafik rekapitulasi NBL dengan menggunakan metode modified angoff pada round 1 dan 2.

Analisa lebih lanjut terhadap NBL yang ditetapkan per kelompok adalah dengan

membandingkannya dengan difficulty index berdasarkan hasil item analysis UKDI 12. Idealnya, NBL

yang didapat setara dengan difficulty index-nya, karena difficulty index merepresentasikan prosentase mahasiswa yang dapat menjawab soal uji dengan benar. Berdasarkan grafik diatas, hanya kelompok 6 yang dapat menghasilkan perhitungan NBL ideal. Untuk kelompok yang

menghasilkan perhitungan NBL dibawah nilai difficulty index, dapat disimpulkan bahwa para

(10)

Component 2 – HPEQ Project Page 10 diatas difficulty index, judges terkesan over estimate dan dinilai belum dapat memposisikan diri dengan baik sebagai borderline student.

Selanjutnya, perhitungan dari tiap kelompok direkapitulasi untuk mendapatkan NBL yang

disepakati bersama. Berdasarkan hasil

perhitungan melalui 2 round, NBL yang

didapatkan adalah 53, 99 dan 53, 14. Forum menyepakati NBL 53, 14 untuk UKDI 13.

Selain menyepakati NBL, para judges dapat

mengestimasi successful rate UKDI 13 untuk first taker dan retaker dengan menggunakan beberapa metode standard setting, yang telah disepakati, yaitu modified angoff versi 2, karena dinilai dapat menghasilkan successful rate yang lebih tinggi.

Analisa lebih lanjut terhadap hasil perhitungan successful rate, dihasilkan nilai successful rate yang lebih tinggi untuk first taker, yaitu 70, 69 %. Pencapaian ini juga meningkat dari hasil UKDI 12. Akan tetapi, successful rate retaker menurun, yaitu 27,5 %. Hal ini menyebabkan cumulative successful rate menjadi menurun, yaitu 53,28 %.

Berdasarkan hasil perhitungan judges ini, beberapa kesepakatan yang dituangkan pada Berita Acara Standard Setting UKDI 13, dan akan menjadi acuan bagi seluruh IPD adalah sebagai berikut : Metode standard setting yang digunakan untuk UKDI 13 adalah modified angoff dengan NBL yang disepakati adalah 53, 14 dan successful rate 70,69 % untuk first taker serta 27,5 % untuk retaker.

B. Workshop Tindak Lanjut Standard Setting dan Pengembangan UKDI ke Depan

Berbeda dengan pelaksanaan workshop-workshop standard setting sebelumnya, para pimpinan

(11)

untuk menjalankan tugasnya. Para pimpinan IPD diundang untuk menyepakati hasil standard

setting UKDI 13 pada pertemuan hari berikutnya, yaitu tanggal 27 – 28 Agustus 2010.

Workshop dibuka oleh koordinator komponen 2 dan dilanjutkan dengan laporan tim KB UKDI

terkait hasil standard setting UKDI 13 yang disampaikan oleh Setiawan (merangkap sebagai Sekjen

AIPKI). Pada dasarnya, para pimpinan IPD telah setuju dan sepakat dengan hasil standard setting

UKDI 13. Akan tetapi, masih ada beberapa input terkait hasil standard setting tersebut,

diantaranya adalah sebagai berikut :

Perlu disusun suatu SOP untuk mekanisme penentuan judges?

Perlu diperhitungkan pula standard deviasi nilai peserta uji pada saat item analysis agar dapat dilihat pula validitasnya

Perlu diobservasi lebih lanjut terkait jumlah peserta uji yang memenuhi syarat borderline

Perlu strategi yang jitu untuk pemetaan retaker, karena banyak retaker yang tidak kembali ke institusinya masing-masing

Permasalahan retaker UKDI sudah menjadi permasalahan pendidikan nasional. Oleh karena itu, perlu sinkronisasi dengan berbagai stakeholder terkait untuk menyusun strategi penyelesaian masalah ini.

Selain itu, stakeholder yang hadir, yaitu ketua KKI dan Ketua IDI juga turut memberikan input terhadap UKDI secara keseluruhan :

AIPKI perlu memegang komitmen semua dekan agar konsisten dan taat pada kesepakatan UKDI

AIPKI perlu melaporkan hasil UKDI secara transparan

Akan dibentuk forum khusus untuk menyusun roadmap pendidikan profesi kedokteran

KKI akan tetapmemberikan rekomendasi kepada Dikti untuk membuka/ menutup prodi kedokteran

Perlu dihimbau kepada seluruh IPD agar kuota mahasiswa baru disesuaikan dengan rasio dosen dan mahasiswa yang ideal.

Untuk melengkapi laporan UKDI 13, exam manager KB UKDI, Yulherina juga melaporkan

rekapitulasi peserta UKDI 13. Dari 3350 peserta yang mendaftar, hanya 3338 peserta yang mengambil kartu uji dan pada akhirnya hanya 99 % peserta yang mengikuti uji, yaitu 3321 peserta dari 15 lokasi uji. Distribusi peserta berdasarkan kategori first taker dan retaker adalah 60 % berbanding 40 %. Disisi lain, distribusi peserta berdasarkan lokasi uji dapat dilihat pada tabel dan grafik berikut :

(12)

Component 2 – HPEQ Project Page 12 Berdasarkan grafik dan tabel dapat dilihat bahwa participation rate tertinggi tetap dicapai oleh lokasi uji Jakarta, yaitu mencapai 1109 atau sekitar 33 % dari total peserta uji. Hal ini berbanding terbalik dengan lokasi Samarinda dan Jayapura, yang hanya memiliki peserta uji 14 orang saja. Dengan ketidakmerataan distribusi peserta ini, KB UKDI perlu memikirkan strategi untuk

pemerataan lokasi uji supaya workload tiap lokasi dapat merata. Hal ini memang perlu pemikiran

yang matang, karena perlu kesiapan saraa dan prasarana dari tiap lokasi uji.

Secara lebih detail, berikut adalah distribusi peserta per institusi dari tiap wilayah :

Berdasarkan rekapitulasi peserta per

institusi, diketahui ada 2 mahasiswa asing yang mengikuti UKDI, yaitu 1 orang berasal dari Quangxi Medical University dan 1 orang berasal dari University of Karachi.

Sumatera

No

Institusi

Peserta

1 Universitas Syiah Kuala 96 2 Universitas Abulyatama 75 3 Universitas Sumatera Utara 158 4 Universitas Islam Sumatera Utara 169 5 Universitas Methodist Indonesia 144

6 Universitas Andalas 58 7 Universitas Baiturrahman 63 8 Universitas Riau 25 9 Universitas Lampung 17 10 Universitas Malahayati 134 11 Universitas Sriwijaya 52

Sub Total Sumatera 991

Jawa

No Institusi Peserta

12 Universitas Trisakti 181

13 Universitas Kristen Krida Wacana 23

14 Universitas Pelita Harapan 4

15 Universitas Indonesia 440

16 Universitas Katolik Atmajaya 25

17 Universitas YARSI 132

18 Universitas Muhammadiyah Jakarta 38

19 Universitas Kristen Indonesia 106

20 Universitas Taruma Negara 31

21 Universitas Pembangunan Nasional Veteran 56

22 Universitas Padjajaran 19

23 Universitas Kristen Maranatha 57

24 Universitas Jenderal Ahmad Yani 35

25 Universitas Diponegoro 6

26 Universitas Islam Sultan Agung 162

27 Universitas Jenderal Soedirman 25

28 Universitas Gadjah Mada 21

29 Universitas Muhammadiyah Yogyakarta 82

30 Universitas Sebelas Maret 30

31 Universitas Islam Indonesia 34

32 Universitas Brawijaya 80

33 Universitas Muhammadiyah Malang 20

34 Universitas Jember 37

35 Universitas Airlangga 21

36 Universitas Hang Tuah 85

37 Universitas Wijaya Kusuma 138

Sub Total Jawa 1,888

Bali, NTB, Kalimantan dan Sulawesi

No

Institusi

Peserta

38 Universitas Udayana 4 39 Universitas Mataram 5 40 Universitas Lambung Mangkurat 60 41 Universitas Mulawarman 8 43 Universitas Hassanudin 92 44 Universitas Muslim Indonesia 108 45 Universitas Sam Ratulangie 183 46 Universitas Cendrawasih 9 47 Quangxi Medical University 1 48 University Of Karachi 1

(13)

Component 2 – HPEQ Project Page 13 Selain itu, pemetaan juga dilakukan terhadap

persentase kelulusan berdasarkan kategori

peserta uji. Kategori 1 adalah 1st taker, kategori 2 adalah 2nd taker, kategori 3 adalah 3rd taker, dan seterusnya. Berikut adalah persentase kelulusan dari tiap kategori tersebut. Berdasarkan tabel rekapitulasi, masih ada 55 mahasiswa yang telah mengulang UKDI sebanyak 7 kali, dan yang mengkhawatirkan adalah tingkat kelulusannya pun sangat rendah, yaitu 11,5 %.

Setelah itu, ketua AIPKI memimpin diskusi untuk membahas salah satu agenda utama pada workshop, yaitu penanganan retaker. Beberapa input dari para pimpinan IPD terkait strategi penanganan retaker

adalah sebagai berikut :

Strategi Penyikapan UKDI

- Implementasi metode standard setting baru

- Menyusun aksi pereventif (upaya jangka panjang dan jangka pendek) terhadap resiko meningkatnya retaker

- Menyikapi aksi forum dokter muda indonesia tentang eksistensi UKDI

- Perlu segera disusun milestone pengembangan UKDI 2010 - 2014

- Umpan balik lengkap (berdasarkan tinjauan) terhadap hasil UKDI akan dikeluarkan oleh KB UKDI oleh

KB UKDI

Problem Solving Retaker

- Pemberdayaan institusi melalui AIPKI wilayah - Sumpah dokter dilaksanakan setelah lulus UKDI - Sertifikat lulus diambil di masing-masing institusi - Capacity building 69 IPD untuk menangani retaker

- Setiap IPD diwajibkan untuk melaporkan apa yang sudah dilakukan masing-masing institusi dalam menangani retaker

•Isu-isu terkait UKDI & penanganan retaker :

- Pembiayaan manajemen retaker apabila dibebankan ke tiap institusi

- Saat ini banyak dokter yang tidak punya STR (surat tanda registrasi) bisa praktek. Untuk menangani hal

tersebut perlu ditelusuri dari database mahasiswa tiap IPD

- Untuk ke depan, website AIPKI akan mengakomodir data-data kelulusan UKDI. Mulai UKDI 13, hasil UKDI akan dipublikasikan kepada tiap institusi

- Mulai UKDI 14 akan dilakukan pendaftaran UKDI secara online.

- Setelah implementasi OSCE dan CBT, UKDI akan dilaksanakan dalam 8 periode uji.

Pada workshop kali ini, ada beberapa hidden agenda AIPKI yang cukup krusial, yaitu terkait

pembenahan penamaan prodi kedokteran untuk revisi SK 163, pembenahan data penerima beasiswa PPDS dari tiap IPD dan penyampaian rencana strategis program kerja AIPKI.

Beberapa isu penting dari beberapa agenda AIPKI tersebut adalah sebagai berikut :

Kesepakatan penamaan : program studi profesi dokter dan program studi kedokteran

Sistem akademik-profesi : akan dikeluarkan 2 ijin dalam satu surat dan tidak perlu diubah namanya, agar tidak menyalahi undang-undang (jenjang profesi harus sesudah sarjana)

(14)

Setiap judge standard setting akan mendapatkan SK dari AIPKI

Penanganan retaker yang lebih dari 5 kali mengikuti UKDI perlu disinkronisasi dengn KKI

Regional/ wilayah AIPKI akan lebih diberdayakan untuk menjalankan proker AIPKI dengan

menunjuk PIC di tiap wilayah sebagai berikut : - Wil 1 : Isti Fujiati

- Wil 2 : Slamet B Santoso - Wil 3 : Evi Yuniawati - Wil 4 : Hartono - Wil 5 : Sumardike - Wil 6 : Maesuriyani

RPP mengenai RSP sedang disusun, oleh karena itu perlu masukan dari seluruh dekan

Perlu persiapan yang intensif untuk implementasi OSCE & CBT, terutama dari segi sarana dan prasarana yang meliput jumlah komputer, daya tampung ruangan, jumlah station OSCE, Daya dan rencana pengembangan program

Untuk memperlancar komunikasi, akan diinstall hotline dekan dengan pengurus AIPKI

Akan dilaksanakan pelatihan manajemen untuk Dekanat

Pemberdayaan Majalah dan Jurnal Kedokteran

Manajemen retaker sebagai dasar pijakan untuk mengurangi jumlah retaker di setiap IPD

Selain itu, take home message dari pertemuan ini adalah :

Menurut KKI semua dokter harus memiliki STR meskipun tidak praktek. Hal ini perlu di cross check pda kebijakan KKI

Manajemen retaker sebagai dasar pijakan untuk mengurangi jumlah retaker di setiap IPD. Perlu

kesiapan tiap wilayah AIPKI untuk membina IPD dalam manajemen retaker

7. Refleksi

Setelah dilakukan analisa terhadap hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif substansi maupun teknis. Melalui refleksi ini diharapkan akan teridentifikasi hal-hal yang perlu diimprove ataupun ditindaklanjuti. Berikut adalah parameter penilaian monev dari berbagai perspektif tersebut.

A. ASPEK SUBTANSI No. Parameter

Input Workshop Standard Setting

1. Standard setting telah mempertimbangkan kepentingan stakeholder

2. Di institusi asal sebelumnya telah ada sosialisasi tentang standard setting ini

3. Tujuan dan manfaat standard setting telah dipahami

Proses Workshop Standard Setting

4. Orientasi di awal memberikan kejelasan tujuan workshop

5. Praktik dalam workshop memberi pemahaman standard setting

6. Workshop ini memberikan pemahaman tentang cara asesmen/penilaian

7. Definisi bordenline cukup jelas dan bermanfaat dalam standard setting

8. Diskusi kelompok dan pleno memberikan pemahaman tentang standard setting

9. Informasi tentang indeks kesukaran soal bermanfaat dalam standard setting

10. Peserta memiliki kesempatan yang sama dalam menyampaikan ide & pendapat

11. Narasumber telah menyampaikan materi dengan jelas

(15)

13. Waktu yang disediakan dalam workshop ini cukup memadai

Output Workshop Standard Setting

14. Nilai batas lulus yang disimulasikan dalam workshop ini ideal 15. Kegiatan ini akan disosialisasikan/didesiminasikan ke institusi asal B. ASPEK TEKNIS

No. Parameter

16. TOR workshop memberi gambaran pelaksanaan dan target yang hendak dicapai

17. Metode pelaksanaan workshop efektif dalam menghasilkan output sesuai target

18. Output workshop menjadi referensi untuk workshop selanjutnya

19. Responsiveness pelayanan yang diberikan oleh panitia

20. Kenyamanan tempat pelaksanaan workshop menunjang produktivitas

ASPEK SUBSTANSI

Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek yang menjadi parameter penilaian monev terkait pelaksanaan workshop.

Dari 46 kuesioner yang kembali ke tim monev, 80 % peserta menyatakan pencapaian parameter penilaian workshop telah sangat sesuai dengan target yang

diharapkan. Pencapaian yang sangat positif ini

merupakan kontribusi dari berbagai pihak, terutama

peserta workshop, narasumber maupun panitia

pelaksana yang sangat cooperative.

Analisa lebih lanjut terhadap feedback peserta dilakukan

untuk menjaring persepsi peserta terhadap faktor-faktor apa saja yang dinilai penting dan telah sesuai dengan

harapan peserta terkait workshop standard setting

kedokteran.

Analisa didasarkan dilakukan pada parameter-parameter yang krusial untuk segara improved ataupun parameter yang dinilai excellent. Parameter yang dinilai excellent adalah parameter yang dinilai sangat penting dan dirasakan telah sangat sesuai dengan yang diharapkan oleh peserta workshop. Disisi lain,

parameter yang dinilai dalam kategori urgently improved adalah parameter yang dinilai sangat penting,

tapi masih dirasakan belum sesuai dengan yang diharapkan. Oleh karena itu, parameter-parameter yang masuk ke dalam kategori ini harus segera ditindaklanjuti untuk diperbaiki.

Parameter yang dinilai excellent dari sisi substansi :

Peserta memiliki kesempatan yang sama dalam menyampaikan pendapat

Narasumber telah menyampaikan materi dengan jelas

Fasilitator memandu diskusi kelompok dengan baik

Praktik dalam workshop memberi pemahaman standard setting

Kinerja fasilitator dan narasumber dinilai excellent oleh peserta, terutama dalam memberikan

pengarahan dan bimbingan untuk berlatih metode standard setting.

Disisi lain, beberapa hal yang dinilai sangat penting dan dirasakan masih belum sesuai sehingga perlu segera dilakukan improvement adalah sebagai berikut :

Di institusi asal, telah ada sosialisasi tentang standard setting

(16)

Defini borderline cukup jelas dan bermanfaat dalam standard setting

Nilai batas lulus yang disimulasikan dalam workshop ini ideal

Menurut para judges, di tiap IPD belum ada sosialisasi yang baik terkait perhitungan standard setting. Workshop ini juga dirasakan belum cukup untuk memberikan pemahaman tentang asesmen. Selain itu, definisi borderline belum dipahami secara mendalam oleh para judges. Terkait output perhitungan

(17)

Selain itu, feedback dari fasilitator dan narasumber terhadap beberapa aspek penilaian terhadap peserta

adalah sebagai berikut :

1. Penilaian terhadap peserta workshop standard setting secara umum :

• Peserta workshop standard setting telah siap menjadi judge

• Peserta cukup serius dalam mengikuti workshop, walaupun yang datang terlambat pun

berusaha untuk mengikuti dengan baik

• Peserta cukup antusias, interaktif dan saling mendukung

2. Hal-hal yang mendukung peserta dalam workshop :

• Suasana kondusif

• Penjelasan dari narasumber dan fasilitator

• Homogenitas sebagai dosen

3. Hal-hal yang menghambat kelancaran workshop :

• Penggantian judge oleh institusi

• Pemberitahuan waktu penyelenggaran yang mendadak

• Perbedaan variasi proses pendidikan di tiap institusi

4. Apakah peserta akan mendiseminasikan kegiatan ini di institusi asalnya dengan baik?

• Sebagian besar peserta siap, mungkin karena sudah pernah mengikuti pelatihan-pelatihan

sebelumnya

5. Kesiapan peserta untuk menjadi judge dalam standard setting UKDI :

• belum semua siap, terutama bagi judge baru

6. Saran untuk memperbaiki kualitas peserta workshop standard setting :

• penentuan judge yang permanen dari tiap institusi

• jadwal kegiatan sebaiknya telah direncanakan jauh hari sebelumnya

• bila tujuannya untuk merekrut judge, maka perlu diterapkan beberapa pra syarat mendapatkan

calon yang sedikit banyak homogen

• diberikan SK untuk para judge, yang dikeluarkan oleh AIPKI

Selain menjaring feedback narasumber, dilakukan juga penjaringan feedback dari para judges : 1.Pendapat judges bile metode Angoff diterapkan dalam penentuan kelulusan UKDI :

• Setuju bila metode Angoff 2 diterapkan lebih lanjut

• Akan sangat baik, tetapi untuk FK yang baru harus tetap/menjaga mutu agar lulusannya dapat

mengikuti

• Sesuai dengan standard pendidikan

• Sangat baik bila telah ditetapkan padaUKDI

• Setuju, terutama versi 2

• Meningkatkan objektifitas

• Setuju dan mendukung sepenuhnya

(18)

• Metode ini lebih baik dari hoffstee

• Setuju asalkan menggunakan Angoff versi 2 karena lebih fleksibel

• Baik, karena bisa meminimalisir subyektifitas

2. Kesiapan untuk menjadi judge dalam standard setting UKDI :

• Bersedia

• Sangat siap

• Perlu banyak pengalaman

• Siap, tetapi perlu banyak pelatihan untuk calon judge yang waktu mengajarnya tidak terlalu

lama

• Siap dan akan meningkatkan kapasitas ataupun kemampuan yg telah dimiliki

• Demi kemajuan dokter Indonesia harus siap

• Siap dan berkomitmen untuk menjadi judges standard setting

3. Usulan / saran untuk memperbaiki pelaksanaan workshop :

• Jangan saat bulan puasa, konsentrasi berkurang

• Agar lebih tepat waktu

• Agar yang datang sesuai syarat yang diharapkan

• Pelaksanaan sudah baik

• Informasi/undangan lebih cepat

• Dalam surat undangan, sebaiknya penitia langsung menunjuk/menuliskan nama wakil dari

masing-masing institusi

• Untuk pelaksanaan selanjutnya mohon disediakan buku standar kompetensi dokter agar dalam

menilai soal dapat mempertimbangkan kompetensi dokter

• Pemberitahuan jangan mendadak, untuk pengaturan jawal institusi

• Perlu mengaturkan pemahaman bersama lebih dahulu diantara peserta workshop

• Diberi waktu yang lebih panjang untuk mempelajari soal

• Pemberitahuan awal akan sangat membantu

• Manajemen waktu lebih ditingkatkan

• Mohon dapat diberitahu untuk membawa buku standar setting

8. Rencana Tindak Lanjut Manajemen UKDI :

• Meeting di wilayah untuk penanganan retaker. Total retaker untuk UKDI 13 adalah 455 dengan

kontribusi retaker dari tiap wilayah adalah sebagai berikut : Wil 1 = 186 Wil 2 = 56 wil 3 = 39 wil 4 = 31 Wil 5 = 44 Wil 6 = 99

Standar pembiayaan penanganan retaker : tidak dibebankan kepada peserta. 4 kali retaker ke

bawah ditangani masing-masing institusi sedangkan retaker yang sudah melaksanakan UKDI

lebih dari 5 kali akan menjadi tanggung jawab wilayah AIPKI

Retaker yang telah melaksanakan UKDI lebih dari 5 kali, untuk selanjutnya tidak boleh ikut lagi, kecuali mengikuti program pembinaan

(19)

Perlu ditentukan passing grade khusus untuk retaker

UKDI akan mengeluarkan form khusus untuk pembinaan retaker (yang sudah 5 kali ujian atau lebih)

Selanjutnya, untuk menyusun program kerja baru AIPKI, maka akan dilaksanakan Muktamar AIPKI pada minggu ke -3 Juli 2010.

9. Penutup

Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini yang sangat

menentukan kelulusan terutama pada kelompok borderline sangat krusial. Oleh karena itu, pemahaman

dan peningkatan kemampuan standard setter dalam panel expert sangat diperlukan melalui kegiatan workshop. Oleh karena itu, dukungan semua fihak terhadap keberhasilan workshop ini sangat diperlukan.

10.Lampiran

• Materi presentasi narasumber

(20)