LAPORAN
WORKSHOP PANEL EXPERT UKDGI GELOMBANG 2
Komponen 2-‐ Health Professional Education Quality (HPEQ Project)
Direktorat Pembelajaran dan Kemahasiswaan
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan dan Kebudayaan
1. Pendahuluan
HPEQ Project mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini, salah satunya dilakukan melalui proses review soal yang dilakukan secara berjenjang, mulai dari tahap institusi, wilayah, dan pusat. Pada proses review tingkat nasional akan dilakukan 2 tahap kegiatan. Pertama, review dilakukan oleh wakil-‐wakil institusi yang mewakili keahlian yang berbeda. Kedua, soal yang telah di-‐review oleh pakar pakar dalam bidang keahliannya akan direview kembali oleh tim pusat untuk memastikan bahwa soal soal tersebut sesuai dengan kompetensi dokter gigi umum.
Proses review ini sangat penting pula untuk pengembangan bank soal. Soal-‐soal yang tidak masuk kategori pada skala nasional akan dikembalikan ke wilayah dan institusi untuk mendapat perbaikan dan dapat dimasukkan ke dalam bank soal institusi dan wilayah. Sementara itu, soal yang telah lolos melalui berbagai tahap review akan meningkatkan jumlah dan kualitas soal yang masuk bank soal pusat yang selanjutnya akan diujikan dalam uji kompetensi nasional (UKDGI). Pada tahap implementasi, setiap UKDGI akan mengujikan 120 soal yang terdiri dari 100 soal untuk UKDGI, dan 20 soal untuk diujicobakan tanpa dilakukan penghitungan terhadap nilai akhir, dengan tujuan untuk menentukan standard setting dan kemudian soal-‐soal yang sudah diujicobakan dan telah dianggap baik pada saat uji coba akan dimasukkan ke dalam bank soal.
Pada sisi lain, proses review yang dilakukan oleh panel expert merupakan upaya untuk lebih meningkatkan kemampuan dan kapasitas sumber daya manusia dalam bidang
review soal. Keikutsertaan seseorang dalam proses ini dipengaruhi oleh tingkat keaktifan
peserta dalam kontribusi pembuatan soal dan review soal sebelumnya pada tingkat institusi dan wilayah serta nasional. Dengan kesempatan review akhir ini akan terjalin kerjasama reviewer tingkat nasional yang akan menambah jumlah dan kualitas serta cakupan keilmuan reviewer yang ada. Keseluruhan proses ini akan tetap dimonitoring dan dievaluasi oleh penjamin mutu agar keberlangsungan kegiatan tetap efektif , efisien dan sesuai dengan luaran yang akan dicapai.
Mengingat urgensi output yang diharapkan dari program ini, maka proyek HPEQ telah memfasilitasi serangkaian workshop panel expert. Selanjutnya untuk menambah bank soal UKDGI periode berikutnya, perlu dilaksanakan workshop panel expert secara kontiniu menjelang pelaksanaan UKDGI.
2. Tujuan
1. Mereview ulang 200 soal CBT yang telah direview pada saat item review oleh pakar tiap bidang ilmu untuk menghasilkan soal yang sesuai dengan standar kompetensi dokter gigi Indonesia dan blue print CBT yang siap diujikan pada UKDGI periode Juli 2012.
2. Mereview ulang 2 paket soal OSCE yang telah direview pada saat item review oleh pakar tiap bidang ilmu untuk menghasilkan soal yang sesuai dengan standar kompetensi dokter dan blue print OSCE yang siap diujikan pada UKDGI periode Juli 2012.
3. Meningkatkan kemampuan tim review pusat dalam menelaah soal yang layak untuk diinputkan pada bank soal UKDGI
4. Memberikan input kepada IPDG dan stakeholder profesi dokter gigi dalam hal pengembangan soal UKDGI yang berkualitas
3. Output Workshop
1. Diperoleh 100 soal CBT dan 2 Paket soal OSCE yang baik sesuai standar kompetensi dokter gigi Indonesia yang siap diujikan pada UKDGI Periode Juli 2012
2. Meningkatnya kemampuan reviewer tingkat pusat yang dapat melakukan proses
review final dengan baik
3. Rekomendasi pengembangan soal UKDGI yang berkualitas
4. Metode Pelaksanaan Workshop
Workshop Panel Expert Uji Kompetensi Dokter Gigi Indonesia Gelombang 2 ini dilaksanakan pada tanggal 15-‐16 Juni 2012 di Santika, Jogjakarta. Workshop dilakukan dengan metode diskusi kelompok kecil/ pribadi untuk memperbaiki soal sesuai dengan keahlian masing-‐masing yang dilanjutkan dengan diskusi kelompok besar (10 orang). Dibawah ini susunan acara kegiatan panel expert dalam kondisi riil:
Jumat, 15 Juni 2012
15.00 – 15.15 Pembukaan dan Pengarahan Ketua KDGI 15.15 – 18.00 Diskusi kelompok kecil: review soal OSCE Core Team UKDGI 18.00 – 20.30 ISHOMA Panitia 20.30 – 22.00 Panel expert OSCE Core Team UKDGI
Sabtu, 16 Juni 2012
5. Peserta
Peserta Panel Expert UKDGI kali ini terdiri dari 10 orang dari total 13 undangan (participation rate 77%). Berikut adalah daftar peserta yang dapat hadir:
No Nama Keterangan
1 Boedi Oetomo Roeslan Ketua KDGI 2 Melanie S. Djamil KDGI/ Coreteam 3 Haslinda Z. Tamin FKG USU/ Coreteam 4 Iwan Dewanto FKG UMY/ Coreteam 5 Indri Kurniasih FKG UMY/ Coreteam 6 Wiwiek P. KDGI/ Coreteam
7 Utmi Arma FKG UNBRAH/ Coreteam 8 Mei Syafriadi FKG UNEJ/ Coreteam 9 Adam Malik FKG UNHAS/ Coreteam 10 Mia Damiyanti FKG UI/ Coreteam
6. Hasil Kegiatan
Kegiatan panel expert diawali dengan pengarahan dan penjelasan dari Ketua KDGI mengenai tujuan dan target yang harus dicapai kali ini. Setelah pengarahan dan diskusi didapatkan kesepakatan terkait CBT yaitu untuk CBT UKDGI pada bulan Juli 2012 akan menggunakan 100 soal dengan komposisi:
• 25 soal baru dari simpanan item pada workshop bulan April 2012 yang akan dikirim ke drg Wiwiek untuk di periksa/ review kembali.
• 50 soal lama yang telah masuk bank soal dengan kategori “check” • 25 soal lama yang telah masuk bank soal dengan kategori “baik”
Setelah terbentuk kesepakatan terkait CBT, acara dilanjutkan dengan review soal dalam kelompok kecil/ perorangan dengan tujuan meminimalisir perubahan dan mempercepat waktu review dalam kelompok besar (panel review).
Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop Panel Expert UKDGI Gelombang 2 adalah sebagai berikut:
NO KOMPONEN TARGET REALISASI
1. Jumlah soal CBT yang direview 200 *
2. Jumlah soal OSCE yang didapat dari item review
sebelumnya -‐ 21
3. Jumlah soal OSCE yang direview dalam panel expert 21 12 4. Jumlah soal OSCE yang memenuhi kriteria soal baik 21 12
5. Jumlah soal OSCE yang ditolak 0 0
6. Jumlah peserta workshop 13 10
Target soal CBT yang seharusnya direview dalam workshop kali ini berdasarkan TOR adalah sejumlah 200 soal dimana 100 di antaranya akan digunakan sebagai soal CBT UKDGI. Setelah dilakukan diskusi, disepakati bahwa terdapat perubahan cara pemilihan soal yaitu dari 100 soal, 25 diantaranya adalah soal baru dari simpanan item pada workshop bulan April 2012 yang akan dikirim ke drg Wiwiek untuk di periksa/ review kembali, 50 buah soal lama yang telah masuk bank soal dengan kategori “check”, dan 25 soal lama yang telah masuk bank soal dengan kategori “baik”.
Dari 21 soal OSCE yang didapat dari hasil workshop item review sebelumnya, workshop panel expert kali ini berhasil mereview 12 soal (57% dari keseluruhan soal yang tersedia) dan semuanya diterima masuk kategori soal OSCE yang memenuhi kriteria baik. Delapan
200 21 21 0 13 21 12 12 0 10 0 50 100 150 200 250 Jumlah soal CBT yang direview Jumlah soal OSCE yang didapat dari item review sebelumnya Jumlah soal OSCE yang direview dalam panel expert Jumlah soal OSCE yang memenuhi kriteria soal baik Jumlah soal OSCE yang ditolak Jumlah peserta workshop
Grafik Pencapaian Target
Workshop Panel Expert UKDGI Gelombang 2
Hotel SanVka Jogjakarta, 15-‐16 Juli 2012
Target Realisasi
UKDGI periode Juli 2012. Tidak ada soal yang ditolak dalam workshop ini. Partisipation
rate pada workshop ini cukup baik (77%) yaitu 10 orang dari total 13 peserta yang
diundang. Adapun 3 orang yang tidak dapat hadir ini berasal dari 1 institusi dan berhalangan hadir karena ada acara di fakultas.
7. Refleksi
Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif tim monev secara umum dan juga dari peserta. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja peserta yang masih belum optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari perspektif tersebut :
Gambaran Umum
• Waktu kegiatan yang berjalan tidak sesuai dengan jadwal membuat proses panel review belum berjalan dengan efektif dan maksimal.
• Meskipun demikian, mekanisme soal yang direview terlebih dulu dalam kelompok kecil/ perorangan sebelum dibahas dalam kelompok besar telah mempermudah proses review, sehingga dalam kelompok besar tidak terlalu banyak perubahan dari soal dan juga mempercepat waktu review.
• Kesamaan persepsi dan juga pengalaman dalam review soal juga membuat proses review berjalan cukup lancar.
• Hal yang menjadi catatan adalah adanya soal yang diprint selama proses review. Hal ini perlu diperhatikan mengingat hal ini tidak diijinkan dalam peraturan review soal terkait kerahasiaan soal.
Beberapa hal yang perlu ditingkatkan dari pelaksanaan workshop ini adalah :
• Kegiatan diharapkan lebih tepat waktu dan sesuai dengan jadwal agar target yang sudah dibuat dapat dicapai
• Fokus pada kegiatan sehingga output yang dihasilkan dapat lebih maksimal
• Reviewer diharapkan mengingat kembali peraturan dalam review soal terkait kerahasiaan soal.
Peserta
• Kesesuaian blue print OSCE untuk menyusun soal o Sudah cukup sesuai
o Masih terlihat distribusi soal belum merata dan masih terlihat kendala dalam mengisi blue print
o Saran: informasi ke institusi soal-‐soal yang masih dibutuhkan o Masih memerlukan penyempurnaan
o Item review perlu dioptimalkan untuk mendaparkan set soal yang memenuhi blue print
• Kendala yang dihadapi dalam mereview soal
o Masih ada soal yang kurang sesuai dengan blue print soal yang dibuat o Item review tidak dilakukan di tingkat institusi
o Jumlah soal masih kurang untuk memenuhi tinjauan
o Menyesuaikan antara soal yang sudah direview dengan blue print sebab ada soal yang dibutuhkan di blue print tapi soal yang berkualitas tidak ada jadi harus membuat atau memperbaiki ulang
o Masih banyak soal yang multipersepsi
o Masih diperlukan revisi soal yang sudah direview sebelumnya, hal ini menunjukkan soal belum direview secara maksimal
o Peserta tidak memahami mekanisme dalam item yang diberikan o Format OSCE kadang tidak sesuai
• Kesesuaian format dan guideline review soal o Masih belum sesuai
o Sudah cukup baik hanya perlu penyempurnaan check list yang sesuai dengan skenario dan tugas
o Ada perbedaan persepsi dalam penggunaan istilah
• Rekomendasi perbaikan untuk menghasilkan soal OSCE yang berkualitas baik o Institusi lebih didorong untuk mengirimkan soal yang sudah direview dan
diujicobakan
o Waktu workshop diperpanjang karena review membutuhkan waktu yang cukup lama
• Rekomendasi untuk menjaga sustainability workshop ini di tingkat regional AFDOKGI dan institusi
o Pertemuan berkala antara beberapa stakeholder
o Menginformasikan laporan hasil review item OSCE ke masing-‐masing institusi dan AFDOKGI
o Misal pada kegiatan item review: dibuat laporan soal yang masuk dan soal yang diterima dan keaktifan peserta
o Mengadakan pelatihan review OSCE di masing-‐masing institusi dengan teratur dan regular dengan monitoring dari PDGI dan AFDOKGI
o Meningkatkan komunikasi
8. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan
feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai
bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan
outcome dari workshop ini adalah sebagai berikut :
o Perlu dilakukan workshop item review oleh institusi sehingga masing-‐masing institusi memiliki kemampuan untuk melakukan item review dan memiliki bank soal yang dapat digunakan dalam uji kompetensi.
o Item review ditingkat regional juga perlu lebih ditingkatkan.
Dalam rangkaian kegiatan UKDGI selanjutnya, pertemuan selanjutnya direncanakan pada tanggal workshop koordinator CBT dan OSCE pada tanggal 4, 5 dan 6 Juli 2012. 9. Penutup
Workshop panel expert tingkat pusat merupakan bagian penting dalam penjaminan mutu soal ujian. Kegiatan ini juga sangat penting untuk mendapatkan kualitas soal yang sesuai dengan standar kompetensi dokter gigi. Untuk itu, pelaksanaan workshop ini membutuhkan dukungan dari semua pihak, termasuk dari komitmen institusi dan peserta untuk mengikutinya dengan baik.
Lampiran
• Point of Discussion Workshop • Dokumentasi Kegiatan
