LAPORAN
WORKSHOP NASIONAL
STANDARD SETTING KEDOKTERAN GIGI
Direktorat Akademik
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
1. Pendahuluan
Komponen 2 Proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini salah satunya dilakukan melalui proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Untuk itu telah terdapat berbagai metode yang telah teruji secara ilmiah dan dilaksanakan secara internasional. Secara umum terdapat 2 pengelompokan metoda yang dapat digunakan, yaitu metoda relatif dan metoda absolut.
Mekanisme penentuan batas lulus yang saat ini berjalan masih menggunakan metoda relatif. Bahkan pada kebanyakan praktek penentuan kelulusan dilakukan secara arbitrary yang tidak didasari oleh landasan ilmiah dan upaya keras untuk bersikap adil dan dapat dipertanggungjawabkan. Pemahaman tentang metodologi penentuan batas lulus ini masih kurang karena dalam prakteknya masih jarang digunakan. Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan.
Mengingat hal di atas, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Workshop Standard setting.
2. Tujuan
Tujuan dilaksanakannya workshop standard setting kedokteran gigi ini adalah :
1. Dipahaminya berbagai metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah
2. Meningkatnya jumlah dan kemampuan standard setter yang akan menjadi judge pada panel expert
3. Dilaksanakannya metode penentuan batas lulus untuk ujian nasional maupun ujian yang dilaksanakan secara lokal untuk meningkatkan penjaminan mutu sistem ujian
3. Output Workshop
Output yang diharapkan dari workshop ini adalah :
1. Metode penentuan batas lulus yang dinilai paling sesuai diterapkan untuk institusi kedokteran gigi di Indonesia
2. Rencana implementasi metode penentuan batas lulus yang paling sesuai untuk uji kompetensi baik lokal maupun nasional
4. Metode Pelaksanaan Workshop
Workshop nasional standard setting kedokteran gigi ini dilaksanakan pada tanggal 11 – 12 Mei 2010 di Hotel Arya Duta Medan. Workshop ini mengundang dekan dan ketua program studi dari 22 institusi pendidikan dokter gigi di Indonesia.
Pada pelaksanaannya, workshop dihadiri oleh para dekan ataupun perwakilan dekan dari 19 institusi yang diundang (Daftar peserta workshop terlampir). Hanya ada 3 institusi yang tidak mengirimkan perwakilannya, yaitu FKG UNPAD, UGM dan UNLAM.
Pada awalnya, peserta workshop dibagi menjadi 5 kelompok besar dan didampingi oleh para fasilitator UKDI, yaitu :
1. Setiawan
2. Abraham Simatupang
3. Gandes Rahayu
4. Erial Bahar
5. Suryani
Para fasilitator juga didukung oleh core team UKDGI (Tim 11), yaitu :
1. Melani S Jamil 2. Haslinda Tamin 3. Wiwik Poedjiastuti 4. Peter Andreas 5. Adam Malik 6. Utmi Arma 7. Mei Sjafriadi 8. Ariadna Djais
Selain itu, workshop standard setting ini juga dihadiri oleh stakeholder kedokteran gigi, yaitu :
1. Boedi Oetomo Roeslan (Ketua KDGI)
2. Harum Sasanti (Ketua MKKGI)
3. Bambang Trenggono (Perwakilan KKG)
Pada pelaksanaannya, rundown acara workshop standard setting tersebut adalah sebagai berikut :
Hari ke-1 :
WAKTU EVENT PIC / NARASUMBER 14.15 – 14.45 Pengarahan dan pembukaan Workshop Mulyono
(PIC Komponen 2) 14.45 – 15.15 Pemaparan : Konsep Dasar Standard setting
Diskusi
Abraham Simatupang 15.15 – 15.30 Coffee Break
Hari ke-2:
WAKTU EVENT PIC / NARASUMBER 08.30 – 09.45 Pemaparan : Modifikasi Metode Angoff
Diskusi
Gandes Rahayu 09.45 – 11.00 Latihan Penentuan Standard setting dengan Metode
Modifikasi Angoff
Semua fasilitator 11.00 – 12.00 Wrap Up hasil latihan Setiawan
12.00 – 12.30 Rencana Tindak Lanjut & Penutupan Setiawan 5. Hasil Kegiatan
Metode standard setting yang dibahas pada workshop kali ini yaitu metode Hofstee, Ebel dan modified Angoff. Ketiga metode tersebut diuji coba pada data kelulusan UKDGI periode Januari dan April 2010 untuk menentukan batas lulus yang paling sesuai. Berikut adalah hasil uji coba 3 metode tersebut :
Baseline data yang digunakan berdasar pada standard setting yang diimplementasikan oleh KDGI selama ini, yaitu sebagai berikut :
-Nilai batas kelulusan berada diantara 50 % hingga 65 % jawaban soal yang tepat ( A1 = 50 dan A2 = 65)
-Persentase mahasiswa yang tidak lulus uji berada pada range 10 % dan 20 % ( B1 = 10 dan B 2 = 20)
-Jumlah standard setter adalah 28 orang dari 21 institusi pendidikan dokter gigi
Berdasarkan data dasar tersebut, berikut adalah hasil penentuan nilai batas lulus dengan metode Hofstee, Ebel dan modified Angoff.
Hasil uji coba tiga metode standard setting diatas dapat menjadi dasar pertimbangan KDGI dalam menentukan batas lulus uji kompetensi untuk periode selanjutnya.
Dalam pelaksanaan latihan standard setting tersebut, terdapat diskusi mengenai experience peserta dalam mengimplementasikan metode standard setting selama ini. Menurut Bambang Trenggono (KKG), pada awalnya penentuan batas lulus yang ditetapkan KDGI masih konvensional, dimana nilai batas lulus adalah 6 dan tingkat kelulusan < 50 %. Dasar penentuan batas lulus adalah kesepakatan bersama Komite Uji Kompetensi Dokter Gigi Indonesia yang terdiri dari para Wakil Dekan 1 12 FKG di Indonesia. Pada dasarnya, belum ada pertimbangan yang reasonable dalam penetapan batas nilai kelulusan peserta UKDGI. Lebih lanjut lagi menurut anggota Tim 11, Mei Sjafriadi, belum ada feedback item analysis dari aplikasi standard setting implementasi UKDGI yang telah dilaksanakan sebanyak 12 kali. Analisis tingkat kesulitan soal berdasarkan jumlah jawaban yang benar atau salah. Jenis soal yang digunakan adalah MCQ dengan proporsi soal departemental 20 % dan integrasi 80 %. Terkait evaluasi uji kompetensi, saat ini belum ada mekanisme yang jelas untuk evaluasi hasil UKDGI, peserta uji hanya mendapatkan keterangan lulus atau tidak. Belum ada penjelasan yang reasonable kepada peserta mengenai ketidaklulusan mereka.
Pada dasarnya, metode standard setting yang dipilih disesuaikan dengan kebutuhan dan nature tiap profesi, dimana faktor akuntabilitas adalah pertimbangan utama. Metode yang paling sering digunakan adalah metode Angoeff. Beberapa hal yang perlu menjadi pertimbangan adalah perlu lebih memantapkan standar proses terlebih dahulu, sebelum menentukan standar eveluasi. Selain itu, relevansi soal perlu direview ulang dengan mempertimbangkan perspektif mahasiswa. Selanjutnya, KDGI perlu menentukan metode standard setting yang paling sesuai. Apakah metode penentuan standard setting yang paling sesuai adalah dengan kompromi ?
Evaluasi Kegiatan
Evaluasi pelaksanaan workshop ditinjau dari perspektif peserta dan fasilitator. Berikut adalah evaluasi workshop dari beberapa perspektif tersebut :
Gambaran Umum
• Peserta cukup antusias mengikuti workshop dari awal sampai akhir.
• Setelah mengikuti workshop ini peserta menyadari ternyata banyak soal dalam UKDGI yang menguji diluar kompetensi dokter gigi.
• Dekan banyak yang tidak bisa hadir dalam workshop ini.
Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah : • Soal UKDGI masih banyak yang belum memenuhi kriteria soal yang baik
• Beberapa peserta workshop masih belum memenuhi kriteria sebagai seorang ‘judge’ yang baik
• Peserta menyadari selama ini tidak menggunakan metode yang baik dalam menerapkan standard setting
Fasilitator
• Kemampuan peserta dalam workshop ini secara umum cukup baik, tetapi cukup bervariasi. • Peserta dapat menerapkan metode standard setting yang sesuai dengan kebijakan di
institusi masing-masing, tidak harus dengan metode yang diusulkan pada workshop ini. Penerapan di lapangan masih perlu dibuktikan dengan tracer study. Hal ini dapat menjadi dasar pengembangan metode standard setting yang lebih kredibel.
• Workshop masih belum menggunakan data set yang sudah diuji dengan item analysis. • Beberapa peserta yang ditugaskan dalam workshop belum memenuhi kriteria seperti yang
disyaratkan dalam TOR. Kriteria siapa yang menjadi ‘judges’ harus dibuat dengan jelas dan disampaikan kepada institusi lebih awal, sehingga institusi dapat mendelegasikan staf yang sesuai dengan ketentuan yang disyaratkan pada TOR.
• Perlu diadakan pre-workshop meeting untuk konsolidasi fasilitator sebelum pelaksanaan workshop.
• Sebaiknya materi dikirim terlebih dulu melalui email sehingga bisa dipelajari terlebih dahulu oleh para peserta.
• Perlu diadakan pre dan post test bagi para peserta workshop untuk menilai pemahaman peserta terhadap konsep dasar standard setting, sebelum dan sesudah workshop.
Peserta
• Peserta menyatakan siap menjadi standard setter
• Standard setting yang selama ini dikerjakan perlu diperbaiki karena tidak menggunakan landasan yang jelas dan sering subjektif. UKDGI belum menggunakan soal yang baik dan metode standard setting yang baik. Meskipun sudah menerapkan PAN dan PAP tetapi selama ini belum memahami landasan dan rasionalisasinya. Dengan workshop ini, standard setting menjadi lebih objektif dan lebih bisa dipertanggungjawabkan.
• Akan segera dibentuk tim untuk memperbaiki standard setting dalam UKDGI. Sebaiknya menggunakan metode Angoff dengan melibatkan seluruh stakeholder dan memilih ‘judge’
Tim Monev : Feedback Peserta
Berdasarkan hasil rekap feedback form yang didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 28 kuesioner yang kembali ke tim monev, 56 % responden menyatakan pelaksanaan workshop sangat memuaskan, dan hanya 1 % responden yang menyatakan kurang puas. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia dan peserta yang sangat cooperative.
Analisa lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap materi workshop dan performa fasilitator yang membawakan materi tersebut. Materi komprehensif dan dapat disampaikan dengan interaktif oleh para fasilitator, sehingga peserta dapat langsung mempraktekkan metode standard setting yang
dipaparkan oleh para fasilitator. Kekurangpuasan peserta hanya pada faktor waktu pelaksanaan tiap sesi workshop yang dirasakan kurang lama.
Berdasarkan feedback tersebut, peserta menyatakan sangat puas terhadap pelaksanaan workshop dan mendapatkan banyak added value dan new knowledge yang siap dishare pada sejawat di institusi masing-masing.
7. Rencana Tindak Lanjut
Berdasarkan hasil evaluasi pelaksanaan workshop standard setting kedokteran gigi, beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
• KDGI perlu menginisiasi program untuk pengembangan soal UKDGI yang baik dan mencetak item writer yang qualified.
• Perlu tracer study untuk observasi metode standard setting yang paling sering diimplementasikan di masing-masing IPDG serta mendapatkan feedback dari tiap IPDG terhadap metode standard setting yang digunakan. untuk dianalisa lebih lanjut, metode standard setting apa yang paling sesuai digunakan. Hal ini selanjutnya menjadi dasar pertimbangan untuk menentukan metode standard setting yang compatible untuk level nasional.
• Untuk pelaksanaan workshop standard setting selanjutnya, perlu ditekankan lebih detail lagi dalam TOR dan surat undangan bahwa peserta yang dikirim hendaknya yang memenuhi kriteria yang sudah ditetapkan. Peserta diharapkan eligible untuk menjadi judges pada masing-masing institusi. Dari sisi teknis pelaksanaan, pembagian kelompok peserta sebaiknya berdasarkan bidang ilmu masing-masing supaya lebih terarah.
• Perlu dilakukan item analysis terhadap data set soal ujian dan disusun suatu evaluasi hasil ujian yang reasonable dan informatif baik untuk pihak institusi maupun peserta uji.
• Untuk lebih mengapresiasi kontribusi fasilitator dan peserta, perlu dibuatkan sertifikat workshop yang dikeluarkan oleh manajer proyek.
• Rencana program terdekat untuk menindaklanjuti output dari kegiatan ini adalah pengumpulan soal dari masing-masing IPDG (100 soal per IPDG) dengan batas waktu akhir pengumpulan tanggal 10 Juni 2010 pukul 10.00 WIB. Selanjutnya, soal-soal ini akan dikelompokkan lebih lanjut oleh core team UKDGI melalui workshop panel expert kedokteran gigi tahap ke-2 (10 Juni 2010) yang rencananya akan difasilitasi oleh proyek HPEQ komponen 2 (hal ini masih perlu didiskusikan lebih lanjut dengan koordinator komponen 2).
8. Penutup
Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini, hal yang sangat krusial dalam menentukan kelulusan terutama adalah pada kelompok borderline. Oleh karena itu, pemahaman dan peningkatan kemampuan standard setter dalam panel expert sangat diperlukan. Harapannya, melalui workshop ini tujuan tersebut dapat tercapai dan output dari workshop ini dapat disosialisasikan di masing-masing institusi. Selain itu, hasil evaluasi dari workshop ini diharapkan dapat menjadi input untuk KDGI pada khususnya, dan IPDG pada umumnya dalam usaha meningkatkan kualitas UKDGI.
9. Lampiran
• Daftar peserta workshop • Materi pelatihan
