LAPORAN Evaluasi Penyelenggara Tingkat Pusat UKDGI CBT-OSCE Kedokteran Gigi Periode III Tahun 2012

LAPORAN

Evaluasi Penyelenggara Tingkat Pusat UKDGI CBT-OSCE

Kedokteran Gigi Periode III Tahun 2012

KOMPONEN 2 PROYEK HPEQ

Direktorat Pembelajaran dan Kemahasiswaan

Direktorat Jenderal Pendidikan Tinggi

Kementerian Pendidikan dan Kebudayaan

1. Pendahuluan

Komponen 2 HPEQ Project mempunyai fokus kegiatan pada upaya peningkatan sistem ujian.

Dalam upaya penjaminan mutu sistem ujian ini, salah satunya dilakukan melalui proses

evaluasi keseluruhan kegiatan UKDGI Teori dan Praktik (OSCE) metode CBT Periode III Juli

2012. Mengingat status uji kompetensi sebagai ujian yang bersifat high-stake exam dan

menentukan seorang lulusan apakah dapat melakukan profesinya maka perlu dijaga mutu

ujian melalui evaluasi kegiatan UKDGI yang melibatkan semua komponen yang terlibat

dalam CBT teori dan praktik (OSCE).

Pada Evaluasi Uji Kompetensi Dokter Gigi periode III Juli 2012, akan dievaluasi seluruh

komponen yang terlibat melalui cek list/feedback yang didapat dari lembar evaluasi oleh

kandidat/peserta CBT dan OSCE, penguji/examiner, kordinator CBT dan OSCE, operator TI,

Pengawas pusat dan Pasien standar.

Pada pelaksanaan UKDGI periode III Juli 2012, dilakukan uji coba OSCE menggunakan sistem

TI pada 4 IPDG yaitu IPDG UNPAD, USAKTI, UGM dan UMY. Dalam rangka uji coba sistem

maka perlu dievaluasi dan dimonitoring apakah sistem CBT OSCE tersebut sudah efektif atau

masih perlu perbaikan untuk mendapatkan suatu sistem yang efektif dan efisien.

Mengingat hal di atas, sebagai bagian dari penjaminan mutu output kegiatan program

UKDGI maka feedback yang didapat dari lembar evaluasi harus dapat menilai apakah

program kegiatan UKDGI tersebut sudah berjalan dengan baik atau harus masih ada

perbaikan pada SDM, Sarana dan prasarana, item development, reviewer ataupun para

examiner dan pengawas pusat demi tercapai akuntabilitas pelaksanaan uji kompetensi

setiap periode penyelenggaraan UKDGI maka diperlukan WS Evaluasi UKDGI periode III Juli

2012.

2. Tujuan Kegiatan

Tujuan dilaksanakannya workshop kali ini adalah:

1) Mengevaluasi lembar feedback dari peserta UKDGI periode III Juli 2012

2) Mengevaluasi lembar feedback dari Kordinator CBT dan OSCE setiap center UKDGI

periode III Juli 2012

3) Mengevaluasi lembar feedback pengawas pusat UKDGI periode III Juli 2012

4) Mengevaluasi lembar feedback dari para penguji UKDGI periode III Juli 2012

5) Mengevaluasi lembar feedback dari kordinator IT setiap center UKDGI periode III Juli

2012

6) Mengevaluasi lembar feedback dari pasien standar pada UKDGI periode III Juli 2012

7) Mengevaluasi uji coba sistem CBT untuk OSCE pada 4 IPDG dalam rangka

3. Indikator Keluaran

Indikator keluaran utama program ini adalah :

1) Feedback pengawas pusat UKDGI periode III Juli 2012

2) Feedback dari Kordinator CBT dan OSCE setiap senter UKDGI periode III Juli 2012

3) Feedback dari para penguji UKDGI periode III Juli 2012

4) Feedback dari kordinator IT setiap senter UKDGI periode III Juli 2012

5) Feedback dari pasien standar pada UKDGI periode III Juli 2012

6) Evaluasi lembar feedback dari peserta UKDGI periode III Juli 2012

7) Solusi perbaikan sistem CBT-OSCE untuk UKDGI 2013.

4. Metode Pelaksanaan Kegiatan

Workshop ini dilaksanakan pada tanggal 25-26 Juli 2012 di Hotel Le Meridien Jakarta.

Workshop berisi kegiatan penginputan data hasil uji OSCE. Workshop hari pertama dimulai

dengan menginput data hasil uji OSCE secara mandiri. Input data dilakukan hingga pukul

23.30 dihari pertama, diselingi dengan Ishoma pada pukul 18.30-20.00, dan dilanjutkan

mulai pukul 9 pagi keesokan harinya. Workshop dimulai dengan pembagian 4 kelompok dan

setiap kelompok bekerja secara mandiri dengan menginput dan mengolah data hasil ujian

OSCE. Pembagian kelompok sebagai berikut :

1. Prof.Melanie S. Djamil (Ketua Core Team / KDGI) & Prof.Haslinda Z. Tamin(Sekretaris

Core Team / FKG USU)

2. Prof. Mei Syafriadi (Core Team / FKG UNEJ) & Drg. Wiwiek Poedjiastuti (Core Team /

KDGI )

3. Drg. Mia Damiyanti (Core Team / FKG UI) & Drg. Indri Kurniasih (Core Team / KDGI)

4. Drg. Utmi Arma (Core Team / FKG UNBRAH ) & Drg.Adam Malik (Core Team / FKG

UNHAS)

Workshop ini dihadiri oleh seluruh peserta rapat yang terdiri dari 9 anggota core team dan 1

fasilitator. Ada 1 peserta yang tidak hadir dari staf KDGI yaitu Cipta, fasilitator Prof Boedi O

Roeslan, dan anggota coreteam drg Gilang. Antusiasme peserta workshop cukup baik,

karena participation rate yang mencapat 77%.

Pada implementasinya, acara berjalan sesuai jadwal. Acara dimulai dengan pembukaan oleh

prof Melanie selaku Ketua Core Team. Seharusnya acara dibuka oleh Prof Boedi O Roeslan

selaku Ketua KDGI namun beliau tidak dapat hadir dikarenakan sedang sakit. Berikut adalah

rundown acara workshop pada kondisi riil :

Kamis, 16 Februari 2012

14.00- 14.30 Pembukaan & Pengarahan Workshop Prof Melanie (Ketua Core

Team / KDGI)

14.30–17.30 Kerja Kelompok:

•

Prof.Melanie (Ketua Core Team / KDGI) &

Prof.Haslinda (Sekretaris Core Team / FKG

5. Hasil Kegiatan

Workshop dimulai dengan pembukaan oleh prof prof Boedi O Roeslan, dan setelahnya diserahkan kepada prof Mei untuk memimpin jalannya diskusi di dalam workshop. Peserta terbagi menjadi 2 kelompok, yaitu kelompok perwakilan institusi koordinator OSCE dan Tim IT. Workshop diselingi dengan evaluasi singkat dalam pelaksanaan OSCE. Ditemukan fakta bahwa masih ada penguji OSCE yang tidak mengisi ceklist sesuai dengan prosedur dan kendaa teknis masih menjadi perhatian utama. Beberapa hasil rangkuman evaluasi pelaksanaan kegiatan adalah sebagai berikut :

 Center yang mengadakan UKDGI CBT – OSCE :  Center UNBRAH  Center USU  Center UPDMB  Center USAKTI  Center UNPAD  Center UGM  Center UMY  Center UHT  Center UNEJ  Center UNMAS  Center UNHAS

 Perlu koordinasi antara IT pusat dan koordinator IT tiap institusi untuk mencari jalan keluar mengenai masalah komunikasi. Jalur komunikasi antara center ujian dan pusat harus bisa dibuatkan pedoman yang baik dan terstandar, sehingga terjadi permasalahan dari center ujian bisa dengan segera dilakukan koordinasi

 Permasalahan teknis perihal pedoman pelaksanaan menuntut adanya perbaikan pedoman, perbaikan mengakomodir hasil evaluasi oleh semua pihak pada workshop kali ini dan akan dikoordinasikan oleh drg Koostermaan dan tim. Pedoman nantinya akan dapat diunduh dari website KDGI, antara lain perbaikan tersebut adalah :

 Standardisasi perlakuan soal-jawaban (perangkat ujian) sebelum dan sesudah dilaksanakannya ujian. Sandarisasi penggunaan tas, map, dan tanda-tanda pengenal.  Perbaikan sistem yang memudahkan penguji contohnya dalam hal menginput kode

pada saat ujian.

 Perbaikan sistem yang dapat mengurangi kelalaian penguji dalam pengisian checklist.

 Pemberian nomer kode soal. USU)

•

Prof. Mei Syafriadi(Core Team / FKG UNEJ)

& Drg.Wiwiek P (Core Team / KDGI )

•

Drg.Mia D (Core Team / FKG UI) &

Drg.Indri (Core Team / KDGI)

•

Drg. Utmi (Core Team / FKG UNBRAH )&

Drg.Adam (Core Team / FKG UNHAS)

18.30–20.00 ISHOMA Panitia

20.00 -23.30 Lanjutan Kerja Kelompok Core team dan KDGI

Jum’at, 17 November 2011

09.00-09.30 Lanjutan Kerja Kelompok Core team dan KDGI

 Standardisasi istilah station menjadi menggunakan kata “STASIUN”

 Perlakuan bagi peserta maupun penguji yang tiba-tiba sakit pada saat pelaksanaan ujian.

 Perbaikan “Narasi” instruksi pada pelaksanaan ujian perlu dilakukan, hal ini akan disempurnakan oleh tim IT pusat

 Penyempurnaan aplikasi (Computer Based Scoring) CBS – OSCE akan dilakukan oleh tim IT pusat dan dishare melalui server pilihan yang dapat diunduh oleh tiap center nantinya. (mediafire, dropbox, 4shared)

6. Refleksi

Dari sudut pandang monev, acara berjalan lancar dan cukup aktif. Setiap peserta memiliki kesempatan yang sama untuk menyampaikan evaluasinya, meskipun hanya 2 evaluasi yang dikemas dalam bentuk presentasi yaitu dari tim teknis UGM dan UMY. Beberapa catatan khusus dalam workshop kali ini adalah :

 Masih terlihat banyaknya perbedaan pendapat dalam arti ketidaksepahaman mengenai

panduan dan tata cara pelaksanaan CBT-OSCE

 Perbedaan kultur di setiap institusi ternyata masih menjadi kendala, misal ketika pelaksanaan

ujian masih dilakukan di center milik FK

 Standardisasi pelaksana atau center ujian yang tidak sama

Salah satu hal penting lain yang perlu diperhatikan terutama pada pelaksanaan OSCE adalah independensi dari penguji pada saat pelaksanaan. Hal ini dikemukakan oleh tim pusat mengingat hasil perhitungan Global Performance Index oleh penguji yang terkesan “sama rata” baik, padahal dari evaluasi tim pusat masih banyak ditemukan kesalahan-kesalahan atau pemakaian bahan yang berlebihan dilakukan oleh peserta (jika seperti ini maka seharusnya penilaian GPS bervariasi). Secara umum koordinasi pelaksanaan diskusi berjalan sangat baik, dan antusias peserta pun baik.

7. Rencana Tindak Lanjut

a.

Penyempurnaan pedoman termasuk didalamnya petunjuk teknis dan kelengkapan yang

harus dipersiapkan (standarisasi perlakuan soal dan peralatan yang harus digunakan)

b.

Perbaikan database penguji

c.

Penentuan kebijakan terhadap penguji yang masih melakukan kesalahan (Surat KDGI)

d.

Penyempurnaan sistem (aplikasi) dari hasil evaluasi

e.

Pelatihan penguji untuk wilayah barat (8 penguji) dan timur (8 penguji) dilakukan paralel

jadi ada 2 tim IT yang disebar  11-13 Oktober 2012

f.

Technical meeting koordinator OSCE UKDGI - Rakor (diskusi)  19 Oktober 2012

g.

Technical Meeting Pengawas CBT OSCE UKDGI  22-23 Oktober 2012

h.

Monitoring pelaksanaan UKDGI  24-25 Oktober 2012

8. Penutup

Output workshop evaluasi UKDGI periode III Juli 2012 ini diharapkan menjadi feed back bagi tim KDGI. Berdasarkan hasil evaluasi dapat diketahui apakah program kegiatan UKDGI tersebut sudah berjalan dengan baik meskipun masih harus diperbaiki dari SDM, serta sarana dan prasarana.

Lampiran

 Rekap Hasil Evaluasi Kuantitatif dan kualitatif

 Tingkat Kesukaran Soal

 Notulensi POD hasil Evaluasi

 Catatan coreteam

 Foto-foto kegiatan

 Data Penyelenggara

 Buku Pedoman dengan perbaikan sementara.

Jakarta, 29 Juli 2012

Indra Prima Putra

Asisten monev proyek HPEQ

Supervisi oleh :