MONITORING
UJI COBA SKALA PENUH CBT-OSCE UKDGI
LOKASI : FKG UI
TANGGAL : 25-27 Oktober 2011 PENGAWAS/ IT PUSAT : Dhona Afriza
CBT & OSCE Coordinator : Nieka dan Ali Noerdin OBSERVER PROYEK HPEQ : Ismiyati
Parameter-parameter penilaian ini mohon diklarifikasi kepada koordinator uji di masing-masing institusi :
A. CBT
ASPEK SUBSTANSI
NO PARAMETER PENILAIAN KLARIFIKASI
1 Jumlah pelaksanaan UKDGI (hingga saat ini) Koordinator CBT kurang tau tentang ini, tetapi memperkirakan sudah 16 kali UKDGI
2 Jumlah mahasiswa yang mengikuti ujian di tiap periode UKDGI
Jumlah mahasiswa dari FKG UI yang mengikuti UKDGI diperkirakan antara 75 sampai 100 mahasiswa setiap tahunnya, sesuai dengan angka kelulusan mahasiswa. 3 Jumlah rata-rata peserta uji tiap periode uji Kurang tau
4 Rata-rata tingkat kelulusan UKDGI (dari seluruh periode UKDGI)
Kurang tau 5 Rata-rata nilai kelulusan UKDGI (dari seluruh
periode UKDGI)
Kurang tau 6 Try out UKDGI :
-Jumlah peserta try out :
-Tingkat kelulusan UKDGI pada saat try out CBT : -Rata-rata nilai uji :
Jumlah peserta try out UKDGI di CBT center FKG UI sebanyak 10 orang. Tingkat kelulusan belum dapat dilihat karena jawaban yang masuk belum di olah.
7 Problem yang dihadapi dalam implementasi CBT :
Dalam hal sarana dan prasarana tidak ada kendala, karena meski ini adalah try out pertama dari UKDGI tetapi FKG UI sudah tidak asing dengan metode CBT. Dari sisi internal FKG UI sendiri sudah ada metode CBT dengan Aplikasi Scele yang digunakan dalam menguji mahasiswa. Aplikasi ini dikembangkan oleh UI dan sudah bisa sampai menganalisis item.
Ada sedikit kendala dalam hal SOP pengawas pusat. Memang sudah ada SOP untuk Pengawas Pusat, tetapi penjelasan kurang detail dan Pengawas Pusat tidak membawa berkas-berkas terkait peraturan dan tata tertib sendiri sehingga masih harus mencari. 8 Rekomendasi perbaikan
Saran terkait Pengawas Pusat adalah SOP dan Koordinasi antara pengawas pusat dan KDGI harus jelas.
Perlakuan panitia lokal terhadap pengawas pusat juga harus jelas SOPnya agar tidak ada kesalahpahaman dan miskomunikasi, termasuk masalah penjemputan di bandara antar jemput dari penginapan ke lokasi ujian.
Sebaiknya nomer peserta ditentukan oleh KDGI bukan dari panitia lokal
ASPEK TEKNIS
NO PARAMETER PENILAIAN KLARIFIKASI
1 Jumlah fasilitas komputer yang tersedia : - Fasilitas Komputer & IT Equipment lain dari
proyek HPEQ
- Fasilitas Komputer & IT Equipment lain yang merupakan hak milik institusi
Komputer yang digunakan dalam try out uji kompetensi ini adalah milik FKG UI. Jumlah komputer yang ada di CBT center sebanyak 40 unit. Tetapi yang digunakan sebanyak 35 unit dengan 5 unit sebagai cadangan. 2 Jumlah fasilitas komputer yang digunakan
untuk CBT
35 unit + 5 unit cadangan
3 Jumlah operator IT institusi 1 orang
4 Apakah sudah ada item bank system yang terintegrasi dengan item bank nasional ? (mohon dijelaskan juga mekanisme item bank system yang digunakan)
Item bank institusional sudah ada dengan aplikasi Scele yang dikembangkan oleh Fakultas Ilmu Komputer UI. Item bank ini belum terintegrasi dengan item bank nasional.
5 Bagaimana sistem maintenance dan pembiayaan operasional CBT center ?
Selama ini pembiayaan operasional untuk pelaksanaan CBT dan maintenancenya di tangani oleh fakultas. Karena selain untuk CBT center, komputer ini juga dipakai untuk pembelajaran dengan metode PBL.
6 Bagaimana mekanisme koordinasi koordinator CBT center dengan pihak institusi dan KDGI ?
Koordinasi dirasakan masih kurang, terutama terkait detail pelaksanaan ujian, tata tertib dan perlakuan terhadap pengawas pusat.
7 Bagaimana mekanisme resource sharing dengan CBT center FK ?
Resource sharing blm dilaksanakan antara FKG – FK terkait SOP yang belum jelas dan adanya biaya yang dikenakan untuk penggunaan fasilitas tersebut.
8 Permasalahan yang dihadapi terkait sarana dan prasarana CBT :
- Hardware (Komputer) - Instalasi software CBT
- Item bank system
Dalam pelaksanaan CBT tidak ada kendala teknis yang berarti. Hal ini dikarenakan panitia lokal sudah terbiasa melakukan CBT dengan computer yang sama.
9 Rekomendasi perbaikan sarana dan prasarana CBT
yang ada di FK untuk mengantisipasi jumlah peserta uji kompetensi yang akan datang, walaupun saat ini jumlah komputer masih mencukupi.
B. OSCE
ASPEK SUBSTANSI
NO PARAMETER PENILAIAN KLARIFIKASI
1 Try out OSCE:
-Jumlah peserta try out : - Rata-rata nilai uji :
Jumlah peserta try out ada 10 orang
2 Potential problem yang akan dihadapi dalam implementasi OSCE :
Ada skenario yang berbeda terkait pelaksanaan try out ini dengan kesepakatan di Padang. Misalnya dalam hal pemasangan soal di depan pintu, sesuai kesepakatan pertemuan di Padang, soal tidak dipasang. Tetapi pada saat pelaksanaan ada ketentuan lain soal harus dipasang di depan pintu.
3 Rekomendasi perbaikan :
Mungkin kedepannya perlu komitmen dan konsistensi dalam kesepakatan pelaksanaan uji kompetensi sehingga antara pembuat keputusan dan pelaksananya memiliki persepsi yang sama. Komunikasi dan koordinasi harus berjalan lancer.
ASPEK TEKNIS
NO PARAMETER PENILAIAN KLARIFIKASI
1 Fasilitas skills lab yang tersedia : Fasilitas dalam ujian OSCE ini sebagian besar berasal dari fasilitas lab fakultas .
2 Jumlah penguji OSCE saat ini : Jumlah penguji OSCE ada 8 orang dengan 1 orang penguji cadangan. Sebenarnya penguji cadangan yang disiapkan sebanyak 2 orang, tetapi pada saat pelaksanaan, 1 penguji cadangan tidak dapat hadir. 3 Jumlah Standardized Patient saat ini : Jumlah Pasien Standar yang digunakan sebanyak 5
orang, yang sudah dilatih dan disiapkan skenarionya. 4 Apakah sudah ada SOP implementasi OSCE
yang disesuaikan dengan standar nasional ?
Kalau dari kolegium setahu saya kurang tau, tetapi secara internal fakultas kami sudah melaksanakan OSCE dan sudah ada standarnya.
5 Bagaimana sistem maintenance dan pembiayaan operasional OSCE center ?
Untuk maintenance alat-alat yang digunakan dalam OSCE diserahkan kepada fakultas. Akan tetapi, untuk pembiayaan operasional try out OSCE ini diluar anggaran fakultas.
6 Bagaimana mekanisme koordinasi koordinator OSCE center dengan pihak institusi dan KDGI ?
Sepertinya kurang koordinasi antara pihak kolegium dengan panitia lokal. Salah satunya dalam hal penyediaan alat-alat peraga, lay out ruang uji dan aturan-aturan yang berlaku selama ujian.
7 Permasalahan yang dihadapi terkait sarana dan prasarana OSCE center :
Pada salah satu stasiun ada model gigi yang belum disiapkan.
Di salah satu stasiun ada alat peraga yang lepas. Alat peraga tidak sinkron dengan soal dan daftar
checklist
Phantom yang disediakan membuat suasana “lari dari soal”
Foto ekstra oral tidak focus 8 Rekomendasi perbaikan sarana dan
prasarana OSCE
Alat peraga harus di siapkan terlebih dahulu sebelum soal.
Koordinasi dan kejelasan alat peraga yang harus disediakan institusi dan kolegium.
KESIMPULAN HASIL OBSERVASI :
Secara teknis, pelaksanaan try out uji kompetensi kedokteran gigi berjalan cukup lancar. Akan tetapi pada saat evaluasi antara penguji dan panitia pelaksana yang dilakukan setelah pelaksanaan CBT dan OSCE banyak masalah yang teridentifikasi. Terutama pada pelaksanaan OSCE, yaitu ketidakcocokan antara soal dengan alat peraga, ketidakcocokan antara alat peraga dengan checklist maupun ketidakcocokan antara soal, alat peraga dengan daftar checklist yang ada pada pengawas. Tim penguji juga menyatakan bahwa di tata tertib disebutkan bahwa penguji harus berdiri di sisi kiri alat peraga, tetapi dengan lay out ruangan uji yang menempatkan alat peraga di pojok ruangan, maka penguji menjadi tidak tahu harus berada dimana.
Untuk meminimalisir hal tersebut, mungkin bisa diantisipasi dengan menentukan hal-hal apa yang menjadi wewenang, hak dan kewajiban dari panitia lokal. Dan hal-hal yang ditentukan oleh pusat misalnya lay out ruangan dan lain-lainnya mohon diinformasikan kepada panitia lokal seminggu sebelum pelaksanaan. Mengenai ketidakcocokan antara daftar checklist dengan soal atau alat peraga, sesuai masukan dari observer dari KB UKDI maka perlu adanya definisi operasional dari checklist tersebut, sehingga penguji tidak bingung ketika terjadi perselisihan mengenai apakah performance peserta ujian masuk daftar checklist atau tidak. Selain itu, instruksi pada lembar soal yang ada pada penguji dan peserta harus dibedakan sehingga setiap orang paham dengan hal-hal yang harus dilakukannya. Dan yang ditekankan adalah bahwa jika ketidakcocokan atau kesalahan checklist sampai terjadi pada uji kompetensi yang sebenarnya, maka peserta ujian berhak diberikan nilai tertinggi.
Beberapa masukan dari peserta try out juga berhasil diidentifikasi melalui lembar feedback yang secara volunteer disebarkan oleh panitia lokal. Peserta mengeluhkan bahwa antara soal dan alat
termasuk terlalu dinginnya AC diruangan. Beberapa peserta ada yg bingung saat harus berkomunikasi dengan pasien, karena pasien sudah teranastesi. Selain itu, peserta juga mengeluhkan kondisi lay out ruangan yang menempatkan pasien dan alat cukup jauh sehingga menyulitkan pada saat pemeriksaan dan menyelesaikan soal. Pada saat harus memverbalkan tindakan dan menjelaskan kepada pasien, ada peserta yang bingung harus menggunakan bahasa ilmiah atau bahasa yang dimengerti pasien.
Beberapa masukan juga diperoleh dari tim penguji mengenai lay out ruangan dimana sebaiknya alat peraga atau pasien berada ditengah ruangan, sehingga peserta ujian dan penguji dapat lebih leluasa bergerak dan mengobservasi. Instruksi yang membingungkan dari soal juga sempat dikeluhkan oleh tim penguji, dan mereka menyarankan sebaiknya instruksi untuk penguji dan peserta dibuat berbeda. Salah satu penguji menanyakan apakah ada freeze time pada uji kompetensi. Sesuai masukan observer dari KB UKDI, disarankan ada freeze time di 1/3 rotasi sebagai waktu bagi penguji untuk ke toilet, sedangkan peserta tidak boleh keluar ruangan selama masa freeze ini. Untuk peserta yang ingin ke toilet, bisa memanfaatkan waktu pada saat mereka berada di stasiun istirahat.
Pengawas pusat tidak ikut pengarahan karena keterlambatan kedatangan dan mis-informasi tentang pelaksanaan briefing yang semula direncanakan akan dilaksanakan pada pukul 13.00 menjadi pukul 11.00 berdasarkan ketersediaan ruangan. Sehingga pengawas sempat bingung mengenai jumlah soal try out CBT yang semula 100 soal ternyata pada saat pelaksanaan hanya 20 soal. Mengenai hal ini observer dari KB UKDI memberikan masukan bahwa akan lebih baik pada saat try out CBT soal diberikan sesuai dengan jumlah soal yang seharusnya, karena selain untuk membiasakan peserta juga untuk melihat ketahanan komputer dan sistemnya dalam pelaksanaan uji kompetensi nanti. Selain itu perlu juga diperjelas hak dan kewajiban dari pengawas pusat, apakah termasuk fasilitas penjemputan dari bandara dan antar jemput pada saat hari H. Jika memang difasilitasi, perlu kejelasan koordinasi dan SOP-nya dan informasi mengenai hal tersebut sebaiknya diinfokan seminggu sebelumnya supaya tidak mendadak.
Beberapa saran dari pengawas pusat untuk memaksimalkan hasil dari pelaksanaan try out uji kompetensi adalah mengenai hari pelaksanaan. Akan lebih baik jika try out maupun uji kompetensi yang sebenarnya dilakukan di hari Sabtu sampai Minggu. Selain itu, pengawas pusat menekankan untuk lebih mempersiapkan kegiatan karena sangat dirasakan sekali persiapan yang kurang dari pelaksanaan try out ini.
DOKUMENTASI KEGIATAN : (dalam folder foto)
