Uji Coba Keempat
OSCE UKDI
Komite Bersama Uji Kompetensi Dokter Indonesia
HPEQ Project Komponen 2 28 April 2012
Tujuan
1.
Melakukan uji coba formatOSCE UKDI
mulai H-1 sampai H
Uji Coba Pertama
OSCE UKDI
4
Tujuan:
Apakah soal yang direview dapat mendrive proses persiapan dan pelaksanaan yang baik
Fokus Evaluasi: Perangkat soal
Uji Coba Kedua
OSCE UKDI
Peserta TO II OSCE UKDI
CENTER JUMLAH PESERTA
USU 11 UNAND 14 UI 14 YARSI 12 UKM 10 UNPAD 14 UNDIP 14 UGM 14 UB 14 UNAIR 13 UNUD 14 UNHAS 13 TOTAL PESERTA 157 Kategori Kompetensi M in imal C V S R es p ir at o ry sy st em N eu ro -b eh av io u r G as tr o in tes ti n al s ys tem R ep ro d u ct iv e sy st em Mus cul o sc el e tal sys tem En d o cr in e & M et ab o lic H em at o lo gy / On co lo gy G n it o u ri n ar y sy st em H ea d & N eck Sp eci al Se n so ry Phs yci at ry Kasus 1. Anamnesis 4 V V V V V V V 2. Pemeriksaan Fisik 4 V V V V V V V V 3. Melakukan tes/prosedur klinik atau interpretasi data untuk menunjang diagnosis banding/diagnosis 3 V V V V V V V 4. Menentukan diagnosis atau diagnosis banding 3 V V V V V V V V V V V 5. Penatalaksanaan: a. Non Farmakoterapi 3 V V V V V V V V V b. Farmakoterapi 3 V V V V V V V V V V V V V
7
Uji Coba Ketiga
OSCE UKDI
24 -25 Februari 2012
Tujuan:
8
• Evaluasi Perangkat Soal • Evaluasi Kinerja Penguji • Evaluasi Kinerja PS • Evaluasi Kinerja IT
Lokasi TO III OSCE UKDI
No CENTER No CENTER 1 USU 13 UNSYIAH 2 UNAND 14 UNSRI 3 UI 15 UAJ 4 YARSI 16 UKI 5 UKM 17 USAKTI 6 UNPAD 18 UKRIDA 7 UNDIP 19 UPN 8 UGM 20 UNILA 9 UB 21 UNMUL 10 UNAIR 22 UMY 11 UNUD 23 UII 12 UNHAS 24 UNRAM 25 UNSRAT• 12 soal OSCE-12 station • 9 station dgn pasien standar • 15 menit tiap station:
Sekitar 1 menit untuk membaca soal Sekitar 1 menit untuk perpindahan Sekitar 12-13 menit waktu efektif • 2 station istirahat
Antara station 6 dan 7 Antara station 12 dan 1
• Rehat penguji dan PS setelah station ke-4 selama 8 menit (ada musik).
• Saat Rehat peserta duduk di station berikutnya
• Peserta diijinkan ke toilet saat di berada di station istirahat, dengan ditemani petugas
11
• Pasien Standar (PS):
Skenario diberikan H-1; pelatihan dilakukan H-1
• Peserta Ujian:
Sebagian yang ikut CBT;
Sebagian dokter muda yang telah menyelesaikan 3 rotasi
• Peralatan:
Diberikan ke KOC saat H-10; di set H-1
13
Uji Coba Keempat
OSCE UKDI
28 April 2012
Lokasi TO IV OSCE UKDI
No CENTER No CENTER 1 USU 15 UAJ 2 UNAND 16 UKI 3 UI 17 USAKTI 4 YARSI 18 UKRIDA 5 UKM 19 UPN 6 UNPAD 20 UNILA 7 UNDIP 21 UNMUL 8 UGM 22 UMY 9 UB 23 UII 10 UNAIR 24 UNRAM 11 UNUD 25 UNSRAT 12 UNHAS 26 UNSOED 13 UNSYIAH 27 UWKS
No Center Jumlah Peserta 1 UAJ 13 2 UB 14 3 UGM 14 4 UI 14 5 UII 14 6 UKI 14 7 UKM 14 8 UKRIDA 14 9 UMY 14 10 UNAIR 14 11 UNAND 14 12 UNDIP 12 13 UNHAS 14 14 UNILA 14 15 UNJANI 14
No Center Jumlah Peserta
16 UNMUL 14 17 UNPAD 14 18 UNRAM 14 19 UNSOED 14 20 UNSRAT 14 21 UNSRI 14 22 UNSYIAH 14 23 UNUD 14 24 UPN 13 25 USAKTI 14 26 USU 14 27 UWKS 14 28 YARSI 14 Jumlah 388
Evaluasi
Perangkat Soal
17
Invited Item Writers Dokter Spesialis
Invited Item Reviewers Dokter Spesialis + Praktek Umum
Technical editing OSCE Team
BRIEFING PENGUJI DILAKUKAN DENGAN BAIK
99% 1%
SETUJU TIDAK SETUJU
KECUKUPAN WAKTU (
Penguji
)
N = 349 N = 351
KECUKUPAN WAKTU (
Peserta
)
0% 10% 20% 30% 40% 50% 60% 70% 80% 90%
Waktu yang dialokasikan cukup
Alokasi waktu membaca skenario dan instruksi cukup
17% 15%
83% 84%
Tujuan sta on terujikan Kompetensi yang diujikan sesuai SKDI
94% 96%
6% 4%
SETUJU TIDAK SETUJU
KESESUAIAN SKDI (
Penguji
)
N = 341 N = 342
KESESUAIAN SKDI (
Peserta
)
13%
86%
Tujuan station terujikan
tidak
ya PESERTA TO OSCE IV = 387
12%
88%
Kompetensi yang diujikan sesuai dengan SKDI
tidak
Kejelasan instruksi peserta (
Penguji
)
N = 348 N = 347 N = 349 N = 341 N = 341
Kejelasan instruksi peserta (
Peserta
)
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% Instruksi untuk peserta terlalu sulit Instruksi untuk peserta terlalu mudah Skenario klinik dalam instruksi peserta mudah dimengerti Instruksi peserta mudah dimengerti Penekanan (BOLD dsb) membantu pemahaman instruksi 59% 80% 22% 25% 14% 41% 20% 78% 74% 84%
Kejelasan instruksi penguji
N = 349 N = 348 N = 351 N = 346 N = 337
ALAT DAN MANIKIN
97% 3%
Timer berfungsi baik
SETUJU
TIDAK SETUJU
TIMER
N = 348
COMPUTER BASED SCORING
N = 341 N = 344 N = 342 N = 334 N = 32899% 1%
Petugas membantu saat dibutuhkan
SETUJU TIDAK SETUJU
PETUGAS
N = 349KELANCARAN
N = 35011%
89%
PENGUJI TIDAK MELAKUKAN KEGIATAN LAIN
tidak ya PESERTA TO OSCE IV = 387
13%
87%
Tersedia waktu istirahat yang cukup
FASILITAS PENDUKUNG DI LOKASI UJIAN
0% 10% 20% 30% 40% 50% 60% 70% 80% 90%Ruangan transit nyaman dan tenang
Toilet bersih dan nyaman Tersedia fasilitas penyimpanan barang
pribadi
12% 12% 12%
88% 88% 88%
tidak ya PESERTA TO OSCE IV = 387
Sebelum TO ini, saya pernah OSCE di
ins tusi saya
OSCE tepat dipakai sbg slh satu metodi penilaian kompetensi Penerapan OSCE memacu peserta belajar dan menguasai Penerapan OSCE memacu perbaikan penilaian klinik 86% 99% 100% 99% 14% 1% 0% 1%
SETUJU TIDAK SETUJU
PERSEPSI PENGUJI MENGENAI OSCE
N = 333 N = 347 N = 349 N = 348
333 347 349 348
PERSEPSI PESERTA MENGENAI OSCE
35
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% Saya pernah mengikuti ujian OSCEdi institusi saya
OSCE tepat untuk menilai kompetensi
Dokter Indonesia
Penerapan OSCE menstimulus peserta
untuk belajar dan menguasai ketrampilan klinik Penerapan OSCE menstimulus perbaikan pendidikan klinik 55% 53% 15% 18% 45% 47% 84% 80%
tidak ya PESERTA TO OSCE IV = 387
Evaluasi
Kinerja PS
PERBANDINGAN SKOR PS
DINILAI OLEH PELATIH PS
DAN PENGUJI
N Mean SD
Penguji 282 7,71 1,063
Pelatih 301 8,11 0,789
Pengalaman PS - Kinerja
Pengalaman PS Skor Kinerja≤ 5 tahun 7,58
6-10 tahun 8,13
> 10 tahun 7,73 p = 0,337
Variasi Kasus Skor Kinerja
≤ 5 kasus 7,55
6-10 kasus 8,14
> 10 kasus 7,65
p = 0,168
Variasi Kasus - Kinerja
Latar Belakang Seni Peran Skor Kinerja Teater/ Akting 7,95 Umum 7,50 p = 0,55
Tingkat Pendidikan Skor Kinerja SD 7,33 SMP 8 SMA 7,55 S1 8,07 p = 0,408
Tingkat Pendidikan PS - Kinerja
Usia PS Skor Kinerja
≤ 30 tahun 7,72 30-40 tahun 7,44 > 40 tahun 7,71
p = 0,509
43
Uji Coba Kelima
OSCE UKDI
7-8 September 2012
• 12 soal OSCE-12 station • 9 station dgn pasien standar • 15 menit tiap station:
Sekitar 1 menit untuk membaca soal Sekitar 1 menit untuk perpindahan Sekitar 12-13 menit waktu efektif • 2 station istirahat
Antara station 6 dan 7 Antara station 12 dan 1
• Rehat penguji dan PS setelah station ke-6 selama 8 menit (ada musik).
• Saat Rehat peserta duduk di station berikutnya
• Peserta diijinkan ke toilet saat di berada di station istirahat, dengan ditemani petugas
45
Tujuan:
• Evaluasi Perangkat Soal • Evaluasi Kinerja Penguji • Evaluasi Kinerja PS • Evaluasi Kinerja IT • Standar Setting
Lokasi TO V OSCE UKDI
No CENTER No CENTER No CENTER
1 USU 13 UNSRI 25 UWKS
2 UNAND 14 UAJ 26 UNJANI
3 UI 15 UKI 27 UNSOED
4 YARSI 16 USAKTI 28 UNS
5 UKM 17 UKRIDA 39 UMS
6 UNPAD 18 UPN 30 UMI
7 UNDIP 19 UNILA 31 UHT
8 UGM 20 UNMUL 9 UB 21 UMY 10 UNAIR 22 UII 11 UNHAS 23 UNRAM 12 UNSYIAH 24 UNSRAT
Koordinator OSCE
48Persyaratan Koordinator
• Staf pendidik yang ditunjuk oleh institusinya sebagai penanggung jawab OSCE center di institusi
• Pernah menjadi penguji OSCE sesuai standar OSCE nasional
• Memiliki komitmen untuk menyelenggarakan OSCE
• Memahami standar penyelenggaraan OSCE nasional
• Bisa melakukan koordinasi dengan koordinasi OSCE dari institusi lain serta panitia
49
Tugas Koordinator:
• Mengkoordinasikan dan bertanggungung jawab terhadap pelaksanaan OSCE di institusi tempat berlangsungnya ujian
• Mempersiapkan pelaksanaan OSCE sesuai dengan standar yang sudah disiapkan
• Mengawasi pelaksanaan OSCE di institusi penyelenggara • Mengevaluasi pelaksanaan OSCE di institusi penyelenggara • Melaporkan pelaksanaan OSCE dalam bentuk berita acara ujian • Bekerja sama dengan pengawas pusat mengatasi permasalahan yang
timbul pada saat pelaksanaan ujian
• Mengembalikan semua berkas ujian yang diterima kepada pengawas pusat • Satu bulan sebelum penyelenggaraan ujian Koordinator OSCE sudah
mengetahui jadwal pelaksanaan serta station yang akan diujikan untuk mempersiapkan peralatan yang dibutuhkan.
• Bertanggung jawab untuk menjaga kerahasiaan station yang diujikan di OSCE Center-nya
Hak Koordinator
• Mendapatkan honorarium sesuai ketentuan yang berlaku
• Mendapatkan informasi umpan balik pusat ujian yang dikelolanya
• Mendapatkan sertifikat Koordinator OSCE
51
Penguji
1. Syarat dan kontrak
1. dr dengan pendidikan terakhir minimal S2 dan/atau dr spesialis
2. Sudah berpengalaman menjadi instruktur
keterampilan klinik (pre klinik atau klinik) minimal 1 tahun dan penguji OSCE di institusinya minimal 3 kali periode masa ujian
3. Telah mengikuti pelatihan yang terstandar sebagai penguji OSCE sesuai SOP HPEQ yang dibuktikan dengan sertifikat
4. Mematuhi tata tertib dan kode etik penguji OSCE A. Syarat
5. Syarat pengalaman (dibuktikan dengan surat tugas dari institusi masing-masing):
a. Instruktur skills lab di institusi masing-masing minimal 1 tahun
b. Penguji OSCE minimal 3x periode masa ujian di institusi masing-masing
B. Kontrak
Perlu ada kontrak atau komitmen kontrak Penguji dengan Panitia OSCE Nasional
Berisi:
Hak Penguji Kewajiban Penguji Tata tertib
Hak penguji
Penguji mendapatkan honorarium sesuai ketentuan yang berlaku
Penguji luar kota mendapatkan lumpsum, transportasi dan akomodasi sesuai ketentuan yang berlaku
Mendapatkan informasi umpan balik sebagai penguji
Mendapatkan sertifikat penguji OSCE nasional
Kewajiban penguji
1. Mengikuti instruksi penguji sesuai kebutuhan skenario uji, seperti
a. Memberi informasi tambahan (bila ada intruksi dalam soal)
b. Mengajukan pertanyaan (bila ada instruksi dalam soal)
c. Mengingatkan waktu yang tersisa pada 3-5 menit akhir station
2. Mengevaluasi kandidat sesuai lembar penilaian
3. Mengisi berita acara ujian dan formulir umpan balik OSCE
Kewajiban penguji
4. Dalam kondisi tertentu, PS tidak melaksanakan tugasnya sesuai instruksi penguji
memberikan intervensi : ralat/revisi informasi.
5. Dalam situasi peralatan atau fasilitas rusak: penguji langsung meminta kandidat
menggunakan alat cadangan
6. Dalam kondisi tertentu yang tidak terduga, penguji harus melaporkan kepada Koordinator OSCE Center yang kemudian melaporkan
kepada pengawas pusat. Keputusan diambil oleh pengawas pusat dan dicantumkan pada berita acara ujian.
Tata tertib penguji
Datang tepat waktu
Tidak meninggalkan tempat saat ujian berlangsung
Tidak boleh menggunakan alat komunikasi apapun saat ujian Menjalankan tugas sebagaimana instruksi untuk penguji Mengikuti persiapan bersama panitia nasional
Bertanggung jawab terhadap pelaksanaan ujian di station tempat penguji bertugas
Memberikan feedback pada lembar yang telah dipersiapkan oleh panitia
Harus hadir pada briefing penguji yang dilakukan stau hari sebelum putaran pertama ujian dilaksanakan
Harus hadir 1 jam sebelum ujian dimulai untuk standarisasi penguji dan PS
2. Kode etik
1. Komitmen dan disiplin yang tinggi
2. Tidak membocorkan soal
3. Tidak membantu atau merugikan kandidat
4. Bersifat obyektif dan bertanggung jawabb
5. Menjunjung tinggi nilai-nilai sebagai berikut:
– Kejujuran – Loyalitas – Kebajikan – Kehormatan – Kebenaran – Respek – Keramahan – Integritas – Keadilan – Kerjasama
3. Tugas dan Peran
Penguji
A. Sebelum ujian
• Menandatangani kontrak
• Mengikuti persiapan bersama panitia nasional
– Mengikuti briefing persamaan persepsi mengenai soal/check list
– Ikut mengecek alat dan bahan bersama koordinator dan penanggung jawab instrument
B. Saat menguji
– Mengikuti instruksi penguji sesuai kebutuhan skenario uji, seperti
• Memberi informasi tambahan (jika ada dalam instuksi dalam soal)
• Mengajukan pertanyaan (jika ada dalam instuksi dalam soal)
– Mengingatkan waktu yang tersisa pada 3-5 menit akhir station
– Mengevaluasi kandidat sesuai lembar penilaian
C. Setelah ujian selesai
• Mengisi berita acara ujian dan formulir umpan balik OSCE
Kebutuhan Penguji TO V OSCE
• 15 penguji
12 penguji + 1 penguji dan 2 siaga
Lihat daftar penguji tandem
67
Pasien Standar
Instruksi untuk pasien standar akan dibawa oleh panitia pusat.
Briefing PS dilakukan H-1
Kebutuhan PS lihat pada daftar set kebutuhan per station
69
• KOC memilih 14 peserta ujian + 2 cadangan dari daftar yang diberikan oleh KBUKDI • Kode Ujian :
Sesuai kode CBT UKDI
4 digit: 2 digit LOKASI ujian (kode OSCE center); 2 digit nomor urut
• Akan dibawa oleh Pengawas Pusat
71
Peralatan
• Lihat di dalam daftar yang dibagikan
• Harus sudah diset oleh center H-1 BUKAN oleh pengawas pusat
73
• IT OSCE : Melodi (Hp 081328269000) • NON IT OSCE : dr. Adrian(Hp 081215523373) • Keuangan : Anita (Hp 085695116003)
