Item Development and Review Workshop

(1)

Item Development and Review

Workshop

Divisi Ujian Tulis

Komite Bersama

Uji Kompetensi Dokter Indonesia

Bandung, 28-29 Maret 2012

Tahap Penjaminan Mutu UKDI

Input Process Output 1. Blueprinting 2. Item Writer Standard 3. Item Reviewer Standard 4. ICT support 1. Review Process 2. Try-out 3. Examination guideline 4. Report on Examination 5. Feedback process. 6. Item Bank • Criterion-reference. • Standard setting exercise

(2)

mark Lulus lewat ujian tulis N peserta Failure rate

(%)

Successfu l Rate (%)

N peserta Failure rate (%)

Successful Rate (%)

I 262 20.23 79.77 n.a n.a 40 n.a

II 2150 18.42 81.58 48 83.33 16.67 44 8 III 1966 23.91 76.09 368 80.99 19.01 45 69 IV 1422 28.97 71.03 460 63.69 36.31 45 167 V 1310 27.4 72.6 393 60.05 39.95 45 157 VI 2166 23.58 76.42 346 90.75 9.25 50 32 VII 1999 29.86 70.14 468 71.15 28.85 50 135 VIII 1351 34.49 65.51 531 75.52 24.48 50 130 IX 1375 32.65 67.35 806 75.56 24.44 50 197 X 2584 35.06 64.94 966 90.37 9.63 50 139 XI 1835 32.32 67.68 1370 55 45 51 613 XII 1728 31.42 68.58 1327 63.6 36.4 51 483 XIII 1982 28.36 71.64 1338 71.38 28.62 53 383 XIV 2596 12.8 87.2 1338 43.5 56.5 58 756 XV 3111 13.89 86.11 1023 48.09 51.91 58 531 XVI 1723 20.55 79.45 827 63.12 36.88 58 305 XVII 1747 41.44 58.56 806 90.94 9.06 58 73 XVIII 2891 28.33 71.67 1446 63.21 36.79 61 532 XIX 2678 20.76 79.24 1643 63.3 36.7 62 603 Σ 36876 13504 5313 0 10 20 30 40 50 60 70 80 90 100 2 3A 3B 4

Komposisi Soal UKDI XIX berdasarkan SKDI

Buku 1 Buku 2

(3)

Item Development

Item writer Local Item Bank Administrator Regional Item Bank Administrator National Item Review Item Bank 1 National Item Bank Administrator Panel expert Item Bank 2 Non scored

items Item Bank 3

Item Selection process Question book Item Bank 4

Tijauan1: SKDI Tinjauan 2 Tinjauan 3 Tinjauan 4 Tinjauan 5 Tinjauan 6 Tinjauan 7

Ketrampilan dasar klinis Kognitif Recall Reproduksi Pertumbuhan, perkembangan, dan degenerasi Promosi kesehatan dan pencegahan penyakit Individu Aplikasi biomedis, behavior, clinical, & epidemiologi pada kedokteran

Procedural skill

Reasoning Kepala dan leher Kelainan genetik

dan kongenital

Penapisan/Dia gnosis

Keluarga

Komunikasi efektif Afektif Saraf & Perilaku Penyakit Infeksi dan Imunologi Manajemen/T erapi Masyarkat Manajemen masalah kesehatan primer

Kulit, otot, tulang, j aringan lunak

Penyakit neoplasma

Rehabilitasi

Penelusuran, kritisi, dan manajemen informasi

Darah & Sistem Kekebalan Penyakit akibat trauma atau kecelakaan Aspek hukum dan etika Profesionalisme, moral, dan etika praktik kedokteran

Jantung, Pembul uh darah & Sistem limfatik Kesadaran, pemeliharaa n, dan pengembangan personal Saluran cerna, hepatobilier , dan pankreas Saluran Pernapasan Ginjal dan saluran Urogenital

Blue Print

UKDI

(4)

Aspek Review

• Isi

• Struktur

Contoh Kasus 1: isi?

Seorang pria 20 tahun, sehat, sebelumnya masuk

perawatan rumah sakit dengan keluhan nyeri mendadak pada dada sebelah kiri, ECG normal, foto paru-paru terlihat pneumotorak.

Apakah tindakan yang akan anda lakukan : A. Observasi.

B. Intubasi

C. Torakotomi.

D. Torakostomi. E. Torakoektomi.

(5)

Contoh Kasus 1: isi?

Seorang laki-laki berusia 20 tahun dibawa polisi ke UGD RS, setelah kecelakaan motor, dengan keluhan pada dada sebelah kanan. Pada pemeriksaan fisik diperoleh frekuensi napas 32 x /menit, denyut nadi 110 x/menit, tanda vital lain dalam batas normal, bentuk dan pergerakan toraks

asimetris, VF kanan menurun, VBS kanan (-). ECG dalam batas normal.

Apakah tindakan yang akan anda lakukan : A. Observasi. B. Intubasi C. Torakotomi. D. Torakostomi. E. Torakoektomi.

SKDI

• Pneumothoraks (3a dan 3b)

• 3b. Mampu membuat diagnosis klinik

berdasarkan pemeriksaan fisik dan

pemeriksaanpemeriksaan tambahan yang diminta

oleh dokter (misalnya : pemeriksaan laboratorium

sederhana atau X-ray). Dokter dapat memutuskan

dan memberi terapi pendahuluan, serta merujuk

ke spesialis yang relevan (kasus gawat darurat).

Torakotomi, torakostomi tidak ada dalam list

keterampilan dokter umum.

(6)

Lesson Learnt pada isi

• Apakah secara isi, topik soal yang

ditanyakan esensial?

• Rujukan: Standard Kompetensi Dokter

Indonesia (SKDI) dan blueprinting UKDI.

Pedoman dalam menyusun

“MCQ”

• Fokuskan pada materi yang penting – hindari

“trivia”

• Hindari pertanyaan “recall” simpel : jawaban yang

dapat diperoleh dari suatu halaman buku ajar.

• Hindari pertanyaan yang mendorong memorisasi

simpel

• Selalu uji kemampuan aplikasi , integrasi, atau

pemahaman

• Uji kemampuan daya nalar dan pemecahan

masalah

(7)

Bagan Alir Proses Review

Soal baru

Scanning isi soal terkait topik soal

Dikembalikan Tidak esensial Review struktur Es e n s ia l

Struktur?

(8)

Struktur

• Vignette

• Lead in

• Option

Bagan Alir Proses Review

Soal baru

Dikembalikan Tidak esensial Review struktur Es e n s ia l Vignette

(9)

Contoh Kasus 2: vignette?

Seorang laki-laki berusia 55 tahun datang dengan nyeri dada kiri yang hebat sejak 2 jam yang lalu saat sedang senam pagi. Nyeri dirasakan menjalar ke lengan kiri, tidak hilang dengan istirahat. Pasien adalah perokok berat. Kakak tertua meninggal mendadak 2 tahun yang lalu saat latihan tenis.

Apakah pemeriksaan yang paling tepat saudara minta untuk memastikan diagnosis pasien di atas?

A. Foto thorax dan EKG B. Echocardiografi dan EKG C. Echocardiografi dan enzim CPK D. EKG dan enzim CPK

E. Foto thorax dan Echocardiografi

Komponen Vignette

– Jenis kelamin, usia (e.g. laki-laki 45 tahun)

a. Kasus spesifik perempuan kehamilan

b. Kasus anak-anak, dewasa, geriatri?

- Tempat pelayanan/setting (IGD)

- Keluhan Utama

- Durasi

- Gejala penyerta dan keterangan pasien

lainnya

- Pemeriksaan fisik

(10)

Lesson learnt pada vignette

- Bahasa yang digunakan pada vignette

- Vignette terlalu pendek (tidak

lengkap), atau terlalu panjang (tidak terkait

logika option).

- Urutan vignette tidak sistematik

(HT, PD, HT, PD, PP).

-

“Close the option rule”

Confirm The Vignette

• Lebih berfokus pada konsep daripada fakta penyakit • Masalah dapat dijawab tanpa melihat pilihan jawaban • Informasi relevan dan lengkap

• Tidak ada data yang ditampilkan pada vignette • Tidak menjebak

(11)

perempuan) berusia …..tahun (datang/dibawa orang tuanya/dibawa keluarganya) ke (rumah

sakit/Puskesmas/dokter praktik umum) dengan

keluhan…….. Keluhan disertai……. Pasien diketahui…… Bekerja sebagai…… Pada pemeriksaan fisik

(diperoleh/ditemukan/didapatkan) keadaan umum…… Pada pemeriksaan tanda vital diperoleh tekanan darah …mmHg, denyut nadi ….x/menit, frekuensi napas

…x/menit dan suhu …. 0_{C. Pada pemeriksaan (obstetrik,} dermatologik, visus, neurologik)

(diperoleh/ditemukan/didapatkan) ……… Pada pemeriksaan laboratorium (darah/urine/feses/cairan serebro spinal) diperoleh ……. Pada pemeriksaan foto rontgen diperoleh gambaran………

(12)

Soal baru

Dikembalikan Tidak esensial Review struktur Es e n s ia l Vignette Lead-in

Kasus 3: Lead in?

Seorang wanita umur 30 tahun mengeluh ada benjolan sebesar 1,5 cm dibawah telinga kanan yang diderita selama 4 tahun. Pada pemeriksaan, lesinya padat dan keras, dapat digerakkan, N.VII, fungsi baik, tidak teraba pembesaran kelenjar getah bening.

Diagnosisnya kasus ini adalah :

A. Kistoadenoma limfomatosum (Warthin tumor). B. Karsinoma Muko-epidermoid tahap awal. C. Tumor campur jinak.

D. Tumor campur ganas. E. Adenokarsinoma sel asinar.

(13)

Lesson learnt pada Lead-in

• Menggunakan kata tanya secara

langsung, sehingga dapat memenuhi

“close the option rule”

Berbagai contoh Jenis Pertanyaan

(Lead-in)

• Mengidentifikasi penyebab/diagnosis

• Mengidentifikasi obat yang harus diberikan • Memprediksi hasil pemeriksaan fisik

• Memprediksi hasil lab

• Mengidentifikasi efek samping obat • Memperkirakan obat yang dikonsumsi • Memperkirakan paparan zat beracun • Memperkirakan jenis diet

(14)

Next step?

Bagan Alir Proses Review

Soal baru

Dikembalikan Tidak esensial Review struktur Es e n s ia l Vignette Lead-in Option

(15)

Kasus 4: Option?

Seorang pria, berusia 60 tahun, dibawa ke bagian gawat darurat oleh seorang polisi, yang menemukannya dalam keadaan tergeletak tidak sadarkan diri di sisi jalan. Setelah memastikan bahwa saluran pernafasan dalam keadaan tidak tersumbat, langkah pertama dalam manajemen adalah administrasi intravena:

A. pemeriksaan cairan serebrospinal B. glukosa dengan vitamin B1 (thiamine) C. CT scan kepala

D. fenitoin E. diazepam

Lesson learnt pada Option

• Homogen: gramatikal, semantik,

panjang-pendek.

• Hindari absolutisme: selalu, tidak pernah.

• Hindari konvergensi.

• Hindari kesamaan istilah dengan vignette.

• Hindari urutan yang tidak sistematis 

menyulitkan.

• Hindari kalimat: bukan salah satu

di atas

(16)

Soal baru

Dikembalikan Tidak esensial Review struktur Es e n s ia l Vignette Lead-in Option

Checkpoint

(17)

Apa saja yang perlu ditelaah ?

• Materi :

– Relevansi: Kongruensi

– Bahasa

– Tingkat kesulitan (tingkat kompetensi)

– Klasifikasi : e.g. Dasar atau klinik?

Apa saja yang perlu ditelaah ?

• Struktur :

– Stem

– Lead in

– Option

• Tinjauan (Blue Print)

• Kesimpulan

– Komentar umum dan saran

– Diterima/revisi/dikembalikan

(18)

1. Peserta:

1. IBA Regional: membawa soal dari Institusi di regional 2. Reviewer Nasional: mereview soal dari institusi regional 3. Penulis soal (invited): membuat & mereview soal (30 soal)

2. Format Soal: Word vs. Aplikasi SIPENA 3. Kelompok Review: 2-3 orang per kelompok 4. Tugas Kelompok:

– Mengumpulkan soal

– Melakukan review soal (peer review) sesuai standard UKDI. Berurutan, 5-8 menit/soal

– Merekap hasil review soal:

• Soal terkumpul, Soal direview • Soal baik/diterima

• Soal kurang baik/ditolak • Soal belum direview

– Memperbaiki hasil review soal pada file/aplikasi – Memperbaiki tinjauan dan penulis soal

Protap Penyiapan Materi dan Review

Format Word

• Simpan file word pada folder desktop: WS Item Rev_120328

• Rename file word peserta 

(institusi_wsir120328_jumlah soal.doc) • Review Soal

– Soal diterima: Ubah warna font  BIRU – Soal ditolak: Ubah warna font  MERAH – Soal belum direview  Hitam

• Save As: (institusi_wsir120328_jumlah soal_Rev.doc) • Isi form review soal

– ID Soal (LIHAT PEDOMAN IBA): Kode Institusi-Bidang Ilmu-No. Urut Soal (dalam 1 file)