Item Development and Review Workshop

(1)

Item Development and Review

Workshop

Divisi Ujian Tulis

Komite Bersama

Uji Kompetensi Dokter Indonesia

(2)

Tahap Penjaminan Mutu UKDI

Input Process Output 1. Blueprinting 1. Review Process 1. Blueprinting 2. Item Writer Standard 3. Item Reviewer Standard 4. ICT support 2. Try-out 3. Examination guideline 4. Report on Examination 5. Feedback process. 6. Item Bank • Criterion-reference. • Standard setting exercise

(3)

(4)

Aspek Review

• Isi

• Struktur

(5)

Contoh Kasus 1: isi?

Seorang pria 20 tahun, sehat, sebelumnya masuk

perawatan rumah sakit dengan keluhan nyeri mendadak pada dada sebelah kiri, ECG normal, foto paru-paru terlihat pneumotorak.

Prosedur apa yang akan anda lakukan : A. Observasi. A. Observasi. B. Barium meal. C. Torakotomi. D. Torakostomi. E. Torakostomi + intubasi.

(6)

SKDI

• Pneumothoraks (3a dan 3b)

• 3b

. Mampu membuat diagnosis klinik

berdasarkan pemeriksaan fisik dan

pemeriksaanpemeriksaan tambahan yang diminta

oleh dokter (misalnya : pemeriksaan laboratorium

sederhana atau

X-ray

). Dokter dapat memutuskan

dan memberi terapi pendahuluan, serta merujuk

ke spesialis yang relevan (kasus gawat darurat).

Torakotomi, torakostomi tidak ada dalam list

(7)

Lesson Learnt

pada

isi

• Apakah secara isi, topik soal yang

ditanyakan esensial?

• Rujukan: Standard Kompetensi Dokter

(8)

Pedoman dalam menyusun

“MCQ”

• Fokuskan pada materi yang penting – hindari

“trivia”

• Hindari pertanyaan “recall” simpel : jawaban yang

dapat diperoleh dari suatu halaman buku ajar.

• Hindari pertanyaan yang mendorong memorisasi

simpel

• Selalu uji kemampuan aplikasi , integrasi, atau

pemahaman

• Uji kemampuan daya nalar dan pemecahan

masalah

(9)

Bagan Alir Proses Review

Soal baru

Scanning isi soal terkait topik soal

Dikembalikan Tidak esensial E se n si a l Dikembalikan Review struktur E se n si a l

(10)

(11)

Struktur

• Vignette

• Lead in

• Option

(12)

Bagan Alir Proses Review

Soal baru

Dikembalikan Tidak esensial E se n si a l Dikembalikan Review struktur E se n si a l Vignette

(13)

Contoh Kasus 2: vignette?

Seorang laki-laki berusia 55 tahun datang dengan nyeri dada kiri yang hebat sejak 2 jam yang lalu saat sedang senam pagi. Nyeri dirasakan menjalar ke lengan kiri, tidak hilang dengan istirahat. Pasien adalah perokok berat. Kakak tertua meninggal mendadak 2 tahun yang lalu saat latihan tenis.

Apakah pemeriksaan yang paling tepat saudara minta untuk memastikan diagnosis pasien di atas?

A. Foto thorax dan EKG

B. Echocardiografi dan EKG

C. Echocardiografi dan enzim CPK D. EKG dan enzim CPK

(14)

Komponen Vignette

– Jenis kelamin, Umur (e.g. laki-laki 45 tahun)

a. Kasus spesifik wanita

kehamilan

b. Kasus anak-anak, dewasa, geriatri?

- Tempat pelayanan/setting (IGD)

- Keluhan Utama

- Durasi

- Gejala penyerta dan keterangan pasien

lainnya

- Pemeriksaan fisik

(15)

Lesson learnt pada

vignette

- Bahasa yang digunakan pada vignette

- Vignette terlalu pendek (tidak lengkap),

atau terlalu panjang (tidak terkait logika

option).

- Urutan vignette tidak sistematik (HT, PD,

HT, PD, PP).

(16)

Seorang (laki-laki/perempuan/anak laki-laki/anak

perempuan) berusia …..tahun (datang/dibawa orang tuanya/dibawa keluarganya) ke (rumah

sakit/Puskesmas/dokter praktik umum) dengan

keluhan…….. Keluhan disertai……. Pasien diketahui…… Bekerja sebagai…… Pada pemeriksaan fisik

(diperoleh/ditemukan/didapatkan) keadaan umum…… Pada pemeriksaan tanda vital diperoleh tekanan darah …mmHg, denyut nadi ….x/menit, frekuensi nafas

…mmHg, denyut nadi ….x/menit, frekuensi nafas

…x/menit dan suhu …. 0_{C. Pada pemeriksaan (obstetrik,}

dermatologik, visus, neurologik)

(diperoleh/ditemukan/didapatkan) ……… Pada

pemeriksaan laboratorium (darah/urine/feses/cairan serebro spinal) diperoleh ……. Pada pemeriksaan foto rontgen diperoleh gambaran………

(17)

Confirm The Vignette

• Focus on important concepts rather than trivial facts

• Can be answered without looking at the options

• Includes all relevant facts; no additional data should be provided in the options

• Is not “tricky” or overly complex

(18)

(19)

Bagan Alir Proses Review

Soal baru

Dikembalikan Tidak esensial E se n si a l Review struktur Vignette Lead-in

(20)

Kasus 3:

Lead in?

Seorang wanita umur 30 tahun mengeluh ada benjolan sebesar 1,5 cm dibawah telinga kanan yang diderita selama 4 tahun. Pada pemeriksaan, lesinya padat dan keras, dapat digerakkan, N.VII, fungsi baik, tidak teraba pembesaran kelenjar getah bening.

Diagnosisnya kasus ini adalah : Diagnosisnya kasus ini adalah :

A. Kistoadenoma limfomatosum (Warthin tumor). B. Karsinoma Muko-epidermoid tahap awal.

C. Tumor campur jinak. D. Tumor campur ganas.

(21)

Lesson learnt

pada

Lead-in

• Menggunakan kata tanya secara

langsung, sehingga dapat memenuhi

(22)

Berbagai contoh Jenis Pertanyaan

(Lead-in)

• Mengidentifikasi penyebab/diagnosis

• Mengidentifikasi obat yang harus diberikan • Memprediksi hasil pemeriksaan fisik

• Memprediksi hasil lab

• Mengidentifikasi efek samping obat • Mengidentifikasi efek samping obat • Memperkirakan obat yang dikonsumsi • Memperkirakan paparan zat beracun • Memperkirakan jenis diet

(23)

(24)

Bagan Alir Proses Review

Soal baru

Dikembalikan Tidak esensial E se n si a l Review struktur Vignette Lead-in Option

(25)

Kasus 4:

Option?

Seorang pria, berusia 60 tahun, dibawa ke bagian gawat darurat oleh seorang polisi, yang menemukannya dalam keadaan tergeletak tidak sadarkan diri di sisi jalan. Setelah memastikan bahwa saluran pernafasan dalam keadaan

tidak tersumbat, langkah pertama dalam manajemen tidak tersumbat, langkah pertama dalam manajemen adalah administrasi intravena:

A. pemeriksaan cairan serebrospinal

B. glukosa dengan vitamin B1 (thiamine) C. CT scan kepala

D. fenitoin E. diazepam

(26)

Lesson learnt

pada

Option

• Homogen: gramatikal, semantik,

panjang-pendek.

• Hindari absolutisme: selalu, tidak pernah.

• Hindari konvergensi.

• Hindari kesamaan istilah dengan vignette.

• Hindari urutan yang tidak sistematis

menyulitkan.

• Hindari kalimat: bukan salah satu

di atas

(27)

Bagan Alir Proses Review

Soal baru

Dikembalikan Tidak esensial E se n si a l Review struktur Vignette Lead-in Option

(28)

Checkpoint

(29)

Apa saja yang perlu ditelaah ?

• Materi :

– Relevansi: Kongruensi

– Bahasa

– Tingkat kesulitan (tingkat kompetensi)

– Klasifikasi : e.g. Dasar atau klinik?

(30)

Apa saja yang perlu ditelaah ?

• Struktur :

– Stem

– Lead in

– Option

• Kesimpulan

– Komentar umum dan saran

– Diterima/revisi/dikembalikan

(31)

Struktur Soal :

Item Flaws

• Grammatical Cues ( ) Ya ( ) Tidak • Logical Cues ( ) Ya ( ) Tidak • Istilah yang absolut ( ) Ya ( ) Tidak • Jawaban benar yang panjang ( ) Ya ( ) Tidak • Pengulangan kata dari badan

• Pengulangan kata dari badan

soal ke jawaban ( ) Ya ( ) Tidak • Konvergensi soal ( ) Ya ( ) Tidak • Pilihan jawaban yang panjang,

(32)

• Pilihan yang berupa angka tidak diurut

sesuai dengan besarnya ( ) Ya ( ) Tidak • Pilihan yang mengandung unsur frekuensi

suatu kejadian bersifat multi interpretasi ( ) Ya ( ) Tidak • Pilihan jawaban tidak paralel dan

urutan tidak logis ( ) Ya ( ) Tidak • Penggunaan BSSD (bukan salah satu

• Penggunaan BSSD (bukan salah satu

di atas pada pilihan jawaban) ( ) Ya ( ) Tidak • Badan soal terlalu panjang, sulit,

(33)

Komentar Umum Reviewer

ID Soal :

Kesimpulan Hasil Review Kesimpulan Hasil ReviewKesimpulan Hasil Review Kesimpulan Hasil Review

( ) Diterima tanpa perbaikan ( ) Diterima dengan perbaikan

( ) Perlu konfirmasi pembuat soal

( ) Tidak perlu konfirmasi dengan pembuat soal ( ) Dikembalikan kepada pembuat soal

( ) memerlukan perbaikan keseluruhan ( ) Berpotensi diterima dengan perbaikan

(34)

Saran Perbaikan Saran PerbaikanSaran Perbaikan Saran Perbaikan

Tanggal:

(DD) / (MM) / (YY)

Nama Jelas :

(35)

Exercise

Seorang mahasiswa pria, 25 tahun datang ke rumah sakit dengan keluhan panas badan sejak 2 minggu yang lalu yang mulai secara gradual dan

berlangsung remiten. BAB mencret lebih kurang 2 kali sehari. Pada pemeriksaan fisik ditemukan keadaan umum yang sakit sedang, apatis,

hepatomegali 2 jari dibawah arcus costae. Hb 14,2 gr/dL, leukosit 4200 /mm3, trombosit 172000/mm3.

Pertanyaan: Apa tindakan diagnosis yang akan anda lakukan pada pasien ini? Pertanyaan: Apa tindakan diagnosis yang akan anda lakukan pada pasien ini? Pilihan jawaban:

A. Pemeriksaan Hemaglutinasi test untuk dengue

B. Pemeriksaan Widal I dan II, Kultur darah dan feses untuk salmonela C. Pemeriksaan Widal I dan II.

D. Pemeriksaan apus tebal darah untuk malaria/ DDR E. Feses rutin dan kultur

(36)

(37)

Next step?

Bekerja dalam kelompok untuk mereview

soal-soal menggunakan formulir review

yang ada.

(38)