Penilaian Berbasis Kompetensi dalam Pendidikan Dokter. Penulisan Soal MCQ untuk Uji Kompetensi

(1)

Penulisan Soal MCQ untuk Uji Kompetensi

IRWIN ARAS

Departemen Pendidikan Kedokteran FK UNHAS

Penilaian Berbasis Kompetensi dalam

Pendidikan Dokter

Competency-based assessment is the

assessment of the abilities of persons to use

(apply) their knowledge, skills and attitudes in

daily practice to improve the health of the

individual patient and community”

(2)

(Lambert & Lines, 2001)

:

3 Konsep harus spesifik dan jelas. Keterampilan anamnesis pasien di

RS. Instrumen harus sesuai

karakteristik yang dinilai. Rubrik. Butuh kesadaran akan

keterbatasannya. bersifat general, tidak spesifik. Howthorne effect. Penilaian komprehensif butuh

instrumen bervariasi.

Check list, peer assessment, 3600_assessment.

Penilaian bukan tujuan tapi sarana.

Evaluasi sistem penilaian. Umpan balik dari dosen dan mahasiswa.

Syarat instrumen yang baik

(Shumway & Harden, 2001)

1. Validitas; fungsi mengukur sesuatu yang sebenarnya

hendak diukur.

2. Reliabilitas; konsisten mengukur sesuatu yang

sebenarnya hendak diukur.

3. Kepraktisan; fisibilitas ketika penyiapan, penggunaan

maupun ketika ujian telah selesai dilaksanakan.

4. Dampak pembelajaran; pengaruh terhadap proses

belajar mahasiswa.

(3)

 MCQ sudah sangat luas digunakan, termasuk UK profesi kesehatan sejak tahun 2006.

 Alasan menggunakan MCQ; reliabilitas yang cukup tinggi,

mudah dalam persiapan dan pelaksanaan ujian, serta memungkinkan

dilakukan item analysispasca ujian (computer-based testing, CBT)

menilai berbagai capaian pembelajaran, dari kemampuan recalling, hingga

critical thinking,clinical reasoning & problem solving.

sampel pengetahuan yang efektif dan efisien,

jika didesain dengan baik, penilaian dapat meningkatkan kualitas belajar

mahasiswa (Roediger, McDermott & McDaniel, 2010)

Jenis MCQ

True/False MCQs:

 Select all of the options that are true:

– C (A/B/both/neither)

– K (complex multiple true/false) – X (multiple true/false)

One-Best Answer MCQs:

 Select the single best response:

– A (3 or more options, single items or sets) – R (Extended Matching items in sets of 2-20 items)

(4)

Format MCQ

(5)

Mengapa Vignette/Stem/Kasus

 lebih mampu mendiskriminasi kemampuan atau level

kognitif mahasiswa (Case dan Swanson, 2002).

 membantu mahasiswa dalam hal memahami relevansi

klinis sebuah konsep dengan mengaplikasikan

pengetahuannya untuk membuat keputusan atau pemecahan

masalah klinis.

 Selain itu dari satu

vignette

dapat dibuat lebih dari satu

lead-in

, baik menyangkut ilmu kedokteran dasar maupun

klinik.

Prinsip penulisan soal MCQ tipe A

 Relevan dengan kompetensi profesi kesehatan.

 Fokus pada sebuah konsep yang penting bagi profesi kesehatan pada setting layanan kesehatan primer.

 Berkaitan pengambilan keputusan klinik, bukan hafalan.

 Kemungkinan jawaban benar sudah dapat diduga tanpa perlu melihat pilihan jawaban (cover/close the options rule).

 Data atau informasi yang relevan seoptimal mungkin dicantumkan pada soal (stem), sedangkan pilihan jawaban sesingkat mungkin.

 Gunakan Bahasa Indonesia yang baku.

 Hindari technical item flawsyaitu “testwiseness” atau irrelevant difficulties.

(6)

Cover the options rule

Which of the following is true about pseudo-gout?

A. It occurs frequently in women.

B. It is seldom associated with acute pain in a joint.

C. It may be associated with a finding of chondro-calcinosis. D. It is clearly hereditary in most cases.

E. It responds well to treatment with allopurinol.

11

Cover the options rule

Seorang wanita berusia 25 tahun dibawa keluarganya ke unit gawat darurat RS dalam keadaan tidak sadar. Dari alloanamnesis terhadap diketahui pasien menderita diabetes sejak berumur 15 tahun dan mendapat terapi insulin. Sudah tiga hari kehabisan insulin dan sejak itu penderita merasa lemah & banyak kencing. Pada pemeriksaan fisik diketahui penderita dalam keadaan koma, tekanan darah 80/60 mmHg, denyut nadi 140/menit, pernapasan 32 /menit, dalam dan suhu 37,8 0_{C, turgor kulit berkurang. Pemeriksaan lab;}

GDS 530 mg/dl, Ketonuri positif.

Apakah penyebab timbulnya keluhan utama tersebut? a. Berkurangnya insulin secara absolut

b. Bertambahnya resistensi insulin c. Bertambahnya produksi glukosa d. Berkurangnya absorbsi glukosa e. Berkurangnya proses lipolisis

(7)

Blueprint soal

1. Syaraf 2. Psikiatri 3. Indra 4. Respirasi 5. Kardiovaskuler 6. Gastrointestinal,

Hepatobilier dan Pankreas

7. Ginjal dan Saluran Kemih 8. Reproduksi

9. Endokrin, Metabolik dan Nutrisi

10. Hematologi dan Imunologi 11. Muskuloskeletal

12. Integumen

Blueprint soal

Pengetahuan pendukung peran dokter;

1. Mekanisme/patofisiologi

2. Promosi kesehatan/pencegahan penyakit 3. Penapisan/diagnosis

(8)

Blueprint soal

1. Etika profesi kesehatan dan hukum kedokteran 2. Sistem kesehatan nasional

3. Metodologi penelitian, statistik dan epidemiologi 4. Ilmu Kedokteran Forensik dan Medikolegal

Lead in

/Pertanyaan

 Menggunakan kata tanya secara langsung, sehingga dapat memenuhi

“cover/close the option rule”

.

 Mis; apakah, yang manakah, bagaimanakah, kapankah, dll.  Menanyakan konsep yang penting dan spesifik, bukan menilai

kemampuan mengingat fakta yang bersifat trivial.

 Menghindari penggunaan kata atau frase negatif seperti KECUALI, TIDAK atau BUKAN.

 Menghindari kalimat pertanyaan yang terlalu panjang.

 Contoh; Apakah diagnosis yang paling mungkin pada kasus tersebut?

(9)

Step 1

1. Tentukanlah satu masalah kesehatan yang relevan bagi

seorang dokter.

2. Tentukanlah kompetensi yang harus dicapai berkaitan

masalah kesehatan tersebut.

3. Tuliskanlah kalimat pertanyaan yang sesuai konsep yang

sudah ditetapkan.

4. Siapkanlah referensi yang telah disepakati untuk

masalah kesehatan tersebut.

Step 1

1. Tuberculosis paru.

2. Diagnosis; radiologis.

Apakah diagnosis yang sesuai gambar foto thorax

tersebut?

(10)

Referensi Penulisan Soal

(Buku Panduan PNUKMPPD 2016)

Step 1

Vignette

/

Stem

/Badan Soal

Sebuah vignette mengandung deskripsi pasien & skenario klinik dengan beberapa atau semua informasi di bawah ini:

 Gender, usia (Seorang laki-laki, 45 thn).  Tempat pelayanan/berobat (datang ke klinik DK)

 Menampilkan keluhan utama (karena mengalami nyeri pada lututnya).  Durasi dan deskripsi (yang dialami sejak 2 hari lalu dan bertambah nyeri

bila berjalan)

 Keluhan penyerta (keluhan tersebut disertai rasa kaku pada sendi tersebut)

 Riwayat pasien (bekerja kantoran).

 Temuan pada pemeriksaan fisis (Berat badan 82 kg, tinggi badan 162 cm. Pemeriksaan fisik sendi lutut dirasakan nyeri pada posisi endorotasi).  Temuan pada pemeriksaan lanjutan

(11)

 Bahasa yang digunakan pada

vignette

mudah dimengerti.

 Hindari

vignette

terlalu pendek (informasi tidak lengkap),

atau terlalu panjang (informasi tidak terkait logika option).

 Urutan vignette harus sistematik (identitas pasien,

lokasi/

setting

pelayanan, anamnesis, pemeriksaan fisik,

pemeriksaan pendukung/penunjang, diagnosis, dan atau

penatalaksanaan).

Vignette

/

Stem

/Badan Soal

Step 2

1. Tuliskanlah narasi

vignette

yang sesuai kebutuhan pada

step 1.

2. Pastikan penggunaan bahasa Indonesia yang benar.

3. Pastikan informasi

vignette

adekuat untuk menjawab

(12)

Step 2

Options

/pilihan pertanyaan

 Distraktor atau pengecoh adalah;

 Pilihan yang salah atau lebih inferior dari jawaban.

 Cukup masuk akal dan menarik bagi peserta uji yang kurang/tidak belajar.  Setara dengan jawaban dalam hal struktur maupun panjangnya.

 Pilihan haruslah homogen; semuanya adalah diagnosis, atau semuanya jenis antibiotik.

 Gunakan pilihan jawaban yang secara gramatikal konsisten dan secara logis kompatibel dengan badan soal.

(13)

Options

/pilihan pertanyaan

 Hindari kata-kata absolut seperti kata SELALU, TIDAK PERNAH, dan SEMUA pada pilihan jawaban.

 Hindari pula istilah frekuensi yang tidak jelas atau meragukan seperti BIASANYA atau SERING.

 Hindari menggunakan kata atau frasa yang sama pada badan soal.  Hindari pilihan BUKAN SALAH SATU DI ATAS atau SEMUA BENAR.

Options

/pilihan pertanyaan

Technical Item Flaws;

Testwiseness Irrelevant difficulties

1. Grammatical Cues 2.Logical Cues 3.Istilah yang absolut 4.Jawaban benar yang panjang 5.Pengulangan kata dari badan soal

ke jawaban 6.Konvergensi soal

1. Pilihan jawaban yang panjang, kompleks, atau duplikasi

2.Pilihan yang berupa angka tidak diurut sesuai dengan besarnya

3.Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi