Item Development and Review

LATAR BELAKANG

• Era perdagangan bebas barang & jasa

• Dampak ganda: kesempatan kerja yang luas dan persaingan yang semakin ketat

TANTANGAN TANTANGAN

MENINGKATKAN DAYA SAING & KEUNGGULAN KOMPETETITIF YANG MEMENUHI STANDARD

Kenapa MCQ A type ?

• Paling umum digunakan ujian lisensi oleh profesi-profesi (standardized test)

• Sejarah panjang riset tentang psychometric • Cost effective untuk skala besar

• Cost effective untuk skala besar

• Paling objektif & reliable (tanpa halo effect) • Memungkinkan berbagai variasi dan topik

Masalah Ujian

• Isi yang diujikan tidak konsisten • Proporsi tidak konsisten

• Soal ada yg terlalu mudah/sulit

• Soal yang tidak layak masih sering keluar • Soal yang tidak layak masih sering keluar

Tahap Penjaminan Mutu

Input Process Output 1. Blueprinting 1. Review Process 1. Blueprinting 2. Item Writer Standard 3. Item Reviewer Standard 4. ICT support 2. Try-out 3. Examination guideline 4. Report on Examination 5. Feedback process. 6. Item Bank • Criterion-reference. • Standard setting exercise

Kompetensi Esensial Terujikan

Ujian diharapkan memenuhi tingkat safety Bagi Nakes pemula:

• Penciri nakes (Kompetensi Inti)

• Sangat penting dan prinsip untuk dikuasai • Sangat penting dan prinsip untuk dikuasai

oleh lulusan baru

Ujian Tulis

Multiple Choice Question

One Best Answer

One Best Answer

Why… One Best Answer

• Jenis soal 1-2-3-4 lebih mudah ditebak

• Soal sebab akibat sering membingungkan, aspek bahasanya terlalu rumit

• Satu pilihan terbaik, mencerminkan peran • Satu pilihan terbaik, mencerminkan peran

profesional yang harus mencari alternatif terbaik bagi klien

Membuat Soal MCQ

UNTUK LEVEL TINGGI (PROVINSI/NASIONAL) • Tidak semudah yang dibayangkan

• Kedalam, aplikasi, berpikir kritis sesuai kompetensi

kompetensi

• Perlu sounding multidiscipline team • Perlu ketetapan istilah bersama

• Perlu Standarisasi bahasa • Perlu Standarisasi struktur

Ciri Soal Kelas Tinggi

Bukan soal ingatan sederhana (recall)

Menggabungkan berbagai data Menggabungkan berbagai data

Menggambarkan situasi nyata praktek (pekerjaan)

Bisa menjadi prediktor terhadap kemampuan kinerja

Taxonomy Cognitive Bloom:

C1

Mengetahui (menyebutkan)Pengethuan umum, konsep umum, nilai/fakta

C2

Memahami (menjelaskan)

C1. C2 C. 3

C2

Memahami (menjelaskan)Interprestasi chart, grafik, nilai, justifikasi Urutan prosedur

C3

Menerapkan (menghubungkan)Aplikasi konsep dlm situasi baru, aplikasi

Bloom …

C4

Menganalisa (membandingkan) Menggunakan logika untuk pemecahan masalah, mengevaluasi relevansi data

C5

Mensintesa (menyimpulkan, menyusun)

C5

Mensintesa (menyimpulkan, menyusun)mengungkap sebuah konsepsi dengan

baik, merumuskan konsepsi baru,

C6

Mengevaluasi (mengkritik, SOAP)Menyesuaikan, menjustifikasi suatu pekerjaan

RANAH KOGNITIF dlm UJIAN

Penggabungan:

• Pengetahuan komprehensif (C1-C2)

(nilai normal, definisi, konsep, dasar patofisiologi, dll)

• Aplikasi klinis (C3)

(ilmu terapan, diagram masalah, tindakan, tetesan, (ilmu terapan, diagram masalah, tindakan, tetesan, dosis)

• Berpikir kritis (C4-C6)

(menegakan masalah, prioritas, analisa hubungan, prediksi, evaluasi perkembangan, dll)

• Afektif (A1-A5)

Tahap Telaah soal (Review)

Apakah isi soal

Essensial

dlm pekerjaan

Apakah

struktur

soal

terstandar

baik Apakah

struktur

soal

terstandar

baik

I S I

• Apakah secara isi, topik soal yang ditanyakan

esensial

dalam menjalankan pekerjaan ?

• Rujukan: Standard Kompetensi • Rujukan: Standard Kompetensi

Struktur Soal

Vignette/kasus/pernyataan

Pertanyaan

Pertanyaan

Vignete

Bisa Berisi:

• Pernyataan

• Situasi

Ketentuan:

• Logis

• Sistematis

• Situasi

• Kasus pasien

• Sistematis

Vignette / kasus / stem (klinis)

• Jenis kelamin, Umur (e.g. laki-laki 25 tahun)

– Kasus spesifik wanita
kehamilan – Kasus anak-anak, dewasa, geriatri?

• Tempat pelayanan/setting (IGD, poli, puskesmas) • Keluhan Utama

• Keluhan Utama

• Lama atau derajat keluhan

• Gejala penyerta dan keterangan lainnya • Pemeriksaan fisik

Jenis Soal

• Berupa soal pilihan berganda dengan lima pilihan jawaban soal.

• Soal terdiri dari stem soal yang berbentuk skenario (vignette), pertanyaan, dan lima

pilihan jawaban dengan satu jawaban benar. pilihan jawaban dengan satu jawaban benar. • Untuk memudahkan penulisan soal, pada

petunjuk ini juga mencantumkan pola redaksional soal yang dapat digunakan sebagai “template” pembuatan soal.

Kadiah Umum

• Yakinkan bahwa setiap soal dapat diduga jenis jawabannya tanpa harus melihat pilihan

jawaban atau yakinkan bahwa pilihan jawaban adalah 100 % benar atau salah.

• Usahakan agar data atau informasi penting • Usahakan agar data atau informasi penting seoptimal mungkin dicantumkan pada soal (stem), sedangkan pilihan jawaban usahakan sesingkat mungkin

lanjutan

• Hindari informasi berlebihan pada soal

• Hindari soal-soal yang bersifat menjebak dan terlalu kompleks serta tidak relevan.

• Gunakan pilihan jawaban yang secara gramatikal konsisten dan secara logis gramatikal konsisten dan secara logis kompatibel dengan soal.

• Hindari kata-kata absolut seperti, selalu, tidak pernah, dan semua pada pilihan jawaban, dan hindari pula istilah yang tidak jelas

lanjutan

• Hindari kalimat atau frase negatif seperti KECUALI, TIDAK, atau BUKAN.

• Fokuskan soal pada konsep-konsep penting, dan hindari hanya menguji kemampuan

dan hindari hanya menguji kemampuan mengingat fakta

• Fokuskan soal-soal pada konsep penting dan kasus-kasus yang sering serta memiliki potensi masalah serius.

lanjutan

• Setiap soal diusahakan agar menilai aplikasi pengetahuan, tidak hanya menguji daya ingat terhadap fakta terisolasi

• Setiap soal tidak terlalu menekankan aspek • Setiap soal tidak terlalu menekankan aspek

klinik yang subspesialis

• Setiap soal lebih baik menekankan pada

pertanyaan mengenai pengambilan keputusan klinik.

lanjutan

• Setiap soal dibuat pada satu lembar formulir, jika soal dalam bentuk berangkai maka

masing-masing kasus dicantumkan pada setiap formulir.

setiap formulir.

• Setiap soal mencantumkan tinjauan yang terkait dengan soal tersebut

Kesalahan struktur soal

• testwiseness”

suatu keadaan di mana peserta ujian dapat menjawab satu soal bukan karena

penguasaannya terhadap isi materi yang penguasaannya terhadap isi materi yang

ditanyakan pada soal tersebut, tetapi karena kepintarannya dalam menebak jawaban yang benar.

• irrelevant difficulty”

berkaitan dengan kesulitan yang dihadapi peserta ujian untuk menjawab suatu soal, bukan karena sulitnya materi yang diujikan, bukan karena sulitnya materi yang diujikan, namun lebih ke arah sulitnya mahasiswa

menjawab, yang ditimbulkan oleh struktur soal tersebut.

Kesalahan yang berkaitan dengan

testwiseness:

• Grammatical Cues • Logical Cues

• Istilah yang absolut

• Jawaban benar yang panjang • Jawaban benar yang panjang

• Pengulangan kata dari badan soal ke jawaban • Konvergensi soal

Kesalahan yang berkaitan dengan

kesulitan yang tidak perlu/relevan

• Pilihan jawaban yang panjang, kompleks, atau

duplikasi

• Pilihan yang berupa angka tidak diurut sesuai Pilihan yang berupa angka tidak diurut sesuai dengan besarnya

• Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi

lanjutan

• Pilihan jawaban tidak parallel dan urutan tidak logis

• Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban

pada pilihan jawaban

• Badan soal terlalu panjang, sulit, dan kompleks

Kaidah Penulisan Stem

• Skenario klinik (”vignette”) terdiri dari

deskripsi data pasien dan skenario kliniknya dengan beberapa atau seluruh informasi di bawah ini:

bawah ini:

– Umur dan jenis kelamin

– Tempat perawatan (contoh, Unit Emergensi) – Keluhan utama

Lanjutan

– Riwayat pasien lainnya yang berhubungan dengan keluhan

– Temuan Pemeriksaan Fisik

– Hasil-hasil pemeriksaan investigasi diagnostik – Hasil-hasil pemeriksaan investigasi diagnostik – Hasil-hasil terapi sebelumnya, atau penemuan

Penulisan Lead In

Berbagai contoh Jenis Pertanyaan

• Memperkirakan obat yang dikonsumsi • Memperkirakan paparan zat beracun • Memperkirakan jenis diet

• Memperkirakan mood

• Memprediksi hasil pemeriksaan fisik • Memprediksi hasil pemeriksaan fisik • Memprediksi hasil lab

• Memprediksi sekuel yang timbul

• Mengidentifikasi penyebab/diagnosis

• Mengidentifikasi sebab reaksi terhadap obat • Mengidentifikasi obat yang harus diberikan

Lead in (pertanyaan)

• Kata tanya di depan (apakah, manakah, dll) • Diakhiri dengan tanda tanya (?)

• Terpisah satu baris dari kasus (vignette) agar jelas terlihat

Kaidah Penulisan Opsi

• Opsi yang salah disebut distraktor.

• Opsi sebaiknya terdiri dari pilihan dengan masalah yang homogen (semuanya

merupakan diagnosis, langkah – langkah merupakan diagnosis, langkah – langkah penanganan pasien, dan lain - lain).

• Berbeda dari jawaban yang benar

• Merupakan opsi yang masuk akal dan

membuat mahasiswa yang tidak tahu akan memilihnya.

Lanjutan

• Memiliki bentuk maupun panjang yang menyerupai jawaban yang benar

• Tidak mengandung kesalahan susunan kalimat dan sesuai dengan bentuk kalimat pada stem. dan sesuai dengan bentuk kalimat pada stem.

Tip !

• Vignette / kasus dianggap berfungsi jika tanpa vignete, pertanyaan tidak berfungsi dengan jelas

• Pertanyaan baik, terlihat bila peserta pintar bisa menebak jawaban tanpa melihat pilihan jawaban

Checkpoint

Apa saja yang perlu ditelaah ?

• Materi :

– Relevansi dengan pekerjaan intiRelevansi dengan pekerjaan inti – Bahasa

– Tingkat kesulitan

Apa saja yang perlu ditelaah ?

• Struktur : – Stem – Lead in – Option – Option • Kesimpulan

– Komentar umum dan saran – Diterima/revisi/dikembalikan

Kesimpulan Hasil Review

Kesimpulan Hasil Review

Kesimpulan Hasil Review

Kesimpulan Hasil Review

•Diterima tanpa perbaikan

•Diterima dengan perbaikan

Perlu konfirmasi pembuat soal •Diterima dengan perbaikan

•Perlu konfirmasi pembuat soal

•Tidak perlu konfirmasi (langsung edit) •Dikembalikan kepada pembuat soal

Alasan penolakan

• Isi tidak esensial

• Isi terlalu spesialistis.

• Isi tidak realistis, terlalu teoritis • Tidak ada vignette.

Next step?

Bekerja dalam kelompok untuk mereview soal-soal menggunakan formulir review yang ada.

• Feedback terhadap pembuat

soal?