Item Development and Review Workshop

Item Development and Review

Workshop

KOMITE NASIONAL UJI KOMPETENSI PERAWAT PP PERSATUAN PERAWATAN NASIONAL INDONESIA

Objektif

Memahami prinsip:

1. Dasar-dasar ujian regional/nasional 2. Dasar prinsip assesment

3. Standar kualitas soal MCQ (type A) 4. Prinsip-prinsip proses review

Mampu melakukan 1. Self review

LATAR BELAKANG

• Era perdagangan bebas barang & jasa

• Dampak ganda: kesempatan kerja yang luas dan persaingan yang semakin ketat

TANTANGAN

MENINGKATKAN DAYA SAING & KEUNGGULAN KOMPETETITIF YANG MEMENUHI STANDARD

KEBUTUHAN GLOBAL

Urgensi ujian nasional

• Uji nasional adalah proses standarisasi

penilaian kemampuan

• Menegakan akuntabilitas profesional • Menegakan standard dan ethik profesi • Melindungi kepercayaan publik

Tahapan uji nasional

1. Pembentukan dan validasi standar kompetensi oleh stakeholders

2. Menentukan kompetensi dasar yang diujikan 3. Pembuatan blue print sesuai objektif dari

pendidikan (kriteria lulusan  Perawat)

4. Menentukan model test yang efektif dan efisien 5. Membuat instrument test yang valid/reliable

(psychometric principles)

6. Membuat standard setting dan proses pengambilan putusan

1. menyusun spesifikasi tes, 2. menulis soal,

3. menelaah soal tes,

4. melakukan uji coba tes, 5. menganalisis butir soal, 6. memperbaiki tes,

7. marakit tes,

8. melaksanakan tes, 9. menafsirkan hasil tes

Pilihan assessment

• Menentukan level kompetensi lulusan baru • Menentukan kompetensi mana yang paling

penting dalam perspektif public safety

• Menetukan apa yang bisa di tes dengan alat ukur yang telah ditetapkan

Kenapa MCQ A type ?

• Paling umum digunakan ujian lisensi oleh

profesi-profesi (standardized test)

• Sejarah panjang riset tentang psychometric • Cost effective untuk skala besar

• Paling objektif & reliable (tanpa halo effect) • Memungkinkan berbagai variasi dan topik • Sulit & memakan waktu untuk dibuat

Evidence…

• Health Education Institution Exit exam (HESI E2)  predictor of NCLEX RN  employment success (Reiter, 2005; Joho, 2007)

• HESI Exit Exam (E2_{) was 96.30% to 98.30%}

accurate in predicting NCLEX-RN success (Britt, 2007)

• E2 _{scores are potentially useful determinants of}

the new graduate nurses’ ability to assume entry-level positions within the practice setting (Pine, 2007)

Masalah Ujian

• Isi yang diujikan tidak konsisten • Proporsi tidak konsisten

• Soal ada yg terlalu mudah/sulit

• Soal yang tidak layak masih sering keluar

Tahap Penjaminan Mutu

Input Process Output 1. Blueprinting 2. Item Writer Standard 3. Item Reviewer Standard 4. ICT support 1. Review Process 2. Try-out 3. Examination guideline 4. Report on Examination 5. Feedback process. 6. Item Bank • Criterion-reference. • Standard setting exercise

Kompetensi Esensial Terujikan

Ujian diharapkan memenuhi tingkat safety Bagi Nakes pemula:

• Penciri nakes (Kompetensi Inti)

• Sangat penting dan prinsip untuk dikuasai oleh lulusan baru

• Sangat sering dilakukan oleh Nakes baru

Ujian Tulis

Multiple Choice Question

Why… One Best Answer

 Jenis soal 1-2-3-4 lebih mudah ditebak

 Soal sebab akibat sering membingungkan, aspek

bahasanya terlalu rumit

 Satu pilihan terbaik, mencerminkan peran

profesional yang harus mencari alternatif terbaik bagi klien

Membuat Soal MCQ

UNTUK LEVEL TINGGI (PROVINSI/NASIONAL)  Tidak semudah yang dibayangkan

 Kedalam, aplikasi, berpikir kritis sesuai

kompetensi

 Perlu sounding multidiscipline team  Perlu ketetapan istilah bersama  Perlu Standarisasi bahasa

Ciri Soal Kelas Tinggi

Bukan soal ingatan sederhana (recall)

Menggabungkan berbagai data Menggambarkan situasi nyata praktek

(pekerjaan)

Bisa menjadi prediktor terhadap kemampuan kinerja

Taxonomy Cognitive Bloom:

C1. C2 C. 3

C1

Mengetahui (menyebutkan) Pengethuan umum, konsep umum, nilai/fakta

C2

Memahami (menjelaskan) Interprestasi chart, grafik, nilai, justifikasi Urutan prosedur

C3

Menerapkan (menghubungkan) Aplikasi konsep dlm situasi baru, aplikasi prosedur, memecahkan hitungan

Bloom …

C4

Menganalisa (membandingkan) Menggunakan logika untuk pemecahan masalah, mengevaluasi relevansi data

C5

Mensintesa (menyimpulkan, menyusun) mengungkap sebuah konsepsi dengan baik, merumuskan konsepsi baru,

C6

Mengevaluasi (mengkritik, SOAP) Menyesuaikan, menjustifikasi suatu pekerjaan

RANAH KOGNITIF dlm UJIAN

Penggabungan:

• Pengetahuan komprehensif (C1-C2)

(nilai normal, definisi, konsep, dasar patofisiologi, dll)

• Aplikasi klinis (C3)

(ilmu terapan, diagram masalah, tindakan, tetesan, dosis)

• Berpikir kritis (C4-C6)

(menegakan masalah, prioritas, analisa hubungan, prediksi, evaluasi perkembangan, dll)

• Afektif (A1-A5)

(sikap dalam bekerja bersama klien/keluarga, tim kes)

Tahap Telaah soal (Review)

Apakah isi soal

Essensial

dlm pekerjaan

Apakah

struktur

soal

terstandar

baik

Bila keduanya Baik: DITERIMA

I S I

• Apakah secara isi, topik soal yang

ditanyakan

esensial

dalam menjalankan pekerjaan ?

• Rujukan: Standard Kompetensi

Baca soal sekilas, ambil kesan umum, Tentukan relevansi isi dengan Pekerjaan sebagai Nakes Baru Lulus

STOP: Baca Soal Anda … !

 Apakah soal anda sangat penting untuk dapat menjalankan pekerjaan sehari-hari?

 Menanyakan hal yang bermanfaat untuk ditanyakan?

Contoh

Untuk calon Nakes baru

Berapakah jumlah tulang diseluruh tubuh Manusia?

Berapakah tagihan yang bisa diberikan oleh Askeskin?

Struktur Soal

Vignette/kasus/pernyataan

Pertanyaan

Pilihan jawaban

Vignete

Bisa Berisi:

• Pernyataan

• Situasi

• Kasus pasien

Ketentuan:

• Logis

• Sistematis

Vignette / kasus / stem (klinis)

• Jenis kelamin, Umur (e.g. laki-laki 25 tahun)

– Kasus spesifik wanita  kehamilan – Kasus anak-anak, dewasa, geriatri?

• Tempat pelayanan/setting (IGD, poli, puskesmas) • Keluhan Utama

• Lama atau derajat keluhan

• Gejala penyerta dan keterangan lainnya • Pemeriksaan fisik

• Pemeriksaan penunjang

Kasus / vignete

Seorang pasien datang dengan keluhan anemia. Tekanan darah 110/80mmHg,

•Apakah ada pasien mengeluh anemia?

•Apakah ada hubunganya antara anemia dengan tekanan darah?

•Apakah ada arah yang jelas dari kasus? •Kasus terlalu pendek, tidak lengkap

• Ny TR, 46 tahun dirawat di Rumah Sakit Cepat Sehat dengan riwayat multiple trauma akibat kecelakaan lalulintas. Terdapat fraktur humerus dextra post ORIF (open reduction internal fixation), post amputasi jari manis dan saat ini (hari ke 50) terpasang external fixation untuk stabilisasi fraktur tibia fibula sinistra dengan bone loss dan fraktur terbuka. Keluhan saat ini adalah nyeri hebat, terutama pada tungkai kirinya. Mengatakan”para suster tidak mengerti betapa sakitnya saya.” Tungkai kiri terlihat mengecil, kondisi luka

terbuka menembus tulang, infeksi minimal.

Lead in (pertanyaan)

• Kata tanya di depan (apakah, manakah, dll)

• Diakhiri dengan tanda tanya (?)

• Terpisah satu baris dari kasus (vignette) agar jelas terlihat

Contoh Pertanyaan yang

Kurang tepat

• Penyebab klien tidak bisa BAB sejak masuk kemungkinan disebabkan oleh • Dari kasus diatas terdapat …….. masalah

utama

Tip !

• Vignette / kasus dianggap berfungsi jika tanpa vignete, pertanyaan tidak berfungsi dengan jelas

• Pertanyaan baik, terlihat bila peserta pintar bisa menebak jawaban tanpa melihat pilihan jawaban

Pilihan Jawaban

• Homogen: gramatikal, semantik, panjang-pendek.

• Hindari absolutisme: selalu, tidak pernah. • Hindari konvergensi.

• Hindari kesamaan istilah dengan vignette. • Hindari urutan yang tidak sistematis 

menyulitkan.

• Hindari kalimat: bukan salah satu di atas

Contoh pilihan kurang baik

a. Telkomsel b. Exelcomindo c. Satelindo d. simPATI

Contoh pilihan yang kurang baik

a. Pernah mengalami cedera kepala

b. Adanya luka pada telinga tengah atau penyakit telinga lainnya.

c. Sering mengalami ISPA d. Mungkin secara hematogen e. Benar semua

Lihat berbagai tipe kesalahan:

Refleksi

• Berdasarkan diskusi semalam, apakah yang bapak ibu pikirkan dan rasakan? • Apa yang bapak/ibu inginkan hari ini?

Seorang wanita berusia 37 tahun di rawat di bansal bedah, 1 hari Paska operasi histerektomy selesai jam 12 siang. Jam 3 pagi ia Memanggil perawat mengeluh kesakitan dan tidak bisa tidur

nyenyak. Ekpresi wajah tampak menahan nyeri dan kelelahan. Nyeri skala 6-7 di bagian abdomen. Saat diperiksa, klien takut untuk bergerak miring kiri/kanan. Balutan operasi kering, tanda vital stabil. Apakah masalah keperawatan utama klien di atas?

a. Gangguan pola tidur b. Nyeri sedang-berat c. Cemas sedang-berat d. Gangguan mobilisasi

D Kompetensi : Askep

Tingkat kognitif : Berpikir kritis Area keilmuan : Medikal-bedah

Kompetensi : Diagnosa keperawatan

Saat memasang kateter urine seorang pria (44 thn). Anamnesa status urologi tidak ada abnormalitas . Ketika anda memasang kateter, saat selang kateter masuk ±10 cm terasa ada tahanan lunak.

Apakah reaksi pertama anda sebaiknya?

a. Menambahkan cylocain jelly diujung meatus urinarius b. Menekan dengan keras ujung kateter hingga masuk c. Menganjurkan klien menarik nafas dalam

d. Sedikit menegakan penis sambil memasukan kateter

Tingkat kognitif : berpikir kritis Area keilmuan : KMB

Kompetensi : Memasang Kateter Urine Pria

KUK:

Checkpoint

Apa saja yang perlu ditelaah ?

• Materi :

– Relevansi dengan pekerjaan inti – Bahasa

– Tingkat kesulitan

– Klasifikasi : sesuai blue print

Apa saja yang perlu ditelaah ?

• Struktur :

– Stem – Lead in – Option

• Kesimpulan

– Komentar umum dan saran – Diterima/revisi/dikembalikan

Kesimpulan Hasil Review

•Diterima tanpa perbaikan •Diterima dengan perbaikan

•Perlu konfirmasi pembuat soal

•Tidak perlu konfirmasi (langsung edit) •Dikembalikan kepada pembuat soal •Berpotensi diterima dengan perbaikan

Alasan penolakan

• Isi tidak esensial • Isi terlalu spesialistis.

• Isi tidak realistis, terlalu teoritis

• Tidak ada vignette. • Vignette tidak berfungsi

Next step?

Bekerja dalam kelompok untuk mereview soal-soal menggunakan formulir review yang ada.



Feedback terhadap

pembuat soal?

K N U K P