Item Development and Review

Item Development and

Review

Oleh :

I MADE KARIASA ,SKp.,MM.,MKep.,SpKMB.,PG.Cert

Objektif



Memahami
prinsip:
 1. Dasar‐dasar
ujian
regional/nasional
 2. Dasar
prinsip
assesment
 3. Standar
kualitas
soal
MCQ
(type
A)
 4. Prinsip‐prinsip
proses
review

 Mampu
melakukan
 1. Self
review
 2. Review
soal
orang
lain


LATAR BELAKANG

•  Era
perdagangan
bebas
barang
&
jasa


•  Dampak
ganda:
kesempatan
kerja
yang
luas
dan


persaingan
yang
semakin
ketat


MENINGKATKAN DAYA SAING & KEUNGGULAN KOMPETETITIF YANG MEMENUHI STANDARD

KEBUTUHAN GLOBAL

Urgensi
ujian
nasional


 Uji
nasional
adalah
proses
standarisasi
 penilaian
kemampuan
  Menegakan
akuntabilitas
profesional
  Menegakan
standard
dan
ethik
profesi
  Melindungi
kepercayaan
publik
  Melindungi
pemberi
jasa


Tahapan
uji
nasional


1.  Pembentukan
dan
validasi
standar
kompetensi
 oleh
stakeholders
 2.  Menentukan
kompetensi
dasar
yang
diujikan
 3.  Pembuatan
blue
print
sesuai
objektif
dari
 pendidikan
(kriteria
lulusan

Perawat)
 4.  Menentukan
model
test
yang
efektif
dan
efisien
 5.  Membuat
instrument
test
yang
valid/reliable
 (psychometric
principles)
 6.  Membuat
standard
setting
dan
proses
 pengambilan
putusan
 1. 

menyusun
spesifikasi
test,



2. 

menulis
soal,



3. 

menelaah
soal
test,



4. 

melakukan
uji
coba
test,



5. 

menganalisis
butir
soal,



6. 

memperbaiki
test,



7. 

marakit
test,



8. 

melaksanakan
test,



9. 

menafsirkan
hasil
test


Pilihan
assessment



 

Menentukan
level
kompetensi
lulusan


baru


 

Menentukan
kompetensi
mana
yang


paling
penting
dan
esensial

dalam


perspektif

public

safety


 

Menentukan
apa
yang
bisa

di
ujikan


dengan
alat
ukur
yang
telah
ditetapkan


Kenapa
MCQ
type
A
?


 Paling
umum
digunakan
pada
ujian
lisensi
 oleh
profesi‐profesi
(standardized
test)
  Sejarah
panjang
riset
tentang
psychometric

  Cost
effective
untuk
skala
besar

  Paling
objektif
&
reliable
(tanpa
halo
effect)
  Memungkinkan
berbagai
variasi
dan
topik
  Sulit
&
memakan
waktu
untuk
dibuat


Evidence…


•  Health
Education
Institution
Exit
exam
(HESI
E2)
 
predictor
of
NCLEX
RN

employment
 success
(Reiter,
2005;
Joho,
2007)
 •  HESI
Exit
Exam
(E2)
was
96.30%
to
98.30%
 accurate
in
predicting
NCLEX‐RN
success
(Britt,
 2007)
 •  E2
scores
are
potentially
useful
determinants
of
 the
new
graduate
nurses’
ability
to
assume
 entry‐level
positions
within
the
practice
setting
 (Pine,
2007)


Masalah Ujian

• Isi yang diujikan tidak konsisten

• Proporsi tidak konsisten

• Soal ada yg terlalu mudah/sulit

• Soal yang tidak layak masih sering keluar

Tahap Penjaminan Mutu

Input Process _Output 1. Blueprinting 2. Item Writer Standard 3. Item Reviewer Standard 4. ICT support 1. Review Process 2. Try-out 3. Examination guideline 4. Report on Examination 5. Feedback process. •  Criterion-reference. •  Standard setting exercise

Kompetensi Esensial Terujikan

Ujian diharapkan memenuhi tingkat safety Bagi tenaga kesehatan pemula:

•

 

Penciri nakes

(Kompetensi Inti)

•

 

Sangat penting dan prinsip untuk

dikuasai oleh lulusan baru

•

 

Sangat sering dilakukan oleh

Nakes baru

Ujian Tulis

Multiple Choice Question

Why… One Best Answer

 Jenis soal 1-2-3-4 lebih mudah ditebak

 Soal sebab akibat sering membingungkan, aspek

bahasanya terlalu rumit

 Satu pilihan terbaik, mencerminkan peran

profesional yang harus mencari alternatif terbaik bagi klien

Membuat Soal MCQ

UNTUK LEVEL TINGGI (PROVINSI/NASIONAL)

 Tidak semudah yang dibayangkan

 Kedalam, aplikasi, berpikir kritis sesuai kompetensi

 Perlu sounding multidiscipline team

 Perlu ketetapan istilah bersama

 Perlu Standarisasi bahasa

Ciri
Soal
Kelas
Tinggi



Bukan
soal
ingatan
sederhana
(recall)
 Menggabungkan
berbagai
data
 Menggambarkan
situasi
nyata
praktek
 (pekerjaan)
 Bisa
menjadi
prediktor
terhadap
 kemampuan
kinerja


Taxonomy Cognitive Bloom:

C1. C2 C. 3

C1

Mengetahui (menyebutkan)

Pengethuan umum, konsep umum, nilai/fakta

C2

Memahami (menjelaskan)

Interprestasi chart, grafik, nilai, justifikasi Urutan prosedur

C3

Menerapkan (menghubungkan) Aplikasi konsep dlm situasi baru, aplikasi prosedur, memecahkan hitungan

Bloom …

C4

Menganalisa (membandingkan) Menggunakan logika untuk pemecahan masalah, mengevaluasi relevansi data

C5

Mensintesa (menyimpulkan, menyusun) mengungkap sebuah konsepsi dengan baik, merumuskan konsepsi baru,

C6

Mengevaluasi (mengkritik, SOAP) Menyesuaikan, menjustifikasi suatu pekerjaan

RANAH KOGNITIF dlm UJIAN

Penggabungan:

•  Pengetahuan komprehensif (C1-C2)

(nilai normal, definisi, konsep, dasar patofisiologi, dll)

•  Aplikasi klinis (C3)

(ilmu terapan, diagram masalah, tindakan, tetesan, dosis)

•  Berpikir kritis (C4-C6)

(menegakan masalah, prioritas, analisa hubungan, prediksi, evaluasi perkembangan, dll)

•  Afektif (A1-A5)

Kaidah – kaidah umum pembuatan soal (

penting)

•  Yakinkan bahwa setiap soal dapat diduga jenis jawabannya tanpa harus melihat pilihan jawaban •  Usahakan agar data atau informasi penting seoptimal

mungkin dicantumkan pada soal (stem), sedangkan pilihan jawaban usahakan sesingkat mungkin

•  Hindari informasi berlebihan pada soal.

•  Hindari soal-soal yang bersifat menjebak dan terlalu kompleks serta tidak relevan.

•  Gunakan pilihan jawaban yang secara gramatikal konsisten dan secara logis kompatibel dengan soal. •  Hindari kata-kata absolut seperti, selalu, tidak pernah,

dan semua pada pilihan jawaban, dan hindari pula istilah yang tidak jelas (meragukan) seperti biasanya atau sering.

•  Hindari kalimat atau frase negatif seperti

KECUALI, TIDAK, atau BUKAN.

•  Fokuskan soal pada konsep-konsep penting, dan

hindari hanya menguji kemampuan mengingat fakta.

•  Fokuskan soal-soal pada konsep penting dan

kasus-kasus yang sering serta memiliki potensi masalah serius.

•  Setiap soal diusahakan agar menilai aplikasi

pengetahuan, tidak hanya menguji daya ingat terhadap fakta terisolasi.

•  Setiap soal tidak terlalu menekankan aspek klinik yang subspesialis.

•  Setiap soal lebih baik menekankan pada

pertanyaan mengenai pengambilan keputusan klinik

Kaidah Penulisan

Stem

•  Skenario klinik (”vignette”) terdiri dari deskripsi data pasien dan skenario kliniknya dengan beberapa atau seluruh informasi di bawah ini:

– Umur dan jenis kelamin

– Tempat perawatan (contoh, Unit Emergensi) – Keluhan utama

– Durasi dari keluhan

– Riwayat pasien lainnya yang berhubungan dengan keluhan – Temuan Pemeriksaan Fisik

– Hasil-hasil pemeriksaan investigasi diagnostik

– Hasil-hasil terapi sebelumnya, atau penemuan selanjutnya.

Lead in (pertanyaan)

• Kata tanya di depan (apakah, manakah,

dll)

• Diakhiri dengan tanda tanya (?)

• Terpisah satu baris dari kasus (vignette)

Kaidah Penulisan

Option

•  Option yang salah disebut distractor.

•  Option sebaiknya terdiri dari pilihan dengan

masalah yang homogen (semuanya merupakan diagnosis, langkah – langkah penanganan pasien, dan lain - lain).

•  Berbeda dari jawaban yang benar

•  Merupakan option yang masuk akal dan membuat

mahasiswa yang tidak tahu akan memilihnya. •  Memiliki bentuk maupun panjang yang

menyerupai jawaban yang benar

•  Tidak mengandung kesalahan susunan kalimat

dan sesuai dengan bentuk kalimat pada stem.

Kesalahan struktur soal

•  Hindari kesalahan jenis , “testwiseness” dan

“irrelevant difficulty”. •  “Testwiseness”

dapat menjawab soal bukan karena penguasaan materi tetapi karena kepintaran dalam menebak jawaban yang benar.

•  “irrelevant difficulty”

kesulitan menjawab soal, bukan karena materi sulit tapi karena struktur soal buruk .

Kesalahan

testwiseness

:

• Grammatical Cues

• Logical Cues

• Istilah yang absolut

• Jawaban benar yang panjang

• Pengulangan kata dari badan soal ke

jawaban

• Konvergensi soal

Kesalahan “

irrelevant difficulty

”

•  Pilihan jawaban yang panjang, kompleks, atau

duplikasi

•  Pilihan yang berupa angka tidak diurut sesuai

dengan besarnya

•  Pilihan yang mengandung unsur frekuensi suatu

kejadian bersifat multi interpretasi

•  Pilihan jawaban tidak parallel dan urutan tidak

logis

•  Penggunaan BSSD (bukan salah satu diatas)

Grammatical Cues

Contoh soal :

Seorang pria, berusia 60 tahun, dibawa ke bagian gawat darurat oleh seorang polisi, yang menemukannya dalam keadaan tergeletak tidak sadarkan diri di sisi jalan. Setelah memastikan bahwa saluran pernafasan dalam keadaan tidak tersumbat.

Apakah langkah pertama dalam manajemen administrasi intravena?

A. pemeriksaan cairan serebrospinal B. glukosa dengan vitamin B1 (thiamine) C. CT scan kepala

D. fenitoin E. diazepam

Cat: lihat yang berwarna merah. Apakah cocok dg pertanyaan ?

Logical Cues

Contoh

Kejahatan adalah

A. terjadi secara merata pada berbagai kelas social B. lebih sering muncul pada golongan orang miskin

C. lebih sering muncul pada kelompok masyarakat menengah sampai kaya.

D. pada dasarnya merupakan suatu indikasi psychosexual maladjustment

E. mencapai keadaan toleransi yang plateau terhadap negara Cat: A,B,C : orang pintar mungkin akan benar

D & E, orang kurang mampu sering berfikir ini

Istilah yang absolut

Contoh soal :

•  Pada pasien dengan demensia lanjut, tipe Alzheimer, defek memori yang terjadi

A. dapat diberikan terapi secara adekuat dengan fosfatidilkolin (lesitin) B. dapat merupakan sekuel dari parkinsonism dini

C. tidak pernah terjadi pada pasien dengan neurofibrillary tangles pada otopsi D.tidak pernah menjadi berat

E.mungkin melibatkan sistem kolinergik

Istilah yang absolut: kata “selalu” atau “tidak pernah” digunakan dalam opsi jawaban •  Pada soal di atas, opsi A, B, dan E mengandung makna yang tidak mutlak sebagaimana

opsi C dan D. Mahasiswa yang cerdas akan menyingkirkan jawaban C dan D karena kedua opsi itu terlihat lebih tidak mungkin sebagai jawaban yang benar karena sifatnya yang cenderung mutlak tersebut. Perlu dicatat bahwa kesalahan semacam ini tidak akan terjadi apabila kalimat pertanyaan terfokus dan opsi jawabannya pendek, hal ini muncul ketika kata kerja dimasukan kedalam opsi jawaban dan bukan di dalam pertanyaan „lead-in“

• 

Jawaban benar yang panjang

Contoh soal :

Secondary gain adalah

A. synonym dengan malingering

B. Problem yang biasa timbul pada orang dengan gangguan obsessive-compulsive

C. Komplikasi dari berbagai penyakit dan cenderung untuk memperlama waktu penyakit

D. Tidak pernah timbul pada gangguan otak organic

Jawaban benar yang panjang:

jawaban C lebih panjang dari yang lain. terdapat 2 hal :

1. pilihan benar di beri perhatian yang terlalu berlebih

2. Distraktornya sangat tidak mendapat perhatian, sehingga pernyataan pendek

Pengulangan kata dari badan soal ke

jawaban

Contoh soal:

Seorang pria berusia 58 tahun dengan riwayat penggunaan alkohol yang berat dan sebelumnya pernah dirawat karena gangguan psychiatric mengalami kebingungan dan agitasi. Dia mengatakan bahwa dunia ini tidak nyata (unreal). Keadaan ini disebut:

A. depersonalisasi B. derailment C. derealisasi

D. focal memory deficit E. tanda anxietas

Konvergensi soal

Anestesi lokal akan bekerja paling efektif pada kondisi:

A. dalam bentuk anionic, bekerja dari dalam membrane syaraf

B. dalam bentuk cationic, bekerja dari dalam membrane syaraf

C. dalam bentuk cationic, bekerja dari luar membrane syaraf

D. dalam bentuk tidak bermuatan, bekerja dari dalam membrane

syaraf

E. dalam bentuk tidak bermuatan, bekerja dari luar membrane

Kesalahan

“

irrelevant

difficulty

”

Pilihan jawaban panjang, kompleks, atau duplikasi

Komite Peer review di HMO bisa menolak keputusan dokter dalam penanganan kesehatan anggotanya. Berkaitan dengan hal ini dokter sebelumnya harus telah menerima proses klarifikasi. Proses kalrifikasi tersebut termasuk apa saja?

A. Peringatan, sebuah forum tertutup, pengadilan, kesempatan untuk didengar dan ditunjukkan bukti yang memberatkan.

B. Peringatan yang tepat, pengadilan pengambilan keputusan, kesempatan untuk bertemu di pengadilan dengan saksi yang memberatkan dan kesempatan untuk menunjukkan bukti yang meringankannya.

C. Peringatan yang tepat waktu dan dipercaya, pengadilan tertutup untuk pengambilan keputusan, kesempatan untuk mendengarkan bukti yang memberatkan dan bertatap muka dengan saksi yang memberatkan dan kesempatan untuk menunjukkan bukti yang meringankan.

•  Pilihan jawaban yang panjang, dan kompleks: pada soal di atas dapat terlihat bahwa pilihan jawaban terlalu panjang sehingga menimbulkan kesulitan bagi peserta untuk menjawabnya karena hal teknis tersebut.

Pilihan berupa angka tidak diurut sesuai dengan besarnya

Apabila terjadi infeksi pada rongga pelvis yang berulang ( kedua kalinya), berapa kemungkinan seorang wanita mengalami keadaan infertile?

A. kurang dari 20% B. 20 - 30% C. Lebih dari 50% D. 90%

E. 75%

Pilihan mengandung unsur frekuensi suatu kejadian bersifat multi interpretative

Penderita obesitas berat dewasa muda:

A. biasanya berrespon secara dramatis terhadap regimen diet

B. sering berkaitan dengan kelainan hormon

C. memiliki kemungkinan 75 % untuk kembali normal secara spontan

D. mempunyai prognosis yang buruks

E. biasanya berrespon terhadap terapi obat dan psikoterapi intensif

Pilihan jawaban tidak paralel dan urutan tidak logis

•  Pada penilitian terhadap suatu vaksin, 200 anak laki – laki yang berusia 2 tahun diberikan vaksin terhadap suatu penyakit tertentu kemudian diikuti selama 5 tahun untuk melihat apakah penyakit tersebut muncul atau tidak. Dari kelompok ini, 85 % tidak pernah bersinggungan dengan penyakit ini.

Manakah dari pernyataan di bawah ini yang benar untuk hasil penelitian tersebut?

a.  Tidak ada kesimpulan yang dapat diambil karena follow – up dilakukan terhadap anak – anak yang tidak divaksinasi

b.  Jumlah kasus yang diteliti (30 kasus selama 5 tahun) terlalu sedikit untuk menghasilkan kesimpulan yang secara statistic

c.  Tidak ada kesimpulan yang dapat diambil karena percobaan hanya

melibatkan anak laki – laki

d.  Vaccine efficacy (%) dihitung dengan 85-15/100 • 

Penggunaan BSSD (bukan salah satu

di atas) pada pilihan jawaban

• Kota apa yang terdekat dengan kota

New York?

a.  Boston b.  Chicago

c.  Dallas

d.  Los Angeles

Vignette / kasus / stem (klinis)

•  Jenis kelamin, Umur (e.g. laki-laki 25 tahun)

– Kasus spesifik wanita  kehamilan

– Kasus anak-anak, dewasa, geriatri?

•  Tempat pelayanan/setting (IGD, poli, puskesmas)

•  Keluhan Utama

•  Lama atau derajat keluhan

•  Gejala penyerta dan keterangan lainnya

•  Pemeriksaan fisik

•  Pemeriksaan penunjang

Kasus / vignete

Seorang pasien datang dengan keluhan anemia. Tekanan darah 110/80mmHg,

• Apakah ada pasien mengeluh anemia?

• Apakah ada hubunganya antara anemia dengan tekanan darah?

• Apakah ada arah yang jelas dari kasus?

Kasus (Vignete)

• Seorang pria berusia 70 tahun datang ke

poliklinik dengan keluhan tidak mampu mengontrol pengeluaran urine. Keluhan ini menyebabkan pasien merasa malu dengan kondisinya dan membatasi aktifitas normalnya. Sebelumnya pernah dilakukan tindakan operasi prostat

1. Apakah ini penting untuk menjalankan tugas sebagai perawat baru ?

2. Apakah ini bermanfaat?

Seorang ibu membawa bayinya berusia 15 bulan kerumah sakit dengan keluhan buang air besar 10 kali disertai muntah-muntah. Ibu mengatakan bayinya sering menangis dan tidak mau makan dan minum. Hasil pemeriksaan fisik di dapat : ubun-ubun cekung, kulit kering, mata cekung. Ibu gelisah melihat kondisi bayinyanya.

Kasus (vignete)

Seorang laki-laki berusia 34 tahun dilakukan pemasangan

kateter urine (Foley chateter) untuk persiapan operasi pemasangan plate and screw tibia dextra, data status urinarius tidak ada

kelainan. Setelah pelumasan kateter dengan jelly, kateter dimasukan dengan mudah dan tanpa hambatan, segera urin terlihat keluar dan ditampung dalam bengkok/penampung yang telah disiapkan.

Pertanyaan soal

•  Apakah tindakan yang harus dilakukan perawat selanjutnya ?

Pilihan jawaban :

A. Menekan pubis pasien dengan lembut

B. Menggembungkan balon dengan NaCl 0,9 %

C. Menyambungkan kateter ke kantung urin

D. Memfiksasi kateter dengan penis menghadap keatas

E. Meneruskan pemasukan kateter sampai percabangannya

Contoh Pertanyaan yang

Kurang tepat

• Penyebab klien tidak bisa BAB sejak

masuk kemungkinan disebabkan oleh

• Dari kasus diatas terdapat …….. masalah

Tip !

• Vignette / kasus dianggap berfungsi jika

tanpa vignete, pertanyaan tidak berfungsi dengan jelas

• Pertanyaan baik, terlihat bila peserta

pintar bisa menebak jawaban tanpa melihat pilihan jawaban

Pilihan Jawaban

• Homogen: gramatikal, semantik,

panjang-pendek.

• Hindari absolutisme: selalu, tidak pernah.

• Hindari konvergensi.

• Hindari kesamaan istilah dengan vignette.

• Hindari urutan yang tidak sistematis 

menyulitkan.

• Hindari kalimat: bukan salah satu

Contoh pilihan kurang baik

a. Telkomsel

b. Exelcomindo

c. Satelindo

d. simPATI

Contoh pilihan yang kurang baik

a. Pernah mengalami cedera kepala

b. Adanya luka pada telinga tengah atau penyakit telinga lainnya.

c. Sering mengalami ISPA d. Mungkin secara hematogen e. Benar semua

Refleksi

• Berdasarkan diskusi …….., apakah yang

bapak ibu pikirkan dan rasakan?

• Apa yang bapak/ibu inginkan hari ini?

Seorang wanita berusia 37 tahun di rawat di bangsal bedah, 1 hari paska operasi histerektomy selesai jam 12 siang. Jam 3 pagi ia memanggil perawat karena kesakitan dan tidak bisa tidur

nyenyak. Ekpresi wajah tampak menahan nyeri dan kelelahan. Nyeri skala 6-7 di bagian abdomen. Saat diperiksa, klien takut untuk bergerak miring kiri/kanan. Balutan operasi kering, tanda vital stabil. Apakah masalah keperawatan utama klien di atas?

a. Gangguan pola tidur b. Nyeri sedang-berat

D Kompetensi : Askep

Tingkat kognitif : Berpikir kritis Area keilmuan : Medikal-bedah

Kompetensi : Diagnosa keperawatan

Saat memasang kateter urine seorang pria (44 thn). Anamnesa status urologi tidak ada abnormalitas . Ketika anda memasang kateter, saat selang kateter masuk ±10 cm terasa ada tahanan lunak.

Apakah reaksi pertama anda sebaiknya?

a.  Menambahkan cylocain jelly diujung meatus urinarius b.  Menekan dengan keras ujung kateter hingga masuk

c.  Menganjurkan klien menarik nafas dalam

d.  Sedikit menegakan penis sambil memasukan kateter

D Kompetensi : Asuhan dan manajemen keperawatan Tingkat kognitif : berpikir kritis

Area keilmuan : KMB

Kompetensi : Memasang Kateter Urine Pria

KUK:

Tahap Telaah soal (Review)

Apakah isi soal

Essensial

dlm pekerjaan Apakah

struktur

soal

terstandar

baik

Bila keduanya Baik: DITERIMA

Struktur Soal

Vignette/kasus/pernyataan

Pertanyaan

I S I

• Apakah secara isi, topik soal yang

ditanyakan

esensial

dalam menjalankan

pekerjaan ?

• Rujukan: Standard Kompetensi

Baca soal sekilas, ambil kesan umum, Tentukan relevansi isi dengan Pekerjaan sebagai Nakes Baru Lulus

STOP: Baca Soal Anda …

!

• Apakah soal anda sangat penting untuk

dapat menjalankan pekerjaan sehari-hari?

• Menanyakan hal yang bermanfaat untuk

Contoh :

Untuk calon Nakes baru ????

Berapakah jumlah tulang diseluruh tubuh Manusia?

Berapakah tagihan yang bisa diberikan oleh

Askeskin?

Apakah pertanyaan diatas pantas dan

Vignete

Bisa Berisi:

•

 

Pernyataan

•

 

Situasi

•

 

Kasus pasien

Ketentuan:

•

 

Logis

•

 

Sistematis

Apa saja yang perlu ditelaah ?

• Materi :

– Relevansi dengan pekerjaan inti

– Bahasa

– Tingkat kesulitan

– Klasifikasi : sesuai blue print

Apa saja yang perlu ditelaah ?

• Struktur :

– Stem (vennette)

– Lead in

– Option

• Kesimpulan

– Komentar umum dan saran

perlu diwaspadai

•  Ketidak sesuaian antara pertanyaan dengan kompetensi •  Ketidak sesuaian tingkat kesulitan soal dengan tingkat kognitif

•  Kemaknaan klinis yang tidak relevan dengan kompetensi •  Bahasa dan kalimat tidak logis atau multi interprestasi

•  Menanyakan sesuau yang bersifat hafalan (recall) sederhana •  Kasus (vignyet) tidak menggambarkan suasana klinis yang

sebenarnya

•  Subtansi tidak logis (misalnya data pemeriksaan kliniks dan atau laboratorium)

•  Pilihan jawaban tidak homogen

Evaluasi butir soal secara umum

• Apakah butir soal relevan untuk menilai

learning objectives atau kompetensi ?

• Apakah tata bahasa, penulisan dan ejaan

sudah benar?

• Apakah kosa kata yang tidak perlu dan

sulit dipahami sudah dihindari?

• Apakah menggunakan kalimat-kalimat

Evaluasi butir soal secara

spesifik

•  menggunakan stem/vignette

•  Apakah stem butir soal tidak mengandung materi yang tidak relevan?

•  Apakah vignette berisi informasi/data yang memungkinkan mahasiswa yang kompeten mampu menjawab dengan benar? •  Apakah vignette merepresentasikan keadaan yang mungkin

terjadi di konteks nyata?

•  Apakah vignette memfoskuskan prinsip atau konsep penting/ esensial yang perlu dimengerti oleh mahasiswa, bukan hanya soal hafalan?

•  Apakah stem bisa dijawab oleh mahasiswa yang kompeten

tanpa melihat jawaban yang tersedia?

•  Apakah stem tidak menjebak dan juga tidak terlalu rumit?

Evaluasi

Lead in Question

:

• Apakah dibuat dengan kalimat tanya?

• Apakah telah dihindari menanyakan

tentang opini?

• Apakah pertanyaan berhubungan dengan

stem?

• Apakah telah dihindari penggunaan kata

“kecuali”?

Evaluasi Pilihan Jawaban

•  Apakah alternatif jawaban sudah dibuat jelas

dan singkat?

•  Apakah alternatif jawaban sudah homogen?

•  Apakah alternatif jawaban mempunyai

panjang yang hampir sama dengan jawaban kunci?

•  Apakah alternatif jawaban sudah

menghindari alternatif yang tidak rasional? •  Apakah alternatif jawaban merupakan

jawaban yang tidak benar atau kurang benar dibandingkan dengan jawaban kunci?

Lanjut …..

•  Apakah alternatif jawaban cukup menarik mahasiswa yang tidak kompeten untuk memilihnya?

•  Apakah alternatif jawaban secara tata bahasa

konsisten dan cocok dengan stem dan lead in question?

•  Apakah alternatif jawaban sudah menghindari

penggunaan “salah satu di atas” dan “bukan salah satu di atas”?

•  Apakah alternatif jawaban sudah menghindari kata “selalu”, “jarang”, “kadang-kadang”?

•  Apakah poin jawaban yang benar sudah diletakkan posisinya secara acak terhadap distractornya?

Kesimpulan
Hasil
Review


• Diterima
tanpa
perbaikan
 • Diterima
dengan
perbaikan
 • Perlu
konfirmasi
pembuat
soal
 • Tidak
perlu
konfirmasi
(langsung
edit)
 • Dikembalikan
kepada
pembuat
soal
 
 
 • Berpotensi
diterima
dengan
perbaikan


Alasan penolakan

• Isi tidak esensial

• Isi terlalu spesialistis.

• Isi tidak realistis, terlalu teoritis

• Tidak ada vignette.

Daftar Tilik Soal/Item (Untuk Reviewer)

Catatan: satu set daftar tilik berlaku untuk tiap satu soal/item Diisi dengan tanda silang (X)

ID Soal :

Isi soal

Relevansi dan kesesuaian terhadap kompetensi ners Indonesia ( ) Sangat Relevan

( ) Relevan ( ) Ragu – ragu ( ) Kurang relevan ( ) Tidak relevan

Bahasa yang digunakan Tingkat kesulitan soal

( ) Sulit dimengerti ( ) Sangat sulit

( ) Kurang dimengerti ( ) Sulit

( ) Mudah dimengerti ( ) Sedang

( ) Mudah ( ) Sangat Mudah Struktur Soal Vingete Terdapat ( ) Ya ( ) Tidak Berfungsi ( ) Ya ( ) Tidak

Badan soal terlalu panjang, sulit, dan kompleks ( ) Ya ( ) Tidak

Lead in

Memenuhi Close the option rules ( ) Ya ( ) Tidak

Pertanyaan/pernyataan negatif ( ) Ya ( ) Tidak

Option

Kesalahan tata bahasa ( ) Ya ( ) Tidak

Penggunaan istilah yang absolut ( ) Ya ( ) Tidak

Jawaban benar yang panjang ( ) Ya ( ) Tidak

Pengulangan kata dari badan soal ke jawaban ( ) Ya ( ) Tidak

Konvergensi option ( ) Ya ( ) Tidak

Pilihan jawaban yang panjang, kompleks, atau duplikasi ( ) Ya ( ) Tidak Pilihan yang mengandung unsur frekuensi suatu kejadian ( ) Ya ( ) Tidak

bersifat multi interpretasi ( ) Ya ( ) Tidak

Pilihan jawaban tidak paralel dan urutan tidak logis ( ) Ya ( ) Tidak Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban ( ) Ya ( ) Tidak

Komentar Umum Reviewer

Kesimpulan Hasil Review

( ) Diterima tanpa perbaikan ( ) Diterima dengan perbaikan

( ) Tidak perlu konfirmasi dengan pembuat soal ( ) Perlu konfirmasi pembuat soal

( ) Dikembalikan kepada pembuat soal ( ) Berpotensi diterima dengan perbaikan ( ) Memerlukan perbaikan keseluruhan

Saran Perbaikan

Tanda Tangan Reviewer

Tanggal:

(DD) / (MM) / (YY) Nama Jelas :

Dengan ini menyatakan bahwa proses review soal di atas telah benar – benar telah dilakukan oleh nama yang bertanda tangan di atas, tidak dilakukan oleh orang lain atau juga tidak dilakukan oleh orang lain yang mengatasnamakan nama di atas.

Next step?

Bekerja dalam kelompok untuk mereview soal-soal menggunakan formulir review yang ada.