Analisis kualitas soal pada ujian fisiologi kedokteran

Rosaria & Razi, Analisis kualitas soal

Analisis kualitas

soal

pada

ujian fisiologi kedokteran

Rosaria Indah & Razi S. Siregar

Abstrak. Ada banyak format soal yang digunakan dalam ujian tertulis: soal essei tertutup, essei terbuka,

benar-salah, benar salah ganda, menjodohkan, soal kasus dan soal pilihan ganda. Setiap penguji harus menyadari kelebihan dan kekurangan tiap bentuk soal. Soal pilihan ganda yang baik memiliki beberapa kualitas seperti adanya ambiguitas ekstrinsik, menghindari sisipan dan lain-lain. Kualitas sebuah soal dapat diukur dengan

menggunakan 2 indikator: tingkat kesulitan (p) dan tingkat diskriminasi (D). Tulisan ini membahas tentang 23

soal terkait pembelajaran fisiologi pada ujian dengan 100 soal di blok "The Cells" yang dilaksanakan pada

Maret 2008. Setelah memeriksa kualitas soal kami merekomendasikan untuk mengganti 4 soal yang memiliki

tingkat diskiminasi rendah, mengganti

I

kunci jarvaban untuk

I

soal, memperbaiki

8

soal dan tetap menggunakan 10 soal yang memiliki tingkat diskriminasi tinggl (JKS 2008; I:13-17)

Kata kunci : analisis soal, ujian, fisiologi

Abstract: There are many question format used these days in written examination: Short-Awwer open- ended questio4 essqt question, simple true-false questions,multiple true-false question, extended matching queslion

(EMq, key-feature approach question and most popular format is multiple-choice question (MCQ). Every examiners have to be aware on benefits and weaknesses of exam questions format. Good MCQ questions have certain qualities such as extrinsic ambiguity, avoiding fillers, etc. The quality of a question can be measured by examining 2 indicators: difficulties level(p) and discrimination level(D). This paper examines 23 questions related with physiology in 100-questions examination on "The Cell's" block, conducted on March 2008. After examining we recommend to substitute 4 questions which had low discriminations level, change a key answer to

I question, improve 8 questions and reuse other l0 questions which have high discrimination level. (IKS 2008;

1:

Ii-l

7)

Keyword : item analysis, _final, physiologt

Pendahuluan

Ujian

tertulis adalah format

ujian

yang paling

sering digunakan

untuk

menilai

sejauh mana

pencapaian pembelajaran

mahasiswa.

Kelebihannya adalah lebih mudah disusun dan

relatif lebih

murah

jika

dibandingkan dengan

ujian

keterampilan

(skiQ.

Namun

sudah

dipahami bersama

bahwa

untuk

menguji kompetensi kedokteran diperlukan kedua fomat

ini

(verbal/tertulis

dan

non

verbal).

Harus disadari pula bahwa keputusan lulus/tidak lulus seharusnya

tidak

hanya

bersandar

pada

skor multiple-choice question(McQ) semata.r

Ada berbagai bentuk

soal

tertulis, antara lain

essei tertutup

(Short-Answer

open-ended question), essei terbuka (essay question), saal

benar-salah sederhana

(simple

true-false

questions), soal benar salah ganda (multiple

true-false

question),

soal

menjodohkan berulang

Rosaria Indah adalah anggota Medical Education Unit Fakultas Kedokteran Uniyersitas Syiah Kuala & Ra:i S.

Siregar Dosen Bagian Fisiologi Fakultas Kedokteran Universitas Syiah Kual a.

extended matching question

(EMQ),

soal kasus

(eey-feature approach

question) dan

terakhir adalah

MCQ

atau

pilihan

ganda

yakni

format

yang paling

populer

di

antaru

format

yang lain.Tentu saja

tiap

format

memiliki

kelebihan

dan kekurangan. Yang terpenting penyusun soal

benar-benar

menyadari

kelebihan

dan

kekurangan

bentuk

soal,

indikasi

dan

kontraindikasinya,

juga

kaidah-kaidah

penyusunan

soal yang

benar. Misalkan MCQ

punya kelebihan

yakni

murah, mudah dijawab, mudah diperiksa dan reliabilitasnya relatif sangat

baik.

Kekurangannya

relatif

lebih sulit disusun

(dengan

mempertimbangkan

syarat-syarat

pertanyaan yang

baik), lebih

cocok

jika

bahan

belajarnya sangat banyak dan jumlah peserta

uji

juga tidak

sedikit.'

MCQ juga tidak

dapat

digunakan

untuk

mengukur pedormance

skill

mahasiswa.

Objective

Structured

Clinical

Examination (OSCE) dalam

hal ini

jauh

lebih

sesuai dari pada ujian tertulis.

:

i

JURNAL KEDOKTERAN SylAll KUALA Volume 8 Nomor I April2008

Kaidah penyusunan

MCQ

Kaidah-kaidah

menyusun

MCQ

yang

baik

antara lain:

1.

Memiliki

ambiguitas ekstrinsik,

bukan

ambiguitas

intrinsik.

Soal

harus mampu

membedakan antara mahasiswa yang

benar-benar

memaharni konsep

dan

mahasiswa

yang cuma memahami sebagian dari konsep

(ambiguitas

ekstrinsik).

Soal

tidak

boleh

"menjebak"

(triclry)

misalkan dengan kata-kata yang salah sebagian hurufnya, juga tidak mengundang interpretpsi yang berbeda-beda

(ambiguitas intrinsik).'

2.

Memiliki

hanya satu jawaban yang paling

benar.

Pilihan jawaban yang

lain

haruslah

menjadi pengalih perhatian

yang

juga

sederajat (equat) dan masuk akal (plausible), bukan sama sekali berbeda, terlalu panjang

atau terlalu

pendek

jika

dibandingkan jawaban yang benar.a

3.

Menghindari

pemakaian

sisipan

(fillers)

misalkan

ABC

benar, bukan salah satu di

atas (BSSD) dan lain-lain.

4.

Menghindari kerumitan tambahan yang tidak perlu, misalkan tidak menggunakan bentuk

l,

2, 3 benar.

Mahasiswa sering terjebak saat memilih kombinasi jawaban, dan juga tidak

ada

hubungan dengan kompetensi dokter.

Kadang

bentuk

ini

memberi

"petunjuk

jawaban"

misalkan

jika

I

benar

maka

3

sudah

pasti

benar.

Soal

menjadi

tidak mampu membedakan antata mahasiswa yang

memahami

konsep

dan _-mahasiswa yang

pandai memanfaatkan trik. 5

Tingkat

kesulitan

dan

tingkat

diskriminasi

soal

Kualitas

soal

dapat

dinilai

dari

tingkat

kesulitannya

(p)

dan

kemampuan

soal

dalam

membedakan/mendiskrim inasi antara mahasi swa

yang benar-benar memahami pelajaran dengan

mahasiswa

yang

memahami secara

belum sempurna (faulty

grasp)

yang disebut dengan

tingkat

diskriminasi

(D).

Penentuan tingkat kesulitan dan tingkat diskriminasi

ini

dilakukan

dalam Item Analysls soal.

Item

Analysis

sebaiknya

dilakukan

secara

berkesinambungan. Saat ini Fakultas Kedokteran Universitas Syiah Kuala (FK Unsyiah) memiliki

Medical

Education

Unit

yang

bekerja

sama

t4

dengan

Tim

Assessment

dan

Tim

_Quality

Assurance

dalam

menjaga kualitas penilaian

terhadap mahasiswa.

Metode

Item

soal

diambil

pada

blok

4

The

Cell

pada

kurikulum

FK

Unsyiah

angkatan

2006

pada tahun akademik 200712008 yang diujikan pada

bulan Maret 2008 sebagai sampel. Ada 23 soal

yang sangat terkait dengan fisiologi kedokteran

di antara 100 soal.

Langkah-langkah item analysis:

I

.

Hitung lembar jawaban seluruh mahasiswa

jumlahnya 254 (N:254).

2.

Urutkan skor total tiap mahasiswa dari nilai tertinggi hingga

terendah.

Jika ada skor yang sama urutkan sesuai abjad dari nama mahasisrva.

3.

Hitung jumlah

mahasiswa dengan nilai

tinggi dengan mengalikan N dengan 0.27:

N x

0.27:68.8

dibulatkan menjadi 69

4.

Ambil

dari urutan skor 69 lembar jawaban dengan

nilaitertinggi:

ini adalah kelompok

mahasiswa

dengan

nilai

tinggi

(high scorer).

5.

Ambil

dari urutan skor 69 atau 68 lembar jawaban dengan

nilai

terendah:

ini

adalah

kelompok mahasiswa dengan

nilai

rendah

(ow

scorer).

6.

Hitung jawaban yang benar dari masing-masing kelompok.

7.

Untuk

mengetahui

tingkat

kesulitan (p)

soal pertama-tama dicari jumlah jawaban

benar untuk tiap soal bagi tiap kelompok.

pH

= jumlah jawaban benar 69 untuk kelompok high score

pL

:

jumlah jawaban benar 68 untuk kelompok low score

8.

Kemudian

dicari rata-ratanya

(p)

dengan

menj umlahkan (pH+pL)/2.

9.

Tingkat kemampuan soal mendiskriminasi/ membedakan antara mahasiswa "pandai" dan "kurang pandai" didapat dari

nilai

D=

(pH-pL).

Bentuk soal

yang

digunakan

dalam

menguji

pemahaman tentang fisiologi sel :

i l

Rosaria & Razi, Analisis kulaitas soal

. 16 dari 23

soal

berbentuk

EMQ

. 3

dari

23

soal

berbentuk

benar-salah

(menjodohkan dengan

pilihan

yang

boleh

sedemaha (simple true-false question).

digunakan

berulang).

'

4 dari 23 soal berbentuk MCQ.

Tabel 1. Itent Analysls Soal Fisiologi Kedokteran Blok 4 The Cells TA200712008

No

Soal

Jenis

Soal

Topik pH pL D p Interpretasi Rekomendasi

1 EN,lQ SS I 0.72 0.28 0.86 Mudah, diskriminasi rendah Ganti soal lain

2 EMQ SS I 0.78 0.22 0.89 Mudah, diskriminasi sedang Perbaiki

3 EN4Q SS I 0.76 0.24 0.88 Mudah, diskiminasi sedang Perbaiki

4 EMQ SS 0.95 0.76 0.19 0.85 Mudah, diskriminasi rendah Ganti soal lain

5 EMQ SS 1 0.79 0.21 0.89 Mudsh, diskiminasi sedang Perbaiki

6 TFQ SS 0.76 0.45 0.31 0.65 Sedang, diskriminasi sedang Perbaiki

7 TFQ SS 0.91 0.69 0.38 0.8 Mudah, diskiminasi tinggi Tetap digunakan

8 'TFQ SS 0.92 0.56 0.36 0.74 Sedang, diskriminasi tinggi Tetap digunakan

9 EMQ SS 0.94 0.2 0.74 0.57 Sedang, diskriminasi sangat tinggi Tetap digunakan 10 EMQ SS I 0.69 0.39 0.85 Mudah, diskiminasi sedang Perbaiki

11 EMQ SS 1 0.65 0.35 0.83 Mudah, diskiminasi tinggi Tetap digunakan

12 EMQ SS 0.76 0.45 0.31 0.60 Sedang, diskiminasi sedang Perbaiki

l3 EMQ SS 0.84 0.45 0.39 0.65 Sedang, diskiminasi tinggi Tetap digunakan

l4 EMQ SS 0.79 0.28 0.51 0.53 Sedang, diskriminasi sangat tinggi Tetap digunakan 1s EMQ SS 0.40 0.2 0.20 0.30 Sedang, diskriminasi rendah Ganti soal lain

61 MCQ KS 0.53 0.12 0.41 0.33 Sedang, diskriminasi sedang Perbaiki

62 MCQ KS 0.55 0.04 0.51 0.29 Sedang, diskriminasi sangat tinggi Tetap digunakan

63 MCQ KS 0 0.014 -0.014 0.007 Miskeyed atau kunci double/salah Ganti/ perbaiki kunci 64 MCQ KS 0.39 0.04 0.35 0.22 Sulit, diskriminasi sedang Perbaiki

66 EMQ HH 0.97 0.79 0.18 0.88 Mudah, diskiminasi sangat rendah Ganti soal lain

67 EMQ HH 0.94 0.48 0.46 0.71 Sedang, diskriminasi tinggi Teiap digunakan

68 EMQ HH 0.98 0.62 0.36 0.8 Mudah, diskriminasi tinggi Tetap digunakan

69 EMQ HH 0..68 0.2 0.48 0.44 Sedang, diskriminasi tinggi Tetap digunakan

Topik: SS:struktur sel, KS:komunikasi sel, HH:homeostasis dan hormon

Ilasil

Dipandang dari tingkat diskriminasi soal:

DariZ3 soal sampel didapatkan beberapa

tingkat .

4 soal memiliki tingkat D yang rendah

kesulitan

soal:

(D<0.2)

.

l0

soal relatif mudah

(p>0.75)

.

8 soal memiliki tingkat D yang sedang

.

I

I

soal relatif sedang

(0.25<p<0.75)

(0.2<D<0.35)

.

I

soal relatif sulit

(p<0.25)

.

7 soal memiliki tingkat D yang tinggi

.

1 soal miskeyed/salah

memberipilihan.(p

(0.35<p<0.5).

mendekati

0)

.

3 soal memiliki tingkat D yang sangat tinggi

l.

JURNAL KEDOKTEMN SYIAH KUALA Yolume 8 Nomor I April 2008

.

1 soal /salah member pilihan (miskeyed) (D< 0 atau minus).

Dengan

analysis

item

tersebut

maka

direkomendasikan untuk:

.

Mengganti

4

buah

soal

yang

memiliki

diskriminasi rendah.

.

_{Mengganti kunci/mengganti soal yang} salah

kunci/kunci ganda.

.

Memperbaiki

8

soal

yang

memiliki diskriminasi sedang

agar

menjadi lebih tinggi.

.

Tetap menggunakan 10 soal yang telah tinggi tingkat diskriminasinya.

Perbaikan soal

Contoh: Soal

No

I

sampai dengan

5,

bentuk

EMQ.

Jawablah

soal No.1-5

di

bawah

ini

dengan

menjodohkannya dengan

jawaban

di

sebelah

kanan.

Pilihan jawaban boleh digunakan lebih dari satu kali.

Pilihan jawaban:

A.

Sel Eukariotik

B. Sel Prokariotik

Tipe nukleus: Nucleoid region ( No real

nucleus). Kunci B.

Tidak mempunyai histon. Kunci B. Dijumpai pada organisme multiseluler. Kunci

A

Sel dengan ukuran

l-10

pm. Kunci B. Nukleus dengan double membran. Kunci A.

Soal nomor

ldi

atas hanya menguji pengetahuan

sangat mendasar yang pada taksonomi Bloom berada pada

tingkat

1 menghafal (memorizing)

sehingga hampir semua mahasiswa (229 dari254

mahasiswa) mampu menjawab dengan benar. Soal

ini

perlu diganti

dengan soal yang lebih

menggali

pada

pemahaman

atau

aplikasi

pengetahuan.

Selain

itu

soal-soal tersebut hanya

memiliki

2

pilihan

jawaban,

sehingga

memberi

menunjukkan

jawaban (cutng

_fficts)

yang

cukup besar, sehingga sulit membedakan atfiara mahasiswa

yang

benar-benar

paham

dengan

mahasiswa

_{yang "menebak".}

Pembuat soal

dapat menambahkan pilihan jawaban yang lebih

banyak

(2

atau

3

pilihan

tambahan) untuk mengurangi "cuing effects" tersebut. Tenfu saja

dengan

juga

_{mengubah pernyataan soal karena}

16

tidak

mungkin

menambah

jenis

sel

selain

eukariotik dan

prokariotik yang niutlak

cuma

terdiri atas 2 jenis.

Contoh : SoalNo. 63, bentuk MCQ D:-0.014, p:0.007

63. Zat yang masuk ke dalam sel dengan cara

pinositosis adalah:

a.

Bakteri.

b.

Jaringan mati.

c.

Zatlarut yang tidak tampak di bawah

mikroskop

d.

Leukosit.

e.

Bahan padat yang tampak di bawah

mikroskop. Kunci E.

Dari pilihan jawaban tidak ada yang paling tepat

karena pinositosis adalah pengambilan secara

terus menerus dan tidak spesifik cairan ekstrasel

melalui

vesikel-vesikel

yang

relatif kecil

dan

pada saat

yang

sama molekul-molekul besar

maupun

kecil yang

terlarut

ikut

terhisap ke

dalam sel (despapoulos halaman 12).

Kesimpulan

l.

Penilaian mahasiswa memerlukan perhatian

dan

pengetahuan

tentang

prinsip-prinsip

assessment

untuk

memperoleh

metode penilaian yang berkualitas tinggi.

2.

Salah satu usaha untuk memperbaiki kualitas

soal dalam ujian

tertulis

adalah melakukan

analysis

item.

Metoda

ini

relatif

sangat

mudah, murah dan

tidak

memakan banyak waktu.

3.

Perlu ada tim khusus yang bertanggungjawab

melakukan

analysis

item

secara

berkesinambungan

dan

memberi

umpan

balik

(feedback) kepada pembuat soal demi perbaikan kualitas ujian.

4.

Ada

banyak bentuk soal selain

MCQ

yang

mampu

memberi

objektivitas

yang

tinggi

seperti

EMQ dan

multiple

True-False

question. Untuk

topik-topik yang

berada

pada

domain

klinis

lebih

disarankan menggunakan key-feature approach question

sehingga

mampu menguji

kemampuan diagnosis,

tidak

cuma pengetahuan faktual

saja. 2.

3.

4.

Rosaria & Razi, Analisis kulaitos soal

Daftar pustaka

1.

Schurvirth, L.W.T. and van der Vleuten, C.P.M. A Plea for New Psychometric models in Educational Assessment. Medical Teacher 20A6, 40;296-300.

2.

Van der Vieuten, C.P.M. The Assessment of

Professional Competence: Development, Research

and Practical Implications. Advances in Health

Sciences Education 1996,1: 41-47.

3.

Hopkins, K.D, Stanley, J.C, and Hopkins, B.R. Educational and Psy'chological Measurement and

Evaluation. Massachusetts: Allyn and Bacon, 1990.

4.

Linn, R.L and Miller, M.D. Measurement and Assessment in Teaching. New Jersey: Pearson

Education,2005.

5.

Dent, John A", and Harden, Ronald M. A Practical Guide for Medical Teachers. Philadelphia: Elsevier Churchill Livingstone, 2005.