1

(1)

Item Analysis

Arti & Pemanfaatannya

Dripa Sjabana Director of Information System | Member of Educational Information Technology Development Commission (EITDeC) of MERSDU | Lecturer at Department of Pharmacology Faculty of Medicine

Airlangga University

Importance of Item Analysis

Strength and weakness of question itemStrength and weakness of question item

Specification of question itemSpecification of question item

Problem in question itemProblem in question item

Revision S l ti

EITDeCMERSDU

2

Selection

Question battery Evaluation Policy Question bank

Item Analysis

PurposePurpose: determining question quality: determining question quality

Character Character parameter (quantitative):parameter (quantitative):

Difficulty indexDifficulty index

Discriminant indexDiscriminant index

Options functionalityOptions functionality

S ifi ti

S ifi ti t (t ( lit ti )lit ti )

EITDeCMERSDU

3

SpecificationSpecification parameter (qualitative):parameter (qualitative):

Content validityContent validity

Accurateness of academic goal Accurateness of academic goal

measurement as in the blue print. measurement as in the blue print.

Question Battery Analysis

PurposePurpose: :

determining question battery quality determining question battery quality ParameterParameter:: validityvalidity li bilit li bilit EITDeCMERSDU 4 reliabilityreliability

(2)

Lingkup Analisis Soal

Analisis

butir soal

1.Xxxxxxxx

2 Xxxxxxxx

butir soal

KarakterKarakter SpesifikasiSpesifikasi 2.Xxxxxxxx 3.Xxxxxxxx 4.Xxxxxxxx 5.Xxxxxxxx … EITDeCMERSDU 5

Analisis

perangkat soal

ValiditasValiditas ReliabilitiasReliabilitias

Competence approach

item analysis

Competence vs. nonCompetence vs. non--competencecompetence

A to B = competence (=mastery)A to B = competence (=mastery)

BC to E = nonBC to E = non--competencecompetence

D D ≥≥ 0.1 (total sampling) 0.1 (total sampling)

D D = = p p post post ––p p prepre

EITDeCMERSDU

6

D D = = p p competencecompetence––p p nonnon--competencecompetence

p p ≥≥ 0.65 (B) 0.65 (B)

p = correct answer : Number of studentsp = correct answer : Number of students

Tingkat Kesukaran (p)

difficulty index difficulty index % peserta ujian % peserta ujian yang menjawab

yang menjawab

∑

betul

yang menjawab yang menjawab dengan betul. dengan betul. Rentang nilai Rentang nilai 0 0 s.d. s.d. 11

∑

=

penjawab

betul

p

0,25 0,75

Dapat mengungkap masalah terkait ujian dan bahkan terkait pengajarannya.

0

0 pp 11

Sukar Sedang Mudah

Tingkat Kesukaran (p)

difficulty index difficulty index

Tingkat g _{Nilai p} Distribusi butir dalam

Kesukaran Nilai p _PAN _PAP

Sukar 0,00 – 0,25 25% Sesuaikan dengan patokan Sedang 0,26 – 0,75 50% Mudah 0 76 – 1 00 25%

PAN: diharapkan sekitar 0,50 atau 50%PAN: diharapkan sekitar 0,50 atau 50%

Mengukur perbedaan antar peserta ujianMengukur perbedaan antar peserta ujian

PAP: diharapkan PAP: diharapkan sekitar sekitar patokan yang ditentukanpatokan yang ditentukan

Mengukur pencapaian setiap peserta ujian terhadap patokan.Mengukur pencapaian setiap peserta ujian terhadap patokan. Mudah 0,76 – 1,00 25%

(3)

Daya Beda (D)

Discrimination index Discrimination index

D

=

B

a

−

B

b

D

=

p

−

p

T

5 ,

0

p

a

p

b D = daya beda B_a= Σkelompok atas yang menjawab betul B_b= Σkelompok bawah yang menjawab betul T = Σpeserta ujian

EITDeCMERSDU

9

p j

(bila ganjil, maka T= Σpeserta ujian dikurangi satu).

P_a = tingkat kesukaran kelompok atas P_b = tingkat kesukaran kelompok bawah

Atas vs. Bawah

27% peserta Kompeten (Brennan 1972) p skor tertinggi 27% t Kompeten (nilai≥65) non-kompeten p_a p_b EITDeCMERSDU 10 peserta skor terendah PAN PAP p_b

D untuk PAP

Diskriminan antara kompeten & nonkompetenDiskriminan antara kompeten & nonkompeten

Diskriminan antara kompeten & nonkompeten Diskriminan antara kompeten & nonkompeten

(Brennan, 1972) (Brennan, 1972) a b butir betul a b salah c d a+c b+d EITDeCMERSDU 11 c a a d b b B + − + = =

D

Brennan nonkompeten kompeten

patokan

Daya Beda (D)

discriminant index discriminant index

Kelompok atas Kelompok atas

--11 D=0 D=0 11

Kelompok bawah menjawab betul

bawah = atas Kelompok bawah menjawab salah

Kelompok atas

menjawab salah _{atas = bawah}

Kelompok atas menjawab betul

Efektivitas butir soal dalam memisahkan peserta ujian

EITDeCMERSDU

12

Efektivitas butir soal dalam memisahkan peserta ujian dengan nilai total ujian tinggi (atau kompeten)

dari

(4)

D category

for norm

for norm--referenced testreferenced test Items quality Recommendation

≥0 40 Very good

[email protected]

≥0.40 Very good

0.30 – 0.39 Reasonably good Possibly subject to _improvement

0.20 – 0.29 marginal Need some revision

≤0.19 poor Need major revision or _{should be eliminated}

EITDeCMERSDU

13

should be eliminated (Ebel & Frisbie 1986) Memadai D ≥ 0.25 (Buku 1.15 hal.180)

Memadai D ≥ 0.10, jika total sampling (Dripa)

Interpretasi D

sekitar 0

Butir tidak diajarkan

Æ

eliminasi

Butir tidak dimengerti

stem tidak jelas atau membingungkan stem tidak jelas atau membingungkan Æ

Æ revisirevisi

ada satu distraktor dipilih secara ada satu distraktor dipilih secara konsisten

konsistenÆÆ revisirevisi

EITDeCMERSDU

14

konsisten

konsisten ÆÆ revisirevisi

Salah kunci

Interpretasi D

negatif

Æ

eliminasi

Butir membingungkan peserta yang

kompeten

Kompeten memilih distraktor yang sama Kompeten memilih distraktor yang sama secara konsisten

secara konsisten ÆÆ masalah ++masalah ++

Salah kunci

Interpretasi D

positif rendah

Æ

Æ pperiksa ppperiksa ppp

p sangat rendah (sangat sukar) atau sangat p sangat rendah (sangat sukar) atau sangat tinggi (sangat mudah)

tinggi (sangat mudah)

p memadai p memadai ÆÆ periksa periksa pola jawabanpola jawaban

Kompeten:nonkompt = berimbang memilih Kompeten:nonkompt = berimbang memilih

distraktor

distraktorÆÆ((stemstem) butir soal bermasalah,) butir soal bermasalah, distraktor

distraktor ÆÆ((stemstem) butir soal bermasalah, ) butir soal bermasalah, m

materi dianggap tidak penting oleh mahasiswaateri dianggap tidak penting oleh mahasiswa

Konsisten memilih distraktor yang sama Konsisten memilih distraktor yang sama ÆÆopsi opsi

bermasalah bermasalah

(5)

Contoh Analisis Distraktor

Distraktor yang berfungsi benar memiliki D

Distraktor yang berfungsi benar memiliki D_distraktor_distraktornegatifnegatif

A B* C D E dis. Kompeten j 0 4 1 0 0 1 p 0,0 0,8 0,2 0,0 0,0 Nonkompeten j 1 2 1 1 0 3 EITDeCMERSDU [email protected] 17 Nonkompeten p 0,2 0,4 0,2 0,2 0,0 Analisis J 1 6 2 1 0 4 D -0,2 0,4 0,0 -0,2 0 D p=6/10

Items character ?

Items Items DD pp Items Items DD pp 11 0.000.00 0.400.40 22 0.000.00 0.700.70 33 0.250.25 0.300.30 44 0.250.25 0.800.80 EITDeCMERSDU 18 55 --0.400.40 0.200.20 66 --0.800.80 0.700.70

Analisis Butir Soal Subjektif

Sebagaimana soal objektif

Sebagaimana soal objektif.

Tidak ada analisis distraktor.

EITDeCMERSDU

19

Analisis Butir

Soal Pilihan Ganda Tidak Simpel

Sebagaimana soal objektif.

Analisis distraktor melalui pemetaan

Pilihan ganda analisis hubungan Pilihan ganda analisis hubungan (Sebab

(Sebab--akibat) akibat) Æ

Æ Tabel Distraktor “Tabel Distraktor “SAHSAH--DripaDripa””

EITDeCMERSDU

20

pp

Pilihan ganda kompleks Pilihan ganda kompleks (1234)

(1234) Æ

(6)

Naskah Sama Hasil Beda

Peserta Lulus Peserta Ujian Lulus Peserta Ujian S b l i EITDeCMERSDU p’=0.67p’=0.67 D’=0.22D’=0.22 21 j Perbaikan p’=0.85p’=0.85 D’=0.09D’=0.09 Sub-populasi

Naskah Sama Hasil Serupa

Heterogenitas populasi setara Mutu pembelajaran setara

Peserta Ujian 2003 Peserta Ujian 2005 Peserta Ujian 2007 EITDeCMERSDU p’=0.65p’=0.65 D’=0.24D’=0.24 22 p’=0.62p’=0.62 D’=0.22D’=0.22 p’=0.67p’=0.67 D’=0.20D’=0.20

Reliabilitas

Ujian handal bila menyajikan informasi

j

y j

tentang peserta secara konsisten

tentang peserta secara konsisten..

Reliabilitas keputusan bahwa peserta Reliabilitas keputusan bahwa peserta kompeten atau tidak pada suatu ranah isi kompeten atau tidak pada suatu ranah isi ((a domain of contenta domain of content))

Reliabilitas estimasi kinerja pada suatu Reliabilitas estimasi kinerja pada suatu ranah. ranah.

Reliabilitas (konsistensi)

keputusan kompeten

Ujian 1 Kompeten a b non kompeten c d Non kompeten kompeten

Ujian 2

c

b

+

n

p

_o

=

(7)

Reliabilitas Estimasi Skor Ranah

Standar error of measurement (Berk, 1980)Standar error of measurement (Berk, 1980)

1 −

=

n

pq

Se

⎟

⎠

⎞

⎜

⎝

⎛

−

=

1 n

pq

N

n

N

Se

E i i i l S EITDeCMERSDU 25 Estimasi interval = p ±Se 1 Se Æderajat kebenaran 65% 2 Se Æderajat kebenaran 95%

Kuder

Kuder--Richardson (20)

Richardson (20)

Estimasi Konsistensi Internal Estimasi Konsistensi Internal

Kurang sesusai untuk PAPKurang sesusai untuk PAP

Rentang 0 s.d. 1Rentang 0 s.d. 1

Angka mendekati 1 menunjukkan kinerja Angka mendekati 1 menunjukkan kinerja konsisten seluruh butir perangkat ujian. konsisten seluruh butir perangkat ujian.

Butir soal pada ujian dengan PAP Butir soal pada ujian dengan PAP diharapkan

diharapkan cukup homogencukup homogen. .

EITDeCMERSDU

26

pp pp gg

Karenanya, kita harapkan pola yang Karenanya, kita harapkan pola yang konsisten akan sukses atau tidaknya butir konsisten akan sukses atau tidaknya butir dari ujian dengan PAP.

dari ujian dengan PAP.

Reliabilitas sekali Ujian

split split--halfhalf Peserta Peserta Peserta Ujian Ujian Kel.1 Ujian Kel.2 EITDeCMERSDU pp11=0.64=0.64 DD11=0.25=0.25 27 pp2=0.66=0.66 DD22=0.23=0.23 p=0.65p=0.65 D=0.24D=0.24

KR

KR--20

20

⎥ ⎤ ⎢ ⎡ − = n 1

∑

₂pq

r

⎥ ⎦ ⎢ ⎣ − 2 20 _n ₁ 1 _s

r

n = jumlah butir p = proporsi menjawab betul q= proporsi menjawab salah s2_{= varian dari skor total}

EITDeCMERSDU

28

(8)

Varian

X X 2 2

∑

( − ) 2 2 2

X

∑

N s2 =

∑

( ) 2

X

N

s

=

∑

−

Deviasi Standar EITDeCMERSDU 29 2

s

SD

S

=

Deviasi Standar

Pemanfaatan

Hasil Analisis Butir

Karakter Kesempurnaan

Struktur Soal Spesifikasi Evaluasi Mutu

Struktur Soal Mutu

Pembelajaran Item Analysis

(D, p, r) ValiditasIsi BlueprintKesesuaian /Kisi

+ + + + + - -/+ -/+ -/+ ?/-+ - - - ? EITDeCMERSDU - + + + -30 (Dripa, 2008)

Mutu pembelajaran meliputi a.l.: pengajaran, profil mahasiswa, lingkungan / fasilitas belajar, dan pengelolaan evaluasi.

Thanks

[email protected]

Hope we all can be: Hope we all can be:

a good a good educatoreducator

a good a good inovatorinovator

a good a good human beinghuman being

Referrences Wiersma W, Jurs SG

Educational Measurement and Testing 2nd_ed

Educational Measurement and Testing, 2 ed. Massachusetts: Allyn and Bacon, 1990, pp.209-286.

Zainul A, Nasution N

Penilaian Hasil Belajar.

Jakarta: PAU-PPAI Universitas Terbuka, 2001, pp.169-190.

Tim AA FK Unair

Suplemen Program Applied Approach Fakultas Kedokteran. Surabaya: Fakultas Kedokteran Universitas Airlangga,