Penentuan Batas Kelulusan (Standard Setting) UKDI

(1)

Gandes Retno Rahayu

* Komite Bersama Uji Kompetensi Dokter Indonesia

Penentuan Batas Kelulusan

(Standard Setting)

UKDI

pass fail competent

incompetent

(2)

A standard is

a statement about whether performance is good enough for a particular purpose

The standard defines

the boundary between passing and failing; separates candidates who are competent from those who are not competent

The numerical answer to:

“How much is enough?” “How good is good enough?”

A

Policy

Decision

The standard is based on judgments

about examinees‟ performances.

Judgments are an expression of our

professional

, social

and

educational

(3)

The method has to be:

Defensible

Credible

Supported by a body of evidence

Feasible

Acceptable to all stakeholders

C H A R A C T E R I S T I C S

6 Langkah Penentuan Batas Kelulusan

1. Menentukan tipe standar

2. Menentukan metode penentuan nilai batas kelulusan

3. Memilih „judges‟

4. Proses penentuan batas kelulusan oleh „judges‟

5. Menghitung batas kelulusan

6. Menentukan follow up

(4)

1. Menentukan tipe standar

• Relative standards • Norm-referenced • Patokan Acuan Normal / PAN • Absolute standards • Criterion-referenced • Patokan Acuan Baku / PAB

Features

• Dinyatakan dalam jumlah atau persentase peserta yang lulus (mis: 100 peserta terbaik, 30% terbaik)

• Performan seorang peserta tergantung pada performan peserta lain

• Menstimulus kompetisi

• Lebih mudah dilakukan

• Tidak tepat untuk ujian berbasis kompetnsi

• Dinyatakan dalam persentase jawaban benar

(mis: 65% jawaban benar)

• Performan seorang peserta

tidaktergantung pada performan peserta lain

• Menstimulus kolaborasi

• Lebih sulit dilakukan

• Tepat untuk ujian berbasis kompetensi

(5)

2. Menentukan metode

penentuan nilai batas kelulusan

Relative standards Absolute standards

Relative methods Absolute methods 1. Keputusan didasarkan

pada item soal 2. Keputusan didasarkan

pada peserta ujian Compromise Methods

ContohHofstee’s method

2. Menentukan metode

penentuan nilai batas kelulusan

Relative standards

Contoh relative method Five Scale Type 1:

A: Above M + 1.5SD

B: Between M + 0.5SD and M + 1.5SD C: Between M – 0.5SD and M + 0.5SD D:Between M – 1.5SD and M – 0.5SD E: Below M – 1.5SD

(6)

2. Menentukan metode

penentuan nilai batas kelulusan

Absolute standards

Contoh: Absolute methods 1. Keputusan didasarkan pada item soal:

Metode Angoff dengan berbagai modifikasi

Metode Ebel

2. Keputusan didasarkan pada peserta ujian Contrasting Group Method

3. Memilih

„judges‟

• Kredibilitas nilai batas kelulusan sangat tergantung pada kredibilitas panel ‘judges‟, sehingga perlu diperhatikan:

1. Kapabilitas, komitmen dan kredibilitas judges 2. Aspek keterwakilan darijudges

(7)

Step:

4. Proses penentuan batas kelulusan oleh „judges‟ 5. Menghitung batas kelulusan

6. Menentukan follow up

Dijelaskan secara detail dalam sesi-sesi selanjutnya bersama penjelasan metode Angoff dan Ebel

Penentuan Batas Kelulusan dengan Modifikasi Metode Angoff

Gandes Retno Rahayu

* Komite Bersama Uji Kompetensi Dokter Indonesia * Bagian Pendidikan Kedokteran

(8)

Versi 1

Langkah awal

• Memilih panel juri / judges dengan baik • Panel juri mendiskusikan tentang:

▫ Tujuan ujian

▫ Karakteristik peserta ujian

▫ Adequate/inadequate knowledge

• Panel juri mendiskusikan dan menyepakati apa yang disebut dengan borderline group

(9)

Definisi Borderline UKDI (Hotel Ambhara,

Mei 2010)

1. Masa studi tidak tepat waktu ( plus 3-4 semester)

2. IPK Sked dan profesi = syarat minimal IPK untuk lulus

3. Nilai rata-rata ujian blok/modul = syarat minimal untuk lulus ujian blok

4. Mampu lulus UKDI setelah mengikuti ujian maksimal 2x UKDI

5. Nilai rata-rata ujian klinik = syarat minimal untuk lulus ujian klinik

6. Remediasi ujian blok/modul dan ujian ketrampilan klinik berkisar sepertiga dari keseluruhan

blok/modu/ujian ketrampilan

Definisi Borderline UKDI

(Revisi 22 November 2011, Hotel Aston,

Jakarta)

1. Masa studi tidak tepat waktu (plus 2-3 semester dikarenakan faktor kemampuan peserta, bukan karena sistem) ; dan

2. IPK SKed = syarat minimal IPK untuk lulus;

dan

3. IPK Profesi = syarat minimal IPK untuk lulus.

4. Nilai rata-rata ujian blok/modul (item yang ini belum disepakati)

(10)

Round 1:

• Secaraindividual setiap juri membaca setiap soal dengan baik, dan untuksetiap soaljuri menjawab pertanyaan berikut:

“Apakahborderline group/minimally competent students dapat menjawab soal tersebut dengan benar?”

Jawaban: Ya / Tidak

(ditulis didalam lembar yang telah disediakan)

No Soal Apakah mahasiswa borderline dapat menjawab soal tersebut dengan

benar? Y/T Round 1 Round 2 1 _Y 2 _T 3 _Y 4 _Y 5 _Y 6 _T dst

(11)

Umpan balik

• Dipresentasikan indeks kesulitan butir soal /

item difficulty index / p-value dari soal-soal yang dipakai

23/10/2012

22

Jumlah peserta yang menjawab benar Jumlah seluruh peserta

Ingat…

p =

p antara 0.00 dan 0.25 sulit p antara 0.26 dan 0.75 sedang p antara 0.76 dan 1.00 mudah

(12)

Round 2:

• Setiap juri boleh mengganti jawaban ataupun tetap pada pendirian semula setelah melihat indeks kesulitan butir soal atau setelah diskusi

benar? Y/T Round 1 Round 2 1 _Y _Y 2 _T _T 3 _Y _Y 4 _Y _Y 5 _Y _Y 6 _T _T dst

(13)

benar? Y/T Round 1 Round 2 1 _Y _Y 2 _T _Y 3 _Y _Y 4 _Y _Y 5 _Y _Y 6 _T _T dst

Penentuan Nilai Batas Lulus

• Konversikan setiap jawaban pada round kedua

sbb:

Ya = 1

Tidak = 0

• Hitung rata-rata jawaban dari seluruh juri untuk masing-masing butir soal.

• Jumlah dari rata-rata tersebut merupakan nilai batas lulus (NBL/cut score)

(14)

Soal J1 J2 J3 J4 J5 J6 J7 J8 J9 J10 Mean 1 1 0 1 0 1 1 1 1 1 0 0.7 2 1 0 0 1 0 1 1 1 1 1 0.7 3 0 1 0 1 0 1 1 1 1 0 0.6 4 1 1 1 1 1 0 1 0 0 0 0.6 5 0 1 1 1 1 0 1 0 1 1 0.7 6 1 1 1 1 0 0 0 1 1 1 0.7 7 0 1 1 1 0 1 1 0 0 1 0.6 8 1 1 1 0 1 0 0 1 0 1 0.6 9 0 0 0 1 0 1 1 1 1 1 0.6 10 0 1 1 1 0 1 1 1 1 1 0.8 6.6

Versi 2

(15)

Langkah awal

• Memilih panel juri / judges dengan baik • Panel juri mendiskusikan tentang:

▫ Tujuan ujian

▫ Karakteristik peserta ujian

▫ Adequate/inadequate knowledge

• Panel juri mendiskusikan dan menyepakati apa yang disebut dengan borderline group

/minimally competent candidates

Round 1:

• Secaraindividual setiap juri membaca setiap soal dengan baik, dan untuksetiap soaljuri menjawab pertanyaan berikut:

“Berapa persenborderline group/minimally

competent students dapat menjawab soal tersebut dengan benar?”

Jawaban: misalnya 60%, 70% dst

(16)

No Soal Berapa persenborderline group/minimally competent students

dapat menjawab soal tersebut dengan benar? (%) Round 1 Round 2 1 ₇₀ 2 ₈₀ 3 ₆₀ 4 ₇₅ 5 ₆₅ 6 ₇₀ dst

Umpan balik

• Dipresentasikan indeks kesulitan butir soal /

item difficulty index / p-value dari soal-soal yang dipakai

(17)

Jumlah peserta yang menjawab benar Jumlah seluruh peserta

Ingat…

p =

p antara 0.00 dan 0.25 sulit p antara 0.26 dan 0.75 sedang p antara 0.76 dan 1.00 mudah

Round 2:

• Setiap juri boleh mengganti jawaban ataupun tetap pada pendirian semula setelah melihat indeks kesulitan butir soal atau setelah diskusi

(18)

dapat menjawab soal tersebut dengan benar? (%) Round 1 Round 2 1 ₇₀ ₇₀ 2 ₈₀ ₈₀ 3 ₆₀ ₆₀ 4 ₇₅ ₇₅ 5 ₆₅ ₆₅ 6 ₇₀ ₇₀ dst

dapat menjawab soal tersebut dengan benar? (%) Round 1 Round 2 1 ₇₀ ₇₅ 2 ₈₀ ₇₅ 3 ₆₀ ₆₀ 4 ₇₅ ₇₅ 5 ₆₅ ₆₅ 6 ₇₀ ₇₀

(19)

Penentuan Nilai Batas Lulus

• Hitung rata-rata jawaban dari seluruh juri untuk

masing-masing butir soal.

• Jumlah dari rata-rata tersebut merupakan nilai batas lulus (NBL/cut score)

SOAL J1 J2 J3 J4 J5 J6 J7 J8 J9 J10 Mean 1 70 70 70 70 75 75 60 65 65 70 69 2 80 60 65 70 80 80 70 75 60 60 70 3 60 65 60 60 65 70 70 60 50 65 62.5 4 50 55 55 60 65 70 70 75 55 55 61 5 70 75 75 75 80 85 60 60 65 65 71 6 80 60 65 70 80 80 70 75 60 60 70 7 60 65 55 60 80 70 70 60 50 65 63.5 8 50 60 55 60 65 60 70 75 55 55 60.5 9 55 60 65 65 60 65 70 65 70 70 64.5 10 80 80 87 80 85 65 60 70 75 70 75.2 667.2

Penentuan Batas Kelulusan (Standard Setting) UKDI