Oleh: Oe : Yasfin Fajri

(1)

Pengembangan

Pengembangan Computer Adaptive

Computer Adaptive

Pengembangan

Pengembangan Computer Adaptive

Computer Adaptive

Testing

Testing Untuk

Untuk Mengukur

Mengukur Kecepatan

Kecepatan Dan

Dan

Ketepatan

Ketepatan Pemahaman

Pemahaman Teks

Teks Berbahasa

Berbahasa

Ketepatan

Ketepatan Pemahaman

Pemahaman Teks

Teks Berbahasa

Berbahasa

Inggris

Oleh: O e :

(2)

Latar

Latar Belakang

Belakang Masalah

Masalah

Latar

Latar Belakang

Belakang Masalah

Masalah



Manfaat Memahami Bacaan Dengan Cepat



Manfaat Memahami Bacaan Dengan Cepat

dan Akurat

◦

Efisiensi waktu

◦

Melatih konsentrasi



Pentingnya Pengukuran

◦

Mengetahui kemampuan

◦

Optimalisasi proses belajar

(3)

Dasar

Dasar Teori

Teori

Dasar

Dasar Teori

Teori



Speed Reading



Speed Reading



CAT



CRT



SPRT



SPRT

(4)

Speed Reading



Berbeda dengan “Skipping”



Berbeda dengan Skipping



Berbeda dengan “Skimming”



Metode / Teknik



Kebiasaan



Kebiasaan



Latihan

(5)

CAT



Computer Based



Computer Based



Adaptive



Karakteristik:

◦

Calibrated Item Pool

◦

Calibrated Item Pool

◦

Starting Poin

◦

Item Selection Algorithm

◦

Scoring Procedure

(6)

CRT



Klasikal



Klasikal



Test Result  Criterion Statement



Karakteristik

◦

Cut Score

◦

Cut Score

◦

Item Facility

(7)

SPRT



Klasifikasi



Klasifikasi



Probability Ratio

(8)

Perancangan

Perancangan Sistem

Sistem

Perancangan

Perancangan Sistem

Sistem



Gambaran Umum



Gambaran Umum



Bank Soal



Modul Uji

◦

Seleksi Set Soal (Item Selection)

◦

Seleksi Set Soal (Item Selection)

◦

Proses Evaluasi (Scoring Procedure)

◦

Stopping Condition (Termination Criterion)

(9)

Perancangan

gg

MODUL UJI MODUL MANAJEMEN SOAL

Digunakan oleh Pembelajar Digunakan oleh

Instruktur/Pengembang Soal Melakukan uji menggunakan data yang

ada dalam Bank Soal

Entri/Edit Bank soal

Data Uji disimpan Mendapatkan Feedback dari data uji Data Uji disimpan Mendapatkan Feedback dari data uji

(10)

Bank

Bank Soal

Soal

Bank

Bank Soal

Soal



Teks



Teks



Item Soal

◦

Pilihan Ganda

◦

Mencocokkan Kata

(11)

Modul

Modul Uji

Uji

Modul

(12)

Seleksi

Seleksi Set

Set Soal

Soal



Adaptive



Adaptive



Menyesuaikan dengan

tingkat kemampuan

pengguna

p gg

(13)

Seleksi

Seleksi Set

Set Soal

Soal cont.

cont.

List A

List B

List C

Set 1

Set 2

Set 3

Set 2

Set 5

Set 4

Set 3

Set 1

-S t 4

S t 7

Set 4

Set 7

--

Set 10

--

Set 15

--

Set 15

L A  D f l d d l b k l d k k l

•List A  Daftar set soal di dalam bank soal dengan tingkat kesulitan tertentu •List B  Daftar set soal yang pernah dikerjakan oleh pembelajar

(14)

Evaluasi

Evaluasi II



Mengukur



Mengukur

komprehensi



CRT / SPRT

(15)

Evaluasi

Evaluasi I cont.

I cont.

No Item Respon

1 True

2 False

3 True

4 True

Result > Upper Bound  Mastery

Result < Lower Bound  Non Mastery

4 True 5 True 6 True 7 False 8 True 9 False 10 True 11 True 12 True 13 True CRT: 13 True 14 True 15 True 16 True SPRT:

(16)

Evaluasi

Evaluasi IIII



Reading Speed

g p



Komprehensi

M t

L

l



Mastery Level

(17)

Evaluasi

Evaluasi II cont.

II cont.

Reading Speed Comprehension Mastery? Next Level Slow

( < 90 wpm)

Poor No Down

Average No Down

Good Undecided Same

Average (90-200 wpm)

Poor No Down

( p )

Average Undecided Same

Good Yes Up

Good Poor No Down

( > 200 wpm)

Average Yes Up

(18)

Stopping Condition

pp g



Kapan sebuah sesi uji



Kapan sebuah sesi uji

dihentikan



Hasil Sesi ditampilkan



Hasil Sesi disimpan



Digunakan untuk uji



Digunakan untuk uji

(19)

Stopping Condition cont.

pp g

No

Level

Reading Speed

Score

Mastery

1

3 161 96

50 No

1

3

161.96

50 No

2

181.92

73.33 Undecided

3

2

183.48

60 Undecided

Sesi Berakhir

LEVEL = 2

Reading Speed = 182.7 wpm (Average) Komprehensi = 66.665 (Fairly Good)

Group = Fairly Good Average Speed Reader Group = Fairly Good Average Speed Reader

(20)

Group

Group Pembelajar

pp

Pembelajar

jj

K t B K h i K t i

Kecepatan Baca Komprehensi Katagori Lambat

( < 90 wpm)

Kurang Poor slow reader

Cukup Fairly good slow reader

Baik Good slow reader

Cukup Kurang Poor average speed reader

Cukup (90-200 wpm)

Kurang Poor average speed reader

Cukup Fairly good average speed reader

ik d d d

Baik Good average speed reader

Baik

( > 200 wpm)

Kurang Poor fast reader

( p )

Cukup Fairly good fast reader

(21)

Modul

(22)

Item Facility

No Result Pass ? (S > 60)

• Proporsi peserta tes yang _{(Score > 60)}

1 90 Yes

• Proporsi peserta tes yang

berhasil mengerjakan suatu item

M b i b ₂ ₈₀ _Yes

3 80 Yes

4 70 Y

•Memberi gambaran tentang tingkat kesulitan soal

4 70 Yes 5 70 Yes 6 60 Y 6 60 Yes 7 60 Yes 8 55 No 8 55 No 9 50 No 10 40 No 10 40 No

(23)

Cut Score



Method 1: expert judgments

p

j g



Method 2: test performance

O

l

i

Di t ib ti

◦

Overlapping Distribution

◦

Percentage of Acceptable Performance

60 70 Cut Score 20 30 40 50 0 10 0 10 20 30 40 50 60 70 80 90 100 peserta

(24)

Cut Score cont

Cut Score cont.

Di

k

d l

CRT

N R lt

_

Digunakan dalam CRT

No Result 1 90 1 90 2 80 3 80 4 70 5 70 6 60 7 60 8 55 8 55 9 50 10 40 10 40

(25)

PP P

P

B

B Index

Index

PP

_M

, P

_NM

, B

, B--Index

Index



P = Probability of mastery with correct



P

_M

= Probability of mastery with correct

response



P

_NM

= Probability of non-mastery with correct

response

espo se

◦ Digunakan dalam SPRT



B-Index = P

_M

– P

_NM

S

(26)

PP P

P

B

B Index cont

Index cont

PP

_M

, P

_NM

, B

, B--Index cont.

Index cont.

No Result User’s Mastery ? Pass ? Level (Level >=3) (Score > 60)

1 90 5 Yes Yes 2 80 5 Yes Yes 3 80 4 Yes Yes 3 80 4 Yes Yes 4 70 3 Yes Yes 5 50 3 Yes No 6 70 2 No Yes 7 40 2 No No 8 50 1 No No 9 30 1 No No

(27)

Implementasi



JAVA



JAVA

◦

Desktop Based

◦

Multi Plattform



SQLite

S

l

◦

Serverless

◦

Free

(28)

Kesimpulan

 Penggunaan framework CAT sebagai alat uji menggantikan metodegg g j gg

pen and paper dapat mempersingkat waktu pelaksanaan tes, karena

dengan CAT, estimasi terhadap kemampuan seseorang mungkin dilakukan tanpa orang yang bersangkutan harus menyelesaikan jumlah maksimum set soal yang telah di setting

jumlah maksimum set soal yang telah di-setting.

 Penyelenggaraan tes menggunakan aplikasi CAT dapat lebih mudah

dilakukan, karena administrasi soal, pencatatan waktu, dan penilaian dapat dilakukan secara otomatis

dapat dilakukan secara otomatis.

 Dalam CAT, hasil yang didapatkan oleh seorang pembelajar

disimpan dan digunakan kembali sebagai parameter yang menentukan bagaimana pelaksanaan tes kali berikutnya.g p y

 CAT dapat digunakan untuk mengukur secara akurat kemampuan

pengguna dalam berbagai level dengan mudah.

 Pengembangan Bank Soal dapat dilakukan dengan lebih mudah, Pengembangan Bank Soal dapat dilakukan dengan lebih mudah,

karena adanya sistem feedback yang dapat memberikan masukan pada pengembang tentang karakteristik set soal yang telah dibuat.

(29)

Saran



Diperlukan suatu uji coba untuk mengetahui dengan tepat

p

j

g

p

seberapa baik aplikasi dapat memperkirakan kemampuan

seseorang dibanding dengan metode pen and paper yang

konvensional.



Diperlukan penelitian lebih lanjut tentang kemungkinan

penggunaan model CAT lain, seperti IRT (Item Response

Theory), CAST (Computer Adaptive Sequential Test), dan MST

y)

(

p

q

)

(Multi Stage Test).



Dapat ditambahkan sistem agar aplikasi dapat langsung

memberikan evaluasi dan masukan kepada pembelajar terkait

p

j

hasil yang ia dapat dalam pelaksanaan ujian.



Diperlukan perbaikan pada Content and Exposure Control

Procedure dengan penerapan algoritma-algoritma yang lebih

ocedu e e ga pe e apa a go t a a go t a ya g eb

baik pada proses seleksi set soal semisal Item Exposure Control

(30)

Terima

Terima Kasih

Kasih

Terima

(31)

Skenario

Skenario I (Min Level)

I (Min Level)

Skenario

Skenario I (Min Level)

I (Min Level)

No Level Reading Speed Score Mastery No Level Reading Speed Score Mastery

1 3 585.13 20 No

2 2 576 92 36 66 No

2 2 576.92 36.66 No

3 1 221.26 40 No

Sesi Berakhir

No Level Reading Speed PR Mastery

1 3 223.28 1.209 Undecided

2 3 158.73 0.0105 No

3 2 92.249 0.012 No

4 1 13355.74 0.003 No

(32)

Skenario

Skenario II (Max Level)

II (Max Level)

Skenario

Skenario II (Max Level)

II (Max Level)

No Level Reading Speed Score Mastery

1 3 289.47 90 Yes

2 4 274.92 80 Yes

3 5 268.26 60 Yes

Sesi Berakhir

1 3 174.81 42.39 Yes

2 4 153.41 42.39 Yes

3 5 141 26 42 39 Yes

3 5 141.26 42.39 Yes

(33)

Skenario

Skenario III (Undecided)

III (Undecided)

Skenario

Skenario III (Undecided)

III (Undecided)

No Level Reading Speed Score Mastery

1 3 161.96 50 No 2 2 181 92 73 33 U d id d 2 2 181.92 73.33 Undecided 3 2 183.48 60 Undecided Sesi Berakhir Sesi Berakhir

1 3 178 88 0 1129 Undecided

1 3 178.88 0.1129 Undecided

2 3 157.66 0.446 Undecided

Sesi Berakhir Sesi Berakhir