Desain dan Implementasi Computerized Adaptive Test Berbasis Item Response Theory Pada LMS Moodle

Desain dan Implementasi

Computerized Adaptive Test

Berbasis Item Response Theory

Pada LMS Moodle

Dipresentasikan Pada

Seminar dan Sidang Tugas Akhir Juli 2011

Musthofa Fahmi

Dosen Pembimbing :

Prof. Ir. Abdullah Alkaff, M.Sc., PhD.

Yusuf Bilfaqih, S.T., M.T.

BAB

1

LATAR BELAKANG



Secara ide, adaptif tes lebih efektif, efisien, dan

optimal



Dikembangkannya

CAT

oleh

Puspendik

Kemendiknas, tapi tidak di share



Penelitian oleh Koyama dan Akiyama yang

menyimpulkan CAT berbasis IRT lebih efektif

dibandingkan tes konvensional

BAB

1

PERMASALAHAN



Aplikasi

Web

–

Based

Untuk

Penyelenggaraan CAT Berbasis IRT 3

Parameter



Integrasi Dengan LMS Moodle

BAB

1

TUJUAN



Modul CAT di LMS Moodle

BAB

1

METODOLOGI



Menggunakan metode Waterfall

BAB

1

MANFAAT



perangkat lunak penyelenggaraan CAT



alat pembelajaran IRT untuk bidang

psikometri



alternatif metode evaluasi suatu mata kuliah



pembuatan fitur CAT pada LMS Moodle



perangkat lunak pelengkap Share - ITS

BAB

2

PRINSIP KERJA CAT

BAB

2

KALIBRASI SOAL

[1]

Soal 1 Soal 2 Soal 3 Soal 4 Soal 5 Kemampu

an Siswa

Si A

1

1

1

1

1

1

Si B

0

1

1

1

1

0.8

Si C

0

0

1

1

1

0.6

Si D

0

0

0

1

1

0.4

Si E

0

0

0

0

1

0.2

Tingkat

kesulitan

soal

0.8

0.6

0.4

0.2

0

BAB

2

KALIBRASI SOAL

[2]

Soal 1 Soal 2 Soal 3 Soal 4 Soal 5 Kemampu

an Siswa

Si A

1

1

1

1

1

1

Si B

0

1

1

1

1

0.8

Si C

0

0

1

1

1

0.6

Si D

0

0

0

1

1

0.4

Si E

0

0

0

0

1

0.2

Tingkat

kesulita

n soal

0.8

0.6

0.4

0.2

0

Si F

0

1

0

1

1

0.6

BAB

2

ITEM CHARACTERISTIC CURVE

) (

1

1

)

1

(

)

(

_{a b}

e

c

c

P

_{ }









_



BAB

2

ABILITY ESTIMATION

Dimana :

Ѳ

_s

adalah kemampuan terestimasi dari kandidat pada iterasi ke – s

a

_i

adalah parameter discrimination dari item i, i = 1, 2, … N

u

_i

adalah jawaban yang didapatkan dari kandidat dengan ketentuan :

u

_i

= 1 ; untuk jawaban benar

u

_i

= 0 ; untuk jawaban salah

P

_i

(ѳs) adalah probabilitas kandidat menjawab benar item ke – i

Q

_i

ѳ

_s

= [1- P

_i

(ѳ

_s

)] adalah probabilitas kandidat menjawab salah item ke - i









  















_N i s i s i i N i s i i i s s

Q

P

a

P

u

a

1 1 1

)

(

)

(

)

(

2











BAB

2

STANDARD ERROR & IIF











N

i

i

P

Q

a

SE

1

2

)

(

)

(

/

1

)

(





































2

₂

2

1

)

)

(

(

)

(

)

(

)

(

c

c

P

P

Q

a

I

i

i

i

i









BAB

2

KRITERIA PEMBERHENTIAN



Variable length (standard error)



Fixed length (jumlah soal)



Time Limit



Gabungan

BAB

2

DIAGRAM ALIR

ya

Mulai dengan memberikan nilai inisial

kemampuan kandidat

Memilih dan menampilkan soal pertama

(diinisialisasi)

Mendapatkan respon dari kandidat

Evaluasi Respon, kemampuan kandidat dan

standar error

Stopping rule

terpenuhi ??

Memilih dan menampilkan

soal selanjutnya

Tes berhenti dan

menampilkan hasil

tidak

BAB

3

GAMBARAN UMUM MODUL CAT DI MOODLE

CAT

Team Builder Lesson Moodle Matakuliah SP 1 Matakuliah PIS Block Report

BAB

3

FUNGSI PRODUK



membuat tes adaptif



mengikuti tes adaptif



melihat hasil tes adaptif



mengolah respon dari siswa dengan

algoritma IRT

BAB

3

DATA CONTEXT DIAGRAM

CAT

SISWA*

GURU*

ADMIN*

SISWA*

GURU*

ADMIN*

JAWABAN STOPPING RULE PARAMETER IRT SOAL, SOLUSI, DAN

REKOMENDASI

KONTROL TERHADAP APLIKASI

HASIL TES, SOLUSI, DAN REKOMENDASI HISTOTY NILAI DAN

NILAI KELAS HISTORY TES NILAI KELAS

TAMPILAN KASTEMISASI APLIKASI

BAB

3

DESAIN PROSEDURAL

[1]

Kondisi Tes Adaptif

BELUM

DIBUKA

DIBUKA

DITUTUP

[QUIZ DIBUAT] [QUIZ DIBUAT] [TANGGAL QUIZ DIMULAI] [TANGGAL QUIZ DITUTUP]

BAB

3

DESAIN PROSEDURAL

[2]

Kondisi Attempt

ATTEMPT SEDANG BERJALAN SEGERA SETELAH ATTEMPT ATTEMPT DIAKHRI Kumpulkan Jawaban Dan Selesai 2 Menit Setelah Selesai Attempt Dimulai

BAB

3

DESAIN PROSEDURAL

[3]

Kondisi Pertanyaan

Y

SHOW

QUESTION RESPON _SAVED EVALUATED END ?? ATTEMPT STARTED CLOSED MANUALLY GRADED ADAPTIF MODE NON - ADAPTIF MODE

BAB

3

DESAIN ANTARMUKA

KLIK ME

1. PENDAHULUAN 2. KAJIAN _PUSTAKA 3. ANALISA & _DESAIN 4. IMPLEMENTASI _{& PENGUJIAN}

Latar Belakang

Permasalahan

Tujuan

Metodologi

Manfaat

Prinsip Kerja

Kalibrasi Soal

IRT

Kriteria Pemberhentian

Diagram Alir

Gambaran

Umum

Fungsi Produk

Antarmuka

Eksternal

Desain

Prosedural

Desain

Antarmuka

Modul CAT

Options CAT

Parameter IRT

Edit CAT

Proses CAT

Hasil CAT

Link menuju quiz dari bagian lain di Moodle View.php Menunjukkan informasi umum tentang quiz Index.php Mendaftar semua quiz yang ada pada suatu course

Startattempt.php

Menangani memulai suatu attempt atau melanjutkan sesi yang sebelumnya

Attempt.php

Menampilkan satu halaman pada siswa untuk

memasukkan jawaban

Processattempt.php

Menangani respon dari siswa atau menutup attempt

Summary.php

Menampilkan overview dari attempt yang saat ini

Review.php

Menampilkan hasil quiz yang baru saja diikuti siswa

Report.php

Menampilkan hasil quiz

Edit.php

Guru dapat mengedit pertanyaan pada suatu quiz Comment.php Memungkinkan guru memberikan manual grading _{Reviewquestion.php} Menampilkan hasil penilaian siswa pada suatu pertanyaan

Link normal, semua pengguna dapat mengakses Link submit/ pengumpulan

Link otomatis setelah proses dilakukan Link yang hanya bisa diakses guru dan admin

BAB

4

MODUL CAT DI MOODLE

BAB

4

TAMPILAN OPTIONS CAT

BAB

4

TAMPILAN PARAMETER CAT

BAB

4

TAMPILAN EDIT CAT

BAB

4

TAMPILAN PROSES CAT

Tampilan menjawab soal

BAB

4

TAMPILAN HASIL CAT

Tampilan report

KESIMPULAN



Aplikasi CAT dapat menjadi antarmuka

penyelenggaraan tes adaptif



kriteria pemberhentian tes mengkombinasikan

variabel length, fixed length, dan time limit



Nilai standar error dapat diatur



Bank soal yang dibuat dapat di backup / restore

ataupun di export / import baik ke matakuliah yang

lain maupun sistem epembelajaran yang lain