c. Menghitung sebaran pilihan jawaban dan reliabilitas soal.
3. Penerapan teori respon butir dengan menggunakan model IRT 1PL, IRT 2PL, dan IRT 3PL.
a. Pengujian asumsi model IRT
b. Menghitung parameter karakteristik butir soal (daya pembeda, tingkat kesukaran, dan peluang menebak) untuk setiap model,
c. Menghitung parameter kemampuan untuk setiap model,
d. Mencari model ICC yang sesuai dari setiap soal dalam setiap model, e. Mencari model yang paling sesuai
untuk menggambarkan setiap soal.
Software yang digunakan pada penelitian ini adalah Epidata 3.1, ITEMAN dan Bilog MG. Program Epidata 3.1 digunakan untuk menginput data. Program ITEMAN digunakan untuk analisis teori tes klasik. Program Bilog MG digunakan untuk menganalisis model IRT 1PL, IRT 2PL, dan IRT 3PL.
HASIL DAN PEMBAHASAN Eksplorasi Data
Nilai statistik skor mahasiswa dalam UAS TPB IPB mata kuliah Fisika dapat dilihat pada Tabel 2. Skor maksimum yang diperoleh peserta ujian adalah 34 soal, skor minimum peserta ujian adalah 4 soal, dan rata-rata peserta dapat menjawab soal dengan benar sebanyak 16 soal.
Tabel 2. Statistik skor mahasiswa UAS TPB IPB mata kuliah Fisika
Statistik Skor Nilai Mahasiswa
Rataan Skor 15,951
Standar Deviasi 4,911
Nilai Minimum 4
Nilai Maksimum 34
Median 16
Teori Uji Klasik
Beberapa aspek yang diperhatikan dalam teori uji klasik yaitu tingkat kesukaran butir, daya pembeda butir, penyebaran pilihan jawaban, dan reliabilitas skor tes. Tingkat kesukaran butir, daya pembeda butir, dan penyebaran pilihan jawaban setiap soal disajikan pada Lampiran 1. Tingkat kesukaran adalah proporsi peserta ujian menjawab benar butir-butir soal. Berdasarkan klasifikasi tingkat kesukaran soal dalam Nitko (1996), persentase soal tergolong sukar, sedang dan
mudah sebesar 28,7%; 60%; dan 11,4%. Soal yang sukar adalah soal nomor 2, 6, 7, 17, 24, 28, 29, 30, 33, dan 35. Soal-soal tersebut memiliki tingkat kesukaran di antara 0 - 0,3.
Artinya kurang dari 30% peserta tes yang dapat menjawab soal-soal tersebut dengan benar. Soal yang tergolong sedang adalah soal nomor 1, 3, 4, 9, 10, 11, 12, 13, 14, 15, 16, 18, 19, 20, 21, 22, 23, 25, 26, 27, dan 32. Soal yang tergolong sedang memiliki tingkat kesukaran di antara 0,31 - 0,70. Artinya hampir 31% sampai 70% peserta tes yang dapat menjawab soal-soal tersebut dengan benar. Soal yang tergolong mudah adalah 5, 8, 31, dan 34. Soal mudah adalah soal yang hampir semua peserta tes dapat menjawab tersebut dengan benar.
Daya pembeda soal dapat dihitung dengan nilai korelasi point biserial atau daya pembeda dengan mengambil data 25% dari atas dan 25% dari bawah. Nilai korelasi point biserial dan daya pembeda memiliki nilai korelasi yang tinggi, sehingga kedua indeks ini dapat dijadikan sebagai pembanding dalam menentukan tingkat pembeda soal. Persentase soal yang tergolong baik, cukup baik, perlu diperbaiki, dan soal yang belum bisa membedakan sebesar 17,1%; 37,1%; 25,7%;
dan 20%. Soal yang baik adalah 1, 3, 15, 19, 20, dan 31. Soal-soal tersebut memiliki daya pembeda lebih dari 0,4. Artinya soal-soal tersebut lebih banyak dijawab oleh peserta tes berkemampuan tinggi daripada peserta yang berkemampuan rendah. Soal yang cukup baik adalah 2, 4, 5, 11, 12, 13, 14, 16, 22, 23, 26, 32, dan 33. Soal yang perlu diperbaiki adalah soal nomor 6, 7, 8, 9, 18, 21, 24, 28, dan 34.
Soal yang belum dapat membedakan antara kedua kelompok adalah 10, 17, 25, 27, 29, 30, dan 35. Soal-soal ini adalah soal yang nilai daya pembedanya sangat kecil. Sehingga, antara peserta berkemampuan tinggi dan berkemampuan rendah tidak dapat dibedakan.
Berdasarkan sebaran pilihan jawaban yang disajikan pada Lampiran 1, setiap pilihan jawaban dipilih oleh peserta ujian sehingga dapat disimpulkan bahwa pilihan jawaban berfungsi sebagai pengecoh. Namun ada beberapa soal yang proporsi setiap pilihan jawaban hampir merata yaitu soal nomor 2, 6, 7, 9, 17, 22, 24, 28, 29, 30, 33, dan 35. Hal ini mengindikasikan adanya peluang menebak.
Reliabilitas skor tes dilihat menggunakan
koefisien alfa. Nilai koefisien alfa yang
diperoleh dari hasil ITEMAN sebesar 0,711
menunjukkan tingkat ketepatan dan
kekonsistenan peserta dalam menjawab soal
sudah cukup baik.
Asumsi-asumsi dalam M
Ada beberapa asumsi yang harus dipenuhi dalam model IRT yaitu unidi
kebebasan lokal. Salah satu cara yang digunakan untuk mengetahui asumsi unidimensional dapat dilihat dari analisis faktor. Analisis faktor yang digunakan dalam penelitian ini menggunakan matriks korelasi tetrachoric. Korelasi tetrachoric
untuk mendapatkan hubungan antar dari peubah-peubah biner atau peubah berskala dikotomik yaitu jika benar diberi nilai 1 dan jika salah diberi nilai 0
yang digunakan dalam analisis faktor adalah metode iterated principal axis
Gambar 2. Scree plot hasil analisis faktor Hasil analisis faktor dap
Gambar 2. Faktor pertama memiliki akar sebesar 5,097. Akar ciri pada faktor kedua sebesar 1,164. Faktor-faktor lainnya memiliki akar ciri kurang dari satu.
(1985), Hutten (1980) menaksir unidimensional berdasarkan
ciri pertama dan akar ciri kedua. Jika nilai perbandingan akar ciri tinggi mengindikasikan unidimensional. Berdasarkan hasil analisis faktor, perbandingan akar ciri
akar ciri kedua lebih cukup besar yaitu 4 ini sudah cukup menyatakan bahwa ada satu faktor yang dominan
unidimensional terpenuhi. Berdasarkan hasil analisis faktor, soal nomor 20, 31, 23, 32, 15, 19, 11, dan 21 memberikan nilai pembobot yang besar untuk faktor pertama.
Soal-soal tersebut merupakan soal
dapat diselesaikan, jika peserta tes memiliki daya ingat, kemampuan komputasi, dan ketelitian yang cukup baik.
ingat, kemampuan komputasi, dan ketelitian
A ka r ci ri
Jumlah faktor
sumsi dalam Model IRT si yang harus dipenuhi dalam model IRT yaitu unidimensional dan . Salah satu cara yang digunakan untuk mengetahui asumsi dapat dilihat dari analisis faktor. Analisis faktor yang digunakan dalam penelitian ini menggunakan matriks korelasi tetrachoric digunakan untuk mendapatkan hubungan antar peubah atau peubah yang tomik yaitu jika benar diberi nilai 1 dan jika salah diberi nilai 0. Metode yang digunakan dalam analisis faktor adalah
iterated principal axis.
analisis faktor Hasil analisis faktor dapat dilihat pada
rtama memiliki akar ciri pada faktor kedua or lainnya memiliki satu. Dalam Hattie (1985), Hutten (1980) menaksir asumsi pada rasio akar ciri pertama dan akar ciri kedua. Jika nilai perbandingan akar ciri tinggi mengindikasikan Berdasarkan hasil analisis ciri pertama dengan kedua lebih cukup besar yaitu 4. Hal kup menyatakan bahwa ada satu atau asumsi Berdasarkan hasil analisis faktor, soal nomor 20, 31, 23, 32, 15, dan 21 memberikan nilai faktor yang besar untuk faktor pertama.
rupakan soal-soal yang jika peserta tes memiliki puan komputasi, dan ketelitian yang cukup baik. Sehingga daya ingat, kemampuan komputasi, dan ketelitian
menjadi faktor yang dominan mengerjakan soal. Asumsi kedua kebebasan lokal ditunjukkan dengan tidak ada satupun soal yang memberikan petunjuk menjawab untuk soal yang lain.
Model Teori Respon Butir Satu Parameter Logistik (IRT 1PL)
Hasil pendugaan parameter karakteristik butir setiap soal ujian mata kuliah Fisika menggunakan model IRT 1PL (
menunjukkan bahwa soal-soal mata kuliah Fisika mempunyai nilai b yang cukup beragam. Pada model 1PL nilai a untuk setiap soalnya dianggap sama yaitu 0,345. Nilai b (tingkat kesukaran) berkisar di antara sampai 2,921.
Statistik nilai dugaan parameter kemampuan peserta ujian pada Tabel 3 menunjukkan rata-rata kemampuan peserta ujian sebesar 0,0083 dengan rentang nilai dari -3,0491 sampai 3,3110.
Tabel 3. Statistik parameter kemampuan peserta ujian mata kuliah Fisika pada model IRT 1PL
Nilai Statistik Kemampuan Peserta Ujian Rataan
Ragam Standar Deviasi Minimum Maksimum
Berdasarkan uji kesesuaian model dapat disajikan pada Lampiran 2
karakteristik butir pada Lampiran 3 menunjukkan sebesar 62,86% butir soal belum sesuai (belum dapat digambarkan oleh model) dan 37,14% butir soal yang (dapat digambarkan oleh model) butir soal berdasarkan Tabel 1
menjadi tiga yaitu soal yang baik, cukup baik, dan belum dapat digambarkan. soal
digolongkan tipe soal yang baik adalah soal nomor 9, 11, 16, 18, 21, 22, 24,
Soal-soal yang tergolong soal yang cukup baik adalah soal nomor 6, 7, 28, dan 35.
Sedangkan soal-soal yang belum dapat digambarkan adalah soal nomor 1, 2, 3,4 5, 8, 10, 12, 13, 14, 15, 17, 19, 20, 23, 25, 27, 29, 30, 31, 32 dan 33. Berdasarkan hasil analisis di atas, lebih dari 50% butir soal yang belum sesuai (tidak dapat digambarkan oleh model) sehingga model IRT 1PL belum dapat menggambarkan butir-butir soal ujian Fisika.
Jumlah faktor
menjadi faktor yang dominan dalam Asumsi kedua yaitu ditunjukkan dengan tidak ada satupun soal yang memberikan petunjuk
Model Teori Respon Butir Satu Parameter Logistik (IRT 1PL)
Hasil pendugaan parameter karakteristik butir setiap soal ujian mata kuliah Fisika model IRT 1PL (Lampiran 2)
soal mata kuliah Fisika mempunyai nilai b yang cukup beragam. Pada model 1PL nilai a untuk setiap dianggap sama yaitu 0,345. Nilai b antara -4,885 nilai dugaan parameter ada Tabel 3 rata kemampuan peserta ujian sebesar 0,0083 dengan rentang nilai dari
Statistik parameter kemampuan peserta ujian mata kuliah Fisika
Kemampuan Peserta Ujian 0,0083 1,0255 1,0127 -3,0491 3,3110 kesesuaian model yang pada Lampiran 2 dan kurva karakteristik butir pada Lampiran 3a 86% butir soal belum dapat digambarkan oleh butir soal yang sesuai (dapat digambarkan oleh model). Kriteria
Tabel 1 dibedakan yaitu soal yang baik, cukup baik, soal-soal yang aik adalah soal 9, 11, 16, 18, 21, 22, 24, 26 dan 34.
oal yang cukup soal nomor 6, 7, 28, dan 35.
belum dapat adalah soal nomor 1, 2, 3,4 5, 8, 10, 12, 13, 14, 15, 17, 19, 20, 23, 25, 27, 29, Berdasarkan hasil analisis dari 50% butir soal yang belum dapat digambarkan oleh model)
1PL belum dapat
butir soal ujian Fisika.
Model Teori Respon Butir Dua Parameter Logistik (IRT 2PL)
Hasil pendugaan parameter karakteristik soal untuk model IRT 2PL dapat dilihat pada Lampiran 2. Nilai a (daya beda) berkisar dari nilai 0,115 sampai dengan 0,804. Nilai b (tingkat kesukaran) berkisar dari nilai -3,188 sampai dengan 4,982. Statistik nilai dugaan parameter kemampuan peserta ujian (Tabel 4) menunjukkan nilai kemampuan tertinggi adalah 3,4897 dan kemampuan terendah adalah -3,1029.
Tabel 4. Statistik parameter kemampuan peserta ujian mata kuliah Fisika pada model IRT 2PL
Nilai Statistik Kemampuan Peserta Ujian
Rataan 0,0153
Ragam 1,0494
Standar Deviasi 1,0244
Minimum -3,1029
Maksimum 3,4897
Hasil kesesuaian model yang disajikan pada Lampiran 2 dan kurva karakteristik butir pada Lampiran 3b menunjukkan sebesar 25,71% butir soal yang belum sesuai dan 74,29% soal yang sesuai dengan model.
Persentase soal yang sesuai lebih banyak daripada soal yang tidak sesuai sehingga disimpulkan model IRT 2PL sudah cukup baik untuk menggambarkan butir-butir soal ujian Fisika. Hal ini menunjukkan parameter daya pembeda berpengaruh dalam model.
Berdasarkan Tabel 1, tipe soal dibedakan menjadi tiga yaitu soal yang baik, cukup baik, dan belum dapat digambarkan. Butir soal yang belum dapat digambarkan adalah butir soal nomor 1, 3, 11, 13, 15, 19, 20, 31, dan 33.
Soal yang cukup baik adalah 2, 5, 6, 7, 8, 9, 10, 12, 14, 16, 17, 18, 21, 22, 24, 25, 26, 27, 28, 29, 30, 34, dan 35. Tipe butir soal yang baik adalah nomor 4, 23 dan 32.
Model Teori Respon Butir Tiga Parameter Logistik (IRT 3PL)
Statistik dugaan parameter karakteristik butir dapat dilihat pada Lampiran 2. Nilai a (daya beda) berkisar di antara 0,346 sampai dengan 1,346. Nilai b (tingkat kesukaran) berada di antara -2,980 sampai dengan 3,186.
Sedangkan statistik nilai dugaan parameter kemampuan disajikan pada Tabel 5. Rataan kemampuan peserta ujian sebesar -0,0760 dengan kemampuan di antara -3,4655 sampai dengan 3,4339.
Tabel 5. Statistik parameter kemampuan peserta ujian mata kuliah Fisika pada model IRT 3PL
Nilai Statistik Kemampuan Peserta Ujian
Rataan -0,0760
Ragam 1,2501
Standar Deviasi 1,1181
Minimum -3,4655
Maksimum 3,4339
Berdasarkan Tabel 1, tipe soal dibedakan menjadi tiga yaitu soal yang baik, cukup baik, dan belum dapat digambarkan. Soal yang baik tersebut adalah 2, 4, 7, 12, 19, 23, 32, dan 33.
Soal yang cukup baik adalah 5, 6, 8, 9, 10, 11, 13, 16, 17, 18, 21, 22, 24, 25, 26, 27, 28, 29, 30, 34, dan 35. Butir soal yang belum dapat digambarkan adalah 1, 3, 14, 15, 20 dan 31.
Berdasarkan hasil uji kesesuaian model yang disajikan pada Lampiran 2 dan kurva karakteristik butir pada Lampiran 3c menunjukkan bahwa sebesar 17,14% butir soal belum dapat digambarkan dengan model dan 82,86% soal yang dapat digambarkan dengan model. Persentase soal yang sesuai lebih banyak daripada soal yang tidak sesuai sehingga disimpulkan model IRT 3PL sudah cukup baik untuk menggambarkan butir-butir soal ujian Fisika. Hal ini menunjukkan parameter daya pembeda dan peluang menebak berpengaruh dalam model. Nilai c (peluang menebak) berkisar antara nilai 0,073 sampai dengan 0,416. Soal yang memiliki peluang menebak yang lebih dari 0,2 adalah 9, 10, 11, 13, 16, 17, 18, 22, 25, 27, dan 29.
Peluang menebak tertinggi terdapat pada soal nomor 10 sebesar 0,416 (Gambar 3). Artinya untuk soal nomor 10 peserta ujian dengan kemampuan rendah dapat menebak jawaban benar dengan peluang 0,416.
Gambar 3. Kurva karakteristik butir 10 pada model IRT 3PL
0 0.2 0.4 0.6 0.8 1.0
-3 -2 -1 0 1 2 3
c
b
Ability
Probability
Item Characteristic Curv e: SOAL10
a = 0.923 b = 3.186 c = 0.416
Peluang menebak terendah terdapat pada soal nomor 20 sebesar 0,078 (Gambar 4).
Artinya untuk soal nomor 20 peserta ujian dengan kemampuan rendah dapat menebak jawaban benar dengan peluang 0,073. Soal nomor 20 adalah soal yang belum dapat digambarkan. Pada Gambar 4 tersebut dapat dilihat ada beberapa amatan yang diamati berada di luar selang kepercayaannya.
Gambar 4. Kurva karakteristik butir 20 pada model IRT 3PL
Perbandingan dan Pemilihan Model Berdasarkan hasil klasifikasi kriteria butir soal pada Tabel 6 menunjukkan terdapat beberapa soal yang belum dapat dimodelkan dengan baik. Nilai khi kuadrat empiris butir yang diperoleh pada model IRT 1PL, IRT 2PL, dan IRT 3PL lebih besar nilai khi kuadrat teoritis (nilai p < 0,05). Soal-soal tersebut berdasarkan model IRT 3PL adalah soal nomor 1, 3, 14, 15, 20 dan 31. Pada saat dimodelkan dengan model IRT 1PL dan IRT 2PL, soal-soal tersebut tidak menunjukkan kriteria yang lebih baik. Walaupun berdasarkan kriteria teori uji klasik memiliki nilai daya pembeda yang cukup baik.
Berdasarkan model IRT 3PL, butir soal yang baik adalah soal nomor 2, 4, 7, 12, 19, 23, 32, dan 33. Berdasarkan hasil teori uji klasik, beberapa soal tersebut adalah soal yang sukar. Soal-soal tersebut adalah soal yang belum dapat dimodelkan dengan baik pada model IRT 1PL. Namun, setelah dimodelkan dengan model IRT 3PL terdapat beberapa soal yang menjadi baik. Hal ini dapat menyimpulkan bahwa parameter daya pembeda dan peluang menebak berpengaruh terhadap model.
Soal yang cukup baik berdasarkan model IRT 3PL adalah adalah 5, 6, 8, 9, 10, 11, 13, 16, 17, 18, 21, 22, 24, 25, 26, 27, 28, 29, 30, 34 dan 35. Soal-soal tersebut merupakan soal yang setelah dimodelkan dengan IRT 1PL,
IRT 2PL, dan IRT 3PL belum menunjukkan kriteria yang lebih baik.
Tabel 6. Pengklasifikasian kriteria butir soal pada teori uji klasik dan teori respon butir
Butir Soal
Kriteria
Klasik Modern
TK DP IRT 1PL IRT
2PL IRT 3PL
1 Se B KB KB KB
2 Su CB KB CB B
3 Se B KB KB KB
4 Se CB KB B B
5 M CB KB CB CB
6 Su P CB CB CB
7 Su P CB CB B
8 M P KB CB CB
9 Se P B CB CB
10 Se BB KB CB CB
11 Se CB B KB CB
12 Se CB KB CB B
13 Se CB KB KB CB
14 Se CB KB CB KB
15 Se B KB KB KB
16 Se CB B CB CB
17 Su BB KB CB CB
18 Se P B CB CB
19 Se B KB KB B
20 Se B KB KB KB
21 Se P B CB CB
22 Se CB B CB CB
23 Se CB KB B B
24 Su P B CB CB
25 Se BB KB CB CB
26 Se CB B CB CB
27 Se BB KB CB CB
28 Su P CB CB CB
29 Su BB KB CB CB
30 Su BB KB CB CB
31 M B KB KB KB
32 Se CB KB B B
33 Su CB KB KB B
34 M P B CB CB
35 Su BB CB CB CB
0 0.2 0.4 0.6 0.8 1.0
-3 -2 -1 0 1 2 3
c
b
Ability
Probability
Item Characteristic Curv e: SOAL20
a = 0.713 b = -0.406 c = 0.073
