Simulasi Try Out dengan perhitungan Item Response Theory

(1)

Simulasi Try Out dengan perhitungan Item

Response Theory

Wisnu Subekti

April 22, 2018

1 Latar Belakang

Pada SBMPTN 2018, ada perubahan dari cara menghitung nilai peserta ujian. Biasanya, setiap soal bernilai 4 kalau dijawab benar, -1 kalau salah, dan 0 kalau kosong. Kali ini, sistem penilaiannya tidak seperti itu, namun menggunakan metode Item Response Theory, yang akan kita singkat menjadi

(2)

Dengan metode IRT, setiap soal memiliki bobot yang berbeda. Yang sulit, bobotnya tinggi. Yang mudah, bobotnya rendah. Tetapi bobot ini tidak ditentukan dari awal. Melainkan, dihitung dari seluruh jawaban pe-serta ujian. Contoh, jika banyak pepe-serta ujian yang tidak bisa menjawab soal tersebut dengan benar, maka soal tersebut termasuk soal yang sulit. Sebaliknya, jika banyak peserta ujian yang bisa menjawab, maka dianggap sebagai soal yang mudah.

Namun, perhitungan IRT ini sendiri lumayan kompleks. Metode ini lumayan fair karena setiap soal punya bobot yang berbeda, dan bisa mengu-rangi faktor hoki. Selain itu, dengan IRT, panitia juga jadi bisa melakukan evaluasi terhadap soal mereka buat. Karena panitia SBMPTN juga akan mendapatkan laporan bagaimana kualitas masing-masing soal dalam men-guji kemampuan peserta ujian.

Terlepas dari itu semua, buat peserta ujian, tentu ada satu pertanyaan yang perlu banget dijawab: Dengan metode IRT ini, bahaya ga sih kalau nembak?

Pada metode yang lama, kalau salah kan minus. Jadi, harus hati-hati. Tapi pada metode IRT yang baru ini gimana? Katanya tidak ada nilai minus. Kalau gitu boleh nembak dong? Nah, itulah sebabnya gue melakukan berba-gai simulasi Try Out dengan menggunakan metode IRT ini. Pada simulasi ini, akan dilakukan beberapa skenario; kalau ga nembak sama sekali, kalau nembak sisanya, kalau nembak sebagian, dan sebagainya. Tujuan simulasi ini adalah untuk menunjukkan ke elu, bagaimana dampak menembak pada soal yang dihitung dengan menggunakan IRT.

2 Metode Simulasi

2.1 Software yang dipakai

Gue pakai software Xcalibre 4.2. Software ini bisa diunduh di website resminya di sini:

http://www.assess.com/xcalibre/

Berhubung gue masih pakai yang free version, maksimum peserta ujian yang bisa dimasukkin cuma 50. Jumlah soal yang bisa dimasukkin juga maksimum 50 soal. Tapi segitu udah cukup sih untuk keperluan simulasi kita.

(3)

2.2 Cara mengambil data

Datanya gue ambil dari Try Out beneran yang kita adakan dengan anak-anak Zenius Club. Tinggal ambil seluruh jawaban dari 50 peserta try out tersebut terhadap 50 soal yang ada. Datanya seperti ini:

dst sampai student-50

Di situ lu bisa lihat bahwa mereka jawab ”A, B, C, D, atau E”. Kalau ”O”, itu artinya kosong atau ga menjawab.

Data siswa ini beserta kunci jawabannya gue masukin ke software Xcalibre barusan.

3 Berbagai Skenario Simulasi

3.1 Basic

Pertama, yang basic dulu. Ada 50 peserta ujian masing-masing menjawab 50 soal. Data jawaban mereka diambil dari actual try out yang biasa kia lakuin di Zenius Club.

Dengan meng-input data ini ke Xcalibre kita mendapatkan informasi ter-hadap soal yang mana aja yang mudah dan yang mana aja yang sulit. In-formasi ini terdapat di Parameter b di IRT. Ternyata kita mendapatkan:

1. 29 soal kita kategorikan sebagai soal yang mudah (b < 0). 2. 21 soal sisanya kita kategorikan sebagai soal yang sulit.

3.2 Skenario 1

Pada skenario 1, dilakukan hal berikut ini.

1. Student-01 pada basic diganti menjadi wilona-tes (ceritanya Kak Wilo mengambil tes ini)

(4)

3. Soal-soal yang sulit (b ≥ 0), tidak dijawab (tidak ditembak). Hasilnya:

1. Wilo mendapatkan score 0.2444 pada tes ini.

2. Wilo mendapatkan peringkat 20 pada tes ini (persentil ke 60). Komentar gue:

Not bad lah ya. Cuma jawab soal yang mudah dan nge-skip soal yang sulit, membuat Wilo duduk di peringkat 20 dan 50 peserta ujian.

3.3 Skenario 2

1. Wilo menjawab 29 soal yang mudah (b < 0) dengan benar. 2. Wilo nembak 1 soal dan salah

Hasilnya:

Nah, jelas kan bahwa menjawab salah itu mengurangi nilai. Meskipun panitia SBMPTN bilang, ”tidak ada nilai minus”, bukan berarti lu bisa nem-bak seenaknya. Nilai yang berkurang ini membuat peringkat Wilo berkurang juga. Pengurangan nilai ini akan bisa membuat lu ga diterima di SBMPTN idaman.

3.4 Skenario 3

1. Wilo menjawab 29 soal yang mudah (b < 0) dengan benar. 2. Wilo nembak 5 soal dan salah semua

Hasilnya:

(5)

Ini hanya untuk menekankan aja bahwa makin banyak menjawab soal dengan salah, maka nilainya pun berkurang makin banyak. Sekarang score-nya menjadi 0.2047. Pada simulasi ini, peringkatscore-nya ga berubah. Mungkin karena pesertanya cuma 50 orang. Kalau persertanya 800.000 orang kayak SBMPTN, gue jamin peringkatnya juga berubah sih kalau score-nya turun sesignifikan itu (dari 0.2444 menjadi 0.2047).

Okay, sampai sini kita tahu ya bahwa jawab salah itu juga mengurangi nilai. Tapi apakah ga boleh nembak sama sekali nih? Lanjut ke skenario berikutnya.

3.5 Skenario 4 dan 5

Pada skenario 4 dan 5, dilakukan hal berikut ini.

1. Wilo menjawab 29 soal yang mudah (b < 0) dengan benar. 2. Wilo nembak 5 soal

1 soal bener 4 soal salah

Pada skenario 4, soal yang dijawab bener adalah soal yang bobotnya tinggi. Pada skenario 5, soal yang dijawab bener adalah soal yang bobotnya rendah.

Hasilnya:

1. Wilo mendapatkan score 0.2716 pada skenario 4 dan 0.3847 pada ske-nario 5.

2. Wilo mendapatkan peringkat 20 pada skenario 4 dan 18 pada skenario 5.

Komentar gue:

Kalau lu nembak suatu soal yang pilihannya ABCDE, berapa peluang lu menjawab soal itu dengan benar? Pakai teori peluang, lu dapet 1:5, iya ga? Berarti 20% ya peluang lu menjawab soal dengan benar. Nah, sekarang, kalau lu menjawab 5 soal, frekuensi harapannya gimana? Berapa soal yang lu jawab bener? Yup

(6)

Berhubung ceritanya lu menembak 5 soal, berarti banyaknya kejadian adalah 5.

frekuensi harapan = 1

5× 5 = 1

Itulah sebabnya pada simulasi di atas, gue ambil sampel di mana Wilo menjawab 1 bener dan 4 salah. Karena frekuensi harapannya adalah segitu. Kebetulan pada simulasi kali ini, score-nya Wilo naik. Peringkatnya juga naik. Kalau begitu, nembak itu ga sepenuhnya useless sih.

Wah, kalau gitu, ga apa-apa dong gue tembak semua yang gue ga tahu jawabannya? Eh, tunggu dulu. Kita lanjut ke skenario berikutnya.

3.6 Skenario 6 dan 7

1. Wilo menjawab 29 soal yang mudah (b < 0) dengan benar. 2. Wilo nembak 21 soal sisanya asal-asalan

Pada skenario 6, gue nembak asal-asalan. Tapi kayaknya gue lagi hoki sehingga 7 dari tembakan gue itu bener. Tujuh dari 21 itu hoki karena frekuensi harapannya kan cuma 4,2.

Oleh karena itu gue membuat skenario 7, ketika jawaban benernya lebih deket dengan frekuensi harapannya, yaitu 4.

Hasilnya:

1. Wilo mendapatkan score 0.5852 pada skenario 6 dan 0.1079 pada ske-nario 7.

2. Wilo mendapatkan peringkat 11 pada skenario 6 dan 29 pada skenario 7.

Komentar gue:

Terus terang gue akan mengabaikan skenario 6 dalam simulasi ini (karena terlalu hoki). Skenario 7 menurut gue lebih masuk akal karena lebih dekat dengan frekuensi harapannya. Skenario 7 ini menunjukkan bahayanya nem-bak asal-asalan. Meskipun ga jauh dari frekuensi harapan (jawab 4 bener dari 21 soal), ternyata pengurangan poinnya signifikan banget. Lu turun dari peringkat 21 jadi peringkat 29.

Okay, nembak asal-asalan itu bahaya. Jadi ga boleh nembak sama sekali nih? Nah, kita jawab di skenario terakhir.

(7)

3.7 Skenario 8 dan 9

1. Wilo menjawab 29 soal yang mudah (b < 0) dengan benar. 2. Wilo nembak 4 soal

2 bener 2 salah

Skenario 8 dan 9 sebenernya sama aja. Tapi, ketika gue pertama kali melakukan ini di skenario 8, gue kaget karena hasilnya jauh di luar dugaan. Peringkat Wilo turun jauh sampai ke peringkat 39. Score-nya pun turun sampai jadi minus. Gue udah cek berkali-kali apakah ada kesalahan input data. Akhirnya nyerah dan gue memutuskan untuk mengulang simulasinya dari awal. Gue memutuskan untuk menghapus skenario 8 dari laporan akhir karena akan gue anggap sebagai data pencilan aja (outlier). (Masih ingat definisi pencilan di statistika? Kalau lupa, tonton lagi materi statistika di zenius.net ya).

So, kita bahas yang skenario 9 aja ya. Hasilnya:

Nembak asal-asalan tentu berbahaya. Tapi kan sering juga kita dihadap-kan sama soal yang kayaknya kita tahu jawabannya apa, tapi ragu-ragu men-jawabnya. Atau misalkan dari 5 pilihan jawaban, kita bisa mengeliminasi 3 sehingga ragu-ragunya cuma antara 2 pilihan aja, 50:50. Nah, skenario 9 ini dibuat untuk mensimulasikan kondisi tersebut. Dari 4 soal yang dijawab dengan kondisi tersebut, ceritanya ada 2 soal yang dijawab dengan benar.

Ternyata hasilnya menurut gue not bad lah. Score naik. Peringkat juga naik. So, kalau lu berada di kondisi seperti itu, gue menyarankan lu untuk tetap menjawab soal tersebut.

(8)

5 Kesimpulan

Jadi, boleh nembak ga?

Kalau nembaknya asal-asalan, menurut gue sih jangan, karena berpotensi mengurangi nilai. Tapi kalau lu lumayan ngerti soalnya, tapi ragu-ragunya cuma antara dua pilihan jawaban, menurut gue sih ga apa-apa untuk ditem-bak.

Simulasi Try Out dengan perhitungan Item Response Theory