PENYETARAAN (EQUATING) SKOR BIOLOGI SMA
BERDASARKAN HASIL UJIAN NASIONAL TAHUN 2010/2011
Rumondang Purwati
Peneliti di Pusat Penilaian Pendidikan, Kemdikbud E-mail: rumondangpurwati@yahoo.com
ABSTRACT
National Exam (UN) 2011 is arranged in some parallel packages that assessed on three time zones (Western, Middle, and Eastern). To compare the scores obtained on different test packages, a process of equating scores is needed, using anchor (linking) item. The difficulty level of linking items is used to determine the difficulty level of test packages to arrange the conversion table. The conversion scores are used to compare the student ability. The aims of this study are to identify the characteristics of items linking, to compare the difficulty of tests packages, to make the conversion table, and to compare the scores before and after the equating process. Equating process is using data from all students responses on national exam (UN) 2011 of Biology in SMA.The data analysis is using Winstep program to determine the characteristics of item linking and the equating process is using fixed item parameter calibration. The lowest item linking difficulty level is on Eastern zone and the highest is on Western zone. For the nonlinking items, the lowest item difficulty is on the Western zone and the highest is on the Eastern zone. After the scores conversion, the SMA Biology scores on Westerns zone is higher than the scores on Middle zone to obtain the same scores from 0 to 3.89 and above 4.49. In the Middle zone for scores 3.89 – 4.49, Middle scores is higher than Westerns scores. In all scores, Western scores is higher than Eastern scores. The average scores in all of provinces has increased after equating process. The lowest average score after equating is achieved by Nusa Tenggara Timur (6.39) and the highest is Bali (8.90).
Keywords: equating, difficulty level, linking, conversion, and national exam
ABSTRAK
Ujian Nasional (UN) 2011 disusun dalam beberapa paket tes yang paralel yang diujikan pada tiga zona waktu (Barat, Tengah, dan Timur). Agar skor antarpaket dapat dibandingkan, perlu dilakukan equating, yaitu proses penyetaraan paket tes dengan menggunakan soal-soal anchor (linking). Tingkat kesukaran soal-soal linking digunakan untuk menentukan tingkat kesukaran paket tes untuk membuat tabel konversi. Skor konversi dapat digunakan untuk membandingkan kemampuan siswa. Studi penyetaraan paket tes Biologi SMA pada UN 2011 bertujuan untuk mengidentifikasi karakteristik butir soal-soal linking antarpaket, membandingkan tingkat kesukaran paket-paket tes, membuat konversi skor, dan membandingkan rata-rata skor sebelum dan sesudah equating. Proses equating menggunakan data yang berasal dari semua jawaban siswa pada UN 2011 terhadap mata pelajaran Biologi SMA. Data tersebut dianalisis dengan menggunakan program winstep untuk mengetahui karakteristik soal lingking dan nonlinking dan selanjutnya dilakukan proses equating dengan menggunakan fixed item parameter calibration. Rata-rata tingkat kesukaran soal-soal linking Biologi terendah di zona Timur dan tertinggi di zona Barat. Soal-soal nonlinking Biologi memiliki tingkat kesukaran rata-rata terendah di zona Barat dan tertinggi di zona Timur. Setelah dikonversi, skor Biologi SMA zona Barat lebih tinggi daripada di zona Tengah untuk memperoleh nilai yang sama dari 0 hingga 3.89 dan di atas 4.49. Pada skor zona Tengah 3.89 – 4.49, skor zona Tengah lebih tinggi daripada skor Barat. Pada semua skor, skor Barat lebih tinggi daripada skor Timur. Di semua provinsi, skor rata-rata ujian nasional Biologi murni mengalami kenaikan setelah dikonversikan. Skor rata-rata setelah equating yang terendah dicapai oleh Nusa Tenggara Timur (6.39) dan yang tertinggi Bali (8.90).
PENDAHULUAN
Undang Undang Republik Indonesia nomor 20 tahun 2003 tentang Sistem Pendidikan Nasional bab XVI pasal 57 sampai dengan 59 tentang evaluasi menyatakan bahwa dalam rangka pengendalian mutu pendidikan secara nasional dilakukan evaluasi sebagai bentuk akuntabilitas penyelenggara pendidikan kepada pihak-pihak yang berkepentingan. Evaluasi pendidikan dilaksanakan oleh guru, sekolah, dan pemerintah. Evaluasi yang dilakukan pemerintah disebut Ujian Nasional (UN) yang berfungsi untuk mengukur sejauh mana program pendidikan telah tercapai sesuai dengan tuntutan kurikulum yang berlaku.
Soal-soal ujian nasional pada tahun 2011 disusun dalam beberapa paket yang berbeda yang diujikan di tiga zona waktu (Barat, Tengah, dan Timur. Semua paket tes UN ini disusun berdasarkan kisi-kisi yang sama untuk memperoleh paket-paket tes yang paralel dengan asumsi semua paket tes akan mengukur kompetensi yang sama.
Dengan demikian, setiap siswa yang memiliki kemampuan yang sama akan memperoleh skor atau nilai yang sama, walaupun menempuh paket tes yang berbeda.
Pada kenyataannya, selalu ditemukan perbedaan tingkat kesukaran pada beberapa paket tes yang dianggap paralel. Dengan adanya perbedaan tingkat kesukaran ini, akan dihasilkan skor yang berbeda dari dua orang siswa yang kemampuannya sama. Tes yang seperti ini tidak adil karena siswa yang menempuh tes yang lebih mudah akan diuntungkan, sedangkan siswa yang menempuh tes yang lebih sulit akan dirugikan.
Untuk mengatasi hal tersebut, perlu dilakukan penyetaraan hasil tes dari beberapa paket tes yang paralel. Dalam proses penyetaraan ini, hasil tes (skor) dari semua paket tes diskalakan ke dalam satu skala yang sama. Selain itu, skor dari suatu paket tes harus ditransformasi atau diubah ke dalam skala skor paket tes yang lain yang dijadikan paket tes referensi (acuan). Proses
transformasi skor ini disebut sebagai
equating (penyetaraan).
Salah satu cara yang dapat dilakukan pada proses penyetaraan paket tes ini adalah dengan menggunakan soal-soal yang sama persis yang diletakkan di semua paket tes. Soal-soal yang sama persis ini disebut sebagai soal anchor (linking). Diharapkan siswa-siswa yang memiliki kemampuan sama akan memperoleh skor yang sama ketika menjawab soal-soal linking ini. Perbedaan kemampuan siswa yang mengerjakan paket tes yang berbeda tercermin dari perbedaan kemampuan siswa-siswa tersebut dalam menjawab soal-soal anchor (linking). Perbedaan tingkat kesukaran paket tes akan diperkirakan berdasarkan perbedaan tingkat kesukaran soal-soal linking. Setelah itu, akan dihasilkan konversi skor untuk semua paket tes.
Dengan menggunakan tabel konversi skor, skor siswa yang mengerjakan paket tes paralel tertentu kemudian dikonversikan terhadap skor pada paket tes referensi. Skor hasil konversi inilah yang dapat digunakan
untuk membandingkan kemampuan siswa antarpaket tes.
Masalah yang ditemukan dari latar belakang di atas adalah (1) bagaimanakah karakteristik soal-soal anchor (linking) yang digunakan pada mata pelajaran Biologi SMA dalam UN 2011, (2) bagaimanakah perbandingan tingkat kesukaran paket-paket tes Biologi SMA dalam UN 2011, (3) bagaimanakah konversi skor menjawab benar (skor mentah) suatu paket tes Biologi SMA relatif terhadap skor mentah paket tes referensi, dan (4) bagaimanakah rata-rata nilai Biologi SMA di suatu wilayah setelah dilakukan konversi nilai?
Studi penyetaraan paket tes Biologi SMA pada UN 2011 bertujuan untuk: (1) mengidentifikasi karakteristik butir soal-soal
anchor (linking) antarpaket, (2)
membandingkan tingkat kesukaran paket-paket tes, (3) membuat konversi skor satu paket tes paralel terhadap skor paket tes referensi, (4) membandingkan rat-rata nilai di suatu wilayah sebelum dan sesudah dilakukan proses equating.
KAJIAN LITERATUR
Desain Tes dengan Soal Anchor (Linking)
Pada desain tes dengan soal anchor
(linking), paket tes yang berbeda (misalnya, paket tes A dan paket tes B) diberikan kepada kelompok peserta yang berbeda, katakanlah kelompok 1 dan kelompok 2. Untuk menyetarakan skor dari beberapa paket tes yang berbeda ini, digunakan soal yang sama persis. Soal-soal yang sama di beberapa paket tes yang berbeda disebut common items (soal
anchor-linking). Soal-soal linking
mempresentasikan spesifikasi tes secara keseluruhan. Hambleton, Swaminathan, dan Rogers (1991) menyatakan bahwa pada desain tes dengan soal anchor (linking) peserta tes tidak perlu mengerjakan semua paket tes yang dapat menyebabkan waktu terlalu panjang dan timbulnya efek lelah. Dengan desain ini, tidak perlu membentuk kelompok peserta tes yang ekivalen karena di dalam praktiknya sangat sulit. Desain tes dengan menggunakan soal linking
memungkinkan pengendalian jumlah serta frekuensi penggunaan butir soal.
Kalibrasi Butir Soal dengan Model Rasch
Model Rasch merupakan teori analisis modern yang membentuk pemodelan dari peluang seseorang menjawab benar suatu soal. Dalam model Rasch dikenal beberapa parameter, di antaranya tingkat kesukaran soal, daya pembeda soal, dan faktor menebak soal. Model Rasch dengan satu parameter hanya memperhitungkan tingkat kesukaran soal sebagai parameter pembeda fungsi probabilitas butir soal. Peluang seseorang dapat menjawab benar suatu soal bergantung kepada tingkat kesukaran soal dan kemampuan orang tersebut.
Hasil analisis dengan model Rasch berupa tabel konversi skor mentah ke kemampuan atau skor benar (true score) dalam skala -4 sampai +4. Dalam model Rasch semua peserta yang mendapatkan skor mentah sama maka estimasi skor benar (true score) akan sama. Artinya, jika jumlah soal yang dijawab benar sama, meskipun berasal dari nomor soal yang berbeda-beda, dianggap memiliki kemampuan (skor benar) sama.
Gambar 1 menunjukkan model Rasch tiga butir soal yang berbeda tingkat kesukarannya.
Gambar 1. Kurva karakteristik tiga butir soal yang berbeda tingkat kesukaran dengan model Rasch.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 -4 -3 -2 -1 0 1 2 3 4 theta scale prob a bi li ty c orr e c tl y a ns w e r
Saat melakukan kalibrasi dengan model Rasch akan dihasilkan karakteristik soal dalam bentuk klasik seperti proportion correct, item tes correlation (item discrimination), serta statistik pilihan jawaban. Namun, hasil utama dari model Rasch adalah measure butir soal atau disebut sebagai tingkat kesukaran soal
dalam skala -4 sampai +4. Pada model Rasch juga dihasilkan statistik item fit yang menunjukkan tingkat kecocokan data respon dengan model yang telah ditentukan. Statistik
item fit dapat membantu kita menelaah kembali soal atau mendeteksi kesalahan dalam proses kalibrasi.
Kalibrasi dengan Parameter Butir Soal Ditentukan
Salah satu metode penyetaraan adalah mengkalibrasi suatu paket tes dengan menentukan nilai parameter butir soal
anchor sama dengan nilai parameter butir soal anchor di paket tes referensi. Diasumsikan bahwa parameter butir soal-soal
anchor adalah konstan untuk semua paket tes.
Diagram Test Characteristic Curve (TCC) untuk menentukan konversi skor
Jika parameter butir soal telah diskalakan dalam skala yang sama melalui kalibrasi dengan parameter butir soal anchor ditentukan (fixed anchor item parameter calibration), selanjutnya dapat dilakukan proses equating. Jika equating yang digunakan adalah true score equating, prosedurnya akan sama tanpa memedulikan metode scaling yang digunakan. Langkah true score equating ini dilakukan hanya jika nilai theta tidak digunakan sebagai skor peserta tes.
Beberapa alasan nilai theta tidak digunakan sebagai skor siswa adalah 1) dengan menggunakan scoring pola, jumlah jawaban benar yang sama dapat menghasilkan nilai theta yang berbeda tergantung dari pola jawaban benarnya, hal ini sulit diterapkan pada tes yang bertujuan untuk penempatan, dan 2) untuk skor ekstrim (misal, skor yang sangat tinggi ataupun sangat rendah), kesalahan pengukuran seringkali menjadi lebih tinggi dibandingkan skor rentang tengah. Oleh karena itu, seringkali diperlukan tahapan equating true score.
Equating true score meliputi tiga proses: 1) TCC dari paket tes A diplot sehingga terbentuk kurva yang menghubungkan estimasi theta dengan jumlah skor benar, 2) TCC untuk paket tes B juga diplot pada skala yang sama dengan paket tes A, kemudian dibuat tabel konversi yang menggunakan nilai estimasi theta sebagai anchor antara paket tes A dan paket tes B, 3) untuk setiap skor pada paket tes B, dihitung skor paket tes A dengan mencocokkan nilai thetanya. Proses ini
terlihat mudah untuk dijelaskan, namun sulit untuk dilakukan dan memerlukan proses iterasi. Proses ini dijelaskan secara mendetail dalam Kolen dan Brennan (2004).
Gambar 2 menyajikan TCC (kurva karakteristik tes) untuk paket tes A dan B. Sementara itu, tabel 1 menyajikan tabel konversi true score (dan juga scaled score) yang dijelaskan oleh Kolen dan Brennan (2004).
Gambar 2. Kurva Karakteristik Tes untuk Paket A dan Paket B
Tabel 1. Tabel Konversi True Score dan
Scaled Score Paket
A Theta
Paket B (skala skor Paket
A yang dikonversikan) Skala Skor 0.0 0.9 1.8 2.7 3.7 4.6 5.6 6.5 7.5 8.5 9.5 10.6 11.7 12.8 14.0 -- -- -- -4.0 -2.3 -1.8 -1.4 -1.1 -0.8 -0.5 -0.2 0.2 0.6 1.2 -- 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 104 109 113 117 122 126 130 135 139 143 148 152 157 161 165
Pada prakteknya true score tidaklah benar-benar digunakan untuk mengubah skor, teori equating true score diaplikasikan untuk skor terobservasi. Namun demikian, Wingersky dan Lord (1984) melalui studi simulasi menemukan bahwa pada desain
equating NEAT akan diperoleh tabel konversi yang sama baik menggunakan true score
ataupun observed score. Bertentangan dengan temuan ini, Kolen (1981) dan Han, Kolen, serta Pohlmann (1997) menemukan bahwa pada desain kelompok random, terdapat perbedaan antara penggunaan
observed score dengan true score.
Kelebihan menggunakan true score equating adalah kemudahan dalam hal komputasi dibandingkan metode lainnya. Selain itu konversi skor tidak bergantung pada distribusi kemampuan peserta tes (salah satu sifat dari observed score equating). Kelemahan true score equating adalah dalam prakteknya, tidak ada true score dan jika menggunakan model 3-parameter, ekivalen
true score tidak diketahui untuk nilai di bawah total jumlah parameter-c serta untuk nilai sempurna.
Skor jawaban benar juga jarang digunakan pada kehidupan nyata. Biasanya dilakukan transformasi skor lanjutan sampai dihasilkan skor baru untuk pelaporan hasil tes. Transformasi ini merupakan scaling tahap
pasca equating yang mengonversi skor jawaban benar ke dalam skor skala baru.
Konversi Skor dan Penskalaan
Scaled scores lebih sering dilaporkan dibandingkan true score, hal ini terjadi untuk menghindari kebingungan publik akan cara menginterpretasi skor. Seringkali skor pelaporan diasosiakan sebagai persentase menjawab benar soal-soal dalam tes (misal, skala nilai 0-100). Dalam UN digunakan skala skor 0-10 yang juga merupakan konversi dari persentase menjawab benar soal relatif terhadap jumlah soal keseluruhan dalam setiap paket tes.
Namun dapat pula melakukan konversi
true score menjadi skor dalam skala baru dengan cara menetapkan nilai rata-rata dan standar deviasi dari skala yang baru yang akan digunakan untuk kepentingan pelaporan. Cara yang paling mudah melakukan konversi ini adalah transformasi linear.
Pada transformasi linear, skor mentah (A) ditransformasi menjadi scaled scores
dengan mengetahui nilai rata-rata dan standar deviasi dari skor mentah sampel peserta tes. Pada contoh ini, nilai rata-rata skor mentah adalah 10,5 dan standar deviasi 2,3. Kemudian harus ditentukan nilai rata-rata scaled score dan standar deviasinya. Jika nilainya ditetapkan sebagai 150 dan 10, persamaan berikut merumuskan transformasi
raw score menjadi scaled score, hasil transformasi dapat dilihat pada tabel 1.
METODE PENELITIAN
Data
Data berasaldari semua jawaban siswa pada UN 2011 terhadap mata pelajaran Biologi SMA. Pada mata pelajaran Biologi SMA jumlah soal yang diujikan sebanyak 40 soal. Paket tes Biologi di zona Barat adalah Paket 2, di zona Tengah Paket 5, dan di zona Timur Paket 4. Jumlah soal linking adalah 5 soal yang berada pada nomor 10, 17, 23, 28, dan 39.
Provinsi yang termasuk zona Barat: Sumatera Utara, Aceh, Sumatera Barat, Kepulauan Riau, Bangka Belitung, Bengkulu,
Jambi, Riau, DKI Jakarta, Jawa Tengah, Jawa Timur, DI Yogyakarta, Banten, Jawa Barat, Lampung, Kalimantan Tengah, Kalimantan Barat, Sumatera Selatan.
Provinsi yang termasuk zona Tengah: Gorontalo, Sulawesi Utara, Sulawesi Selatan, Sulawesi Tenggara, Kalimantan Timur, Bali, Sulawesi Barat, Kalimantan Selatan, Nusa Tenggara Barat, Nusa Tenggara Timur, Sulawesi Tengah.
Provinsi yang termasuk zona Timur: Maluku Utara, Maluku, Papua, Papua Barat, paket soal Luar negeri.
Teknik Analisis
Studi penyetaraan paket UN 2011 dilakukan dalam beberapa tahapan. Tahapan pertama adalah analisis butir soal dengan menggunakan software Rasch model, yaitu Winstep. Setelah parameter butir soal dari masing-masing tes diketahui, kemudian dianalisis statistik deskriptif masing-masing tes berdasarkan tipe linking atau nonlinking. Perbandingan karakter soal linking juga disajikan dalam bentuk scatter plot item parameter. Kemudian dilakukan proses
equating dengan menggunakan fixed item parameter calibration (kalibrasi dengan parameter butir soal linking telah ditentukan). Hasil kalibrasi kedua dijadikan acuan untuk membuat test characteristic curve (TCC) paket tes yang akan disetarakan.
Plot TCC paket yang akan disetarakan kemudian disandingkan dengan plot TCC paket referensi atau paket acuan. Berdasarkan hasil plot kedua paket tes tersebut dibuatlah tabel konversi dari raw score (skor mentah) suatu paket terhadap
raw score (skor mentah) paket tes lainnya. Tabel konversi raw score to raw score
kemudian dijadikan acuan untuk melakukan konversi skor Biologi peserta UN 2011 di zona Tengah dan zona Timur. Skor konversi kemudian diskalakan ke dalam skala nilai 0 sampai 10.
HASIL DAN BAHASAN
Perbandingan tingkat kesukaran soal-soal linking, soal-soal-soal-soal nonlinking, dan paket tes
Soal-soal linking sebanyak lima soal berada pada nomor-nomor soal yang sama di setiap zona. Karena kelima soal linking ini sama persis di semua zona, seharusnya siswa-siswa yang memiliki kemampuan sama di semua zona akan mendapatkan skor yang sama. Akan tetapi, pada kenyataannya setelah dilakukan analisis terhadap tingkat kesukaran soal-soal linking di setiap zona diperoleh hasil bahwa tingkat kesukaran soal-soal linking di setiap zona tidak sama. Banyak faktor yang mempengaruhi hal ini, misalnya kemampuan siswa yang berbeda dan pengadministrasian tes yang mungkin tidak standar.
Pada tabel 2 dapat dilihat bahwa rata-rata tingkat kesukaran soal-soal linking Biologi yang terendah adalah di zona Timur. Siswa-siswa di zona Timur memiliki kemampuan Biologi yang lebih tinggi dibandingkan dengan siswa-siswa di zona
Barat dan Tengah bila diukur dengan soal linking. Tingkat kesukaran rata-rata soal-soal linking Biologi yang tertinggi adalah di zona Barat. Hal ini menunjukkan bahwa kemampuan yang dimiliki oleh siswa-siswa di zona Barat lebih rendah dibandingkan dengan kemampuan Biologi siswa-siswa di zona Tengah dan Timur.
Tabel 2. Tingkat Kesukaran Soal-soal Biologi
Biologi Barat Tengah Timur
link Mean -.1140 -.1480 -.1880 Std. Dev .67263 .43026 .40776 non-link Mean .0163 .0214 .0271 Std. Dev .87731 .99067 .95859
Soal-soal nonlinking Biologi memiliki tingkat kesukaran rata-rata yang terendah di zona Barat dan yang tertinggi di zona Timur, namun perbedaannya tidak terlalu nyata. Soal-soal Biologi linking dan nonlinking memiliki tingkat kesukaran rata-rata sedang pada semua zona.
Gambar 3. Kurva Karakteristik Tes Biologi
Pada kurva karakteristik tes Biologi dapat dilihat bahwa kurva karakteristik tes pada masing-masing zona hampir berimpit yang berarti dengan kemampuan yang relatif sama akan diperoleh skor yang hampir sama di semua zona. Dikatakan hampir sama karena selisihnya hanya kecil.
Antara zona Barat dan Tengah, dari kemampuan -4.0 hingga -0.5 dan dari kemampuan -0.1 hingga 3.3 siswa-siswa di zona Barat memperoleh skor yang lebih tinggi daripada siswa-siswa di zona Tengah. Antara kemampuan -0.4 hingga -0.2, siswa-siswa di zona Barat dan Tengah memperoleh skor yang sama. Pada kemampuan di atas -3.4 siswa-siswa di zona Tengah memperoleh skor
Kemampuan siswa
Sko
yang sedikit lebih tinggi daripada siswa-siswa di zona Barat.
Pada kemampuan -4.0 hingga 2.0 siswa-siswa di zona Tengah memperoleh skor yang relatif lebih tinggi daripada skor yang diperoleh oleh siswa-siswa di zona Timur dengan kemampuan yang sama. Di atas kemampuan 2.0, siswa-siswa di zona Timur mendapatkan skor yang sedikit lebih tinggi daripada siswa-siswa di zona Tengah. Karena selisih skornya sangat kecil, dapat dikatakan bahwa pada kemampuan di atas 2.0, siswa-siswa di zona Tengah dan Timur memperoleh skor yang relatif sama, pada gambar terlihat kurva keduanya berimpit.
Antara zona Barat dan Timur, siswa-siswa di zona Barat memperoleh skor yang lebih tinggi daripada siswa-siswa di zona Timur pada kemampuan yang sama antara -4.0 hingga 3.4. Di atas kemampuan 3.4, siswa-siswa di zona Timur memperoleh skor yang sedikit lebih tinggi daripada siswa-siswa di zona Barat.
Identifikasi karakteristik soal-soal linking
Posisi soal-soal linking antarzona (Barat - Tengah dan Barat - Timur) digambarkan melalui scatter plot tingkat kesukaran pada masing-masing nomor soal linking.
Gambar 4. Scatter Plot Butir Soal Biologi SMA
Pada gambar scatter plot soal-soal linking Biologi tampak penyebaran soal-soal linking berada paling dekat dengan garis regresi pada zona antara Barat dan Tengah. Antara Barat-Timur dan Timur-Tengah, posisi soal-soal linking menyebar jauh dari garis regresi.
Berdasarkan tingkat kesukaran soal-soal linking, urutan nomor soal-soal-soal-soal linking
dari yang termudah hingga yang tersulit di zona Barat adalah 10 0.73), 17 0.7), 28 (-0.34), 39 (0.51), dan 23 (0.69). Di zona Tengah, urutan soal-soal linking berdasarkan tingkat kesukarannya dari yang termudah hingga yang tersulit adalah 10 0.59), 17 (-0.51),
28 (-0.19), 39 (0.11), dan 23 (0.44). Di zona Timur, urutan soal-soal linking berdasarkan tingkat kesukarannya dari yang termudah hingga yang tersulit adalah 17 (-0.8), 23 (-0.39), 28 (-0.04), 10 (0.09), dan 39 (0.2). Di zona Barat dan tengah, urutan nomor soal berdasarkan tingkat kesukarannya adalah sama.
Antara zona Barat dan Tengah, soal-soal linking nomor 10, 17, dan 28 memiliki tingkat kesukaran yang lebih rendah di zona Barat daripada di zona Tengah, sedangkan soal-soal linking nomor 23 dan 39 memiliki tingkat kesukaran yang lebih rendah di zona Tengah daripada di zona Barat. Perbedaan tingkat kesukaran soal-soal linking antara zona Barat dan zona Tengah yang tertinggi adalah 0.4 pada soal nomor 39 dan
perbedaan yang terendah sebesar 0.14 pada soal nomor 10.
Antara zona Tengah dan Timur, siswa-siswa di zona Tengah memiliki kemampuan Biologi yang lebih tinggi daripada siswa-siswa di zona Timur ketika menjawab soal-soal nomor 10, 28, dan 39, tetapi siswa-siswa di zona Tengah memiliki kemampuan yang lebih rendah daripada siswa-siswa di zona Timur ketika menjawab soal-soal linking nomor 17 dan 23. Perbedaan tingkat kesukaran soal-soal linking antara zona Tengah dan Timur yang tertinggi adalah 0.83 pada soal nomor 23 dan perbedaan tingkat kesukaran yang terendah adalah 0.15 pada soal nomor 28.
Antara zona Barat dan Timur, soal-soal linking nomor 10 dan 28 memiliki tingkat kesukaran yang lebih rendah pada zona Barat daripada zona Timur, sebaliknya soal-soal linking nomor 17, 23, dan 39 memiliki tingkat kesukaran yang lebih rendah di zona Timur daripada di zona Barat. Perbnedaan tingkat kesukaran soal-soal linking antara zona Barat dan Timur yang tertinggi adalah sebesar 1.08 pada soal nomor 23 dan yang terendah adalah sebesar 0.1 pada soal nomor 17.
Tabel Konversi
Berdasarkan hasil analisis terhadap soal-soal linking, skor siswa pada masing-masing zona diletakkan pada skala yang sama dengan referensi zona Barat dengan alasan jumlah provinsi yang terdapat di zona Barat paling banyak dibandingkan dengan jumlah provinsi di zona Tengah dan Timur. Apabila soal-soal linking lebih mudah di suatu zona, nilai siswa di zona tersebut akan lebih kecil daripada skor awal (skor mentah), tetapi bila soal-soal linking termasuk lebih sulit pada suatu zona nilai siswa akan lebih tinggi setelah dikonversikan. Pada uraian berikut akan digunakan istilah skor dan nilai. Skor adalah skor mentah yang diperoleh siswa dari jumlah jawaban benar. Secara umum, skor merupakan bilangan bulat, seperti 1, 2, 3, 4, dan seterusnya. Nilai adalah angka yang diperoleh siswa setelah skor dikonversikan atau diubah ke dalam skala yang digunakan. Pada penilaian ujian nasional digunakan skala 0 – 10 sehingga seorang siswa yang mempunyai skor 10 dari 40 soal secara konvensional akan memperoleh nilai 10/40 x 10 = 2.5.
Pada tabel konversi yang akan disajikan pada bagian berikut, skor merupakan skor dari seorang siswa di mana tabel konversi tersebut digunakan, misalnya tabel konversi untuk zona Tengah, berarti skor adalah jumlah jawaban benar seorang siswa di zona Tengah. Pada kolom kedua terdapat nilai dari seorang siswa dengan skor tersebut dan pada kolom ketiga tertulis skor Barat yang menunjukkan skor dari zona Barat yang setara dengan nilai pada zona yang dikonversi. Pada umumnya skor Barat tidak berupa bilangan bulat.
Jumlah soal yang terdapat pada paket tes Biologi adalah 40. Skor terendah adalah 0 dan skor tertinggi 40. Skala nilai yang digunakan adalah 0 – 10, yang berarti nilai terendah 0 dan nilai maksimal 10.
Pada tabel konversi Biologi zona Tengah terdapat skor untuk zona Tengah yang bergerak dari 0 hingga 40 (sesuai dengan jumlah soalnya). Siswa yang memperoleh skor 1 di zona Tengah akan memperoleh nilai 0.38. Nilai 0.38 ini setara atau sama dengan nilai yang akan diperoleh oleh seorang siswa di zona Barat dengan skor
1.50. Siswa yang memperoleh skor 2 di zona Tengah akan mendapat nilai 0.60 yang setara dengan skor 2.41 di zona Barat, dan seterusnya.
Untuk tabel konversi Biologi zona Tengah, skor Barat lebih tinggi daripada skor Tengah untuk memperoleh nilai yang sama dari 0 hingga 3.89 dan di atas 4.49. Pada nilai
zona Tengah 3.89 – 4.49, skor Tengah lebih tinggi daripada skor Barat.
Untuk tabel konversi Biologi zona Timur, pada semua nilai yang sama antara zona Barat dan zona Timur, skor Barat lebih tinggi daripada skor Timur.
Tabel 3. Tabel Konversi Biologi Zona Tengah dan Timur Skor Nilai_Tengah Skor_Barat Skor Nilai_Timur Skor_Barat
0 0.00 0.00 0 0.00 0.00 1 0.38 1.50 1 0.38 1.50 2 0.60 2.41 2 0.68 2.71 3 0.86 3.45 3 0.97 3.88 4 1.09 4.36 4 1.22 4.89 5 1.37 5.47 5 1.37 5.47 6 1.53 6.11 6 1.70 6.81 7 1.89 7.56 7 1.89 7.56 8 2.10 8.38 8 2.10 8.38 9 2.31 9.25 9 2.31 9.25 10 2.55 10.18 10 2.55 10.18 11 2.79 11.16 11 2.79 11.16 12 3.05 12.20 12 3.05 12.20 13 3.32 13.28 13 3.32 13.28 14 3.60 14.40 14 3.60 14.40 15 3.89 15.56 15 3.89 15.56 16 3.89 15.56 16 4.19 16.74
Skor Nilai_Tengah Skor_Barat Skor Nilai_Timur Skor_Barat 17 4.19 16.74 17 4.49 17.95 18 4.49 17.95 18 4.49 17.95 19 4.79 19.17 19 4.79 19.17 20 5.10 20.38 20 5.10 20.38 21 5.40 21.60 21 5.40 21.60 22 5.40 21.60 22 5.70 22.80 23 5.70 22.80 23 6.00 23.98 24 6.00 23.98 24 6.28 25.13 25 6.28 25.13 25 6.28 25.13 26 6.56 26.24 26 6.56 26.24 27 6.83 27.31 27 6.83 27.31 28 7.09 28.34 28 7.09 28.34 29 7.33 29.32 29 7.33 29.32 30 7.56 30.25 30 7.78 31.13 31 7.78 31.13 31 7.99 31.95 32 8.18 32.72 32 8.18 32.72 33 8.36 33.43 33 8.53 34.10 34 8.68 34.71 34 8.68 34.71 35 8.95 35.78 35 8.95 35.78 36 9.17 36.67 36 9.17 36.67 37 9.43 37.71 37 9.43 37.71 38 9.61 38.43 38 9.61 38.43 39 9.79 39.16 39 9.79 39.16 40 9.92 39.66 40 9.92 39.66
Perbandingan nilai Ujian Nasional murni dengan nilai ujian nasional setelah equating
Nilai siswa setelah disetarakan (diequating) dapat dibandingkan karena nilai tersebut berada pada skala yang sama. Misalnya, nilai 5.0 di zona Barat sama dengan nilai 5.0 di zona Tengah maupun Timur yang berarti siswa-siswa yang memperoleh nilai 5.0 di semua zona diasumsikan memiliki kemampuan yang sama. Pada bagian berikut akan dibandingkan nilai rata-rata Bilogi SMA yang dicapai oleh siswa-siswa di 15 provinsi, yaitu provinsi yang berada di zona Tengah dan zona Timur. Provinsi-provinsi yang berada di zona Barat tidak dimasukkan dalam perbandingan ini karena zona Barat merupakan zona referensi (acuan) sehingga nilai di zona tersebut tidak mengalami perubahan (tidak dilakukan equating).
Nilai hasil equating memiliki beberapa kemungkinan, yaitu naik, turun, atau tetap.
Hal ini dapat dilihat dari kurva karakteristik tes di masing-masing zona. Karena zona Barat sebagai referensi, kurva karakteristik tes dari setiap zona dibandingkan dengan zona Barat. Bila kurva karakteristik tes suatu zona berada di atas kurva zona Barat, berarti siswa-siswa di zona tersebut memperoleh skor lebih rendah daripada siswa-siswa di zona Barat dengan kemampuan yang sama. Dalam hal ini, skor siswa di zona tersebut akan naik mengikuti skor zona Barat apabila dilakukan konversi skor. Demikian juga sebaliknya, bila dibandingkan dengan zona Barat, kurva karakteristik tes dari zona tertentu berada di atas kurva karakteristik tes zona Barat yang berarti dengan kemampuan yang sama siswa-siswa pada zona tersebut memperoleh skor yang lebih tinggi daripada siswa-siswa di zona Barat. Dalam hal ini, setelah dilakukan proses konversi, skor siswa pada zona tersebut akan lebih rendah mengikuti skor siswa pada zona Barat.
Gambar 5. Perbandingan Nilai UN Murni dan Setelah Equating Biologi
Di semua provinsi, nilai rata-rata ujian nasional Biologi murni mengalami kenaikan setelah dikonversikan, walaupun kenaikannya relatif kecil antara 0.07 hingga 0.17. Kenaikan 0.07 terjadi di provinsi Nusa Tenggara Timur
dan kenaikan 0.17 terjadi di provinsi Papua Barat dan Papua. Provinsi yang mencapai nilai rata-rata ujian nasional setelah equating di atas 8 hanyalah Bali, yaitu 8.90 dan ini merupakan nilai tertinggi. Tidak ada provinsi
yang memperoleh nilai rata-rata di bawah 6. Nilai rata-rata setelah equating yang terendah dicapai oleh Nusa Tenggara Timur, yaitu 6.39.
Perbandingan nilai rata-rata ujian nasional di semua provinsi
Pada tabel 2 tercantum nilai rata-rata ujian nasional Biologi SMA sebelum dan
sesudah konversi (equating). Karena zona yang merupakan referensi adalah zona Barat, nilai rata-rata ujian nasional di provinsi-provinsi yang termasuk zona Barat tidak mengalami perubahan, nilai rata-rata sebelum dan setelah equating adalah sama. Bila nilai rata-rata di zona Barat mengalami perubahan, perubahan ini terjadi karena adanya pembulatan dan sangat kecil sehingga bisa diabaikan.
Tabel 4. Perbandingan nilai rata-rata ujian nasional Biologi SMA
NO PROPINSI PESERTA SEBELUM
EQUATING SETELAH EQUATING 1 Dki jakarta 22,556 7.38 7.41 2 Jawa barat 87,740 8.24 8.25 3 Jawa tengah 62,246 7.70 7.72 4 Di yogyakarta 8,441 6.84 6.86 5 Jawa timur 86,377 8.03 8.04 6 Aceh 32,577 7.29 7.32 7 Sumatera utara 62,331 8.21 8.23 8 Sumatera barat 17,694 6.68 6.71 9 Riau 17,770 8.31 8.32 10 Jambi 9,101 8.35 8.36 11 Sumatera selatan 24,905 7.81 7.83 12 Lampung 18,444 8.04 8.05
NO PROPINSI PESERTA SEBELUM EQUATING SETELAH EQUATING 13 Kalimantan barat 6,935 6.84 6.87 14 Kalimantan tengah 5,337 6.60 6.63 15 Kalimantan selatan 7,434 7.62 7.73 16 Kalimantan timur 8,921 7.03 7.11 17 Sulawesi utara 6,486 7.86 7.97 18 Sulawesi tengah 8,102 7.06 7.15 19 Sulawesi selatan 32,088 7.68 7.79 20 Sulawesi tenggara 10,647 7.46 7.56 21 Maluku 7,185 7.74 7.90 22 Bali 11,853 8.77 8.90
23 Nusa tenggara barat 14,661 7.40 7.50
24 Nusa tenggara timur 8,102 6.32 6.39
25 Papua 5,073 7.21 7.38 26 Bengkulu 5,708 8.30 8.31 27 Maluku utara 5,713 7.01 7.17 28 Bangka belitung 2,155 6.74 6.76 29 Gorontalo 2,556 7.77 7.89 30 Banten 21,958 7.19 7.21 31 Kepulauan riau 2,898 6.83 6.86 32 Sulawesi barat 2,805 7.57 7.68 33 Papua barat 2,142 7.49 7.66
Pada pelajaran Biologi, nilai rata-rata sebelum equating yang terendah diperoleh oleh NTT (6.32), Kalimantan Tengah (6.60), dan Sumatera Barat (6.68), sedangkan nilai rata-rata Biologi tertinggi dicapai oleh Riau (8.31), Jambi (8.35), dan Bali (8.77). Posisi provinsi berdasarkan nilai rata-rata setelah equating tidaklah berubah, namun nilai rata-rata Biologi NTT mengalami sedikit kenaikan menjadi 6.39 dan Bali pun mengalami kenaikan menjadi 8.90.
SIMPULAN DAN SARAN
Simpulan
Rata-rata tingkat kesukaran soal-soal linking Biologi terendah di zona Timur dan tertinggi di zona Barat. Soal-soal nonlinking Biologi memiliki tingkat kesukaran rata-rata terendah di zona Barat dan tertinggi di zona Timur. Soal-soal linking nomor 10, 17, dan 28 lebih mudah di zona Barat daripada di zona Tengah, nomor 23 dan 39 lebih mudah di zona Tengah daripada di zona Barat. Soal-soal linking nomor 10, 28, dan 39 lebih mudah di zona Tengah daripada di zona Timur, nomor
17 dan 23 lebih mudah di zona Timur daripada di zona Tengah. Soal-soal linking nomor 10 dan 28 lebih mudah di zona Barat daripada zona Timur, sebaliknya soal-soal linking nomor 17, 23, dan 39 lebih mudah di zona Timur daripada di zona Barat.
Untuk tabel konversi Biologi, skor Barat lebih tinggi daripada skor Tengah untuk memperoleh nilai yang sama dari 0 hingga 3.89 dan di atas 4.49. Pada nilai Tengah 3.89 – 4.49, skor Tengah lebih tinggi daripada skor Barat. Pada semua nilai, skor Barat lebih tinggi daripada skor Timur.
Di semua provinsi, nilai rata-rata ujian nasional Biologi murni mengalami kenaikan setelah dikonversikan. Nilai rata-rata setelah equating yang terendah dicapai oleh Nusa Tenggara Timur (6.39) dan yang tertinggi Bali (8.90).
Saran
1. Proses equating sebaiknya dilakukan pada ujian nasional sehingga diperoleh nilai yang setara di semua provinsi.
2. Melalui equating akan diperoleh tabel konversi. Sosialisasi penerapan tabel konversi perlu dilakukan oleh dinas pendidikan di seluruh provinsi sebelum pelaksanaan ujian nasional agar masyarakat mengerti perlunya penyetaraan skor dan mau menerimanya.
DAFTAR PUSTAKA
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (1999). Standards for educational and psychological testing.
Washington, DC: American Educational Research Association.
Brennan, R. L., & Kolen, M. J. (1987). Some practical issues in equating. Applied Psychological Measurement, 11(3), 279-290.
Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and Applications. Boston, MA: Kluwer-Nijhoff Publishing.
Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage.
Han, T., Kolen, M. J., & Pohlmann, J. (1997). A comparison among IRT true- and
observed score equating and traditional equipercentile equating. Applied
Measurement inEducation, 10, 105–121. Kolen, M. J., & Brennan, R. L. (2004). Test
equating, scaling and linking: Methods and practices. (2nd ed.). New York: Springer.
Lord, F. M. (1980). Practical applications item response theory. Hillsdale, NJ: Lawrence Erlbaum.
