VALUE
Jurnal Evaluasi & Asesmen Pendidikan
Volume II/No.01/Juni/2013
Diterbitkan oleh:
Pusat Penilaian Pendidikan
Badan Penelitian dan Pengembangan
Kementerian Pendidikan dan Kebudayaan
©
VALUE
Jurnal Evaluasi & Asesmen Pendidikan
Terbit 2 edisi per tahun (Juni dan Desember)
ISSN: 2303-0070
Hak Cipta dilindungi undang-undang. Dilarang memperbanyak sebagian
atau keseluruhan dalam berbagai bentuk medium baik cetakan,
untuk menerbitkan hasil karya penelitian (original research), karya pengembangan, tinjauan kembali (review), dan ulasan topik khusus dalam bidang Evaluasi dan Asesmen Pendidikan. Kesempatan menulis terbuka untuk umum meliputi para peneliti dan perekayasa lembaga riset, pengajar perguruan tinggi maupun pekarya-tesis sarjana semua strata. Karya tulis harus ditulis sesuai pedoman penulisan yang tercantum dalam setiap edisi.
Dewan Pengurus
Penangung Jawab : Hari Setiadi, Ph.D.
Dewan Redaksi : Dr. Mahdiansyah, MA, Drs. Giri Sarana Hamiseno, Dra. Arniati, M.Psi, Drs. Safari, MA, APU, Drs. Witjaksono, MA, Drs. Rogers Pakpahan, M.Si, Dra. A. Hendriastuti, MA, Dra. Rahmah Zulaiha, MA. Mitra Bestari : Dr. Burhanuddin Tola, Jahja Umar, Ph.D, Bastari, Ph.D. Pemimpin Redaksi : Bagus Hary Prakoso, SE, MA
Tata Usaha : Susi Mahyudin, M.Pd, Sidik Pranyoto, S.Kom Sekretaris Redaksi : Drs. Didi Pujohadi, Wuri Rohayati, S.S.
Alamat Redaksi
Pusat Penilaian Pendidikan (PUSPENDIK), Badan Penelitian dan Pengembangan, Kementerian Pendidikan dan Kebudayaan (KEMDIKBUD), Jl. Gunung Sahari Raya no. 4, Jakarta Pusat, 10710 Tel. 62.21.3847537, 3847637, Fax. 3849451, E-mail: [email protected]
1. Redaksi menerima naskah berupa hasil penelitian, opini, wawasan, pandangan, kajian pustaka, berita, dan resensi buku dari peneliti, praktisi dan pemerhati di bidang evaluasi dan asesmen pendidikan.
2. Naskah dalam bentuk hard copy di kirim ke redaksi dan naskah soft copy dikirim melalui e-mail: [email protected] dan disertai dengan biodata lengkap penulis.
3. Ketentuan penulisan secara umum.
a. Naskah ditulis dalam bentuk esai dan belum pernah diterbitkan di media lain.
b. Naskah diketik dengan memperhatikan aturan penggunaan tanda baca dan ejaan, yang dimuat dalam pedoman ejaan bahasa Indonesia yang disempurnakan (EYD).
c. Naskah diketik dengan format MS-Word, Font Calibri ukuran 11, spasi 1 jumlah halaman minimum 7 dan maksimum 20, ukuran kertas A4.
4. Artikel hasil penelitian memuat judul, nama penulis, abstrak, kata kunci, dan isi. Isi artikel mempunyai struktur dan sistematika serta persentase jumlah halaman sebagai berikut : a. Penulis harus mencantumkan nama, instansi, dan email di bawah judul artikel. b. Artikel dalam bahasa Indonesia dan bahasa Inggris harus menuliskan abstrak dalam
bahasa Indonesia dan bahasa Inggris.
c. Pendahuluan meliputi latar belakang, perumusan masalah, dan tujuan penelitian (10%).
d. Kajian Literatur mencakup kajian teori dan hasil penelitian terdahulu yang relevan (15%).
e. Metode Penelitian yang berisi rancangan/model, sampel dan data, tempat dan waktu, teknik pengumpulan data, dan teknik analisis data (10%).
f. Hasil dan Bahasan (50%). g. Simpulan dan Saran (15%) h. Daftar Pustaka.
(Sistematika/struktur ini hanya sebagai pedoman umum, penulis dapat mengembangkannya sendiri asalkan sepadan dengan pedoman ini).
a. Pendahuluan meliputi latar belakang, perumusan masalah dan tujuan penulisan (10%). b. Kajian Literatur mencakup kajian teori dan hasil penelitian terdahulu yang relevan
(75%).
c. Simpulan dan Saran (20%) d. Daftar Pustaka
(Sistematika/struktur ini hanya sebagai pedoman umum, penulis dapat mengembangkannya sendiri asalkan sepadan dengan pedoman ini).
Artikel resensi buku selain menginformasikan bagian-bagian penting dan buku yang diresensi juga menunjukkan bahasan secara mendalam kelebihan dan kelemahan buku tersebut serta membandingkan teori/konsep yang ada dalam buku tersebut dengan teori/konsep dari sumber- sumber lain.
5. Daftar Pustaka disajikan mengikuti tata cara seperti contoh berikut dan diurutkan secara alfabetis dan kronologis.
Aiken, Lewis R. (1994). Psychological Testing and Assessment, (Eighth Edition). Boston: Allyn and Bacon.
Harding, J and Meldon-Smith, L. (2000). How to make observations & assessments (second edition). London: Hodder & Stoughton.
Volume II/No.01/Juni/2013
Halaman
Dewan Pengurus dan Alamat Redaksi ... iii Pedoman Penulisan Artikel ... iv Daftar Isi ... vi Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan
Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta ... 1 Rahmawati
Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 ... 14 Deni Hadiana
Penyetaraan (Equating) Skor Biologi SMA Berdasarkan Hasil Ujian Nasional
Tahun 2010/2011 ... 36 Rumondang Purwati
Computerized Adaptive Testing (CAT) Salah Satu Alternatif Pengganti Paper
Based Test (PBT) ... 60 Handaru Catu Bagus
Implementasi New Public Management Pada Lembaga Pengembangan Tes ... 75 Bagus Hary Prakoso
Pembelajaran Kooperatif NHT upaya Meningkatkan Hasil Belajar IPA Siswa
kelas VIII-I SMPN 228 Jakarta ... 90 Tri Suyani
Kemampuan Siswa Smp Dan Mts Dalam Menghitung Hasil Operasi Tambah, Kurang, Kali, Dan Bagi Pada Bilangan Bulat Berdasarkan Hasil Ujian Nasional
2010/2011 ... 109 Safari
Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi
Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi
Kemampuan Peserta
Rahmawati
E-mail: [email protected]
ABSTRACT
Items of National examination for primary schools consist of 25 percent national linking items and the remaining 75 percent provincial items. Those provincial items were not derived from calibrated item bank resulted on extremely difficult items after putting on the same scale with national linking items. A simulation study then conducted to investigate impact of outliers of difficulty item parameters on accuracy of ability estimation. Three conditions were manipulated: ability distribution, numbers of outliers item, distribution of outliers. The results show that outliers item affected the accuracy of ability estimation specially in skew ability distribution and assymmetrical distribution of those outlier items. The simulation overviewed that in operational test when items were constructed too easy or too difficult relative to national linking items, then the ability estimate might not be accurate. It is suggested to prepare provincial item bank so that the items for national examination will have been calibrated before operational used.
ABSTRAK
Soal-soal UN SD terdiri atas 75 persen soal-soal yang disusun di daerah. Soal-soal tersebut tidak berasal dari bank soal yang terkalibrasi. Pemetaan item parameter butir soal berdasar data operational test menunjukkan adanya soal-soal dengan tingkat kesukaran ekstrim. Studi simulasi dilakukan untuk mengetahui pengaruh soal dengan tingkat kesukaran ekstrim terhadap estimasi kemampuan peserta ujian. Tiga kondisi dimanipulasi: distribusi kemampuan peserta, jumlah soal dengan tingkat kesukaran ekstrim, serta sebaran soal-soal ekstrim. Hasil simulasi menunjukkan estimasi kemampuan peserta berpotensi bias jika diukur menggunakan soal-soal dengan tingkat kesukaran ekstrim terutama pada kondisi kemampuan peserta berdistribusi skew serta soal-soal yang tingkat kesukarannya ekstrim tersebar secara asimetris. Hasil simulasi memberi gambaran bahwa soal-soal yang disusun jauh lebih mudah ataupun lebih sukar relatif terhadap soal anchor nasional mempengaruhi akurasi hasil estimasi kemampuan peserta. Disarankan agar dibuat bank soal daerah yang terkalibrasi untuk memasok kebutuhan tes di tingkat daerah.
LATAR BELAKANG
Latar Belakang
Desain tes UN SD/MI memiliki kekhasan dibandingkan dengan UN di jenjang yang lain. Meskipun berdasarkan pada kisi-kisi dan indikator soal yang sama, 75% soal tes UN SD/MI adalah soal yang disusun di tingkat provinsi (BSNP, 2008). Soal-soal provinsi ini akan berbeda antara satu provinsi dengan provinsi lainnya. Sehingga dapat disimpulkan bahwa setiap provinsi menggunakan paket tes yang berbeda. Soal-soal provinsi disusun oleh tim penulis Soal-soal tingkat provinsi yang merupakan guru dari kabupaten/kota. Sebelum menyusun soal, tim penulis diwajibkan mengikuti pelatihan penulisan soal dari Pusat Penilaian Pendidikan (Puspendik). Sebagai pengontrol kualitas, soal-soal yang telah ditulis akan direview dari segi konten oleh tim pakar yang berasal dari perguruan tinggi dan direview dari segi konstruksi oleh tim Puspendik.
Sampai saat penelitian ini disusun, tidak ada mekanisme ujicoba paket tes (field test) sebelum main test. Akibat tidak adanya
proses ujicoba paket tes, maka tidak diketahui karakter statistik butir soal yang disusun di tingkat provinsi. Karakter statistik yang dimaksud adalah tingkat kesukaran serta daya beda soal. Hal ini berpotensi menimbulkan pencilan soal-soal setiap provinsi setelah tingkat kesulitannya dikalibrasi terhadap tingkat kesulitan soal-soal anchor nasional, karena tendensi penulis di daerah untuk membuat soal yang mudah.
Liu dan Zumbo (2007) menemukan bahwa soal-soal pencilan yang tersebar secara asimetris berdampak negatif terhadap reliabillitas skor tes. Jika soal-soal yang disusun di provinsi secara konsisten jauh lebih mudah atau jauh lebih sukar, maka berdasar hasil penelitian Liu dan Zumbo akan berpengaruh secara linear dengan standard error of measurement: semakin banyak soal pencilan, semakin besar kesalahan pengukuran. Jika pencilan tersebar secara simetris; sebagian lebih mudah dan sebagian lebih sukar; maka ketidaksimetrisan mengeliminir efek pencilan terhadap kesalahan estimasi. Oleh karena itu perlu dipetakan hasil kalibrasi soal–soal yang
disusun di provinsi: seberapa banyak yang tingkat kesukarannya ekstrim dan bagaimanakah sebaran soal-soal yang bersifat ekstrim tersebut. Hasil pemetaan ini tidak mampu menggambarkan akurasi hasil pengukuran, namun dapat menjadi overview kemampuan penulisan soal masing-masing provinsi. Oleh karena itu studi simulasi yang meneliti pengaruh soal pencilan terhadap akurasi estimasi kemampuan peserta perlu dilakukan untuk mengetahui seberapa bias hasil pengukuran jika digunakan alat ukur yang bersifat pencilan tingkat kesukarannya.
Rumusan Masalah
Berdasarkan latar belakang di atas, terdapat permasalahan sebagai berikut: a) Soal-soal UN SD/MI yang disusun di
provinsi tidak melalui proses kalibrasi sebelum pelaksanaan tes. Oleh karena itu perlu dikaji karakter psikometris dari butir-butir soal provinsi relatif terhadap butir-butir soal nasional.
b) Studi data empiris tidak mampu memberikan gambaran mengenai akurasi hasil estimasi. Oleh karena itu studi
simulasi perlu dilakukan untuk mengetahui sejauh mana pencilan tingkat kesukaran soal berpengaruh terhadap akurasi estimasi kemampuan peserta ujian.
Tujuan
a) Mengetahui karakter psikometris butir soal UN SD/MI yang di susun di provinsi setelah dikalibrasi dengan butir soal nasional
b) Mengetahui pengaruh pencilan tingkat kesukaran soal terhadap akurasi estimasi kemampuan peserta ujian berdasar hasil simulasi
Manfaat Penelitian
1) Penelitian ini diharapkan mampu memberi masukan kepada tim penulis soal di daerah untuk penulisan soal yang lebih baik dari perspektif psikometris
2) Penelitian ini diharapkan dapat memberikan rekomendasi kepada penanggung jawab pelaksanaan UN SD/MI mengenai mekanisme penyusunan tes yang lebih baik di masa mendatang.
KAJIAN LITERATUR
Akurasi estimasi kemampuan seorang yang menempuh tes sangat tergantung kepada kualitas tes sebagai alat ukur itu sendiri. Hambleton dan Rogers (1993) meneliti dampak dari buruknya kualitas psikometris butir soal pada konstruksi tes. Xing dan Hambleton (2004) menemukan bahwa buruknya kualitas butir soal menurunkan tingkat akurasi keputusan (decision accuracy) dan konsistensi keputusan (decision consistency) sebesar 4%. Artinya jika dikaitkan dengan konteks ujian nasional SMP dengan 400.000 peserta, maka terdapat sekitar 16.000 siswa SMP yang salah dalam kategorisasi kelulusan.
Tidak hanya butir soal yang harus berkualitas baik, bahkan cara pengolahan data respon juga memengaruhi akurasi estimasi kemampuan peserta. Wasis (2009) meneliti kualitas penskoran butir-butir soal di ujian seleksi masuk perguruan tinggi. Hasil penelitian menunjukkan bahwa model penskoran secara partial credit (soal politomus) lebih baik dibandingkan dengan
model yang digunakan saat ini berupa penskoran dikomotus. Lebih khusus lagi model penskoran partial credit yang menggunakan pembobotan berdasarkan kompleksitas penyelesaian soal, menunjukkan estimasi yang paling baik dibandingkan model penskoran politomus lainnya.
Sejumlah literature memberi kriteria soal yang baik. Berdasarkan teori tes klasik beberapa kriteria sebagai berikut: proportion correct antara 0,20 sampai 0,80; korelasi butir dengan skor total positif dan nilainya lebih atau sama dengan 0,30; jika soal berupa pilihan ganda setiap pilihan jawaban dipilih oleh minimal 20% responden; dan soal tidak dikosongkan oleh lebih dari 5% responden (Emslie dan Emslie, 2005).
Berdasarkan teori respon butir terdapat beberapa kriteria soal yang baik sebagai berikut: data response bersifat unidimensi dan local independence; data response cocok/fit terhadap model teoritis; paramater tingkat kesukaran berada pada rentang -3 sampai +3, parameter daya beda soal bernilai positif dengan nilai lebih besar
atau sama dengan 0,40; untuk soal jenis pilihan ganda parameter guessing antara 0 sampai 1/banyaknya jumlah pilihan jawaban; fungsi maksimum informasi tes minimal 7.
Namun kendala terbesar dalam studi yang membuktikan akurasi adalah tidak diketahuinya nilai true (nilai sebenarnya dari kemampuan seseorang). Sehingga dalam pembuktian studi akurasi perlu dilakukan pengandaian; jika nilai true kemampuan seseorang diketahui. Studi dengan pengandaian ini yang dikenal sebagai studi simulasi.
Salah satu cara yang dapat dijadikan solusi untuk melakukan studi akurasi berdasarkan IRT adalah dengan teknik Monte Carlo study (Harwell, Stone, Chi Hsu, Kirisci, 1996). Monte carlo study tepat dilakukan ketika kita ingin mengetahui akurasi hasil estimasi terhadap nilai true. Sudah umum terjadi bahwa kita tidak mengetahui atau memiliki informasi mengenai nilai true. Oleh karena itu Monte Carlo study menawarkan solusi untuk melakukan penelitian yang membangkitkan data dengan nilai true tertentu sesuai kondisi yang menajdi interest
peneliti. Namun karena data bangkitan tersebut bersifat probabilistic, maka perlu dilakukan replikasi data untuk setiap kondisi penelitian.
Masalah yang sering dihadapi dalam pembangkitan data adalah seberapa mirip data yang dibangkitkan dengan harapan kita. Dalam konteks IRT, apakah data yang dibangkitkan memenuhi asumsi unidimensi, apakah hasil estimasinya dekat dengan nilai yang ditetapkan sebelumnya, serta bagaimanakah stabilitas data bangkitan lintas replikasi. Han (2007) menjawab permasalahan bangkitan data ini dengan membuat aplikasi WinGen. WinGen memiliki kelebihan dimana interface aplikasi berbasis Windows yang lebih user friendly. Selain itu WinGen dapat membangkitkan data dari berbagai model IRT, berbagai jenis distribusi baik distrbusi butir soal maupun peserta, serta memiliki feature yang sangat mendukung Monte Carlo study seperti bangkitan file syntax yang compatible dengan software IRT.
METODE PENELITIAN
1. DataData yang digunakan dalam studi ini terdiri atas data empirik dan juga data simulasi. Data empirik adalah data UN SD/MI tahun 2010 dengan melakukan random sampling terhadap data simulasi. Setiap provinsi digunakan data dari paket tes utama dengan jumlah sampel minimal 10.000 setiap provinsi. Pada provinsi tertentu yang jumlah peserta UN SD/MI tidak jauh lebih besar dari 10.000 peserta, digunakan data populasi peserta paket utama provinsi tersebut.
Simulasi pengaruh soal pencilan dilakukan menggunakan model IRT 2 parameter logistik dengan bentuk soal dikotomus. Pada simulasi dibangkitkan data response 3000 peserta tes terhadap 40 butir soal. Nilai parameter a butir soal terdistribusi uniform dengan rentang 0.2-1.9. nilai ini merupakan nilai parameter a yang umum dijumpai pada data empirik UN SD/MI.
Beberapa variabel yang dimanipulasi dalam studi simulasi ini adalah:
a) Distribusi kemampuan peserta: Normal dan Skew negatif
b) Jumlah soal pencilan tingkat kesukaran: 0%, 10%, 20%, dan 30%
c) Sebaran soal pencilan: simetris dan asimetris
Secara total terdapat 14 kondisi. Di setiap kondisi dilakukan replikasi 25 kali.
Terdapat tiga kriteria yang digunakan untuk menentukan kondisi yang memberikan hasil estimasi kemampuan paling akurat: a) Root mean square error adalah akar
pangkat dua dari nilai rerata beda hasil estimasi dan nilai true yang telah dikuadratkan. Dirumuskan dengan:
Semakin kecil nilai RMSE, maka hasil estimasi akurat.
b) Bias, rerata selisih antara hasil estimasi dengan nilai true memiliki interpretasi makna yang sama dengan RMSE.
c) Korelasi antara hasil estimasi dengan nilai true. Korelasi tinggi menunjukkan bahwa hasil estimasi semakin akurat.
Studi simulasi menggunakan perangkat lunak WinGEN (Han, 2007).
2. Teknik Analisis
Analasis data empirik menggunakan model IRT 2 parameter logistik dengan software Parscale. Butir soal anchor diestimasi dahulu tingkat kesukarannya untuk semua provinsi secara concurrent. Sedangkan butir soal non anchor dikalibrasi dengan metode fixed item parameter calibration untuk masing-masing provinsi dan butir soal anchor parameternya dianggap fixed.
Sedangkan analisis data simulasi menggunakan software BILOG MG dengan model dua parameter logistik.
HASIL PENELITIAN DAN PEMBAHASAN
1) Hasil data empirikAnalisis data empirik memetakan soal-soal non anchor yang nilai tingkat kesukarannya lebih besar dari 3 atau kurang dari -3 setelah dikalibrasi terhadap butir soal anchor nasional. Item parameter butir soal anchor nasional diperoleh dengan cara concurrent calibration database nasional. Sedangkan item parameter butir soal non anchor diperoleh dengan cara fixed item parameter calibration database setiap provinsi. Hasil pemetaan jumlah soal non anchor pencilan disajikan pada tabel 1.
Tabel 1. Pemetaan jumlah butir soal non anchor bersifat pencilan
Pencilan Positif Negatif
Prov 01 2 0 2 Prov 02 1 1 0 Prov 03 0 0 0 Prov 04 5 0 5 Prov 05 1 1 0 Prov 06 3 0 3 Prov 07 0 0 0 Prov 08 2 0 2 Prov 09 1 0 1 Prov 10 11 10 1 Prov 11 0 0 0 Prov 12 3 1 2 Prov 13 5 0 5 Prov 14 0 0 0 Prov 15 1 0 1 Prov 16 1 0 1 Prov 17 0 0 0 Prov 18 3 3 0 Prov 19 0 0 0 Prov 20 1 1 0 Prov 21 1 1 0 Prov 22 1 1 0 Prov 23 0 0 0 Prov 24 1 0 1 Prov 25 1 0 1
Pencilan Positif Negatif
Prov 26 0 0 0 Prov 27 0 0 0 Prov 28 0 0 0 Prov 29 3 0 3 Prov 30 0 0 0 Prov 31 2 0 2 Prov 32 1 1 0 Prov 33 0 0 0
Terlihat dari tabel 1, sebelas dari 33 provinsi butir soal non anchor tidak terdeteksi memiliki pencilan tingkat kesukaran. Namun ada satu provinsi yang jumlah butir soal non anchor dengan pencilan berjumlah 11 soal, 10 diantaranya cenderung di sisi ekstrim sukar. Dua provinsi terdeteksi jumlah soal non anchor ekstrim 5 soal dengan karakter ekstrim mudah. Artinya sebagian besar dari 22 provinsi yang terdeteksi soal non anchornya bersifat pencilan, penyebaran soal non anchor pencilan tersebut tidak simetris.
Hasil studi simulasi
Tabel 2. Rerata Korelasi, RMSE, MAD, dan BIAS setiap kondisi
DIST_CODE outlier_code symmetric_code Corr. RMSE MAD BIAS normal 10% outlier asymmetric 0.931 0.362 0.287 -0.022
symmetric 0.931 0.361 0.287 -0.023 20% outlier asymmetric 0.928 0.370 0.293 -0.021 symmetric 0.927 0.371 0.294 -0.022 30% outlier asymmetric 0.927 0.372 0.295 -0.021 symmetric 0.927 0.372 0.296 -0.022
negative skew 10% outlier asymmetric 0.931 1.581 1.519 -1.519 symmetric 0.931 1.581 1.519 -1.519 20% outlier asymmetric 0.925 1.583 1.517 -1.517 symmetric 0.928 1.582 1.518 -1.518 30% outlier asymmetric 0.923 1.584 1.516 -1.516 symmetric 0.927 1.583 1.518 -1.518
Gambar 1. Plot Mean Korelasi antara Kondisi Bentuk Distribusi dan Jumlah Pencilan
Terlihat dari tabel 2 bahwa bias estimasi kemampuan terjadi terutama pada kondisi distribusi kemampuan peserta negatively skewed, penyebaran soal pencilan yang asimetris dan persentase jumlah pencilan yang besar.
Gambar 2. Plot Mean Bias antara Sebaran dan Jumlah Pencilan
Gambar 3. Plot Mean RMSE antara Bentuk Distribusi dan Jumlah Pencilan
Gambar 1, 2, dan 3 mengilustrasikan hasil pada tabel 1. Semakin besar persentase jumlah soal non anchor yang bersifat pencilan, maka bias semakin besar pula. Faktor utama bias menjadi besar terutama adalah bentuk distribusi yang tidak normal atau dalam hal ini negatively skewed. Namun pada gambar 4 yang menyajikan plot khusus kondisi distribusi normal saja, ternyata penyebaran soal non anchor yang tidak simetris disertai jumlah soal non anchor bermasalah yang besar potensi menimbulkan bias yang semakin besar pula.
Gambar 4. Plot Mean RMSE antara Sebaran dan Jumlah Pencilan Pada Distribusi Normal
SIMPULAN
1. Hasil studi data empirik menunjukkan bahwa terdapat butir soal non anchor yang tingkat kesukarannya bersifat pencilan pada 22 dari 33 provinsi. Satu provinsi sangat ekstrim dengan jumlah soal non anchor terdeteksi 11 soal. Dan sebagian besar provinsi penyebaran butir soal non anchor bermasalah tidak simetris.
2. Hasil studi simulasi menunjukkan bahwa soal dengan pencilan tingkat kesukaran akan menimbulkan bias dalam mengestimasi kemampuan peserta ujian, terutama jika kemampuan peserta ujian terdistribusi secara negatively skewed. Semakin banyak jumlah soal yang tingkat kesukarannya bersifat pencilan maka akurasi semakin rendah. Kesalahan estimasi kemampuan ini semakin besar teruatama jika soal-soal yang tingkat kesukarannya ekstrim berada di satu arah (asimetris): yaitu semua soal lebih mudah ataupun semua soal lebih sukar, dibandingkan jika sebaran soal-soal
tersebut simetris dan pangaruhnya saling menghilangkan.
DAFTAR PUSTAKA
BSNP, Kemdiknas (2008). Prosedur Operasional Standar UASBN 2008/2009.
Emsley, J.R. dan Emsley, G.R. (2005). Improving Classroom Multiple -Choice Tests: A Worked Example Using Statistical Criteria. Paper Department Psychology, Ryerson University
Toronto. Diunduh dari
http://www.ryerson.ca/content/dam/c cs/resources/trs/guide_to_results/Wor ked_Example_for_TRS.pdf
Han, K. (2007). WINGEN: Windows software that generates IRT parameter and item responses. Applied Psychological Measurement, 31, 457–459.
Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage.
Harwell, M., Stone, C.A., Hsu, T.C., & Kirisci, L. (1996). Monte Carlo studies in item response theory. Applied Psychological Measurement, volume 20.
Holland, P.W., & Dorans,N.J.(2006) Linking and Equating. Pada R.Brennan, Educational Measurement, 4th edition (hal 187-220). Wesport, CT: Praeger Publisher.
Kang & Petersen (2009). Linking Item Parameters to a base scale. ACT Research Report Series. ACT Incorporation, 2009
Kemdiknas (2008). Peraturan Menteri no 82 tahun 2008 tentang UASBN SD/MI/ SDLB
Liu,Y. & Zumbo, B.(2007) The Impact of Outliers on Cronbach's Coefficient Alpha Estimate of Reliability. Educational and Psychological Measurement. Volume 67 Number 4. Wasis (2009) Model Penskoran Partial Credit
Pada Penskoran Item Multiple False Bidang Fisika. Disertasi Universitas Negeri Yogyakarta. Universitas Negeri Yogyakarta, 2009.
KARAKTERISTIK SOAL UN KIMIA SMA TAHUN PELAJARAN 2008/2009
Deni Hadiana
Peneliti Muda pada Pusat Penilaian Pendidikan Email: ...
ABSTRACT
This study aimed to analyze characteristics of National Examination, Chemistry Subject Matter in High School, Academic Year 2008/2009. Analysis of the characteristics of items was done qualitatively by dissecting the three documents namely the Minister of National Education Annex No. 22 of 2006 on the Content Standards for Elementary and Secondary Education Unit-Competence Standard and Basic Competence high school Chemistry, Table of spesification of Chemistry test, test and proportion correct results Chemistry. Proportion correct data in this study is a secondary data obtained from the reports of the UN school year 2008/2009, published by the Center for Educational Assessment, Research and Development, Ministry of Education and Culture. The three documents are analyzed to find the relationship between the standard and basic competencies with table of spesification and Chemistry items. The result showed that the dissemination of information matters UN Chemistry is consistent or compatible with the pattern of the spread of basic competence in terms of topics and cognitive domains. Topics that are on the topic of chemistry consist of analytical chemistry, physical chemistry, inorganic chemistry, organic chemistry, theoretical chemistry, and biochemistry. Cognitive domains of chemistry include cognitive levels of understanding, application, and analysis. The material grade 12 is the most tested than material grade XI and X.
ABSTRAK
Penelitian ini bertujuan untuk menganalisis Karakteristik Soal Ujian Nasional (UN) Kimia SMA Tahun Pelajaran 2008/2009. Analisis karakteristik butir soal dilakukan secara kualitatif dengan membedah tiga dokumen yakni Lampiran Peraturan Menteri Pendidikan Nasional Nomor 22 Tahun 2006 tentang Standar Isi untuk Satuan Pendidikan Dasar dan Menengah -Standar Kompetensi dan Kompetensi Dasar Kimia SMA, kisi-kisi UN Kimia, Naskah dan Daya Serap hasil UN Kimia. Data daya serap pada penelitian ini merupakan data sekunder yang diperoleh dari laporan hasil UN SMA tahun 2008/2009 yang diterbitkan oleh Pusat Penilaian Pendidikan, Badan Penelitian dan Pengembangan, Kementerian Pendidikan dan Kebudayaan. Ketiga dokumen tersebut dianalisis sampai ditemukan hubungan antara standar kompetensi dan kompetensi dasar dengan kisi-kisi UN dan naskah UN Kimia. Dari hasil penelitian diperoleh informasi bahwa penyebaran soal-soal UN Kimia sudah konsisten atau sesuai dengan pola penyebaran kompetensi dasar dari segi topik dan tingkatan kognitif. Topik yang terdapat pada soal kimia teridiri dari topik kimia analitik, kimia fisika, kimia anorganik, kimia organik, kimia teori, dan biokimia. Tingkatan kognitif soal kimia mencakup tingkatan kognitif pemahaman, aplikasi, dan analisis. Materi kelas XII merupkan materi yang paling banyak diujikan pada soal UN kimia diikuti oleh materi kelas XI dan X.
PENDAHULUAN
Ujian Nasional adalah penilaian terhadap hasil belajar peserta didik untuk mengakhiri masa studinya pada satuan pendidikan dasar dan menengah, yang dilaksanakan secara nasional baik menyangkut penyelenggara, waktu pelaksanaan, materi soal, maupun kriteria kelulusannya. Sebelum tahun 2008 mata pelajaran yang di UN kan untuk tingkat SMA/MA adalah Bahasa Indonesia, Bahasa Ingris dan Matematika, sejak tahun 2008, mata pelajaran yang diujikan ditambah dengan mata pelajaran yang menjadi ciri khas masing-masing program studi bagi SMA/MA. Pada Program IPA ditambah dengan mata pelajaran biologi, fisika, dan kimia, pada Program IPS ditambah matematika, geografi, dan sosiologi, dan pada Program Bahasa ditambah matematika, sastra Indonesia, dan antropologi.
Hasil UN dapat menggambarkan pencapaian kompetensi peserta didik dalam menguasai materi pembelajaran baik pada tingkat satuan pendidikan, kabupaten/kota,
provinsi, dan nasional. Deskripsi kemampuan peserta didik dalam UN sangat penting untuk menentukan berbagai kebijakan peningkatan mutu pembelajaran. Adanya penambahan mata pelajaran yang diujikan dalam UN khususnya mata pelajaran kimia, mata penulis menganggap perlu melakukan studi analisis karateristik soal Kimia UN yang meliputi: standar kompetensi, kompetensi dasar, kisi-kisi dan soal yang diujikan secara nasional tahun pelajaran 2008/2009 dimana untuk pertama kalinya mata pelajaran tersebut diujikan.
Berdasarkan uraian di atas, pokok permasalahannya adalah: 1) Apakah soal yang diujikan dalam UN SMA tahun pelajaran 2008/2009 pada mata pelajaran kimia sudah sesuai dengan standar kompetensi dan kompetensi dasar yang ada terdapat pada standar UN. 2) Bagaimana penyebaran soal UN SMA tahun pelajaran 2008/2009 pada mata pelajaran kimia dari aspek topik, tingkatan kognitif, dan jenjang kelas?
Penelitian ini bertujuan untuk: 1) menganalisis soal UN SMA tahun pelajaran 2008/2009 pada mata pelajaran kimia
berdasarkan standar kompetensi dan kompetensi dasar Kimia; 2) mengidentifikasi penyebaran soal UN SMA tahun pelajaran 2008/2009 pada mata pelajaran kimia dari aspek kompetensi dasar, level kognitif, dan jenjang kelas.
KAJIAN LITERATUR
Menurut Furqon (2004), suatu kegiatan biasanya ditujukan untuk memenuhi fungsi dan mencapai tujuan tertentu. Fungsi utama yang diemban dapat berbeda antara kegiatan ujian yang satu dari kegiatan ujian lainnya, bergantung kepada tujuan ujian itu. Secara umum, fungsi-fungsi kegiatan ujian dalam dunia pendidikan dapat dikategorikan sebagai berikut.
a. Akuntabilitas publik (public accountability), yaitu bahwa ujian dalam pendidikan diharapkan mampu menyediakan dan memberikan informasi kepada masyarakat mengenai kemajuan dan prestasi yang dicapai sehubungan dengan manfaat dari setiap rupiah yang dibelanjakan dalam kegiatan pendidikan.
b. Pengendalian mutu (quality control) pendidikan. Sebagai pengendali mutu pendidikan, ujian diharapkan dapat menjadi instrumen untuk mengendalikan dan menjamin bahwa setiap keluaran (lulusan) pendidikan telah memenuhi kualifikasi, kompetensi, atau standar tertentu yang ditetapkan.
c. Motivator (pressure to achieve), yaitu bahwa evaluasi diharapkan menjadi instrumen untuk mendorong dan “memaksa” pengelola dan penyelenggara serta pelaksana (guru dan peserta didik) pendidikan untuk berusaha lebih keras dan sungguh-sungguh dalam mencapai hasil yang diharapkan.
d. Seleksi dan penempatan, yaitu bahwa hasil evaluasi pendidikan dapat dijadikan salah satu bahan pertimbangan untuk menerima atau menolak seorang pelamar, khususnya jika tempat yang tersedia lebih sedikit dari jumlah yang melamar. Selain itu, hasil evaluasi juga dapat dijadikan bahan pertimbangan dalam menentukan ke mana seorang dianjurkan untuk
melanjutkan pendidikannya atau terjun ke dunia kerja.
e. Diagnostik, yaitu bahwa evaluasi dapat memberikan umpan balik (feedback) kepada sistem tentang kekuatan dan kelemahannya, sehingga dapat ditentukan kegiatan tindak lanjut yang diperlukan. Fungsi ini sering juga dikaitkan dengan fungsi peningkatan mutu (quality improvement) karena balikan yang tepat dapat mendorong kegiatan dan program pendidikan untuk senantiasa melakukan peningkatan mutu layanan pendidikan dan keluaran yang dihasilkannya. Kegiatan evaluasi seperti ini dapat diselenggarakan dalam satuan kelas, satuan sekolah, satuan daerah, sampai satuan nasional.
Sementara Ki Supriyoko (2004) menyampaikan bahwa UN sebagai salah satu bentuk dari evaluasi sumatif yang diselenggarakan oleh Pemerintah untuk mengetahui pencapaian standar nasional pendidikan perlu memerhatikan beberapa prinsip penilaian yaitu harus dilaksanakan secara objektif, adil dan berlaku sama bagi
semua peserta (equity), serta memberikan insentif belajar bagi peserta didik yang dikenai ujian (teaching-learning incentive). Di samping itu, UN harus benar-benar mampu mengukur prestasi belajar peserta didik (student achievement effectiveness), artinya peserta didik yang prestasi belajarnya baik mendapat nilai yang baik dan peserta didik yang prestasi belajarnya buruk mendapat nilai yang buruk. UN sebagai salah satu kegiatan pengukuran memerlukan soal yang bermutu baik, karena baik-buruknya soal akan menentukan mutu data yang dihasilkan. Mutu data ini akan menentukan mutu rumusan hasil penilaian, dan selanjutnya akan menentukan mutu berbagai keputusan dan kebijakan kependidikan yang ditetapkan berdasarkan hasil penilaian itu.
Sesuai dengan Peraturan Menteri Pendidikan Nasional No. 77 Tahun 2008 tentang UN SMA Tahun Pelajaran 2008/2009 pada Pasal 6, dinyatakan bahwa mata pelajaran yang diujikan pada UN SMA Program IPA meliputi bahasa Indonesia, bahasa Inggris, matematika, fisika, kimia, dan biologi. Soal-soal UN disusun dan dirakit
berdasarkan kisi-kisi soal UN tahun pelajaran 2008/2009. Kisi-kisi soal UN disusun berdasarkan standar kompetensi lulusan (SKL) yang merupakan irisan (interseksi) dari pokok bahasan/sub pokok bahasan Kurikulum 1994, Standar Kompetensi dan Kompetensi Dasar (SKKD) pada Kurikulum 2004 dan Standar Isi. Soal-soal UN dikembangkan dan dikelola oleh Pusat Penilaian Pendidikan (Puspendik) Balitbang Depdiknas di bawah koordinasi Badan Standar Nasional Pendidikan (BSNP).
Butir-butir soal UN merupakan soal yang terstandar yang diambil dari Bank Soal nasional sesuai dengan kisi-kisi UN tahun pelajaran 2008/2009. Butir-butir soal tersebut dirakit manjadi paket-paket tes dengan memerhatikan kesetaraan tingkat
kesukaran soal, antar paket. Dari paket tes tersebut, kemudian soal-soal dirakit kembali menjadi Paket A dan Paket B. Dengan demikian, soal-soal yang diujikan dalam UN telah benar-benar dipersiapkan dengan matang dan tentunya soal-soal tersebut bermutu baik. Pada UN SMA Program IPA, jumlah soal yang diujikan pada mata pelajaran bahasa Indonesia dan bahasa Inggris adalah 50 butir, sedangkan untuk mata pelajaran matematika, fisika, kimia, dan biologi masing-masing 40 butir. Masing-masing paket tes tersebut harus diselesaikan dalam waktu 120 menit.
Kisi-kisi UN tahun pelajaran 2008/2009 untuk mata pelajaran Kimia dapat dilihat pada tabel 1 berikut.
Tabel 1. Kisi-kisi UN Tahun Pelajajaran 2008/2009 untuk Mata Pelajaran Kimia
SKL Kemampuan yang Diuji
1. Menganalisis
struktur atom, sistem periodik unsure dan ikatan kimia untuk menentukan sifat-sifat unsure dan senyawa.
1. Mendeskripsikan notasi unsur dan kaitannya dengan konfigurasi elektron serta jenis ikatan kimia yang dapat dihasilkannya
2. Memprediksi letak unsur dalam tabel periodic 3. Memprediksi jenis ikatan kimia/jenis interaksi
molekuler 2. Menerapkan hukum-hukum dasar
kimia untuk memecahkan masalah dalam perhitungan kimia.
4. Menyelesaikan perhitungan kimia yang berkaitan dengan hukum dasar kimia
5. Menganalisis persamaan reaksi kimia 3. Menjelaskan sifat-sifat larutan,
metode pengukuran dan terapannya
6. Menganalisis data daya hantar listrik beberapa larutan
7. Mendeskripsikan konsep pH larutan
8. Menghitung konsentrasi asam/basa pada proses titrasi asam basa
9. Menganalisis sifat larutan penyangga
10. Menghitung pH larutan garam yang terhidrolisis 11. Menyimpulkan terbentuknya endapan/larutan dari
data Ksp
12. Menyimpulkan sifat koligatif larutan berdasarkan data
13. Menganalisis diagram PT yang berkaitan dengan sifat koligatif larutan
14. Menyimpulkan penerapan sifat koloid di dalam kehidupan sehari-hari
15. Menyimpulkan penerapan konsep minyak bumi yang berkaitan dengan efisiensi BBM
SKL Kemampuan yang Diuji 4. Memahami senyawa organik, gugus
fungsi dan reaksinya, benzena dan turunannya, makromolekul serta lemak.
16. Mendeskripsikan senyawa turunan alkana
17. Mengidentifikasi senyawa benzena dan turunannya 18. Menganalisa data yang berhubungan dengan
polimer
19. Mendeskripsikan makromolekul
5. Menentukan perubahan energi dalam reaksi kimia, cara pengukuran dan perhitungan nya.
20. Menyimpulkan peristiwa eksoterm/endoterm pada peristiwa termokimia
21. Menentukan kalor reaksi
6. Memahami kinetika reaksi, kesetimbangan kimia, dan faktor-faktor yang memengaruhi nya, serta penerapannya dalam kehidupan sehari-hari dan industri.
22. Menghitung laju reaksi berdasarkan data eksperimen
23. Mendeskripsikan faktor-faktor yang mempengaruhi laju reaksi
24. Menganalisis pergeseran kesetimbangan 25. Menghitung harga Kc/Kp
7. Memahami reaksi oksidasi-reduksi dan sel elektrokimia serta
penerapannya dalam teknologi dan kehidupan sehari-hari.
26. Mendeskripsikan persamaan reaksi redoks 27. Mendeskripsikan diagram sel volta 28. Menerapkan hukum Faraday 29. Mendeskripsikan fenomena korosi 8. Memahami karakteristik unsur-unsur
penting, terdapatnya di alam, pembuatan dan kegunaanya.
30. Mendeskripsikan mineral suatu unsur
31. Mendeskripsikan sifat unsur golongan tertentu 32. Mendeskripsikan cara memperoleh unsur dan
kegunaannya
Pada tabel 1, tampak terdapat 8 SKL yang dikembangkan menjadi 32 kemampuan yang diuji berdasarkan kisi-kisi tersebut disusunlah 40 soal.
Soal-soal UN Kimia dikembangkan berdasarkan interseksi kurikulum 1994, kurikulum 2004, dan standar isi. Dengan demikian soal UN harus mampu mewakili kurikulum yang dijadikan acuan dalam pembelajaran. Selain itu, soal-soal UN yang cenderung mengukur aspek kognitif harus mampu mencerminkan seluruh domain kognitif. Menurut Badrun dkk (2009) tingkatan domain kognitif untuk kelompok mata pelajaran matematika dan ilmu pengetahuan alam termasuk kimia dibagi menjadi lima tingkatan (level) yaitu: memorize, perform procedure, communicate understanding, conjecture/generalize/prove, dan solve-non routine problems/make connection. Memorize merupakan level kognitif tingkat pertama yang mencakup level mengingat, diantaranya menyebutkan fakta-fakta, menyebutkan definisi-definsi, dan menyebutkan rumus-rumus. Pada tingkatan yang kedua, perform procedure sudah
meliputi kemampuan perhitungan, pengurutan angka, menampilkan grafik dari data yang ada. Pada tingkatan ketiga, communicate understanding peserta didik dituntut untuk menggunakan ide-ide dalam pemecahan masalah. Pada tingkatan keekpat, conjecture/generalize/prove peserta didik dituntut untuk dapat menentukan kebenaran dari suatu pola dan menganalisis data. Pada tingkatan kelima, solve-non routine problems/ make connection, peserta didik dituntut untuk bisa mengaplikasikan dan mengadaptasi permasalahan dan pemecahannya.
Nilai hasil UN merupakan konversi skor mentah hasil UN ke dalam skala nilai 0–10. Nilai UN menunjukkan seberapa besar nilai perolehan peserta didik untuk tiap mata pelajaran yang diujikan. Nilai UN juga mencerminkan daya serap peserta didik pada setiap mata pelajaran yang diujikan. Daya serap dapat didefinisikan sebagai seberapa besar/banyak persentase peserta didik yang dapat menjawab pertanyaan dalam tes, satu pertanyaan dicerminkan dalam satu indikator. Daya serap ini merupakan hasil
perhitungan dari jawaban siswa dari setiap kemampuan yang diujikan di setiap jenjang pendidikan. Daya serap dalam tulisan ini berarti kemampuan peserta dalam menjawab setiap butir soal yang dinyatakan dalam persentase.
METODE PENELITIAN
Penelitian ini menggunakan tiga dokumen meliputi Lampiran Peraturan Menteri Pendidikan Nasional Nomor Nomor 22 Tahun 2006 tentang Standar Isi untuk Satuan Pendidikan Dasar dan Menengah yaitu Standar Kompetisi Lulusan (SKL) mata pelajaran Kimia SMA, kisi-kisi UN Kimia, naskah dan Daya Serap hasil UN Kimia. Data daya serap pada penelitian ini merupakan data sekunder yang diperoleh dari laporan hasil UN SMA tahun 2008/2009 yang diterbitkan oleh Pusat Penilaian Pendidikan,
Badan Penelitian dan Pengembangan, Kementerian Pendidikan dan Kebudayaan. Ketiga dokumen tersebut dianalisis sampai ditemukan hubungan antara standar kompetensi dan kompetensi dasar dengan kisi-kisi UN dan naskah UN Kimia.
HASIL DAN PEMBAHASAN
SKL, Kemampuan yang diuji, dan IndikatorBerdasarkan hasil analisis SKL (standar kompetensi dan kompetensi dasar), kemampuan yang diuji dan soal UN Kimia dapat drumuskan indikator-indikator untuk setiap soalnya. Tabel 2 menggambarkan SKL, kemampuan yang diuji dan indikator soal yang diujikan dalan UN. Indikator soal mecerminkan kemampuan yang diukur dalam setiap butir soal berdasarkan soal yang diujikan, satu indikator soal menggambarkan satu butir soal.
Tabel 2. SKL, Kemampuan yang Diuji, dan Indikator
SKL Kemampuan yang Diuji Indikator Soal No
Soal Menganalisis struktur
atom, sistem periodik unsure dan ikatan kimia untuk
menentukan sifat-sifat unsure dan senyawa.
Mendeskripsikan notasi unsur dan kaitannya dengan konfigurasi elektron serta jenis ikatan kimia yang dapat dihasilkannya
1) Menentukan konfigurasi elektron unsur
1
2) Menentukan gambar konfigurasi elektron unsur
2
3) Menentukan rumus senyawa dan jenis ikatan
3
Memprediksi jenis ikatan kimia/jenis interaksi molekuler
4) Memprediksi jenis ikatan berdasarkan sifat fisik
4
Memprediksi letak unsur dalam tabel periodic
5) Memprediksi letak unsur dalam sistem periodik berdasarkan notasi unsur
5
Menerapkan hukum-hukum dasar kimia untuk memecahkan masalah dalam perhitungan kimia.
Menganalisis persamaan reaksi kimia
6) Menentukan nama senyawa berdasarkan persamaan reaksi
6
Menyelesaikan perhitungan kimia yang berkaitan dengan hukum dasar kimia
7) Menentukan perbandingan vol zat-zat berdasarkan persamaan reaksi
7
8) Menghitung massa/volume zat hasil reaksi 8 Menjelaskan sifat-sifat larutan, metode pengukuran dan terapannya
Menganalisis data daya hantar listrik beberapa larutan
9) Menentukan sifat elektrolit/ nonelektrolit berdasarkan data
9
Mendeskripsikan konsep pH larutan
10) Memperkirakan harga pH berdasarkan data indikator
10
Menghitung konsentrasi asam/basa pada proses titrasi asam basa
11) Menghitung konsentrasi variabel dalam titrasi
SKL Kemampuan yang Diuji Indikator Soal No Soal Menganalisis sifat larutan
penyangga
12) Memilih larutan penyangga berdasarkan data sifat larutan
12
Menghitung pH larutan garam yang terhidrolisis
13) Menghitung pH garam yang terhidrolisis berdasarkan data
13
Menyimpulkan terbentuknya endapan/larutan dari data Ksp
14) Memprediksi campuran yang menghasilkan endapan atau larutan berdasarkan data reaksi dan Ksp
14
Menyimpulkan sifat koligatif larutan berdasarkan data
15) Manganalisis tekanan osmotik larutan berdasarkan data
15
Menganalisis diagram PT yang berkaitan dengan sifat koligatif larutan
16) Menganalisis variabel sifat koligatif larutan berdasarkan diagram PT
16
Menyimpulkan penerapan sifat koloid di dalam kehidupan sehari-hari
17) Memilih contoh penerapan sifat koloid
17
Menyimpulkan penerapan konsep minyak bumi yang berkaitan dengan efisiensi BBM
18) Menentukan bilangan oktan suatu bahan bakar
18
Memahami senyawa organik, gugus fungsi dan reaksinya, benzena dan turunannya, makromolekul serta lemak.
Mendeskripsikan senyawa turunan alkana
19) Menentukan rumus struktur/ gugus fungsi senyawa alkana/ turunan alkana
19
20) Menentukan jenis reaksi pada senyawa alkana/turunan alkana
20
21) Memilih nama/rumus struktur yang berisomer dengan salah satu senyawa
SKL Kemampuan yang Diuji Indikator Soal No Soal Mengidentifikasi senyawa
benzena dan turunannya
22) Memilih kegunaan benzene/ turunan benzene berdasarkan nama/rumus struktur
22
Menganalisa data yang berhubungan dengan polimer
23) Menganalisis hubungan data tentang polimer, monomer, dan jenisnya
23
Mendeskripsikan makromolekul
24) Menentukan sifat-sifat polimer berdasarkan data
24
25) Menganalisis kandungan zat berdasarkan uji makromolekul
25
Menentukan perubahan energi dalam reaksi kimia, cara pengukuran dan perhitungannya.
Menyimpulkan peristiwa eksoterm/endoterm pada peristiwa termokimia
26) Menganalisis data yang terkait dengan reaksi eksoterm/ endoterm
26
Menentukan kalor reaksi 27) Menghitung variabel kalor reaksi berdasarkan ilustrasi proses
27
28) Menghitung kalor reaksi berdasarkan persamaan reaksi dan energi ikat
28
Memahami kinetika reaksi, kesetimbangan kimia, dan faktor-faktor yang memengaruhinya, serta penerapannya dalam kehidupan sehari-hari dan industri.
Menghitung laju reaksi berdasarkan data eksperimen
29) Menghitung laju reaksi berdasarkan data dan persamaan reaksi
29
Mendeskripsikan faktor-faktor yang mempengaruhi laju reaksi
30) Menganalisis gambar yang berhubungan dengan faktor penentu laju reaksi
30
Menganalisis pergeseran kesetimbangan
31) Menganalisis gambar yang berhubungan degan pergeseran kesetimbangan sesaat
SKL Kemampuan yang Diuji Indikator Soal No Soal Menghitung harga Kc/Kp 32) Menghitung harga Kc/Kp dari
reaksi
32
Memahami reaksi oksidasi-reduksi dan sel elektrokimia serta penerapannya dalam teknologi dan kehidupan sehari-hari. Mendeskripsikan persamaan reaksi redoks 33) Menyetarakan persamaan reaksi redoks 33
Mendeskripsikan diagram sel volta
34) Menentukan diagram sel berdasarkan gambar sel volta
34
Menerapkan hukum Faraday 35) Menerapkan hukum faraday berdasarkan data
35
Mendeskripsikan fenomena korosi
36) Memilih metode pencegahan korosi 36 Memahami karakteristik unsur-unsur penting, terdapatnya di alam, pembuatan dan kegunaanya. Mendeskripsikan mineral suatu unsur
37) Menentukan pasangan data berhubungan dengan unsur dan mineral
37
Mendeskripsikan sifat unsur golongan tertentu
38) Menentukan sifat-safat unsur golongan tertentu
38
Mendeskripsikan cara memperoleh unsur dan kegunaannya
39) Menentukan nama proses pembuatan unsur
39
40) Menentukan kegunaan unsur/senyawa tertentu
40
Tabel di atas memperlihatkan bahwa materi yang tergambar dalam soal UN Kimia telah mencerminkan ruang lingkup mata pelajaran kimia yang tertuang dalam standar kompetensi dan kompetensi dasar (SKKD)
yang bersumber Lampiran Peraturan Menteri Pendidikan Nasional Nomor 22 Tahun 2006 tentang Standar Isi. Hubungan antara SKL UN dan Standar Kompetensi dalam Standar Isi Kimia SMA dapat dilihat pada Tabel 3.
Tabel 3. SKL dan Standar Kompetensi Kimia
SKL UN Standar Kompetensi Kelas/
Semester Menganalisis struktur atom, sistem
periodik unsure dan ikatan kimia untuk menentukan sifat-sifat unsure dan senyawa.
Memahami struktur atom, sifat-sifat periodik unsur, dan ikatan kimia
X/1
Memahami struktur atom untuk meramalkan sifat-sifat periodik unsur, struktur molekul, dan sifat sifat senyawa
XI/1
Menerapkan hukum-hukum dasar kimia untuk memecahkan masalah dalam perhitungan kimia.
Memahami hukum-hukum dasar kimia dan penerapannya dalam perhitungan kimia (stoikiometri)
X/1
Menjelaskan sifat-sifat larutan, metode pengukuran dan terapannya
Memahami sifat-sifat larutan non-elektrolit dan elektrolit, serta reaksi oksidasi-redukasi
X/2
Memahami sifat-sifat larutan asam-basa, metode pengukuran, dan terapannya
XI/2
Menjelaskan sistem dan sifat koloid serta penerapannya dalam kehidupan sehari-hari
XI/2
Menjelaskan sifat- sifat koligatif larutan non-elektrolit dan non-elektrolit
XII/1
Memahami senyawa organik, gugus fungsi dan reaksinya, benzena dan turunannya, makromolekul serta lemak.
Memahami sifat-sifat senyawa organik atas dasar gugus fungsi dan senyawa
makromolekul
X/2
Memahami senyawa organik dan reaksinya, benzena dan turunannya, dan makromolekul
XII/2
Menentukan perubahan energi dalam reaksi kimia,cara
pengukuran dan perhitungannya.
Memahami perubahan energi dalam reaksi kimia dan cara pengukurannya
SKL UN Standar Kompetensi Kelas/ Semester Memahami kinetika reaksi,
kesetimbangan kimia, dan faktor-faktor yang memengaruhi nya, serta penerapannya dalam
kehidupan sehari-hari dan industri.
Memahami kinetika reaksi, kesetimbangan kimia, dan faktor-faktor yang
mempengaruhinya, serta penerapannya dalam kehidupan sehari-hari dan industri
XI/1
Memahami reaksi oksidasi-reduksi dan sel elektrokimia serta
penerapannya dalam teknologi dan kehidupan sehari-hari.
Menerapkan konsep reaksi oksidasi-reduksi dan elektrokimia dalam teknologi dan kehidupan sehari-hari
XII/1
Memahami karakteristik unsur-unsur penting, terdapatnya di alam, pembuatan dan kegunaanya.
Memahami karakteristik unsur-unsur penting, kegunaan dan bahayanya, serta terdapatnya di alam
XII/1
Topik Kompetensi Dasar Kimia
Dalam lampiran standar isi, dari 13 standar kompetensi dikembangkang menjadi 41 kompetensi dasar yang tersebar dari kelas X semester 1 sampai dengan kelas XII semester 2. Menurut Badrun dkk (2009), 41 kompetensi dasar dikelompokkan menjadi 14 kompetensi dasar kimia analitik; 2 kompetensi dasar biokimia; 3 kompetensi dasar kimia anorganik/unsur; 4 kompetensi dasar kimia organik; 4 kompetensi dasar kimia fisik; 13 kompetensi dasar kimia teori; dan 1 kompetensi dasar kimia nuklir.Hasil analisis kompetensi dasar kimia berdasarkan stsndar isi dapat digambarkan dalam grafik berikut ini (gambar 1)
Gambar 1. Persentase Topik Kompetensi Dasar Kimia SMA
Kompentensi dasar yang berkaitan dengan topik kimia analitik paling banyak yakni 34,15%, diikuti kimia teori 31,71%, kimia organik 9,76% dan kimia fisika 9,76%, kimia anorganik 7,32%, biokimia 4,88%, dan kimia nuklir 2,44%.
Adapun distribusi ke tujuh topik Kimia tersebut dalam naskah UN dapat dilihat pada gambar 2 berikut ini.
Gambar 2. Topik Kimia pada Soal UN 2009 Pada gambar di atas menunjukkan bahwa soal kimia pada UN tahun 2009 hanya terdapat enam topik sedangkan pada komptensi dasar terdapat tujuh topik. Topik yang tidak terdapat dalam soal UN kimia yaitu topik kimia nuklir, topik ini tidak diujikan karena soal UN kimia tahun 2009
disusun berdasarkan interseksi kurikulum 1994, kurikulum 2004, dan standar isi. Dengan demikian soal UN hanya berisi topik-topik yang diajarkan pada ketiga kurikulum, dimana pada kurikulum 2004, kimia nuklir tidak diajarkan.
Dari keenam topik yang diujikan, topik kimia teori menjadi topik yang terbesar yakni 25,00% diikuti topik kimia analitik dan kimia fisika, kimia organik, kimia anorganik, dan biokimia. Urutan persentase topik pada soal UN hampir sama dengan urutan persentase pada kompetensi dasar mata pelajaran kimia dalam standar isi. Dengan demikian dari segi topik, soal-soal UN kimia tahun 2009 telah mencerminkan dan sesuai dengan tuntutan SKKD dalam kurikulum tingkat satuan pendidikan.
Distribusi Soal Berdasarkan Tingkatan Kognitif dan Jenjang Kelas
Menurut Badrun dkk (2009), dari ketujuh topik dalam kompetensi dasar hanya mencakup empat tingkatan kognitif yaitu pengetahuan, pemahaman, aplikasi, dan
analisis. Sedangkan tingkatan kognitif sintesis dan penilaian tidak tercakup dalam kompetensi dasar kimia. Badrun dkk (2009) mengklasifikasikan tingkat kognitif tersebut
berdasarkan kata-kata kunci yang ditungkan dalam kompetensi dasar. Berikut tabel pemetaan topik kompetensi dasar kimia berdasarkan tingkatan kognitif.
Tabel 4. Tingkatan Kognitif dalam Kompetensi Dasar Kimia Tingkatan Kognitif Kompetensi Dasar Kimia Analitik Kimia Teori Kimia Anorganik Kimia Organik Kimia Fisika Kimia Nuklir Biokimia Pengetahuan √ - - √ - - - Pemahaman √ √ √ √ √ √ √ Aplikasi √ √ √ √ √ - - Analisis √ √ √ - √ - - Sintesis - - - - Penilaian - - - - Sumber: Badrun dkk (2009) Tingkatan kognitif pengetahuan
terdapat pada topik kimia analitik dan kimia anorganik, tingkatan kognitif pemahaman terdapat pada semua topik kimia, tingkatan kognitif aplikasi terdapat pada topik kimia analitik, kimia teori, kimia anorganik, kimia organik, dan kimia fisika. Tingkatan kognitif analisis terdapat pada topik kimia analitik, kimia teori, kimia anorganik, dan kimia fisika. Sedangkan tingkatan kognitif sintesis dan
penilaian tidak terdapat pada topik kimia SMA.
Setali tiga uang dengan tingkatan kognitif pada kompetensi dasar, naskah kimia UN 2009 juga tidak mengujikan soal yang menguji tingkatan kognitif sintesis dan penilaian, soal-soal kimia hanya mengujikan tingkatan kognitif pemahaman, analisis, dan aplikasi seperti disajikan pada gambar 3 berikut ini.
Gambar 3. Distribusi Soal Berdasarkan Tingkatan Kognitif Berbeda dengan kompetensi dasar
yang memuat empat tingkatan kognitif yakni tingkatan kognitif pengetahuan, pemahaman, aplikasi, dan analisis, soal-soal UN kimia hanya teridiri dari tiga tingkatan kognitif yakni pemahaman, aplikasi, dan analisis. Ketiga tingkatan kognitif ini tersebar kedalam enam topik kimia. Satu butir soal biokimia mengukur tingkatan kognitif analisis, empat soal kimia anorganik mengukur pemahaman, dari tujuh soal kimia organik, dua butir soal merupakan soal aplikasi dan lima butir soal mengukur aspek pemahaman. Model soal
pemahaman pada topik kimia fisika dan kimia teori masing-masing sebanyak enam soal dan pada kimia analitik sebanyak tiga butir soal. Soal aplikasi masing-masing berjumlah satu butir untuk topik kimia analitik dan kimia teori, sedangkan untuk kimia fisika sebanyak dua butir soal. Soal yang mengukur tingkatan kognitif analisis berjumlah satu butir untuk kimia fisika, lima butir untuk kimia analitik, dan tiga butir untuk kimia teori. Sebaran tingkatan kognitif ini telah mencerminkan sebaran tingkat kognitif dalam kurikulum karena sifat UN sebagai tes prestasi artinya
menguji apa yang diajarkan dan dituntut kurikulum.
Distribusi kompetensi dasar berdasarkan jenjang kelas dapat dilihat pada Gambar 4. Dari 41 kompetensi dasar mata pelajaran kimia SMA yang terdapat pada standar isi, persentase kompetensi dasar kimia tertinggi di kelas XI yakni 44% diikuti kelas XII yakni 32%, dan kelas X 24%.
Gambar 4. Distribusi Kompetensi Dasar Berdasarkan Jenjang Kelas Untuk soal UN kimia, 43% soal kimia disusun berdasarkan kompetensi dasar kelas XII, 40% kelas XI, dan sisanya 17% berdasarkan kompetensi dasar kelas X. Distribusi ini agak berbeda dengan distribusi kompetensi dasar.
Gambar 5. Distribusi Soal Berdasarkan Jenjang Kelas
Hal ini karena pemilihan soal UN Kimia didasarkan pada kisi-kisi UN 2009 yang telah mempertimbangkan urgensi, kontinuitas, relevansi, dan kontekstual materi yang tercermin pada SKL dan kemampuan yang diuji.
SIMPULAN DAN SARAN
SimpulanBerdasarkan informasi yang diperoleh dari diskusi dan pembahasan, ada beberapa kesimpulan sebagai berikut.
Materi yang tergambar dalam soal UN Kimia telah mencerminkan atau mewakili ruang lingkup mata pelajaran kimia yang tertuang dalam standar kompetensi dan kompetensi dasar yang bersumber Lampiran Peraturan Menteri Pendidikan Nasional Nomor 22 Tahun 2006 tentang Standar Isi untuk Satuan Pendidikan Dasar dan Menengah.
Soal UN kimia tahun 2009 hanya terdapat enam topik yakni kimia analitik, kimia teori, kimia fisika, kimia organik, kimia anorganik, dan biokimia. Sedangkan pada komptensi dasar terdapat tujuh topik, topik yang tidak terdapat dalam soal UN kimia yaitu topik kimia nuklir, topik ini tidak muncul karena soal UN kimia tahun 2009 disusun berdasarkan interseksi kurikulum 1994, kurikulum 2004, dan kurikulum tingkat satuan pendidikan. Dengan demikian soal UN hanya
berisi topik-topik yang diajarkan pada ketiga kurikulum, dimana pada kurikulum 2004, kimia nuklir tidak diajarkan. Urutan persentase penyebaran topik pada soal UN hampir sama dengan urutan persentase penyebaran topik pada kompetensi dasar mata pelajaran kimia dalam standar isi. Dari aspek tingkatan kognitif, soal-soal UN kimia hanya teridiri dari tiga tingkatan kognitif yakni pemahaman, aplikasi, dan analisis. Ketiga tingkatan kognitif ini tersebar kedalam enam topik kimia. Sebaran tingkatan kognitif ini telah mencerminkan sebaran tingkat kognitif dalam kurikulum karena sifat UN sebagai tes prestasi artinya menguji apa yang diajarkan dan dituntut kurikulum. Dari segi jenjang kelas, materi kelas XII merupakan materi yang paling banyak diujikan dalam soal kimia diikuti kelas XI dan kelas X.
Saran
Standar kompetensi dan kompetensi dasar dalam standar isi perlu disempurnakan dengan memperkaya kompetensi dasar yang menuntut kemampuan tingkat kognitif sintesis dan evaluasi, dengan demikian soal
UN Kimia juga dapat mengukur tingkat kognitif sintesis dan evaluasi.
PUSTAKA ACUAN
Depdiknas, (2008). Peraturan Menteri Pendidikan Nasional No. 77 Tahun 2008 tentang UN SMA Tahun Pelajaran 2008/2009. Jakarta.
Depdiknas, (2006): Peraturan Menteri Pendidikan Nasional No. 22 Tahun 2006 tentang Standar Isi untuk Satuan Pendidikan Dasar dan Menengah. Jakarta.
Furqon. (2004). Peranan evaluasi dalam meningkatkan mutu pendidikan. Makalah disampaikan dalam diskusi panel tanggal 31 Mei 2004 di UPI, Bandung.
Pusat Penilaian Pendidikan, Balitbang, Depdiknas, (2009): Hasil Ujian Nasional Tahun Pelajaran 2008/2009. Jakarta. Supriyoko, Ki, (2004): Studi Aspirasi
Masyarakat tentang Penyelenggaraan Ujian Nasional. Jogjakarta, LSPI.
Badrun dkk. (2009): Analisis ujian nasional SMA tahun pelajaran 2008/2009. LPMP-Yogyakarta
PENYETARAAN (EQUATING) SKOR BIOLOGI SMA
BERDASARKAN HASIL UJIAN NASIONAL TAHUN 2010/2011
Rumondang Purwati
Peneliti di Pusat Penilaian Pendidikan, Kemdikbud E-mail: [email protected]
ABSTRACT
National Exam (UN) 2011 is arranged in some parallel packages that assessed on three time zones (Western, Middle, and Eastern). To compare the scores obtained on different test packages, a process of equating scores is needed, using anchor (linking) item. The difficulty level of linking items is used to determine the difficulty level of test packages to arrange the conversion table. The conversion scores are used to compare the student ability. The aims of this study are to identify the characteristics of items linking, to compare the difficulty of tests packages, to make the conversion table, and to compare the scores before and after the equating process. Equating process is using data from all students responses on national exam (UN) 2011 of Biology in SMA.The data analysis is using Winstep program to determine the characteristics of item linking and the equating process is using fixed item parameter calibration. The lowest item linking difficulty level is on Eastern zone and the highest is on Western zone. For the nonlinking items, the lowest item difficulty is on the Western zone and the highest is on the Eastern zone. After the scores conversion, the SMA Biology scores on Westerns zone is higher than the scores on Middle zone to obtain the same scores from 0 to 3.89 and above 4.49. In the Middle zone for scores 3.89 – 4.49, Middle scores is higher than Westerns scores. In all scores, Western scores is higher than Eastern scores. The average scores in all of provinces has increased after equating process. The lowest average score after equating is achieved by Nusa Tenggara Timur (6.39) and the highest is Bali (8.90).
Keywords: equating, difficulty level, linking, conversion, and national exam
ABSTRAK
Ujian Nasional (UN) 2011 disusun dalam beberapa paket tes yang paralel yang diujikan pada tiga zona waktu (Barat, Tengah, dan Timur). Agar skor antarpaket dapat dibandingkan, perlu dilakukan equating, yaitu proses penyetaraan paket tes dengan menggunakan soal-soal anchor (linking). Tingkat kesukaran soal-soal linking digunakan untuk menentukan tingkat kesukaran paket tes untuk membuat tabel konversi. Skor konversi dapat digunakan untuk membandingkan kemampuan siswa. Studi penyetaraan paket tes Biologi SMA pada UN 2011 bertujuan untuk mengidentifikasi karakteristik butir soal-soal linking antarpaket, membandingkan tingkat kesukaran paket-paket tes, membuat konversi skor, dan membandingkan rata-rata skor sebelum dan sesudah equating. Proses equating menggunakan data yang berasal dari semua jawaban siswa pada UN 2011 terhadap mata pelajaran Biologi SMA. Data tersebut dianalisis dengan menggunakan program winstep untuk mengetahui karakteristik soal lingking dan nonlinking dan selanjutnya dilakukan proses equating dengan menggunakan fixed item parameter calibration. Rata-rata tingkat kesukaran soal-soal linking Biologi terendah di zona Timur dan tertinggi di zona Barat. Soal-soal nonlinking Biologi memiliki tingkat kesukaran rata-rata terendah di zona Barat dan tertinggi di zona Timur. Setelah dikonversi, skor Biologi SMA zona Barat lebih tinggi daripada di zona Tengah untuk memperoleh nilai yang sama dari 0 hingga 3.89 dan di atas 4.49. Pada skor zona Tengah 3.89 – 4.49, skor zona Tengah lebih tinggi daripada skor Barat. Pada semua skor, skor Barat lebih tinggi daripada skor Timur. Di semua provinsi, skor rata-rata ujian nasional Biologi murni mengalami kenaikan setelah dikonversikan. Skor rata-rata setelah equating yang terendah dicapai oleh Nusa Tenggara Timur (6.39) dan yang tertinggi Bali (8.90).
PENDAHULUAN
Undang Undang Republik Indonesia nomor 20 tahun 2003 tentang Sistem Pendidikan Nasional bab XVI pasal 57 sampai dengan 59 tentang evaluasi menyatakan bahwa dalam rangka pengendalian mutu pendidikan secara nasional dilakukan evaluasi sebagai bentuk akuntabilitas penyelenggara pendidikan kepada pihak-pihak yang berkepentingan. Evaluasi pendidikan dilaksanakan oleh guru, sekolah, dan pemerintah. Evaluasi yang dilakukan pemerintah disebut Ujian Nasional (UN) yang berfungsi untuk mengukur sejauh mana program pendidikan telah tercapai sesuai dengan tuntutan kurikulum yang berlaku.
Soal-soal ujian nasional pada tahun 2011 disusun dalam beberapa paket yang berbeda yang diujikan di tiga zona waktu (Barat, Tengah, dan Timur. Semua paket tes UN ini disusun berdasarkan kisi-kisi yang sama untuk memperoleh paket-paket tes yang paralel dengan asumsi semua paket tes akan mengukur kompetensi yang sama.
Dengan demikian, setiap siswa yang memiliki kemampuan yang sama akan memperoleh skor atau nilai yang sama, walaupun menempuh paket tes yang berbeda.
Pada kenyataannya, selalu ditemukan perbedaan tingkat kesukaran pada beberapa paket tes yang dianggap paralel. Dengan adanya perbedaan tingkat kesukaran ini, akan dihasilkan skor yang berbeda dari dua orang siswa yang kemampuannya sama. Tes yang seperti ini tidak adil karena siswa yang menempuh tes yang lebih mudah akan diuntungkan, sedangkan siswa yang menempuh tes yang lebih sulit akan dirugikan.
Untuk mengatasi hal tersebut, perlu dilakukan penyetaraan hasil tes dari beberapa paket tes yang paralel. Dalam proses penyetaraan ini, hasil tes (skor) dari semua paket tes diskalakan ke dalam satu skala yang sama. Selain itu, skor dari suatu paket tes harus ditransformasi atau diubah ke dalam skala skor paket tes yang lain yang dijadikan paket tes referensi (acuan). Proses
transformasi skor ini disebut sebagai equating (penyetaraan).
Salah satu cara yang dapat dilakukan pada proses penyetaraan paket tes ini adalah dengan menggunakan soal-soal yang sama persis yang diletakkan di semua paket tes. Soal-soal yang sama persis ini disebut sebagai soal anchor (linking). Diharapkan siswa-siswa yang memiliki kemampuan sama akan memperoleh skor yang sama ketika menjawab soal-soal linking ini. Perbedaan kemampuan siswa yang mengerjakan paket tes yang berbeda tercermin dari perbedaan kemampuan siswa-siswa tersebut dalam menjawab soal-soal anchor (linking). Perbedaan tingkat kesukaran paket tes akan diperkirakan berdasarkan perbedaan tingkat kesukaran soal-soal linking. Setelah itu, akan dihasilkan konversi skor untuk semua paket tes.
Dengan menggunakan tabel konversi skor, skor siswa yang mengerjakan paket tes paralel tertentu kemudian dikonversikan terhadap skor pada paket tes referensi. Skor hasil konversi inilah yang dapat digunakan
untuk membandingkan kemampuan siswa antarpaket tes.
Masalah yang ditemukan dari latar belakang di atas adalah (1) bagaimanakah karakteristik soal-soal anchor (linking) yang digunakan pada mata pelajaran Biologi SMA dalam UN 2011, (2) bagaimanakah perbandingan tingkat kesukaran paket-paket tes Biologi SMA dalam UN 2011, (3) bagaimanakah konversi skor menjawab benar (skor mentah) suatu paket tes Biologi SMA relatif terhadap skor mentah paket tes referensi, dan (4) bagaimanakah rata-rata nilai Biologi SMA di suatu wilayah setelah dilakukan konversi nilai?
Studi penyetaraan paket tes Biologi SMA pada UN 2011 bertujuan untuk: (1) mengidentifikasi karakteristik butir soal-soal anchor (linking) antarpaket, (2) membandingkan tingkat kesukaran paket-paket tes, (3) membuat konversi skor satu paket tes paralel terhadap skor paket tes referensi, (4) membandingkan rat-rata nilai di suatu wilayah sebelum dan sesudah dilakukan proses equating.
