KOMPARASI METODA NEDELSKY DAN ANGOFF DALAM PENETAPAN STANDARD SETTING KELULUSAN UJIAN NASIONAL MATA PELAJARAN BAHASA INGGRIS SMA.

(1)

Engkos Kosasih, 2014

KOMPARASI METODA NEDELSKY DAN ANGOFF DALAM PENETAPAN STANDARD SETTING KELULUSAN UJIAN NASIONAL MATA PELAJARAN BAHASA INGGRIS SMA

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu

KOMPARASI METODA NEDELSKY DAN ANGOFF

DALAM PENETAPAN STANDARD SETTING KELULUSAN

UJIAN NASIONAL MATA PELAJARAN BAHASA INGGRIS SMA

TESIS

Diajukan untuk Memenuhi Sebagian dari

Syarat Untuk Memperoleh Gelar Magister Pendidikan

Program Studi Penelitian dan Pengukuran Pendidikan

Oleh:

Engkos Kosasih

1201358

PROGRAM STUDI PENELITIAN DAN PENGUKURAN PENDIDIKAN

SEKOLAH PASCASARJANA

(2)

KOMPARASI METODA NEDELSKY DAN ANGOFF DALAM PENETAPAN STANDARD SETTING KELULUSAN UJIAN NASIONAL MATA PELAJARAN BAHASA INGGRIS SMA

Oleh: Engkos Kosasih

Sarjana Pendidikan Bahasa Inggris STKIP Pasundan Cimahi, 2004

Sebuah Tesis yang diajukan untuk memenuhi salah satu syarat memperoleh gelar Magister Pendidikan (M.Pd.) pada Program Studi

Penelitian dan Pengukuran Pendidikan

Juli 2014

Hak Cipta dilindungi undang – undang

(3)

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu HALAMAN PENGESAHAN

KOMPARASI METODA NEDELSKY DAN ANGOFF DALAM PENETAPAN STANDARD SETTING KELULUSAN UJIAN NASIONAL MATA PELAJARAN BAHASA INGGRIS SMA

TESIS

Diajukan untuk Memenuhi Sebagian dari Syarat untuk Memperoleh Gelar Magister Pendidikan Program Studi Penelitian dan Pengukuran Pendidikan

Disetujui dan disahkan oleh pembimbing:

Pembimbing,

Dr.Budi Susetyo, M.Pd NIP. 19580907 198703 1 001

Mengetahui,

Ketua Program Studi Penelitian dan Pengukuran Pendidikan

(4)

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu TESIS INI TELAH DIUJIKAN TAHAP II PADA:

Hari/Tanggal : Senin, 22 Juli 2014

Waktu : 09.00 – 11.00 WIB

Tempat : Ruang Program Studi PPP Lantai 6, SekolahPascaSarjana UPI

Penguji Terdiri dari:

Penguji 1,

Prof. Dr. Asmawi Zaenul, M.ED NIP.

Penguji 2,

Dr.Budi Susetyo, M.Pd NIP. 195809071987031001

Penguji 3,

Dr. Nahadi, M.Si, M.Pd NIP.197102041997021002

Penguji 4

(5)

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu Tanggungjawab yuridis ada pada:

(6)

Perbandingan Metoda Standar Setting Angoff dan Nedelsky Dalam Penentuan Standard Setting Kelulusan Ujian Nasional pada Mata Pelajaran Bahasa Inggris SMA standard setting yang berbeda, yaitu metoda Nedelsky dan Angoff yang digunakan sebagai acuan patokan bagi peserta tes untuk dinyatakan telah mencapai standar kompetensi maksimum yang diharapkan atau dinyatakan lulus.

Jenis penelitian ini adalah penelitian deskriptif kuantitatif. Data kuantitatif yang digunakan untuk tujuan penelitian ini adalah respon peserta tes terhadap mata pelajaran bahasa Inggris pada Ujian Nasional (UN) SMA program IPS dengan barcode soal USB-E08 tahun pelajaran 2012/2013 di Kabupaten Purwakarta. Data kuantitatif yang digunakan untuk keperluan penelitian ini diperoleh dari estimasi judgment panelis yang kemudian hasil tafsiran panelis tersebut dijadikan acuan dalam menetapkan cut off score batas kelulusan. Data hasil respon peserta tes kemudian ditransformasikan ke dalam bentuk Z score untuk mendapatkan nilai baku (standardized score). Nilai baku peserta test tersebut yang kemudian dibandingkan dengan cut off score hasil tafsiran panelis untuk mengidentifikasi berapa banyak peserta tes yang dinyatakan lulus. Penetapan cut off score untuk metoda Nedelsky dilakukan dengan teknik trimmed mean, yaitu membuang skor ekstrim tertinggi dan skor terendah dan kemudian menghitung mean dari sisa skor tersebut, untuk metoda Angoff ditetapkan dengan cara menghitung mean dari jumlah skor panelis secara keseluruhan. Untuk menguji perbedaan rata-rata kedua metoda tersebut dilakukan uji statistik dengan The Wilcoxon Signed Rank. Dari hasil temuan tersebut dapat digeneralisasi secara internal bahwa metoda standard setting Angoff memberikan peluang lebih banyak terhadap jumlah proporsi kelulusan peserta tes yang mencapai standar kompetensi minimum yang dipersyaratkan.

(7)

The Comparison of Angoff and Nedelsky Standard Setting Method to Determine

Indonesia University of Education (UPI) Bandung

Abstract

The objective of the research is to determine national examination cut off score on English subject using standard setting of Angoff and Nedelsky method. This research is a quantitative descriptive. Quantitative data used for the purpose of the research taken in the form of students’ responses against the problems of English used for Senior High School national examination for social sciences program with barcode USB-E08 in Kabupaten Purwakarta academic year 2012/2013. While the quantitative data is obtained from expert judgments which are used to determine cut off score. The data of students’ response is transformed into z score to obtain cut off score, then the result in the form of standardized score is compared by both of the cut off score which have been estimated through the experts judgment process to identify how many respondents who get a minimum competency to pass either by Angoff or Nedelsky Standard setting method. To determine cut off score of Nedelsky method is done by using trimmed mean, that is by eliminating the highest dan the lowest score, average the rest to find mean. For Angoff method, cut off score is determined by computing mean of total panelists score. To compute the difference of mean of two standard setting methods is used Statistical test The Wilcoxon Signed Rank Test. It can be generalized that with Angoff standard setting method, the number of students who are defined passed or obtained the minimum competence is relatively much bigger than Nedelsky one. It could be concluded that Angoff standard setting method has probability more for the students to pass.

(8)

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu DAFTAR ISI A. Latar Belakang Masalah……….. 1

B. Identifikasi Masalah……… 7

C. Pembatasan Masalah...……… 8

D. Perumusan Masalah...………. 9

E. Tujuan Penelitian...………. 9

F. Mamfaat Penelitian………. 9

BAB II KAJIAN TEORITIS DAN KERANGKA PEMIKIRAN A. Deskripsi Teoritis……… 11

1. Konsep Evaluasi, Penilaian, dan Pengukuran……… 11

1.1 Evaluasi………. 11

1.2 Penilaian..……….. 12

1.3 Pengukuran……… 13

2. Tujuan, Prinsip, dan Langkah-Langkah Penilaian……… 14

2.1 Tujuan Penilaian...……… 14

2.2 Prinsip Penilaian……… 16

2.3 Langkah-Langkah Penilaian………. 16

(9)

3.1 Definisi Tes……… 19

3.2 Jenis-Jenis Tes……… 19

3.3 Tes Berdasarkan Fungsinya……… 20

3.4 Tes Berdasarkan Ranah yang Diukur………. 23

4. Persyaratan Tes yang Baik……… 26

5. Konsep Pendekatan Penilaian……… 28

5.2 Pendekatan Acuan Norma……….. 29

5.3 Pendekatan Acuan Kriteria………. 31

5.4 Penilaian Berbasis Acuan Kriteria……….. 31

B. Ujian Nasional (UN) SMA……… 32

1. Standar Umum Kompetensi……… 33

2. Standar Kompetensi Khusus……… 36

3. Indikator Pencapaian SKL………. 40

4. Item Butir Soal……… 42

5. Kriteria Kelulusan UN……… 42

C. Standar Setting……….. 43

1. Definisi Standard Setting………. 43

2. Metoda Standard Setting……….. 46

3. Prosedur Pelaksanaan Standard Setting……… 50

4. Validasi Internal……….. 52

5. Standard Setting dengan Metoda Nedelsky dan Angoff……….. 54

5.1Metoda Nedelsky……… 54

5.2 Metoda Angoff………. 60

D. Penelitian Sebelumnya yang Relevan……… 63

E. Kerangka Berpikir……….. 65

F. Pengujian Hipotesis Penelitian……… 67

BAB III METODOLOGI PENELITIAN A. Metoda, Waktu, dan Tempat Penelitian………. 68

1. Metoda Penelitian……….. 68

2. Waktu dan Tempat Penelitian……… 68

B. Instrumen Penelitian……… 69

C. Populasi dan Sampel Penelitian………. 69

D. Variabel Penelitian……… 71

E. Definisi Operasional……….. 71

F. Alur Penelitian……… 72

G. Teknik Analisis Data………. 74

BAB IV HASIL PENELITIAN DAN PEMBAHASAN A. Hasil Penelitian……….. 82

1. Deskripsi Data Kualitatif……… 82

(10)

2.1Indeks Kesukaran Soal……….. 84

2.2 Indeks Daya Beda Butir ……….. 84

2.3 Analisis Distraktor……… 85

2.4 Validasi pengukuran………. 85

2.4 Reliabilitas………. 86

2.5 Kesalahan Baku Pengukuran……….. 86

3. Analisis Kompetensi Kelulusan………. 87

4. Analisis Skor Peserta Tes……….. 88

5. Pengolahan Data Hasil Judgment Panelist………. 89

5.1 Penghitungan Hasil JudgmentMetoda Nedelsky………. 89

5.2 Penghitungan Hasil JudgmentMetoda Angoff………. 90

6. Validasi Internal……….. 90

7. Penetapan Kelulusan……… 92

8. Pengujian Persyaratan Hipotesis………. 93

8.1 Uji Normalitas……… 93

8.2 Uji Homogenitas……….. 94

8.3 Pengujian Hipotesis……….. 95

B. Pembahasan……… 97

BAB V SIMPULAN DAN SARAN A. Simpulan……… 100

B. Saran……….. 100

DAFTAR PUSTAKA……….. 102

(11)

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu DAFTAR TABEL

No. Hal.

1. Tabel 4.2 Kesukaran Butir Soal …..……… 106

2. Tabel 4.3 Daya Beda Butir Soal ….……… 108

3. Tabel 4.4 Keberfungsian Distraktor ….………. 110

4. Tabel 4.8 Skor Baku Peserta Tes..……….. 113

5. Tabel 4.9 Rekapitulasi Hasil Judgment Panelis Dengan Metoda Nedelsky……….. 117

6. Tabel 4.10 Rekapitulasi Hasil Judgment Panelist Dengan Metoda Angoff ……….. 119

(12)

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu DAFTAR LAMPIRAN

Lampiran 1 : SK Pembimbing Thesis

Lampiran 2 : Surat izin Observasi Penelitian

Lampiran 3 : Transkrip Teks Listening

Lampiran 4 : Naskah Soal UN Bahasa Inggris SMA

Lampiran 5 : Respon Peserta Tes

Lampiran 6 : Out put Analisis Butir Soal dengan Iteman

Lampiran 7 :

Lampiran 8 :

Lampiran 9 :

Lampiran 10:

Judgment Panelis

Hasil Pengolahan Skor Mentah Peserta Tes

Hasil Uji Normalitas dan Homogenitas Data

(13)

(14)

KOMPARASI METODA NEDELSKY DAN ANGOFF DALAM PENETAPAN STANDARD SETTING KELULUSAN UJIAN NASIONAL MATA PELAJARAN BAHASA INGGRIS SMA

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu BAB I

PENDAHULUAN

A. Latar Belakang Masalah

Dalam praktik pendidikan, guru senantiasa dihadapkan pada

keputusan-keputusan dalam memberikan label pada setiap karakteristik atribut siswa.

Pemberian atribut tersebut dilakukan sebagai hasil dari pengukuran yang

dilakukan dalam kegiatan proses pembelajaran di kelas. Keputusan-keputusan

tersebut, tidak hanya akan berdampak terhadap pengelolaan pembelajaran di

kelas, tetapi juga terhadap efektifitas program-program untuk meningkatkan

kemampuan siswa melalui program pengayaan (enrichment), program perbaikan

(remedial teaching), kebutuhan siswa terhadap program bimbingan dan

penyuluhan, dan lebih jauhnya lagi terhadap pengambilan kebijakan di tataran

tingkat sekolah.

Pengukuran terhadap berbagai karakteristik atribut siswa dilakukan

melalui kegiatan penilaian kelas (class assessment). Penilaian kelas merupakan

bagian yang integral dari keseluruhan proses pembelajaran yang dilakukan oleh

guru sepanjang rentang waktu berlangsungnya proses pembelajaran. Penilaian

kelas harus memiliki tujuan yang sejalan dengan tujuan pembelajaran yang telah

ditetapkan dalam rencana program pengajaran. Hasil dari kegiatan penilaian

tersebut digunakan untuk memperoleh pemahaman terhadap pelaksanaan dan

umpan balik (feedback) terhadap hasil pembelajaran yang telah dilaksanakan,

membuat keputusan berkenaan dengan pelaksanaan dan hasil pembelajaran, dan

meningkatkan kualitas proses dan hasil pembelajaran. Mengingat urgensi

penilaian (assessment) seperti yang dijelaskan di atas, maka perencanaan dan

pengadministrasian terhadap kegiatan penilaian (assesment) tersebut harus

dilakukan secara cermat, tepat, dan terarah.

Hasil akhir dari penilaian adalah berupa skor. Skor inilah yang kemudian

menjadi nilai atau atribut yang akan diberikan oleh guru terhadap keberhasilan

(15)

2

pendidikan (KTSP), maupun kurikulum 2013, guru telah mengenal istilah kriteria

ketuntasan minimal (KKM). Sebagaimana yang dinyatakan oleh Badan Standar

Penilaian Nasional (BSNP) dalam panduan penyusunan kurikulum tingkat satuan

pendidikan jenjang pendidikan dasar dan menengah dijelaskan bahwa penetapan

kriteria minimal ketuntasan belajar tersebut merupakan tahapan awal pelaksanaan

penilaian hasil belajar sebagai bagian dari langkah pengembangan KTSP. Dengan

demikian Kurikulum KTSP yang berbasis kompetensi dan kurikulum 2013 dalam

implementasinya harus menggunakan acuan kriteria dalam penilaian dan

mengharuskan pendidik dan satuan pendidikan menetapkan kriteria minimal yang

menjadi tolok ukur pencapaian kompetensi.

Penetapan KKM tidak hanya dilakukan untuk jenis-jenis tes seperti

ulangan harian (formative test), ulangan semester (summative test) tetapi juga

untuk tes yang berskala nasional misalnya ujian nasional (UN). Dalam UN kriteria

ketuntasan minimal dijadikan sebagai standar dan acuan dalam penentuan

kelulusan siswa, dimana kriteria kelulusan siswa tersebut dinyatakan dalam

indikator butir-butir pencapaian pada standar kompetensi kelulusan (SKL). SKL

tersebutlah yang kemudian menjadi patokan terhadap standar penguasaan atau

standar kompetensi yang harus dicapai oleh peserta tes untuk memperoleh kriteria

kelulusan.

Namun demikian, kondisi empiris yang terjadi di Indonesia menunjukan

bahwa standar minimum kelulusan UN masih merupakan gabungan antara nilai

UN murni dengan nilai US, dengan proporsi 60% untuk nilai UN murni dan 40%

untuk nilai US. Penggabungan nilai tersebut dalam berbagai sisi masih memiliki

banyak kelemahan. Kelemahan yang pertama adalah penggabungan nilai UN dan

US mengandung makna bahwa semua peserta didik akan lulus. Kalau semua

peserta didik akan lulus artinya pendidikan tersebut tidak bermutu. Dengan

demikian penentuan standar kelulusan UN yang mendasarkan kepada nilai

gabungan tersebut menjadi kontraproduktif dengan tujuan dilaksanakannya UN

tersebut.

Sisi kelemahan yang kedua adalah bahwa interferensi guru/sekolah

(16)

3

penyelenggaraan tes yang sebenarnya. Salah satu tujuan diadakan tes adalah untuk

mendapatkan gambaran sejauh mana peserta didik telah menguasai materi

pembelajaran yang sudah disampaikan. Dengan makna lain adalah bahwa

berapapun skor yang diperoleh oleh peserta didik akan selalu merefleksikan

kemampuan peserta didik yang sebenarnya. Dengan memberikan nilai US yang

relatif besar, walaupun tujuannya sebagai langkah antisipatif agar peserta tes

mendapat peluang lulus lebih besar, dari sudut pandang teori pengukuran dan

evaluasi pembelajaran tetap saja bertolak belakang dan tidak bisa dibenarkan.

Sisi kelemahan berikutnya adalah bahwa sekolah-sekolah tertentu yang

berakreditasi A dan sekolah lainnya yang berakreditasi B atau C memiliki input

siswa, kualitas sumber daya manusia (guru), fasilitas pendukung, dll yang

berbeda. Perbedaan-perbedaan tersebut juga akan berpengaruh terhadap besarnya

nilai US yang diberikan oleh sekolah/guru. Dengan demikian, penetapan

kelulusan UN selayaknya tidak mengacu kepada hasil penggabungan nilai tetapi

berdasarkan kepada skor minimum yang telah ditetapkan.

Sejalan dengan pemikiran yang dideskripsikan dalam kurikulum tingkat

satuan pendidikan (KTSP) maupun kurikulum 2013, tentang penetapan KKM,

peneliti telah mengenal istilah standard setting.Standard setting merupakan suatu

penetapan yang telah ditafsirkan oleh panelist dalam bentuk skor minimal (cut off

score) yang harus dicapai oleh peserta didik tentang aspek pengetahuan dan

keterampilan yang memadai atau kompetensi minimum (minimum competency)

yang harus dicapai. Kaitan antara standard setting dan UN adalah bahwa melalui

standard setting akan ditetapkan skor minimum (cut off score) yang harus

diperoleh peserta didik pada mata pelajaran yang dujian nasionalkan sebagai

prasyarat untuk mendapatkan kelulusan. Penetapan cut off score tersebut lebih

umum digunakan untuk penilaian yang menggunakan pendekatan acuan atau

kriteria.

Secara garis besar, ada dua jenis pendekatan penilaian yaitu 1) pendekatan

dengan menggunakan acuan norma (norm referenced), dimana dalam acuan

norma interprestasi skor peserta tes dibandingkan dengan kemampuan individu

(17)

4

dimana dalam acuan kriteria interprestasi skor dibandingkan dengan level

kemampuan tertentu berdasarkan indikator-indikator pembelajaran.

Sebagai acuan bagi pemerintah dan sekolah/guru dalam menentukan

kelulusan UN, dipandang perlu untuk menerapkan pendekatan penilaian acuan

kriteria. Hal tersebut sejalan dengan prinsip penetapan KKM yang salah satunya

adalah bahwa penetapan KKM merupakan kegiatan pengambilan keputusan yang

dapat dilakukan melalui metode kualitatif dan atau kuantitatif. Metode kualitatif

dapat dilakukan melalui professional judgment oleh pendidik yang kompeten di

bidangnya dengan mempertimbangkan kemampuan akademik dan pengalaman

pendidik dalam mengampu mata pelajaran tertentu di sekolahnya. Sedangkan

metode kuantitatif dilakukan dengan rentang angka yang disepakati sesuai dengan

penetapan kriteria yang ditentukan.

Secara teoritis, prinsip pedoman kriteria dalam PAP sendiri telah

berkembang. Beberapa referensi menyebutkan bahwa ada beberapa metoda PAP

yang dapat digunakan sebagai acuan dalam penetapan kelulusan suatu tes.

Penetapan standar kelulusan yang selanjutnya disebut dengan standard setting

terdiri atas dua kelompok. Kelompok yang pertama adalah penetapan standard

setting yang berbasis kepada pertanyaan atau item tes (judgment about test

questions) yang mendasarkan kepada professional judgment dalam penetapan cut

off score nya. Metoda yang berbasis judgment about test questions tersebut

adalah Metoda Angoff, Modified Angoff’s (Yes/No), Nedelsky, dan Ebel. Sedangkan metoda yang mendasarkan kepada peserta didik (test taker) dalam

menetapkan cut off score nya adalah metoda Bookmark dan Constrasting Group.

Metoda standard setting yang berbasis kepada pertanyaan tes (judgment

about test questions) terdiri atas metoda Nedelsky, Angoff, Modified Angoff, dan

Ebel. Metoda Ebel memiliki dua tahapan prosedur. Pada tahap pertama, tiap-tiap

panelis mengklasifikasikan pertanyaan kedalam kelompok-kelompok dan

kemudian membuat judgment dalam bentuk bilangan numerik tunggal untuk

masing-masing kelompok pertanyaan tersebut. Pengklasifikasian pertanyaan tes

kedalam kelompok tersebut berdasarkan pada dua jenis judgment, yaitu tingkat

(18)

5

(relevance/importance). Kemudian Ebel menganjurkan tiga tingkat kesulitan soal

dengan label mudah (easy), sedang (medium), dan sukar(hard) dan empat kategori

relevansi, yaitu; sangat penting (essential), penting (important), dapat diterima

(acceptable), dan dipertanyakan (questionable).

Metoda Nedelsky dan Angoff sangat menarik dalam banyak konteks

karena prosedur yang digunakan lebih mudah dipahami oleh panelis dan

pengguna tes itu sendiri. Prosedur dalam kedua metoda tersebut mengharuskan

panelis memberikan pertimbangan yang detail terhadap isi tes (test content) secara

spesifik.

Peneliti telah mengkaji dan mengindentifikasi persamaan-persamaan

prosedur yang dimiliki oleh kedua metoda tersebut. Namun demikian, walaupun

terdapat beberapa persamaan, dalam beberapa hal kedua metoda tersebut memiliki

perbedaan dalam menentukan cut off score nya. Perbedaan yang dianggap sangat

penting dan mendasar tersebut yang mendorong peneliti untuk melakukan

penelitian dan membandingkan kedua metoda tersebut sebagai bahan kajian dan

referensi yang bermanfaat apabila kedua metoda standard setting tersebut

dijadikan kriteria dalam menentukan kelulusan peserta tes.

Metoda Nedelsky, yang diusulkan oleh Leo Nedelsky pada tahun 1954,

hanya dapat digunakan untuk tes dengan bentuk pilihan ganda (multiple choice),

dimana tugas panelis adalah memberikan judgment terhadap tiap opsi butir soal

yang salah atau yang tidak akan dijawab oleh siswa. Jumlah opsi butir soal yang

dieliminasi tersebut akan menentukan proporsi peserta tes menjawab benar. Hasil

akumulasi judgment terhadap keseluruhan opsi butir soal dijadikan sebagai cut off

score ketuntasan/kelulusan dari peserta tes. Kalau dikaitkan dengan teori tes

klasik, judgment yang dilakukan dengan metoda Nedelsky adalah judgment

terhadap daya pengecoh (distractor) dan keberfungsian opsi butir soal (item test

functioning). Dalam hal ini, panelis harus mampu menganalisis setiap opsi butir

soal yang dianggap salah dan tidak akan dipilih oleh peserta tes.

Metoda Angoff, yang diusulkan oleh William H. Angoff pada tahun 1971,

sama halnya dengan prosedur metoda Nedelsky tetapi metoda Angoff bisa

(19)

6

juga pada bentuk tes lainnya. Dalam metoda Angoff, cut off score dihitung

berdasarkan skor yang diharapkan dari tiap butir pertanyaan, tetapi tidak

berdasarkan pada daya pengecoh (distractor). Panelis mempertimbangkan

tiap-tiap butir pertanyaan secara keseluruhan dan membuat judgment terhadap proporsi

peserta tes yang akan menjawab benar. Kalau dikaitkan dengan teori tes klasik,

penentuan judgment dengan metoda Angoff lebih kepada taraf kesulitan (difficulty

level) dari tiap butir soal. Semakin mudah butir soal, proporsi peserta tes

menjawab benar akan semakin tinggi dan semakin sukar butir soalnya, proporsi

peseta tes menjawab benar akan semakin rendah.

Penulis beranggapan bahwa kedua metoda tersebut bisa dijadikan acuan

dalam penentuan kriteria kelulusan UN. Pertimbangan rasionalnya adalah bahwa

jenis tes seperti UN merupakan jenis tes yang terstandardisasi dengan kualitas

soal yang sangat baik. Perangkat soal dikonstruksi sedemikian rupa sehingga

memenuhi kelayakan suatu tes. Namun demikian, untuk memastikan metoda

mana yang paling tepat diaplikasikan dalam penetapan standard setting kelulusan,

prosedur pertama yang harus ditempuh adalah melakukan perbandingan estimasi

panelis terhadap perangkat tes tersebut. Hal tersebut dimaksudkan bahwa apabila

dikaji dari tingkat kesulitan soal, berapa banyak probabilitas peserta tes yang

diprediksi dapat lulus, dan apabila dikaji dari daya pengecoh (distractor) nya.

berapa banyak probabilitas bagi peserta tes untuk dinyatakan lulus. Walaupun

tingkat kesukaran soal (difficulty level) dengan proporsi 50% soal dengan kategori

mudah, hal tersebut belum bisa dipastikan semua peserta tes akan mampu

menjawab soal tes sebanyak 50% benar. Sebaliknya, dengan daya pengecoh

(distractor) opsi pada butir soal, kemampuan peserta tes yang minimum pun

belum bisa dipastikan dapat menjawab setiap butir soal dengan benar. Dengan

demikian kedua metoda tersebut harus dibandingkan terlebih dahulu, sebelum

sampai kepada keputusan metoda mana yang dianggap paling tepat untuk

dijadikan acuan standar kelulusan dan memberikan proporsi paling banyak bagi

peserta tes untuk dapat lulus.

Mempelajari dan mengkaji begitu banyak penelitian yang terkait dengan

(20)

7

artikel atau jurnal penelitian yang mencoba membandingkan metoda Nedelsky

dan metoda Angoff dalam penentuan standard setting. Muncul suatu gagasan

mengapa harus metoda Nedelsky dan metoda Angoff yang harus dibandingkan?

Berangkat dari suatu asumsi bahwa metoda nedelsky dan Angoff memiliki

prosedur yang lebih mudah diaplikasikan dan lebih mudah dipahami oleh panelis

dan pengguna tes, maka penulis memandang sangat perlu untuk melakukan

penelitian yang mengkaji secara intensif dan komprehensif terhadap kedua

metoda tersebut, dan kemudian membandingkan jumlah proporsi peluang

kelulusan dari masing-masing metoda tersebut. Hasil temuan dari penelitian yang

dilakukan diharapkan akan sangat bermanfaat dan berdaya guna, tidak hanya bagi

pemerintah, tetapi juga bagi sekolah/guru atau praktisi kependidikan dalam

menetapkan standard setting kelulusan yang tepat. Alasan rasional tersebut di atas

yang mendorong peneliti untuk melakukan penelitian dengan membandingkan

metoda Nedelsky dan metoda Angoff dalam penentuan standard setting kelulusan

UN khususnya pada mata pelajaran bahasa Inggris.

Memahami adanya pendekatan, prinsip, dan prosedur yang berbeda antara

metoda Nedelsky dan metoda Angoff dalam menentukan standadr setting

kelulusan maka peneliti mengangkat judul “Komparasi Metoda Nedelsky dan

Angoff dalam Penentuan Standar Setting Kelulusan UN Pada Mata

Pelajaran Bahasa Inggris SMA” sebagai topik utama yang akan diteliti, dikaji,

dianalisis, dan dinterprestasi secara intensif dan komprehensif. Hasil

temuan-temuan dalam penelitian digunakan untuk menginterprestasi dan menggeneralisasi

metoda yang mana yang lebih tepat untuk diaplikasikan.

B. Identifikasi Masalah

Perbaikan terhadap penyelenggaraan dan pelaksanaan UN harus terus

dilakukan untuk mencapai tujuan yang diharapkan dari penyelenggaraan UN

tersebut. Salah satu revisi yang sangat mendasar dan harus segera

diimplementasikan dalam pelaksanaan UN tersebut adalah sistem pendekatan

(21)

8

Beberapa masalah yang dapat diidentifikasi dari sistem penilaian tersebut adalah

sebagai berikut;

1. Terkait dengan nilai minimal pada penilaian akhir untuk semua mata

pelajaran, dijelaskan tentang kriteria kelulusan peserta didik untuk UN,

dimana nilai akhir (NA) merupakan gabungan nilai sekolah dan UN

dengan bobot 40% nilai US dan 60% dari nilai UN. Berdasarkan

pengalaman guru/pendidik bahwa pemberian nilai US oleh sekolah/guru

tersebut tidak mencerminkan kemampuan peserta tes yang sesungguhnya.

2. Penentuan nilai akhir kelulusan juga ditentukan melalui kebijakan

institusi/sekolah, musyawarah guru mata pelajaran (MGMP) yang masih

belum mencerminkan tujuan dilaksanakannya tes. Sekolah yang

berakreditasi A memiliki sumber daya (guru), input siswa, dan sarana dan

prasarana yang lebih memadai dibandingkan dengan sekolah yang

berakreditasi B atau C. Dengan demikian penetapan nilai akhir kelulusan

masih menyesuaikan dengan kondisi di lapangan.

3. Penentuan nilai akhir kelulusan melalui standard setting, baik metoda

yang mendasarkan kepada pertanyaan atau item tes (judgment about test

questions) maupun metoda yang mendasarkan kepada peserta didik (test

taker), menjadi alternatif terbaik dalam menetapkan nilai minimal

kelulusan. Dengan demikian, maka pemerintah sebagai penyelenggara dan

sekaligus penanggung jawab pelaksanaan UN dipandang perlu untuk

merevisi sistem penilaian yang digunakan dengan cara

mengimplementasikan metoda standard setting dalam penentuan batas

minimal kelulusan.

C. Pembatasan Masalah

Sebagai kerangka acuan kajian, analisis, interprestasi, dan upaya

memberikan ruang lingkup yang lebih sistematis dan terarah dalam pembahasan

penelitian ini, maka masalah-masalah dalam penelitian ini dibatasi pada hal-hal

(22)

9

1. Metoda standard setting yang secara khusus akan dibahas secara

komprehensif dalam penentuan nilai akhir kelulusan adalah metoda

Nedelsky dan Angoff.

2. Pembatasan pembahasan terhadap kedua metoda standard setting tersebut

bertujuan untuk memudahkan peneliti dalam membuat interprestasi dan

generalisasi hasil dari temuan-temuan yang diperoleh.

D. Perumusan Masalah

Rumusan masalah yang dikemukan dalam penelitian ini adalah sebagai

berikut:

1. Metoda standard setting yang manakah yang memberikan peluang lebih

besar bagi peserta UN untuk dinyatakan luluspada mata pelajaran bahasa

Inggris SMA dengan kompetensi minimum yang dipersyaratkan?

2. Berapakah jumlah proporsi peluang kelulusan berdasarkan kedua metoda

standard setting Nedelsky dan Angoff tersebut?

E. Tujuan Penelitian

Tujuan dari penelitian ini adalah sebagai berikut, yaitu :

1. Untuk membandingkan hasil judgment panelis terhadap dua metoda

standard setting dalam menentukan cut off score kelulusan UN mata

pelajaran bahasa Inggris SMA.

2. Memperoleh gambaran tentang skor baku (standardized score) peserta tes

hasil dari respon peserta tes terhadap UN bahasa Inggris SMA dengan cut

off score hasil judgement panelis terhadap dua metoda standard setting,

yaitu Nedelsky dan Angoff.

3. Menganalisis proporsi banyaknya peserta tes yang lulus berdasarkan

masing-masing metoda standard setting tersebut, dan kemudian membuat

interprestasi dan generalisasi terhadap metoda standard setting yang

manakah yang memberikan peluang yang lebih besar bagi perserta tes

(23)

10

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu F. Kegunaan Penelitian

Kegunaan hasil penelitian ini dideskripsikan sebagai berikut:

1. Kegunaan Secara Teoritis

Kegunaan penelitian secara teoritis adalah bahwa hasil kajian penelitian

ini akan memperkaya khasanah pengetahuan dan perkembangan ilmu

pendidikan, terutama dalam pengembangan metoda pendekatan penilaian

sehingga hasil temuan penelitian akan menjadi bahan rujukan dalam

menentukan cut off score, baik untuk kepentingan kelulusan UN atau

tes-tes lain yang terstandardisasi, maupun dalam penentuan ketuntasan belajar

(mastery learning) melalui penetapan kriteria ketuntasan minimal (KKM).

2. Kegunaan Secara Praktis

a. Pada tataran tingkat sekolah, hasil penelitian ini dapat memberikan

kontribusi yang positif bagi pemerintah, sekolah/guru, dan praktisi

kependidikan dalam hal mengaplikasikan dan mengimplementasikan

metoda standar setting yang digunakan dalam penilaian (assessment),

dan untuk menyelesaikan masalah-masalah praktis dalam penilaian

hasil pembelajaran.

b. Hasil penelitian memungkinkan untuk didesiminasikan oleh guru-guru

bahasa Inggris melalui kegiatan MGMP sebagai upaya untuk

memberikan input yang bermamfaat dalam membuat keputusan hasil

pendidikan dan memperbaiki praktik penilaian hasil pembelajaran

(24)

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu BAB III

METODOLOGI PENELITIAN

A. Metoda, Waktu dan Tempat Penelitian

Pada Bab III ini akan dibahas berbagai aspek yang berkaitan dengan

metodologi penelitian seperti metoda penelitian, waktu dan tempat penelitian,

sampel penelitian, instrument penelitian, variabel penelitian, definisi operasional

variabel penelitian, alur peneitian, teknik analisis data, dan hipotesis penelitian.

1. Metoda Penelitian

Metoda penelitian yang digunakan dalam penelitian ini adalah metoda

deskriptif kuantitatif. Data kuantitatif yang digunakan dalam penelitian ini adalah

respon peserta UN bahasa Inggris SMA se-Kabupaten Purwakarta tahun pelajaran

2012/2013 dengan barcode soal USB-E08, program IPS. Selain itu, data

kuantitatif penelitian juga berasal dari panelist berupa hasil judgment terhadap

butir soal UN dengan menggunakan metoda standard setting dari Nedelsky dan

Angoff. Hasil judgment panelist tersebut berupa cut off score yang kemudian

digunakan untuk menentukan kelulusan peserta tes dalam UN bahasa Inggris.

2. Waktu dan Tempat Penelitian

Pengumpulan data penelitian dilakukan pada awal bulan Maret 2014. Data

penelitian yang pertama berupa respon peserta tes berasal dari Pusat Penilaian

Pendidikan (PUSPENDIK) Kementrian Pendidikan Nasional Republik Indonesia,

Jakarta. Kegiatan selanjutnya dilakukan pada minggu ke 1 bulan April 2014, yaitu

pengambilan data kuantitatif melalui diskusi panel dengan guru-guru SMA yang

tergabung dalam Musyawarah Guru Mata Pelajaran (MGMP) bahasa Inggris

Kabupaten Purwakarta yang diselenggarakan di SMA Negeri 2 Purwakarta

sebagai sekretariat kegiatan MGMP, yang kemudian beberapa guru tersebut

bertindak sebagai panelis. Kegiatan diskusi panel tersebut berupa pengarahan dan

(25)

69

dengan pendekatan metoda Angoff dan Nedelsky. Untuk metoda Angoff, panelis

menganalisis tingkat kesulitan (difficulty index) butir soal dan memberikan

estimasi berupa proporsi persentase soal yang dijawab benar oleh peserta tes.

Sedangkan untuk metoda Nedelsky, panelist menganalisis keberfungsian

pengecoh (distractor) pada opsi butir soal dan untuk kemudian memberikan

estimasi terhadap opsi tiap butir soal yang dieliminasi atau opsi yang memiliki

probabilitas tidak akan dipilih oleh peserta tes.

Kegiatan berikutnya dilakukan antara kurun waktu bulan April sampai

dengan Mei, yaitu pengolahan dan analisis data sampai kepada tahap akhir

pengolahan dan analisis data, yaitu menggeneralisasi temuan-temuan dalam

penelitian untuk menjawab hipotesis penelitian yang telah diajukan.

B. Instrumen Penelitian

Instrumen yang digunakan untuk penelitian ini adalah sebagai berikut :

1. Data set yaitu berupa respon peserta UN bahasa Inggris SMA tahun

pelajaran 2012/2013 Program IPS dengan barcode USB-E08 dengan

jumlah butir soal sebanyak 50 butir dalam tes objektif pilihan ganda

(multiple choice);

2. Format estimasi yang digunakan oleh panelist dalam menentukan cut off

score kelulusan untuk kedua metoda standard setting Angoff dan

Nedelsky;

3. Format rekapitulasi hasil estimasi panelist dalam menentukan cut off score

untuk kedua standard setting yang digunakan.

C. Populasi dan Sampel Penelitian

Populasi yang digunakan sebagai sumber data dalam penelitian merujuk

kepada suatu kelompok sebjek yang dipilih untuk mewakili seluruh anggota

kelompok. Hal tersebut sejalan dengan pendapat Ali (2011: 82) yang

mendefinisikan populasi sebagai berikut:

„Dalam metodologi riset, kelompok besar subjek riset disebut dengan

(26)

70

mewakili kelompok besar itu disebut dengan sampel subjek atau sampel

riset‟

Sejalan dengan pendapat Ali tersebut, populasi dan sampel yang digunakan dalam

penelitian ini dideskripsikan sebagai berikut:

1. Populasi

Populasi yang digunakan sebagai sumber data penelitian adalah guru bahasa

Inggris SMA yang tergabung dalam MGMP bahasa Inggris se-Kabupaten

Purwakarta yang bertindak sebagai panelis.

2. Sampel

Sampel yang mewakili populasi tersebut adalah guru bahasa Inggris dengan

jumlah 25 panelist.

Ada beberapa teknik penyampelan yang digunakan untuk tujuan

penelitian. Ali (2011: 102) mengklasifikasikan teknik pensampelan sebagai

berikut:

„Secara umum teknik penyampelan dapat dibedakan kedalam dua kategori

utama, yaitu 1) penyampelan berpeluang (probability sampling) dan 2) penyampelan tidak berpeluang (non-probability sampling). Penyampelan berpeluang dilakukan dengan teknik-teknik yang memungkinkan setiap subyek mempunyai peluang yang sama untuk terpilih sebagai anggota sampel. Teknik-teknik yang termasuk ke dalam kategori ini adalah 1)penyampelan random, 2) penyampelan stratifikasi, 3) penyampelan klaster, 4) penyampelan berjenjang. Adapun yang termasuk kategori penyampelan tak berpeluang adalah 1) penyampelan kuota, 2)

penyampelan purposif, dan 3) penyampelan aksidental‟

Berdasarkan pendapat Ali tersebut, teknik penyampelan yang digunakan

untuk tujuan penelitian ini adalah teknik penyampelan stratifikasi. Penulis

mengindentifikasi karakteristik umum populasi, kemudian mengelompokkan

unit-unit populasi yang berkarakteristik sama dalam berbagai strata untuk kemudian

masing-masing strata tersebut dipilih secara random. Karakteristik umum populasi

tersebut adalah sebagai berikut:

1. Guru bahasa Inggris dengan kualifikasi pendidikan sarjana pendidikan

bahasa Inggris;

(27)

71

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu 3. Telah memiliki sertifikasi kependidikan.

Kemudian yang menjadi responden adalah peserta UN SMA program IPS

tahun ajaran 2012/2013 dengan barcode soal USB-E08 se-Kabupaten Purwakarta

sebanyak 134 siswa.

D. Variabel Penelitian

Ada dua variabel bebas dalam penelitian ini, yaitu cut off score dari standard

setting dengan metoda Angoff dan metoda Nedelsky. Sedangkan variabel

terikatnya adalah skor baku peserta tes UN. Menurut pendapat Ali ( 2011:71)

menjelaskan bahwa, “Variabel bebas merupakan variabel yang kemunculannya

diasumsikan menjadi sebab munculnya variabel terikat. Variabel terikat

merupakan variabel yang kemunculannya diasumsikan sebagai akibat dari adanya

variabel bebas.

Pendapat lainnya tentang skor baku juga dikemukakan oleh Naga (2013;117).

Dali menjelaskan bahwa, “Nilai baku adalah letak nilai (jarak) terhadap rerata

yang dinyatakan dengan satuan simpangan baku yakni simpangan baku

jaraknya dari rerata”.

Dari kedua pendapat tersebut di atas dapat disimpulkan bahwa skor baku

adalah skor yang ditunjukan dengan suatu skala dan menggambarkan

(28)

72

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu b. Cut off score

Istilah cut off score (cutscore, cut off score, mastery score, passing grade,

passing score, passing criterion) merupakan istilah umum yang digunakan

dalam standard setting ketuntasan/kelulusan. Zieky & Perie (2005: 2)

menjelaskan bahwa;

‘Cut scores are selected points on the score scale of a test. The points are

used to determine whether a particular test score is sufficient for some purpose. For example, student performance on a test may be classified into one of several categories such as basic, proficient, or advanced on the

basis of cut scores’.

Dari penjelasan yang dikemukakan oleh Zieky & Perie tersebut dapat

disimpulkan bahwa cut off score adalah poin tertentu yang digunakan pada

skala skor hasil test yang digunakan untuk menentukan tingkat penguasaan

terhadap kategori yang telah ditetapkan.

Cut off score dari metoda Nedelsky diperoleh dengan cara merata-ratakan skor

(trimmed mean) dari keseluruhan judgment dengan membuang skor yang

ekstrim, yaitu skor yang tertinggi dan skor yang terendah sedangkan cut off

score dari metoda Angoff diperoleh dengan cara merata-ratakan jumlah

proporsi tiap butir soal yang dijawab betul oleh peserta tes dari keseluruhan

judgment yang ditetapkan panelis.

F. Alur Penelitian

Kegiatan penelitian yang dilakukan melalui tahapan-tahapan berikut ini:

1. Pengolahan data respon peserta tes UN untuk mendapatkan skor mentah

(raw score) dan untuk kemudian skor mentah tersebut ditransformasikan

dengan menggunakan Z score untuk mendapatkan skor baku/skor standar.

2. Pengujian terhadap kelayakan instrumen, yaitu pengujian terhadap

validitas dan reliabilitas perangkat tes yang digunakan.

3. Pengujian terhadap analisis butir soal yaitu pengujian terhadap a) tingkat

kesukaran , b) daya beda, dan c) distraktor.

4. Melaksanakan diskusi panel yang diselenggarakan melalui kegiatan

(29)

73

panelist yang memiliki persyaratan kualifikasi akademik dan persyaratan

administrasi yang bersedia menjadi panelis. Kepada panelis tersebut

dilakukan diskusi mengenai petunjuk pelaksanaan penentuan estimasi

judgment berdasarkan kedua metoda standard setting yang diberikan.

5. Pengolahan data kuantitatif hasil judgment panelis.

6. Penentuan cut off score berdasarkan hasil judgment panelis untuk kedua

metoda standard setting.

7. Menentukan kelulusan peserta UN dengan cara membandingkan skor baku

yang diperoleh peserta tes dengan cut off score dari masing-masing

metoda standard setting.

8. Melalukan pengujian normalitas dan homogenitas data skor panelis.

9. Melakukan pengujian lebih lanjut terhadap data skor panelis.

10.Tahap akhir dari alur penelitian ini adalah menginterprestasi dan

menggeneralisasi keseluruhan hasil temuan-temuan penelitian.

Secara garis besar alur kegiatan penelitian ini digambarkan dalam bagan alur

seperti di bawah ini:

Pengolahan Data Respon Peserta Tes

Pengujian Instrumen Tes

Pengolahan Data Respon Peserta Tes

(30)

74

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu Gambar 3.1 Bagan Alur Kegiatan Penelitian

G. Teknis Analisis Data

Teknis analisis data dalam penelitian ini dilakukan melalui beberapa

tahapan, yaitu:

1. Pengujian persyaratan kelayakan perangkat tes. Uji kelayakan yang

dilakukan adalah pengujian terhadap validitas dan reliabilitas perangkat

tes. Untuk pengujian validitas dilakukan terhadap validitas isi (content Pelaksanaan Diskusi Panel

Pengolahan Data Hasil Judgment Panelis

Penetapan Cut off Score Kelulusan

Pengujian dan Analisis Data dengan Statistik

(31)

75

validity) yaitu melalui uji kecocokan butir soal dengan indikator pada

Standar Kompetensi Kelulusan (SKL).

2. Kemudian uji reliabilitas perangkat tes dengan menggunakan perhitungan

reliabilitas Cronbach Alpha Penggunaan Cronbach Alpha dikarenakan

skor yang akan didapat berupa skor dikotomi. Berikut persamaan yang

digunakan untuk menghitung koefisien reliabilitas (Juliandi, 2014: 2)

Untuk dijadikan pegangan, para pakar terkait biasanya hanya

menyarankan agar pelaku riset menghindari penggunaan instrumen yang

memiliki derajat kereliabelan rendah. Secara kuantitaif, derajat

kereliabelan dianggap rendah apabila indeks yang diperoleh dari hasil

pengujian adalah sama dengan atau lebih dari 0.40 (r Ali (2011:

141).

3. Pengolahan data hasil respon peserta tes. Kegiatan menginput data hasil

respon peserta tes dimaksudkan mengolah data tersebut untuk

mendapatkan skor mentah (raw score). Data mentah tersebut kemudian

diolah dengan cara mencari standar deviasinya dan ditransformasikan

kedalam z score untuk mendapatkan skor baku/standar. Untuk

mendapatkan skor mentah (raw score), peneliti menggunakan rumus

sebagai berikut.

(32)

76

Dan kemudian untuk mendapatkan skor baku, peneliti menggunakan

rumus sebagai berikut;

Z = x (Susetyo, 2011: 37)

dimana:

Z = z skor, X = skor x = rata-rata, S = standar deviasi atau simpangan

baku

Untuk menghindari skor yang bertanda negatif maka digunakan T skor

dimana T skor menggunakan rata-rata X = 50, dan simpangan baku, S =

10, dengan rumus;

Skor baku = 50 + 10z (Susetyo, 2011: 38)

4. Melakukan analisis perangkat tes seperti uji tingkat kesukaran soal

(difficulty level), daya beda (item discrimination), dan keberfungsian

distractor (item functioning respon) dengan menggunakan teori tes klasik

(classical test theory).

a. Untuk menghitung tingkat kesukaran soal (difficulty level), peneliti

menggunakan rumus sebagai berikut:

Pi = 0.5 (PTi + PRi), (Susetyo, 2011: 156)

Dimana;

PTi =

fi = peserta yang menjawab benar

PTi = taraf kesukaran butir tes untuk kelompok tinggi ke-I

M = jumlah peserta test

PRi =

fi = peserta yang menjawab benar

(33)

77

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu M = jumlah peserta tes

Pembagian tingkat kesukaran menurut Witherington seperti yang

dikutip Susetyo (2011: 154) adalah sebagai berikut:

Tabel 3.1 Tingkat Kesukaran Butir Soal

Rentang Tingkat Kesukaran

0,00 ≤ P ≤ 0,24 Sukar

0,25 ≤ P ≤ 0,74 Sedang

0,75 ≤ P ≤ 1,00 Mudah

b. Untuk menghitung daya beda butir soal (item discrimination) digunakan

rumus;

DP = (Puspendik, 2008: 4)

dimana,

DP : daya pembeda

KA : banyak siswa pada kelompok atas yang menjawab benar

KB : banyak siswa pada kelompok bawah yang menjawab benar

N : banyaknya siswa

Pembagian daya beda menurut Ebel R. (1979: 267) seperti yang dikutip

Susetyo (2011: 161) sebagai berikut:

Tabel 3.2 Indeks Daya Beda

Indeks Daya Beda Keterangan

0,70 ≤ D ≤ 1,0 Butir memiliki daya beda baik sekali

0,40 ≤ D ≤ 0,69 Butir memiliki daya beda cukup baik

0,30 ≤ D ≤ 0,39 Butir memerlukan revisi sedikit atau tidak

0, 20 ≤ D ≤ 0,29 Butir memerlukan revisi atau disisihkan

(34)

78

c. Untuk menghitung keberfungsian distraktor peneliti menggunakan

rumus;

ρxi = X 100% (Susetyo, 2011: 170)

dimana,

M = jumlah responden

ρxi = proporsi masing-masing pilihan jawaban suatu butir tes Fxi = frekwensi masing-masing pilihan jawaban suatu butir tes.

Susetyo (2011: 172) menjelaskan bahwa suatu distraktor berjalan

dengan baik apabila dapat menggiring peserta tes untuk memilihnya

dan sekurang-kurangnyatelah dipilih oleh peserta minimal 5% dari

jumlah keseluruhan peserta tes.

5. Pengolahan data hasil judgment panelis akan berupa cut off score

kelulusan. Penetapan cut off score dengan metoda Nedelsky digunakan

rumus;

trimmed mean = x

dimana:

x = jumlah skor

N = jumlah panelist

Untuk penghitungan dengan cara trimmed mean, skor yang ekstrim yaitu

skor tertinggi dan skor terendah tidak dihitung atau dieliminasi.

Sedangkan untuk cut off score metoda Angoff digunakan rumus;

dimana:

x = rata rata skor estimasi panelis

(35)

79

6. Melakukan uji validasi internal terhadap hasil judgment panelis, melalui:

a. analisis konsistensi metoda dengan cara mengestimasi standar error of

judgment(SEj) dengan rumus:

SD

metoda yang digunakan. Analisis dilakukan dengan cara melihat

simpangan baku cut off score dari masing-masing metoda. Kriteria

pengujian terhadap konsistensi inter-judge adalah bahwa kelayakan

suatu metoda dapat dilihat dari nilai simpangan bakunya. Apabila

simpangan baku yang diperoleh semakin kecil maka semakin layak

metoda tersebut digunakan.

7. Mentabulasikan data hasil pengolahan respon peserta tes yaitu berupa skor

baku dengan cut off score dari masing-masing metoda standard setting;

8. Pengujian data analisis lebih lanjut yaitu dengan menggunakan uji statitika

sebagai berikut:

a. Uji normalitas data dilakukan untuk mengetahui apakah data

berdistribusi normal atau tidak. Pengujian normalitas data

dilakukan dengan menggunakan formula dari statistik uji Lilliefors

(36)

80

b. Uji statistika berikutnya adalah uji homogenitas varian (uji Levine).

Untuk menguji apakah ragam populasi dari dua sampel

diasumsikan homogen atau tidak maka dilakukan uji homogenitas.

Untuk itu, asumsi homogenitas ragam populasi dari 2 sampel ini

perlu diuji terlebih dahulu. Semua pengujian dilakukan dengan

taraf kepercayaan 5% (α = 0.05)

c. Apabila diasumsikan bahwa ragam populasi dari kedua sampel

adalah homogen maka langkah selanjutnya dilakukan pengujian

statistika dengan uji-t 2 sampel independen. Uji-t (t-test) yang

digunakan adalah untuk sampel berpasangan dimana sampel

berasal dari subjek yang sama.

Untuk pengujian hipotesis dengan uji-t tersebut ditetapkan

hipotesis sebagai berikut:

Angoff dalam penetapan jumlah proporsi kelulusan.

HA = Ada perbedaan antara metoda Nedelsky dan Angoff

dalam penetapan jumlah proporsi kelulusan.

Untuk pengujian perbedaan dua rata-rata populasi ( ),

masing-masing diketahui maka menggunakan rumus sebagai

(37)

81

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu Kriteria Pengujian

Taraf nyata atau signifikansi α, untuk pengujian dua pihak adalah:

H0 diterima jika –z ½ (1-α) < z < z 1/2 (1-α) diperoleh dari daftar

distribusi normal baku dengan peluang ½ (1 – α ), sebaliknya H0

(38)

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu BAB V

SIMPULAN DAN SARAN

Pada Bab V ini akan dibahas beberapa kesimpulan dari hasil

temuan-temuan yang telah dilakukan setelah proses penelitian. Hasil temuan-temuan-temuan-temuan

tersebut akan digunakan untuk menggeneralisasi hasil penelitian dan menjawab

hipotesis penelitian yang telah ditetapkan. Selanjutnya peneliti akan

menyampaikan saran-saran yang mungkin akan sangat bermamfaat bagi pembaca

umumnya dan bagi sekolah/guru pada khususnya terkait dengan

pengimplementasian standard setting untuk tujuan-tujuan tertentu misalnya untuk

penetapan KKM maupun ketuntasan belajar dan kelulusan.

1. Simpulan

Setelah melalui proses pengumpulan, pengolahan, dan analisis data,

kesimpulan dari hasil penelitian ini adalah sebagai berikut;

Berdasarkan hasil temuan dari penelitian ini, peneliti memutuskan untuk

menerima H0 yang artinya tidak ada perbedaan yang signifikan antara metoda

Nedelsky dan metoda Angoff dalam penentuan jumlah proporsi kelulusan peserta

tes pada UN mata pelajaran bahasa Inggris. Dengan demikian, kedua metoda

tersebut dapat diaplikasikan secara terpisah dalam penetapan cut off score

kelulusan peserta UN.

2. Saran

Sebagai upaya pengimplementasian standard setting baik untuk keperluan

penetapan KKM ataupun kelulusan, peneliti memiliki saran yang mungkin sangat

bermamfaat bagi pembaca umumnya dan bagi sekolah/guru/praktisi kependidikan

pada khususnya. Beberapa saran tersebut diantaranya adalah sebagai berikut;

a. Standard setting merupakan salah satu referensi yang bisa digunakan oleh

sekolah/guru/praktisi kependidikan ketika kita ingin melakukan penilaian

(39)

101

b. Standard setting juga merupakan teknik pendekatan yang relatif mudah untuk

diaplikasikan dalam menentukan batas KKM atau kelulusan peserta didik,

selama perangkat soal yang disusun untuk keperluan test tersebut memiliki

persyaratan kelayakan dalam penggunaannya. Keterlibatan panelist dalam

menentukan judgment, hendaknya guru/praktisi pendidikan yang telah

mengampu mata pelajaran tertentu sedikitnya lima tahun, memahami tentang

konsep pengukuran dan penilaian pembelajaran secara umum.

c. Untuk mengaplikasikan standard setting dengan metoda Nedelsky dan Angoff,

disarankan untuk memberi waktu yang cukup pada panelist. Menganalisis

tingkat kesulitan soal dan daya pengecoh opsi butir soal memerlukan waktu

yang relatif lama untuk mendapatkan estimasi yang tepat.

d. Hasil penelitian ini masih jauh dari sempurna, dengan demikian peneliti akan

mengapresiasi apabila ada pihak terkait yang juga memiliki ketertarikan untuk

(40)

Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu DAFTAR PUSTAKA

Ali, Mohammad. (2011). Memahami Riset Prilaku dan Sosial. Bandung: Pustaka

Cendikia Utama

Anastasi, Anne. (2006). Tes Psikologi.Jakarta : Indeks Kelompok Gramedia.

Bechger, Timo, at all. (2003). The Nedelsky Model for Multiple Chioce Item.

Measurement and Research Departement Report: CITO National Institute

for Educational Measurement Arnhem.

Chang, Lei. (2004). Setting Standards and Detecting Intrajudge Inconsistency

Using Interdependent Evaluation of Response Alternatives. Educational

and Psychological Measurement, Volume 64 No. 5, Oktober 2004,

SAGE . Publication USA.

Connoley, Rob. (2004). Criterion-Referenced Assessment Educational

Developer/Lecturer Teaching & Learning, Faculty of Business & Law

Deakin university.

Corder, Gregory w and Foreman, Dale I. Nonparametrik Statistics for

Non-Statisticians. Wiley: A John Wiley & Sons, Inc., Publication.

Direktorat Jenderal Pendidikan Dasar dan Menengah.(2013). Pedoman Khusus

Pengembangan Silabus dan Penilaian, Jakarta: Direktorat Jenderal

Pendidikan Dasar dan Menengah.

Green, Sylvia. (2012), Criterion Referenced Assessment as A Guide to Learning

The Importance of Progression and Reliability, A Paper presented at the

association for the study of evaluation in education in Sothern Africa

(41)

103

Hadi, Samsul, (2012). Menentukan Batas Kelulusan (Standard Setting) dengan

Metoda Angoff. Disajikan pada workshop penentuan standard setting bagi

guru SMK kelompok teknologi dan rekayasa 29 Desember 2012,

Yogjakarta: Lembaga Penelitian dan Pengabdian Kepada Masyarakat

UNY.

http ://www.azuarjuliandi.com

Huang, Tsai-Wei. Comparing Standard Toughness Through Weighted and

Unweighted Scores by Three Standard Setting Procedures. K@ta: Journal

of Technology Research pp.12-13.

Livingstone, Samuel A. (1982). Passing Scores. USA: Educational Testing

Service

Mardapi, Dj. dan Ghofur, A. (2004). Pedoman Umum Pengembangan Penilaian;

Kurikulum Berbasis Kompetensi SMA. Jakarta: Direktorat Pendidikan

Menengah Umum.

Morgan, Deanna, L. (2011; 1)). Setting Cut Score on Multiple Choice Test. The

College Board Accuplacer Conference, pp.

Nunally, Jum C. (1978). Psychometric Theory, Second Edition, New Delhi: Tata

Mc Grawhill Publishing Company LTD.

Naga, Dali Santun, 2013, Teori Sekor Pada Pengukuran Mental, Jakarta:

Nagarani Citrayasa.

Peraturan Menteri Pendidikan Nasional Republik Indonesia Nomor 24 Tahun