Dasar dan Prosedur Pengembangan Klasifikasi Skor Hasil Pengukuran
Oleh Wahyu Widhiarso Unit Pengembangan Alat Ukur
Fakultas Psikologi Universitas Gadjah Mada
Latar Belakang
Latar Belakang ... 1
Latar Belakang ... 1
Prosedur Pengembangan ... 2
Landasan Pengembangan Klasifikasi ... 3
Beberapa Teknik Pengembangan Klasifikasi... 3
1. Klasifikasi Skor berdasarkan Kriteria ... 3
2. Klasifikasi Berdasar Statistik Teoritik ... 4
3. Distribusi Normal ... 4
4. Persentil ... 5
5. Indeks Klasifikasi ... 5
6. Rasch Score ... 6
7. Kelas Laten ... 7
Latar Belakang
Salah satu muara akhir dari proses pengukuran adalah mengenai klasifikasi informasi mengenai individu yang diukur (Cronbach & Gleser, 1957)
Peneliti sudah banyak yang melakukan penelitian untuk mengkaji dua tantangan umum untuk penilaian berbasis tingkat (level-based assessments). Tantangan pertama adalah menetapkan definisi yang jelas mengenai arti skor pada setiap level. Tingkat capaian individu sering dilaporkan melalui skala konseptual kontinyu dan didefinisikan sebagai rentang kecakapan yang bersifat laten. Pada pendekatan ini definisi capaian individu seringkali terdefinisikan dengan baik sebagai sebuah level. Definisi yang lebih jelas ditawarkan oleh penilaian berbasis level dengan menggunakan skala Guttman. Pada pendekatan ini individu di tingkat pencapaian yang lebih tinggi diasumsikan telah menguasai keterampilan yang sama dengan mereka yang berada di tingkat yang lebih rendah, ditambah keterampilan tambahan yang tidak dimiliki oleh mereka yang berada di tingkat yang lebih rendah. Jika definisi ini dapat dimasukkan dengan jelas ke dalam penilaian berbasis tingkat non-Guttman, menurut Schulz dkk (1999) tantangan pertama akan terpenuhi. Tantangan kedua adalah mengestimasi karakteristik skor level secara teknis. Ketika tes digunakan untuk mengklasifikasikan individu ke dalam level-level sepanjang suatu kontinum,
pengembang tes harus melaporkan informasi psikometrinya, misalnya, eror standar pengukuran pada batas-batas di suatu level dan persentase individu yang akan diklasifikasikan secara tepat oleh tes-tes yang paralel.
Prosedur Pengembangan
Pengembangan klasifikasi individu berdasarkan skor hasil pengukuran dilakukan dalam beberapa tahap, tergantung pendekatan yang dilakukan. Pada umumnya proses pengembangan dimulai pada saat pengembangan instrumen pengukuran. Hal ini dikarenakan karakteristik instrumen pengukuran yang dihasilkan akan menentukan bagaimana skor yang dihasilkan akan diklasifikasikan serta bagaimana memaknai klasifikasi yang dihasilkan. Secara umum tahap pengembangan klasifikasi dapat dibagi menjadi tiga tahap berikut ini.
1. Pengembangan Instrumen 2. Pengumpulan data 3. Analisis data 4. Penentuan skor cutoff
5. Interpretasi terhadap tiap kategori
Dalam pengembangan instrumen pengukuran, peneliti biasanya menggunakan pendekatan yang berbeda-beda yang didasarkan pada tujuan pengukuran (misalnya seleksi atau diagnosis) dan karakteristik atribut yang diukur (misalnya kemampuan atau kepribadian). Sebagai contoh, instrumen untuk tujuan seleksi akan mengklasifikasikan individu berdasarkan level yang berjenjang, misalnya rendah, sedang dan tinggi. Instrumen yang bertujuan untuk melakukan diagnosis akan mengklasifikasikan individu berdasarkan karakteristik yang bersifat nominal misalnya karakteristik tipe A dan tipe B. Instrumen yang ditujukan untuk mengukur kemampuan banyak yang menekankan pada penjenjangan individu sehingga dari awal pengembangannya kisi-kisi atau rubrik yang memuat domain ukur dan capaian yang diinginkan sudah ditetapkan. Dalam bidang pendidikan, proses ini ditegakkan sebagai bagian dari pengembangan lingkup standar (standard setting) dalam proses pengukuran dan evaluasi terhadap peserta didik.
Sementara itu pada instrumen yang mengukur atribut non kemampuan, penjenjangan dapat dilakukan sejak instrumen dikembangkan pada tahap penentuan spesifikasi tes maupun setelah instrumen diadministrasikan dalam proses uji coba atau penormaan. Sebagai contoh, pada instrumen yang mengukur depresi penyusun menulis seperangkat butir yang memiliki jenjang berbeda-beda dalam hal intensitas gejala untuk menunjukkan depresi, misalnya dari munculnya rasa cemas hingga adanya intensi bunuh diri. Adanya penjenjangan butir berdasarkan intensitasnya ini akan mendukung pembuatan klasifikasi individu dalam hal depresi semakin mudah. Titik tertentu yang dapat menunjukkan level depresi individu termasuk sedang atau berat dapat lebih mudah ditemukan.
Namun demikian, tidak semua atribut psikologis yang terkait dengan aspek non kemampuan memiliki jenjang yang jelas. Teori mengenai atribut ukur tersebut akan mengendalikan bagaimana karakteristik instrumen yang dihasilkan. Sebagai contoh, pemakaian teori yang melihat pengelolaan emosi sebagai kemampuan akan menghasilkan instrumen yang menunjukkan derajat kemampuan individu dalam keakuratan dalam mengenali emosi diri dan orang lain hingga ketepatan dalam menanggapi berdasarkan emosi yang dikenali (???). Sama halnya dengan tes yang terstandar yang mengukur kemampuan, klasifikasi skor yang menunjukkan perbedaan kemampuan dalam mengelola emosi dapat dengan mudah dikembangkan.
Sebaliknya, jika teori yang dipakai dalam pengembangan instrumen melihat bahwa pengelolaan emosi merupakan sebuah atribut non kemampuan, maka penjenjangan terhadap skor yang dilakukan berdasarkan distribusi skor.
Teori-teori mengenai atribut-atribut yang bersifat non kemampuan banyak yang tidak menjelaskan informasi mengenai jenjang indikator-indikator hingga mendetail. Dengan menggunakan teori seperti ini maka tujuan pengukuran yang dilakukan adalah untuk membedakan individu seoptimal mungkin tanpa memiliki titik awal (baseline) yang dapat dijadikan acuan. Pada konteks ini instrumen yang dihasilkan dari teori yang sama dapat memiliki karakteristik yang berbeda sehingga jika skornya dibandingkan harus melalui prosedur tertentu.
Landasan Pengembangan Klasifikasi
1. Kriteria
Pengembangan klasifikasi berdasarkan kriteria dinamakan juga pengembangan secara absolut. Hal ini dikarenakan pengembangan ini tidak terkait dengan kondisi atau karakteristik dari individu yang dikenakan tes. Klasifikasi berdasarkan kriteria ditentukan oleh pengembang tes dengan menekankan pada berbagai macam pertimbangan, misalnya tujuan pengukuran, ketercapaian kemampuan yang dikuasai. Klasifikasi skor individu berdasarkan pada kriteria didukung oleh karakteristik alat ukur yang cenderung bersifat sistematis, misalnya memilik domain-domain ukur yang sudah ditentukan baik konten maupun bobotnya. Implikasi dari sifat yang sistematis ini salah satunya adalah susunan maupun struktur butir yang mendukung bobot domain ukur maupun jumlah butir yang bersifat menetap antara satu seri tes dengan seri lainnya.
2. Norma
Perbedaan penting lainnya antara pengukuran yang mengacu pada norma dan pengukuran berbasis pada kriteria, adalah lokasi dan visibilitas penilaian. Semua pengukuran selalu melibatkan justifikasi mengenai apa yang penting untuk diukur dan seberapa penting setiap aspek yang diukur. Ketika kinerja siswa pada sebuah tes dapat dievaluasi, skor dan umpan balik dapat diberikan. Kedua pendekatan ini, melibatkan justifikasi untuk mendefinisikan apa yang dianggap penting. Dalam pengukuran berbasis standar, justifikasi ini dapat secara eksplisit dijelaskan kepada guru dan siswa. Pada pengukuran yang menggunakan referensi pada norma, justifikasi terhadap aspek-aspek yang penting untuk diukur tetap diperlukan. Hal ini dikarenakan spesifikasi alat ukur, desain dan pilihan format butir pengembangannya didasarkan pada hal tersebut. Bedanya dengan pengukuran yang berbasis pada kriteria, informasi ini tidak diberikan secara eksplisit kepada guru atau siswa (Shannon, 2011).
Beberapa Teknik Pengembangan Klasifikasi
Klasifikasi individu berdasarkan hasil penyekoran dapat dibagi menjadi klasifikasi absolut dan klasifikasi relatif.
Keduanya menggunakan dasar yang berbeda dalam menentukan nilai cutoff yang akan dipakai sebagai dasar membuat klasifikasi skor. Teknik klasifikasi absolut menggunakan landasan teoritik baik berupa kebijakan, target atau pertimbangan lain. Sementara itu teknik klasifikasi relatif menggunakan informasi yang didapatkan dari data hasil pengadministrasian instrumen pengukuran.
1. Klasifikasi Skor berdasarkan Kriteria
Klasifikasi skor berdasarkan seting standar (standard setting) pengembangannya dilakukan pada awal pengembangan instrumen karena standarisasi dimulai dari semua proses yang terkait dengan pengukuran dari awal hingga akhir. Pada pendekatan ini, spesifikasi alat ukur (test specification) dikembangkan secara sistematis sehingga kisi-kisi tes dan butir-butir soal yang ditulis serta komposisinya mendukung tujuan pengukuran yang telah ditetapkan. Cutoff score pada pendekatan ini telah ditetapkan semenjak awal mengikuti sebuah acuan tertentu sehingga klasifikasi individu berdasarkan skor yang didapatkan tinggal mengikuti struktur yang telah ditetapkan.
Pada pendekatan ini, penentuan nilai cutoff score ini didapatkan dari berbagai macam teknik, misalnya teknik Nedelsky, Ebel, Angoff, Jaeger dan sebagainya. Dalam penilaian berbasis pada seting standar, skor agregat individu dapat dimaknai secara standar. Misalnya, rentang skor agregat dapat ditetapkan sebagai “melebihi
standar”, “memenuhi standar”, “hampir memenuhi standar”, atau “jauh di bawah standar”. Beberapa karakteristik klasifikasi skor berdasarkan kriteria adalah sebagai berikut:
- Domain-domain ukur terdefinisikan dengan jelas dan sistematis - Cutoff score ditentukan semenjak awal berdasarkan spesifikasi alat ukur - Melibatkan professional judgment dalam penyusunan klasifikasi
2. Klasifikasi Berdasar Statistik Teoritik
Beberapa pengembang tes telah mempertimbangkan bahwa distribusi skor yang dihasilkan melalui instrumen pengukuran yang dikembangkannya diharapkan sama dengan distribusi skor di dalam populasi. Pada pendekatan ini nilai tengah atau median dari skor hipotetik diasumsikan merupakan estimator terbaik terhadap rerata skor pada populasi individu sasaran ukur. Sebagai contoh seorang pengembang tes membuat 10 butir dengan format Likert dengan skor butir bergerak antara 1 hingga 4. Berdasarkan informasi ini didapatkan bahwa rentang skor yang memungkinkan untuk didapatkan oleh responden adalah 10 (didapatkan dari skor butir 1 kali 10 butir) hingga 40 (didapatkan dari skor butir 4 kali 10). Nilai tengah antara 10 dan 40 adalah 25. Skor 25 ini diasumsikan sebagai rerata skor teoritik dari populasi. Dengan demikian, individu yang mendapatkan skor di atas 25 dapat diklasifikasikan berada pada kategori tinggi dan sebaliknya yang mendapatkan skor di bawah 25 termasuk dalam kategori rendah. Untuk membuat klasifikasi yang lebih dari dua kategori, pengembang dapat menghitung deviasi standar teoritik yang didapatkan dari rentang skor yang memungkinkan didapatkan dari pengukuran dibagi 6 yang merupakan representasi dari kurva normal yang memiliki 6 bagian berdasarkan deviasi standar. Pendekatan ini memiliki beberapa karakteristik antara lain sebagai berikut:
- Distribusi skor teoritis diasumsikan setara dengan distribusi skor empirik pada populasi
- Butir-butir soal pada instrumen ukur mengukur atribut individu dengan level sedang sehingga cenderung memiliki tingkat kesulitan atau level persetujuan (endorsability level) yang sedang. Jika tingkat kesulitan butir pada skala ini rendah maka nilai tengah skor dikhawatirkan tidak merepresentasikan populasi individu pada umumnya.
- Klasifikasi diterapkan pada individu di dalam populasi yang memiliki karakteristik umum
3. Distribusi Normal
Pada pendekatan ini klasifikasi skor dilakukan dengan menggunakan rerata dan deviasi standar empirik yang didapatkan dari pengukuran pada sampel normatif. Kategori tinggi biasanya didapatkan dari skor di atas rerata atau skor di bawah rerata plus 1 deviasi standar. Hal yang sama juga berlaku untuk kategori rendah yaitu skor di bawah rerata atau skor di bawah rerata minus 1 deviasi standar. Contoh klasifikasi skor dengan menggunakan distribusi normal dapat dilihat pada Gambar 1. Klasifikasi berdasarkan distribusi normal banyak dipakai pada tes- tes yang mengukur kemampuan seperti tes inteligensi atau tes bakat yang mengklasifikasikan skor individu berdasarkan simpangannya dari rerata. Namun ada juga beberapa alat ukur yang mengukur atribut non kemampuan (misalnya trait) mengklasifikasikan skor individu berdasarkan distribusi normal, misalnya NEO PIR.
Gambar 1. Contoh Peta Butir Individu dalam Pengembangan Klasifikasi Skor
Untuk mendapatkan statistik deskriptif (rerata dan deviasi standar) yang benar-benar merepresentasikan populasi dengan akurat, ada beberapa hal yang perlu dipertimbangkan. Pertimbangan tersebut antara lain sebagai berikut:
- Pengambilan sampel dilakukan secara random - Ukuran sampel yang dilibatkan sangat besar
- Sampel yang dilibatkan dipilih berdasarkan sampling frame tertentu untuk mengakomodasi adanya perbedaan berdasarkan segmentasi individu di dalam populasi, misalnya demografi.
Dengan menggunakan sampel yang benar-benar merepresentasikan populasi maka klasifikasi yang dihasilkan akan memiliki konsistensi dan akurasi yang tinggi.
4. Persentil
Skor persentil atau rangking persentil menunjukkan berapa persentase individu dalam kelompok hasil penormaan yang mendapat skor lebih rendah dari skor tertentu. Misalnya, jika seorang siswa mencapai skor yang setara dengan median dari sampel normatif, siswa tersebut akan masuk dalam peringkat persentil 50 karena nilainya melebihi nilai 50 persen dari kelompok norma. Jika penyusun tes mengurutkan kelompok yang terdiri dari 30 siswa dari bawah ke atas berdasarkan instrumen pengukuran tertentu, siswa ke-25 dari bawah akan mendapat nilai dalam persentil ke-83 (25/30 x 100 = 83,3). Sama dengan klasifikasi berdasarkan kurva normal harga persentil diharapkan dari sampel yang diambil secara random dan memiliki ukuran yang sangat besar agar dapat merepresentasikan populasi dengan tepat. Klasifikasi skor individu berdasarkan persentil banyak dipakai dalam pengukuran yang bersifat non kemampuan.
5. Indeks Klasifikasi
Beberapa peneliti mengembangkan sebuah indeks yang membantu penyusun tes untuk melakukan klasifikasi individu berdasarkan skor hasil pengukuran. Indeks ini merepresentasikan akurasi dan konsistensi klasifikasi yang individu dihasilkan dari suatu alat ukur. Konsistensi klasifikasi menunjukkan tingkat kesepakatan antara klasifikasi berdasarkan dua bentuk tes paralel secara acak (Livingston & Lewis, 1995). Akurasi klasifikasi mengacu pada sejauh mana klasifikasi yang diamati sesuai dengan yang didasarkan pada skor benar peserta ujian (Lee, Hanson,
& Brennan, 2002). Secara umum, metode untuk menghitung indeks konsistensi klasifikasi bergantung pada:
- Jenis butir (dikotomi, politomi, atau kombinasi keduanya)
- Jenis skor (skor mentah, skor skala, atau skor gabungan pada serangkaian kategori) - Jenis indeks (konsistensi klasifikasi secara keseluruhan atau kondisional)
- Estimasi terhadap distribusi skor murni (pendekatan distribusi versus pendekatan individual) - Bobot yang berbeda untuk item
- Ketersediaan software pendukung analisis
Peran dasar suatu model yang dipakai dalam melakukan estimasi terhadap indeks klasifikasi adalah untuk estimasi terhadap distribusi skor laten, estimasi terhadap distribusi skor tampak. Tiga komponen dalam membangun model untuk keperluan tersebut adalah: distribusi skor murni, distribusi skor tampak dan varians eror kondisional. Ketiga hal ini akan memberikan pengaruh yang cukup besar pada keakuratan dan konsistensi indeks klasifikasi (Lee et al., 2002).
6. Rasch Score
Klasifikasi berdasarkan skor didapatkan dari estimasi kemampuan atau trait individu dengan menggunakan butir- butir yang telah dikalibrasi dengan menggunakan Model Rasch. Pada pendekatan ini, tingkat kesulitan butir yang menunjukkan tingkat kesulitan (atau daya persetujuan responden dengan pernyataan) dan biasanya terkait dengan intensitas tertentu telah memiliki metrik yang sama dengan level yang menunjukkan atribut yang ukur. Parameter tingkat kesulitan butir ini seringkali dinamakan dengan parameter lokasi butir karena menunjukkan lokasi butir dalam kontinum jenjang atribut ukur dari rendah hingga tinggi. Dengan menggunakan peta butir-orang (item-person map), penyusun dapat mengetahui titik potong yang dapat dipakai untuk mengembangkan klasifikasi individu berdasarkan sebaran tingkat kesulitan butir.
Klasifikasi yang dihasilkan dari pendekatan ini sangat tergantung dari distribusi parameter lokasi butir. Klasifikasi skor akan sangat mendetail jika distribusi parameter lokasi butir ini memiliki rentang yang lebar, misalnya dari sangat rendah (nilai logit = -3) hingga sangat tinggi (nilai logit = 3). Sebaliknya klasifikasi yang dihasilkan akan kurang mendiskriminasikan individu jika rentang parameter lokasi butir bergerak antara bawah rerata (nilai logit = -1) hingga atas rerata (nilai logit = 1).
Gambar 2. Contoh Peta Butir Individu dalam Pengembangan Klasifikasi Skor
Klasifikasi yang dilakukan dengan menggunakan pendekatan Rasch Model memiliki kelebihan dalam hal konsistensi karena klasifikasi yang dihasilkan tidak dipengaruhi karakteristik individu yang dilibatkan dalam kalibrasi butir. Dengan demikian, jika penyusun ingin menambahkan rentang distribusi parameter lokasi, dia dapat menyusun butir dengan menambahkan atau mengurangi kadar intensitas ukur butir. Tujuannya adalah untuk mendapatkan butir yang memiliki lokasi yang belum terjangkau oleh komposisi butir instrumen pada versi awal.
7. Kelas Laten
Individu-individu di dalam populasi terbagi dalam suatu kategori. Kategori ini ada yang bersifat empirik (misalnya tingkat pendidikan) dan ada yang bersifat laten yang informasinya didapatkan melalui proses analisis, salah satunya adalah analisis kelas laten. Kategori-kategori (kelas) yang bersifat laten ini dapat diketahui melalui pola jawaban terhadap suatu tes atau respons terhadap kuesioner (Dantlgraber, Wetzel, Schützenberger, Stieger, &
Reips, 2016). Dengan menggunakan analisis kelas laten, penyusun instrumen dapat mengetahui apakah kelas- kelas yang dihasilkan dari analisis kelas laten dapat menunjukkan suatu jenjang yang dapat dipakai sebagai dasar melakukan klasifikasi individu.
Gambar 3. Contoh Hasil Analisis Kelas Laten pada 10 butir Skala Psikologi
Gambar 3 menunjukkan contoh hasil analisis kelas laten yang menemukan bahwa individu berdasarkan 10 butir pada sebuah skala psikologi. Melalui hasil analisis yang dilakukan, klasifikasi individu yang paling tepat untuk diterapkan pada instrumen ini adalah tiga kelas. Ketiga kelas tersebut ternyata menunjukkan perbedaan individu dalam menyetujui butir-butir yang ada pada instrumen ukur. Individu-individu yang masuk pada kategori berwarna biru diklasifikasikan masuk pada individu dengan skor rendah karena cenderung tidak menyetujui butir-butir yang diberikan kepada mereka. Sementara itu individu-individu yang masuk pada kelas berwarna abu-abu merupakan individu yang masuk pada jenjang skor tinggi karena cenderung menyetujui butir-butir yang ada pada instrumen yang diberikan. Dengan kata lain, cara terbaik untuk mengidentifikasi individu masuk dalam kelas yang paling tepat dapat dilakukan dengan menggunakan grafik hasil dari analisis. Sebagai contoh, hasil analisis memperkirakan ada tiga probabilitas keanggotaan untuk setiap peserta. Masing-masing berpeluang untuk menjadi anggota dari tiga kelas yang dihasilkan. Para peserta kemudian dapat dialokasikan ke salah satu kelas yang memiliki harga probabilitas tertinggi pada suatu kelas.
DAFTAR PUSTAKA
Dantlgraber, M., Wetzel, E., Schützenberger, P., Stieger, S., & Reips, U.-D. (2016). Simple construct evaluation with latent class analysis: An investigation of Facebook addiction and the development of a short form of the Facebook Addiction Test (F-AT). Behavior Research Methods, 48(3), 869-879. doi:10.3758/s13428-016- 0716-2
Lee, W.-C., Hanson, B. A., & Brennan, R. L. (2002). Estimating Consistency and Accuracy Indices for Multiple Classifications. 26(4), 412-432. doi:10.1177/014662102237797
Livingston, S. A., & Lewis, C. (1995). Estimating the Consistency and Accuracy of Classifications Based on Test Scores. 32(2), 179-197. doi:https://doi.org/10.1111/j.1745-3984.1995.tb00462.x
Schulz, E. M., Kolen, M. J., & Nicewander, W. A. (1999). A Rationale for Defining Achievement Levels Using IRT- Estimated Domain Scores. 23(4), 347-362. doi:10.1177/01466219922031464
