BAB V INSTRUMEN EVALUASI PROGRAM
C. Penyusunan Instrumen
Sebelum melakukan penyusunan instrumen evaluasi program maka evaluator program terlebih dahulu menentukan instrumen yang digunakan dalam evaluasi program, dalam hal ini sangat dipengaruhi oleh karakteristik program yang dievaluasi, aspek-aspek dari program yang dievaluasi dan data yang ingin dikumpulkan.
Petunjuk umum tentang penyusunan instrumen dipaparkan oleh Brinkerhoff sebagaimana dikutip Tayibnapis (2000:104-105) sebagai berikut: 1. Apa konten yang diperlukan?
Hal ini langsung berhubungan dengan variabel yang telah ditentukan sebelumnya. Konten instrumen harus dibatasi sebatas apa yang termasuk dalam variabel.
2. Apa dan bagaimana bahasa yang akan dipakai?
Hal ini tergantung dari responden yang akan menjawab instrumen, apakah responden termasuk golongan yang berpendidikan rendah atau tinggi? Yang penting harus diingat yaitu hindari pemakaian bahasa asing, istilah-istilah asing yang aneh, jangan sampai responden tidak dapat menjawab pertanyaan karena tidak mengerti bahasanya. Usahakan menggunakan bahasa yang mudah, kalimat singkat dan sederhana. 3. Prosedur analisis apa yang akan dipakai?
Bila akan memakai mesin scoring, atau coding automatic atau manual maka instrumen harus disiapkan untuk itu.
4. Apakah ada pertimbangan khusus lainnya?
Dalam hal ini mungkin termasuk versi khusus untuk responden yang cacat (handicapped) yang memerlukan petunjuk khusus dan lain sebagainya. Perlu dibuat rencana (blue print) dan kisi-kisi untuk setiap instrumen yang akan dibuat, atau mungkin memerlukan konsultasi khusus dari rekan sejawat atau ahlinya.
5. Tentukan seberapa ketepatan yang diperlukan.
Dalam hal ini diperhatikan kelengkapan, ketepatan waktu, presentasi dan sebagainya.
6. Kapasitas responden.
Responden dilihat dari kemampuannya, pendidikan dan penataran yang telah dilakukan sehubungan dengan hal yang akan diukur. 7. Kesesuaian dengan rencana analisis.
Mengetahui sebelumnya apa yang akan dilakukan terhadap data sesudah terkumpul akan membantu menentukan ketepatan yang diperlukan. Ketepatan pengukuran dapat diperoleh misalnya dengan membuat instrumen yang lebih rinci, petunjuk jawaban, dan kategori.
Djaali dan Muljono (2004:81-85) mendeskripsikan secara garis besar langkah-langkah dalam penyusunan dan pengembangan instrumen sebagai berikut:
1. Berdasarkan sintesis dari teori-teori yang dikaji tentang suatu konsep dari variabel yang hendak diukur, kemudian dirumuskan kontruk dari variabel tersebut. Konstruk pada dasarnya adalah bangun pengertian dari suatu konsep yang dirumuskan.
2. Berdasarkan konstruks tersebut dikembangkan dimensi dan indikator variabel yang hendak diukur yang sesungguhnya telah tertuang secara eksplisit pada rumusan konstruk variabel pada langkah 1.
3. Membuat kisi-kisi instrumen dalam bentuk tabel spesifikasi yang memuat dimensi, indikator, nomor butir dan jumlah butir untuk setiap dimensi dan indikator.
4. Menetapkan besaran atau parameter yang bergerak dalam suatu rentangan kontinum dari suatu kutub ke kutub lain yang berlawanan, misalnya dari rendah ke tinggi, dari negatif ke positif, dari otoriter ke demokratik, dari dependen ke independen dan sebagainya.
5. Menulis butir-butir instrumen yang dapat berbentuk pernyataan atau pertanyaan. Biasanya butir instrumen yang dibuat terdiri atas dua kelompok pernyataan atau pertanyaan yaitu kelompok butir positif dan kelompok butir negatif. Butir positif adalah pernyataan mengenai ciri atau keadaan yang menjadi indikasi sikap atau persepsi positif atau mendekat ke kutub positif, sedang butir negatif adalah pernyataan mengenai ciri atau keadaan yang mengindikasikan persepsi atau sikap negatif atau mendekat ke kutub negatif.
6. Butir-butir yang telah ditulis merupakan konsep instrumen yang harus melalui proses validasi, baik validasi teoretik maupun validasi empirik.
7. Tahap validasi pertama yang ditempuh adalah validasi teoretik yaitu melalui pemeriksaan pakar atau melalui panel yang pada dasarnya menelaah seberapa jauh dimensi merupakan jabaran yang tepat dari konstruk, seberapa jauh indikator merupakan jabaran yang tepat dari dimensi dan seberapa jauh butir-butir instrumen yang dibuat secara tepat dapat mengukur indikator.
8. Revisi atau perbaikan berdasarkan saran dari pakar atau berdasarkan hasil panel.
9. Setelah konsep instrumen dianggap valid secara teoretik atau secara konseptual, dilakukanlah penggandaan instrumen secara terbatas untuk keperluan ujicoba.
10. Ujicoba instrumen di lapangan merupakan bagian dari proses validasi empirik. Melalui ujicoba tersebut, instrumen diberikan kepada sejumlah responden sebagai sampel ujicoba yang mempunyai karakteristik sama atau ekuivalen dengan karakteristik populasi penelitian. Jawaban atau respon dari sampel ujicoba merupakan data empiris yang akan dianalisis untuk menguji validitas empiris atau validitas kriteria dari instrumen yang dikembangkan.
11. Pengujian validitas empiris dilakukan dengan menggunakan kriteria baik kriteria internal maupun kriteria eksternal. Kriteria internal adalah instrumen itu sendiri sebagai satu kesatuan yang dijadikan kriteria, sedangkan kriteria eksternal adalah instrumen atau hasil ukur tertentu di luar instrumen yang dijadikan sebagai kriteria.
12. Berdasarkan kriteria tersebut diperoleh kesimpulan mengenai valid atau tidaknya sebuah butir atau sebuah perangkat instrumen. Jika menggunakan kriteria internal yaitu skor total instrumen sebagai kriteria, maka keputusan pengujian adalah mengenai valid atau tidaknyan butir instrumen dan proses penggujiannya biasanya disebut dengan analisis butir. Dalam kasus lainnya, yaitu jika menggunakan kriteria eksternal yaitu instrumen atau ukuran lain di luar instrumen yang dijadikan kriteria, maka keputusan penggujiannya adalah mengenai valid atau tidaknya perangkat instrumen sebagai suatu kesatuan. 13. Untuk kriteria internal atau validitas internal, berdasarkan hasil analisis butir maka butir-butir yang tidak valid dikeluarkan atau diperbaiki untuk diujicoba ulang, sedangkan butir-butir yang valid dirakit kembali menjadi sebuah perangkat instrumen untuk melihat kembali validitas
kontennya berdasarkan kisi-kisi. Jika secara konten butir-butir yang valid tersebut dianggap valid atau memenuhi syarat, maka perangkat instrumen terakhir ini menjadi instrumen final yang akan digunakan untuk mengukur variabel penelitian.
14. Selanjutnya dihitung koefisien reliabilitas. Koefisien reliabilitas dengan rentangan nilai (0 – 1) adalah besaran yang menunjukkan kualitas atau konsistensi hasil ukur instrumen. Makin tinggi koefisien reliabilitas, maka makin tinggi pula kualitas instrumen tersebut. Mengenai batas nilai koefisien reliabilitas yang dianggap layak tergantung pada presisi yang dikehendaki oleh suatu penelitian. Untuk itu dapat merujuk pendapat-pendapat yang sudah ada, karena secara eksak tidak ada tabel atau distribusi statistika mengenai angka reliabilitas yang dapat dijadikan rujukan. 15. Perakitan butir-butir instrumen yang valid untuk dijadikan instrumen
final.
Menurut Tayibnapis (2000:105-106) tahapan yang harus dilakukan seorang evaluator dalam menyusun instrumen yang digunakan dalam pengumpulan data dalam evaluasi program sebagai berikut:
1. Sediakan waktu untuk mengecek apakah telah ada instrumen yang serupa, walaupun nanti perlu diperbaiki dan dimodifikasi sesuai dengan masalah. Informasi ini dapat diperoleh melalui rekan sejawat, publisher materi dan tes, katalog, proyek lain atau program serupa, perpustakaan, internet dan sebagainya.
2. Setelah instrumen ditemukan, periksalah instrumen tersebut, apakah kontennya sesuai dengan keperluan? Apakah variabel-variabel sama? Apakah ada konten yang hilang? Apakah ketepatan cukup? Dapatkah instrumen tersebut diperoleh pada waktu yang tepat? Mampukah atau terjangkaukah?
3. Jika tidak ditemukan instrumen yang dimaksud atau instrumen yang ada tidak memadai, maka untuk keperluan evaluasi program yang dilakukan tentulah membuat sendiri rancangan instrumennya. 4. Buatlah tabel kisi-kisi, konten sesuai dengan variabel yang telah ditentukan
ketepatannya. Keputusan apa yang akan bergantung pada hasil pengukurannya? Siapakah respondennya akan menentukan bahasa yang akan dipakai? Analisisnya bagaimana? Bagaimana daya rekam instrumen? dan lain-lain.
5. Membuat konsep (draft) instrumen, periksalah konsep tersebut, cek kejelasan dan kemudahan membacanya, dan lakukan revisi konsep. 6. Lakukan ujicova instrumen untuk memeriksa validitas dan realibilitasnya, apakah sudah memenuhi syarat-syarat atau belum lakukan cek dan recek, sehingga validitas dan reliabilitas yang diharapkan tercapai. Arikunto (1988:71-74) memaparkan langkah-langkah dalam menyusun instrumen pengumpulan data sebagai berikut: (1) merumuskan tujuan, (2) membuat kisi-kisi instrumen, (3) menuliskan butir-butir instrumen, dan (4) menyunting instrumen.
1. Merumuskan tujuan.
Evaluator haruslah merumuskan tujuan yang akan dicapai dengan instrumen yang akan disusun. Tahapan ini diperlukan untuk menyusun instrumen karena tanpa tahu apa data yang terkumpul, apa yang harus dilakukan sesudah itu, apa fungsi setiap jawaban dalam setiap butir dan sebagainya.
2. Membuat kisi-kisi instrumen.
Tahapan berikutnya adalah membuat kisi-kisi instrumen yang berisikan perincian tentang variabel atau aspek yang diukur dalam evaluasi program dan jenis instrumen yang akan digunakan untuk mengambil data dari variabel atau aspek yang diukur tersebut.
3. Menuliskan butir-butir instrumen.
Tahapan berikutnya setelah menuliskan kisi-kisi instrumen maka langkah berikutnya adalah menuliskan butir-butir instrumen yang merujuk kepada kisi-kisi yang telah disusun.
4. Menyunting instrumen.
Apabila pembuatan butir-butir instrumen sudah selesai dilakukan, maka evaluator melakukan pekerjaan terakhir dari penyusunan instrumen yaitu mengadakan penyuntingan (editing). Hal-hal yang diperhatikan dalam tahapan menyunting ini adalah:
a. Mengurutkan butir menurut sistematika yang dikehendaki evalu-ator untuk mempermudah pengolahan data.
b. Menuliskan petunjuk pengisian, identitas dan sebagainya.
c. Membuat pengantar permohonan pengisian instrumen yang akan ditunjukkan kepada responden.