Panduan Desain Pra-Tes dan Post-Tes

(1)

1

PANDUAN UNTUK DESAIN PRA-TES dan POST-TES

Desain evaluasi yang paling sederhana adalah pre-test dan post-test, yang didefinisikan sebagai penilaian sebelum dan sesudah untuk mengukur apakah perubahan yang diharapkan terjadi pada peserta dalam suatu program. Sebuah tes standar, survei, atau kuesioner diterapkan sebelum partisipasi dimulai (pre- test atau baseline), dan diterapkan kembali setelah periode tertentu, atau di akhir program (post-test atau endline). Tes awal dan tes akhir dapat diberikan secara tertulis atau lisan.

Tujuan dari panduan ini adalah untuk membantu program menghindari beberapa kesalahan yang paling umum terjadi dalam penggunaan pra- dan pasca-evaluasi. Panduan yang lebih rinci tersedia di

"Sumber Daya yang Berguna" yang tercantum di bawah ini.

Kelemahan utama dari desain pra- dan pasca-tes adalah tidak dapat mendeteksi kemungkinan penyebab lain dari hasil positif atau negatif di antara para peserta.

Untuk alasan ini, jika sebuah program baru sedang dipertimbangkan untuk diperluas, penjelasan lain atas hasil yang diperoleh harus dikesampingkan dengan mengumpulkan lebih banyak informasi mengenai setiap penjelasan yang mungkin, dan kemudian memilih hasil yang disebabkan oleh program tersebut.

Tinjauan Desain

Dalam kasus di mana tes pra dan pasca yang baru sedang ditulis, atau tes yang sudah ada diadaptasi, uji coba sangat disarankan. Metode uji coba yang baik adalah dengan mengumpulkan sekelompok penasihat pemuda - dari komunitas yang sama dengan pemuda yang akan mengikuti program - untuk melakukan tes, mendiskusikannya di antara mereka sendiri dengan menggunakan daftar periksa ini, dan menyarankan modifikasi. Ini adalah kesempatan yang sempurna untuk partisipasi dan

kepemimpinan kaum muda.

Kiat-kiat untuk mengembangkan dan meninjau pertanyaan sebelum dan sesudah

1. RELEVANSI KONTEN DENGAN TUJUAN: Apakah konten tersebut secara jelas membahas tujuan program?

• Jika program Anda berfokus pada pengetahuan, maka sesuaikan konten sedekat mungkin dengan tujuan pembelajaran.

• Jika program Anda bertujuan untuk mengubah sikap atau norma, apakah pertanyaan- pertanyaan yang diajukan sudah mencakup berbagai sikap yang ingin diubah oleh program Anda?

Sebagai contoh, jika peluncuran program setelah jam sekolah yang mengajarkan keterampilan bisnis bertepatan dengan penambahan keterampilan ini ke dalam kurikulum matematika sekolah setempat, maka akan sulit untuk mengetahui hasil mana yang

disebabkan oleh program dan mana yang disebabkan oleh sekolah. Program ini dapat merespon dengan menganalisa di mana program tersebut tumpang tindih dengan kurikulum sekolah, dan berfokus pada hasil program di bidang-bidang yang tidak dibahas oleh kurikulum sekolah.

(2)

2 EMpower - The Emerging Markets Foundation

www.empowerweb.org

2. PANJANG - Semakin pendek semakin baik, terutama jika ada pertanyaan terbuka.¹ Hilangkan pertanyaan yang berlebihan. Uji coba untuk memastikan pelaksanaan tes tidak lebih dari ½ jam.²

3. TINGKAT PENDIDIKAN - Pastikan bahwa tingkat membaca atau kosakata berada pada tingkat yang tepat untuk peserta muda. Tentukan apakah tingkat literasi menuntut wawancara lisan. Umpan balik dari kaum muda tentang kata-kata atau frasa yang tidak dikenal atau ambigu akan sangat membantu.

4. ADAPTASI BUDAYA ATAU BAHASA - Ketika peserta uji coba tidak dapat menyepakati arti dari sebuah pertanyaan, maka diperlukan adaptasi. Pertanyaan tentang isu-isu sensitif seperti kesehatan reproduksi dan seksual sering kali harus disesuaikan dengan budaya remaja

setempat. Di sisi lain, tes/kuesioner yang sama yang diterapkan pada orang dewasa tidak boleh menggunakan istilah-istilah dari budaya remaja, yang mungkin dianggap ofensif oleh orang dewasa.

5. HINDARI PERTANYAAN YANG TERLALU UMUM ATAU AMBIGU: Pertanyaan yang terlalu umum dapat menimbulkan berbagai interpretasi, sehingga memberikan hasil yang tidak konsisten.

• Misalnya, "Menurut Anda, apakah anak perempuan dan laki-laki harus diperlakukan sama?" tidak sejelas pertanyaan spesifik tentang tujuan program seperti "Menurut Anda, apakah anak perempuan harus bisa bermain [olahraga lokal] di tempat umum?"

6. HINDARI PERTANYAAN-PERTANYAAN YANG MENGARAHKAN ATAU BIAS:

• Pertanyaan pengarah dapat mengarahkan responden pada jawaban yang sudah ditentukan sebelumnya yang mungkin tidak mencerminkan pendapat mereka secara akurat. Sebagai contoh: "Bagaimana kehidupan Anda berubah setelah mengikuti program ini?" harus diubah menjadi "Apakah kehidupan Anda berubah setelah

mengikuti program ini?" (ya, tidak), diikuti dengan pilihan ganda atau jawaban terbuka.

• Pertanyaan yang bias akan membuat peserta memberikan respon yang dapat diterima secara sosial. Misalnya, "Apakah Anda minum terlalu banyak alkohol di pesta?" harus diubah menjadi "Apakah Anda minum alkohol?" dan kemudian jika ya, berikan berbagai pilihan pada frekuensi, jumlah, dan pengaturan.

7. HINDARI MENGAJUKAN DUA PERTANYAAN DALAM SATU PERTANYAAN: Misalnya,

"Bagaimana Anda menilai pengetahuan dan keterampilan keuangan Anda?" harus diubah menjadi dua pertanyaan terpisah.

8. CAMPURKAN PERNYATAAN POSITIF DAN NEGATIF ketika mengukur sikap atau perilaku melalui pernyataan yang meminta responden untuk "setuju" atau "tidak setuju". Campurkan secara acak pernyataan yang mencerminkan sikap yang dipromosikan oleh program dengan pernyataan yang tidak dianjurkan. Sebagai contoh, jika

post-test program gender hanya berisi pernyataan yang mendukung kesetaraan gender, responden akan dengan mudah mendeteksi respon yang diinginkan.

9. PENGAMBILAN SAMPEL: Ketika program melayani sejumlah besar anak muda, seringkali tidak ada cukup staf atau dana untuk melaksanakan pra- dan pasca-tes kepada mereka semua. Dalam hal ini, para evaluator biasanya menentukan ukuran sampel mereka,³ dan menggunakan dua

Dalam bahasa Inggris, tingkat membaca dapat diperiksa di MS

Word. Jalankan "Ejaan/Tata Bahasa"; dan item terakhir di bawah "Keterbacaan" yang muncul adalah

Analisis Tingkat Kelas Flesch-Kincaid. Tes lain mungkin lebih dapat diandalkan dalam bahasa lain.

(3)

3 metode untuk mendapatkan sampel yang representatif dan tidak bias, yaitu sekelompok kecil anak muda yang cenderung mencerminkan karakteristik kelompok yang lebih besar:

1 Pertanyaan terbuka tidak menentukan satu set jawaban, sehingga peserta dapat memberikan jawaban sendiri.

Contohnya adalah: "Apa aktivitas favorit Anda?"

2 Lihat saran untuk menghilangkan pertanyaan pada halaman 32 Barkman di bawah Sumber Daya yang Berguna" di bawah ini.

3 https://www.surveymonkey.com/mp/sample-size-calculator/

(4)

www.empowerweb.org

• "Pemilihan acak" memastikan bahwa setiap pemuda dalam program ini memiliki kesempatan yang sama untuk dipilih. Metode yang terkomputerisasi biasanya digunakan.⁴ Salah satu metode yang tidak terkomputerisasi adalah seperti undian.

Sebagai contoh, dalam sebuah program yang melibatkan 500 siswa kelas 11, tuliskan nama mereka di secarik kertas ke dalam mangkuk, dan undi nama satu per satu hingga sampel yang diinginkan sebanyak 50 orang untuk pra- dan pasca-tes tercapai.

• "Seleksi sistematis" adalah cara lain untuk menghindari bias. Bagilah total populasi remaja dalam program dengan ukuran sampel yang telah Anda tentukan, kemudian gunakan angka n yang dihasilkan untuk memilih setiap siswa ke-n. Dengan

menggunakan contoh yang sama, dari daftar lengkap 500 siswa di kelas 11, pilihlah setiap siswa ke-10 dalam daftar untuk diuji, dan berakhir dengan sampel 50 siswa.

Tips untuk Analisis & Pelaporan Hasil

Contoh template sebelum dan sesudah analisis dalam bentuk Excel tersedia dari petugas program EMpower Anda, jika hal tersebut dapat membantu. Perhitungan untuk setiap siswa dan juga untuk seluruh kelompok menggunakan rumus untuk perubahan numerik dalam skor dan untuk perubahan persen.

1. Gunakan analisis uji coba untuk mengidentifikasi pertanyaan-pertanyaan yang perlu ditingkatkan. Analisis pra dan pasca tes mungkin akan menemukan kebutuhan lain yang perlu ditingkatkan. Sinyal-sinyal umum yang menunjukkan perlunya perbaikan adalah:

• Banyak jawaban kosong untuk pertanyaan-pertanyaan spesifik

• Jawaban yang tidak konsisten untuk pertanyaan terkait

• Tanggapan terhadap pertanyaan terbuka yang mencerminkan kurangnya pemahaman

• Kegagalan untuk menjawab pertanyaan-pertanyaan menjelang akhir tes (responden kelelahan karena panjangnya tes).

2. Gunakan analisis nilai pre-test sebagai panduan untuk kurikulum: Jika lebih dari 60% siswa menjawab pertanyaan tertentu dengan benar untuk pengetahuan (atau ke arah yang diinginkan untuk sikap), program Anda kemungkinan besar tidak akan berpengaruh besar pada soal-soal tersebut. Gunakan hasilnya untuk menyesuaikan kurikulum Anda agar lebih fokus pada bidang- bidang di mana sebagian besar siswa mendapat nilai rendah, dan pertimbangkan untuk menghapus pertanyaan-pertanyaan di mana mereka mendapat nilai tinggi dari post-test.

3. Analisis data kuantitatif: Sebagian besar instrumen menghasilkan data kuantitatif dari pertanyaan atau penilaian tertutup⁵ . Templat yang dikembangkan EMpower dirancang untuk analisis data kuantitatif.

• Data ini umumnya dianalisis untuk membandingkan frekuensi sebelum dan sesudah tes, seperti per sen dan rata-rata.

• Analisis statistik diperlukan untuk melihat perubahan dari waktu ke waktu, dan signifikansi perbedaan antara sebelum dan sesudah tes.

• Jika Anda tidak memiliki akses ke keahlian statistik, terutama jika jumlah partisipan lebih dari 50 orang, akan sangat membantu jika Anda meminta bantuan peneliti lokal untuk menganalisis signifikansi.⁶

4 https://www.randomizer.org/tutorial/ dan https://www.surveymonkey.com/blog/2012/06/08/random-sample-in-excel/

(5)

5

5 Pertanyaan yang berakhir dengan "close-ended" memberikan pilihan yang sudah ditentukan; jenisnya meliputi pilihan ganda, pertanyaan benar-salah, dan pertanyaan yang menggunakan skala penilaian. Lihat halaman 20-25 dari panduan Barkman mengenai opsi-opsi ini, yang dirujuk di bawah ini.

6 Untuk mengidentifikasi perubahan mana dari baseline ke endline yang mungkin disebabkan oleh program, dan bukan karena kebetulan. Sebagian besar uji signifikansi bertujuan agar probabilitas hasil yang disebabkan oleh kebetulan adalah 5% atau kurang.

(6)

www.empowerweb.org TABEL

CONTOH

4. Melaporkan data kuantitatif: Dalam laporan akhir, selalu sajikan hasil dalam bentuk angka dan juga persentase dalam tabel, dengan kolom akhir yang membandingkan peningkatan atau penurunan antara pra- dan pascauji. Jangan pernah melaporkan hanya dalam bentuk persen, tanpa merujuk pada jumlah

Pra-Skor Pasca

Skor Perbedaan %

Perubaha n

Rata-rata Perempuan (N=15) 28.47 36.27 7.80 27%

Rata-rata Laki-laki (N=15) 24.27 33.27 9.00 37%

TOTAL RATA-RATA 26.37 34.77 8.40 32%

responden. Lihat contoh di bawah ini.

• Dalam pembahasan hasil, untuk item-item tertentu dalam survei Anda, tunjukkan: 1) temuan yang menunjukkan hasil yang signifikan, dan apa arti kekuatan ini bagi program Anda; 2) perbedaan (jika ada) antara peserta laki-laki dan perempuan atau sub-kelompok lain di antara peserta Anda, dan bagaimana Anda berencana untuk mengatasi perbedaan hasil berdasarkan kelompok; dan 3) jika hasilnya tidak sebaik yang diharapkan, diskusikan bagaimana program Anda berencana untuk mengatasi masalah ini.

5. Melaporkan data kualitatif: Pertanyaan terbuka menghasilkan data kualitatif, yang dapat dianalisis berdasarkan tema, atau dengan menerapkan skor yang dapat dilaporkan secara kuantitatif.⁷

• Identifikasi tema-tema umum: Laporkan tema-tema yang dikemukakan oleh sejumlah besar anak muda dalam jawaban mereka. Misalnya, dalam sampel 50 siswa, tema atau ide apa pun yang dikemukakan oleh lebih dari 10 siswa layak untuk dilaporkan.

Satu atau dua kutipan ilustrasi berguna untuk menggambarkan tema atau ide yang umum ini (tanpa menyebutkan siapa yang memberikan kutipan).

6. Menyatukan semuanya: Bandingkan temuan data kualitatif dan kuantitatif: Apakah satu set data mendukung atau menimbulkan pertanyaan tentang analisis set data lainnya? Jika digabungkan, apa arti kedua set data ini bagi program Anda?

Sumber daya

Susan J. Barkman, "Panduan Lapangan untuk Merancang Instrumen Kuantitatif untuk Mengukur Dampak Program." Publikasi dasar yang sangat baik dari Purdue University.

http://www.northskynonprofitnetwork.org/sites/default/files/documents/Field%20Guide%20to%20Dev eloping%20Quantiative%20Instruments.pdf

E. Karya Jane Davidson merupakan panduan yang sangat baik untuk evaluasi secara umum, dan dikenal karena menjelaskan bagaimana

menggunakan rubrik untuk menganalisis informasi kualitatif dalam mengevaluasi hasil.

a. Davidson, E. Jane, Penalaran Evaluatif http://www.unicef-

(7)

7 irc.org/publications/pdf/brief_4_evaluativereasoning_eng.pdf

b. Davidson, E. Jane buku mini: http://realevaluation.com/read/minibooks/

• Membuat yang Penting Dapat Diukur, Bukan yang Dapat Diukur Menjadi Penting

7 Lihat E. Jane Davidson dalam Sumber Daya yang Berguna di bawah ini.

(8)

www.empowerweb.org

• Dasar-dasar Evaluasi yang Dapat Ditindaklanjuti

I-Tech, Pedoman untuk Pra- dan Pasca-Pengujian, memiliki diskusi singkat dan berguna tentang desain dan analisis pra- dan pasca-pengujian, yang difokuskan pada contoh-contohnya pada pertanyaan- pertanyaan pengetahuan. Tersedia berdasarkan permintaan dari petugas program.

a. I-Tech memiliki toolkit dengan banyak sumber daya lainnya untuk evaluasi program pelatihan.

Lihat http://www.go2itech.org/HTML/TT06/toolkit/evaluation/index.html Tab formulir memiliki banyak alat yang dapat digunakan sebelum dan sesudah tes, termasuk daftar periksa tertulis maupun observasi.