Evaluasi Dari Awal hingga
Akhir
Kemangkiran Guru di daerah pedalaman India
Masalah
• Tingkat kemangkiran guru tinggi di
India: 24% secara nasional (Kremer et al.)
• Apabila sekolah-sekolah berada di daerah terpencil dan sulit dipantau, tingkat kemangkiran bisa lebih tinggi • Daerah Proyek: Tingkat kemangkiran
Pertanyaan-pertanyaan pokok
• Dapatkan pemantauan guru dan insentif keuangan digunakan untuk mendorong guru agar hadir di kelas?
• Apabila guru datang ke kelas, apakah anak-anak akan belajar lebih banyak?
Jenis evaluasi apa yang terbaik?
• Pertanyaan yang bisa digeneralisasikan:
– Manfaat evaluasi yang mendalam akan
melebihi biaya, karena ini masalah umum di sebagian besar negara berkembang
• Program akan dirintis di sekolah-sekolah terpilih
• Didasarkan pada evaluasi dengan sampel teracak
Mengapa menggunakan sampel
teracak?
• Misalkan kita mengumpulkan data kehadiran guru, dan kemudian memberikan sebuah tes kepada anak-anak untuk menentukan tingkat pengetahuan mereka
• Kita menemukan korelasi positif antara kehadiran guru dan nilai hasil tes anak
• Dapatkah kita mengaitkan nilai hasil tes yang lebih
tinggi dengan kehadiran guru yang lebih baik? Apa lagi yang mungkin menyebabkan nilai hasil tes yang lebih tinggi?
Mengapa menggunakan
sampel teracak?
Kehadiran
Guru
Anak belajar
lebih banyak
Mengapa mengguunakan
sampel teracak?
Kualitas
Guru
Kehadiran
Guru
Anak belajar
lebih banyak
Program
• Bekerjasama dengan LSM Seva
Mandir
• Seva Mandir mengelola sekitar 150
pusat pendidikan non-formal di
distrik Udaipur, Rajasthan
• Setiap pusat pendidikan terdiri atas
satu ruangan, dan memiliki satu
Latar Belakang Program:
Guru
• Pendidikan terakhir: kelas 10
• Umumnya dipekerjakan dari desa
setempat (efek jaringan sosial)
• Guru menerima gaji sebesar Rs
1.000 untuk satu hari sekolah
Latar Belakang Program:
Anak-anak
• Benar-benar buta huruf
• Memberikan pendidikan Bahasa Hindi dan Matematika kepada anak-anak, dan mendorong siswa agar terbiasa masuk sekolah
• Beberapa anak “lulus” dan masuk ke
sekolah pemerintah, yang lainnya terus belajar di NFE
Rancangan Program
• Seva Mandir membuat sistem pemantauan atas kehadiran guru-guru dan menghubungkan
pembayaran gaji guru dengan kehadiran
• Setiap guru diberi sebuah kamera, dan diminta mengambil foto dirinya dan anak-anak dua kali sehari
• Memerlukan paling tidak 8 anak (atau ½ jumlah anak-anak yang terdaftar)
Pembayaran
• Gaji pokok sebesar Rs 1.000 untuk
20 hari/bulan
• Bonus Rs 50 untuk setiap
kelebihan satu hari
• Denda Rs 50 untuk setiap
kekurangan satu hari
• Batas tertinggi denda sebesar Rs
500
Perencanaan:
Cara Mengambil Sampel Teracak
• Unit observasi:
– Pengambilan sampel teracak pada tingkat sekolah (Data yang dikelompokkan)
• Metode Pengambilan Sampel Teracak:
– Program Percontohan
• Penggunaan kamera dan program insentif di sekolah-sekolah yang dipilih secara acak
• Di sekolah-sekolah lainnya, guru-guru menerima gaji tetap yang normal
Perencanaan:
Pengumpulan Data
• Keluaran: Kehadiran Guru:
– Foto-foto di sekolah-sekolah tindakan – Pemeriksaan acak
Perencanaan: Pengumpulan Data
• Keluaran: Tes Prestasi Belajar Siswa: – September 2003, April 2004, Oktober 2004 • Bagaimana caramelakukan tes pada siswa yang buta
Jadual Evaluasi
Penelitian Dasar dan perencanaan Pelaksanaan program di sekolah Tindakan Mengukur kehadiran secara terus-menerus Tes Tengah Tahun Ajaran Tes Akhir Tahun Ajaran Mengukur hasilJumlah Sampel
Jumlah kelompok K e s a h i 33 62 91 120 149 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 = 0.050 n = 25 = 0.17, = 0.05 h a nMengelola Ancaman
• Masalah Politik
• Peningkatan jumlah anak yang
mendaftar berkat program (peningkatan besar kelas)
• Pengurangan/ keausan
– Siswa keluar sekolah
Mengelola Ancaman
• Siswa pindah dari sekolah tindakan ke sekolah kontrol
Evaluasi Proses
• Evaluasi proses:
– Kamera vs. kehadiran dengan cara lain
– Peneliti membantu merancang proses teknis (program komputer, sambungan langsung dan cepat dengan memakai kamera, dll.)
– Seva Mandir mengelola proses
• Apakah proses tersebut merupakan proses terbaik untuk menjalankan program?
• Apabila tidak ada hasil, apakah itu
disebabkan oleh kekurangan pada proses
Evaluasi Kualitatif
• Wawancara kualitatif dengan guru-guru untuk memahami proses pengajaran
dan reaksi mereka terhadap program • Penting dalam:
– Perancangan program
– Dapat membantu menafsirkan hasil program
• Terbatas karena kita tidak akan tahu apakah program berhasil
Analisis Data dan
Temuan-temuan
Langkah Pertama
• Menentukan apakah pengambilan
sampel secara acak berhasil dengan membandingkan karakteristik awal
kelompok tindakan dengan kelompok kontrol
• Sebelum program dilaksanakan, tidak ada perbedaan statistik dalam
probabilitas bahwa sebuah sekolah
tindakan buka dan dalam jumlah siswa
Tindakan Kontrol Perbedaan
(1) (2) (3)
Jumlah sekolah yang buka 0.66 0.63 0.02
(0.10)
44 41 85
Jumlah siswa yang hadir 17.72 15.54 2.19
(2.23)
29 26 55
Kualitas Guru dan Murid
• Tidak ada perbedaan statistik dalam
kecakapan guru (diukur dengan nilai tes guru dan nilai tertinggi yang dicapai)
• Tidak ada perbedaan dalam perilaku
guru (sebagaimana yang diukur melalui interaksi dengan siswa dan perilaku
pada papan tulis)
• Tidak ada perbedaan statistik dalam nilai hasil tes siswa
Kehadiran Guru
• Secara rata-rata, guru-guru hadir 58% dari
keseluruhan waktu di sekolah pembanding dan 78% dari keseluruhan waktu di sekolah tindakan • Efek program bersifat langsung dan tetap bahkan
setelah berakhirnya masa “penelitian”.
• Program mengeliminasi guru-guru yang tidak patuh, dan menciptakan kelas baru guru-guru yang “sangat teratur”
Gambar 2: Persentasiesekolah yang buka selama pemeriksaan acak 0% 20% 40% 60% 80% 100%
Agt Sep Okt Nov Des Jan Feb Mar Apr Mei Jun Jul Agt Sept Okt Nov Des Jan Feb Mar Bulan
perbaikan
Tes Tengah Tahun Tes Akhir Tahun Kontrol
Gambar 3B: Kehadiran Guru 0.00 0.20 0.40 0.60 0.80 1.00 0 10 20 30 40 50 60 70 80 90 100 Frekuensi Kehadiran Perbaikan Kontrol
Perilaku Guru
• Tidak akan efektif jika guru
mengkompensasikan peningkatan kehadirannya dengan kemungkinan
yang lebih kecil mereka akan mengajar begitu berada di sekolah
Tindakan Kontrol Perbedaan (1) (2) (3) 0.89 0.88 0.01 (0.01) 865 633 1498 0.68 0.69 -0.02 (0.03) 865 633 1498 Papan tulis yang dimanfaatkan 0.93 0.93 0.00
(0.01)
Sep 2003-Maret 2005
Persentase Guru yang
berinteraksi dengan murid Persentase anak-anak yang duduk dalam kelas
Pengurangan/ Keausan
• Pengurangan reguler versus pengurangan/
keausan diferensial
– Tes Pertengahan: Perbedaan tipis dalam laju
pengurangan (persentase siswa yang dites) antara kelompok tindakan dan kelompok kontrol, dan tidak ada perbedaan dalam angka pra-tes antara mereka yang dites dan tidak dites
– Tes Akhir: Tidak ada perbedaan pada laju
pengurangan dan tak ada perbedaan pd Nilai Tes
• Meskipun demikian, kita mengontrol nilai pra-tes untuk mendapat keakuratan yang lebih tinggi
Memperkirakan Persamaan
Metode 1: Perbedaan Sederhana
Nilai= β0+ β1tindakan+β2Skor Awal+ε
Metode 2: Kontrol atas Angka Pra-tes
Nilai= β0+ β1tindakan+β2Skor Awal+ε
Metode 3: Perbedaan dalam Perbedaan
Nilai= β0 + β1(Tindakan*Sesudah)+β2perbaikan+β3Sesudah+ε
Nilai Tes Siswa
• Peningkatan besar dalam nilai tes anak: peningkatan deviasi baku sebesar 0,17 dalam tindakan versus kontrol
• Peningkatan sebesar 40% dalam angka kelulusan (dari sekitar 10% menjadi
• Hal tersebut sama
jumlahnya dengan 40% gaji seorang guru, tetapi hanya Rs 268 ($6) per anak per tahun (dengan perkiraan 20 anak per guru)
Analisa Biaya-Manfaat
Barang Biaya Biaya kamera1 1133 Biaya film 1392 Biaya baterai 552 Cuci-cetak foto 1852 Gaji guru 2 0Biaya tenaga kerja utk menjalankan program3 450 Biaya keseluruhan menjalankan program 5379 Biaya Program per Pusat selama masa 12 bulan
A. Biaya Kamera
Analisa Biaya-Manfaat
• Biaya: Rs 268 per anak per tahun
• Ditulis dalam unit umum: $3.58 per 0,1 deviasi baku dari nilai tes.
• Tidak seefektif program Balsakhi, tetapi seefektif beasiswa siswa perempuan di Kenya
• Dua kali lebih hemat biaya daripada mempekerjakan guru kedua utk pusat-pusat pendidikan non-formal di Udiapur dalam hal kehadiran (dan program tsb tidak berdampak pada nilai tes).
Kesimpulan
• Insentif kehadiran guru mendorong
mereka untuk hadir di sekolah dan tidak
membuat mereka enggan untuk
melakukan sesuatu sewaktu di sekolah
• Angka kemangkiran turun dari 42%
menjadi 22%, siswa mendapat manfaat
dari lebih banyak waktu pengajaran, nilai
tes 0,17 sd lebih tinggi setelah setahun
Pemeriksaan Akhir
• Keabsahan Internal: • Keabsahan Eksternal:
– Pusat pendidikan non-formal lain? (21 juta anak di India saja)
– Sekolah-sekolah Pemerintah
– Pusat-pusat kesehatan dan kantor-kantor pemerintah lain?