www.sattva.co.in
Merancang dan
melembagakan system M&E
Pengantar M&E dan komponennya September 2020
Supported by:
Perkenalkan tim Fasilitator Anda
Surya Banda
Role: Fasilitator Utama
Surya sebelumnya bekerja sebagai Senior Policy Associate di J-PAL South Asia, di mana dia bekerja untuk meningkatkan program Targeting the Hardcore Poor (THP) di berbagai negara bagian di India. Sebelum bergabung dengan J-PAL, Surya bekerja sebagai Research Associate di Foundation for Democratic Reforms (FDR) di mana ia memimpin tim dalam melakukan penelitian untuk menemukan alternatif kebijakan yang lebih baik.
Bobbymon George, Role: Fasilitator Utama
Bobbymon adalah bagian dari tim kepemimpinan di Sattva. Ia memiliki lebih dati 15 tahun pengalaman dalam desain program, implementasi dan evaluasi dan telah memimpin beberapa program non-profits. Di Sattva, dia telah merancang dan meenyampaikan lebih dari 70 tugas penilaian dampak sosial lintas sector dan geografi dengan CSR dan Yayasan yang besar. Dia telah berperan penting dalam mengembangkan & menerbitkan alat penilaian kecakapan hidup untuk kaum muda. Dia memegang gelar master dalam pekerjaan sosial dan merupakan alumni Program Kewirausahaan
Agenda
3 Min Perkenalan kepada Fasilitator Sattva
5 Min Struktur kelas master, hasil pembelajaran dan takeaways
17 Min Rekap Cepat: LFA
25 Min Barang tak berwujud menjadi berewujud
35 Min Merancang Kuesioner 30 min Pengumpulan Data di Darat 5 min Rencanakan Sesi Bimbingan
3
Rekap Cepat
4
Monitoring dan Evaluasi: Apa bedanya?
5
Monitoring Evaluasi
Kapan melakukannya? Secara terus menerus selama proyek berlangsung
Tinjauan waktu ke waktu pada poin penting dalam kemajuan proyek– akhir proyek, di tengah proyek Apa saja yang termaksuk? Kegiatan sehari-hari, keluaran, indikator
kemajuan
Penilaian penyampaian keluaran dan kemajuan menuju tujuan dan dampak yang diinginkan
Siapa pesertanya? Tim pelaksana proyek dan mitra proyek Tim pelaksana proyek, donor, penilai, pihak ketiga
Bagaimana caranya? Melalui pertemuan rutin, tinjauan rutin – mingguan, bulanan, triwulanan
Latihan pengumpulan data, pertemuan eksternal
Bagaimana kita
mengkomunikasikan hasil terakhir?
Laporan bulanan / triwulanan dan pembaruan untuk manajer proyek, mitra, penyandang dana dan pemangku kepentingan
Laporan tertulis dengan rekomendasi untuk perubahan proyek
Lima tahap dalam pengaturan dan pelembagaan model CME
6
1. Analisis masalah dan solusi yang diajukan
2. Menetapkan tujuan dan sasaran
3. Menetapkan proses
& hasil
4. Menetapkan risiko dan factor eksternal yang akan
memengaruhi keberhasilan dari solusi yang diusulkan
1. Alat ukur apa untuk mengukur indikator 2. Alat Kuantitatif &
Kualitatif untuk menangkap kesuksesan 3. Menentukan jenis
laporan untuk berbagai tingkat pengambilan keputusan
1. Membangun tim internal
2. Atur timeline dan metodologi dari eksekusi lapangan 3. Menentukan
frekuensi & sumber data
4. Membangun kapasitas tim melalui training
1. Monitor kualitas dan kuantitas data Monitor data 2. Mengembangkan
metrik analisis data 3. Membuat laporan
1. Menentukan konsumsi internal eksternal dari laporan
2. Membuat rencana aksi untuk
menggabungkan wawasan dari analisis data dan laporan
3. Menentukab audiens eksternal dan
platform komunikasi Alat pengumpulan
data & dashboard laporan
Rencana eksekusi lapangan
Analisis data &
Pelaporan
Peyebaran &
Koreksi kursus Desain LFA & Indikator
7
PERENCANAAN: mulai dengan akhir dalam pikiran
Pengkajian Kebutuhan Monitor Operasional Evaluasi Dampak
8
SMART
–Specific - Tanyakan (jawab) satu pertanyaan dalam satu waktu (tepat) –Measurable - Terukur, akurat, tidak bias, sensitif
•
Indikator sampel: Persentase fasilitas kesehatan yang menawarkan Kesadaran tentang kesehatan haid•
Indikator sampel (kualitas): Persentase penyedia layanan konseling dan pengujian yang terakreditasi untuk menawarkan layanan ini–Achievable – Apakah indikator ini realistis?
–Relevant – Apakah ini indikator program yang paling relevan sesuai kebutuhan?
–Time-bound –Diukur selama jangka waktu tertentu
Alat Pengumpulan Data Rencana Eksekusi
Lapangan Analisis Data Penyebaran
Desain LFA
9
Kuis: Setiap pertanyaan dapat memiliki beberapa jawaban
1. Apa perbedaan utama antara: Pemantauan dan Evaluasi?
a) Apa. Mereka adalah kata-kata yang berbeda untuk menggambarkan kegiatan yang sama b) Pemantauan dilakukan secara internal, dan Evaluasi dilakukan secara eksternal
c) Pemantauan adalah untuk manajemen, dan Evaluasi adalah untuk akuntabilitas d) Tidak satu pun dari hal-hal di atas
2. Manakah dari berikut ini yang merupakan indikator output dari program pendidikan perbaikan untuk anak-anak?
a) Kehadiran anak-anak ke kelas perbaikan b) Jumlah sesi perbaikan yang dilakukan
c) Jumlah jam belajar yang dihabiskan oleh setiap anak d) Hasil Belajar Anak
3. Manakah berikut ini yang merupakan indikator hasil dari program pelatihan pengembangan keterampilan?
a) Jumlah siswa ditempatkan dalam pekerjaan b) Jumlah siswa yang mengikuti program pelatihan c) Peningkatan keterampilan pada siswa
d) Jumlah siswa yang berpenghasilan lebih dari Rp3.427.900/Bulan
10
Kuis
1. Apa perbedaan utama antara: Pemantauan dan Evaluasi?
a) Apa. Mereka adalah kata-kata yang berbeda untuk menggambarkan kegiatan yang sama b) Pemantauan dilakukan secara internal, dan Evaluasi dilakukan secara eksternal
c) Pemantauan adalah untuk manajemen, dan Evaluasi adalah untuk akuntabilitas d) Tidak satu pun dari hal-hal di atas
2. Manakah dari berikut ini yang merupakan indikator output dari program pendidikan perbaikan untuk anak-anak?
a) Kehadiran anak-anak ke kelas perbaikan b) Jumlah sesi perbaikan yang dilakukan
c) Jumlah jam belajar yang dihabiskan oleh setiap anak d) Hasil Belajar Anak
3. Manakah berikut ini yang merupakan indikator hasil dari program pelatihan pengembangan keterampilan?
a) Jumlah siswa ditempatkan dalam pekerjaan b) Jumlah siswa yang mengikuti program pelatihan c) Peningkatan keterampilan pada siswa
d) Jumlah siswa yang berpenghasilan lebih dari Rp3.427.900/Bulan
Berwujud dan Tak Berwujud
11
Tak Berwujud ke Berwujud
Konsep:
•
Pemberdayaan•
Kebahagiaan•
Kualitas hidup•
Nilai hidup dll.12
Bisakah mereka diukur? Jika ya, bagaimana caranya?
• Tanyakan langsung kepada mereka tentang seberapa berdaya mereka?
- Apakah ada masalah saat menanyakannya secara langsung?
• Temukan beberapa indikator proxy yang dapat membantu memahami konstruksi ini?
Contoh: Pemberdayaan Anak Perempuan Melalui Program Pendidikan
13
Contoh Indikator
Sumber daya
Perant ara
Pencapaian
Ilmu Pengetahuan
Akses Pilihan
Pembuatan keputusan
Negosiasi
Studi lanjutan Hindari Pernikahan
Anak
Anak perempuan sadar akan pentingnya pendidikan Anak perempuan lebih memilih / termotivasi untuk
belajar
Anak perempuan mendaftar di lembaga / program pendidikan
Peningkatan kemampuan anak perempuan untuk bernegosiasi di rumah karena pendidikan Anak perempuan mampu membuat keputusan untuk
masa depan karena pendidikan
Keterampilan yang bertambah
Usia saat menikah dan melahirkan
Anak perempuan tertarik untuk melanjutkan studi yang lebih tinggi
Anak perempuan memperoleh keterampilan dan kepercayaan diri
Menyiapkan Concurrent M&E (CME) ALAT PENGUMPULAN DATA
14
Merancang alat pengumpulan data: memetakan responden kunci
15
Alat pengumpulan data dirancang dengan memahami para pemangku kepentingan dan kepentingan mereka serta pengaruh mereka dalam program. Hal ini akan membantu mendapatkan informasi yang benar :
• Penyandang dana program - Organisasi / individu yang mendanai seluruh program
• Organisasi pelaksana - organisasi pelaksana program di lapangan
• Penerima manfaat langsung dari program - penduduk yang ingin mendapatkan manfaat langsung dari program tersebut
• Penerima manfaat tidak langsung - segmen penduduk dalam lingkup pengaruh penerima manfaat langsung yang terkena dampak program.
Data collection tools Field Execution Plan Data Analysis Dissemination Design LFA
Merancang alat pengumpulan data: memilih alat pengumpulan data
16
Tipe Alat Metode Keuntungan Kendala
Kuantitatif Survey • Memungkinkan penyelesaian anonim
• Dapat mengelola sekelompok orang pada waktu yang sama
• Dapat menjadi efisien dan hemat biaya
• Pilihan yang dipaksakan mungkin akan kehilangan respons tertentu dari peserta
• Respon kata-kata mungkin bersifat bias
• Cara pengumpulan data yang tidak bersifat pribadi
Kualitatif Wawancara (Secara mendalam/
individu)
• Dapat membangun hubungan baik dengan peserta
• Dapat membuktikan untuk mendapatkan informasi tambahan
• Dapat memperoleh informasi yang luas atau mendalam
• Memakan waktu
• Mahal
• Gaya dan kata-kata wawancara dapat mempengaruhi tanggapan
Diskusi Kelompok Terfokus
• Bisa mendapatkan kesan umum dengan cepat
• Dapat menjadi cara yang efisien untuk
mendapatkan informasi yang luas dan mendalam dalam jangka waktu yang singka
• Butuh fasilitator berpengalaman
• Bisa sulit dan mahal untuk sekelompok 6-8 orang
• Menghabiskan waktu untuk menganalisis tanggapan
Observasi • Dapat melihat operasi program saat terjadi • Sulit untuk menafsirkan perilaku yang diamati
• Dapat mempengaruhi perilaku peserta program
• Mungkin mahal dan memakan waktu untuk merekam setiap kejadian
Data collection tools Field Execution Plan Data Analysis Dissemination Design LFA
Manakah dari pertanyaan berikut yang dibingkai dengan tidak benar?
17
•
Bagian mana dari anak-anak yang kurang memiliki keterampilan dasar?•
Berapa banyak orang yang tinggal di rumah Anda?•
Apakah anak Anda bersekolah secara teratur?•
Apakah Anda pernah menyekolahkan anak dan menemukan bahwa sekolah terkunci atau guru tidak hadir?•
Tidakkah Anda berpikir bahwa mengirim anak ke sekolah itu penting?•
Berapa cangkir kopi yang Anda minum?•
Berapa hari Anda hadir di sekolah minggu lalu?•
Tolong beritahu saya apakah Anda akan memilih atau menentang kandidat yang mendukung pengurangan pengeluaran untuk pendidikan dan kesejahteraan?Manakah dari pertanyaan berikut yang dibingkai dengan tidak benar?
18
•
Bagian mana dari anak-anak yang kurang memiliki keterampilan dasar?•
Berapa banyak orang yang tinggal di rumah Anda?•
Apakah anak Anda bersekolah secara teratur?•
Apakah Anda pernah menyekolahkan anak dan menemukan bahwa sekolah terkunci atau guru tidak hadir?•
Tidakkah Anda berpikir bahwa mengirim anak ke sekolah itu penting?•
Berapa cangkir kopi yang Anda minum?•
Berapa hari Anda hadir di sekolah minggu lalu?•
Tolong beritahu saya apakah Anda akan memilih atau menentang kandidat yang mendukung pengurangan pengeluaran untuk pendidikan dan kesejahteraan?Jenis pengukuran kesalahan (error)
Pertanyaan masalah
Tanggapan Terkait Masalah
Masalah Responden
Ini muncul karena penggunaan kategori yang tidak lengkap atau tumpang tindih dalam tanggapan, yaitu, kesalahan seputar konstruksi pilihan jawaban
• Hal ini muncul karena bias yang melekat pada responden saat menjawab pertanyaan. Mereka termasuk bias ingatan,
penahan, keberpihakan, bias keinginan sosial, telescoping, bias pelaporan, dan kesalahan tanggapan diferensial.
Ini muncul karena pertanyaan yang dibentuk dengan buruk.
Kekhawatiran termasuk ketidakjelasan, negatif, pertanyaan laras ganda, praduga, kategori yang tumpang tindih, dan efek
pembingkaian (dalam pertanyaan dan dalam kuesioner secara keseluruhan)
© 2020 - 2021 Sattva Consulting
Menyiapkan Concurrent M&E (CME) Pengumpulan Data di Lapangan
20
Tantangan apa yang mungkin kita hadapi saat melakukan survei?
21
•
Apakah surveyor mensurvei sampel yang dimaksud?•
Apakah survei dikelola dengan tidak benar atau curang?•
Apakah surveyor mengajukan pertanyaan dan mencatat tanggapan secara konsisten di berbagai survei?•
Apakah jawaban yang ditandai oleh surveyor masuk akal?•
Apakah survei telah selesai seluruhnya atau sebagian?•
Apakah survei dilakukan pada tingkat produktivitas yang optimal?•
Apakah biaya untuk melakukan survei masih dalam batas yang direncanakan?Evaluasi hanya sebaik data yang Anda kumpulkan!
22
Data collection tools Field Execution Data Analysis Dissemination Design LFA
TERPERCAYA Apakah kita mendapatkan yang sama saat dikumpulkan lagi?
VALID Apakah kita mengukur apa yang kita katakan sedang kita ukur?re we measuring what we say we are measuring?
INTEGRITAS
AMAN AKURAT
Data yang kita kumpulkan harus memiliki karakteristik sebagai berikut
:
Apakah data bebas dari manipulasi?
Apakah data mengukur "indikator" secara akurat?
TEPAT WAKTU Apakah kita mendapatkan data tepat waktu
Kehilangan data / hilangnya privasi
Tetapkan Tim
Ciptakan Akuntabilitas
Pilih & uji coba enumerators yang tepat
Periksa hari/an mingguan
Rapihkan dan jadikan bebas dari kesalahan Latih setiap siklus
1
2
3
4
5
6
Praktik terbaik pengumpulan data
Data collection tools Field Execution Plan Data Analysis Dissemination Design LFA
Demografi Responden Ingatlah demografi peserta sebelum memutuskan mode pengumpulan data: (Survei yang dikelola sendiri, survei yang mendukung teknologi, panggilan telepon, dll.)
Mengatur konteks Menjelaskan bagaimana maksud dan tujuan studi dan cara informasi yang dikumpulkan akan digunakan.
Menjamin anonimitas Beri mereka jaminan atas anonimitas jawaban mereka
Mengumpulkan persetujuan Memperoleh persetujuan lisan atau tertulis untuk partisipasi mereka dalam survei
Memahami pertanyaan Penting untuk memastikan bahwa peserta telah memahami pertanyaan dengan benar, ulangi jika perlu
Memfasilitasi percakapan Memfasilitasi diskusi antar peserta dengan menggunakan kuesioner sebagai panduan dan memastikan bahwa semua peserta sama-sama terlibat dan responsif dalam diskusi.
Mengucapkan terima kasih Berterimakasihlah kepada peserta atas waktunya ..
Interaksi tatap muka Metode terbaik untuk diterapkan adalah survei tatap muka karena membantu dalam membangun kepercayaan yang lebih besar dengan para peserta
Perangkat Pelacakan GPS yang ditautkan ke 'satelit navigasi' atau GIS memungkinkan untuk mengidentifikasi dan melacak lokasi pengiriman atau staf dan untuk
memvisualisasikan informasi pada peta. Misal: Platform seperti Social Cops, Google maps
Ponsel dasar di lingkungan yang sibuk, dapat
membuat komunikasi dengan komunitas lebih mudah.
Banyak organisasi memperluas jangkauan dan sistem umpan balik mereka menjadi menerima pesan melalui SMS, panggilan atau tanggapan suara interaktif
‘Ponsel yang mendukung digital seperti ponsel cerdas, tablet menjadi lebih murah dan lebih mudah digunakan.
Juga nyaman dan hemat biaya menggunakan perangkat digital untuk pengumpulan data daripada survei berbasis kertas tradisional
Memanfaatkan teknologi yang tepat dapat memungkinkan pengumpulan data
Di mana platform komunikasi online populer, lembaga bantuan dapat menggunakannya untuk upaya pemantauan, umpan balik, dan akuntabilitas mereka. Misal: Aplikasi pesan instan seperti WhatsApp
Ada beberapa pertimbangan penting yang harus dibuat saat memilih teknologi yang tepat:
Waspadai risiko digital dan masalah privasi Lakukan analisis risiko-
manfaat yang tepat Evaluasi semua kemungkinan
bias teknologi & masalah teknis yang dapat diperkirakan
Source: Sagmeister, E. (2017) ‘Using technologies for monitoring and evaluation in insecure settings’ in Better Evaluation
Pendekatan yang berpusat pada manusia di atas pertimbangan
lain
© 2020 - 2021 Sattva Consulting
Data collection tools Field Execution Plan Data Analysis Dissemination Design LFA
TANYA-JAWAB
Menyiapkan Concurrent M&E (CME) PEKERJAAN KHUSUS
26
• Pilih area di mana Anda membutuhkan dukungan Sattva
• Bagikan dokumen yang relevan dengan Sattva sebelum sesi bimbingan
27
