Monitoring & Evaluasi
MONITORING ???
Memberikan manager dan stakeholder utama regular feedback dan indikasi awal dari progress atau kekurangan dalam pencapaian hari hasil yang diharapkan
Sasaran Monitoring???
Monitoring juga terkadang dapat merujuk pada proses evaluasi, karena berfokus pada proses implementasi dan menanyakan pertanyaan kunci seperti :
a. Seberapa baik program telah diimplementasikan?
b. Berapa banyak variasi pelaksanaan dari satu lokasi dengan lokasi lainnya?
c. Apakah program memberikan keuntungan/benefit kepada orang yang dituju? Seberapa besar biaya yang dikeluarkan?
Note :
Monitoring selalu digunakan untuk penghitungan, mentraking, dan pengumpulan, sebagai contoh :
a. Menghitung jumlah klien yang hadir atau petugas kesehatan yang telah dilatih
b. Mentraking jumlah kondom yang didistribusikan
Evaluasi ???
Assessment objective dan sistimatis dari project yang sedang berjalan atau sudah selesai, program atau kebijakkan, perencanaan, implementasi dan hasil
Apa yang ditentukan??
Relevansi dan pemenuhan objective, efisiensi, efektifitas, impact dan keberlanjutan Evaluasi harus memberikan informasi yang kredibel dan berguna, memungkinkan untuk
Untuk mengukur perbedaan outcome yang terjadi antara daerah yang menerima intervensi dengan daerah yang tidak menerima intervensi yang dikenal sebagai i pact dan mengukur perbedaan ini seringkali disebut atau dapat juga disebut i pact Evaluatio .
Note :
Apa itu Sistem M&E ?
Sebuah rencana untuk memadukan berbagai alat pengumpulan dan analisa data secara sistematik.
M&E plan menentukan
Apa ? (data)
Bagaimana? (metode)
Siapa? (orang/tim)
Mengapa M&E itu penting?
•Untuk mengetahui sejauhmana project/program/kebijakkan mereka memenuhi objectifnya dan menuju kepada efek yang diharapkan
•Membangun transparansi dan akuntabiliti dalam hal penggunaan sumber daya project/program
•Dasar yang jelas bagi pengambilan keputusan
Apakah yang dapat dijawab dengan M&E
•Apakah pelaksanaan program sesuai dengan yang direncanakan?
•Apakah target populasi (beneficiaries) mendapatkan benefit dari program dan pada biaya berapa?
•Aktifitas yang mana dari program yang lebih efektif dan/atau kurang efektif?
Kapan Seharusnya M&E ditempatkan?
•M&E adalah proses terus-menerus yang dilakukan selama waktu program
•Agar menjadi lebih efektif, M&E harus direncanakan pada tahapan desain program, termasuk waktu, dana, dan personil.
•Monitoring seharusnya dilakukan di setiap tahapan program, melalui pengumpulan data, penganalisaan dan digunakan secara kontinu.
•Evaluasi biasanya dilaksanakan diakhir program. Bagaimanapun juga, evaluasi harus
Dasar untuk Monitoring & evaluasi yang
bagus
Budget bagi monev
melihat kemampuan monev
memasukkan dalam rencana kerja dan pengintegrasian dalam semua level
M&E Plan dan focus pada sedikit indicator
as simple as possible – proses pengumpulan data dan management
regular meeting untuk merefleksi data
penggunaan logframe
sharing hasil
Hirarki project dan kaitannya dengan
M&E
Sejauh mana project/program telah memberikan kontribusi terhadap goal jangka
panjang? mengapa dan mengapa tidak? Konsekuensi negative dan positif apakah yang tidak diantisipasi yang dipunyai project/program? Mengapa hal tersebut muncul?
Apa yang di monitor dan dievaluasi
Perubahan apa yang terjadi sebagai hasil dari output dan sejauhmana ini berkontribusi kearah tujuan project/program dan impact yang diharapkan? Sudahkah project/program mencapai perubahan secara realistis dan akuntabel?
Apa produk atau jasa yang dapat dilihat secara langsung yang telah dideliver project/program sebagai hasil dari kegiatan
Apakah aktifitas yang direncanakan sudah terlaksana sesuai jadwal dan masih dalam budget? Apa kegiatan yang tidak direncanakan terlaksana?
Inputs Activities Output
Purpose/Objectif Goal
Level dalam hirarki project
Aktifitas M&E yang menjadi bagian dari
project/program design
• Initial assessment dari situasi termasuk gender assessment
• develop logframe
• develop rencana M&E
Ada 2 komponen utama dari Monitoring
Process Monitoring
Menyediakan informasi dalam penggunaan sumber daya, progress dari aktifitas serta cara hal tersebut dilaksanakan
Result Monitoring
Fitur kunci dari process monitoring vs result monitoring
Process Monitoring Result Monitoring
Deskripsi dari permasalahan atau siatuasi sebelum intervensi
Data baseline untuk menjelaskan permasalahan atau situasi sebelum intervensi
Benchmark dari aktifitas dan immediate output Indicator untuk outcome
Pengumpulan data bagi input, aktifitas dan immediate output
Pengumpulan data pada output dan bagaimana dan apakah kontribusinya kearah pencapaian outcome
Pelaporan tersistimatis pada realisasi output dan produksi output
Pelaporan tersistimatis dengan lebih kualitatif dan kuantitatif informasi dalam proses menuju outcome
Berhubungan secara langsung kepada intervensi berlainan atau series intervensi
Selesai secara bersama dengan mitra strategis
Mengapa kita melakukan monitoring?
1. Menyediakan informasi bagi management, staff dan stakeholder lainnya akan informasai apakah progress sudah dibuat kearah pencapaian objectif project/program
2. Menyediakan regular feedback untuk meningkatkan ongoing learning experience serta untuk meningkatkan proses perencanaan dan keefetivitasan dari intervensi
3. Meningkatkan akuntabilitas project
4. Untuk melihat hasil positif serta kekuatan dan kelemahan approach project
Mengapa kita melakukan evaluasi?
1. Menentu relevansi
2. Untuk mengakses efisiensi
3. Untuk mengakses efektifitas
4. Mementukan impact
5. Untuk mengakses keberlanjutan
6. Sebagai pembelajaran kedepan
Review
Perbedaan antara review dan evaluasi
Review lebih luas daripada evaluasi sebagai studi dimana dapat melihat kedalam berbagai aspect dari pekerjaan.
Objectif dan indicator harus ditentukan sebelum project/program agar dapat dievaluasi
Kenapa program review dilakukan?
1. Untuk mengasses progress dan impact dari pekerjaan ketika evaluasi yang lebih formal tidak memungkinkan untuk dilakukan
2. Untuk mengklarifikasi objektif dari pekerjaan yang telah berjalan disuatu waktu
3. Ketika alasan besar sudah harus dibuat untuk arahan project/program kedepan
4. Untuk mengidentifikasi isu kunci dan permasalahan yang membutuhkan arahan
5. Untuk mendapatkan feedback tentang project/program dari partner dan beneficiaries dan menyediakan mereka dengan kesempatan untuk berpartisipasi dalam menganalisa pekerjaan dan perencanaan kedepan
Tipe evaluasi dan tujuannya
Tipe Purpose Pertanyaan Evaluasi
Pre Implementation Assessment
When? Diselesaikan sebelum implementasi
Memastikan bahwa kegagalan bukan diprogram dari awal implementasi
• Apakah objektif telah ditentukan secara baik sehingga outcome dapat diukur?
• Apakah rencana implementasi secara utuh dan kredibel menyediakan bukti jelas dari bagaimana pelaksanaan sudah diproses?
• Apakah rasional untuk pengalihan dari sumber daya sudah jelas dan sesuai dengan reuirement untuk pencapaian outcome? Proses implementasi evaluasi
When? Dilakukan selama implementasi
Untuk mencari tahu apakah implementasi masih dalam track atau diluar track
• Apa yang sudah diimplementasi atau belum?
• Apa perbedaan antara yang sudah
seharusnya diimplementasikan dan secara actual diimplementasikan?
• Bagaimana kesesuaian dan sedekat apa rencana dengan cost, time requirement, kapasitas staff, ketersediaan dari sumber daya keuangan, fasilitas dan dukungan politik?
Tipe Purpose Pertanyaan evaluasi
Impact evaluation
When? Diselesaikan diakhir project/program atau lama setelah program
Untuk mengakses impact disebabkan oleh intervensi dan apa yang mungkin hadir dari event atau kondisi lainnya
• Apakah input yang digunakan secara baik untuk pencapaian outcome?
• Sudahkah tujuan, objektif dan output sudah dicapai? Mengapa iya dan tidak?
• Sejauhmana project/program sudah berkontirubsi kearah goal jangka
panjang? Mengapa iya mengapa tidak?
• Konsekuensi positif dan negative apa yang tidak diantisipasi yang dipunyai project/program? Mengapa iya dan tidak?
• Apakah ide bagus project/program memberikan situasi yang membutuhkan peningkatan? Apakah sesuai dengan priritas dari target group?
• Apakah ada lanjutan setelah project/program selesai? Meta Evaluation Untuk mengaggregasi temuan dari seri
evaluation yang sudah selesai dalam inisiatif yang sama bagi pembelajaran
• Apa yang kita tahu saat ini dalam isu ini?
Evaluasi membutuhkan :
a.
Pengumpulan data di awal program (membutuhkan baseline), lalu
pengumpulan data kembali diakhir, daripada dilakukan secara
berulang dalam masa pelaksanaan program
b.
Kontrol atau group pembanding bertujuan agar dapat mengukur
telah terjadi perubahan dalam pencapaian outcome yang dapat
disebabkan oleh program
Evaluasi
o Dilakukan sebelum ditetapkannya rencana pembangunan
o Untuk memilih dan menentukan skala prioritas dari berbagai
alternatif dan kemungkinan cara mencapai tujuan dan telah
dirumuskan sebelumnya
o Dilakukan pada saat pelaksanaan rencana pembangunan
o Untuk menentukan tingkat kemajuan pelaksanaan rencana dibandingkan dengan rencana yang telah ditentukan
sebelumnya
o Dilaksanakan setelah pelaksanaan rencana berakhir
o Untuk melihat apakah pencapaian (keluaran/hasil/dampak) program mampu mengatasi masalah
pembangunan yang ingin dipecahkan
o Untuk menilai efisiensi (keluaran dan hasil dibandingkan masukkan), efektivitas (hasil dan dampak
terhadap sasaran), ataupun
Evaluasi memberikan informasi tentang
Strategi
Apakah yang dilakukan sudah benar?
Operasi
Apakah Cara yang ditempuh sudah benar?
Pembelajaran
Perbedaan antara monitoring dan evaluasi
Monitoring Evaluasi
Efisiensi –penggunaan input, kegiatan, output, asumsi
Secara terus menerus sepanjang durasi dari project/program
Tergantung –sebelum pelaksanaan,
pertengahan, diakhir atau sesudah periode project/program
Efektifitas, impact jangka panjang dan keberlanjutan–pencapaian tujuan dan goal dan perubahan yang tidak
direncanakan
Dalam banyak kasus diselesaikan oleh orang dari luar organisasi
Staffs dalam organisasi
Internal dokumen seperti laporan bulanan atau laporan 3 bulanan, catatan
perjalanan, minutes of meeting
Internal & external dokumen seperti laporan konsultan, laporan tahunan, statistic nasional
Manager dan staff project/program Pengguna hasil?
Sumber informasi apakah yang digunakan?
Siapa yang terlibat? Apa yang diukur?
Kapan Selesai?
Input Proses Output
Outcome Goal Impact
Monitoring
Evaluasi
Pemerintah Kabupaten akan menyelenggarakan sebuah pelatihan PAKEM bagi guru, dengan gambaran lengkap sebagai berikut:
Tujuan pelatihan adalah agar murid-murid dapat belajar dengan lebih efektif dan dengan demikian mencapai nilai yang lebih tinggi dalam ujian akhir nasional.
Untuk mencapai tujuan itu direncanakan sebuah pelatihan. Para pelatih diundang untuk melatih 30 guru; bahan-bahan pelatihan disiapkan, sekolah diberitahu untuk mengirim beberapa guru untuk mengikuti pelatihan tersebut.
Pelatihan dilakukan selama tiga hari. Fasilitator menyajikan metode PAKEM dalam mengajar. Diskusi berlangsung hangat antara guru dan fasilitator. Kemudian ada kunjungan dan praktek mengajar di sekolah terdekat.
Setelah kembali ke sekolah masing-masing sebagian guru mulai mempraktekkan metode PAKEM. Ada yang berhasil melakukannya. Murid-murid mulai nampak aktif berdiskusi dan melakukan
kerja kelompok. Tetapi di sekolah lainnya, guru-guru tidak melakukannya.
Input Proses Output Outcome Impact Impact
Tolong Identifikasi apakah Monitoring
atau Evaluation?
1. Kementrian kependudukan ingin mengetahui apakah program yang dilakukan di suatu
propinsi telah menurunkan angka kehamilan yang tidak diinginkan antar remaja di propinsi tersebut?
2. UNICEF ingin mengetahui sudah berapa banyak pekerja seks yang telah dijangkau oleh program pada tahun ini
