Evaluasi adalah kegiatan yang dilakukan secara independen untuk menilai proses kegiatan program baik dari aspek efesiensi dan efektifitas kegiatan maupun dampak dari program. Kegiatan evaluasi program PAMSIMAS akan mencakup aspek monitoring kesinambungan (proses partisipasi dan outcome), pelaksanaan dan output kegiatan, evaluasi dampak program, dan evaluasi yang meliputi proses, hasil, dan pendanaan. Evaluasi Program PAMSIMAS bertujuan untuk mengidentifikasi berbagai hal yang muncul dalam pelaksanaan program sehingga memberi kesempatan kepada pelaksanan program untuk melakukan perbaikan yang diperlukan berdasarkan rekomendasi dan hasil pemantauan, dengan kata lain evaluasi program berguna untuk melihat apakah intervensi input yang dilakukan telah memberikan dampak sesuai harapan program yang ditetapkan. Jenis-jenis evaluasi yang akan dilakukan dalam Program Pamsimas adalah:
(a) Evaluasi Keluaran (Output). Dilakukan dengan melihat sejauh mana perubahan yang dialamai masyarakat penerima manfaat dengan membandingkan kondisi sebelum dan sesudah pelaksanaan program.
(b) Survei/Studi Dampak. Program Pamsimas melalui kerja sama dengan konsultan atau pihak lain melakukan survei/studi dampak/manfaat ekonomi, peningkatan derajat kesehatan masyarakat, dan peran pemerintah sebagai fasilitator dan regulator, serta peran masyarakat di bidang air minum dan penyehetan lingkungan.
29
(c) Studi Khusus/Tematik. Untuk mempertajam hasil pemantauan dan evaluasi dampak, sejumlah studi tematik dapat dilakukan dalam kurun waktu perjalanan program.
Evaluasi Program PAMSIMAS memiliki prinsip-prinsip dalam pelaksanaanya yakni partisipatif artinya Semua pelaku program terutama masyarakat, fasilitator, dan konsultan, berpartifipasi aktif dalam kegiatan pemantauan, evaluasi, dan pelaporan. Kedua, transparan artinya evaluasi harus dilakukan secara terbuka dan hasilnya mudah diakses semua pihak. Ketiga, akurat yakni Informasi yang disampaikan harus menggunakan data yang benar, tepat dan dapat dipertanggungjawabkan.
1.5.2.1. Indikator Keberhasilan Program PAMSIMAS di Tingkat Masyarakat Kinerja pelaksanaan program PAMSIMAS di tingkat masyarakat dinilai berhasil jika memenuhi indikator-indikator sebagai berikut:
(1) Tujuan umum program
(1.1) Meningkatkan akses masyarakat, terutama masyarakat miskin, pada fasilitas air minum yang layak sebesar 50-100% dari masyarakat yang belum memiliki akses.
(1.2) Meningkatkan akses masyarakat, terutama masyarakat miskin, pada fasilitas sanitasi yang layak sebesar 100% paling lambat pada tahun ketiga setelah pemicuan.
(2) Komponen 1: Pemberdayaan Masyarakat dan Pengembangan Kelembagaan Lokal
30
(2.1) Rencana Kerja Masyarakat (RKM) disusun secara partisipatif melibatkan seluruh komponen masyarakat (miskin-kaya; perempuan-laki-laki).
(3) Komponen 2: Peningkatan Perilaku Hidup Sehat dan Pelayanan Sanitas (3.1) 80% masyarakat sasaran berhenti buang air besar sembarangan. (3.2) 80% masyarakat sasaran menerapkan perilaku cuci tangan pakai
sabun pada waktu-waktu kritis.
(3.3) 95% sekolah sasaran mempunyai sarana sanitasi yang layak dan program PHBS.
(4) Komponen 3: Penyediaan Sarana Air Minum dan Sanitasi Umum
(4.1) Sarana air minum yang berfungsi, dimanfaatkan serta memenuhi tingkat kepuasan mayoritas masyarakat sasaran.
(4.2) Sarana air minum yang dikelola dan dibiayai secara efektif oleh masyarakat.
1.5.2.2. Evaluasi Aspek Keberlanjutan Program PAMSIMAS
Keberlanjutan atau kesinambungan program dimaknai sebagai sarana terbangun dan perubahan perilaku yang dapat memberikan pelayanan dan manfaat secara menerus dengan mempertimbangkan kelayakan teknis, pembiayaan, kelembagaan, kesetaraan sosial dan pelestarian lingkungan. Keberlanjutan program PAMSIMAS dilakukan oleh masyarakat dan didampingi oleh fasilitator masyarakat. Keberlanjutan menjadi salah satu indikator yang sangat penting untuk dievaluasi karena menyangkut
31
keberhasilan program PAMSIMAS, dimana dalam keberlanjutan terkandung 6 aspek yang ditinjau meliputi efektivitas kesinambungan, efektivitas penggunaan, ketanggapan program terhadap kebutuhan masyarakat, kesetaraan dalam pengelolaan pelayanan, partisipasi melalui pemberdayaan, dan perilaku sehat.
Aspek keberlanjutan merupakan aspek yang menjadi salah satu permasalahan dalam program PAMSIMAS dan sangat sulit untuk diwujudkan karena keberhasilan keberlanjutan program harus memperhatikan kemampuan para penggunanya menjaga sarana agar tetap berfungsi dan memenuhi tingkat kepuasan masyarakat. Sarana yang ada digunakan dengan efektif bila mudah dijangkau dan digunakan oleh sebagian masyarakat sasaran dengan memperhatikan aspek kesehatan, serta tanpa ada pengecualian/pembedaan terhadap kelompok tertentu.
Keberlanjutan dalam PAMSIMAS dapat dilakukan berdasarkan kerangka analisis proses dan dampak program yang dikutip dari Sustainability Planning and Monitoring in Community Water Supply and
Sanitation (Nilanjana Mukherjee and Christine van Wijk, WSP-IRC: 2003) dalam buku panduan Petunjuk Teknis Pemantauan, Evaluasi, dan Pelaporan PAMSIMAS edisi 2011, terlihat sebagai berikut:
32 A Efektivitas Kesinambungan (Effectively sustained services) B Efektivitas Penggunaan (Effectively used services)
Kerangka Analisis Proses dan Dampak
F AK T O R L UAR Pr oses M asyar ak at & L em b aga S aat P em b an gu n an P elayan a n Keadaan saat P en il aian C Ketanggapan Program terhadap kebutuhan masyarakat (Demand responsive services) D Partisipasi masyarakat melalui pemberdayaan (user partisipation with empowerment ) E Kesetaraan dalam pengelolaan (Equitable Sharing of Burdens and benefits) F Dukungan Kelembagaan (International Support for
gender, proverty, sensitive, demand responsive
G
Dukungan Kebijakan (Policy
support for gender, proverty,sensitive, demand
responsive)
Gambar 1.3: Kerangka Analysis Methodology for Participatory Assesment (MPA)
33
Kerangka analisis proses dan dampak diatas menunjukkan hubungan antar kompeonen A,B,C,D,E,F, dan G. Masyarakat dikatakan telah menjaga keberlanjutan sarana air minum dan sanitasi tergantung pada:
(a) Tingkat dimana semua masyarakat (perempuan dan laki-laki), kaya dan miskin, dan juga kelompok umur yang berbeda) mempunyai akses dan menggunakan sarana tersebut
(b) Tingkat dimana sarana air minum dan sanitasi sesuai demand status semua masyarakat (perempuan, laki-laki, baik kaya dan miskin)
(c) Cara-cara dimana beban dan masnfaat dan perencanaan, pembangunan dan pemanfaatan sarana air minum dan sanitasi dibagi secara setara diantara semua komponen masyarakat
(d) Tingkat pasrtisipasi pengguna yang memperhatikan aspek gender dan kemiskinan dalam pembangunan dan pengelolaan sarana air minum dan sanitasi
(e) Bentuk dukungan lingkungan kelembagaan yang memberikan kemudahan bagi partisipasi masyarakat (perempuan dan laki-laki baik kaya ataupun miskin) dalam pembangunan dan penggunaan sarana air minum dan sanitasi
(f) Dukungan kebijakan atau bentuk sektor kebijakan dalam program memberikan kemudahan bagi partisipasi masyarakat dalam pembangunan dan penggunaan sarana air minum dan sanitasi.
34