Tabel 2 Metode-metode pengumpulan data
Kotak 9 Penilaian perubahan berbasis kelompok
Metode ini, yang diujicobakan oleh ActionAid di Vietnam, bekerja tanpa indikator-indikator yang telah ditetapkan sebelumnya. Dengan membuat pertanyaan-pertanyaan seterbuka mungkin, evaluasi ini melahirkan informasi yang tidak diharapkan tetapi penting, yang mungkin tidak akan diperoleh melalui evaluasi yang lebih terstruktur. Sampel yang mewakili kelompok-kelompok kaum miskin yang didukung proyek ditanyai bagaimana keadaan anggota-anggota lain dari kelompok mereka, khususnya:
Keluarga mana di antara anggota kelompok yang telah mengalami peningkatan situasi, mana yang
situasinya malah memburuk dan mana yang tetap menghadapi situasi yang sama?
Untuk keluarga-keluarga yang situasinya telah membaik atau memburuk, bagaimana situasi mereka dapat
berubah?
Untuk keluarga-keluarga yang situasinya telah membaik atau memburuk, mengapa situasi mereka dapat
berubah?
5 Pendekatan-pendekatan seperti ini, yang tidak menggunakan indikator-indikator yang telah didefinisikan sebelumnya, semakin lama semakin luas digunakan. Salah satu yang terbaik yang pernah dikembangkan adalah ‘Most Significant Change’ metode: lihat Davies, R. and Dart, J. The ‘Most Significant Change’ (MSC) Technique: A Guide to its Use. Cambridge: privately published, 2005. Dapat diakses di: http://www.mande.co.uk/docs/MSCGuide.htm
Jawaban- jawaban perorangan diolah untuk memperoleh gambaran akan perubahan yang terjadi di dalam kelompok. Pengulangan kegiatan yang sama memberi gambaran yang lebih penuh akan dinamika perubahan yang terjadi.
Uji coba metode yang dilaksanakan di Vietnam, yang bertujuan untuk memperoleh gambaran menyeluruh akan penghidupan warga setempat ini, menjelaskan kerentanan terhadap bahaya dengan memperlihatkan arti penting kegagalan panen yang diakibatkan oleh kemarau pada keluarga-keluarga yang situasinya telah memburuk. Rendahnya tingkat kepentingan yang diletakkan pada faktor ini mengejutkan para fasilitator (dan mungkin menyesatkan, karena data dari kegiatan ini memperlihatkan bahwa kekurangan produksi pangan merupakan salah satu aspek penting yang menyebabkan memburuknya situasi).
Sumber: Smith, W. Group based assessment of change: method and results 1998. RDA 2 Can Loc district, Ha Tinh province. Hanoi: ActionAid
Vietnam, 1998.
Kelompok pengendali. Beberapa evaluasi proyek pembangunan menggunakan kelompok pengendali (pengontrol) sebagai perbandingan. Dalam pengurangan bencana (dan khususnya dalam tanggap kemanusiaan), beberapa lembaga merasa kurang nyaman untuk mempelajari kelompok-kelompok rawan risiko yang tidak akan mereka lindungi. Namun, metode ini dapat berguna. Beberapa evaluasi mewawancarai anggota-anggota masyarakat yang tidak terlibat dalam proyek walaupun biasanya untuk mengidentifikasi alasan-alasan ketidakterlibatan mereka. Berbicara dengan kelompok-kelompok yang telah meninggalkan proyek dapat juga memberi kita informasi berharga terkait dengan bagaimana proyek telah dilaksanakan.
Dalam evaluasi Pusat Penelitian Bencana Universitas Delaware atas Project Impact (lihat Kotak 6) diadakan wawancara-wawancara kelompok fokus dengan para anggota komunitas yang baru saja bergabung dengan proyek dan mereka yang tidak terlibat, untuk mempelajari apakah pengalaman-pengalaman dan pendekatan-pendekatan yang digunakan dalam ketujuh program uji coba dapat langsung ditransfer tanpa dana stimulus pemerintah yang cukup besar.
Para penerima manfaat. Kita perlu mengidentifikasi siapa-siapa yang akan menerima manfaat dari sebuah program PRB. Para evaluator tidak boleh mengandaikan bahwa manfaat yang dapat dipetik akan terbagi rata di masyarakat. Mereka harus menilai karakteristik sosial-ekonomi dari komunitas-komunitas penerima manfaat, dengan mempertimbangkan juga isu-isu gender dan orang-orang yang rentan karena faktor-faktor lain seperti latar belakang etnis, usia dan penyandang cacat.
Sekarang telah banyak tersedia panduan untuk memadukan aspek-aspek gender ke dalam analisis risiko dan kerentanan serta perencanaan proyek. Namun, perangkat-perangkat untuk mengevaluasi hasil-hasil kegiatan
pengurangan bencana yang spesifik gender belum banyak tersedia.6
Para evaluator tidak boleh berpuas diri dengan indikator-indikator kegiatan yang terbatas – misalnya, jumlah perempuan yang ikut ambil bagian dalam kegiatan-kegiatan proyek seperti pelatihan kesiapsiagaan darurat – sebagai bukti kesetaraan gender yang lebih luas dalam PRB.
Keberlanjutan. Selama pelaksanaan proyek kita mungkin akan kesulitan dalam menilai peluang tingkat keberlanjutan proyek pada jangka panjang dan replikasinya, tetapi hal ini dapat disimpulkan dari bukti lain. Seperti juga di bidang pembangunan, prakarsa-prakarsa PRB dapat menjadi lebih berkelanjutan bila kita mencurahkan banyak waktu dan upaya dalam mempersiapkan proyek bersama komunitas, para mitra dan para pemangku kepentingan lainnya baik di tingkat pusat maupun daerah. Suatu indikator lain yang juga telah digunakan adalah tingkat kontribusi keuangan dan sumber-sumber daya lainnya yang telah diberikan oleh para pemangku kepentingan kepada proyek, dengan asumsi bahwa keberlanjutan berkaitan erat dengan tingkat rasa memiliki dari warga setempat.
Pada proyek-proyek berbasis masyarakat, kekuatan lembaga komunitas merupakan suatu faktor penting. Evaluasi seringkali memberi perhatian besar pada pembentukan atau upaya menghidupkan kembali kelompok-kelompok setempat seperti komite-komite penanggulangan bencana. Namun, sekadar keberadaan dari kelompok-kelompok semacam ini saja belum menunjukkan kapasitas dalam mengelola risiko dan analisis perilaku mungkin hanya
6 Salah satu perangkat yang potensial berguna adalah kerangka indikator ‘Gender equality results and indicators for disaster-related programmes’, yang baru saja dikembangkan oleh sebuah tim evaluasi: Gander, C. et al., ‘Evaluation of PAHO’s Disaster Preparedness Programme in Latin America and the Caribbean’ (London: Department for International Development (UK), laporan evaluasi yang tidak diterbitkan), dimuat juga dalam Benson and Twigg (2001), hal. 124–125.
C a t a t a n P a n d u a n 13 193
akan memperlihatkan antusiasme jangka pendek. Oleh karena itu, bukti kegiatan kelompok harus dikumpulkan (misalnya, pengkajian risiko, penyusunan rencana-rencana kedaruratan, pembelian peralatan, pembangunan struktur-struktur peredaman bahaya seperti tanggul). Frekuensi, sifat dan kualitas dari kegiatan-kegiatan semacam itu dan tingkat keterlibatan komunitas dapat dipantau serta dievaluasi baik secara internal maupun oleh pihak luar.
Para evaluator harus mempertimbangkan faktor-faktor eksternal yang dapat memengaruhi keberlanjutan, seperti perubahan-perubahan dalam kebijakan resmi atau tata pengaturan pendanaan, keluar-masuknya staf dan kemunduran dalam perekonomian.
Struktur, sistem dan lembaga. Sebagian besar metode pemantauan dan evaluasi menangani proyek-proyek yang relatif berdiri sendiri dan berskala kecil, sementara intervensi dengan skala yang lebih besar (misalnya, di tingkat nasional atau menyangkut keseluruhan sistem) juga memiliki peran yang vital dalam PRB. Evaluasi sistem PRB di tingkat nasional atau tingkat lain yang lebih tinggi membutuhkan suatu perspektif menyeluruh yang mencakup kebijakan dan lembaga-lembaga serta praktik-praktik (lihat Tabel 1). Evaluasi semacam ini juga perlu mempertimbangkan peran berbagai aktor dalam PRB: pemerintah nasional dan pemerintah daerah, sektor dunia usaha, masyarakat sipil dan lembaga-lembaga antarpemerintah dan regional.
Panduan metodologis tentang penilaian dalam konteks-konteks ini masih terbatas dan hanya ada sedikit pengalaman evaluasi yang terdokumentasikan, sehingga menyulitkan kita dalam mencari contoh praktik-praktik yang baik. Namun, belakangan ini telah dikembangkan beberapa metode untuk menilai kemajuan dalam PRB di tingkat nasional dan untuk membantu menetapkan sasaran-sasaran dan tujuan-tujuan (lihat Bacaan lebih lanjut). Indeks-
indeks risiko dan kerentanan di tingkat nasional (lihat Catatan Panduan 4) juga dapat digunakan di sini.
Proses-proses untuk mengarusutamakan PRB dengan efektif ke dalam kebijakan dan praktik lembaga-lembaga yang bergerak dalam bidang pembangunan belum dipahami dengan baik walaupun beberapa perangkat penilaian yang menjanjikan belakangan ini telah bermunculan (lihat Bacaan lebih lanjut). Dibutuhkan adanya perspektif luas yang mungkin akan mencakup kerja lembaga dalam bidang-bidang berikut:
Kebijakan-kebijakan
Strategi-strategi atau rencana-rencana bisnis
Panduan operasional untuk merencanakan dan melaksanakan proyek dan untuk menjalankan lembaga tersebut
sendiri
Rencana-rencana geografis dan sektoral
Perancangan program dan proyek serta proposal-proposal
Struktur, sistem dan kapasitas kelembagaan
Hubungan luar