Evaluasi bisa terjadi pada waktu yang berbeda-beda selama perencanaan dan pelaksanaan satu program. Kapan terjadinya evaluasi terkait erat dengan peran apa yang
3 E.F. Kelly menyajikan beberapa analisis paling jelas mengenai argumen
evaluatif dan hubungannya dengan praktik pada sejumlah makalah terbaru yang dirujuk dalam catatan kaki di muka.
dimainkan evaluasi dan jenis-jenis keputusan yang menjadi tujuan dari kontribusinya.
1. Dilaksanakan di awal-mula proyek, selama atau sepanjang tahapan desainnya, evaluasi menyediakan mekanisme untuk mengidentifikasi berbagai isu, kendala, dan pokok-pokok penting potensi intervensi program. Peranan ini sering dipaparkan sebagai “analisis kebutuhan”, tempat evaluasi beroperasi sebagai analisis kebijakan.
2. Dilaksanakan selama berlangsungnya proyek, evaluasi menyediakan cara untuk membangun proses self-
correcting ke dalam program. Dalam peranan ini, evaluasi
menyediakan informasi untuk penyesuaian-ulang yang diperlukan pada saat operasi dan pelaksanaan suatu program. Evaluasi juga memberikan peringatan sehubungan dengan kebijakan, prosedur, dan elemen- elemen program yang mungkin memiliki konsekuensi negatif yang tak terlihat sebelum berbagai konsekuensi seperti itu mencapai proporsi yang bersifat merusak. Evaluasi seperti ini biasanya disebut “Evaluasi formatif.” 3. Dilaksanakan pada akhir proyek, evaluasi menghasilkan informasi untuk membantu keputusan jangka-panjang - mengenai apakah suatu program sebaiknya diperluas atau diakhiri, dilestarikan atau direvisi, disebarkan ke lokasi lain atau ditinggalkan sama sekali. Proses ini disebut “evaluasi sumatif.”
Berbagai program internasional yang dibiayai oleh para donor biasanya mengamanatkan evaluasi formal dengan peran sumatif agar menyampaikan pertimbangan mengenai keberhasilan atau kegagalan proyek pada bagian kesimpulan. Meskipun demikian, sampai saat ini evaluasi pada program bantuan teknis internasional telah membuktikan bahwa evaluasi paling banyak memberikan keuntungan atau manfaat kalau dilaksanakan sejak awal, dengan perannya sebagai analisis kebijakan dan analisis kebutuhan. Evaluasi yang dilaksanakan setelah satu program selesai (meskipun secara
potensial masih cukup bermanfaat), agak terlambat untuk dapat membantu proyeknya. Kegunaan hasil evaluasi sumatif pada upaya desain proyek berikutnya dibatasi oleh: (a) langkanya replikasi program bantuan teknis skala besar dan (b) bila replikasi itu benar-benar dilaksanakan, maka kebutuhan akan komitmen pada desain-ulang atau kontinyuasi jauh sebelum tersedianya data sumatif mengenai siklus proyek terdahulu. Hal ini menimbulkan paradoks dalam perencanaan program. Mandat paling jelas untuk evaluasi (peran sumatif) akan mendorong dilaksanakannya evaluasi setelah poin kegunaan maksimum (peran normatif).
Kerangka yang berguna untuk mempertimbangkan peranan yang dapat dimainkan evaluasi dalam perencanaan dan operasi program dipersembahkan oleh Stufflebeam (1971).4 Ia membuat pembedaan di antara berbagai konteks,
input, proses, dan produk evaluasi menurut saat terjadinya kegiatan evaluasi program dan menurut tipe pertanyaan evaluasi apa yang ingin mereka ajukan.
Evaluasi konteks dilaksanakan untuk mengidentifikasi
kondisi, berbagai isu, kesempatan, dan kendala yang ada di dalam lingkungan program. Hal ini semacam analisis kebutuhan, suatu kegiatan awal untuk mengidentifikasi berbagai jenis program yang sesuai atau cocok dengan latar belakang yang tersedia.
Evaluasi konteks pada awalnya melibatkan upaya identifikasi berbagai keterbatasan ranah yang akan dilayani. Data dikumpulkan untuk mengidentifikasi kondisi yang ada, kebutuhan yang tak terpenuhi, dan berbagai kesempatan yang tak digunakan, juga untuk mengidentifikasi berbagai permasalahan yang bisa membatasi respon atas kebutuhan dan kesempatan. Bilamana mungkin, analisisnya itu ditarik dari sumber data yang ada; meskipun demikian, berbagai kajian empiris tambahan mungkin juga diperlukan untuk mengumpulkan informasi.
4 Stufflebeam, D.L. et. al. (1971). Educational evaluation and decision making.
Informasi yang disediakan oleh evaluasi konteks, memberi kontribusi beberapa tipe keputusan: (a) setting yang akan ditetapkan, (b) tujuan umum yang akan diupayakan, dan (c) sasaran yang akan dicapai. Analisis konteks berfungsi sebagai latar belakang kegiatan desain proyek yang lebih terinci dan spesifik yang mungkin menyertainya.
Analisis konteks pada berbagai program internasional diillustrasikan oleh analisis sektor sebagaimana yang dilakukan oleh Bank Dunia atau USAID.5 Tujuan dari kajian ini adalah
untuk memeriksa dan menaksir sumberdaya, rencana, kebutuhan, persoalan dan kesempatan yang ada pada sektor ekonomi perorangan. Namun, mengapa suatu pemerintahan merasa perlu untuk menjalankan analisis seperti itu? Salah satu alasannya adalah bahwa kegiatan kementerian berhubungan dengan resolusi persoalan atau implementasi kebijakan tertentu. Kementerian melaksanakan berbagai kajian tentang persoalan mendesak namun jarang memiliki kesempatan untuk membentuk satu tinjauan menyeluruh.
Contoh evaluasi konteks dalam lingkungan internasional adalah pengembangan the USAID Project Identification
Document (PID) yang memberikan data assessment kebutuhan,
analisis kebijakan, dan rasional berbasis-luas untuk proyek dalam bidang program yang ada. Evaluasi ini berfokus pada satu proyek tertentu daripada ke seluruh sektor, namun evaluasi ini masih mendahului desain proyek spesifik. Jelas, berbagai kegiatan identifikasi proyek akan sangat pesat kemajuannya jika didahului oleh assessment sektor.
5 Prosedur analisis sektor Bank Dunia dipaparkan di dalam karya Baum,
W.C. & S.M. Tolbert. (1985). Investing in development: lessons of World Bank experience.
Washington, D.C.: The World Bank. Teknik assessment sektor yang digunakan pada
sejumlah kajian yang disponsori oleh USAID dipaparkan dalam karya Cieutat,
V.S. (1983). Planning and managing an education sector assessment. Washington, D.C.:
United States Agency for International Development. dan Cieutat, V.S. (1986). Planning and managing an education section assessment: Lihat juga, Robinson, B. (1973). On methodology for education sector analysis. Washington, D.C.: United States Agency
Evaluasi input memberikan informasi untuk menentukan bagaimana cara memanfaatkan sumberdaya agar dapat mencapai tujuan dan sasaran proyek. Evaluasi ini terdiri dari upaya identifikasi dan analisis: (a) kapabilitas agen dan kelompok yang bertanggung-jawab yang relevan, (b) berbagai strategi untuk mencapai tujuan proyek, dan (c) desain untuk mencapai strategi spesifik. Informasi yang diberikan dalam suatu evaluasi input merupakan informasi yang penting untuk menstrukturkan desain spesifik agar dapat mencapai tujuan proyek.
Taraf operasi evaluasi input sebagai satu aktivitas formal bervariasi berdasarkan sponsor dan proyek, meskipun semua proyek pemerintah dan agen pemberi donor mengadakan semacam perencanaan serta memperhitungkan berbagai isu yang dikemukakan di dalam evaluasi input. Contoh evaluasi input di USAID ditunjukkan melalui tahapan Project Paper
pengembangan proyek. Selama tahapan itu, konsep proyeknya (yang diidentifikasi di dalam PID-nya) diuraikan secara panjang lebar dan diusulkan desain spesifik proyek. Kegiatan ini mencakup penaksiran antisipasi kapabilitas kelompok yang relevan, kesesuaian berbagai strategi alternatif, dan kelayakan proposal desainnya. Semua inputs dievaluasi berdasarkan kriteria biaya terendah, biaya manfaat, atau efektivitas biaya.
Evaluasi proses sinonim dengan apa yang secara luas
disebut evaluasi formatif. Tiga tujuan utamanya adalah: (1) agar dapat mengidentifikasi berbagai konsekuensi program tak-terantisipasi tepat pada waktunya untuk kepentingan para manajer program dengan maksud agar dapat menghindari segala konsekuensi yang tidak diinginkan; (2) agar dapat memberikan informasi yang berkesinambungan mengenai kinerja program (misal, tingkat implementasi, konsistensi pada tujuan awal, persoalan sehubungan dengan cara program itu akan ditangkap atau diterima); dan (3) agar dapat mendo- kumentasikan segala apa yang terjadi dengan proyeknya.
Pentingnya fungsi terakhir ini ternyata lebih besar daripada yang selama ini diduga. Program dan proyek sering ditanggapi dengan dokumentasi yang kurang cermat mengenai kegiatan implementasi. Terlampau sering program disimpulkan sebagai program yang berhasil (atau tidak) tanpa memaparkan berbagai relevansi dimensi dari apa yang sedang terjadi sedemikian sehingga upaya yang lebih kemudian untuk mereplikasi (atau menghindari) komponen-komponen yang berhasil (atau tidak berhasil) dihalangi oleh ambiguitas sehubungan dengan apa yang sebenarnya terjadi. Layanan evaluasi pada program bisa dikatakan buruk, padahal evaluasilah yang memberikan kesimpulan tentang efektivitas dan dampak dari program. Hal ini disebabkan evaluasi itu gagal mendokumentasikan berbagai kegiatan dan peristiwa yang sebenarnya membentuk program tersebut.
Audiensi utama evaluasi proses, atau formatif, adalah mereka yang berwenang untuk melakukan penyesuaian seperlunya di tengah proses pelaksanaan evaluasi tersebut. Audiensi ini biasanya terdiri dari manajer program atau (pada beberapa kasus) sponsor program. Evaluasi proses cenderung disajikan dengan cara yang kurang formal daripada evaluasi konteks, input, atau produk. Dalam hal ini, tekanannya ada pada informasi tepat waktu yang berkesinambungan sehubungan dengan apa yang sedang berlangsung. Akibatnya, format laporan lebih cenderung ke bentuk yang bisa mencakup memorandum dan percakapan tak-resmi daripada dalam bentuk laporan tertulis resmi.
Anehnya, manakala program bantuan teknis internasional cenderung memiliki konteks kuat dan evaluasi masukan, maka program itu cenderung lemah dalam evaluasi proses. Ada beberapa faktor yang ikut mempengaruhi kecenderungan ini.
Pertama, tidak selalu mudah mengubah komitmen dan kontrak
awal agar dapat memecahkan persoalan yang sedang berjalan. Perubahan seperti itu memerlukan banyak justifikasi dan kerja ekstra, dan juga menimbulkan pertanyaan pada tingkat administrasi yang lebih tinggi sehubungan dengan keandalan
proses perencanaan awalnya. Apalagi, pada program yang terdesain-baik, semua komponen saling berhubungan. Perubahan satu faktor akan mendorong rangkaian perubahan pada faktor lain yang memiliki dampak lebih luas. Hasil evaluasi formatif kadangkala diabaikan (atau tak pernah diupayakan) karena adanya keyakinan tak-terucapkan oleh para manajer program bahwa dalam melaksanakan perubahan (yang bisa mencerminkan rencana awalnya dengan cara yang kurang baik atau efektivitas biayanya nampak meragukan dengan adanya kemapanan prosedur dan biaya tetap) kepatuhan pada rencana awal (bahkan jika rencana itu cacat) lebih disukai.
Kedua, proyek internasional skala-besar beroperasi di
dalam konteks dengan ikatan berbagai kelompok kepentingan yang kuat dan aktif. Satu perubahan dalam operasi program dapat merugikan beberapa kelompok bahkan jika perubahan itu sangat menguntungkan atau menarik bagi kelompok- kelompok lain. Kurangnya kejelasan atensi di pihak staf proyek atau personalia kementerian pada evaluasi formatif kadangkala disebabkan oleh keengganannya untuk melakukan tindakan yang dapat merugikan atau mengancam kelompok kepentingan yang paling menonjol.
Ketiga, prosedur desain proyek acapkali memerlukan tim
khusus untuk melaksanakan evaluasi konteks, masukan, dan produk, namun biasanya mereka tidak memberikan evaluasi proses secara spesifik. Evaluasi proses cenderung sekadar dilimpahkan pada tim manajemen proyek. Praktiknya, biasanya diasumsikan bahwa pemantauan kegiatan sponsor dan kewajiban adminisatratif reguler dari staf program akan dapat mendeteksi berbagai perubahan yang diperlukan. Sayang sekali kejadiannya tidak selalu demikian. Para sponsor memiliki agenda politik dan birokratisnya sendiri, dan pihak ini mungkin lebih tertarik pada jaminan bahwa implementasi dan komitmen pendanaannya tepat waktu dibandingkan dengan keakuratan kegiatan proyek.
Keempat, para pengambil keputusan tingkat-atas pada pemerintahan dan agen pemberi donor sering tidak ingin diganggu oleh urusan sehari-hari manajemen program. Setelah perencanaan dan program awal disetujui, perhatian mereka bergeser pada upaya untuk memantau keluaran proyek.
Evaluasi sumatif atau produk dilaksanakan pada sebagian
besar program bantuan teknis internasional sebagai satu persyaratan dari kelompok yang memberi donor atau kelompok sponsor. Rencana untuk evaluasi sumatif pada umumnya dikembangkan dan tercakup di dalam deskripsi proyek awal pada saat keputusan pembiayaannya.
Menurut teori, evaluasi produk mempunyai audiensi terbesar dibandingkan dengan berbagai tipe evaluasi yang telah diuraikan di muka, namun praktiknya sering mendapatkan audiensi terkecil. Hasil evaluasi proyek merupakan bagian potensial dari kepentingan sponsor, mereka yang mengimplementasikan program, dan kepentingan berbagai kelompok partisipan yang diminta untuk menginvestasikan waktu, minat atau sumberdayanya. Kelompok-kelompok ini ingin mengetahui pengaruh apa yang diperoleh dan hasil apa yang dicapai. Mereka sering berupaya mendapatkan konfirmasi untuk apa yang sudah mereka yakini sehubungan dengan program berdasarkan pada pengalamannya sendiri.
Meskipun demikian, audiensi utama evaluasi produk seharusnya menjadi perencana proyek masa depan yang mungkin tertarik untuk bisa mereplikasikan keberhasilan komponen program terdahulu. Sampai pada taraf pelaksanaan replikasi, evaluasi ikut menyumbang tingkat pengetahuan kumulatif sehubungan dengan strategi pembangunan internasional dan dapat mempersembahkan sumbangan yang berharga pada berbagai upaya desain proyek berikutnya. Kenyataannya, alasan kecilnya jumlah audiensi evaluasi produk adalah karena demikian seringnya replikasi proyek terdahulu.
Kecenderungan ini dapat dijelaskan dengan tiga alasan penyebabnya. Pertama, konteks sosial, ekonomi, dan politik demikian luas perbedaannya dari negara yang satu ke negara yang lain, sehingga walaupun konsep umum dapat diterapkan pada berbagai setting, namun kespesifikan program membatasi penerapannya. Kedua, tim desain proyek melaksanakan sebagian besar pekerjaannya di lapangan, jauh dari segala kemudahan untuk membuat laporan evaluasi yang mungkin relevan dan menguntungkan bagi mereka. Biasanya mereka bekerja dengan keterbatasan waktu yang tidak memungkinkannya mencari berbagai hasil temuan yang relevan dari evaluasi produk sebelumnya yang lebih awal.
Ketiga, laporan evaluasi sumatif kadangkala ditulis dengan
cara atau teknik yang ‘mengecilkan’ kegunaannya. Perhatian lebih banyak dicurahkan untuk analisis dan laporan hasilnya, sedangkan paparan proses program yang cukup terinci, yang memungkinkan terjadinya pemahaman pada apa yang sebenarnya terjadi di dalam proyek tersebut, kurang diperhatikan.