BAB IV. PELAKSANAAN EVALUASI PEMBANGUNAN
4.2 Pedoman Evaluasi Saat Ini
4.2.1 Pedoman Evaluasi dan Indikator Kinerja Pembangunan, dan
Secara umum Buku Pedoman Evaluasi dan Indikator Kinerja Pembangunan ini membahas konsep, cara, dan manfaat evaluasi. Di samping itu, secara khusus juga mengemukakan cara mengukur capaian kebijakan, program dan kegiatan pokok melalui pembentukan indikator kinerja, dan disajikan juga bahasan diskusi dan ulasan atas berbagai pilihan evaluasi yang mungkin dilakukan. Dalam pedoman ini, contoh bahasannya dilakukan dengan memperhatikan struktur penulisan dan isi RKP 2009. Selain itu, metode evaluasi yang dibahas dalam buku ini menyertakan contoh aplikasi sederhana berdasarkan isi dokumen RPJMN 2004-2009. Namun demikian isi pedoman ini tidak hanya difokuskan pada pembahasan evaluasi tetapi juga pembahasan terhadap indikator kinerja pembangunan.
Pada bagian awalnya, pedoman ini kemudian diawali dengan penjelasan mengenai sistem evaluasi yang terdiri dari konsep dan definisi monitoring dan evaluasi (monev), pembagian peran dan tanggungjawab pelaksana monev, dan kapasitas dan komitmennya. Pembahasan tentang monitoring tetap dijabarkan dalam pedoman ini agar dapat lebih jelas perbedaan diantara keduanya. Di dalam menjelaskan tentang konsep monev, diberikan pula gambaran tentang monev yang dilakukan di beberapa negara, diantaranya adalah Colombia, Brazil, Chile, dan Mexico. Selain itu tipe variabel dan indikator terkait sebagai dasar kinerja monitoring dan evaluasi juga dibahas dalam pedoman ini.
Pedoman ini kemudian menjelaskan pula tentang cara-cara evaluasi kinerja. Cara evaluasi yang dilakukan menggunakan Multivariate Regression Analysis atau Data Development Analysis. Dua cara tersebut biasanya digunakan untuk educational evaluation karena banyaknya kompleksitas dalam variabel-variabel pendidikan, namun baik untuk kinerja audit yang kontinyu. Untuk para pengambil keputusan, evaluasi yang sering dilakukan adalah formal evaluation, yaitu suatu evaluasi yang terstruktur dengan memperhatikan ukuran-ukuran input, output, outcome, dan
impact atau dampak. Untuk kejelasan aplikasi perkembangan pelaksanaan evaluasi dalam lingkup pemerintahan, maka dalam Pedoman Evaluasi dan Indikator Kinerja Pembangunan disajikan contoh laporan dari negara lain, yaitu Australia.
Di dalam pedoman ini juga dijelaskan mengenai Logic Model. Logic model dapat digunakan untuk menyusun perencanaan, manajemen program, dan evaluasi. Dalam kegiatan evaluasi, logic model merupakan langkah pertama dalam melakukan evaluasi. Model logika membantu dalam menentukan kapan dan hal apa yang dievaluasi sehingga sumber daya evaluasi digunakan secara efektif. Logika tersebut membantu untuk fokus pada proses dan pengukuran outcome yang tepat. Pada dasarnya model ini bukan merupakan model evaluasi, namun cara ini sangat membantu dalam melakukan evaluasi.
Selanjutnya pada bagian-bagian terakhir, pedoman ini mereview secara singkat mengenai RPJMN 2004-2009 dan RKP 2005 hingga RKP 2009. Tidak hanya itu, telaahan atas struktur dan bagaimana cara mengevaluasinya juga dijelaskannya. Hasil review atas beberapa Bab sektoral dilakukan peninjauan secara umum kemudian dibahas secara khusus atas Kesehatan dan Keluarga Berencana. Dengan demikian, reviu dan evaluasi terhadap RPJMN 2004-2009 dan RKP 2005-2009 hanya dilakukan terhadap sektor tertentu (sektor terpilih). Dalam evaluasi tersebut, antara RKP 2005-2009 dengan RPJMN 2004-2009 dilihat kerelevanannya. Untuk mengukur hal tersebut hanya digunakan metode kualitatif. Sedangkan untuk mengukur capaiannya dilakukan dengan menggunakan metode kuantitatif yaitu dengan cara perbandingan data capaiannya. Selanjutnya sasaran yang terdapat didalam RKP disandingkan dengan sasaran program dalam RPJMN. Dari semua sasaran tersebut dibuat daftar variabel-variabel yang mungkin dijadikan sebagai indikator kinerja bagi setiap program.
Berdasarkan pada ulasan di atas, maka dapat disimpulkan bahwa dalam Pedoman Evaluasi dan Indikator Kinerja pada bagian evaluasi secara umum masih kurang menjelaskan secara konkrit atau detail mengenai evaluasi. Penjabaran evaluasi memang telah dilakukan, namun hanya sebatas pada level teoritis, belum sampai pada tingkat implementasi dari teori yang telah dijabarkan. Contoh evaluasi yang diberikan pun masih sangat bersifat umum dan kurang memberikan
pemahaman yang lebih terperinci dalam pelaksanaan evaluasinya. Namun demikian buku ini telah menjelaskan secara detil mengenai indikator kinerja.
Berbeda dengan Pedoman Evaluasi dan Indikator Kinerja Pembangunan, Pedoman Evaluasi Kinerja Sektoral secara umum telah menjelaskan konsep evaluasi secara jelas. Namun pedoman ini juga hanya digunakan sebagai acuan untuk melakukan evaluasi secara sektoral. Buku Pedoman ini, disusun sebagai pedoman ketika melakukan evaluasi pembangunan sektoral atas perencanaan pembangunan yang terekam dalam dokumen RPJMN dan RKP. Secara khusus, evaluasi ditujukan hanya untuk tingkat Prioritas/Kebijakan, Fokus Prioritas/Program, atau isu sektor tertentu.
Dalam waktu jangka menengah, pedoman ini diharapkan dapat digunakan baik untuk evaluasi tahunan, tengah tahunan, maupun lima tahunan. Pedoman evaluasi ini juga ditujukan sebagai wadah untuk menjawab pertanyaan-pertanyaan sebagai berikut:
1) Apakah strategi yang dilakukan sudah benar? (Berkaitan dengan pemilihan strategi evaluasi).
2) Apakah cara dan metode yang dipilih sudah tepat? (Berkaitan dengan operasional Prioritas dan Fokus Prioritas untuk analisis hasil evaluasi).
3) Apakah ada cara yang lebih baik? (Berkaitan dengan pembelajaran tentang evaluasi).
Secara umum ruang lingkup pembahasan pedoman Evaluasi Kinerja Pembangunan Sektoral adalah sebagai berikut:
1) Dasar pertimbangan hukum/legal dan praktis/umum pelaksanaan.
2) Macam evaluasi yang perlu dilakukan atas dokumen perencanaan yang ada (RPJMN dan RKP).
3) Tahapan yang perlu dilakukan ketika melakukan evaluasi. 4) Tindak lanjut atas hasil evaluasi.
Pedoman evaluasi ini kemudian diawali dengan definisi dan konsep dari evaluasi pembangunan. Menurut pedoman ini, evaluasi ditujukan untuk menganalisa dampak pembangunan yang dilakukan oleh para pelaku pembangunan dan dinikmati oleh penerima manfaat pembangunan. Jadi evaluasi sama sekali berbeda dengan berbagai jenis penilaian kebijakan atau program pengawasan.
Seharusnya, evaluasi tidak hanya terdiri dari analisa kuantitatif atas dampak dari pelaksanaan kebijakan, tetapi juga mencakup penjelasan mengenai ketercapaian atau ketidaktercapaian, serta uraian mengenai implikasi kebijakan yang mungkin terjadi. Suatu kegiatan evaluasi pembangunan sektoral mencakup komponen berikut:
1) Studi proses, dimana operasi dari kinerja pembangunan sektoral dan prosesnya dikaji;
2) Studi dampak, inti teknis capaian evaluasi pembangunan sektoral;
3) Penilaian biaya-manfaat, yang menunjukkan efektifitas pelaksanaan pembangunan sektoral.
Dalam pedoman ini disebutkan bahwa, untuk menghasilkan manfaat yang maksimal, maka suatu proses evaluasi harus memiliki konsep kriteria sebagai berikut: 1) Tujuan yang jelas; 2) Metodologi yang tepat; 3) Kehandalan; 4) Transparan; 5) Dapat dipercaya; 6) Tingkat komprehensifitas; dan 7) Efektifitas. Selain ketujuh konsep tersebut, dalam pedoman evaluasi ini juga menggunakan kriteria evaluasi yaitu: 1) relevansi; 2) efektifitas; 3) efisiensi; 4) hasil; 5) dampak; 6) keberlanjutan. Prinsip evaluasi tersebut kemudian dijabarkan sebagai berikut.
Tabel 4.1 Prinsip Evaluasi
Prinsip Evaluasi Penjelasan
Relevansi (Revelance) Apakah tujuan Prioritas atau Fokus Prioritas/Program pembangunan mendukung tujuan kebijakan?
Kefektifan (Effectiveness) Apakah tujuan Prioritas atau Fokus Prioritas/Program pembangunan dapat tercapai?
Efisiensi (Efficiency) Apakah tujuan Prioritas dan Fokus Prioritas/Program pembangunan tercapai dengan biaya paling rendah? Hasil (Outcomes) Apakah indikator-indikator tujuan Prioritas atau Fokus
Prioritas/Program pembangunan semakin membaik? Dampak (Impact) Apakah indikator-indikator tujuan Prioritas atau Fokus
Prioritas/Program membaik?
Keberlanjutan (Sustainability) Apakah perbaikan indikator-indikator kinerja terus berlanjut setelah program pembangunan selesai?
Apakah hasil evaluasi dapat dignakan sebagai bahan pertimbangan dalam menentukan tindak lanjut?
Pedoman EKPS juga menjelaskan mengenai perbedaan antara monitoring dan evaluasi. Hal ini dilakukan untuk meluruskan pengertian dan pemahaman diantara keduanya karena selama ini antara monitoring dan evaluasi masih sering disamakan. Padahal antara keduanya memiliki perbedaan baik dari segi tujuan, manfaat, pelaksanaan, dan hasil yang diperoleh.
Dalam teori yang dikembangkan di dalam pedoman ini, tahapan evaluasi dibagi menjadi evaluasi pada tahap perencanaan, tahap pelaksanaan, maupun pada tahap paska pelaksanaan. Hal ini didasarkan pada siklus perencanaan. Dalam penjelasan tentang konsep evaluasi, dijelaskan pula mengenai proses pelaksanaan evaluasi. Pelaksanaan evaluasi dilakukan dengan memperhatikan 7 aspek, yaitu: 1) menentukan tujuan evaluasi; 2) menyusun desain evaluasi yang kredibel; 3) mendiskusikan rencana evaluasi; 4) menentukan pelaku evaluasi; 5) melaksanakan evaluasi; 6) mendesiminasikan hasil evaluasi; 7) menggunakan hasil evaluasi. Tidak hanya menjelaskan mengenai evaluasi, dalam pedoman EKPS juga dijelaskan mengenai penyusunan indikator kinerja.
Untuk pelaksanaannya, evaluasi RPJMN dan RKP lebih dititikberatkan pada limitasi waktu atau periode evaluasi, yaitu tahunan, paruh waktu (2,5 tahunan), dan lima tahunan. Selanjutnya dalam penerapan evaluasi kinerja pembangunan dibagi ke dalam lima kelompok besar, yaitu Evaluasi Perencanaan Draft RPJMN dan RKP, Evaluasi Pelaksanaan RPJMN dan RKP, Evaluasi Pencapaian RPJMN dan RKP, Evaluasi Efektifitas Desain Program dan Evaluasi Efisiensi Program.
Metode evaluasi pembangunan sektoral berdasarkan pada periode waktu penyusunan dokumen perencanaan dan pelaksanaan pembangunan. Secara umum pengertian Evaluasi Pembangunan Sektoral mencakup proses penilaian secara sistematik mengenai segala sesuatu yang berkaitan dengan pembangunan khususnya yang termasuk kebijakan, program, kegiatan dan isu sektoral.
Jenis evaluasi yang dibicarakan dalam pedoman ini hanya didasarkan oleh RKP dan RPJMN, dan dibagi lagi berdasarkan tahapannya, yaitu evaluasi awal, evaluasi tahunan, dan evaluasi dampak. Evaluasi-evaluasi tersebut memiliki penekanan yang berbeda-beda, yaitu:
1) Evaluasi awal (ex-ante).
Evaluasi awal merupakan evaluasi atas formulasi atau desain kebijakan atau Fokus Prioritas, evaluasi atas penentuan indikator, evaluasi atas alur pikir ketika memformulasikan kebijakan atau Prioritas Nasional. Dengan kata lain evaluasi awal merupakan evaluasi yang dilaksanakan pada saat penyusunan dokumen perencanaan dilakukan. Proses evaluasi terhadap draft dokumen perencanaan RPJMN dan RKP ditekankan pada:
a. Evaluasi alur dokumen perencanaan sebagai upaya untuk menjaga konsistensi antara sasaran yang akan dicapai pada level kegiatan dengan sasaran yang akan dicapai pada level prioritas.
b. Evaluasi indikator kinerja.
Metode kerangka berpikir logis (Logic Chain) digunakan dalam evaluasi tahap ini.
2) Evaluasi tahunan (evaluasi pelaksanaan RKP).
Evaluasi ini dilakukan terhadap level Prioritas atau Kebijakan Tahunan, evaluasi pada level Fokus Prioritas, dan evaluasi atas isu sektoral yang diperlukan. Evaluasi tahunan kemudian didefinisikan sebagai evaluasi yang dilaksanakan setiap tahun berdasarkan capaian Rencana Kerja Pemerintah (RKP) tahunan yang bersangkutan. Evaluasi tahunan juga merupakan capaian pelaksanaan RPJMN tahun, sesuai sasaran RKP. Oleh karena periodenya sangat singkat maka evaluasi tahunan tersebut hanya dibatasi pada evaluasi di level pencapaian Fokus Prioritas, yaitu pada tataran outcome dan bersifat jangka pendek. Dengan kata lain, evaluasi tahunan RPJMN dan RKP berguna untuk:
a. Mengetahui capaian tahunan atau yang telah dilaksanakan selama kurun waktu satu tahun anggaran, sehingga dapat digunakan untuk membuat perencanaan kegiatan tahun berikutnya.
b. Membantu dalam penentuan alokasi pendanaan tahun berikutnya. Sesuai dengan sifatnya yang singkat maka evaluasi pelaksanaan dilakukan terhadap kegiatan prioritas/output dan outcome yang bersifat jangka pendek
yang dapat memberikan penilaian atas kinerja pemerintah dalam pembangunan sektoral selama satu tahun.
Metode yang digunakan dalam pengukurannya adalah Gap Analysis dan Rapid Assessment. Gap Analysis merupakan suatu metode yang digunakan untuk mengetahui kinerja dari suatu sistem yang sedang berjalan dengan sistem standar. Berbeda dengan Gap Anaysis, Rapid Assessment adalah metode yang sering digunakan untuk mengevaluasi kegiatan/program dengan cepat serta biaya yang relatif rendah. Hasil evaluasi dengan menggunakan Rapid Assessment ini dapat segera digunakan sebagai bahan pertimbangan dalam perbaikan pelaksanaan kegiatan/program berikutnya. Metode yang digunakannya berupa FGD, observasi langsung, dan survei berskala kecil. Oleh karena Rapid Assessment tidak dilakukan pada lingkup yang besar, maka hasil penilaian ini seringkali tidak menggambarkan keadaan sebenarnya secara umum.
3) Evaluasi capaian RPJMN yang merupakan evaluasi dampak.
Evaluasi ini dilakukan pada level Prioritas atau Kebijakan Jangka Menengah, evaluasi pada level Fokus Prioritas, dan evaluasi atas isu sektoral atau isu strategis lintas bidang. Evaluasi ini merupakan evaluasi paruh waktu dari RPJMN (Mid-Term Evaluation) dan evaluasi lima tahunan RPJMN (final Term Evaluation). Pada evaluasi paruh waktu dilakukan pada tataran outcome untuk prioritas-prioritas tertentu yang dampaknya terukur. Sedangkan evaluasi lima tahunan (Final term evaluation) merupakan evaluasi akhir dari pencapaian RPJMN, utamanya dilakukan untuk mengevaluasi dampak pada level Prioritas.
Metode yang digunakan berupa metode kualitatif dan kuantitatif. Metode kualitatif tersebut digunakan untuk mengidentifikasi dampak yang tidak diduga sebelumnya. Metode ini berguna sebagai exploratory work yang perlu dikonfirmasikan kemudian melalui studi kuantitatif atau juga untuk melakukan pendalaman dari hasil studi kuantitatif secara sederhana melalui in-depth. Sedangkan metode kuantitatif digunakan untuk mengevaluasi yang sifatnya hipotesis. Cara ini memerlukan metode analisis yang solid dan cara pengumpulan data kuantitatif yang handal, contohnya dengan aplikasi metode
Randomized Evaluation (Evaluasi Teracak) dan Non-Experimental atau Quasi-Experimental Methods.
Kemudian hasil akhir dari pedoman ini adalah terbentuknya empat macam evaluasi pembangunan sektoral, yaitu: 1) Evaluasi Pelaksanaan RPJMN dan RKP; 2) Evaluasi Pencapaian RPJMN dan RKP; 3) Evaluasi Efisiensi Program; 4) Evaluasi Efektifitas Desain Program. Setiap macam evaluasi tersebut diberikan penjelasannya secara rinci baik dari lingkup pelaksanaan evaluasi, metode evaluasi, mekanisme evaluasi, dan waktu evaluasi.
4.2.2 Petunjuk Pelaksanaan Evaluasi Akuntabilitas Kinerja Instansi