Direktorat Sistem dan Pelaporan Evaluasi Kinerja Pembangunan
Kementerian Perencanaan Pembangunan Nasional/BAPPENAS
2014
KAJIAN TERHADAP PELAKSANAAN EVALUASI
PEMBANGUNAN
KATA PENGANTAR
Puji syukur kami panjatkan kepada Allah SWT karena laporan hasil studi
dengan judul “Kajian terhadap Pelaksanaan Evaluasi Pembangunan” dapat
kami selesaikan dengan baik. Kajian ini bermanfaat untuk memberikan
masukan bagi penyusunan panduan (pedoman) evaluasi pelaksanaan
rencana pembangunan yang sistematis, parktis, dan operasional. Dengan
adanya pedoman evaluasi yang baik maka diharapkan pelaksanaan
pembangunan akan lebih optimal karena pelaksanaan evaluasi tersebut
dapat mendukung perbaikan manajemen kinerja dan mendukung percepatan
capaian sasaran pembangunan.
Kami mengucapkan terima kasih kepada berbagai pihak yang telah
berkontribusi di dalam penyelesaian kajian ini. Pihak-pihak yang terlibat
antara lain para narasumber yang berasal dari beberapa Kementerian atau
Lembaga (K/L), Pemerintah Daerah (Provinsi), serta pihak-pihak lainnya.
Kami juga mengharapkan masukan, saran maupun kritik yang dapat
mempertajam analisis kami guna pengembangan pedoman evaluasi.
Demikianlah laporan ini disampaikan, semoga laporan kajian ini
bermanfaat.
Jakarta, Desember 2014
Direktur Sistem dan Pelaporan Evaluasi
Kinerja Pembangunan – BAPPENAS,
DAFTAR ISI
KATA PENGANTAR ... i
DAFTAR ISI ... iii
DAFTAR GAMBAR ... v
DAFTAR TABEL ... v
BAB I. PENDAHULUAN ... 1
1.1 Latar Belakang ... 1
1.2 Tujuan dan Sasaran ... 2
1.3 Ruang Lingkup Kajian ... 3
1.4 Keluaran ... 3
1.5 Sistematika Penulisan ... 4
BAB II. TINJAUAN LITERATUR ... 5
2.1 Kinerja Pembangunan ... 5
2.2 Evaluasi Kinerja dalam Konteks Pemantauan, Pengawasan, dan
Pertanggungjawaban
... 5
2.3 Evaluasi ... 8
2.3.1 Definisi dan Konsep Evaluasi ... 8
2.3.2 Tujuan Evaluasi ... 10
2.3.3 Manfaat dan Kegunaan Evaluasi ... 11
2.3.4 Fungsi Evaluasi dan Jenis Evaluasi ... 11
2.3.4.1 Fungsi Evaluasi ... 11
2.3.4.2 Jenis Evaluasi ... 11
2.3.5 Kriteria Evaluasi ... 15
2.3.6 Peran Stakeholder dalam Evaluasi ... 18
2.3.7 Proses Evaluasi ... 19
2.4 Metode Evaluasi dan Data Evaluasi ... 20
2.4.1 Metode Evaluasi ... 20
2.4.2 Data ... 20
2.4.3 Metode Pengumpulan Data ... 21
2.4.4 Kualitas Data ... 22
2.4.5 Analisis Data ... 22
2.5 Pelaporan Evaluasi ... 23
BAB III. METODOLOGI KAJIAN ... 25
3.2 Data dan Pengumpulan Data ... 27
3.3 Pengolahan Data dan Analisis Data ... 27
BAB IV. PELAKSANAAN EVALUASI PEMBANGUNAN ... 29
4.1 Deskripsi Kondisi Eksisting Pelaksanaan Evaluasi Pembangunan ... 29
4.1.1 Penerapan Evaluasi Pembangunan K/L ... 29
4.1.2 Penerapan Evaluasi Pembangunan oleh Pemerintah Daerah ... 36
4.2 Pedoman Evaluasi Saat Ini ... 41
4.2.1 Pedoman Evaluasi dan Indikator Kinerja Pembangunan, dan
Pedoman Evaluasi Kinerja Pembangunan Sektoral ... 41
4.2.2 Petunjuk Pelaksanaan Evaluasi Akuntabilitas Kinerja Instansi
Pemerintah ... 48
4.2.3 Evaluasi Pelaksanaan Rencana Pembangunan Daerah Berdasarkan
Peraturan Menteri Dalam Negeri No. 54 tahun 2010 ... 48
4.3 Evaluasi yang Dilakukan oleh Organisasi Internasional ... 50
4.3.1 Evaluasi oleh JBIC (Japan Bank for International Cooperation) ... 50
4.3.2 Evaluasi oleh OECD (Organisation for Economic Cooperation and
Development) ... 54
4.3.3 Evaluasi oleh JICA (Japan International Cooperation Agency) ... 58
BAB V. PENUTUP ... 61
5.1 Kesimpulan ... 61
5.2 Rekomendasi untuk Penyusunan Pedoman Evaluasi Kedepan ... 62
DAFTAR GAMBAR
Gambar 2.1 Hubungan dan Peranan Perencanaan, Monitoring, dan Evaluasi 9
Gambar 2.2 Kriteria Relevansi ... 16
Gambar 2.3 Kriteria Efektifitas ... 16
Gambar 2.4 Kriteria Efisiensi ... 17
Gambar 2.5 Kriteria Dampak ... 17
Gambar 2.6 Kriteria Keberlanjutan ... 18
Gambar 3.1 Kerangka Pikir Kajian ... 26
Gambar 4.1 Tipe-tipe Indikator Kinerja dan Keterkaitannya ... 52
Gambar 4.2 Flowchart untuk Penentuan Nilai dalam Evaluasi ... 54
DAFTAR TABEL
Tabel 2.1 Perbandingan Monitoring dan Evaluasi ... 10
Tabel 2.2 Perbedaan antra Evaluasi Proyek dan Evaluasi Outcome ... 12
Tabel 4.1 Prinsip Evaluasi ... 44
Tabel 4.2 Kriteria Evaluasi pada Setiap Tahapan Evaluasi ... 51
BAB I
PENDAHULUAN
1.1 Latar Belakang
Meningkatnya tuntutan masyarakat terhadap pemerintah untuk menyediakan pelayanan yang lebih baik mendorong pemerintah untuk melakukan peninjauan kembali terhadap kebijakan/program/kegiatan yang dilaksanakan dan melakukan perbaikan dalam pengambilan kebijakan sehingga kebijakan yang diambil tepat sasaran. Dalam rangka mendukung hal tersebut, sejak tahun 2003, pemerintah melakukan reformasi perencanaan dan penganggaran. Reformasi perencanaan dan penganggaran dilakukan dengan menerapkan budaya kerja birokrasi yang berorientasi pada pengelolaan hasil kerja (result management) dan pengukuran kinerja (performance evaluation), sehingga diharapkan dapat meningkatkan kinerja pemerintahan.
Pendekatan utama dalam reformasi perencanaan dan penganggaran ini adalah perencananaan dan penganggaran berbasis kinerja, sehingga dalam proses perencanaan dan penganggaran harus memperhatikan kinerja pada periode sebelumnya dan memperhatikan output atau outcome yang ingin dicapai. Oleh karena itu evaluasi kinerja merupakan bagian yang sangat penting untuk diperhatikan dalam rangka memberikan informasi capaian kinerja yang dapat diandalkan sebagai input dalam proses perencanaan dan penganggaran yang lebih efektif dan efisien. Evaluasi dilakukan untuk menilai proses pelaksanaan kebijakan/program/kegiatan dan menilai pencapaian sasaran kebijakan/program/ kegiatan melalui analisis kondisi dan permasalahan yang terjadi sehingga hasilnya dapat menjadi umpan balik bagi perbaikan kinerja pembangunan, baik pada saat implementasi maupun setelah berakhirnya pelaksanaan kebijakan/program/ kegiatan. Hasil evaluasi seharusnya dapat memberikan data dan informasi tentang efisiensi, efektifitas, kebutuhan, manfaat dan dampak program/kegiatan terhadap masyarakat, sehingga informasi tersebut dapat digunakan sebagai dasar pengambilan kebijakan dini atas realitas yang terjadi, seperti pengembangan kebijakan atau penghentian kebijakan serta sebagai bahan masukan untuk proses perencanaan dan penganggaran periode selanjutnya.
Namun demikian kegiatan evaluasi belum dilaksanakan secara optimal oleh seluruh Kementerian/Lembaga (K/L) maupun daerah, dan hasilnya juga belum dimanfaatkan dengan baik. Sebagian besar evaluasi yang dilakukan dengan baik saat ini adalah evaluasi tematik, yang dilakukan untuk menilai kinerja dari satu atau beberapa tema saja, dan belum dilakukan evaluasi secara terkoordinir terhadap keseluruhan program/kegiatan K/L sehingga hasilnya dapat menjadi input bagi pelaksanaan evaluasi RKP dan RPJMN. Dari sebagian K/L dan daerah yang sudah melakukan evaluasi, substansinya belum menunjukkan kinerja pembangunan secara keseluruhan. Hal ini disebabkan karena ketidakjelasan sasaran, baik sasaran outcome/impact di tingkat kebijakan maupun sasaran outcome di tingkat program, selain itu terdapat perbedaan tingkatan yang menjadi fokus penilaian. Sebagian besar evaluasi yang dilakukan K/L dan daerah masih mengukur capaian pada tingkat output. Sebagian besar evaluasinya sudah membandingkan capaian kinerja dengan capaian tahun sebelumnya, dengan target yang ditetapkan pada tahun yang bersangkutan maupun target akhir periode perencanaan jangka menengah, namun demikian belum dilakukan analisa mendalam terhadap berbagai permasalahan yang terjadi menyebabkan target tidak tercapai maupun informasi mengenai pencapaian sasaran yang melebihi target.
Berkaitan dengan permasalahan tersebut maka perlu dilakukan penelaahan terhadap pelaksanaan evaluasi yang berjalan saat ini baik ex-ante, on going maupun ex-post, serta mengetahui pelaksanaan evaluasi yang dilakukan oleh K/L maupun daerah terkait dengan mekanisme, substansi maupun pemanfaatan hasil evaluasi sehingga hasil evaluasi dapat mendukung pengambilan kebijakan yang tepat sasaran.
1.2 Tujuan dan Sasaran
Tujuan dari kajian ini adalah menelaah dan menganalisis pelaksanaan evaluasi yang berjalan saat ini, dan mempelajari standar evaluasi yang seharusnya dilakukan dalam rangka menyediakan panduan evaluasi perencanaan pembangunan yang jelas dan mudah dioperasionalkan, baik untuk evaluasi rencana pembangunan jangka pendek maupun menengah. Dengan demikian, pelaksanaan evaluasi dapat
mendukung perbaikan manajemen kinerja dan mendukung percepatan capaian sasaran pembangunan.
1.3 Ruang Lingkup Kajian
Ruang lingkup kajian ini meliputi:
1. Mengumpulkan data dan informasi tentang konsep evaluasi perencanaan pembangunan serta informasi tentang standart evaluasi kinerja yang baik; 2. Mengumpulkan data dan informasi terkait dengan pelaksanaan evaluasi
kinerja pembangunan yang dilakukan di tingkat Kementerian/Lembaga dan Pemerintah Daerah;
3. Menganalisis data dan informasi yang telah diperoleh untuk mengetahui berbagai permasalahan yang terjadi dalam pelaksanaan evaluasi dan mendapatkan gambaran terkait standart evaluasi.
4. Pelaksanaan Focus Group Discussion (FGD) untuk mendapatkan tanggapan dan masukan terhadap draft kajian;
5. Perbaikan draft kajian berdasarkan hasil FGD dan penyusunan rekomendasi untuk menyusun pedoman evaluasi kinerja pembangunan ;
6. Seminar Kajian untuk menyampaikan hasil akhir kajian dan mendapatkan tanggapan dan masukan dari stakeholder.
7. Penyusunan laporan akhir. 1.4 Keluaran
Keluaran yang diharapkan dari kegiatan kajian ini adalah tersusunnya laporan kajian terhadap pelaksanaan evaluasi pembangunan dalam rangka mendukung perencanaan dan penganggaran berbasis kinerja. Selain laporan akhir kajian ini juga menghasilkan rekomendasi atau konsep untuk penyusunan pedoman evaluasi pelaksanaan rencana pembangunan yang dapat menjadi panduan bagi K/L untuk melakukan evaluasi.
1.5 Sistematika Penulisan
Penulisan laporan kajian diawali dengan penyajian Bab I tentang pendahuluan yang berisi tentang latar belakang, tujuan dan sasaran, ruang lingkup kajian, dan keluaran. Pendahuluan ini diikuti dengan penyajian Bab II tentang hasil studi literatur yang terkait dengan: a) kinerja pembangunan; b) evaluasi kinerja pembangunan dalam konteks pemantauan, pengawasan, dan pertanggungjawaban; c) konsep evaluasi; d) metode evaluasi dan data evaluasi; dan e) pelaporan evaluasi. Bab III berisi tentang metodologi kajian yang membicarakan tentang kerangka pikir kajian
,
data dan pengumpulan data, serta pengolahan data dan analisis data. Selanjutnya pada Bab IV disajikan hasil kajian. Kajian diakhiri dengan penyajian Bab V tentang kesimpulan dan rekomendasi.BAB II
TINJAUAN LITERATUR
2.1 Kinerja Pembangunan
Kinerja merupakan tolok ukur keberhasilan. Kinerja menurut beberapa ahli, diantaranya Mahsun (2006), adalah gambaran mengenai tingkat pencapaian pelaksanaan suatu kegiatan/program/kebijakan dalam mewujudkan sasaran, tujuan, misi dan visi organisasi, dalam hal ini K/L dan Pemerintah Daerah. Dalam suatu sistem input-ouput, kinerja tersebut berjenjang menurut komponen penyusunnya. Kerangka penyusunannya dimulai dari “apa yang ingin diubah” (impact) yang memerlukan indikator “apa yang akan dicapai” (outcome) guna mewujudkan perubahan yang diinginkan. Selanjutnya, untuk mencapai outcome diperlukan informasi tentang “apa yang dihasilkan” (output). Untuk menghasilkan output tersebut diperlukan “apa yang akan digunakan”.
Dalam perspektif pembangunan nasional, sasaran (impact) K/L merupakan kinerja yang ingin dicapai K/L, outcome program merupakan kinerja program dan output kegiatan merupakan kinerja kegiatan. Oleh karena itu, dalam manajemen pembangunan, kinerja K/L dan Pemerintah Daerah perlu dievaluasi. Evaluasi kinerja ini akan menggambarkan gambaran nilai kinerja yang dicapai.
2.2 Evaluasi Kinerja dalam Konteks Pemantauan, Pengawasan, dan Pertanggungjawaban
Evaluasi kinerja merupakan aktivitas dalam manajemen proses kebijakan yang dilakukan pada tahap pemantauan pelaksanaan, pengawasan, ataupun pertanggungjawaban (Mustopadidjaja, 2003). Setiap tahapan berisikan kegiatan pengumpulan dan analisis mengenai data dan informasi serta pelaporan mengenai tingkat perkembangan capaian hasil kegiatan pelaksanaan, ketepatan sistem dan proses pelaksanaan, dan ketepatan kebijakan serta akuntabilitas kelembagaan secara keseluruhan. Evaluasi yang dilakukan pada tahap pemantauan didasarkan atas hasil dari pelaksanaan pemantauan. Dengan kata lain hasil dari pelaksanaan
pemantauan dijadikan sebagai bahan untuk melakukan evaluasi. Hal ini dimaksudkan untuk mendapatkan informasi dini mengenai perkembangan pelaksanaan kebijakan pada momentum atau dalam jangka waktu tertentu sehingga dapat diketahui hal-hal yang perlu diperbaiki baik mengenai sistem dan proses pelaksanaan maupun kebijakannya itu sendiri, agar rumusan kebijakan lebih tepat, pelaksanaan kebijakan dapat berjalan baik, dan tujuan kebijakan dapat dicapai lebih optimal. Di samping memuat gambaran perkembangan pelaksanaan, laporan pemantauan juga memuat identifikasi kelemahan kebijakan dan penyimpangan terhadap sistem dan proses pelaksanaan kebijakan, serta saran koreksi terhadap penyimpangan pelaksanaan ataupun terhadap kebijakan itu sendiri. Evaluasi kinerja dalam rangka pengawasan harus dapat memberikan informasi objektif mengenai tingkat capaian pelaksanaan kebijakan pada momentum atau dalam jangka waktu tertentu, mengenai kekeliruan atau penyimpangan yang terjadi dalam pelaksanaan kebijakan, serta rekomendasi mengenai langkah tindak lanjut hasil temuan pengawasan. Pada tahap pertanggungjawaban, evaluasi kinerja harus dapat memberikan gambaran dan analisis objektif mengenai perkembangan pelaksanaan, perubahan atau penyesuaian yang telah dilakukan berikut alasannya, dan penilaian tingkat capaian kinerja dalam jangka waktu tertentu.
Selain evaluasi yang dilakukan pada tahap pemantauan, pengawasan, dan pertanggungjawaban, evaluasi juga dapat dilakukan secara komprehensif.Evaluasi kebijakan secara komprehensif dapat meliputi: 1) penilaian mengenai latar belakang dan alasan-alasan diambilnya suatu kebijakan, tujuan dan kinerja kebijakan; 2) berbagai instrumen kebijakan yang dikembangkan dan yang dilaksanakan; 3) respon kelompok sasaran dan stakeholders lainnya; 4) konsistensi aparat; 5) dampak yang timbul; 6) perubahan yang ditimbulkan dan perkiraan kemajuan yang dicapai jika kebijakan dilanjutkan atau diperluas (Mustopadidjaja, 2003). Evaluasi kebijakan komprehensif pada umumnya dilakukan untuk mengetahui ketepatan dan efektifitas kebijakan dalam mengatasi permasalahan yang dihadapi atau dalam mencapai tujuan yang direncanakan, dengan maksud untuk mengkaji kemungkinan perubahan ataupun penyesuaian kebijakan (policy changes and/or adjustments). Oleh sebab itu evaluasi kebijakan dapat pula menyentuh pengujian mengenai validitas dan relevansi teori yang melandasi suatu kebijakan. Evaluasi kinerja kebijakan merupakan bagian dari evalusi kebijakan yang secara spesifik terfokus
pada berbagai indikator kinerja bertalian dengan kebijakan dan rencana yang telah ditetapkan.
Evaluasi kinerja kebijakan pada hakikatnya dilakukan untuk mengetahui ketepatan dan efektifitas baik kebijakan itu sendiri maupun sistem dan proses pelaksanannya, agar dapat dilakukan langkah-langkah tindak lanjut untuk menghindari “biaya” yang lebih besar atau untuk mencapai “manfaat” yang lebih baik (Mustopadidjaja, 2003). Esensi evaluasi kinerja adalah perbandingan yang menyangkut kinerja dan tingkat efektifitas baik kebijakan maupun sistem dan proses pelaksanaan yang berkembang dalam mengatasi permasalahan yang dihadapi atau dalam mencapai tujuan yang ditetapkan. Dengan maksud dan alasan tertentu, penilaian kinerja dapat menyentuh pengujian mengenai validitas dan relevansi kerangka teori yang melandasi sesuatu kebijakan. Adapun maksud dilakukannya evaluasi kinerja dapat dilihat dan dibedakan berdasar kontekstualitasnya (internal atau eksternal) dan tahapan pengelolaan pelaksanaan kebijakan (dalam rangka pemantauan, pengawasan, atau pertanggungjawaban). Evaluasi kinerja yang dilakukan dalam rangka pemantauan pada pokoknya adalah menyediakan informasi bagi para pengelola kebijakan dan pembuat kebijakan mengenai ketepatan dan efektifitas kebijakan dan sistem serta proses pelaksanaannya, agar dapat dilakukan tindak lanjut dini apabila secara aktual ternyata ada hal-hal yang perlu dikoreksi baik pada kebijakan atau pun pada sistem dan proses pelaksanaannya.
Evaluasi kinerja pada pengawasan eksternal, dilakukan dengan tujuan memberikan gambaran objektif mengenai ketepatan dan ektifitas kebijakan ataupun sistem serta proses pelaksanaannya, kondisi biaya dan manfaat aktual dari kebijakan, perkembangan berbagai unsur dan indikator kinerja yang dicapai, yang diperlukan sebagai pertanggungjawaban suatu organisasi dalam melaksanakan tugas kelembagannya. Hal terakhir itu menunjukan maksud dilakukannya evaluasi kinerja, yang tentu dipengaruhi pula oleh posisi dan peran lembaga pengawasan eksternal yang melakukan evaluasi tersebut.
Sehubungan dengan itu perlu diperhatikan hubungan atau keserasian antar evaluasi kinerja baik dalam rangka pemantauan, pengawasan, ataupun pertanggungjawaban. Jika keseluruhannya berpangkal pada data dan informasi
objektif dengan validitas teruji, maksud dan tujuan yang serupa, teori dan metode yang relevan, maka hasilnya akan relatif sama atau tidak banyak berbeda. Perbedaan laporan evaluasi kinerja hanya akan terletak pada adanya perbedaan dalam posisi, tugas, dan tanggung jawab kelembagaan masing-masing dalam hubungan pelaksanaan pengawasan internal dan eksternal. Namun perbedaan fokus tidak perlu menimbulkan perbedaan kesimpulan, apabila masing-masing melakukan penilaiannya berdasar data dan informasi objektif mengenai indikator yang sama, dan menggunakan teori dan metode relevan yang diakui validitasnya.
2.3 Evaluasi
2.3.1 Definisi dan Konsep Evaluasi
Evaluasi adalah penilaian sistematis dan objektif dari rencana, implementasi, dan hasil dari suatu kegiatan atau program yang sedang berlangsung ataupun yang telah selesai (OECD, n.d). Dengan kata lain, evaluasi merupakan proses penentuan sesuai atau tidaknya suatu kebijakan, program, atau kegiatan yang diukur secara sistematis dan objektif dari rencana, pelaksanaan (on-going), atau capaian (Imas, 2009). Evaluasi secara umum mempertimbangkan kesesuaian sumber yang digunakan dan waktu dalam implementasinya. Oleh karena itu, evaluasi harus dilakukan secara optimal guna memperoleh hasil yang baik.
Untuk memperoleh hasil yang baik, evaluasi harus bersifat independent, intentional, transparan, layak, netral, berkualitas tinggi, tepat waktu, dan berguna (UNDP, 2009). Selain itu evaluasi seharusnya juga menyediakan informasi yang kredibel dan berguna, dan juga menghasilkan feedback yang dapat digunakan sebagai masukan untuk perencanaan yang akan datang.
Perencanaan yang dikombinasi dengan monitoring dan evaluasi dapat berperan penting dalam peningkatan efektifitas program dan kegiatan pembangunan. Perencanaan membantu untuk fokus pada hasil, sedangkan monitoring dan evaluasi membantu untuk mempelajari kesuksesan dan tantangan di masa lampau dan memberikan informasi untuk pembuatan keputusan sehingga periode saat ini dan masa yang akan datang akan menjadi lebih baik. Dengan demikian antara perencanaan, monitoring, dan evaluasi memiliki keterkaitan dan membentuk suatu siklus. Berikut adalah siklus mengenai hubungan antara perencanaan, monitoring,
dan evaluasi. Namun demikian perlu dicatat bahwa evaluasi tidak selalu ditempatkan di tahap akhir dari siklus tersebut. Evaluasi dapat ditempatkan di setiap tahapan proses program atau kegiatan.
Gambar 2.1 Hubungan dan Peranan Perencanaan, Monitoring, dan Evaluasi (UNDP, 2009)
Terkadang kita sulit membedakan antara monitoring dan evaluasi. Baik monitoring maupun evaluasi mengukur dan menilai kinerja, tetapi mereka memiliki perbedaan pada cara dan waktu pelaksanaannya (Imas, 2009). Monitoring memberikan informasi real-time, sedangkan evaluasi memberikan penilaian yang lebih mendalam (UNDP, 2009). Berikut perbedaan secara spesifik antara monitoring dan evaluasi, yaitu:
PERENCANAAN MONITORING EVALUASI Partisipasi Stakeholder Pemetaan hasil Perencanaan untuk monitoring dan evaluasi Implementasi dan penggunaan monitoring Pengelolaan dan penggunaan evaluasi Penyusunan Visi
Tabel 2.1 Perbandingan Monitoring dan Evaluasi
No. Monitoring Evaluasi
1. On-going, berlanjut. Per periode dan tergantung waktu.
2. Aktivitas internal. Internal, eksternal, atau participatory. 3. Tanggungjawab dari manajemen. Tanggungjawab dari evaluator bersama
dengan staff dan manajemen.
4. Feedback berlanjut ke peningkatan
kinerja program. Feedback secara periodic.
Sumber : Insideout, 2006 dalam Imas, 2009.
2.3.2 Tujuan Evaluasi
Tujuan umum dari evaluasi adalah memberikan masukan umpan balik yang dapat digunakan untuk meningkatkan program, kebijakan, dan strategi, serta ditujukan pula untuk akuntabilitas dan transparansi, sedangkan tujuan khusus dari evaluasi adalah untuk menentukan kerelevansian obyek, efisiensi, dan efektifitas terhadap pencapaian obyek, dan mengukur dampak dan keberlanjutan dari suatu kebijakan, program, atau kegiatan. Namun secara spesifik lagi, tujuan evaluasi terdiri dari (Imas, 2009) :
1. Tujuan ethical, yaitu untuk melaporkan bagaimana kebijakan atau program diimplementasikan dan apa hasil yang telah dicapai dari adanya kebijakan atau program tersebut. Tujuannya adalah untuk implementasi dari demokrasi. 2. Tujuan managerial, yaitu untuk memperoleh kerasionalan dari distribusi
sumberdaya manusia dan finansial dalam “competing” program, peningkatan manajemen program, dan peningkatan manfaat program.
3. Tujuan untuk keputusan, yaitu untuk menentukan keputusan akan keberlanjutan, penghentian, atau pembentukan kembali suatu kebijakan atau program.
4. Tujuan untuk pendidikan dan motivasi, yaitu untuk membantu mendidik dan memotivasi melalui identifikasi diri (kemampuan) dengan objek yang ditargetkan.
2.3.3 Manfaat dan Kegunaan Evaluasi
Manfaat evaluasi kemudian dapat dirasakan secara langsung maupun tidak langsung. Evaluasi ini dapat dimanfaatkan sebagai penyedian informasi pada saat proses implementasi program. Oleh karena itu evaluasi sangat penting untuk dilakukan dalam manajemen suatu program atau kegiatan.
Evaluasi juga memiliki kegunaan yang sangat penting, diantaranya adalah : 1. Untuk membantu membuat keputusan terkadap alokasi sumberdaya. 2. Untuk membantu memikirkan kembali penyebab masalah yang terjadi. 3. Untuk mengidentifikasi masalah yang muncul.
4. Untuk mendukung pembuatan keputusan atau penentuan tindakan alternatif. 5. Untuk mendukung sektor publik dalam inovasi.
6. Untuk membangun konsesus mengenai penyebab masalah dan bagaimana menaggapinya (Kusek, Rist, 2004 dalam Imas, 2009).
2.3.4 Fungsi Evaluasi dan Jenis Evaluasi 2.3.4.1 Fungsi Evaluasi
Secara umum fungsi evaluasi adalah sebagai manajemen dan alat motivasi. Manajemen berarti evaluasi memiliki fungsi untuk memfokuskan pada capaian dari suatu kebijakan, program, atau kegiatan, dan memberikan dorongan dalam pengembangan tujuan (Imas, 2009).
2.3.4.2 Jenis Evaluasi
Jenis evaluasi dapat dikelompokkan berdasarkan pada kategorinya, diantaranya adalah berdasarkan cakupan, waktu, dan tujuannya. Jenis evaluasi berdasarkan pada cakupan ataupun tingkatannya dapat dibagi menjadi empat jenis, yaitu :
1. Evaluasi outcome, yaitu menilai kontribusi terhadap kemajuan pencapaian outcome. Outcome tersebut diidentifikasi dari framework hasil program atau kegiatan. Evaluasi outcome dilakukan untuk memberikan laporan kemajuan untuk mendukung akuntabilitas program, memberikan bukti pihak-pihak yang berkontribusi dalam pencapaian outcome, dan menuntun peningkatan kinerja dalam kapasitas global ataupun regional yang diidentifikasi dari kekuatan, kelemahan, dan gaps dari suatu wilayah. Evaluasi harus menjadi orientasi outcome (UNDP, 2009). Evaluasi outcome harus menemukan obyek-obyek untuk menilai :
1) Kemajuan terhadap pencapaian outcome, termasuk pengaruh yang tidak diharapkan dari hasil kegiatan yang menghasilkan outcome tersebut. 2) Faktor-faktor yang berkontribusi terhadap outcome.
3) Efektifitas dari strategi partnership dalam pencapaian outcome.
2. Evaluasi proyek, yaitu menilai kinerja dari kegiatan dalam pencapaian hasil. Ini menghasilkan informasi penting dalam implementasi proyek dan pencapaian output. Tujuan utama dari evaluasi proyek adalah untuk membuat peningkatan, melanjutkan kegiatan, atau untuk mempertimbangkan alternatif lain. Evaluasi proyek memegang peranan penting dalam akuntabilitas terhadap pemerintah dan pihak lainnya yang terlibat dalam proyek finansial. Evaluasi proyek menghasilkan dasar evaluasi untuk outcome dan program. Berikut adalah tabel perbedaan antara evaluasi proyek dan evaluasi outcome.
Tabel 2.2 Perbedaan antara Evaluasi Proyek dan Evaluasi Outcome
Evaluasi Proyek Evaluasi Outcome
Fokus Secara umum menilai input, kegiatan,
dan output. Outcome (apa, mengapa, dan bagaimana outcome dicapai).
Scope Spesifik pada objek dari proyek (tujuan), input, output, dan kegiatan. Selain itu juga mempertimbangkan relevansi dan keberlanjutan linkage dengan outcome.
Luas, meliputi outcome, program, proyek, bantuan lunak, inisiatif mitra dan kesinergisan antara mitra-mitra yang berkontribusi dalam pencapaian.
Tujuan Proyek didasarkan untuk
meningkatkan implementasi, untuk proyek selanjutnya di daerah yang sama, atau untuk upscaling proyek.
Untuk meningkatkan efektifitas pembangunan, untuk membantu dalam pembuatan keputusan, untuk membantu dalam pembuatan kebijakan, untuk penilaian selanjutnya, untuk mensistematis pendekatan inovasi dalam keberlanjutan
pembangunan sumberdaya manusia.
Sumber : UNDP, 2009
3. Evaluasi tematik, yaitu digunakan untuk menilai kinerja di suatu area untuk menjamin keberlanjutan konstribusi hasil pembangunan. Ini difokuskan pada satu atau beberapa tema.
4. Evaluasi dampak adalah sebuah evaluasi dari pengaruh positif atau negatif. Evaluasi dilihat dari dampak akhir (long-term) kemudian pengaruh (medium-term) pada level hasil. Evaluasi dampak tersebut tidak simpel pengukurannya.
Tidak hanya menilai sebatas pada telah dicapainya suatu objek atau menilai pengaruh langsung, tetapi juga menilai impact pada semua level dari rangkaian hasil. Oleh karena itu dalam evaluasi dampak membutuhkan partisipasi masyarakat dalam penilaiannya.
Selain itu jenis evaluasi juga dapat didasarkan pada waktu pelaksanaannya. Jenis evaluasi ini secara umum dibagi menjadi tiga jenis yaitu evaluasi ex-ante, on-going, dan ex-post.
1. Evaluasi ex-ante adalah evaluasi yang dilaksanakan sebelum penetapan rencana pembangunan. Evaluasi ini digunakan untuk memilih dan menentukan skala prioritas dari berbagai alternatif dan kemungkinan cara mencapai tujuan yang telah dirumuskan sebelumnya.
2. Evaluasi on-going adalah evaluasi yang dilakukan pada saat pelaksanaan rencana pembangunan. Evaluasi ini digunakan untuk menentukan tingkat kemajuan pelaksanaan rencana dibandingkan dengan rencana yang telah ditentukan sebelumnya.
3. Evaluasi ex-post adalah evaluasi yang dilakukan setelah pelaksanaan rencana berakhir. Evaluasi ini digunakan untuk mereview kegunaan dari program atau kegiatan yang telah dilakukan, serta menilai efisiensi, efektifitas, dampak, dan keberlanjutannya.
Namun demikian dalam Handbook on Planning, Monitoring and Evaluating for Development Results, jenis evaluasi berdasarkan waktu dapat dibagi menjadi lebih rinci lagi, yaitu :
1. Evaluasi ex-ante adalah penilaian terhadap kemungkinan pengaruh yang terjadi di masa depan. Ini dilakukan sebelum kegiatan atau program dilakukan. Salah satu tipe dari evaluasi ex-ante adalah evaluasi prospektif. Evaluasi Prospektif adalah evaluasi yang menilai outcome dari tujuan kegiatan, program, atau kebijakan. Evaluasi prospektif sering berupa rekonstruksi atau penilaian program.
2. Evaluasi midterm adalah tipe dari evaluasi formatif. Evaluasi ini dimaksudkan untuk meningkatkan kinerja pada saat fase implementasi dari program atau kegiatan. Evaluasi formatif merupakan evaluasi yang dimaksudkan untuk meningkatkan kinerja, sering dilakukan selama fase implementasi dari kegiatan atau program. Evaluasi formatif juga dilakukan untuk alasan lain seperti kepatuhan (compliance), legal requirements atau sebagai bagian dari evaluation initiative. Evaluasi formatif menilai program, kebijakan, atau kegiatan yang diimplementasikan. Tipe evaluasi ini dilaksanakan selama fase implementasi dari program atau kegiatan. Evaluasi formatif sering disebut sebagai evaluasi proses, karena difokuskan pada operasional. Evaluasi ini memfokuskan pada relevansi, efektifitas, dan efisiensi. Hal ini penting untuk menuntun ke tahapan selanjutannya dan meningkatkan kegiatan yang akan dilakukan (Imas, 2009). 3. Evaluasi final or terminal. Evaluasi final or terminal merupakan tipe dari
evaluasi sumatif karena dilakukan menjelang akhir dari fase pelaksanaan kegiatan atau program. Ini digunakan untuk menilai hasil yang didapat. Hal ini digunakan untuk memberikan informasi tentang nilai program. Evaluasi sumatif merupakan fase terakhir. Evaluasi sumatif dimaksudkan untuk menyediakan informasi tentang kesalahan dari sebuah program (OECD, 2002). Evaluasi sumatif sering disebut sebagai evaluasi outcome atau impact. Evaluasi ini dilakukan di fase akhir untuk antisipasi terhadap hasil yang akan diperoleh. Evaluasi sumatif dimaksudkan untuk menyediakan informasi mengenai dampak dari program. Evaluasi sumatif termasuk penilaian impact, keefektifan biaya, quasi-experiments, randomized experiments, dan studi kasus. Evaluasi sumatif dilakukan di akhir untuk menjawab pertanyaan dari relevansi, kinerja, dampak, keberlanjutan, external utility, dan lessons learned (Imas, 2009). Berdasarkan uraian di atas, maka dapat disimpulkan perbedaan antara evaluasi formatif dan sumatif, yaitu sebagai berikut :
Evaluasi formatif fokus pada implementasi dan peningkatan dari kebijakan, program, atau kegiatan.
Kedua tipe evaluasi tersebut dibutuhkan dan digunakan walaupun penerapannya dilakukan dalam waktu yang berbeda di dalam siklus dari kebijakan, program, atau kegiatan.
4. Evaluasi ex-post, yaitu evaluasi yang dilakukan ketika program atau kegiatan telah selesai dilakukan, bahkan biasanya dilakukan setelah 2 tahun atau lebih program atau kegiatan tersebut selesai. Ini bertujuan untuk menilai kesesuaian antara hasil dari program atau kegiatan dengan tujuannya, menilai keberlanjutan dari hasil dan dampaknya, dan untuk pertimbangan dalam keputusan kedepannya.
Untuk jenis evaluasi yang berdasarkan tujuannya dibagi menjadi 3 (tiga) jenis yaitu: 1. Evaluasi proses
Evaluasi proses bertujuan untuk mengkaji bagaimana program berjalan dengan fokus pada masalah penyampaian pelayanan (service delivery).
2. Evaluasi biaya-manfaat (benefit-cost)
Evaluasi biaya-manfaat bertujuan untuk mengkaji biaya program relatif terhadap alternatif penggunaan sumberdaya dan manfaat dari program.
3. Evaluasi dampak.
Evaluasi dampak bertujuan untuk mengkaji apakah program memberikan pengaruh yang diinginkan terhadap individu, rumah tangga, masyarakat, dan kelembagaan.
2.3.5 Kriteria Evaluasi
Dalam evaluasi, terdapat kriteria evaluasi yang diukur, yaitu relevansi, efisiensi, efektifitas, dampak, dan keberlanjutan.
1) Relevansi
Relevansi didasarkan pada kinerja yang seharusnya diimplementasikan berdasarkan pada program atau kegiatan yang telah dibuat dan sesuai dengan kebutuhan yang telah diprioritaskan (JBIC, 2006).
Gambar 2.2 Kriteria Relevansi
Sumber : JBIC, 2006
2) Efektifitas
Efektifitas dinilai berdasarkan pada pencapaian tujuan sesuai dengan target yang diharapkan dengan menggunakan output. Pencapaian tujuan dinilai dari analiasis kualitatif (contohnya perhitungan dan analisis dari Internal Rates of Return (IRR)) (JBIC, 2006).
Gambar 2.3 Kriteria Efektifitas
Sumber : JBIC, 2006 3) Efisiensi
Efisiensi dinilai berdasarkan pada input yang digunakan dalam implementasi kegiatan yang masih berada dalam batas minimum (JBIC, 2006).
EFEKTIFITAS Logframe Tujuan Keseluruhan (Impact) Tujuan Kegiatan (Outcome) Outputs Inputs IRR Kegunaan Output Logframe RELEVANSI Tujuan Keseluruhan (Impacts) Tujuan Kegiatan (Outcome) Outputs Inputs Kebijakan Program Kebutuhan
Gambar 2.4 Kriteria Efisiensi
4) Dampak
Evaluasi terhadap dampak mencoba untuk memperjelas kontribusi program atau kegiatan terhadap pembangunan jangka panjang, dan menilai pengaruh positif maupun negatif dari program atau kegiatan (JBIC, 2006).
Gambar 2.5 Kriteria Dampak
Sumber : JBIC, 2006 EFISIENSI Logframe Tujuan Keseluruhan (Impact) Tujuan Kegiatan (Outcome) Outputs Inputs Waktu Kegiatan Biaya Kegiatan Sumber : JBIC, 2006 DAMPAK Logframe Tujuan Keseluruhan (Impact) Tujuan Kegiatan (Outcome) Outputs Inputs Kegunaan Output IRR
5) Keberlanjutan
Program atau kegiatan dinilai keberlanjutannya ketika output telah selesai hingga pada pencapaian outcome (tujuan program atau kegiatan). Fokusnya pada kapasitas dan status dalam operasional dan pemeliharaannya (JBIC, 2006).
Gambar 2.6 Kriteria Keberlanjutan
Sumber : JBIC, 2006
2.3.6 Peran Stakeholder dalam Evaluasi
Stakeholder memegang peranan penting dalam perencanaan dan evaluasi. Keterlibatan stakeholder pada setiap tahapan evaluasi berfokus pada penilaian, penyusunan pertanyaan yang akan diajukan, pengidentifikasian sumber yang dapat dipercaya berdasarkan bukti, dan meninjau kembali temuan serta penilaian interpretasi yang akan meningkatkan kredibilitas, potensi kegunaan dan keberlanjutan dari hasil evaluasi (UNDP, 2009). Komponen penting untuk menjamin kredibilitas evaluasi adalah kemandirian tiap stakeholder dalam melakukan evaluasi (tidak terpengaruh atau tidak memiliki ketergantungan). Stakeholder tersebut kemudian dibagi ke dalam tiga kategori, yaitu :
1) Stakeholder yang terlibat pada implementasi, contohnya pemerintah, managers, staf, donor, dan lain sebagainya.
2) Stakeholder yang dilayani, contohnya penerima manfaat, dan lain sebagainya. KEBERLANJUTAN Logframe Tujuan Keseluruhan (Impact) Tujuan Kegiatan (Outcome) Outputs Inputs Operasional dan Pemeliharaan
3) Stakeholder yang merupakan pengguna utama dari evaluasi, contohnya pihak yang bekerjasama, pembuat keputusan, dan lain sebagainya.
2.3.7 Proses Evaluasi
Dalam melakukan evaluasi perlu dilakukan beberapa proses yang saling memiliki keterkaitan. Proses evaluasi tersebut terdiri dari tujuan evaluasi, menyusun desain, menentukan rencana evaluasi, pelaku evaluasi, melaksanakan evaluasi, mensosialisasikan/diseminasi, dan menggunakan hasil evaluasi.
1) Menentukan tujuan evaluasi
Penentuan tujuan evaluasi dilakukan untuk memperbaiki desain program da untuk mengukur dampak.
2) Menyusun desain evaluasi yang kredibel
Penyusunan desain evaluasi dilakukan untuk menentukan indikator tolok ukur, menentukan metode analisis dan kebutuhan data, dan menentukan jadwal pelaksanaan.
3) Mendiskusikan rencana evaluasi
Diskusi rencana evaluasi dilakukan untuk penyandang dana program, pelaksana program, dan ahli evaluasi yang berkompeten.
4) Menentukan pelaku evaluasi
Pelaku evaluasi terdiri dari pelaku internal (pertentangan kepentingan) dan pelaku eksternal (keahlian, objektivitas, dan pengalaman).
5) Melaksanakan evaluasi
Dalam melaksanakan evaluasi ditekankan pada pengawasan kualitas data dan analisis.
6) Mendiseminasikan hasil evaluasi
Diseminasi hasil evaluasi dilakukan melalui bahasa yang sederhana dan mudah dimengerti, fokus pada temuan utama, dan adaptif terhadap umpan balik (feedback).
7) Menggunakan hasil evaluasi
Hasil evaluasi digunakan sebagai tuntutan untuk perubahan, pmbelajaran, dan penentuan program atau kebiakan baru.
2.4 Metode Evaluasi dan Data Evaluasi 2.4.1 Metode Evaluasi
Metode evaluasi yang digunakan secara umum terbagi menjadi dua kelompok yaitu metode kualitatif dan metode kuantitatif. Metode kualitatif merupakan metode yang lebih menekankan pada aspek pemahaman secara mendalam terhadap suatu masalah daripada melihat masalah tersebut secara generalisasi. Metode ini menggunakan teknik analisis mendalam, yaitu mengkaji masalah secara kasus perkasus karena metode kualitatif meyakini bahwa sifat suatu masalah antara satu dengan yang lainnya berbeda.
Berbeda dengan metode kualitatif, metode kuantitatif merupakan metode yang lebih menekankan pada aspek pengukuran secara objektif. Dalam pengukurannya, setiap hal dijabarkan ke dalam beberapa komponen masalah dan indikator. Kemudian diberikan pembobotan angka. Dengan menggunakan angka tersebut, teknik perhitungan secara kuantitatif matematik dapat dilakukan sehingga dapat menghasilkan suatu kesimpulan yang berlaku umum di dalam suatu parameter. Tujuan utama dari metode ini ialah menjelaskan suatu masalah tetapi menghasilkan generalisasi.
Dalam pengumpulan datanya, metode kuantitatif menggunakan desain eksperimen, desain eksperimen kuasi, dan desain noneksperimen (Imas, 2009). Desain-desain tersebut berkaitan erat dengan pertanyaan evaluasi yang akan digunakan.
2.4.2 Data
Data yang digunakan dalam evaluasi secara garis besar terdiri dari dua jenis data, yaitu data primer dan data sekunder.
1. Data Primer
Data primer merupakan data yang didapat dari sumber pertama baik individu atau perorangan. Data ini diperoleh atau dikumpulkan secara langsung dari sumbernya. Data primer disebut juga sebagai data asli atau data baru yang memiliki sifat up to date. Oleh karena itu, dengan menggunakan data primer
akan mendapatkan informasi yang lebih mendalam mengenai output dan outcome baik yang diharapkan maupun yang tidak diharapkan.
2. Data Sekunder
Data sekunder adalah data yang secara tidak langsung dikumpulkan oleh orang yang berkepentingan dengan data tersebut. Menurut Umar (1999), data sekunder adalah data primer yang telah diolah lebih lanjut dan disajikan baik oleh pengumpul data primer atau pihak lain. Data sekunder berasal dari data yang telah didokumentasikan oleh instansi atau lembaga seperti Biro Pusat Statistik (BPS) atau lembaga pemerintah dan swasta lainnya. Dalam penggunaan data sekunder, perlu diperhatikan sumber datanya, batasan konsep yang digunakan, serta tingkat ketelitian dalam pengumpulan data. 2.4.3 Metode Pengumpulan Data
Metode pengumpulan data merupakan suatu cara ilmiah untuk mendapatkan data dengan tujuan dan kegunaan tertentu. Pengumpulan data tersebut digunakan untuk memperoleh informasi yang dibutuhkan dalam rangka mencapai tujuan evaluasi. Ada berbagai macam metode dalam pengumpulan data, yaitu observasi, wawancara mendalam (in-depth interview), Focus Group Discussion (FGD), dan penyebaran kuesioner.
Dalam kegiatan evaluasi, evaluator tidak dapat menghabiskan waktu lama, oleh karena itu sering dilakukan interview secara berkelompok bukan secara individu. Dengan melakukan interview secara berkelompok maka pengumpulan data tersebut akan lebih murah dan cepat dilakukan (OECD, n.d). Kelompok tersebut terdiri pihak-pihak kunci yang mengetahui dan memanfaatkan suatu program atau kegiatan.
Evaluasi yang tepat, harus mengumpulkan data-data dari tahap ex-ante (sebelum proyek). Dengan demikian, dalam evaluasi dibutuhkan tujuan dan cakupan program atau kegiatan yang jelas. Pengumpulan data untuk evaluasi dapat berasal dari seluruh stakeholder dan pemanfaat yang dipengaruhi oleh program ataupun kegiatan yang dilakukan. Dalam pengumpulan data untuk evaluasi, juga dibutuhkan penentuan sampel. Penentuan sampel sangat penting dilakukan, baik dari jumlah
dan luasannya, karena ini dapat menentukan representatif atau tidaknya suatu objek.
2.4.4 Kualitas Data
Data yang dikumpulkan harus sesuai dengan tujuan evaluasi dan metodelogi pengumpulan data harus diverifikasi kevalidan, reliability, dan kredibilitasnya (UNDP, 2009). Reliabilitas dan validitasnya merupakan aspek paling penting dalam kualitas penilaian. Reliabilitas adalah data yang konsisten dalam pengukurannya. Validitas adalah ketepatan dalam pengukuran, dan kredibiltas menyangkut sejauh mana dianggap valid dan tidak memihak kepada stakeholder tertentu. Ada tiga strategi untuk meningkatkan reliabilitas dan validitas, yaitu :
1. Meningkatkan kualitas sampling.
2. Meningkatkan kualitas data yang dikumpulkan.
3. Menggunakan metode campuran dalam pengumpulan data, contohnya menggunakan triangulasi atau banyak sumber data. Ini digunakan untuk memverifikasi beberapa data yang akan digunakan.
2.4.5 Analisis Data
Analisis data merupakan proses akhir dari penyederhanaan data, sehingga menjadi bentuk yang lebih mudah dibaca dan diinterpretasikan. Analisis data adalah proses sistematis yang melibatkan penyusunan dan pengklasifikasian informasi yang dikumpulkan, tabulasi data, rekapitulasi, dan membandingkan hasil dengan rencana target yang akan dicapai. Analisis data yang digunakan adalah analisis deskriptif baik secara kualitatif maupun kuantitatif. Hal ini berguna untuk mengambil informasi yang berguna dalam menjawab pertanyaan evaluasi dan memenuhi tujuan evaluasi (UNDP, 2009). Selain itu, analisis data digunakan juga dalam penilaian terhadap lima kriteria evaluasi. Ini merupakan proses dari pendeskripsian fakta berdasarkan pada bukti-bukti yang telah disusun secara sistematis. Hasil inilah yang kemudian akan menjadi dasar untuk pembuat keputusan selanjutan.
2.5 Pelaporan Evaluasi
Dalam laporan evaluasi terdapat beberapa kriteria yang harus diperhatikan. Ini digunakan untuk kualitas dari laporan evaluasi tersebut. Berikut kriteria yang dibutuhkan dalam laporan evaluasi :
1. Struktur yang baik dan lengkap.
2. Mendiskripsikan apa yang dievaluasi dan mengapa dievaluasi. 3. Mengidentifikasi pertanyaan yang menjadi perhatian pengguna.
4. Menjelaskan langkah-langkah dan prosedur yang digunakan untuk menjawab pertanyaan-pertanyaan.
5. Mempresentasikan penemuan yang didukung oleh bukti dalam menanggapi pertanyaan.
6. Mengakui keterbatasan.
7. Menarik kesimpulan dari penemuan-penemuan yang didasarkan pada bukti. 8. Mengusulkan tujuan konkrit dan rekomendasi yang berguna, berasal dari
kesimpulan (UNEG (Standar untuk Evaluasi di Sistem PPB ), 2005 dalam UNDP, 2009).
BAB III
METODOLOGI KAJIAN
3.1 Kerangka Pikir Kajian
Kajian ini berawal dari pemikiran tentang manajemen pembangunan. Dalam manajemen pembangunan terdapat tiga point utama di dalamnya yaitu perencanaan, implementasi, dan evalasi. Manajemen pembangunan tersebut berbentuk siklus yang saling berkaitan dan saling mempengaruhi.
Dalam penyusunan kajian ini didasarkan atas konsep evaluasi yang berasal dari beberapa literatur (secara teoritis), dan didasarkan pula atas kondisi eksisting pelaksanaan evaluasi pembangunan. Dalam pemahaman konsep evaluasi akan ditekankan pada tujuan evaluasi, jenis evaluasi, metode evaluasi, pertanyaan evaluasi, pelaksanaan evaluasi, dan feedback evaluasi. Berdasarkan pada beberapa literatur, terdapat tiga macam jenis evaluasi, yaitu berdasarkan cakupan, berdasarkan waktu, dan berdasarkan metode.
Kemudian dari hasil pemahaman berdasarkan teoritisnya, selanjutnya akan disandingkan dengan kondisi eksisting pelaksanaan rencana pembangunannya, yaitu evaluasi RPJMN, Renstra, RKP, RPJMD, Renja, dan RKPD yang telah dilakukan selama ini. Dalam penilaian terhadap kondisi eksistingnya juga akan dilakukan pemahaman tentang tujuan evaluasi, jenis evaluasi, mekanisme evaluasi, waktu pelaksanaan, manfaat asil evaluasi, dan mekanisme pelaporannya. Selain itu juga akan dipelajari tentang pedoman evaluasi yang ada hingga saat ini.
Hasil dari pemahaman dan penyandingan tersebut kemudian akan digunakan sebagai dasar untuk melakukan pengembangan evaluasi perencanaan pembangunan. Keluaran dari kajian ini kemudian berupa laporan dan pedoman evaluasi perencanaan pembangunan yang kemudian akan digunakan sebagai panduan untuk melaksanakan evaluasi.
Ka jian SPEK P 2 01 4 25 Gamb ar 3.1 Keran gka Pi ki r Kaj ian Ko nsep Eval ua si (Te or itirs ) Tuj uan Evalu asi Jeni s Evalu asi Meto de Evalu asi Pertanyaan Evalu asi Pelak san aan Evalu asi Feed back Evalu asi Berdasark an C ak up an - Evalu asi Outc ome - Evalu asi Ke giata n - Evalu asi Te mat ik - Evalu asi Dam pak Berdasark an Wakt u - Evalu asi Ex -ante - Evalu asi On -goin g - Evalu asi Ex -p os t Berdasark an Meto de - Evalu asi Pra -Im plementasi - Evalu asi Pro ses Imp lementas i - Ra pid A pp rai sal - Stud i Ka sus - Evalu asi Dam pak - Meta Evaluas i Pe ng am ban gan Ev alu asi Pe renc ana an Pe mban gu na n Drf at Pe dom an Ev alu asi Pe laksa na an Renca na Pe mba ng una n Ko nd isi Eksi st in g Pe laksa na an Ev alu asi Pe mba ng una n Pelak san aan Evalu asi o leh K/L d an Daer ah Ped oman yang ad a saat in i Tuj uan Evalu asi Jeni s Evalu asi Mek ani sme Evalu asi Waktu Pelak san aan Pemanfaatana Has il Evalua si Mek ani sme Pelap oran
3.2 Data dan Pengumpulan Data
Data yang dikumpulkan berupa data primer dan sekunder. Pengumpulan data ataupun informasi diperoleh melalui pengisian kuesioner dan wawancara mendalam secara individual dan kelompok terhadap pihak-pihak yang berada di bidang evaluasi baik di K/L maupun Pemerintah Daerah pada saat kunjungan lapangan, dan diskusi/panel pakar (Focussed Group Discussion/FGD). Untuk pengumpulan data dari daerah dilakukan dengan kunjungan ke 9 (sembilan) provinsi. Provinsi tersebut merupakan daerah terpilih untuk menjadi sampel. Pemilihan daerahnya (provinsi) didasarkan atas pembagian regional, yaitu barat, tengah, dan timur. Kesembilan provinsi yang terpilih tersebut adalah Provinsi Kalimantan Timur, Jawa Timur, Sumatera Barat, Sumatera Utara, Bali, Sulawesi Selatan, Sulawesi Tenggara, Jawa Tengah, dan Jawa Barat. Sedangkan untuk K/L, pengumpulan dilakukan terhadap 29 K/L.
Data primer dikumpulkan langsung atau diamati oleh Tim Kajian. Data dan informasi yang dikumpulkan meliputi beberapa aspek dari sistem evaluasi, yaitu tujuan evaluasi, jenis evaluasi, pelaksanaan atau mekanisme evaluasi, waktu pelaksanaan, pelaporan, pemanfaatan hasil serta kendala dan tindak lanjut. Tim Kajian juga dimungkinkan untuk melakukan pendalaman terhadap informasi tertentu melalui studi literatur.
3.3 Pengolahan Data dan Analisis Data
Pengolahan data merupakan proses untuk memperoleh data sekaligus informasi yang siap untuk dilakukan analisis. Pengolahan tersebut dilakukan melalui penelaahan dan pemetaan terhadap data atau informasi yang berasal dari K/L dan daerah. Pengolahan juga dilakukan terhadap informasi yang berasal dari hasil studi literatur. Pengolahan ini dilakukan dengan tujuan untuk mencari keterkaitan atau hubungan antara hasil studi literatur dengan evaluasi yang telah dilaksanakan selama ini oleh K/L ataupun daerah. Hasil dari pengolahan tersebut kemudian dianalisis.
Metode analisis yang digunakan dalam penyusunan kajian ini adalah metode analisis deskriptif kualitatif. Tujuan pengolahan dan analisis ini adalah untuk membangun suatu konsep sistem evaluasi kinerja pembangunan.
BAB IV
PELAKSANAAN EVALUASI PEMBANGUNAN
4.1 Deskripsi Kondisi Eksisting Pelaksanaan Evaluasi Pembangunan 4.1.1 Penerapan Evaluasi Pembangunan oleh K/L
A. Deskripsi Pelaksanaan Evaluasi Pembangunan oleh K/L
Secara umum K/L telah melakukan evaluasi. Evaluasi yang paling sering dilakukan oleh seluruh K/L adalah Evaluasi Renstra K/L. Sebagian besar K/L melakukan evaluasi Renstra baik ketika paruh waktu ataupun akhir periode. Tidak hanya melakukan evaluasi pada Renstra, beberapa K/L juga ada yang melakukan evaluasi terhadap Renja K/L, RPJMN, dan RKP. Namun demikian, khusus untuk evaluasi RPJMN dan RKP hanya dilakukan oleh sedikit K/L. Kemudian keseluruhan evaluasi tersebut dilakukan secara tahunan, tiga tahunan (paruh waktu/tengah periode), dan lima tahunan (akhir periode).
Selain itu beberapa K/L juga melakukan evaluasi terhadap perencanaan lainnya, misalnya Rencana Pelaksanaan Komponen (RPK), Rencana Kerja Tahunan (RKT), Rencana Umum Pengadaan (RUP), pinjaman Hibah Luar Negeri, dan lain sebagainya, yang dilakukan sesuai dengan kebutuhannya.
Berdasarkan waktu pelaksanaannya, maka jenis evaluasi yang sering digunakan adalah on-going, yaitu ketika proses implementasi dan ex-post. Secara umum tujuan dari pelaksanaan evaluasi pembangunan tersebut adalah:
1) Sebagai laporan pertanggungjawaban; 2) Mengukur pencapaian kinerja; 3) Perbaikan kebijakan/program;
4) Masukan untuk proses perencanaan dan penganggaran periode berikutnya. Dalam pelaksanaannya yang melakukan evaluasi adalah pihak (evaluator) dari internal dan eksternal. Evaluator internal dan eksternal melakukan proses evaluasi secara bersama-sama baik dari perancangan konsep/desain, pengumpulan data, hingga analisisnya.
Metode evaluasi yang digunakan oleh sebagian besar K/L adalah metode kualitatif dan kuantitatif. Namun ada beberapa K/L juga yang hanya menggunakan
metode kualitatif atau kuantitatif saja. Dalam metode kuantitatif setiap halnya dijabarkan ke dalam beberapa komponen masalah dan indikator, kemudian diberi pembobotan.
Dalam penilaian evaluasi, kriteria evaluasi yang paling sering digunakan adalah efisiensi, efektifitas, dan relevansi. Namun ada beberapa K/L juga yang menggunakan kriteria dampak. Kriteria dampak masih sangat jarang digunakan karena untuk pengukuran dampak hanya dapat dilakukan setelah minimal dua tahun program/kegiatan dilakukan, dan dalam pengukurannya juga bersifat sangat kompleks. Kriteria dampak tersebut digunakan untuk mengukur manfaat yang berlanjut setelah program atau kegiatan berakhir. Pengukuran efektifitas khususnya ditujukan untuk menilai capaian program/kegiatan dengan hasil yang diharapkan, sedangkan pengukuran efisiensi ditujukan untuk mengukur bagaimana input secara ekonomis yang dikonversi menjadi hasil. Berbeda dengan dua kriteria lainnya, untuk penilaian relevansi digunakan untuk mengukur keterkaitan antara tujuan program dengan prioritas nasional.
Pelaksanaan evaluasi pembangunan yang dilakukan oleh K/L sangat bervariasi. Hal ini dikarenakan oleh belum adanya pedoman evaluasi yang menjelaskan secara spesifik mengenai tahapan pelaksanaan evaluasi tersebut. Secara umum mekanisme/tahapan evaluasi yang dilakukan oleh K/L adalah sebagai berikut:
1. Pengumpulan data, melalui: 1) pengumpulan data primer; 2) observasi langsung; 3) wawancara dengan pelaksanaan kegiatan pembangunan;
2. Pengolahan data;
3. Pengumpulan dan identifikasi masalah;
4. Pembahasan lebih lanjut dari hasil identifikasi masalah yang ada; 5. Perolehan hasil tindak lanjut;
6. Pelaporan;
7. Penerapan hasil tindak lanjut.
Dalam hal penyusunan laporan, format laporan evaluasi menggunakan standar laporan secara umum dengan substansi yang dimuat adalah realisasi penyerapan anggaran, realisasi pencapaian target keluaran, kendala yang dihadapi, dan tindak lanjut. Hasil dari pelaksanaan evaluasi kemudian digunakan untuk:
2. Penentuan program kegiatan selanjutnya termasuk pelaksanaan, dan memprediksi permasalahan yang akan dihadapi;
3. Penajaman arah kebijakan, penyesuaian arah mekanisme kinerja, dan penyesuaian jadwal pencapaian kinerja.
Dalam pelaksanaan evaluasi pembangunan juga terdapat beberapa kendala yang dihadapi. Kendalan tersebut baik yang bersifat internal maupun eksternal. Kendala yang termasuk dalam kategori internal adalah masih kurangnya kualitas dan kuantitas dari sumber daya manusia (SDM), dengan kata lain masih banyaknya SDM yang melakukan evaluasi belum begitu mengerti tentang konsep evaluasi dan tata cara pelaksanaan evaluasi program/kegiatan yang baik sehingga hasil evaluasi menjadi kurang optimal. Untuk kendala eksternal, diantaranya adalah mengenai informasi dan data yang digunakan untuk evaluasi sulit untuk diperoleh, dan tidak adanya pedoman yang menjelaskan tentang pelaksanaan evaluasi untuk seluruh program/kegiatan pembangunan.
Berdasarkan permasalahan atau kendala yang dihadapi dalam pelaksanaan evaluasi, maka diharapkan suatu tindak lanjut. Tindak lanjut tersebut diantaranya adalah perlunya diklat atau pelatihan evaluasi untuk SDM pelaksana evaluasi, dan adanya panduan evaluasi yang menjelaskan tentang batasan dan cara/metode evaluasi yang bersifat praktis dan operasional.
B. Jenis Evaluasi Pembangunan yang Dilakukan oleh K/L
Hingga saat ini pelaksanaan evaluasi pembangunan telah dilakukan, baik oleh K/L ataupun oleh Kementerian PPN/Bappenas. Sebagian besar K/L telah melakukan evaluasi terhadap Rencana Strategis (Renstra) yang dimilikinya, sedangkan Bappenas telah melakukan evaluasi terhadap Rencana Kerja Pemerintah (RKP) dan Rencana Pembangunan Jangka Menengah Nasional (RPJMN). Hal ini sesuai dengan amanat dalam UU No. 25/2004 tentang Sistem Perencanaan Pembangunan Nasional yang menyebutkan bahwa Bappenas melakukan evaluasi rencana pembangunan berdasarkan hasil evaluasi K/L, dan hasilnya digunakan untuk penyusunan pembangunan periode berikutnya. Evaluasi tersebut ada yang dilakukan secara tahunan, tengah periode, dan akhir periode. Hal ini disesuaikan dengan kebutuhan dan cakupannya. Untuk evaluasi yang dilakukan secara tahunan adalah evaluasi
terhadap RKP, sedangkan Renstra K/L dan RPJMN dilakukan ketika pertengahan periode (paruh waktu) dan akhir periode.
1) Evaluasi RKP
Evaluasi RKP adalah evaluasi yang bersifat tahunan. Evaluasi RKP yang dilaksanakan setiap akhir tahun tersebut, kemudian disebut sebagai Evaluasi Akhir Tahun (EAT) RKP. EAT RKP merupakan upaya penyusunan umpan balik bagi proses perencanaan pembangunan, sesuai dengan amanat Peraturan Pemerintah No. 39/2006. Evaluasi dilakukan untuk menilai pencapaian pelaksanaan pembangunan oleh K/L. Dalam kajian ini pembahasan mengenai evaluasi RKP dibatasi dengan mengambil contoh pada pelaksanaan evaluasi RKP 2013.
Pada EAT RKP 2013, evaluasi yang dilakukan masih dibatasi hanya mencakup 20 kementerian dengan alokasi APBN terbesar, berdasarkan program pembangunan RKP 2013. Penitikberatan evaluasi dilakukan pada 3 (tiga) fokus reviu, yaitu reviu terhadap: 1) capaian indikator program RKP 2013; 2) capaian pelaksanaan pembangunan tahun 2013 berdasarkan Laporan Triwulan IV PP 39/2006; dan 3) efisiensi dan efektifitas program RKP 2013.
Untuk keperluan EAT RKP 2013 digunakan Kertas Kerja EAT RKP 2013 dengan isian data capaian indikator program RKP, realisasi fisik dan realisasi anggaran, serta hasil komunikasi dan konsultasi dengan kementerian terkait. Cakupan analisis yang dilakukan meliputi reviu capaian pelaksanaan pembangunan berdasarkan Laporan Triwulan IV PP 39/2006, capaian indikator program, dan reviu efisiensi dan efektifitas program yang mengaitkan capaian indikator program dengan capaian pelaksanaan pembangunan terutama realisasi anggaran. Setiap tahunnya, cakupan analisis yang digunakan berbeda-beda. Pada tahun 2012, cakupan analisisnya meliputi reviu capaian pelaksanaan pembangunan berdasarkan laporan TW IV PP 39/2006 dan capaian indikator program RKP 2012. Sedangkan untuk tahun 2013 ditambahkan reviu efisiensi dan efektifitas program RKP 2013.
Mekanisme pelaksanaan evaluasi RKP dibagi menjadi 4 (tahapan), yaitu:
a. Tahap persiapan, yang meliputi persiapan format kertas kerja pengumpulan data (untuk dikonfirmasi dan dilengkapi oleh kementerian). b. Tahap pengumpulan data, dengan menyampaikan Kertas Kerja EAT RKP
2013.
c. Tahap Validasi, pengolahan dan analisis data.
Untuk analisis data, cara yang dilakukan meliputi 3 hal, yaitu: 1) analisis terhadap capaian indikator Program RKP menggunakan gap analisis; 2) analisis terhadap capaian pelaksanaan pembangunan tahun 2013 (berdasarkan e-Monev TW IV PP 39/2006), yang mencakup: (a) realisasi fisik; (b) realisasi angaran; (c) analisis terhadap efisiensi dan efektifitas program tahun 2013, dengan cara mengidentifikasi kombinasi yang terbentuk antara realisasi anggaran dengan capaian indikator program. d. Tahap finalisasi draft laporan, sekaligus pencetakan untuk dibagikan
sebagai feedback kepada kementerian. 2) Evaluasi Renstra K/L
Rencana Strategis (Renstra) adalah perencanaan jangka menengah. Setiap K/L memiliki Renstra yang sifatnya 5 (lima) tahunan. Sebagian besar K/L telah melakukan evaluasi terhadap Renstra yang dimilikinya masing-masing. Secara khusus evaluasi tersebut dilakukan untuk mengetahui target sasaran yang sudah tercapai, maupun target sasaran yang memerlukan perhatian khusus. Target dan sasaran yang butuh perhatian khusus adalah target sasaran yang belum tercapai. Sedangkan secara umum, evaluasi tersebut dilakukan guna mengetahui capaian target, sasaran, permasalahan, dan kendala yang dihadapi dalam pelaksanaan program dan kegiatan pembangunan. K/L yang telah melakukan evaluasi terhadap Renstra yang dimilikinya, melakukan evaluasinya baik untuk tengah periode (paruh waktu) maupun akhir periode. Evaluasi paruh waktu dilakukan guna mendapatkan feedback untuk penyempurnaan program dan kegiatan pada sisa paruh waktu berikutnya.
Evaluasi yang dilakukan adalah evaluasi terhadap program utama atau program yang dinilai strategis. Ruang lingkup evaluasi tersebut mencakup evaluasi
program, rencana aksi, dan langkah operasional untuk pencapaian target. Dalam penyusunannya, semua K/L menggunakan data primer dan data sekunder. Data primer tersebut diperoleh dengan menggunakan metode survey dengan teknik wawancara dan observasi dengan menggunakan kuesioner. Data tersebut dikumpulkan dari berbagai responden yaitu pemangku kepentingan baik yang terlbat langsung maupun tidak langsung. Data sekunder diperoleh dari instansi terkait.
Data yang telah terhimpun kemudian akan dianalisis secara kualitatif dan kuantitatif, guna mengetahui efektifitas, efisiensi, dan akuntabilitas. Metode analisis yang digunakan disesuaikan dengan lingkup evaluasinya. Secara umum K/L melakukan evaluasi terhadap lingkup kinerja pembangunannya. Untuk evaluasi tersebut menggunakan gap analysis yang kemudian diberikan pula analaisis capaiannya, permasalahan yang dihadapainya, serta rencana tindak lanjutnya. Kementerian yang telah melakukan evaluasi terhadap Renstra contohnya adalah Kementerian Pertanian dan Kementerian Tenaga Kerja dan Transmigrasi.
3) Evaluasi RPJMN
Evaluasi terhadap RPJMN dilakukan baik ketika tengah periode (mid term review/evaluasi paruh waktu), akhir periode, bahkan tahunan. Evaluasi yang telah dilakukan terhadap RPJMN adalah evaluasi RPJMN 2010-2014. Evaluasi ini difokuskan pada 14 Prioritas Nasional (PN) dalam RPJMN 2010-2014.
Untuk evaluasi paruh waktunya dilakukan dengan tujuan untuk menilai pelaksanaan kebijakan pembangunan yang telah ditetapkan (RPJMN 2010-2014) sampai dengan tahun 2012. Dengan adanya evaluasi tersebut diharapkan dapat diupayakan peningkatan konsistensi dalam pencapaian sasaran yang ditetapkan, perbaikan-perbaikan terhadap kebijakan pembangunan, serta sebagai bahan masukan dalam penyusunan rencana pembangunan. Evaluasi ini juga merupakan bagian dari amanat dalam UU No. 25 tahun 2004 tentang Sistem Perencanaan Pembangunan Nasional (SPPN) dan Peraturan Pemerintah No. 39 tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan.
Penilaiannya dilakukan terhadap capaian sasaran-sasaran pembangunan yang dilakukan dengan menggunakan gap analysis, yaitu melihat perbedaan capaian dan memperkirakan pencapaian sasarannya pada tahun 2014 pada tingkat visi, misi, agenda pembangunan kebijakan ekonomi makro dan pembiayaan pembangunan, dan sasaran 14 PN. Analisis pencapaian sasaran utama pembangunan didasarkan pada indikator sasaran utama pembangunan nasional serta berdasarkan pada kegiatan prioritas yang dianggap strategis yang dimuat dalam Buku I RPJMN 2010-2014, permasalahan yang dihadapi selama pelaksanaan pembangunan dan perkiraan permasalahan yang akan dihadapi, serta upaya-upaya yang harus dilakukan untuk mencapai target 2014. Data yang digunakan dalam pelaksanaan evaluasi ini adalah data yang diperoleh langsung dari sektor dan K/L terkait. Setiap K/L yang terkait langsung dengan PN RPJMN 2010-2014 memberikan laporan sebagai bahan untuk penyusunan evaluasi RPJMN. Dalam laporannya setiap K/L melakukan evaluasi terhadap kegiatan prioritas yang mendukung program PN.
Berikut adalah tahapan pelaksanaan evaluasi RPJMN:
1. Kedeputian Evaluasi Kinerja Pembangunan (EKP) membuat desain (konsep) untuk evaluasi paruh waktu dan akhir tahun RPJMN 2010-2014. 2. Desain evaluasi tersebut kemudian diserahkan ke Direktorat sektor dan
juga K/L terkait. Direktorat sektor dan K/L terkait mengumpulkan data sebagai bahan evaluasi dan melakukan evaluasi.
3. Hasil dari evaluasi tersebut diserahkan ke Kedeputian Evaluasi Kinerja Pembangunan (EKP).
4. Kedeputian EKP melakukan pemeriksaan ataupun konfirmasi terutama dalam kaitannya dengan data. Selain itu dilakukan juga pemeriksaan konsistensi antara data dengan analisis evaluasinya. Untuk evaluasi terhadap kinerja agenda pembangunan yang sebagian besar merupakan kebijakan lintas sektor dilakukan oleh Kedeputian Evaluasi.
Hasil evaluasi paruh waktu RPJMN merupakan salah satu hasil evaluasi yang ditindaklajuti dalam dokumen RKP 2015. Beberapa program/kegiatan yang
masuk dalam kategori merah/kuning menjadi pertimbangan dalam menentukan isu strategis dalam RKP 2015 dan ditindaklanjuti melalui kebijakan dan strategi pembangunan yang dapat mendorong pencapaian target kinerja pada akhir periode RPJMN, yaitu tahun 2014.
Berdasarkan penjelasan diatas maka secara umum metode evaluasi yang digunakan adalah metode gap analysis dan menggunakan analisis deskriptif kualitatif dan kuantitatif.Gap analysis hanya digunakan untuk membandingkan antara realisasi yang dicapai dengan target yang ditentukan sebelumnya. Evaluasi yang dilakukan juga belum melihat sampai pada efisiensi, efektivitas, manfaat, dan dampak. Dengan demikian dapat disimpulkan bahwa pelaksanaan evaluasi selama ini masih lemah, karena belum menggunakan konsep evaluasi secara optimal. Secara teoritis, evaluasi dilakukan dengan mengukur kriteria-kriteria evaluasi.
4.1.2 Penerapan Evaluasi Pembangunan oleh Pemerintah Daerah
Secara umum daerah telah melakukan evaluasi, namun evaluasi tersebut masih sangat bervariasi baik dari segi evaluasi terhadap pelaksanaan pembangunan (dokumen perencanaan pembangunan), cakupan, waktu pelaksanaan, pelaku evaluasi, kriteria evaluasi yang digunakan, teknik penilaian, dan tahapan yang dilakukannya. Sebagian besar evaluasi pelaksanaan pembangunannya dilakukan terhadap RPJMD, RKPD, Renstra SKPD, dan Renja SKPD. Pelaksanaan evaluasi pada masing-masing daerah berbeda-beda sesuai dengan kebutuhannya. Ada yang hanya mengevaluasi RPJMD dan RKPD saja, tetapi ada pula yang telah melakukan hingga pada Renstra SKPD dan Renja SKPD. Adapun evaluasi lainnya seperti Laporan Keterangan Pertanggungjawaban (LKPJ), Laporan Keterangan Pertanggungjawaban Akhir Masa Jabatan (LKPJ-AMJ), Evaluasi Kinerja Pembangunan Daerah, Evaluasi APBD, Evaluasi RAD-MDGs, Evaluasi RAD-GRK. Untuk evaluasi RPJPD masih banyak daerah yang belum melaksanakan, dari 9 (sembilan) sampel terpilih, hanya Provinsi Kalimantan Timur yang telah melaksanakan.
Evaluasi RKPD, Renstra SKPD, dan Renja SKPD dilakukan secara tahunan, sedangkan evaluasi RPJMD di beberapa daerah dilakukan dengan waktu yang berkala dan sangat bervariasi, beberapa melakukan evaluasi setiap 2,5 – 3 tahun
sebagai mid term review dan 5 tahunan. Secara umum tujuan evaluasi yang dilakuan oleh daerah adalah untuk mengukur kinerja, keberhasilan, dan kegagalan dari suatu program dan kegiatan yang telah direncanakan. Namun, secara khusus beberapa daerah juga melakukan evaluasi dengan tujuan:
1. Untuk pemutahiran target dan sasaran untuk disesuaikan dengan kapasitas fiskal, dan dinamika perkembangan kebijakan nasional.
2. Untuk mengetahui tingkat efektifitas dan efisiensi kinerja.
3. Untuk memantau apakah rencana yang tertuang dalam RKPD sudah sesuai dengan pelaksanaannya.
4. Untuk melakukan koreksi apabila ditemukan penyimpangan/hambatan/ kendala.
Dalam pelaksanaan evaluasi, berdasarkan cakupannya, jenis evaluasi yang digunakan oleh sebagian daerah adalah evaluasi kegiatan dan evaluasi outcome, sedangkan evaluasi tematik hanya dilakukan oleh beberapa daerah dan evaluasi ini pun langsung dilakukan oleh bidang (sektor) terkait. Evaluasi tematik tersebut difokuskan pada program prioritas daerah seperti revitalisasi balai instalasi, program kredit rakyat, pembangunan kawasan melalui one map one data, MDGs, kemiskinan, dan lain sebagainya. Untuk evaluasi dampak belum pernah dilakukan oleh daerah terpilih dalam sampel ini. Jika berdasarkan waktu pelaksanaannya, maka jenis evaluasi yang digunakannya adalah evaluasi on-going dan ex-post. Evaluasi on-going adalah evaluasi yang paling sering dilakukan. Evaluasi ini dilakukan untuk mengukur konsistensi antara perencanaan dengan pelaksanaan. Sedangkan evaluasi ex-post paling sering digunakan untuk mengevaluasi RKPD. Untuk evaluasi ex-ante masih sangat jarang dilakukan, dari daerah yang menjadi sampel, hanya Kalimantan Timur yang melakukannya. Evaluasi tersebut dilakukan tiap tahun untuk mengevaluasi Renja SKPD dan RKPD. Hal ini dilakukan untuk mengevaluasi konsistensi antara perencanaan dengan penganggarannya. Seringkali hal tersebut tidak memiliki kesesuaian yang diakibatkan oleh banyaknya unsur politik didalamnya.
Berdasarkan metodenya, jenis evaluasi yang sering digunakan adalah evaluasi proses implementasi. Untuk evaluasi Performance Logic Chain hanya dilakukan oleh beberapa daerah. Hal ini dikarenakan sebagian besar SKPD masih belum
mengetahui tentang logframe, bahkan indikator yang disusun pun levelnya masih kurang tepat. Meta evaluasi juga masih jarang dilakukan karena setiap SKPD belum tentu melakukan evaluasi terhadap Renja SKPD atau Renstra SKPD. SKPD lebih sering melakukan evaluasi studi kasus, misalnya evaluasi kemacetan, pelabuhan, dan jalan. Evaluasi tersebut pun hanya bersifat insidental. Sedangkan evaluasi pra implementasi belum pernah dilakukan oleh daerah, Hal ini dikarenakan pihak daerah masih merasa suatu program atau kegiatan belum bisa diukur jika belum dilaksanakan.
Dalam pelaksanaan evaluasinya, pelaku evaluasi yang terlibat dalam kegiatan tersebut adalah evaluator internal dan juga evaluator eksternal. Tim internal berasal dari instansi atau unit sendiri, sedangkan evaluator eksternal sebagaian besar menggunakan pihak-pihak dari akademisi, yaitu dari Perguruan Tinggi. Namun ada beberapa daerah juga yang menggunakan evaluator eksternal dari konsultan, dan hanya Provinsi Jawa Tengah yang melibatkan LSM dalam melakukan evaluasinya. Pihak evaluator eksternal berperan untuk memberikan masukan dari sisi teoritis dan memberikan perspektif dari sudut pandang yang berbeda yang berguna bagi pelaksanaan evaluasi, sedangkan pihak internal berperan sebagai konseptor, sebagai pihak yang mendapatkan data langsung dari pemangku program dan penerima manfaat, dan sebagai penyusun laporan.
Metode evaluasi yang digunakannya adalah metode evaluasi kualitatif dan kuantitatif. Metode kuantitatif digunakan untuk membandingkan target dengan capaiannya, kemudian membandingkan pula antara capaian yang telah diperolehnya dengan capaian dari provinsi lain (dalam satu pulau) dan juga capaian secara nasional. Jenis data yang digunakan untuk evaluasi adalah data primer dan data sekunder. Data sekunder tersebut berasal dari BPS, SKPD, dan juga instansi pusat. Data primer juga diperoleh dari SKPD melalui FGD dan wawancara mendalam. Bahkan ada pula daerah yang melakukan pengumpulan data primernya melalui penyebaran kuesioner atau form yang yang sesuai dengan Peraturan Menteri Dalam Negeri (Permendagri) No. 54 tahun 2010.
Untuk stakeholder yang terlibat dalam pengumpulan datanya, sebagian besar menggunakan stakeholder yang terlibat langsung dalam implementasi. Namun beberapa daerah juga melibatkan stakeholder yang merupakan pengguna utama dari
