Kementerian PPN/ Bappenas
REVIU
PROGRAM PEMBANGUNAN
NASIONAL
(RP2N)
KEDEPUTIAN EVALUASI KINERJA PEMBANGUNAN
KEMENTERIAN PERENCANAAN PEMBANGUNAN NASIONAL/BAPPENAS
2013
Pengarah:
Edi Effendi Tedjakusuma
Penanggung Jawab:
Yohandarwati ArifiyatnoTim Penyusun:
Bambang Triyono Haryo Raharjo FaiqMeitha Ika Pratiwi Novi Mulia Ayu Anna Nur Rahmawaty Tini Partini Nuryawani
Kontak dan Informasi :
Direktorat Evaluasi Kinerja Pembangunan Sektoral, Bappenas Telp : 62-21-31903107 Fax : 62-21-31903107
iii
KATA PENGANTAR
Pasal 12 (2) Peraturan Pemerintah (PP) No. 39 Tahun 2006 menegaskan bahwa pelaksanaan RPJMN perlu dievaluasi untuk menilai kinerja (efisiensi, efektivitas, manfaat, dampak, dan keberlanjutan) suatu program. Sejalan dengan hal tersebut, pada tahun 2013 dilaksanakan Reviu Program Pembangunan Nasional (RP2N) yang bertujuan: (1) Mengevaluasi kualitas rancangan program pembangunan nasional (Program Plan); (2) Mengevaluasi pelaksanaan program pembangunan nasional (Program Implementation); (3) Mengevaluasi capaian dan kinerja program pembangunan nasional (Program Performance); dan (4) Menyusun rekomendasi untuk perbaikan pelaksanaan dan kinerja program pembangunan nasional pada tahun yang akan datang (Recommendations).
Pelaksanaan RP2N seyogianya melibatkan 40 direktorat sektor di Bappenas, 32 diantaranya merupakan direktorat sektor yang mempunyai mitra K/L dan 8 lainnya merupakan direktorat yang tidak mempunyai mitra K/L dalam melaksanakan pembangunan nasional. Pelibatan 40 direktorat sektor ini selain dalam rangka melakukan self evaluation atas program yang telah dirancang dan dilaksanakan sepanjang periode RPJMN 2010-2014, juga untuk memberikan pembelajaran mengenai proses perancangan kebijakan atau program yang baik. Sampai dengan tanggal 17 Mei 2013, 15 direktorat telah menyampaikan hasil isian RP2N, dengan 1 direktorat tidak diolah lebih lanjut karena keterbatasan data. Dengan demikian, pada tahap pengolahan dan analisis terdapat 14 program pembangunan nasional yang dievaluasi.
Hasil analisis terhadap 14 program pembangunan nasional menunjukkan bahwa kualitas rancangan sebagian besar program (71,43 persen) memiliki kualitas rancangan yang cukup baik. Namun ke depan, kualitas rancangan program masih perlu lebih ditingkatkan. Dalam rangka peningkatan kualitas penyusunan program ini, maka penggunaan kerangka berpikir model logika dalam perencanaan pembangunan dan perumusan indikator, merupakan prasyarat penting guna menjamin terwujudnya perencanaan yang berkualitas. Seyogianya aplikasi Logic Model atau Model Logika merupakan keharusan yang tidak dapat ditawar lagi dalam penyusunan RPJMN 2015-2019.
Akhirnya, kami ucapkan terima kasih dan penghargaan kepada semua pihak yang membantu penyusunan laporan ini.
Jakarta, Mei 2013
Deputi Bidang Evaluasi Kinerja Pembangunan Kementerian PPN/Bappenas
v
DAFTAR ISI
Halaman
KATA PENGANTAR ... iii
DAFTAR ISI ... v
DAFTAR TABEL ... vii
DAFTAR GAMBAR ... ix
DAFTAR LAMPIRAN ... xii
BAB I PENDAHULUAN ... 1
1.1 Latar Belakang RP2N ... 1
1.2 Tujuan RP2N ... 2
1.3 Permasalahan dan Keterbatasan RP2N ... 2
BAB II KONSEP DASAR ... 3
2.1 Kerangka Pikir Perencanaan Pembangunan ... 3
2.2 Definisi dan Jenis Program... 4
2.3 Logic Model ... 4
2.4. Log Frame ... 8
2.5. PART ... 10
BAB III CARA REVIU ... 13
3.1 Sumber Data dan Instrumen Pengumpulan Data ... 13
3.2 Mekanisme RP2N ... 13
3.3 Cara Reviu ... 16
3.3.1 Reviu terhadap Penilaian Program Pembangunan Nasional (Pertanyaan Tertutup Matriks B, Matriks C1, dan Matriks D1) ... 16
3.3.2 Reviu terhadap Data Kinerja Program Pembangunan Nasional (Pertanyaan Terbuka Matriks C2, Matriks D1, dan Matriks D2) ... 19
BAB IV REVIU UMUM ATAS PELAKSANAAN RP2N ... 23
4.1 Pengantar ... 23
4.2 Reviu terhadap Penilaian Program Pembangunan Nasional ... 25
4.2.1 Penilaian Rancangan Program Pembangunan Nasional ... 25
4.2.2 Penilaian Pelaksanaan Program Pembangunan Nasional ... 33
4.2.3 Penilaian Kinerja Program Pembangunan Nasional ... 36
4.2.4 Penentuan Nilai Keseluruhan Program Pembangunan Nasional ... 37
4.2.5 Penentuan Asosiasi dalam Aspek/Kriteria Program Pembangunan Nasional ... 41
4.3 Reviu terhadap Data Kinerja Program Pembangunan Nasional ... 44
4.3.1 Capaian Indikator Program Pembangunan Nasional ... 45
4.3.2 Realisasi Program Pembangunan Nasional (Berdasarkan Laporan Triwulan IV PP 39/2006) ... 46
4.3.3 Efektivitas dan Efisiensi Program ... 52
BAB V REVIU PROGRAM PEMBANGUNAN NASIONAL ... 55
5.1 Pengantar ... 55
vi
5.3 Program Kesetaraan Gender dan Pemberdayaan Perempuan ... 58
5.4 Program Pengambangan Perpustakaan ... 59
5.5 Program Pengelolaan dan Penyediaan Minyak dan Gas Bumi ... 62
5.6 Program Pemberdayaan Masyarakat dan Pemerintahan Desa ... 67
5.7 Program Pengembangan Teknologi dan Industri Pertahanan ... 71
5.8 Program Pengembangan dan Pembinaan Meteorologi, Klimatologi dan Geofisika ... 74
5.9 Program Penempatan dan Perluasan Kesempatan Kerja ... 77
5.10 Program Pemberdayaan Koperasi dan Usaha Mikro, Kecil, dan Menengah ... 80
5.11 Program Bina Gizi dan Kesehatan Ibu dan Anak ... 82
5.12 Program Percepatan Pembangunan Daerah Tertinggal ... 85
5.13 Program Pengelolaan Pertanahan Nasional ... 86
5.14 Program Pengembangan Perdagangan Dalam Negeri ... 87
5.15 Program Perencanaan Makro Bidang Kehutanan dan Pemantapan Kawasan Hutan ... 90
BAB VI KESIMPULAN DAN REKOMENDASI ... 96
6.1 Kesimpulan ... 96
6.2 Rekomendasi ... 97
DAFTAR PUSTAKA ... 100
vii
DAFTAR TABEL
Halaman
Tabel 2.1 Format Narasi Logic Model ... 7
Tabel 2.2 Tahap Pertama Penyiapan Matriks Logframe: Top Down ... 9
Tabel 2.3 Tahap Kedua Penyiapan Matriks Logframe: Work Across ... 9
Tabel 2.4 Tahap Ketiga Penyiapan Matriks Logframe: Bottom Up ... 9
Tabel 2.5 Matriks Logframe ... 10
Tabel 2.6 Bobot Tiap Section (Kriteria) dalam PART... 11
Tabel 2.7 Penentuan Penilaian Kualitatif Berdasarkan Skor Keseluruhan ... 11
Tabel 3.1 Ketentuan Penyusunan Sasaran, Indikator Program, dan Target ... 15
Tabel 3.2 Penentuan Penilaian Kualitatif... 17
Tabel 3.3 Penentuan Bobot Kriteria (Mengadopsi PART) ... 17
Tabel 3.4 Kriteria Penentuan Kode Analisis Program/KP ... 19
Tabel 3.5 Kriteria Penentuan Peran KP terhadap Capaian Program PN ... 20
Tabel 3.6 Kombinasi Penentuan Efektivitas dan Efisiensi Program ... 21
Tabel 4.1 Status Penyampaian Hasil Isian Reviu Program Pembangunan Nasional ... 23
Tabel 4.2 Alasan Pemilihan Program Pembangunan Nasional ... 24
Tabel 4.3 Daftar Program Menurut Kualitas Rancangan Program ... 26
Tabel 4.4 Daftar Program Menurut Kualitas Kelengkapan Rancangan ... 27
Tabel 4.5 Daftar Program Menurut Kualitas Ketepatan Rancangan ... 29
Tabel 4.6 Daftar Program Menurut Keterkaitan dengan PN ... 30
Tabel 4.7 Daftar Program Menurut Kriteria Keberlanjutan ... 32
Tabel 4.8 Daftar Program Menurut Kualitas Pelaksanaan/Pengelolaan ... 34
Tabel 4.9 Daftar Program Menurut Penilaian Kinerja ... 37
Tabel 4.10 Daftar Program Menurut Nilai Keseluruhan ... 38
Tabel 4.11 Daftar Program Berdasarkan Nilai Keseluruhan, Rancangan, Pelaksanaan, dan Kinerja ... 39
Tabel 4.12 Asosiasi Antara Kualitas Rancangan, Pelaksanaan/Pengelolaan dan Kinerja Program ... 41
Tabel 4.13 Asosiasi Antar Kriteria Kualitas Rancangan Program ... 41
Tabel 4.14 Asosiasi antara Cara Perancangan dan Kualitas Rancangan Program ... 42
Tabel 4.15 Status Kelengkapan Pengisian Capaian Program dan Kegiatan Berdasarkan Laporan Triwulan IV PP 39/2006 Tahun 2012 (Data 14 Program pada 28 Mei 2013) 44 Tabel 4.16 Capaian Indikator 12 Program ... 45
Tabel 4.17 Kategori 10 Program Berdasarkan Realisasi Fisik, Tahun 2011 dan 2012 ... 47
Tabel 4.18 Kategori 10 Program Berdasarkan Realisasi Anggaran, Tahun 2011 dan 2012 ... 49
Tabel 4.19 Daftar 10 Program Berdasarkan Kondisi Kinerja, Tahun 2012 ... 50
Tabel 4.20 Kombinasi Penentuan Efektivitas dan Efisiensi dari 10 Program ... 52
Tabel 5.1 Capaian Indikator, Realisasi Fisik dan Anggaran Program Perlindungan dan Jaminan Sosial,Tahun 2011-2012 ... 56
Tabel 5.2 Perbandingan Antara Capaian Indikator dengan Realisasi Anggaran Program Perlindungan dan Jaminan Sosial, Tahun 2011-2012 ... 58
Tabel 5.3 Capaian Indikator, Realisasi Fisik dan Anggaran Program Kesetaraan Gender dan Pemberdayaan Perempuan, Tahun 2011-2012 ... 59
Tabel 5.4 Capaian Indikator, Realisasi Fisik dan Anggaran Program Pengembangan Perpustakaan, Tahun 2011-2012 ... 61
viii
Tabel 5.5 Perbandingan Antara Capaian Indikator dengan Realisasi Anggaran Program Pengembangan Perpustakaan, Tahun 2011-2012 ... 63 Tabel 5.6 Capaian Indikator, Realisasi Fisik dan Anggaran Program Pengelolaan dan
Penyediaan Minyak dan Gas Bumi, Tahun 2011-2012 ... 64 Tabel 5.7 Perbandingan Antara Capaian Indikator dengan Realisasi Anggaran Program
Pengelolaan dan Penyediaan Minyak dan Gas Bumi, Tahun 2011-2012 ... 67 Tabel 5.8 Capaian Indikator, Realisasi Fisik dan Anggaran Program Pemberdayaan
Masyarakat dan Pemerintahan Desa,Tahun 2011-2012 ... 69 Tabel 5.9 Perbandingan Antara Capaian Indikator dengan Realisasi Anggaran Program
Pemberdayaan Masyarakat dan Pemerintahan Desa, Tahun 2011-2012 ... 71 Tabel 5.10 Capaian Indikator, Realisasi Fisik dan Anggaran Program Pengembangan
Teknologi dan Industri Pertahanan,Tahun 2011-2012 ... 72 Tabel 5.11 Perbandingan Antara Capaian Indikator dengan Realisasi Anggaran Program
Pengembangan Teknologi dan Industri Pertahanan, Tahun 2011-2012 ... 75 Tabel 5.12 Capaian Indikator, Realisasi Fisik dan Anggaran Program Pengembangan dan
Pembinaan Meteorologi, Klimatologi, dan Geofisika, Tahun 2011-2012 ... 76 Tabel 5.13 Perbandingan Antara Capaian Indikator dengan Realisasi Anggaran Program
Pengembangan dan Pembinaan Meteorologi, Klimatologi dan Geofisika, Tahun 2011-2012 ... 78 Tabel 5.14 Capaian Indikator, Realisasi Fisik dan Anggaran Program Penempatan dan
Perluasan Kesempatan Kerja, Tahun 2011-2012 ... 79 Tabel 5.15 Perbandingan Antara Capaian Indikator dengan Realisasi Anggaran Program
Penempatan dan Perluasan Kesempatan Kerja, Tahun 2011-2012 ... 81 Tabel 5.16 Capaian Indikator, Realisasi Fisik dan Anggaran Program Pemberdayaan
Koperasi dan Usaha Mikro, Kecil dan Menengah, Tahun 2011-2012 ... 82 Tabel 5.17 Capaian Indikator, Realisasi Fisik dan Anggaran Program Bina Gizi dan
Kesehatan Ibu dan Anak, Tahun 2011-2012 ... 84 Tabel 5.18 Perbandingan Antara Capaian Indikator dengan Realisasi Anggaran Program
Bina Gizi dan Kesehatan Ibu dan Anak, Tahun 2011-2012 ... 86 Tabel 5.19 Capaian Indikator, Realisasi Fisik dan Anggaran Program Pengembangan
Perdagangan Dalam Negeri, Tahun 2011-2012 ... 88 Tabel 5.20 Perbandingan Antara Capaian Indikator dengan Realisasi Anggaran Program
Pengembangan Perdagangan Dalam Negeri, Tahun 2011-2012 ... 91 Tabel 5.21 Capaian Indikator, Realisasi Fisik dan Anggaran Program Perencanaan Makro
Bidang Kehutanan dan Kawasan Hutan, Tahun 2011-2012 ... 92 Tabel 5.22 Perbandingan Antara Capaian Indikator dengan Realisasi Anggaran Program
ix
DAFTAR GAMBAR
Halaman
Gambar 2.1 Kerangka Pikir Perencanaan Pembangunan ... 3
Gambar 2.2 Variasi Bentuk Logic Model ... 5
Gambar 2.3 Contoh Logic Model Parent Support Initiative (Level 1)... 6
Gambar 2.4 Contoh Logic Model Parent Support Initiative (Level 2) ... 7
Gambar 3.1 Tahapan RP2N ... 16
Gambar 3.2 Contoh Grafik Sebaran KP dari Program Prioritas Nasional A ... 20
Gambar 4.1 Persentase Program Menurut Kualitas Rancangan Program ... 26
Gambar 4.2 Persentase Program Menurut Kualitas Kelengkapan Rancangan ... 27
Gambar 4.3 Persentase Program Menurut Kualitas Ketepatan Rancangan ... 28
Gambar 4.4 Persentase Program Menurut Keterkaitan dengan PN ... 30
Gambar 4.5 Persentase Program Menurut Kriteria Keberlanjutan ... 31
Gambar 4.6 Persentase Program Menurut Cara Perancangan ... 33
Gambar 4.7 Persentase Program Menurut Kualitas Pelaksanaan/Pengelolaan ... 34
Gambar 4.8 Permasalahan Pelaksanaan Program Pembangunan Nasional ... 35
Gambar 4.9 Persentase Program Menurut Penilaian Kinerja ... 36
Gambar 4.10 Persentase Program Menurut Nilai Keseluruhan ... 37
Gambar 4.11 Sebaran Kualitas Rancangan Program Menurut Cara Perancangan Program ... 43
Gambar 4.12 Sebaran Frekuensi Permasalahan Muncul Menurut Kualitas Rancangan Program ... 43
Gambar 4.13 Rata-rata Realisasi Fisik 10 Program, Tahun 2011 dan 2012 ... 47
Gambar 4.14 Daftar 10 Program Berdasarkan Realisasi Fisik, Tahun 2012 ... 47
Gambar 4.15 Perkembangan Realisasi Fisik 10 Program, Tahun 2011 dan 2012 ... 48
Gambar 4.16 Rata-rata Realisasi Anggaran 10 Program, Tahun 2011 dan 2012 ... 48
Gambar 4.17 Daftar 10 Program Berdasarkan Realisasi Anggaran Tahun 2012 ... 49
Gambar 4.18 Perkembangan Realisasi Anggaran 10 Program, Tahun 2011 dan 2012 ... 50
Gambar 4.19 Sebaran 10 Program Berdasarkan Kondisi Kinerja, Tahun 2012 ... 51
Gambar 4.20 Pertumbuhan Capaian Indikator dengan Realisasi Anggaran ... 53
Gambar 5.1 Kualitas Program Perlindungan dan Jaminan Sosial ... 55
Gambar 5.2 Kualitas Program Perlindungan dan Jaminan Sosial Menurut Kriteria Rancangan Program ... 55
Gambar 5.3 Capaian Indikator Program Perlindungan dan Jaminan Sosial ... 56
Gambar 5.4 Perkembangan Capaian Indikator Program Perlindungan dan Jaminan Sosial . 56 Gambar 5.5 Realisasi Program Perlindungan dan Jaminan Sosial, Tahun 2011 dan 2012 ... 57
Gambar 5.6 Kualitas Program Kesetaraan Gender dan Pemberdayaan Perempuan ... 59
Gambar 5.7 Kualitas Program Kesetaraan Gender dan Pemberdayaan Perempuan Menurut Kriteria Rancangan Program ... 59
Gambar 5.8 Capaian Indikator Program Kesetaraan Gender dan Pemberdayaan Perempuan ... 60
Gambar 5.9 Perkembangan Capaian Indikator Program Kesetaraan Gender dan Pemberdayaan Perempuan ... 60
Gambar 5.10 Kualitas Program Pengembangan Perpustakaan ... 61
Gambar 5.11 Kualitas Program Pengembangan Perpustakaan Menurut Kriteria Rancangan Program ... 61
x
Gambar 5.13 Perkembangan Capaian Indikator Program Pengembangan Perpustakaan ... 62 Gambar 5.14 Realisasi Program Pengembangan Perpustakaan, Tahun 2011 dan 2012 ... 62 Gambar 5.15 Kualitas Program Pengelolaan dan Penyediaan Minyak dan Gas Bumi ... 64 Gambar 5.16 Kualitas Program Pengelolaan dan Penyediaan Minyak dan Gas Bumi
Menurut Kriteria Rancangan Program ... 64 Gambar 5.17 Capaian Indikator Program Pengelolaan dan Penyediaan Minyak dan Gas
Bumi ... 66 Gambar 5.18 Perkembangan Capaian Indikator Program Pengelolaan dan Penyediaan
Minyak dan Gas Bumi ... 66 Gambar 5.19 Realisasi Program Pengelolaan dan Penyediaan Minyak dan Gas Bumi, Tahun
2011 dan 2012 ... 67 Gambar 5.20 Kualitas Program Pemberdayaan Masyarakat dan Pemerintahan Desa ... 68 Gambar 5.21 Kualitas Program Pemberdayaan Masyarakat dan Pemerintahan Desa
Menurut Kriteria Rancangan Program ... 68 Gambar 5.22 Capaian Indikator Program Pemberdayaan Masyarakat dan Pemerintahan
Desa ... 70 Gambar 5.23 Perkembangan Capaian Indikator Program Pemberdayaan Masyarakat dan
Pemerintahan Desa ... 70 Gambar 5.24 Realisasi Program Pemberdayaan Masyarakat dan Pemerintahan Desa,
Tahun 2011 dan 2012 ... 71 Gambar 5.25 Kualitas Program Pengembangan Teknologi dan Industri Pertahanan ... 72 Gambar 5.26 Kualitas Program Pengembangan Teknologi dan Industri Pertahanan
Menurut Kriteria Rancangan Program ... 72 Gambar 5.27 Capaian Indikator Program Pengembangan Teknologi dan Industri
Pertahanan ... 73 Gambar 5.28 Perkembangan Capaian Indikator Program Pengembangan Teknologi dan
Industri Pertahanan ... 73 Gambar 5.29 Realisasi Program Pengembangan Teknologi dan Industri Pertahanan, Tahun
2011 dan 2012 ... 74 Gambar 5.30 Kualitas Program Pengembangan dan Pembinaan Meteorologi, Klimatologi,
dan Geofisika ... 75 Gambar 5.31 Kualitas Program Pengembangan dan Pembinaan Meteorologi, Klimatologi,
dan Geofisika Menurut Kriteria Rancangan Program ... 75 Gambar 5.32 Capaian Indikator Program Pengembangan dan Pembinaan Meteorologi,
Klimatologi, dan Geofisika ... 76 Gambar 5.33 Perkembangan Capaian Indikator Program Pengembangan dan Pembinaan
Meteorologi, Klimatologi, dan Geofisika ... 76 Gambar 5.34 Realisasi Program Pengembangan dan Pembinaan Meteorologi, Klimatologi,
dan Geofisika, Tahun 2011 dan 2012 ... 77 Gambar 5.35 Kualitas Program Penempatan dan Perluasan Kesempatan Kerja ... 78 Gambar 5.36 Kualitas Program Penempatan dan Perluasan Kesempatan Kerja Menurut
Kriteria Rancangan Program ... 78 Gambar 5.37 Capaian Indikator Program Penempatan dan Perluasan Kesempatan Kerja ... 80 Gambar 5.38 Perkembangan Capaian Indikator Program Penempatan dan Perluasan
Kesempatan Kerja ... 80 Gambar 5.39 Realisasi Program Penempatan dan Perluasan Kesempatan Kerja, Tahun
2011 dan 2012 ... 80 Gambar 5.40 Kualitas Program Pemberdayaan Koperasi dan Usaha Mikro, Kecil dan
xi
Gambar 5.41 Kualitas Program Pemberdayaan Koperasi dan Usaha Mikro, Kecil dan Menengah Menurut Kriteria Rancangan Program ... 82 Gambar 5.42 Capaian Indikator Program Pemberdayaan Koperasi dan Usaha Mikro, Kecil
dan Menengah ... 83 Gambar 5.43 Perkembangan Capaian Indikator Program Pemberdayaan Koperasi dan
Usaha Mikro, Kecil dan Menengah ... 83 Gambar 5.44 Kualitas Program Bina Gizi dan Kesehatan Ibu dan Anak ... 84 Gambar 5.45 Kualitas Program Bina Gizi dan Kesehatan Ibu dan Anak Menurut Kriteria
Rancangan Program ... 84 Gambar 5.46 Capaian Indikator Program Bina Gizi dan Kesehatan Ibu dan Anak ... 85 Gambar 5.47 Perkembangan Capaian Indikator Program Bina Gizi dan Kesehatan Ibu dan
Anak ... 85 Gambar 5.48 Realisasi Program Bina Gizi dan Kesehatan Ibu dan Anak, Tahun 2011 dan
2012 ... 85 Gambar 5.49 Kualitas Program Percepatan Pembangunan Daerah Tertinggal ... 87 Gambar 5.50 Kualitas Program Percepatan Pembangunan Daerah Tertinggal Menurut
Kriteria Rancangan Program ... 87 Gambar 5.51 Kualitas Program Pengelolaan Pertanahan Nasional ... 87 Gambar 5.52 Kualitas Program Pengelolaan Pertanahan Nasional Menurut Kriteria
Rancangan Program ... 87 Gambar 5.53 Kualitas Program Pengembangan Perdagangan Dalam Negeri ... 88 Gambar 5.54 Kualitas Program Pengembangan Perdagangan Dalam Negeri Menurut
Kriteria Rancangan Program ... 88 Gambar 5.55 Capaian Indikator Program Pengembangan Perdagangan Dalam Negeri ... 90 Gambar 5.56 Perkembangan Capaian Indikator Program Pengembangan Perdagangan
Dalam Negeri ... 90 Gambar 5.57 Realisasi Program Pengembangan Perdagangan Dalam Negeri, Tahun 2011
dan 2012 ... 90 Gambar 5.58 Kualitas Program Perencanaan Makro Bidang Kehutanan dan Kawasan Hutan 92 Gambar 5.59 Kualitas Program Perencanaan Makro Bidang Kehutanan dan Kawasan Hutan
Menurut Kriteria Rancangan Program ... 92 Gambar 5.60 Capaian Indikator Program Perencanaan Makro Bidang Kehutanan dan
Kawasan Hutan ... 93 Gambar 5.61 Perkembangan Capaian Indikator Program Perencanaan Makro Bidang
Kehutanan dan Kawasan Hutan ... 93 Gambar 5.62 Realisasi Program Perencanaan Makro Bidang Kehutanan dan Kawasan
xii
DAFTAR LAMPIRAN
Halaman Lampiran 1. Hasil Uji Coba RP2N ... 105 Lampiran 2. Daftar Isian RP2N ... 109 Lampiran 3. Contoh Pengisian Matriks B, C1 dan D1 ... 129
1
BAB I
PENDAHULUAN
1.1. Latar Belakang RP2N
Evaluasi pada tataran outcome terhadap pelaksanaan Rencana Pembangunan Jangka Menengah Nasional (RPJMN) 2010-2014 secara periodik telah dilaksanakan sejak tahun 2011. Hasil Evaluasi Dua Tahun Pelaksanaan RPJMN 2010-2014 yang dilakukan pada awal tahun 2012 menunjukkan bahwa pencapaian 14 Prioritas Nasional (selanjutnya disebut PN) berada pada alur yang diharapkan. Dari total 483 indikator pencapaian PN, 383 indikator (79,3 persen) telah mencapai target yang ditetapkan sedangkan 100 indikator lainnya (20,7 persen) belum tercapai. Interpretasi atas pencapaian indikator tersebut tidak serta merta menunjukkan keberhasilan atau kegagalan, namun lebih menunjukkan upaya keras yang telah dilakukan dan upaya mana yang perlu terus ditingkatkan secara terfokus guna mencapai target RPJMN 2010-2014 pada tahun 2014.
Berangkat dari hasil tersebut, evaluasi pelaksanaan pembangunan yang lebih spesifik perlu dilakukan terhadap program pembangunan nasional sehingga dapat diperoleh gambaran kualitas dan kinerja program pembangunan nasional. Hal ini penting dilakukan mengingat program pembangunan diformulasikan sebagai terjemahan arah pembangunan nasional dan merupakan turunan dari 14 PN. Selain itu, pasal 12 ayat 2 Peraturan Pemerintah (PP) No.39/2006 juga menegaskan bahwa pelaksanaan RPJMN perlu dievaluasi untuk menilai kinerja (efisiensi, efektivitas, manfaat, dampak, dan keberlanjutan) program. Dengan demikian, format evaluasi yang dilaksanakan berupa Reviu Program Pembangunan Nasional (selanjutnya disebut RP2N) dengan metode self assesment oleh direktorat sektor Bappenas atas 3 (tiga) fokus, yaitu kualitas rancangan (program plan), pelaksanaan (program implementation) dan kinerja program (program performance).
Rangkaian pelaksanaan RP2N telah diawali dengan tiga kali uji coba terhadap instrumen RP2N dalam kurun waktu Mei-Oktober 2012 yang melibatkan sepuluh direktorat sektor di Bappenas. Hasil pelaksanaan uji coba dijadikan bahan penyempurnaan instrumen RP2N agar menjadi lebih tajam dalam menangkap informasi terkait kualitas program, baik dari segi rancangan, pelaksanaan, dan kinerja. Ringkasan mengenai hasil uji coba 1-3 terdapat pada Lampiran 1. Penyempurnaan instrumen RP2N dilakukan terhadap Kerangka Acuan Kerja I (KAK I) bagi Direktorat Sektor, yang mencakup penjelasan RP2N, konsep dan definisi, dan instrumen penilaian berupa daftar isian/kuesioner yang mengadopsi metode The Program Assessment Rating Tool (PART). PART merupakan suatu alat diagnosa yang dikembangkan oleh Office of Management and Budget (OMB) Amerika Serikat untuk menilai kinerja program. Penyempurnaan juga dilakukan pada Kerangka Acuan Kerja II (KAK II) bagi Dit. EKPS yang mencakup format pengolahan dan analisis data hasil self evaluation. Daftar isian/kuisioner RP2N terdapat pada Lampiran 2.
Secara umum, pelaksanaan RP2N terbagi atas tiga tahapan, yaitu: (1) Tahap I: Pemilihan program teknis pembangunan oleh direktorat sektor; (2) Tahap II: Self evaluation oleh direktorat sektor; dan (3) Tahap III: Reviu dan Analisis oleh Dit.EKPS. Pelaksanaan RP2N diharapkan dapat memberikan pembelajaran kepada seluruh perencana pembangunan mengenai proses perancangan kebijakan atau program yang baik, sekaligus memperbaiki kualitas penyusunan, pelaksanaan dan evaluasi kebijakan/program program pembangunan terutama pada RPJMN 2015-2019.
2
1.2. Tujuan RP2N
Tujuan jangka pendek pelaksanaan RP2N adalah: (1) Mengevaluasi kualitas rancangan program pembangunan nasional (Program Plan); (2) Mengevaluasi pelaksanaan program pembangunan nasional (Program Implementation); (3) Mengevaluasi capaian dan kinerja program pembangunan nasional (Program Performance); dan (4) Menyusun rekomendasi untuk perbaikan pelaksanaan dan kinerja program pembangunan nasional pada tahun yang akan datang (Recommendations). Tujuan jangka menengah pelaksanaan RP2N adalah: (1) Penyiapan sistem penyusunan program dan rencana pembangunan nasional, oleh Kedeputian Evaluasi Kinerja Pembangunan bersama Pusdatinrenbang; (2) Penyusunan RPJMN 2015-2019 oleh Bappenas dan K/L; (3) Penyusunan RKP 2015 dan seterusnya oleh Bappenas dan kementerian/lembaga (K/L); dan (4) Penyiapan sistem evaluasi Renstra K/L yang merupakan amanat PP No.39/2006 namun selama ini belum mampu dilaksanakan baik oleh K/L maupun oleh Bappenas.
Adapun tujuan jangka panjang pelaksanaan RP2N adalah terwujudnya program pembangunan yang transparan, akuntabel, efektif, dan efisien.
1.3. Permasalahan dan Keterbatasan RP2N
Permasalahan dalam pelaksanaan RP2N adalah cakupan dan partisipasi. Cakupan RP2N saat ini masih terbatas dalam lingkungan Bappenas, namun dari sisi partisipasi belum seluruh direktorat sektor, terutama yang menangani program menyampaikan hasil isian kuisioner RP2N. Tingkat partisipasi cukup rendah, sampai dengan 17 Mei 2013, hanya 15 direktorat (37,50 persen) yang menyampaikan hasil isian dengan 14 direktorat (35,00 persen) yang dapat diolah/dianalisis lebih lanjut. Seluruh program yang disampaikan oleh 14 direktorat sektor tersebut telah melalui proses reviu oleh Dit. EKPS dengan status lima program telah dikonfirmasi dan diperbaiki lebih lanjut oleh direktorat sektor. Sisanya, sembilan program masih menunggu konfirmasi dan perbaikan oleh direktorat sektor, namun telah dianggap final untuk keperluan penyusunan laporan RP2N. Dari sisi substansi pengisian, permasalahan yang ditemukan antara lain: (1) Hasil isian belum dilengkapi dengan bukti pendukung; (2) Isian RP2N yang disampaikan masih memerlukan konfirmasi lebih lanjut misalnya isian tidak lengkap, terdapat sejumlah pertanyaan tidak diisi atau isian RP2N tidak sesuai dengan deskripsi penjelasan dan bukti pendukung; (3) Data kinerja indikator program/kegiatan baik pada level impact, outcomes, dan output dan data kinerja program/kegiatan berdasarkan laporan PP No.39/2006 tidak seluruhnya dapat diisi karena tidak rutinnya mitra kerja menyampaikan data kinerja kepada direktorat sektor Bappenas.
Sejumlah permasalahan tersebut menjadi keterbatasan dalam penulisan laporan RP2N, sekaligus secara tidak langsung mencerminkan pula kualitas tata kelola, manajemen, perancangan dan pelaksanaan program. Dari 40 program yang diharapkan dapat direviu, hanya 14 program yang terealisasi. Selain itu memperhatikan belum maksimalnya pengisian format RP2N terutama oleh sembilan direktorat sektor maka hasil reviu dapat dikatakan juga belum maksimal. Namun demikian, poin-poin penting terkait kualitas rancangan, pelaksanaan dan kinerja program sedapat mungkin telah diperoleh. Diharapkan untuk pelaksanaan RP2N di masa mendatang dapat terus ditingkatkan dan diperbaiki secara bertahap, sehingga gambaran mengenai kondisi perancangan, pelaksanaan maupun capaian dari program pembangunan nasional dapat dipotret secara utuh, serta kualitas pelaksanaan RP2N dan rekomendasi yang disusun menjadi lebih baik.
3
BAB II
KONSEP DASAR
2.1. Kerangka Pikir Perencanaan Pembangunan
Kerangka pikir dalam proses perencanaan diawali dengan proses identifikasi kondisi saat ini terkait permasalahan politik, ekonomi, sosial, hukum, lingkungan,teknologi, budaya dan lainnya. Kondisi permasalahan yang akan diperbaiki/diubah ini akan mempengaruhi dan menentukan perumusan visi dan misi, strategi, dan kebijakan elit politik di pemerintahan. Dari visi-misi,strategi dan kebijakan tersebut, maka program pembangunan kemudian dirancang (Gambar 2.1).
Gambar 2.1
Kerangka Pikir Perencanaan Pembangunan
Sumber:Direktorat EKPS, 2012
Dalam merancang program pembangunan, terdapat beberapa tahapan proses yang harus dilakukan. Proses pertama adalah menentukan kebutuhan, cakupan, dan prioritas permasalahan yang harus diatasi. Proses kedua adalah perencanaan dan penganggaran program untuk menyelesaikan permasalahan yang ada, sebaiknya menggunakan suatu instrumen perencanaan seperti logic model. Proses ketiga adalah implementasi program, yang meliputi kegiatan guna menghasilkan output yang diinginkan. Proses keempat adalah monitoring dan pengendalian guna melakukan kontrol atas kegiatan yang dilaksanakan, guna memastikan output yang dibutuhkan akan dapat dicapai. Proses kelima adalah pelaksanaan evaluasi yang kemudian
4
menjadi feedback atas keseluruhan proses perencanaan dan pelaksanaan pembangunan sehingga dapat terus disempurnakan secara berkelanjutan, sesuai dengan semangat dasar evaluasi.
2.2. Definisi dan Jenis Program
Secara umum program diartikan sebagai suatu rencana kegiatan seseorang yang akan dilakukan. Pengertian lainnya adalah suatu unit atau kesatuan kegiatan yang merupakan sebuah sistem, yaitu rangkaian kegiatan yang dilakukan tidak hanya satu kali tetapi berkesinambungan (Arikunto dan Safrudin, 2004:28).
Secara khusus, program adalah suatu unit atau kesatuan kegiatan yang merupakan realisasi atau implementasi dari suatu kebijakan dan berlangsung dalam proses berkesinambungan serta terjadi dalam suatu organisasi yang melibatkan sekelompok orang. Terdapat 3 (tiga) hal penting yang perlu ditekankan dalam menentukan program, yaitu: (1) Realisasi atau implementasi suatu kebijakan; (2) Terjadi dalam waktu yang relatif lama, bukan kegiatan tunggal tetapi jamak, serta berkesinambungan; dan (3) Terjadi dalam organisasi yang melibatkan sekelompok orang (Suharsimi, 2004: 3).
Dalam Buku Pedoman Restruktrurisasi Program dan Kegiatan (Bappenas dan Depkeu, 2009:25), program didefinisikan sebagai instrumen kebijakan yang berisi kegiatan-kegiatan yang dilaksanakan oleh K/L untuk mencapai sasaran dan tujuan serta memperoleh alokasi anggaran, dan/atau kegiatan masyarakat yang dikoordinasikan oleh K/L. Terdapat 2 (dua) jenis program yang ditetapkan, yaitu:
1. Program Teknis, merupakan program yang menghasilkan pelayanan kepada kelompok sasaran/masyarakat (pelayanan eksternal). Contoh: Program Penyelenggaraan Jalan; 2. Program Generik, merupakan program yang digunakan beberapa unit Eselon 1A yang
memiliki karakteristik sejenis untuk mendukung pelayanan aparatur dan/atau administrasi pemerintahan (pelayanan internal). Contoh: Program Peningkatan Sarana dan Prasarana Aparatur Kementerian Pekerjaan Umum.
2.3. Logic Model
Pengertian logic model atau model logika, adalah suatu diagram/bagan bagaimana suatu kebijakan/program/kegiatan diharapkan dapat bekerja baik. Dengan kata lain, juga merupakan gambaran hubungan antara aktivitas dan hasil. Menurut sebagian orang, logic model hanya dipakai dalam proses evaluasi, namun sebenarnya tidak sesempit itu, karena penggunaan model logika penting dan menolong ketika diaplikasikan kedalam proses perencanaan, formulasi dan penyusunan kebijakan/program/kegiatan, manajemen pelaksanaan program dan bahkan dalam komunikasi dan koordinasi. Jadi logic model adalah:
Suatu gambaran sederhana dari kebijakan/program/kegiatan, inisiatif, atau intervensi yang merupakan respon dari suatu keadaan tertentu;
Inti dari rangkaian perencanaan, evaluasi, manajemen, komunikasi dan koordinasi;
Sesuatu yang menunjukkan hubungan yang masuk akal antar berbagai hal yang meliputi sumber yang diinvestasikan, kegiatan yang dilakukan, dan manfaat atau perubahan yang dihasilkan (Bappenas, 2009:24-25).
Perancangan suatu kebijakan/program/kegiatan seyogianya menggunakan suatu instrumen perencanaan sehingga hubungan antara kebijakan/program/kegiatan dengan hasil yang diharapkan menjadi jelas. Perencanaan tanpa menggunakan suatu instrumen perencanaan dapat
5
a. Format Tabel b. Format Flow Chart c. Format Lingkaran
d. Format Kompleks e. Format Sederhana
menimbulkan permasalahan seperti efektivitas program serta kualitas indikator yang menyebabkan tidak dapat dilakukan evaluasi kinerja.
Salah satu instrumen perencanaan kebijakan/program/kegiatan yang dapat digunakan adalah logic model yang merupakan gambaran hubungan antara aktivitas dan hasil. Model ini sering juga disebut sebagai program theory (Weiss, 1998), program's theory of action (Patton, 1997), atau model yang masuk akal tentang bagaimana seharusnya suatu program bekerja (Bickman, 1987, p.5). Selain itu, ada pula yang mengartikan sebagai refleksi underlying rationale dari suatu program atau inisiatif (Chen, Cato & Rainford, 1998-9; Renger & Titcomb, 2002). Secara singkat dan sederhana, model logika merupakan suatu PETA cara berpikir, atau Road Map cara pikir dalam menyusun atau memformulasikan kebijakan/program/inisiatif /kegiatan (dikutip dari University of Wisconsin-Extension, 2003: 11).
Gambaran logic model bisa beragam tergantung kompleksitas permasalahannya. Gambaran itu bisa saja secara sederhana linear, namun mungkin juga menjadi rumit apabila kasusnya cukup ekstrim. Berikut pada Gambar 2.2 adalah variasi bentuk logic model, diantaranya ada yang menggunakan format tabel, flow chart, ataupun lingkaran. Selain itu terdapat juga model yang sederhana maupun kompleks.
Gambar 2.2 Variasi Bentuk Logic Model
Sumber: Board of Regents of the University of Wisconsin System, 2008. Developing a Logic Model: Teaching And Training
Guide (http://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf)
Berbagai pengertian tentang logic model dan manfaatnya untuk berbagai keperluan atau tahapan (Bappenas, 2009: 26-27):
1. Perencanaan
Logic model merupakan sebuah kerangka kerja dan proses perencanaan untuk menjembatani kesenjangan antara kondisi saat ini dan kondisi yang diinginkan. Logic model memberikan struktur pemahaman terhadap situasi yang mengarahkan pada kebutuhan
6
inisiasi, hasil akhir yang diharapkan dan bagaimana investasi dikaitkan dengan aktivitas orang-orang yang ditargetkan dengan maksud untuk mencapai hasil yang diharapkan.
2. Manajemen Program
Logic model menggambarkan hubungan antara sumber daya, aktivitas dan outcomes. Logic model berperan sebagai dasar untuk membangun rencana manajemen yang lebih detail. Dalam kurun waktu implementasi, Logic model digunakan untuk menjelaskan, merunut dan memonitor operasi, proses dan fungsi.
3. Evaluasi
Logic model adalah langkah pertama dalam melakukan evaluasi. Logic model membantu dalam menentukan kapan dan hal apa yang dievaluasi sehingga sumber daya evaluasi digunakan secara efektif dan efisien. Melalui evaluasi, kita mengetes dan memverfikasi kenyataan dari sebuah teori program. Logic model membantu kita untuk fokus pada proses dan pengukuran outcome yang tepat. Beberapa orang berpikir bahwa logic model adalah sebuah model evaluasi, karena begitu banyak evaluator yang menggunakannya. Namun, logic model bukanlah model evaluasi tetapi cara ini sangat membantu dalam melakukan evaluasi.
4. Komunikasi
Komunikasi adalah kunci kesuksesan dan keberlanjutan. Secara sederhana, penggunaan grafik yang jelas akan membantu dalam mengkomunikasikan program ataupun usulan, baik itu kepada staf, pihak yang mendanai program ataupun stakeholder lainnya.
Contoh penggunaan logic model dalam menelusuri keterkaitan input, output, dan outcome dapat dilihat dari logic model program Parent Support Initiative pada Gambar 2.3 dan 2.4 berikut.
Gambar 2.3
Contoh Logic Model Parent Support Initiative (Level 1)
Sumber: Board of Regents of the University of Wisconsin System, 2008. Developing a Logic Model: Teaching And
7
Gambar 2.4
Contoh Logic Model Parent Support Initiative (Level 2)
Sumber: Board of Regents of the University of Wisconsin System, 2008. Developing a Logic Model: Teaching And
Training Guide (http://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf)
Adapun format narasi logic model dapat dilihat dalam Tabel 2.1 berikut:
Tabel 2.1 Format Narasi Logic Model
Level Uraian Sukses kriteria Indikator kinerja 1. Impacts/ ultimate outcomes 2. Intermediate outcomes 3. Immediate Outcomes 4. Outputs 5. Activities 6. Inputs Needs (permasalahan, penyebab)
8 Penjelasan untuk setiap level kinerja sebagai berikut:
1. Impact/ultimate outcomes merupakan pengaruh, baik positif maupun negatif, yang
ditimbulkan akibat pelaksanaan kebijakan/program/kegiatan dan asumsi yang telah digunakan.
2. Outcomes merupakan capaian dari suatu program atau kegiatan yang telah selesai
dilaksanakan.
3. Output merupakan keluaran yang langsung dihasilkan dari suatu pelaksanaan kegiatan, baik
berupa fisik maupun non fisik.
4. Input merupakan jumlah sumber daya yang dipergunakan seperti anggaran (dana), SDM,
peralatan, material, dan masukan lain, yang dipergunakan untuk melaksanakan kegiatan.
2.4. Logframe
Logical Framework Approach/LFA adalah salah satu alat analisis yang baik dalam penilaian, tindak lanjut dan evaluasi suatu proyek dengan menggunakan pendekatan logika. Menurut Milica (2011) LFA dirancang untuk mengatasi tiga pokok masalah dasar dalam pelaksanaan suatu proyek, yaitu: (1) Perencanaan proyek yang terlalu samar, (2) Tanggung jawab manajemen proyek yang tidak jelas; (3) Ketidaksepakatan para stakeholders terkait dalam proses pengevaluasian suatu proyek.
Log Frame Approach (LFA) merupakan suatu pendekatan perencanaan program/proyek yang disusun secara logis dengan menggunakan indikator yang jelas. Sementara itu logframe sendiri merupakan matriks dari empat kolom vertikal dan empat baris horisontal. Dibandingkan dengan logic model, matriks logframe sifatnya lebih spesifik atas satu outcome tertentu dari logic model yang telah disusun, atau dalam konteks kegiatan ini adalah atas outcome dan impact dari program terpilih saja.
Terdapat tiga tahap penyusunan logframe (Bond, 2003), yaitu: (1) Tahap Pertama: Top Down (tujuan); (2) Tahap Kedua: Work Across (indikator dan sumber verifikasi); (3) Tahap Ketiga: Bottom Up (asumsi).
Tahap pertama dalam penyiapan matriks logframe (Tabel 2.2) adalah penentuan tujuan program/proyek secara top down dimulai dari:
1. Goal, diisi dengan tujuan keseluruhan program, yang mungkin saja di luar jangkauan
program karena bersifat multi sektor.
2. Purpose, menggambarkan outcome yang diharapkan. Sebaiknya dinyatakan secara jelas
dan singkat.
3. Outputs, menggambarkan keluaran yang langsung dihasilkan.
4. Activities, menggambarkan kegiatan yang dilakukan untuk menghasilkan output
9
Tabel 2.2
Tahap Pertama Penyiapan Matriks Logframe: Top Down
Sumber: Bond, 2003.
Tahap kedua dalam penyiapan matriks logframe (Tabel 2.3) adalah penentuan indikator dan sumber verifikasi secara work across, meliputi:
1. Objectively verifiable indicators of achievement, menentukan indikator sesuai hierarki
tujuan, yaitu dimulai dari penentuan indikator untuk goal sampai dengan indikator untuk output.
2. Sources and means of verification, sumber verifikasi dipertimbangkan dan ditentukan
bersamaan dengan penentuan indikator.
Tabel 2.3
Tahap Kedua Penyiapan Matriks Logframe: Work Across
Sumber: Bond, 2003.
Tahap ketiga dalam penyiapan matriks logframe (Tabel 2.4) adalah penentuan asumsi secara bottom up sehingga mencerminkan pencapaian tujuan pada tingkatan atas berdasarkan pencapaian pada tingkatan yang lebih rendah, dengan mempertimbangkan asumsi terpenuhi
Tabel 2.4
Tahap Ketiga Penyiapan Matriks Logframe: Bottom Up
10
Format isian matriks logframe seperti terdapat pada Tabel 2.5 berikut.
Tabel 2.5 Matriks Logframe Objective Hierarchy/ Intervention Logic Objectively Verifiable Indicators of Achievement (OVI) (Bagaimana mengetahui keberhasilan program; sebagai klarifikasi, monitoring dan evaluasi; gunakan SMART) Sources and Means of Verification (MOV)
(Data apa yang menunjang, sejauhmana data tersebut bermanfaat)
Assumptions
(Berbagai kemungkinan yang terjadi yang bisa mempengaruhi berhasil atau gagalnya suatu program; dinyatakan dalam kalimat positif)
Goals
(Tingkatan tujuan/impact yang lebih tinggi yang dikontribusikan oleh program bersama dengan program lainnya; diluar kontrol program) Purpose/ Development Objectives (Outcome yang diharapkan, dapat merupakan perubahan perilaku penerima program, kinerja sistem atau institusi)
Outputs
(Hasil spesifik yang harus diperoleh sesudah program berakhir)
Activities
(Kegiatan-kegiatan apa yang harus disusun untuk memperoleh outputs)
Sumber: Bond, 2003.
2.5. The Program Assessment Rating Tool (PART)
The Program Assessment Rating Tool (PART) merupakan suatu alat diagnosa yang dikembangkan oleh Office of Management and Budget (OMB) Amerika Serikat untuk menilai kinerja program pemerintah dalam rangka mendorong peningkatan kinerja program.
Dalam PART, kinerja pemerintah dinilai berdasarkan empat kriteria, yakni tujuan dan desain program, perencanaan strategis, manajemen program, dan hasil program. Kriteria tujuan dan desain program menekankan pada kejelasan tujuan program dan desain program. Pemahaman yang jelas terkait tujuan program penting untuk menyusun sasaran program, ukuran (indikator) dan target, menjaga fokus, dan mengatur program. Kriteria perencanaan strategis berfokus pada
11
perencanaan program, penetapan prioritas, dan alokasi sumber daya. Elemen-elemen kunci mencakup penilaian apakah program ini memiliki sejumlah ukuran kinerja dengan target ambisius dan dapat dicapai untuk memastikan perencanaan, manajemen, dan penganggaran yang strategis dan terfokus. Manajemen program memfokuskan pada hal terkait apakah program secara efektif dikelola untuk mencapai tujuan program. Kriteria hasil program difokuskan pada apakah program mencapai sasaran kinerja jangka panjang dan tahunan.
Tiap kriteria dijadikan suatu section dalam PART yang diukur melalui sejumlah pertanyaan. Secara umum tiap pertanyaan berada dalam format ya/tidak. Jawaban ya harus mencerminkan kinerja dengan standar yang tinggi. Not applicable adalah untuk pertanyaan yang tidak sesuai dengan program. Masing-masing pertanyaan mensyaratkan bukti/data beserta penjelasan yang mendukung bukti/data tersebut seperti informasi kinerja lembaga, evaluasi independen, dan informasi anggaran. Jawaban harus didasarkan atas bukti/data bukan kesan.
Dalam melakukan penilaian, jawaban atas pertanyaan dalam suatu section diberi bobot untuk membentuk skor section. Kemudian skor section diberi bobot untuk membentuk skor keseluruhan. Adapun bobot yang diberikan terkait kriteria tujuan dan desain program, perencanaan strategis, manajemen program, dan hasil program.
Tabel 2.6
Bobot Tiap Section (Kriteria) dalam PART Section (Kriteria) Bobot (%)
Tujuan dan Desain Program 20
Perencanaan Strategis 10
Manajemen Program 20
Hasil Program 50
Sumber: OMB, 2008. Guide to The Program Assessment Rating Tool (PART)
Skor keseluruhan diterjemahkan menjadi penilaian kualitatif dengan ketentuan sebagai berikut:
Tabel 2.7
Penentuan Penilaian Kualitatif Berdasarkan Skor Keseluruhan
Penilaian Kualitatif Skor Keseluruhan
Efektif 85 - 100
Cukup Efektif 70 - 84
Cukup 50 - 69
Tidak Efektif 0- 49
Sumber: OMB, 2008. Guide to The Program Assessment Rating Tool (PART)
Hasil reviu PART terkait kinerja program kemudian dijadikan masukan terhadap keputusan anggaran dan pengidentifikasian tindak lanjut dalam rangka meningkatkan kinerja program. Lembaga memiliki tanggung jawab melaksanakan tindak lanjut tersebut untuk setiap program
13
BAB III
CARA REVIU
3.1 Sumber Data dan Instrumen Pengumpulan Data
Sumber data dalam RP2N merupakan data primer yang diperoleh dari hasil isian direktorat sektor Bappenas terkait rancangan, pelaksanaan, dan kinerja program. Instrumen yang digunakan untuk mengumpulkan data adalah daftar isian yang berupa matriks sebagaimana berikut ini:
1. Matriks A. Pemilihan Program Pembangunan
Digunakan untuk memperoleh data mengenai program dalam dalam Prioritas Nasional (PN) yang dipilih oleh direktorat sektor beserta alasan pemilihan.
2. Matriks B. Desain/Perancangan Program
Digunakan untuk mengumpulkan data mengenai desain/perancangan program, yang meliputi empat kriteria, yakni kelengkapan atribut program, ketepatan atribut program, keterkaitan dengan PN, dan keberlanjutan program.
Terkait kriteria kelengkapan dan ketepatan atribut program, atribut yang dimaksud meliputi permasalahan, sasaran, indikator, dan target baik pada level impact, outcomes, dan output.
3. Matriks C1. Manajemen Program
Digunakan untuk mengumpulkan data mengenai manajemen program dalam hal pengumpulan data kinerja, monitoring dan evaluasi program, tata kelola, dan akuntabilitas pengelola program.
4. Matriks C2. Permasalahan, Solusi, dan Tindak Lanjut Program
Digunakan untuk memperoleh data terkait masalah, solusi, dan tindak lanjut dalam pelaksanaan program.
5. Matriks D1. Kinerja Program
Digunakan untuk memperoleh data terkait kinerja program dari segi capaian fisik pada level impact, outcomes, dan output baik dibandingkan dengan waktu yang lalu maupun dibandingkan dengan target yang telah ditetapkan.
6. Matriks D2. Kinerja Program, Anggaran dan Capaian Fisik
Digunakan untuk memperoleh data riil terkait kinerja program, baik dalam capaian fisik maupun realisasi anggaran pada tahun 2010, 2011, dan April/TW I 2012.
3.2 Mekanisme RP2N
3.2.1 Tahap Pemilihan Program
Kriteria pemilihan program meliputi: (1) Program berperan penting dalam PN tertentu, (2) Program berskala besar, (3) Program lintas bidang/sektor, dan (4) Program dengan alokasi anggaran definitif yang besar.
Program berperan penting dalam PN artinya program memiliki pengaruh besar dalam pencapaian Prioritas Nasional. Program berskala besar artinya program memiliki skala besar dalam hal jumlah sumber daya yang digunakan dan jumlah penerima manfaat. Program lintas bidang/sektor artinya
14
program dilaksanakan secara lintas sektor/bidang, yakni pelaksanaan program berkaitan dengan berbagai bidang seperti Program BOS, Program Peningkatan Ketahanan Pangan, Program Jaminan Kesehatan Masyarakat (Jamkesmas), Program PNPM Mandiri, dll. Terakhir, program memiliki alokasi anggaran definitif yang besar artinya dibandingkan dengan program-program lain yang dikelola, program memiliki alokasi anggaran definitif yang besar (diutamakan masuk 3 besar). Program yang terpilih kemudian diisi ke Bagian Daftar Isian, Matriks A Pemilihan
Program Pembangunan Nasional
3.2.2 Tahap Self Evaluation
Setelah teridentifikasi satu Program Pembangunan, Direktorat Sektor melakukan self evaluation terhadap program terpilih dengan mengisi data dan informasi yang relevan sesuai pertimbangan dan penilaian masing-masing untuk rancangan, pelaksanaan, dan kinerja program.
A. Rancangan Program (Program Plan)
Rancangan program merupakan suatu rencana rinci/detail untuk melaksanakan suatu Program yang tercantum dalam dokumen RPJMN 2010-2014 (Matriks Rencana Tindak Kementerian/Lembaga) atau Buku I RKP 2011 dan Buku I RKP 2012. Penilaian rancangan program dilakukan berdasarkan empat kriteria, yaitu: (1) Kelengkapan atribut (sasaran, indikator, dan target) program; (2) Ketepatan atribut (sasaran, indikator, dan target) program; (3) Keterkaitan program dengan Prioritas Nasional (Kontribusi); dan (4) Keberlanjutan program.
Kriteria kelengkapan atribut. Kelengkapan sasaran program, yakni pada level impact, outcomes,
output, kelengkapan indikator untuk masing-masing level sasaran, dan kelengkapan target untuk masing-masing indikator dalam dokumen perencanaan.
Kriteria ketepatan atribut. Ketepatan penentuan sasaran pada tiap level, ketepatan penentuan
indikator untuk masing level sasaran, dan ketepatan penentuan target untuk masing-masing indikator. ketepatan penentuan sasaran pada tiap level dinilai berdasarkan ketepatan kalimat/pernyataan, levelling, dan keterkaitan dengan level yang berada di atasnya. Ketepatan penentuan indikator untuk masing-masing level sasaran dinilai berdasarkan ketepatan kalimat/pernyataan indikator, levelling, dan ketepatan untuk mengukur keberhasilan sasarannya. Ketepatan penentuan target untuk masing-masing indikator dinilai berdasarkan seberapa optimis target itu dibentuk dan apakah target ditentukan berdasarkan suatu baseline atau tidak.
Kriteria keterkaitan dengan Prioritas Nasional. Keterkaitan program dalam mendukung
pencapaian Prioritas Nasional.
Kriteria keberlanjutan program. Kelangsungan program dalam kerangka jangka panjang, dalam
artian kemampuan program memberikan manfaat secara terus-menerus dan berkesinambungan (termasuk setelah program selesai dilaksanakan).
Keempat kriteria di atas diukur melalui sejumlah pertanyaan yang diuraikan dalam Bagian Daftar
Isian, Matriks B Desain dan Perancangan Program. Tiap jawaban harus didukung dengan
bukti/data beserta penjelasan yang mendukung bukti/data tersebut, informasi realisasi fisik, realisasi anggaran, dan didukung oleh data/informasi beserta sumbernya.
15
B. Pelaksanaan Program (Program Implementation)
Penilaian atas pelaksanaan program dilakukan berdasarkan pengelolaan program dan permasalahan yang dihadapi sepanjang tahun 2011 sampai dengan 2012, beserta solusi dan tindak lanjut yang telah dilakukan untuk mengatasi permasalahan yang dihadapi. Solusi merupakan cara pemecahan atau penyelesaian masalah. Adapun tindak lanjut merupakan langkah yang telah dilakukan untuk memecahkan atau menyelesaikan masalah. Sementara pengelolaan program merupakan elemen terkait dengan efektivitas program yang dikelola untuk memenuhi tujuan program kinerja yang meliputi pengumpulan data kinerja, monitoring dan evaluasi, dan akuntabilitas pengelola program. Daftar Isian yang digunakan untuk mengumpulkan data manajemen program adalah Matriks C1 Manajemen Program dan Matriks C2
Permasalahan, Solusi, dan Tindak Lanjut Program. C. Kinerja Program (Program Performance)
Program seharusnya memiliki sasaran, indikator (IP), dan target program. Jika sasaran, indikator (IP), dan target program tidak tercantum dalam dokumen perencanaan, maka direktorat sektor melakukan penyusunan sasaran, IP, dan target program dengan ketentuan dalam Tabel 3.1 sebagai berikut:
Tabel 3.1
Ketentuan Penyusunan Sasaran, Indikator, dan Target Program
No. Atribut/
Ketentuan
1. Sasaran Program
Sasaran program berada pada level outcomes dan mendukung pencapaian sasaran impact. Sasaran program sesuai dengan permasalahan yang melatarbelakangi perancangan program
Penyusunan kalimat sasaran merupakan manfaat bagi penerima manfaat itu sendiri seperti; meningkatnya persentase penduduk yang memiliki akses air bersih.
2. Indikator Program
Indikator harus memenuhi kaidah SMART yang mencerminkan sasaran outcomes .
Simple - Sederhana: Indikator yang ditetapkan sedapat mungkin sederhana dalam pengumpulan data maupun dalam penghitungan untuk mendapatkannya.
Measurable - Dapat diukur: Indikator yang ditetapkan harus merepresentasikan informasi dan jelas ukurannya.
Attributable - Bermanfaat: Indikator yang ditetapkan harus bermanfaat untuk kepentingan pengambilan kebijakan.
Reliable - Dapat dipercaya: Indikator yang ditentukan harus dapat didukung oleh pengumpulan data yang baik, benar dan teliti.
Timely - Tepat Waktu: Indikator yang ditentukan harus dapat didukung oleh pengumpulan data dan pengolahan data serta pengemasan informasi yang waktunya sesuai dengan saat pengambilan keputusan yang dilakukan.
3. Target
Target yang ditentukan harus optimis dan rasional, tidak terlalu rendah ataupun terlalu tinggi. Penetapan target dilakukan dengan menggunakan suatu baseline.
Catatan: Indikator Program tidak sama dengan indikator kegiatan prioritas.
Sementara itu, untuk mengukur sejauhmana Kegiatan Prioritas (KP) mendukung capaian kinerja program, maka dilakukan evaluasi terhadap kinerja KP. Oleh karena itu, direktorat sektor menentukan sejumlah KP yang mendukung pencapaian program. Lebih lanjut, alur kegiatan pelaksanaan RP2N disajikan pada Gambar 3.1.
16
Gambar 3.1 Tahapan RP2N
3.3 Cara Reviu
Dalam RP2N, terdapat dua jenis format isian, yaitu pertanyaan tertutup dengan beberapa pilihan jawaban dan pertanyaan terbuka, yang berupa isian. Matriks dengan pertanyaan tertutup meliputi Matriks B, Matriks C1, dan Matriks D1 sementara Matriks dengan pertanyaan terbuka meliputi Matriks C2, Matriks D1, dan Matriks D2. Cara reviu dibedakan berdasarkan dua jenis format pertanyaan tersebut, yaitu: (1) Reviu terhadap penilaian program pembangunan nasional (terkait pertanyaan tertutup); dan (2) Reviu terhadap data kinerja program pembangunan nasional (terkait pertanyaan terbuka)
3.3.1 Reviu terhadap Penilaian Program Pembangunan Nasional (Pertanyaan Tertutup Matriks B, Matriks C1, dan Matriks D1)
Langkah teknis penilaian rancangan program, manajemen program, dan kinerja program adalah sebagai berikut: 11 Apr 2013
Di
t.
S
e
kt
o
r
Di
t.
E
K
P
S
Start End Pertemuan Koordinasi 1Pengumpulan data (Self Evaluation): • Matriks A: pilih 1 program
• Matriks B: struktur dan kualitas rancangan program • Matriks C1: manajemen program
• Matriks C2: permasalahan dan tindak lanjut • Matriks D1: kinerja program
• Matriks D2: kinerja kegiatan prioritas dominan yg mendukung program
Pendampingan Reviu data
Feedback ke Dit. Sektor Pengolahan data Penulisan Laporan Diseminasi hasil Dokumentasi Persiapan RP2N 28 Mar 2013 s.d. Mar 2013 s.d. 4 Apr 2013 5 – 10 Apr 2013 Pertemuan Koordinasi 2 11 Apr 2013 10 Mei 2013 19 – 26 Apr 2013 12-18 Apr 2013
17
Pertama, menentukan masing-masing skor Rancangan Program (Matriks B), skor Pelaksanaan
Program (Matriks C1), dan skor Kinerja Program (Matriks D1), kemudian menjumlahkan skor tersebut.Tahap ini dapat diformulasikan sebagai berikut
nm i mi mS
TS
dan
m n i mi mS
Max
Max
TS
(
)
(
)
Dimana:m: 1,2,3 dengan 1= Matriks B, 2= Matriks C1, dan 3= Matriks D1 ;
i: 1,2,3,...,nm ;
mi
S
adalah nilai skor pada pertanyaan ke-i dan matriks-m,m
TS
adalah total skor matriks-m,mi
Max
S
(
)
adalah nilai skor maksimum pada pertanyaan ke-i dan matriks-m, danm
Max
TS
(
)
adalah total skor maksimum matriks-m.Kedua, mengubah skor rancangan program, skor pelaksanaan program, dan skor kinerja program
menjadi persentase (
PS
m), dengan cara:100
)
(
m m mMax
TS
TS
PS
Ketiga, menafsirkan nilai
PS
m ke dalam kategori penilaian kualitatif pada Tabel 3.2 berikut:Tabel 3.2
Penentuan Penilaian Kualitatif
PS / EP Penilaian Kualitatif
85 - 100 Sangat Baik / Efektif
70 - 84 Cukup Baik / Efektif
50 - 69 Agak Baik / Efektif
0- 49 Kurang Baik / Efektif
Keempat, menghitung nilai keseluruhan program berdasarkan skor rancangan program, skor
pelaksanaan program, dan skor kinerja program dengan menggunakan bobot sebagai berikut:
Tabel 3.3
Penentuan Bobot Kriteria (Mengadopsi PART)
m Kriteria Wm
1 Rancangan Program (Matriks B) 0,4
2 Pelaksanaan Program (Matriks C1) 0,1
3 Kinerja Program (Matriks D1) 0,5
Nilai keseluruhan program dapat diformulasikan sebagai berikut:
m m mW
PS
EP
18
Kelima, menafsirkan nilai
EP
ke dalam kategori penilaian kualitatif sebagaimana pada Tabel 3.2.Khusus Matriks B, untuk kedalaman analisis, ditentukan pula penilaian rancangan program berdasarkan empat kriteria (k), yaitu: (1) Kelengkapan atribut (sasaran, indikator, dan target) program; (2) Ketepatan atribut (sasaran, indikator, dan target) program; (3) Keterkaitan program dengan Prioritas Nasional (kontribusi); dan (4) Keberlanjutan program. Setiap kriteria dilakukan pengulangan proses penghitungan yang sama mulai tahap pertama sampai dengan keempat.
k
TS
,TS
(
Max
)
k , danPS
k .Dimana:
k: 1,2,3,4 dengan 1= Kelengkapan, 2= Ketepatan, 3= Keterkaitan, dan 4= Keberlanjutan ;
i: 1,2,3,...,nk ;
ki
S
adalah nilai skor pada pertanyaan ke-i dan kriteria-k,k
TS
adalah total skor kriteria-k,ki
Max
S
(
)
adalah nilai skor maksimum pada pertanyaan ke-i dan kriteria-k,k
Max
TS
(
)
adalah total skor maksimum kriteria-k, dank
PS
adalah persentase kriteria-k.Kemudian, menafsirkan
PS
k ke dalam kategori penilaian kualitatif sebagaimana pada Tabel 3.2. Langkah berikutnya adalah mengukur asosiasi yaitu: (1) Asosiasi antara rancangan program, pelaksanaan program, dan kinerja program; (2) Asosiasi antar kriteria rancangan program; dan (3) Asosiasi antara kualitas rancangan program dengan permasalahan.Terkait asosiasi butir 1 dan 2, jenis data adalah ordinal. Oleh karena itu ukuran asosiasi yang digunakan adalah Korelasi Rank Spearman dan Kendall’s Tau.
Nilai korelasi Rank Spearman dapat dihitung dengan menggunakan rumus sebagai berikut:
Dimana = Nilai korelasi Rank Spearman
Adapun nilai Korelasi Kendall’s Tau dapat dihitung dengan menggunakan rumus sebagai berikut:
Sementara itu, terkait asosiasi butir 3, jenis data adalah nominal. Oleh karena itu, ukuran asosiasi yang digunakan adalah Cramer’s V dengan menggunakan rumus sebagai berikut:
19
3.3.2 Reviu terhadap Data Kinerja Program Pembangunan Nasional (Pertanyaan Terbuka Matriks C2, Matriks D1, dan Matriks D2)
Langkah teknis pengolahan Matriks C2 meliputi:
Pertama, menyusun tabulasi masalah/solusi/tindak lanjut.
Kedua, melakukan kodefikasi terhadap permasalahan dalam pelaksanaan keempatbelas
Program PN terpilih.
Langkah teknis pengolahan Matriks D2 adalah:
Pertama, menentukan kondisi analisis Program berdasarkan kombinasi persentase realisasi Fisik
Program dan penyerapan anggaran Program, dengan acuan sebagaimana dalam Tabel 3.4.
Kedua, membuat grafik Program PN yang direviu sebagaimana yang dicontohkan pada Gambar
3.2.
Ketiga, menganalisis Kegiatan Prioritas (KP) setiap Program PN terpilih, sebagai gambaran
kinerja KP dalam mendukung Program PN tersebut. Cara pengolahan data:
Menentukan kondisi analisis KP berdasarkan kombinasi persentase realisasi Fisik KP dan penyerapan anggaran KP, dalam Tabel 3.4.
Membuat grafik sebaran Program/KP untuk setiap Program PN yang direviu sebagaimana Gambar 3.2.
Tabel 3.4
Kriteria Penentuan Kode Analisis Program/KP
N o 2010 2011 TW I 2012 Kondisi Analisis KP Analisis KP Persentase Realisasi Fisik KP Persentase Penyerapan Anggaran KP Persentase Realisasi Fisik KP Persentase Penyerapan Anggaran KP Persentase Realisasi Fisik KP Persentase Penyerapan Anggaran KP (1) (2) (3) (4) (5) (6) (7) (8) (9) 1 <89,44% <89,44% <86,31% <86,31% <11,08% <11,08% 1 Program/KP memiliki
realisasi fisik dan penyerapan anggaran di bawah dengan rata-rata nasional
2 <89,44% ≥89,44% <86,31% ≥86,31% <11,08% ≥11,08% 2 Program/KP memiliki
realisasi fisik di bawah rata-rata nasional dan penyerapan anggaran di atas rata-rata nasional
3 ≥89,44% <89,44% ≥86,31% <86,31% ≥11,08% <11,08% 3 Program/KP memiliki
realisasi fisik di atas rata-rata nasional dan penyerapan anggaran di bawah rata-rata nasional
4 ≥89,44% ≥89,44% ≥86,31% ≥86,31% ≥11,08% ≥11,08% 4 Program/KP memiliki
realisasi fisik dan penyerapan anggaran di atas rata-rata nasional Keterangan: Penentuan kriteria ≥ atau <89,44% untuk TA 2010 (Diolah dari data penyerapan anggaran Ditjen Anggaran, 2010), ≥ atau <86,31% untuk TA 2011 (Berdasarkan paparan Wamen Bappenas pada Pertemuan Penyusunan Inpres Percepatan Pelaksanaan Prioritas Pembangunan Nasional Tahun 2012, 25 Januari 2012), ≥ atau <11,08% untuk TW I 2012.
20 -15 0 15 30 45 60 75 90 -15 0 15 30 45 60 75 90 105 120
Persentase Capaian Kegiatan
Pe rs ent as e Pe ny er apa n A ng ga ra n Ke gi at an SKOR 4 SKOR 1 SKOR 2 41,82% 5,45% 25,45% 27,27% SKOR 3 Gambar 3.2
Contoh Grafik Sebaran KP dari Program Prioritas Nasional A
Keempat, mengidentifikasi kinerja KP dalam mendukung Program PN, dengan cara:
Menghitung persentase capaian KP dalam Program yang memiliki kondisi 1, dengan rumus:
Persentase Capaian KP dalam Program dengan Kondisi 4 = [(Jumlah KP dengan Kondisi 1/Jumlah Total KP)] x 100%.
Menghitung persentase penyerapan anggaran KP dalam Program dengan Kondisi 1, dengan rumus:
Persentase Penyerapan Anggaran KP dalam Program dengan Kondisi 4 = [(Jumlah KP dengan Kondisi Penyerapan Anggaran 1/Jumlah Total KP) x 100%].
Menentukan peran KP dalam Program terhadap capaian Program PN dengan kriteria sebagai berikut:
Tabel 3.5
Kriteria Penentuan Peran KP terhadap Capaian Program PN
Persentase KP dalam Program dengan
Kondisi 1
Interpretasi
≥ 50% KP dalam Program cenderung mendukung capaian Program PN
< 50% KP dalam Program PN masih memerlukan perbaikan untuk mendukung capaian Program
Langkah berikutnya adalah menentukan efektivitas dan efisiensi program berdasarkan kombinasi antara kinerja program, yaitu rata-rata rasio capaian indikator program terhadap targetnya dengan besarnya realisasi anggaran program. Terdapat sembilan kombinasi yang muncul antara kinerja program dan realisasi anggaran tersebut. Kombinasi tersebut dapat menunjukkan
21
seberapa matang proses perencanaan dilakukan dari sisi seberapa realistis anggaran yang ditetapkan dan seberapa optimis target ditentukan (Tabel 3.6).
Selain itu, dilakukan pula penghitungan pertumbuhan kinerja program dan realisasi anggaran pada tahun 2011 dan 2012. Rasio antara pertumbuhan kinerja program terhadap realisasi anggaran tersebut menunjukkan seberapa besar peningkatan kinerja program jika terdapat peningkatan 1 persen realisasi anggaran.
Tabel 3.6
Kombinasi Penentuan Efektivitas dan Efisiensi Program Efisien (Realisasi Anggaran (%))
‹90 90-110 ›110 Efektif (Capaian Indikator (%)) ‹90 Kombinasi 1 1. Tidak efektif 2. Tidak efisien 3. Kemungkinan terdapat kekurangan/kelebihan anggaran Kombinasi 2 1. Tidak efektif 2. Tidak efisien dalam
perencanaan dan pelaksanaan, yaitu anggaran yang ditentukan kurang realistis. 3. Terdapat kekurangan anggaran Kombinasi 3 1. Tidak efektif 2. Tidak efisien dalam
perencanaan dan pelaksanaan, yaitu anggaran yang ditentukan kurang realistis. 3. Terdapat kekurangan anggaran 90-110 Kombinasi 4 1. Cenderung efektif 2. Tidak efisien dalam
perencanaan, yaitu anggaran yang ditentukan kurang realistis.
3. Terdapat kelebihan anggaran
Kombinasi 5
Cenderung efektif dan efisien
(Akan lebih dapat diterima jika menerima opini WTP dari BPK.)
Kombinasi 6
1. Cenderung efektif 2. Tidak efisien dalam
perencanaan, yaitu anggaran tidak realistis. 3. Kemungkinan terdapat
kekurangan anggaran
›110
Kombinasi 7
1. Cenderung tidak efektif dalam menentukan target (pesimis)
2. Sangat tidak efisien dalam perencanaan , penentuan anggaran tidak realistis.
Kombinasi 8 1. Cenderung efektif 2. Cenderung efisien 3. Kemungkinan ada kelebihan anggaran Kombinasi 9
1. Cenderung tidak efektif 2. Tidak efisien dalam
perencanaan 3. Kemungkinan terdapat
kekurangan/kelebihan anggaran
