Mekanisme Monitoring, Evaluasi dan Pelaporan dilakukan secara terpadu sesuai dengan jenis dan metode yang ada, mekanisme monitoring dilakukan terhadap rencana tahunan seperti RKA, Renja, RKP, Rencana Aksi Nasional, Rencana Aksi Program dan Kegiatan secara triwulanan menggunakan sistem aplikasi e-monev (Kemenkeu dan Bappenas) dan sistem lain seperti SISPAN (Sistem Pemantauan) Kantor Staf Kepresidenan serta sistem pelaporan manual lainnya. Sedangkan Evaluasi dikelompokkan dalam evaluasi rencana pembangunan tahunan dan jangka menengah. Evaluasi rencana pembangunan tahunan, seperti RKP dan Renja Kementerian Kesehatan dilakukan setiap tahun sekali, sedangkan evaluasi rencana pembangunan jangka menengah, seperti Renstra Kementerian Kesehatan dilakukan setidaknya 2x (dua kali) dalam satu periode yaitu Evaluasi Paruh Waktu dan Evaluasi Akhir.
Dalam bab 4 ini akan dibahas mekanisme monitoring dan evaluasi Renja, RKP, RKA, Renstra Kementerian Kesehatan serta pelaporan hasil evaluasi termasuk mekanisme verifikasi capaian atas indikator-indikator diatas
sesuai dengan tuntutan validitas data capaian dalam aplikasi sistem berbasi online (e-monev) dan pelaporan manual lainnya. Secara Umum Mekanisme monitoring dan pelaporan dilakukan secara berjenjang sesuai dengan diagram berikut:
Diagram 4.1 Mekanisme Monitoring dan Pelaporan Kemenkes Secara Umum
4.1. Mekanisme Evaluasi RKP, Renja dan Renstra Kementerian Kesehatan
Dalam melakukan evaluasi RKP, Renja dan Renstra Kementerian Kesehatan dapat menggunakan jenis evaluasi yang berbeda-beda sesuai dengan tujuan evaluasi, yaitu dapat menggunakan evaluasi pengukuran kinerja, evaluasi proses pelaksanaan rencana pembangunan dan evaluasi kebijakan strategis/program besar.
Mengingat keterbatasan sumber daya yang ada dan waktu maka jenis evaluasi yang wajib dilaksanakan untuk mengevaluasi RKP, Renja dan Renstra adalah jenis Evaluasi Pengukuran Kinerja untuk pengukuran seluruh kebijakan/program/kegiatan yang ada dalam dokumen perencanaan. Sedangkan evaluasi proses pelaksanaan dan evaluasi kebijakan strategis atau program besar dilaksanakan sesuai kebutuhan (lihat Bab 3 Jenis dan Metode Evaluasi). Mekanisme Evaluasi RKP, Renja dan Renstra dapat dilihat pada gambar berikut:
Diagram 4.2 Mekanisme Evaluasi RKP, Renja dan Renstra Kementerian Kesehatan
4.1.1.Penyusunan evaluasi RKA Kementerian Kesehatan
Penyusunan evaluasi RKA Kementerian Kesehatan dilakukan secara berjenjang dari Satuan Kerja dan diverifikasi masing-masing Unit Eselon II yang memiliki koordinasi Monitoring dan Evaluasi Program (Sekretariat Eselon I atau Biro Perencanaan dan Anggaran di Unit Sekretariat Jenderal) melalui aplikasi e-monev Kementerian Keuangan.
Sekretariat Jenderl c.q Biro Perencanaan dan Anggaran melakukan evaluasi RKA pada e-monev Kementerian Keuangan dengan melakukan Evaluasi Kinerja atas Aspek Konteks yang mencantumkan informasi kinerja yang tertuang dalam dokumen Rencana Kerja dan Anggaran
Kementerian/Lembaga dan mengisikan capaian indikator sasaran strategis Kementerian. Berdasarkan masukan dari setiap Eselon I secara berjenjang Biro Perencanaan juga menyusun laporan RKA melalui aplikasi e-monev tersebut pula.
Diagram 4.3 Mekanisme Evaluasi RKA/ Kinerja Anggaran
4.1.2.Penyusunan evaluasi RKP dan Renja Kementerian Kesehatan
Penyusunan Evaluasi RKP dan Renja dimulai dengan evaluasi Unit Kerja yang dilakukan oleh masing-masing Eselon I penanggung jawab Unit Kerja sesuai dengan tugas
dan kewenangan masing-masing. Hasil evaluasi tersebut kemudian disampaikan kepada Sekretaris Jenderal cq. Biro Perencanaan dan Anggaran untuk dikoordinasikan dan dikonsolidasikan menjadi Laporan Evaluasi Renja Kementerian Kesehatan yang selanjutnya disampaikan kepada Menteri. Menteri selanjutnya akan menyampaikan hasil evaluasi Renja tersebut kepada Bappenas sebagai bahan untuk evaluasi RKP selambat-lambatnya 2 (dua) bulan setelah tahun anggaran berakhir.
Evaluasi Renja dilakukan untuk menilai keberhasilan pelaksanaan dari suatu program/kegiatan berdasarkan indikator dan sasaran kinterja yang tercantum dalam Renstra. Masing-masing Eselon I melakukan evaluasi terhadap pelaksanaan Renja periode sebelumnya di lingkungan Kerjanya dengan melakukan pengukuran terhadap indikator dan sasaran kinerja yang telah ditetapkan.
Sumber data utama evaluasi RKP dan Renja adalah data/informasi pemantauan kinerja pada triwulan keempat. Laporan evaluasi RKP dan Renja merupakan Laporan Tahunan atas Kinerja Kementerian Kesehatan berdasarkan pada Rencana Strategis dan visi/misi Kementerian Kesehatan. Laporan hasil evaluasi RKP dan Renja mencakup hasil evaluasi yang sudah dilakukan antara lain evaluasi pengukuran kinerja, evaluasi proses pelaksanaan maupun evaluasi kebijakan strategis/program besar/program prioritas.
Mekanisme evaluasi Renstra secara umum sama dengan evaluasi Renja, hanya waktunya saja yang berbeda. Jika evaluasi Renja dilakukan setiap tahun, evaluasi Renstra dilakukan 2x (dua kali) dalam satu periode yaitu Evaluasi Paruh Waktu Renstra dan Evaluasi Akhir Renstra. Penyusunan evaluasi Renstra dimulai dengan evaluasi Unit Kerja yang dilakukan oleh masing-masing Eselon I penanggung jawab Unit Kerja dengan tugas dan kewenangan masing-masing. Evaluasi Renstra juga memperhatikan hasil evaluasi Renja periode Renstra berjalan sebagai bahan masukan. Hasil evaluasi tersebut kemudian disampaikan kepada Sekretaris Jenderal cq. Biro Perencanaan dan Anggaran untuk dikoordinasikan dan dikonsolidasikan menjadi Laporan Evaluasi Renstra Kementerian Kesehatan yang selanjutnya disampaikan kepada Menteri. Menteri selanjutnya akan menyampaikan hasil evaluasi Renstra tersebut kepada Bappenas sebagai bahan untuk melakukan evaluasi RPJMN.
Evaluasi Renstra dilakukan untuk melihat kesesuaian kebijakan/program/kegiatan terhadap pencapaian visi dan misi Kementerian Kesehatan serta menilai manfaat/dampak dan keberlanjutan suatu program. Evaluasi Renstra juga melihat kontribusi capaian kinerja Unit Eselon I terhadap capaian target nasional. Evaluasi Renstra harus dilengkapi dengan hasil analisis yang menjelaskan permasalahan yang menyebabkan tidak tercapainya target pada suatu program atau menjelaskan faktor-faktor pendorong keberhasilan program. Oleh karena Renstra
merupakan dokumen jangka menengah maka evaluasi harus mampu menggambarkan pencapaian outcome dan impact
dari pelaksanaan kebijakan/program/kegiatan.
4.2. Jadwal dan Pelaporan Hasil Evaluasi
Pada bulan Januari–Februari seluruh Eselon I melakukan penyusunan evaluasi Renja di masing-masing Unit Kerjanya. Hasil evaluasi Renja unit Eselon I disampaikan kepada Sekretaris Jenderal yang dikoordinir dan dikonsolidasikan oleh Biro Perencanaan dan Anggaran, yang kemudian diteruskan kepada Menteri. Hasil evaluasi Renja tersebut selanjutnya disampaikan kepada Bappenas. Berdasarkan Peraturan Menteri Perencanaan Pembangunan Nasional/Kepala Badan Perencanaan Pembangunan Nasional nomor 1 tahun 2017 tentang Pedoman Evaluasi Pembangunan Nasional, disampaikan bahwa pada bulan Januari-Februari bersamaan dengan penyusunan evaluasi Renja K/L, Bappenas juga menyusun draft awal evaluasi RKP. Pada bulan Maret Bappenas melakukan evaluasi Agenda Pembangunan Nasional dan Evaluasi Bidang/Lintas Bidang/Regional. Selanjutnya Bappenas juga melakukan konsolidasi dan koordinasi terhadap hasil evaluasi Renja dari seluruh Kementerian dan Lembaga untuk disusun menjadi draf akhir laporan evaluasi RKP. Finalisasi laporan evaluasi RKP dilaporkan oleh Bappenas kepada Presiden pada bulan April.
Pada Peraturan Menteri Perencanaan Pembangunan Nasional/Kepala Badan Perencanaan Pembangunan Nasional
tersebut disampaikan pula bahwa Bappenas melakukan Evaluasi Paruh Waktu RPJMN yang dimulai sejak bulan Mei tahun ke-3 RPJMN. Untuk itu pada bulan Juni-Juli, seluruh Unit Eselon I Kementerian Kesehatan melakukan penyusunan laporan Evaluasi Paruh Waktu Renstra. Hasil evaluasi Paruh Waktu Renstra disampaikan ke Bappenas sebagai bahan untuk melakukan penyempurnaan draft awal evaluasi Paruh Waktu RPJMN.
Pada bulan Desember tahun ke-4 Renstra, Unit Eselon I melakukan dan menyusun laporan Renstra di masing-masing Unit Kerjanya. Hasil evaluasi Renja unit Eselon I disampaikan kepada Sekretaris Jenderal yang dikoordinir dan dikonsolidasikan oleh Biro Perencanaan dan Anggaran, yang kemudian diteruskan kepada Menteri. Hasil evaluasi Renja tersebut selanjutnya disampaikan kepada Bappenas sebagai bahan untuk penyempurnaan draf awal evaluasi RPJMN yang disusun oleh Bappenas.
Diagram 4.3 Matriks Jadwal Evaluasi Renja dan Renstra Kementerian Kesehatan
4.2 Mekanisme Verifikasi/Konfirmasi/Validasi Validasi Data Capaian
Proses verifikasi/konfirmasi/validasi data capaian yang telah diinput ke dalam aplikasi online atau laporan manual sangat penting dilakukan untuk memastikan valid tidaknya data yang telah dilaporkan. Upaya verifikasi/konfirmasi/validasi data capaian tersebut dapat dilakukan dengan membandingkan data capaian dengan sumber data yang menjadi dasar data capaian tersebut atau dengan membandingkan keterangan pelaksana kegiatan, dokumen, laporan atau output yang dihasilkam di lapangan.
Proses verifikasi/konfirmasi/validasi data capaian dapat dilakukan untuk semua data capaian (seluruh populasi) jika sumber daya yang memungkinkan atau memilih sampel berdasarkan asumsi jumlah eror yang akan diterima. Adapun alur pikir yang dapat
digunakan dalam melakukan proses tersebut dapat berdasarkan berikut :
Diagram 4.5 Alur Fikir Mekanisme Verifikasi
Langkah-langkah yang harus dilakukan adalah:
1) Menentukan jumlah populasi dari data capaian yang akan dilakukan verifikasi/konfirmasi/validasi. Misalnya akan dilakukan validasi capaian komponen apada e-monev di suatu satuan kerja maka dihitung berdasarkan perkalian jumlah komponen yang ada dan output yang ada.
2) Dilakukan pemilihan metode verifikasi berdasarkan berdasarkan jumlah
populasi yang ada, jika kurang dari 100 item maka dapat dilakukan verifikasi secara total dengan pertimbangan sumber daya memadai. Sebaliknya jika populasi lebih dari 100 item maka dapat dilakukan proses verifikasi/konfirmasi/validasi data dengan mengambil sampel dari populasi yang ada dengan asumsi tingkat keyakinan tertentu.
3) Pengambilan sampel dapat menggunakan metode sampling berdasarkan statistik (metode sampling statistik) dan diluar metode statistika (metode non statistik). Perbandingan antara metode sampling tersebut dapat dilihat melalui tabel berikut :
Metode Sampling Sampling Statistik Sampling Non Statistik Analisis Menggunakan rumus /formula Tidak menggunakan rumus/formula
statistik, sehingga judgement yang akan digunakan harus dikuantifikasi lebih dahulu sesuai kebutuhan formula statistik, sehingga judgement yang akan digunakan tidak perlu dikuantifikasi Pemilihan Sampel Harus acak (random) Boleh acak, boleh pula tidak
Sebagai Dasar Pemilihan Sampel secara statistik maka menggunakan Tabel Berikut ini :
Tabel 4.6 Pemilihan Sample dengan Asumsi Resiko Verifikasi dengan Tk. Pengendalian Rendah Tolerable Rate (Selisih Hasil yang Dapat Ditoleransi)
E P D R 2 % 3 % 4 % 5 % 6 % 7 % 8 % 9 % 1 0 % 1 5 % 2 0 % 0,00 % 149( 0) 99(0) 74(0) 59(0) 49(0) 42(0) 36(0) 32(0) 29(0) 19(0) 14(0) .25 236( 1) 157( 1) 117( 1) 93(1) 78(1) 66(1) 58(1) 51(1) 46(1) 30(1) 22(1) .50 * 157( 1) 117( 1) 93(1) 78(1 0 66(1) 58(1) 51(1) 46(1) 30(1) 30(1) 22 (1) .75 * 208( 2) 117( 1) 93(1) 78(1) 66(1) 58(1) 51(1) 46(1) 22(1) 1.00 * * 156( 2) 93(1) 78(1) 66(1) 58(1) 51(1) 46(1) 22 (1) 1.25 * * 156( 12) 124( 2) 78(1) 66(1) 58(1) 51(1) 46(1) 46(1) 30(1) 22 (1) 1.50 * * 192( 3) 124( 2) 103( 2) 66(1) 58(1) 51(1) 30(1) 22 (1) 1.75 * * 227( 4) 153( 3) 103( 2) 88(2) 77(2) 51(1) 46(1) 30(1) 22 (1) 2.00 * * * 181( 4) 127( 3) 88(2) 77(2) 68(2) 46(1) 30(1) 22 (1) 2.25 * * * 208( 5) 127( 3) 88(2) 77(2) 68(2) 61(2) 30(1) 22 (1) 2.50 * * * * 150( 4) 109( 3) 77(2) 68(2) 68(2) 61(2) 30(1) 22 (1) 2.75 * * * * 173( 5) 109( 3) 95(3) 61(2) 30(1) 22 (1) 3.00 * * * * 195( 6) 129( 4) 95(3) 84(3) 61(2) 30(1) 22 (1) 3.25 * * * * * 148( 5) 112)4) 84(3) 61(2) 30(1) 22 (1) 3.50 * * * * * 167( 6) 112(4) 84(3) 76(3) 40(2) 22 (1) 3.75 * * * * * 185( 7) 129(5) 100(4) 76(3) 40(2) 22 (1)
EPDR (Estimated Population Deviation Rate) merupakan potensial proporsi deviasi dari populasi aslinya. Kombinasi antara pemilihan EPDR dan Tolarable Rate akan mempengaruhi jumlah sampel yang akan diambil. Setelah dilakukan pemilihan EPDR dan tolerable rate dari populasi yang ada maka dilakukan penyesuaian jumlah sampel mengingat tabel 4.6 untuk jumlah populasi diatas 5.000 item. Adapun perhitungannya sebagaimana berikut :
n definitif = n x {1 – (n / N)} ; n=jlh sampel dari tabel; N total populasi
4.00 * * * * * * * 146(6) 100(4) 89(4) 40(2) 22 (1) 5.00 * * * * * * 158(8) 116(6) 40(2) 30 (2) 6.00 * * * * * * * * * 179(11) 50(3) 30 (2) 7.00 * * * * * * * * 68(5) 37 (3)
Contoh : Total Populasi (N) : 525, tolerable rate : 10% dan EPDR : 1%; maka dari tabel tersebut diperoleh jumlah sampel estimasi sebanyak 46 Item
Jumlah Sampel Definitifnya menjadi = 46 x {1- (46/525)} = 42 item
Jadi diambil 42 Sampel Item dari Populasi yang ada untuk dilakukan verifikasi lebih anjut
Untuk dapat melakukan langkah-langkah tersebut dengan baik dapat menggunakan tools verifikasi menggunakan cara sampling statistik sesuai dengan format berikut ini :
Form 4.7 Form Verifikasi Data Capaian Secara Metode Statistik
FORM VERIFIKASI DATA CAPAIAN SECARA STATISTIK