L
A
N
L
O
BULETINGambar 1 : Skema Proses Evaluasi Program secara Komprehensif
EVALUASI SISTEM ANALISIS LOGIKA PROGRAM
Riviu Pencapaian Sasaran dan Riviu Indikator Kinerja
Pengumpulan dan analisis data :
pengecekan hasilsecara uji petik
PELAPORAN
ANALISIS LOGIKA PROGRAMRiviu Pencapaian Sasaran dan Riviu Indikator Kinerja
Pengumpulan dan analisis data : pengecekan hasilsecara uji petik
Sumber : Evaluasi Kinerja Instansi Berbasis Program, Kementrian Pendayagunaan Aparatur Negara, 2005
Analisa Program
Penyusunan TOR
Merumuskan masalah evaluasi dengan berbagai isu dan p pertanyaan evaluasi
Memformulasikan null dan alternatif hypotesis untuk masalah evaluasi dan rincian desain evaluasi
Merumuskan model atau tools untuk analisis, seperti : formula statistik, regresi-korelasi, tau cost benefit formula, dlsb. Merumuskan data requirements untuk model (analisis tersebut : dari
data yang ada dan primary data survey
Mengumpulkan data : dari sumber data atau survey
Menganalisis dengan menggunakan model/formula
Pelaporan Hasil Evaluasi
Halaman
33
1. Penelitian Sistem
2. Analisis logika program
3. Desain Evaluasi :
1) Riviu Pencapaian Sasaran
trend
1.1. Mengukur Pencapaian Sasaran
Penelaahan sistem AKIP, bagaimana istansi pemerintah mengelola kinerjanya berdasarkan sistem AKIP diriviu dan diamati bagian-bagian yang rawan dan kurang baik. Penelitian ini akan memperlancar pelaksanaan progam
Bahwa setiap kebijakan Publik dirumuskan dan diimplementasikan untuk menjawab kebutuhan sosial atau permasalahan sosial. Ini akan mencerminkan tujuan dan sasaran program yang dirancang. Untuk mencapai tujuan dan sasaran tersebut, program itu menggunakan input dan proses untuk mengkonversi input tersebut menjadi dan sampai ke
.
Pendekatan atau cara-cara yang diambil dalam dalam memverifikasi apakah program atau terjadi atau direalisasikan dalam kenyataaan di lapangan. Wujud dan nuansa dari dari program secara analitikal berbeda dari statu untuk kelayakannya. Perbedaan penting adalah bahwa adalah secara empiris dan lebih independen dari pada instansi pelasana, sedangkan pada lebih banyak berhubungan dengan kelayakan dan masalah potensial dari implementasi program. Desain program melalui pendekatan yang lebih praktis dapat dilakukan melalui pengoperasian teknik-teknik diantaranya : 1). Penggunaan teknik riviu pencapaian sasaran; 2). Penggunaan teknik riviu indikator kinerja; 3). Pengecekan hasil uji petik.
Reviu pencapaian sasaran organisasi instansi deserta indikator kinerjanya, Riviu ini dilakukan dengan mebandingkan antara target-target dengan realisasinya dan kemudian jika program dan atau kegiatan ini dilakukan beberapa tahun atau bahkan sepanjang tahun (multi years) perla dibandingkan dengan realisasi tahun lalu. Riviu pencapaian sasaran ini juga digunakan untuk secara lebih mendalam menguji keselarasan penetapan sasaran dengan tujuan maupun visi misi organisasi intsnasi. Di camping itu riviu ini dilakukan denganmeneliti usuran kinerja atau indikatir kinerja yang dipakai dalam mengukur keberhasilan pencapaian sasaran ini.
Pada riviu ini tidak terlepas dari riviu dan studi terhadap indikator sasaran yang menyertai rumusan sasaran yang ditetapkan. Karenanya riviu ini hanya dapat dilakukan bila didasarkan riviu dan studi yang dilakukan, indikator kinerja yang terkait dianggap telah memenuhi kriteria sebagai indikator sasaran yang baik yang dapat menggambarkan hasil (berupa outcomes atau output). Riviu ini meliputi analisis informasi/data kinerja yang meliputi penilaian tingkat pencapaian sasaran secara keseluruhan, menilai kelayakan sasaran, menilai efisiensi biaya, menilai efektivitas biaya, dan mencari dan menemukan peluang perbaikan penetapan sasaran.
Riviu sebaiknya juga dilengkapi dengan pembandingan data, antara lain : rencana dan realisasi
realisasi periode ini dan realisasi periode sebelumnya rencana periode ini dengan rencana periode lalu
realisasi tahun ini dengan realisasi akumulasi sampai akhir tahun ini realisasi tahun ini dan capaian organisasi lain sejenis (jika ada).
Pembandingan dilakukan dengan tujuan untuk melihat efektivitas pencapaian berdasarkan tahunan yang telah ditetapkan. Dengan demikian akan diperoleh informasi yang komprehensif mengenai pencapaian sasaran ( t) dalam rangka untuk mencapai visi dan misi organisasi.
Analisis juga dapat dilajutkan yang akan ditujukan untuk melihat kesesuaian antara tahun tertentu dengan capaian tahun-tahun lainnya secara keseluruhan sebagai bagian yang tidak terpisahkan. Sedangkan dengan organisasi sejenis ditujukan untuk mengetahui kinerja organisasi dalam , bila dibandingkan dengan organisasi yang menjadi panutan untuk bidang tersebut.
Dalam mengukur pencapaian sasaran dapat dilakuakn dengan membandingkan antara sasaran yang sudsah dieteapkan dengan realisasi atau kenyataan yang dapat diwujudkan selama dan setelah program dilaksanakan. Jika sasaran belumdirumuskan secara spesifik dan terukur, maka harus dilakukan pengukuran dengan merumuskan indikator tercapainya sasaran tersebut. Jadi mengukur pencapaian sasaran dapat dilakukan sebagai berikut :
immediate outputs
long-term outcomes
logic program theory control stage evaluation
planning-stage evaluation control evaluation
planning-stage evaluation accomplishmen bencmarking core businessnya
-G
P
L
A
N
L
O
BULETINUraian sasaran Indikator Target Realisasi Pencapaian
1.2. Penyimpulan
Penyimpulan hasil pengukuran pencapaian sasaran dapat dilakukan dengan melihat capaian setiap butir sasaran dan menjelaskan angka capaian rata-rata secara umum, kemudian men-disagregasi dengan merinci kembali simpulan umum tersebut.
Contoh :
Misalkan dari hasil pengukuran sasaran diperoleh angka sebagai berikut :
No. Uraian sasaran Capaian
1 Sasaran pertama 85 %
2 Sasaran Kedua 100 %
3 Sasaran A 90%
4 Sasaran B 70 %
Simpulan :
Berdarkan hasil pengukuran yang diperlihatkan oleh presentase pencapaian sasaran dapat disimpulkan baik, sedang, kurang tergantung skala yang ditetapkan. Jadi contoh di atas dapat disimpulkan bahwa sasaran dinas/instansi tersebut dapat dicapai dengan baik, kecuali dua sasaran B dan sasaran C yang masing-masing hanya bisa 70 % dan 60 %.
Metode analisis untuk pengukuran dan kualifikasi output program dan outcomesnya biasanya mengoperasikan analisis dengan statistika, ekonometrika, sosiometrika, dan sebagainya. Teknik statistik biasanya mencakup analisis korelasi dan regresi dari dua cara yang berbeda (target group vs kelompok lain yang tidak menjadi peserta program), dan uji signifikasi dari perbedaan-perbedaan tersebut.
Terdapat dua bagian dalam melakukan riviu indikator kinerja yaitu a. Riviu terhadap indikator sendiri; dan
b. Riviu terhadap capaian indikator kinerja.
Indikator kinerja ditetapkan memenuhi kriteria indikator kinerja yang baik :
spesifik, sesuai dengan program dan atau kegiatan sehingga mudah dipahami dalam memberikan informasi yang tepat tentang hasil atau capaian kinerja dari kegiatan dan atau sasaran
menggambarkan hasil atau suatu yang diinginkan
relevan dan langsung berkaitan dengan yang diukur merupakan faktor yang penting dalam memberikan informasi yang objektif sesuai dengan kelaziman sehingga mudah untuk diperbandingkan.
Dapat dikuantifikasi, dapat dihitung, atau dapat diobservasi sesuai karakteristik hal yang diinformasikan Objektif, tidak bias, yaitu tidak memberikan informasi yang keliru jika diinterpretasikan oleh berbagai pengguna.
Penetapan indikator kinerja oleh suatu organisasi hendaknya melihat konteks penggunaannya. Set-set indikator kinerja yang digunakan untuk mengukur keberhasilan program tentulah berbeda dengan set-set indikator kinerja yang digunakan dalam mengukur keberhasilan organisasi.
Pertimbangan dalam menentukan indikator kinerja juga didasarkan atas suatu kumpulan alat ukur/indikator yang diyakini dapat digunakan untuk memantau dan mengukur kinerja suatu program ataupun organisasi secara keseluruhan. Jumlah indikator cukup memadai dibandingkan kebutuhan akan pengukuran kinerja. Jumlah indikator yang lebih dari satu bukan masalah sepanjang bisa memenuhi fungsinya dalam memberikan informasi untuk perbaikan kinerja. Jadi banyak sedikitnya indikator kinerja memang tergantung kebutuhan manajemen
Dilakukan dengan pembandingan antara realisasi suatu capaian dengan rencananya, standar, atau dengan periode tahun lalu. Cara yang dilakukan hampir sama dengan riviu pencapaian sasaran yang pada prinsipnya menggunakan
yaitu membandingkan dan kemudian mencari informasi mengapa terjadi perbedaan antara realisasi capaian dengan data pembandingnya.
Hal tersulit dalam riviu ini adalah menentukan simpulan terhadap hasil pengukuran pencapaian indikator kinerja secara keseluruhan.
Ada beberapa cara yang dapat ditempuh untuk simpulan secara keseluruhan yaitu:
1. menghitung rata-rata semua indikator kinerja yang ada, dengan perhitungan rata-rata sederhana; 2. menghitung rata-rata capaian indikator kinerja dengan (pembobotan) yang hati-hati;
3. menentukan milestone-milestone kegiatan atau program-nya terlebih dahulu, kemudian melihat beberapa indikator penting didalamnya, baru kemudian secara kuantitatif menentukan tingkat capaian ( atau keberhasilan organisasi 4. menentukan beberapa indikator penting saja, kemudian membuat daftar dan menyimpulkan secara umum berdasarkan nilai
(angka) capaian individual, dengan mempertimbangkan frekuensi (modus) dan tingginya nilai.
Pengecekan hasil-hasil program secara uji petik diperlukan untuk mengecek kredibilitas data. Pada proses pengecekan hasil yang terpenting adalah mendapatkan data dari hasil monitoring atau catatan kinerja instansi. Verifikasi data secara terbatas sangat diperlukan agar dapat dinilai kredibilitas data tersebut. Riviu terhadap sistem pencatatan/pengumpulan data kinerja penting untuk dilakukan
Tedapat 3 kategori jenis desain evaluasi yaitu , dan .
Dalam menentukan pilihan desain evaluasi program, biasanya kita dihadapkan pada berbagai faktor kendala atau pembatas. Faktor-faktor pembatas tersebut adalah :
sumberdaya waktu
tahapan program
kemungkinan faktor-faktor yang menutupi, mengurangi atau mementahkan hasil program ( ) politik dan keadaan.
Desain ini menggunakan eksperimen yang didasarkan pada pembagian (kelompok penerima program) dan (kelompok bukan menerima program). Pemilihan lokasi, produk/jasa pada target kelompok eksperimental dan kelompok kontrol dilakukan secara acak ( . Kondisi saat sebelum ada program dibandingkan dengan sesudah program selesai dilaksanakan dilihat responnya pada kedua group tersebut apakah menunjukkan signifikasi yang nyata atau tidak.
Desain ini dilakukan untuk mengganti eksperimen yang sesungguhnya dalam situasi dimana pengambilan contoh (sampel) secara random tidak praktis dilakukan. Dalam desain ini terdapat fungsi memperkirakan hubungan sebab akibat antara program dan dampaknya. Tentunya dalam mendesain memerlukan kejelasan programnya, kelompok pembanding, ukuran , 1.3. Metode Analisis
2) Riviu Indikator Kinerja
3) Riviu terhadap Se-set Indikator Kinerja
4) Riviu Terhadap Capaian Indikator Kinerja
5) Pengecekan hasil secara uji petik
F. Desain Evaluasi Program
Experimental design quasi-experimental design non experimental
1. Experimental design
2. Quasi experimental design
-benchmark performance gap analysis weighting accomplishment) comfounding factors
target group experimental control group random) outcomes § § § § §
G
P
L
A
N
L
O
BULETINPerbandingan antar outcome yang diharapkan pada klien yang menjadi kelompok penerima program dengan kelompok bukan penerima program.
Beberapa metode desain yang termasuk dalam desain ini adalah :
dengan program
Design ini meliputi , , studi kasus, survei kepuasan pelanggan atau metode kualitatif. Dalam desain evaluasi jenis program direkontruksi kemudian diikuti oleh observasi pasif terhadap subjek yang menerima lebih banyak program dan yang menerima lebih sedikit program, yang tidak menerima program, kemudian diteliti
yang ada.
Sebelum mengumpulkan data dan menganalisisnya, perlu dilakukan perangkuman hasil-hasil evaluasi sebelumnya terhadap topik yang sama berupa hasil riset, riviu, kajian, penelaahan, tinjauan dan hasil studi. Proses tersebut disebut
. Lebih lanjut apabila diperlukan setelah dilakukan proses sintesa dapat dilanjutkan dengan proses yaitu cara riviu dan pengikhtisaran yang sistematis terhadap hasil studi sebelumnya. Proses meta analisis ini perlu dilakukan untuk memperoleh gambaran yang bersifat menyeluruh atas pelaksanaan studi sebelumnya, sehingga lebih berfokus pada menjawab pertanyaan evaluasi yang sedang dilakukan (saat ini). Untuk mendukung meta analisis dapat dilakukan melalui studi kepustakaan dan media elektronik yang tersedia saat ini misalnya internet.
Evaluasi ketepatan suatu program sama dengan menganalisis kelayakan program. Evaluasi ini dapat dilakukan sebelum proposal program disetujui dan ditetapkan. Tetapi dapat pula dilakukan setelah program berjalan. Hal ini dilakukan untuk mengetahui apakah program masih dibutuhkan oleh masyarakat di lokasi yang berbeda?, apakah program masih selaras dengan prioritas nasional atau daerah, seberapa perubahan besaran, target, penyeleksian kelayakan peserta program atau target group program yang harus dilaksanakan.
Standar dan patokan pembanding yang digunakan dalam evaluasi kelayakan dan ketepatan program adalah : a. sasaran program dan target-target dibandingkan dengan kebutuhan dari target group program;
b. rencana kerja dibandingkan dengan ;
c. kapasitas implementasi : logistik, pembiayaan, anggaran, lokasi kantor di area pelaksanaaan program; d. best practice baik di dalam maupun di luar negeri.
e. keselarasan dan konsistensi tujuan/sasaran program dengan prioritas kebijakan pemerintah. Masalah ketepatan program dapat diklasifikasikan kedalam dua bagian yaitu :
a.. ketepatan tujuan/sasaran program;
b. ketepatan strategi program, rencana kerja dan alokasi sumberdaya : meriviu hasil studi, literatur, praktik terbaik, analisis logika program, , analisis resiko (apa yang mungkin menjadi keliru dalam implementasi program,
, kemungkinan efek samping yang negatif dan sebagainya).
Dalam menilai ketepatan tujuan/sasaran kita dapat mengacu pada apa yang disebut sebagai konsep“kebutuhan publik”yaitu kebutuhan normatif, kebutuhan yang diekspresikan dan kebutuhan komparatif.
Evaluasi ini dapat dilakukan jika pencatatan data keuangan dan data kinerja sudah cukup baik, sehingga rincian akuntansi biaya dan analisis biaya dapat dilakukan.
Evaluasi ini sering dilakukan saat program sedang berjalan, dengan tujuan untuk melakukan perbaikan ( ).
Data dan informasi yang digunakan untuk analisis efisiensi diperoleh dari desain: a. monitoring program; input, proses/aktivitas,
: output vs sasaran;
dengan program yang sejenis; dan studi kasus tertentu;
Tujuan evaluasi efektivitas program adalah untuk mengidentifikasi dan mengukur dan dampak program, serta menentukan hubungan antara program dan apakah hubungan itu sebab akibat langsung atau hanya korelasi dengan banyak faktor lain sebagai pendorong.
Desain evaluasi efektivitas diperlukan untuk membandingkan antara apa yang dapat diobservasi setelah implementasi program dengan kondisi sebelum program. Untuk melakukan pengukuran efektivitas kita dapat menggunakan formulasi sebagai berikut :
R = hasil sesungguhnya ( ) atau
P = atau yang diharapkan (direncanakan)
C = , tingkat kuantitatif suatu variabel jika program tidak dilaksanakan. Data tersebut dapat diambil dari target group program sebelum program dilaksanakan atau group yang serupa yang tidak menerima perlakuan ( program tersebut.
Untuk mendukung kegiatan evaluasi program tentunya kita memerlukan data dan informasi. Data dan informasi tersebut dapat dicari dari berbagai sumber yang tersedia di berbagai tempat dan pihak, antar lain : instansi terkait, perpustakaan, pusat data, lembaga/institusi penelitian, penerangan dan informasi.
Sumber informasi dapat berupa dokumen program, pendapat para ahli atau pakar, hasil riset, survei, angket, jajak pendapat yang telah dilakukan terlebih dahulu.
matched group design, interupted time series design, Pre and post program design, cross-sectional design, longitudinal design, program out come delivery design
outcome monitoring ex post facto evaluation
outcome
(feasibility and Appropriateness Programm)
cost benefit analysis scenario
analysis formative evaluation outputs; b. Gap analysis c. Benchmarking d. Pilot studies e. Mid-programm review. outcomes outcome/impact
actual results actual outcomes planned outcomes outcomes
counter factual outcomes variable outcomes
treatment)
3. Non experimental design (expost facto design)
G. Sintesa Evaluasi
sintesa
evaluasi meta analysis
H. Evaluasi Kelayakan dan Ketepatan Program
I. Evaluasi Efisiensi
J. Evaluasi Efektivitas
Efektivitas = R/P atau efektivitas = (R-C)/(P-C)
K. Sumber Data dan Informasi
==========OOOO========