12 Pokok Bahasan Kesembilan

(1)

Pokok Bahasan IX

MENGEVALUASI PROGRAM KEBIJAKAN PUBLIK

Sub Pokok Bahasan Halaman

9.1. Prinsip-prinsip Dasar Evaluasi Kebijakan Publik 90 9.2. Teknik Pembuatan Evaluasi Kebijakan Publik

(2)

Pokok Bahasan IX

Judul Pokok Bahasan

Mengevaluasi Program Program Kebijakan Publik Tujuan Interaksional

Pada akhir materi, mahasiswa diharapkan dapat menjelaskan mengenai: (1) Prinsip-prinsip Pembuatan Evaluasi Kebijakan Publik, dan (2) Teknik Evaluasi Kebijakan Publik

Sub Pokok Bahasan

9.1.

Prinsip-prinsip Dasar Evaluasi Kebijakan Publik

Ada dua alasan mengapa evaluasi kebijakan harus dilakukan karena : (1) Pemerintah menerapkan peraturan untuk mencapai tujuan tertentu, menciptakan suatu sistem birokrasi, menggunakan anggaran yang tersedia untuk mencapai tujuan tertertentu, dan (2) Adanya aspek pertanggungjawaban yang harus dilakukan oleh pihak pemerintah (eksekutif) kepada pihak DPRD (legelatif) atas pelaksanaan kebijakan tersebut. Karenanya evaluasi kebijakan publik dipahami sebagai suatu proses sistematis dalam mengumpulkan, menganalisis, dan menginterpretasikan informasi untuk mengetahui tingkat keberhasilan pelaksanaan program sekolah dengan kriteria tertentu untuk keperluan pembuatan keputusan. Informasi hasil evaluasi dibandingkan dengan sasaran yang telah ditetapkan pada program. Apabila hasilnya sesuai dengan sasaran yang ditetapkan, berarti program tersebut efektif. Jika sebaliknya, maka program tersebut dianggap tidak efektif (gagal)

(3)

Seluruh pertanyaan di atas belum dijawab sepenuhnya oleh pemerintah, karena selama ini hal yang dilakukan pemerintah masih sangat kecil sehingga diperlukan evaluasi terhadap kebijakan yang dijalankan oleh pemerintah.

Evaluasi Kebijakan: Menaksir Pengaruh dari Kebijakan Publik

Evaluasi kebijakan pada dasarnya adalah mempelajari tentang konsekuensi-konsekuensi dari suatu kebijakan publik yang dilaksanakan. Lebih jauh lagi, evaluasi kebijakan dipahami sebagai penilaian terhadap efektifitas dalam pencapaian tujuan program. Penelitian evaluasi kebijakan merupakan sasaran untuk melakukan pengujian sistematis, yang secara empiris diuji menyangkut efek kebijakan berkelanjutan dan program publik berakibat pada target dalam kaitannya dengan tujuan yang hendak dicapai. Dalam penelitian evaluasi kebijakan yang hendak dikaji adalah pengaruh dari sebuah kebijakan adalah efek-efek dari kebijakan tersebut dalam kondisi dunia nyata, termasuk: (1) pengaruh terhadap target situasi atau kelompok, (2) pengaruh pada situasi-situasi atau kelompok-kelompok selain dari target (spillover effects), (3) pengaruh terhadap masa depan dan juga kondisi-kondisi yang akan segera terjadi, (4) biaya-biaya langsung, dalam bentuk sumber daya yang tersedia pada program, dan (5) biaya-biaya tidak langsung, termasuk hilangnya kesempatan untuk melakukan hal-hal lain (oppurtunity cost).

Segala keuntungan dan biaya, pada saat sekarang dan yang akan datang, harus diukur melalui efek-efek simbolik dan nyata.

(a)

Mengukur pengaruh, bukan output. Dalam menaksirkan pengaruh

kebijakan, harus diidentifikasikan perubahan-perubahan dalam masyarakat yang berhubungan dengan tindakan dari adanya aktivitas pemerintah.

(b)

Kelompok-kelompok sasaran. Kelompok sasaran merupakan bagian

dari masyarakat kepada siapa program ditujukan. Kelompok-kelompok sasaran pertama-tama harus diidentifikasikan dan kemudian ditentukan pengaruh yang diinginkan dari program pada anggota kelompok-kelompok tersebut.

(c)

Kelompok-kelompok bukan sasaran (nontarget). Pengaruh-pengaruh

kelompok bukan sasaran dapat dinyatakan sebagai keuntungan dan juga biaya-biaya, seperti keuntungan-keuntungan konstruksi industri dari proyek perumahan publik.

(d)

Efek-efek jangka pendek dan jangka panjang. Banyak studi-studi

menunjukkan bahwa program-program baru atau inovatif mempunyai efek-efek positif jangka pendek. Tidak semua program bertujuan pada tingkat yang sama dari perubahan secara permanen atau sementara. (e)

Biaya-biaya dan keuntungan-keuntungan tidak langsung dan simbolik

.

(4)

dimasukkan dalam model pembuatan keputusan formal. Dalam hal ini sangat sering intuisi politik merupakan petunjuk terbaik yang tersedia bagi para pembuat keputusan.

(f)

Mengkalkulasi keuntungan-keuntungan bersih dan biaya. Dalam

mengkalkulasi harus disertakan semua keuntungan-keuntungan simbolik dan nyata masa sekarang dan yang akan datang, minus semua biaya-biaya simbolik dan nyata masa sekarang dan yang akan datang (Tabel. 9.1).

Pengaruh-pengaruh Simbolik Pada Kebijakan

Pengaruh simbolik berkaitan dengan persepsi dan sikap dari perorangan/setiap individu terhadap aksi pemerintah. Setiap individu, kelompok-kelompok, dan masyarakat biasanya menilai kebijakan publik melalui tujuan-tujuannya yang baik daripada pencapaiannya yang nyata.

Kebijakan-kebijakan pemerintah lebih banyak menjelaskan tentang aspirasi-aspirasi masyarakat dan “tokoh-tokoh masyarakat” daripada kondisi-kondisi yang nyata. Kebijakan-kebijakan tersebut lebih banyak dilakukan daripada mengupayakan efek perubahan mendasar dari kondisi masyarakat; hal tersebut juga menolong masyarakat untuk bersatu dan menjaga ketertiban.

Politik digambarkan sebagai “siapa mendapat apa, kapan, dan bagaimana.” Pada masa sekarang ini, politik sepertinya lebih terpusat pada “siapa merasakan apa, kapan, dan bagaimana.” Apa yang dikatakan oleh pemerintah sama pentingnya dengan apa yang dilakukan oleh

Tangible SimbolicTangible SimbolicTangible Simbolik Tangible

(5)

Sum all benetifs

minus

Sum all costs

Net

policy impacts

Kebanyakan dari pemerintah membuat beberapa usaha untuk meninjau keefektifan program-program mereka. Peninjauan tersebut biasanya menggunakan salah satu bentuk dibawah ini: (1) Melakukan berbagai Pemeriksaan dan Laporan, (2) Melakukan berbagai Perkunjungan ke tempat, (3) Melakukan berbagai Pengukuran program, (4) Melakukan Perbandingan dengan standard-standard profesional, dan (5) Evaluasi berbagai pengaduan warga.

Evaluasi Program: Apa Yang Dapat Dilakukan Oleh Pemerintah

Masalah yang sesungguhnya adalah untuk mengukur apa yang akan terjadi tanpa adanya sebuah program dan kemudian membandingkan kedua kondisi masyarakat. Perbedaan yang ada harus diakibatkan oleh program itu sendiri dan bukan perubahan-perubahan lain yang muncul pada saat bersamaan.

(a) Sebelum versus setelah pebandingan-perbandingan. Membandingkan hasil-hasil dalam yurisdiksi pada rentang dua waktu, yaitu satu pada saat sebelum program diiplementasikan dan yang satunya beberapa saat setelahnya.

(b) Perbandingan-perbandingan Perhitungan Garis Kecenderungan versus Postprogram. Perkiraan yang lebih baik tentang apa yang akan terjadi tanpa program dapat dibuat dengan memproyeksikan kecenderungan-kecenderungan yang lalu (pre-program) kedalam periode waktu

post-program. Kemudian proyeksi-proyeksi tersebut dapat dibandingkan

dengan dengan apa yang akan terjadi sesungguhnya dalam masyarakat setelah program diimplementasikan. Perbedaan antara proyeksi-proyeksi yang berdasarkan pada kecenderungan-kecenderungan preprogram dan data postprogram yang sebenarnya dimungkinkan diakibatkan kepada program itu sendiri. Harus dicatat bahwa data tentang kelompok-kelompok target atau kondisi-kondisi harus dicapai sebelum beberapa periode waktu program dijalankan, sehingga garis perkiraan dapat ditetapkan.

(6)

bawahan perbedaan-perbedaan sosioekonomi antara yurisdiksi-yurisdiksi bertanggung jawab untuk outcome yang berbeda.

(d) Perbandingan antara Kelompok-kelompok kendali dan eksperimen sebelum dan sesudah program. Kelompok-kelompok kendali dan eksperimen harus identik, dan penampilan preprogram dari setiap kelompok harus diukur dan penemuannya sama. Program harus di aplikasikan hanya kepada kelompok eksperimen. Perbedaan-perbedaan postprogram antara kelompok eksperimen dan kelompok kendali harus diukur secara teliti.

Evaluasi Federal: Kantor Accounting Umum

Kantor accounting umum adalah senjata dari konggres. Kantor

accounting umum mempunyai kekuasaan yang luas untuk mengaudit

operasi-operasi dan pembiayaan-pembiayaan perwakilan federal, serta mengevaluasi program dan melaporkan penemuan-penemuannya kepada kongres. Singkatnya, kantor accounting umum telah terlibat secara virtual dalam setiap pertanyaan pokok yang dihadapkan pada negara.

Penelitian Eksperimen Kebijakan

1. Prasangka hasil-hasil positif. Percobaan-percobaan sosial jarang dapat ditiru secara sempurna.

2.

Efek Hawthorne. Manusia bertingkah laku berbeda pada saat mereka

mengetahui sedang diperhatikan.

3. Mengumumkan hasil kepada negara. Studi-studi tentang jaminan

income (pendapatan) dari pemerintah menantang penemuan-penemuan

kelompok eksperimen, tetapi juga memprediksikan bahwa program seluruh negara harus menghasilkan perubahan yang lebih dramatik dalam tingkah laku kerja. Apabila setiap orang dalam negara dijamin

income (pendapatan) minimum tahunannya, standard-standard budaya

dapat merubah seluruh negara; hasilnya rangsangan kerja dapat “secara serius mengecilkan biaya yang diperkirakan dari program luas ekonomi”. 4. Isu-isu etis dan legal. Mengesampingkan isu-isu legal dan etis, secara

politik akan menyulitkan untuk menyediakan pelayanan-pelayanan kepada beberapa orang dan bukan yang lainnya.

5. Hasil-hasil interpretasi politik. Keuntungan dari percobaan kebijakan adalah substansial. Hal tersebut sangat berharga bagi masyarakat untuk melakukan sendiri kepada program-program skala besar dan kebijakan dalam pendidikan, kesejahteraan, perumahan, kesehatan dan yang lainnya tanpa ide real tentang apa itu kerja.

Evaluasi Program: Mengapa Sering Terjadi Kegagalan

Beberapa masalah yang dihadapkan kepada evaluasi kebijakan.

(7)

2. banyak program dan kebijakan yang mempunyai nilai simbolik primer. Mereka tidak merubah kondisi dari kelompok target tetapi membuat kelompok tersebut merasa bahwa pemerintah “peduli”.

3. perwakilan pemerintah mempunyai kemauan yang kuat untuk “membuktikan” bahwa program-program mereka mempunyai pengaruh yang positif.

4. perwakilan pemerintah biasanya mempunya investasi yang besar – organisasi, finansial, fisikal, psikologi – dalam program-program dan kebijakan-kebijakan baru.

5. apabila ada studi yang serius tentang pengaruh kebijakan dilakukan oleh perwakilan pemerintah, maka akan dilibatkan beberapa

interference dengan aktivitas-aktivitas program yang sedang berjalan.

6. evaluasi program membutuhkan dana, fasilitas, waktu dan personil,

dimana perwakilan pemerintah tidak suka untuk berkorban bagi program-program yang sedang berjalan.

Bagaimana Birokrasi-birokrasi Menjelaskan Penemuan-penemuan

Negatif

Dihadapkan dengan bukti-bukti yang jelas bahwa program-program favorit mereka tidak berguna dan tidak menghasilkan, mereka akan beralasan bahwa:

1. efek-efek dari program tersebut adalah jangka panjang dan tidak dapat diukur pada saat sekarang.

2. efek-efek program tersebut menyebar dan umum; tidak ada kriteria atau index yang dapat mengukur apa yang akan dicapai.

3. efek-efek program tersebut tidak kelihatan dan tidak dapat diidentifikasikan oleh pengukuran atau statistik kasar.

4. penelitian percobaan tidak dapat dilakukan secara efektif karena untuk menahan pembayaran bagi beberapa orang dalam mengobservasi pengaruh dari penahan biaya semacam itu sangatlah tidak adil bagi mereka.

5. kenyataanya tidak ada perbedaan yang ditemukan antara perorangan yang menerima pelayanan dan mereka yang tidak, yang berarti bahwa program tidak cukup intensive dan mengindikasikan kebutuhan program terhadap sumberdaya yang lebih.

Professor James Q. Wilson dari Harvard memformulasikan 2 peraturan umum untuk mengcover kasus-kasus penelitian ilmu sosial pada pengaruh kebijakan:

1. Segala intervensi-intervensi kebijakan dalam masalah-masalah sosial menghasilkan efek yang diinginkan – bila penelitian dilakukan oleh mereka yang mengimplementasikan kebijakan atau sejawatnya.

2. tidak ada intervensi kebijakan dalam masalah sosial yang menghasilkan efek yang diinginkan – bila penelitian dilakukan oleh partai bebas ketiga, khususnya mereka yang skeptis terhadap kebijakan.

(8)

Mengapa sangat sulit bagi pemerintah untuk mengakhiri program-program dan kebijakan-kebijakan yang gagal? Jawabannya bervariasi dari satu program dan program lainnya.

1. Mengkonsentrasikan kepada keuntungan, mengurangi biaya. 2. Kepentingan-kepentingan Birokrasi dan Legislatif.

3. Incrementalisme dalam bekerja. Pemerintah jarang melakukan pertimbangan pada setiap program secara keseluruhan setiap tahunnya. Pertimbangan aktif dari program dibuat pada margin – yaitu, perhatian difokuskan pada perubahan-perubahan yang diajukan dalam program yang sedang berjalan daripada nilai keseluruhan dari program-program tersebut.

Politik Sebagai Pengganti Analisis

Analisis kebijakan, termasuk di dalamnya evaluasi kebijakan adalah proses yang rasional dimana memerlukan persetujuan beberapa pada permasalahan pemerintah tentang perlunya memecahkan masalah; beberapa persetujuan atas biaya-biaya dan manfaat bermasyarakat dan pertimbangan pemberian; dan beberapa persetujuan atas perumusan suatu disain riset, pengukuran manfaat dan biaya-biaya, dan penafsiran menyangkut hasil. Nilai konflik selalu mengganggu hampir setiap titik di dalam proses evaluasi, tetapi analisa kebijakan tidak bisa memecahkan konflik nilai. Karenanya pertimbangan politik menjadi penting untuk digunakan.

Politik merupakan manajemen konflik. Nilai konflik menjelaskan mengapa pembuat keputusan kurang bergantung pada analisis kebijakan sistematis, dalam formulasi, seleksi, atau evaluasi kebijakan. Malahan lebih bergantung pada proses-proses politik.

Pendekatan politik pada analisis kebijakan menekankan :

1. Pencarian mengenai hal-hal umum yang mungkin membentuk dasar untuk mengidentifikasi masalah-masalah sosial.

2. Pertukaran yang beralasan/masuk akal diantara nilai-nilai yang sedang berkonflik pada setiap tahap dari proses pembuatan kebijakan. 3. Pencarian keuntungan outcome (luaran) yang bermutu untuk

kelompok-kelompok yang berbeda, berusaha untuk memuaskan keinginan-keinginan yang berbeda.

4. Mengkompromikan konsiliasi dan sebuah keinginan untuk menerima keuntungan/pendapatan bersih yang kecil (half a loaf), dari pada menderita kerugian dari proposal-proposal yang meliputi banyak hal. 5. Posisi tawar diantara partisipan, bahkan dalam wilayah kebijakan yang

terpisah, untuk memenangkan/mendapatkan sekutu (“saya akan mendukung proposalmu bila kau mendukung proposal saya”).

Batasan-batasan Kebijakan Publik

(9)

mempunyai berbagai keterbatasan. Karenanya dalam melakukan studi yang serius tentang kebijakan publik harus mengenal batasan-batasan kebijakan berdasarkan kondisi-kondisi dibawah ini:

1. Beberapa masalah-masalah sosial tidak mempunyai solusi karena caranya didefinisikan berbeda-beda menurut pandangan masyarakat. Apabila masalah di definisikan secara relatif daripada absolut, masalah tersebut tidak akan pernah diselesaikan oleh kebijakan publik, seperti masalah kemiskinan.

2. Perkiraan-perkiraan yang diharapkan bisa selalu keluar jalur dari kemampuan-kemampuan pemerintah.

3. Kebijakan-kebijakan yang menyelesaikan masalah pada satu kelompok dalam masyarakat dapat menimbulkan masalah bagi kelompok lainnya.

4. Sangatlah mungkin beberapa kekuatan sosial tidak dapat disentuh oleh pemerintah, walaupun sangat ingin dilakukan.

5. Biasanya orang mengadaptasikan dirinya pada kebijakan publik dengan cara menyumbang kebijakan-kebijakan yang tidak berguna.

6. Masalah-masalah sosial dapat memiliki penyebab yang banyak, dan kebijakan yang spesifik tidak dapat menghapus masalah-masalah tersebut.

7. Pemecahan dari masalah-masalah tersebut membutuhkan kebijakan-kebijakan yang lebih mahal dari masalahnya.

8. Sistem politik tidaklah terstruktur untuk pembuatan keputusan yang sangat rasional.

9.2.

Teknik Pembuatan Evaluasi Kebijakan Publik

Dalam membuat kerangka evaluasi kegiatan ada beberapa tahapan yang harus dilakukan :

(1)

Penyusunan Rancangan Evaluasi

a.

Penentuan Fokus dan Tujuan

Fokus kegiatan evaluasi adalah pada hasil pelaksanaan kebijakan. Karenanya yang menjadi acuan adalah program-program yang sedang atau telah dilaksanakan, kemudiaan ditentukan tujuan evaluasi secara jelas dan operasional sehingga kriteria pencapaiannya dapat diukur dan mudah diketahui. Berkaitan dengan hal tersebut, perlu dilakukan pencermatan terhadap program/proyek/kegiatan yang akan di evaluasi.

b. Pengembangan Komponen dan Indikator

(10)

Gambar 9.1.

Komponen Evaluasi Kebijakan

Penentuan indikator dan kriteria yang digunakan untuk evaluasi sangat terkait dengan komponen yang akan di evaluasi. Indikator merupakan penjabaran dari komponen-komponen program yang akan di evaluasi. Dalam hal ini, setiap komponen dijabarkan menjadi indikator-indikator, termasuk kriteria pencapaiannya. ● Tujuan : mencakup indikator yang mempertanyakan

apakah program sesuai dengan: (a) landasan hukum/kebijakan yang berlaku, (b) kondisi geografis dan sosial ekonomi masyarakat, (c) tantangan masa depan, (d) aspirasi masyarakat sekitar, (d) daya dukung masyarakat terhadap program.

Indikator-indikator tersebut seharusnya menjadi landasan dalam merumuskan tujuan. Oleh karena itu, dalam pelaksanaan evaluasi, yang dipertanyakan adalah: apakah tujuan serta sasaran yang dirumuskan telah sesuai dengan indikator-indikator eksternal tersebut di atas. Untuk mencapai tujuan tersebut, perlu menetapkan kebutuhan minimum yang diperlukan.

● Input : Sesuatu yang tersedia secara lengkap dan digunakan dalam proses pencapaian tujuan; dana, lahan,

ruang, tenaga kerja, pustaka, pengetahuan, sikap, kretivitas,

dan lain sebagainya. Idealnya indikator-indikator input tersebut

telah siap sehingga proses pelaksanaan program yang diprogramkan dapat berjalan dengan baik. Di dalam pelaksanaan evaluasi dipertanyakan apakah input-input di atas telah disusun atau diadakan sesuai kebutuhan dan digunakan secara efisien (kesesuaian antara masukan/sumberdaya dan proses). Indikasi dapat dilihat dari penggunaan dan pengelolaan sumberdaya dalam proses.

(11)

proses-proses yang terkait dengan program yang diajukan telah berjalan dalam rangka peningkatan produktivitas. Produktivitas adalah ukuran kesesuaian antara proses dan output. Indikasi dapat dilihat dari hasil capaian selama proses dengan mengukur pemanfaatan sumberdaya selama proses.

● Output adalah pencapaian dan hasil produksi akhir dari suatu proses; proses perencanaan, manajemen dan kontrol.

Outcome munculnya konsekuensi dari akibat adanya output;

resiko pemeliharaan. Idealnya output/outcome tersebut sesuai

dengan yang dicantumkan sebagai sasaran program yaitu efektifitas. Efektivitas adalah ukuran kesesuaian antara tujuan projek dan hasil yang diperoleh (termasuk mengukur

outcomes).

Selain komponen dan kriteria di atas, komponen dan kriteria lain yang perlu diperhatikan adalah :

● Akuntabilitas. Akuntabilitas merupakan ukuran kebertanggung-jawaban pelaksanaan projek baik kepada pemberi kerja maupun kepada masyarakat/sasaran.

● Kapasitas inovatif. Kapasitas inovatif merupakan ukuran dari pengelolaan projek menghadapi perubahan lingkungan. Untuk jelasnya dapat lihat contoh pada tabel 9.1. dibawah ini.

Tabel 9.1.

Penentuan Indikator dan Kriteria Evaluasi

Harapan-harapan

(12)

Terkait

Masukan/Inputs dan Kegiatan/Activities Pembentukan Organisasi Pengelola Rawa

(13)

Pening Berbasis Masyarakat  Tenaga Fasilitator :

a. Tim UKSW : …. orang

Dana dari Bappeda Provinsi Jawa Tengah : Rp. 150.000,-

c.

Rancangan Pengumpulan Data dan Pengembangan Instrumen Sesuai dengan tujuan evaluasi dan komponen yang akan di dikaji, perlu ditentukan rencana pengumpulan data. Dalam hal ini, data apa saja yang akan dijaring dan siapa responden atau sumber datanya. Setelah hal tersebut ditentukan, maka langkah selanjutnya adalah mengembangkan instrumen.

Pengembangan instrumen dilakukan dengan mengacu pada komponen-komponen program yang akan di evaluasi. Penyusunan instrumen mencakup penentuan jenis instrumen dan isi instrumen. Isi instrumen hendaknya disusun berdasarkan kisi-kisi substantif dari komponen dan indikator, dan perlu dilakukan validasi serta uji coba untuk memperoleh instrumen yang valid dan reliable. Satu komponen dapat dijabarkan menjadi beberapa indikator.

d. Menyusun Rencana Kerja

(14)

No Waktu Kegiatan Hasil Yang Diharapka

n

Tempat Responden / Sumber

Data

Alat/ Instrume

n 1.

2. 3. dst

(2)Pelaksanaan

Pelaksanaan evaluasi pada dasarnya terdiri atas empat, yaitu pengisian kuesioner oleh responden, mencermati dokumen yang terkait dengan program, observasi kegiatan program, dan wawancara. Empat kegiatan tersebut dilakukan untuk saling melengkapi dan cek silang (cross check).

a. Pengisian Kuesioner

● Jumlah dan Karekteristik Responden ditetapkan dan masing-masing dibuat instrumen untuk setiap responden terlampir.

● Pemilihan responden diupayakan bukan orang yang ditunjuk. tetapi dipilih oleh petugas evaluasi secara acak.

● Usahakan agar responden mengisi kuesioner secara terpisah/tidak saling mencontoh dan tidak dilihat oleh pimpinan, sehingga dapat bebas mengisinya.

● Perlu dijelaskan bahwa pengisian kuesioner dengan menuliskan nama, tetapi pengisian tidak berpengaruh terhadap yang bersangkutan. Petugas evaluasi harus dapat meyakinkan bahwa isian semata-mata untuk penyempurnaan program dan tidak akan berpengaruh kepada karier pengisi yang mengisinya. ● Pengisian kuesioner harus selesai pada hari itu juga dan hasilnya dibawa pulang oleh petugas yang datang. Isian kuesioner seorang responden tidak boleh dilihat oleh responden lain dan juga oleh pimpinan.

b. Penggalian Data Dokumen

● Data dokumen yang perlu dicermati adalah: (1) rancangan program, (2) data latar belakang sosial ekonomi masyarakat, (3) program jangka panjang (jika ada), RAPB tahun ini dan beberapa tahun yang lewat, (4) data tentang kegiatan dan prestasi yang dicapai, (5) data prestasi khususnya yang terkait dengan capaian target dalam program, (6) laporan pelaksanaan program, jika sudah ada, serta (7) data lain yang diperlukan.

(15)

isian kuesioner disebutkan pelaksanaan suatu program mencapai 60%, perlu dicek apakah catatan-catatan yang ada sesuai dengan isian tersebut.

● Ketika mencermati data dokumen perlu diarahkan untuk menjawab pertanyaan: (1) Apakah program sesuai dengan kebutuhan masyarakat (akuntabel)? Pertanyaan ini dijawab dengan cara mencocokan isi program-program dengan kondisi dan karateristik latar belakang sosial ekonomi masyarakat, (2) Apakah sasaran yang diajukan realistik? Pertanyaan ini dicermati dari data tentang kesiapan komponen fungsi-fungsi pendukung (komponen input) untuk mencapai sasaran tersebut, misalnya jumlah dann kualitas guru, ketersediaan alat dan sebagainya. (3) Apakah sasaran yang disebutkan pada program tercapai, dengan mencocokkan sasaran tersebut dengan dokumen tentang pencapaiannya di akhir tahun pelajaran. (4) Apakah dampak program tersebut terhadap kepercayaan masyarakat. (5) Akuntabilitas keuangan, dengan mencermati bukti-bukti pembukuan sehingga diketahui apakah penggunaan dana sudah sesuai dengan program dan dapat dipertanggungjawabkan administrasinya

c. Observasi

● Observasi dilakukan untuk mencermati kegiatan atau bukti fisik yang berkaitan dengan program, misalnya, kegiatan olahraga, hasil pengadaan fasilitas tertentu, rapat dan sebagainya

● Ketika melakukan observasi sebaiknya telah dipastikan data apa yang ingin didapatkan. Di samping itu juga telah mencermati data awal, baik dari program maupun isian kuesioner, sehingga observasi dapat tearah.

● Hasil observasi diharapkan dapat menjawab pertanyaan: (1) Apakah manajemen cukup terbuka? Pertanyaan tersebut dapat dijawab dengan melihat apakah rapat berjalan dengan demokratis dan apakah program tersedia dan dapat dibaca. (2) Apakah kegiatan yang diprogramkan berjalan dengan baik? Jawaban pertanyaan tersebut dicermati misalnya kegiatan yang telah diprogramkan, kesesuaian fasilitas yang diadakan dengan pengajuan pada program dan sebagainya.

d. Wawancara

(16)

Data keterbukaan yang diperoleh dari kuesioner dapat dicek dengan wawancara dengan elemen masyarakat.

● Hasil wawancara diharapkan dapat mengungkap pertanyaan: (1) Apakah betul bahwa penyusunan program dilakukan secara bersama-sama? (2) Apakah betul semua warga, khususnya yang terkait mengetahui apa saja program? (3) Apakah betul bahwa alokasi anggaran diketahui oleh warga? (4) Apakah betul kerjasama antara warga semakin membaik? (5) Apakah betul kerjasama dengan masyarakat semakin meningkat? (6) Apakah penggunaan dana dilakukan secara terbuka? (7) Apakah program-program diyakini akan terus berlanjut, karena memang merupakan kebutuhan?

● Semua yang ditanyakan pada butir (b) di atas juga ditanyakan pada kuesioner. Wawancara lebih banyak melakukan pendalaman atau pemeriksaan tentang isian kuesioner. Oleh karena itu sebaiknya sebelum melakukan wawancara isian kuesioner telah dibaca dan dipahami lebih dahulu.

(3)Pelaporan a. Analisis Data

Evaluasi pada dasarnya dilakukan pada lokasi atau masyarakat sasaran secara mandiri, sehingga unit analisisnya juga lokasi atau masyarakat sasaran. Simpulan juga akan berlaku untuk lokasi atau masyarakat sasaran, sehingga tidak ada generalisasi. Jika ada keinginan generalisasi, sifatnya inferensi dari data atau simpulan yang telah diambil untuk masing-masing sekolah. Misalnya jika ingin mengetahui berapa persen yang berhasil mencapai sasaran yang dilakukan adalah menghitung dari simpulan sasaran program. Analisis pada evaluasi dasarnya untuk menjawab pertanyaan pokok, antara lain:

● Apakah tujuan telah sesuai dengan kondisi masyarakat dan lingkungannya?

● Apakah sasaran yang diajukan dalam program realistik?

● Apakah program-program yang diajukan untuk mencapai sasaran tersebut sesuai?

● Apakah komponen input telah tersedia dan mendukung proses pelaksanaan program?

● Apakah program-program tersebut berjalan sesuai dengan yang direncanakan.

(17)

penyusunan program, rapat-rapat dan pengambilan kebijakan lainnya. (2) Apakah kerjasama antar masyarakat maupun antara lembaga dengan lingkungan masyarakat sekitar berjalan semakin baik? (3) Apakah kemandirian program (secara kolektif), dalam mengambil kebijakan semakin baik? Artinya tidak sekedar mengikuti petunjuk dari atas. Juga apakah kemampuan lembaga dalam menumbuhkan partisipasi masyarakat semakin baik? (4) Apakah pelaksanaan program maupun penggunaan anggaran akuntabel, baik dari aspek kegiatan maupun keuangannya?

● Apakah program efektif, artinya apakah sasaran-sasaran yang diajukan dapat tercapai?

● Apakah ada dampak positif atau negatif dari program-program terhadap masyarakat?

Catatan:

Pertanyaan (a) sampai dengan (h) pada dasarnya merupakan representasi pertanyaan untuk komponen tujuan/konteks, input, proses, output, dan dampak (outcome).

b. Penyusunan Laporan

Pada buku I (konsep dan pelaksanaan) disebutkan bahwa laporan evaluasi hendaknya memuat dua hal pokok, yaitu laporan teknis yang menyangkut program dan laporan keuangan. Laporan dibuat untuk setiap program secara terpisah. Untuk evaluasi yang dilakukan oleh pihak di luar (eksternal), struktur laporan sebagai berikut:

Bab I : A. Gambaran Umum B. Program-program Bab II : A. Deskripsi Data

● Kondisi dan Dukungan Komponen Tujuan, Konteks

● Ketersediaan dan Kesiapan Komponen Input

● Proses

Pelaksanaan/Keterlaksanaan Program

● Ketercapaian Sasaran/Hasil ● Dampak Program Terhadap

Sekolah

B. Peningkatan Sebelum dan Setelah Pelaksanaan Program-Program C. Pertanggungjawaban Keuangan Bab III : A. Simpulan

B. Rekomendasi