BAB IV EVALUASI KEBIJAKAN PUBLIK

BAB IV

EVALUASI KEBIJAKAN PUBLIK

DISKRIPSI DAN RELEVANSI

Evaluasi kebijakan dalam perspektif alur proses/siklus kebijakan publik, menempati

posisi terakhir setelah implementasi kebijakan, sehingga sudah sewajarnya jika kebijakan

publik yang telah dibuat dan dilaksanakan lalu dievaluasi. Dari evaluasi akan diketahui

keberhasilan atau kegagalan sebuah kebijakan, sehingga secara normatif akan diperoleh

rekomendasi apakah kebijakan dapat dilanjutkan; atau perlu perbaikan sebelum dilanjutkan,

atau bahkan harus dihentikan. Evaluasi juga menilai keterkaitan antara teori (kebijakan)

dengan prakteknya (implementasi) dalam bentuk dampak kebijakan, apakah dampak

tersebut sesuai dengan yang diperkirakan atau tidak. Dari hasil evaluasi pula kita dapat

menilai apakah sebuah kebijakan/program memberikan manfaat atau tidak bagi masyarakat

yang dituju. Secara normatif fungsi evaluasi sangat dibutuhkan sebagai bentuk

pertanggung-jawaban publik, terlebih di masa masyarakat yang makin kritis menilai kinerja pemerintah.

Bab ini akan mengkaji tujuan, manfaat, jenis-jenis evaluasi, sampai metode analisis

evaluasi kebijakan. Mempelajari Bab ini mau tak mau akan bersinggungan dengan teori-teori

dari disiplin ilmu organisasi dan manajemen (fungsi pengawasan/ pengendalian),

Manajemen Sumberdaya Manusia, Ilmu politik, Kebijakan Publik, dll.

TUJUAN PEMBELAJARAN

1. Mahasiswa mampu membedakan antara analisis kebijakan, analisis implementasi

2. Mahasiswa mampu memahami tujuan dan nilai-nilai evaluasi yang berbeda dengan

pengawasan

3. Mahasiswa mampu memahami dan membedakan macam evaluasi sesuai siklus

kebijakan

4. Mahasiswa mampu merancang dan melakukan evaluasi kebijakan

PENGANTAR ISI BAB

Kita mungkin sebenarnya tidak tahu pasti kapan evaluasi kebijakan itu dilakukan. Kita

tahu bilamana Presiden harus menyampaikan laporan pertanggung-jawaban di depan DPR

dan publik, bilamana Kepala Daerah melakukan hal yang sama di hadapan DPRD; bilamana

para wakil rakyat memanggil eksekutif dalam dengar pendapat dan meminta tanggapan.

Namun segala formalitas tersebut hanyalah pertanggung-jawaban politis, bukan

pertanggung-jawaban keseluruhan atas sebuah kebijakan. Kita mungkin dapat mengamati

adanya pengawasan yang dilakukan oleh BPKP, BPK, Irjen, dlsb; lalu apakah hal itu

merupakan sebuah bentuk evaluasi atau monitoring atas implementasi kebijakan?

Lalu apa, kapan, bagaimana oleh siapa evaluasi kebijakan itu dilakukan? Apakah

evaluasi kebijakan itu menilai isi/proses kebijakannya (yang dibuat bersama para wakil

rakyat; lalu siapa yang mengevaluasi wakil rakyat?), atau menilai hasil implementasinya saja

(lantas apa bedanya dengan analisis implementasi yang juga mengkaji berhasil-tidaknya

implementasi mencapai tujuan kebijakan?), apa beda antara analisis implementasi dengan

analisis evaluasi, apa manfaat keduanya? Berikut ini bersama-sama kita akan

mempelajarinya.

Analisis kebijakan publik telah berkembang jauh sebelum minat pada studi

implementasi muncul, bahkan analisis studi evaluasi telah lahir terlebih dahulu. Jika studi

kebijakan publik dianalogikan sebagai induknya, maka studi implementasi adalah anak

bungsu yang lahir setelah studi evaluasi (meski dalam urutan siklus kebijakan tidak akan ada

evaluasi jika implementasi tidak dilakukan), lantas apa bedanya, apakah hanya lokusnya atau

fokusnya ? Untuk menjawab hal tersebut terlebih dulu kita lihat ruang lingkup studi/ analisis

kebijakan publik yang menjadi induk studi implementasi dan studi evaluasi.

Analisis kebijakan publik (policy analysis) adalah kajian multi disiplin terhadap

kebijakan publik yang bertujuan untuk mengintegrasikan dan mengkontektualsasikan model

dan riset dari disiplin – disiplin tersebut yang mengandung orientasi problem dan kebijakan

(Parsons, xii). Atau yang menurut Wildavsky (1979) : analisis kebijakan publik adalah

subbidang terapan yang isinya tak dapat ditentukan berdasarkan disiplin yang terbatas, tapi

dengan segala sesuatu yang tampaknya sesuai dengan situasi dari masa dan hakekat dari

persoalannya.

Analisis kebijakan publik menurut Harold Laswell dalam buku Parsons tersebut

adalah analisis yang :

 Multi method

 Multi disciplinary

 Berfokus pada problem

 Berkaitan dengan pemetaan konstektualitas problem kebijakan, opsi kebijakan, dan

hasil kebijakan

 Bertujuan untuk mengintegrasikan pengetahuan ke dalam suatu disipilin yang

Dari yang dinyatakan oleh Lasswell di atas, tampaknya lingkup analisis kebijakan

publik lebih berfokus pada persoalan proses pembuatan kebijakannya, yakni dari tahap

pendefinisian masalah, agenda setting, formulasi kebijakan sampai legalisasi kebijakan.

Sedang Parsons menyatakan ada 2 kategori luas analisis dalam studi kebijakan publik yakni :

1. Analisis Proses Kebijakan yakni analisis bagaimana mendefinisikan proses kebijakan,

dimulai dari mendefinisikan problem sampai pada implementasi dan

pengevaluasiannya.

2. Analisis dalam dan untuk proses kebijakan, yakni kajian yang menggunakan teknik

analisis, riset, dan advokasi dalam pendefinisian problem sampai implementasinya.

Atau dengan kata lain, kategori pertama menganalisis untuk tujuan deskripsi dan

eksplanasi proses kebijakan, sedang yang kedua analisis untuk tujuan penilaian secara

analitis terhadap proses kebijakan (dan jika memugkinkan bersifat presriptif bagi

kasus yang di riset).

Dari rumusan Parsons di atas, maka analisis implementasi dan analisis evaluasi

adalah bagian dari analisis kebijakan publik, hanya pada satu tahap proses dan kedalaman

analisis yang berbeda tentunya. Meski demikian pada umumnya yang dipahami sebagai

analisis kebijakan adalah yang lebih berfokus pada proses pembuatan kebijakan,

sebagaimana yang dikatakan oleh Lasswell. Sedang analisis implementasi dan analisis

evaluasi memiliki focus berbeda sesuai namanya, kendati juga tetap merupakan analisis yang

multi disiplin.

Jika seseorang ingin mengkaji mengapa kebijakan ‘X’ tidak mencapai hasil yang

diinginkan, maka kajian apakah yang harus ia lakukan ? Kajian implementasi atau kajian

evaluasi ? Bukankah daur hidup sebuah kebijakan tidak bisa ditentukan, kapan ia dianggap

studi evaluasi saat kita mengkaji hasil suatu kebijakan yang sedang diimplementasikan ?

Untuk menjawab pertranyaan tersebut, kita lihat berikut ini.

Menurut rumusan Sabatier dan Mazmanian, melakukan studi implementasi berarti

berusaha memahami apa yang senyatanya terjadi setelah suatu program diberlakukan, yakni

peristiwa dan kegiatan dalam usaha untuk mengadministrasikannya dan usaha – usaha

untuk memberikan dampak tertentu pada masyarakat. Dari rumusan itu, maka lingkup studi

implementasi adalah seluruh kegiatan dan peristiwa yang terjadi setelah suatu kebijakan

diberlakukan.

Analisis dalam studi implementasi misalnya tidak mempertanyakan apakah sebuah

kebijakan yang gagal dalam pengimplementasiannya adalah sebuah kebijakan yang

benar-benar tepat untuk mencapai tujuan yang didinginkan (ini adalah pertanyaan evaluatif), studi

implementasi mempertanyakan apakah terjadi kesalahan atau kekurangan dalam proses

pengimplementasian dan apa sebabnya. Memang pada studi implementasi juga dapat

timbul pertanyaan evaluatif: “Apakah program – program tindakan yang dipilih telah sesuai

dengan tujuan tersebut ? atau apakah keputusan – keputusan yang dibuat untuk

mengimplementasikan kebijakan sudah tepat ? tapi pertanyaan tersebut tidak lepas dari

koridor penyusunan program –program tindakan sebagai hasil penafsiran implementor atas

sebuah kebijakan.

Antara analisis studi evaluasi dan analisis studi implementasi memang sering terjadi

overlap, karena keduanya bisa berangkat dari permasalahan yang sama: “Mengapa

kebijakan “X” tidak mencapai hasil yang diinginkan ?”, namun menjaga batas antara

keduanya adalah penting, studi implementasi hanya berkaitan dengan pertanyaan

perubahan sebagaimana yang dimaksudkan oleh kebijakan tersebut. Lebih jelasnya dapat

dilihat pada pendapat Jenkins berikut ini:

‘Studi implementasi adalah studi perubahan : bagaimana perubahan itu terjadi, bagaimana kemungkinan perubahan bisa dimunculkan. Juga merupakan studi tentang mikrostruktur dari kehidupan politik: bagaimana organisasi di dalam dan di luar system politik menjalankan fungsi mereka dan berinteraksi satu sama lain: apa memotivasi tindakan – tindakan mereka dan apa motivasi lain yang mungkin membuat mereka bertindak secara berbeda (Jenkins, 1978, p.200).

Sementara tujuan dan lingkup analisis (riset) evaluasi menurut Carol H. Weiss

(1972, p.4) adalah :

“To measure the effects of a program against the goals it set out to accomplish as a means of contributing to subsequent decision making about the program and improving future programming. The effect emphasizes the outcomes of the program, rather than its efficiecy, honesty, morale, or adherence to rule or standars. The comparison of effects with goals stresses the use of explicit criteria for judging how well the program is doing”.

Weis secara tegas menyatakan bahwa tujuan analisis evaluasi lebih pada pengukuran

efek dan dampak sebuah program/kebijakan pada masyarakat, dibanding pengukuran atas

efisiensi, kejujuran pelaksanaan, dan lain-lain yang terkait dengan standar-standar

pelaksanaan. Tujuan kebijakan itu sendiri adalah untuk menghasilkan dampak/perubahan,

sehingga wajar jika untuk itulah evaluasi dilakukan. Adapun yang membedakan antara

analisis studi implementasi dengan analisis studi evaluasi dapat kita lihat yang dinyatakan

oleh Parsons :” … evaluation eximines ‘how public policy and the people who deliver it may

be appraised, audited, valued and controlled” while the stud y of implementation is about

“how policy is put into action and practice” (1995, p. 461).

Meskipun dilakukan secara sistematis, namun ada beberapa hal yang membedakan

1. Evaluasi ditujukan untuk pembuatan keputusan, untuk menganalisis problem

sebagaimana yang didefinisikan oleh pembuat keputusan, bukan oleh periset,

sebab si pembuat keputusanlah yang berkentingan terhadap hasil evaluasi.

2. Evaluasi adalah riset yang dilakukan dalam setting kebijakan, bukan dalam

setting akademik, karenanya pertanyaan-pertanyaan evaluasi diarahkan oleh

program. Peneliti tidak membangun asumsi dan hipotesisnya sendiri

sebagaimana pada studi-studi lain.

3. Evaluasi memberikan penilaian atas pencapaian tujuan, bukan mengevaluasi

tujuan

Atau dari pernyataan Browne & Wildavsky : “Evaluators are able to tell us a lot

about what happened – which objectives, whose objectives, were achieved – and a little

about why – the causal connections (Hill & Hupe, 12), yang merupakan wilayah analisis

implementasi. Karena meski tujuan dan dampak saling berinteraksi namun dampak tidak

dapat dinilai melalui seperangkat tujuan yang dirumuskan secara tegas.

Michael Hill & Peter Hupe memperjelas perbedaan lingkup studi implementasi dan

studi evaluasi dalam table sebagai berikut :

Tabel IV.1 : Implementing and Evaluation Research

Object Research Act

Implementation Process/ Behaviours Discription

Outputs Explanation

Outcomes Theory building and Testing

Causal connections Analytical judgement

Evaluation Outcomes-value link Value judgement

IV.2. TUJUAN DAN FUNGSI EVALUASI

1. TUJUAN EVALUASI

a. Mengukur efek suatu program/kebijakan pada kehidupan masyarakat dengan

membandingkan kondisi antara sebelum dan sesudah adanya program

tersebut. Mengukur efek menunjuk pada perlunya metodologi penelitian.

Sedang membandingkan efek dengan tujuan mengharuskan penggunaan

kriteria untuk mengukur keberhasilan

b. Memperoleh informasi tentang kinerja implementasi kebijakan dan menilai

kesesuaian dan perubahan program dengan rencana

c. Memberikan umpan balik bagi manajemen dalam rangka perbaikan/

penyempurnaan implementasi

d. Memberikan rekomendasi pada pembuat kebijakan untuk pembuatan

keputusan lebih lanjut mengenai program di masa datang

e. Sebagai bentuk pertanggung-jawaban public/ memenuhi akuntabilitas public.

2. FUNGSI EVALUASI (William N. Dunn; Ripley)

Evaluasi kebijakan berfungsi untuk memenuhi akuntabilitas public,

karenanya sebuah kajian evaluasi harus mampu memenuhi esensi akuntabilitas

tersebut, yakni:

a. Memberikan Eksplanasi yang logis atas realitas pelaksanaan sebuah

program/kebijakan. Untuk itu dalam studi evaluasi perlu dilakukan

penelitian/kajian tentang hubungan kausal atau sebab akibat

b. Mengukur Kepatuhan, yakni mampu melihat kesesuaian antara pelaksanaan

c. Melakukan Auditing untuk melihat apakah output kebijakan sampai pada

sasaran yang dituju? Apakah ada kebocoran dan penyimpangan pada

penggunaan anggaran, apakah ada penyimpangan tujuan program, dan pada

pelaksanaan program

d. Akunting untuk melihat dan mengukur akibat sosial ekonomi dari kebijakan.

Misalnya seberapa jauh program yang dimaksud mampu meningkatkan

pendapatan masyarakat, adakah dampak yang ditimbulkan telah sesuai

dengan yang diharapkan, adakah dampak yang tak diharapkan.

IV.3.

DIMENSI EVALUASI

Secara garis besar ada dua dimensi penting yang harus diperoleh informasinya dari studi

dievaluasi dalam kebijakan public. Dimensi tersebut adalah

a. Evaluasi kinerja pencapaian tujuan Kebijakan, yakni mengevaluasi kinerja orang-orang

yang bertanggungjawab mengimplementasikan kebijakan. Darinya kita akan

memperoleh jawaban atau informasi mengenai kinerja implementasi, efektifitas dan

efisiensi, dlsb yang terkait.

b. Evaluasi kebijakan dan dampaknya, yakni mengevaluasi kebijakan itu sendiri serta

kandungan programnya. Darinya kita akan memperoleh informasi mengenai manfaat

(efek) kebijakan, dampak (outcome) kebijakan, kesesuaian kebijakan/program dengan

tujuan yang ingin dicapainya (kesesuaian antara sarana dan tujuan), dll

Menurut Palumbo dimensi kajian pada studi evaluasi mencakup keseluruhan siklus di

saat selesai diimplementasikan. Jika dikaitkan dengan kebutuhan informasi yang diperoleh

dari hasil evaluasi, maka dimensi evaluasi kebijakan meliputi hal-hal berikut :

Gambar IV.1. Dimensi Evaluasi dalam Siklus kebijakan

Sumber : Wayne Parsons (2001, h. 549) yang diadaptasi dari Palumbo.

Dari gambar tersebut dapat disimpulkan bahwa kajian dalam studi evaluasi kebijakan

meliputi dimensi-dimensi:

1. Evaluasi Proses pembuatan kebijakan atau sebelum kebijakan dilaksanakan. Pada tahap

ini menurut Palumbo diperlukan dua kali evaluasi, yakni

a. Evaluasi Desain Kebijakan, untuk menilai apakah alternative-alternatif yang dipilih

sudah merupakan alternative yang paling hemat dengan mengukur hubungan antara

biaya dengan manfaat (cost-benefit analysis), dll yang bersifat rasional dan terukur.

b. Evaluasi Legitimasi kebijakan, untuk menilai derajad penerimaan suatu kebijakan

atau program oleh masyarakat/stakeholder/kelompok sasaran yang dituju oleh

kebijakan tersebut. Metode evaluasi diperoleh melalui jajak pendapat (pooling),

survery, dll.

2. Evaluasi Formatif yang dilakukan pada saat proses implementasi kebijakan sedang

berlangsung Tujuan evaluasi formatif ini utamanya adalah untuk mengetahui seberapa

jauh sebuah program diimplementasikan dan kondisi-kondisi apa yang dapat diupayakan

untuk meningkatkan keberhasilannya. Dalam istilah manajemen, evaluasi formatif adalah

monitoring terhadap pengaplikasian kebijakan. Evaluasi Formatif banyak melibatkan

ukuran-ukuran kuantitatif sebagai pengukuran kinerja implementasi.

3. Evaluasi Sumatif yang dilakukan pada saat kebijakan telah diimplementasikan dan

memberikan dampak . Tujuan evaluasi Sumatif ini adalah untuk mengukur bagaimana

efektifitas kebijakan/program tersebut member dampak yang nyata pada problem yang

ditangani.

IV.4. EVALUASI FORMATIF

1. TUJUAN EVALUASI FORMATIF:

Evaluasi Formatif adalah untuk mengevaluasi pelaksanaan program yang memiliki

ciri-ciri sebagai berikut:

a. Merupakan evaluasi terhadap proses

c. Menggunakan model-model dalam implementasi

d. Biasanya bersifat kuantitatif

e. Melihat dampak jangka pendek dari pelaksanaan kebijakan/ program

Tujuan evaluasi formatif ini adalah untuk melihat :

a. Sejauh mana sebuah program mencapai target populasi yang tepat

b. Apakah penyampaian pelayanannya telah sesuai dan konsisten dengan

spesifikasi program atau tidak;

c. Sumberdaya apa yang dikeluarkan dalam melaksanakan program tersebut

(Rossi & Freeman dalam Parsons, h.550).

2. JENIS EVALUASI FORMATIF

a. Evaluasi administratif : Biasanya evaluasi administrative dilakukan dalam

lingkup pemerintahan yang dikaitkan dengan aspek-aspek ketaatan financial

dan prosedur.

b. Evaluasi Yudisial : Evaluasi yang berkaitan dengan obyek-obyek hukum

c. Evaluasi Politik: Evaluasi yg dilakukan oleh lembaga-lembaga politik

3. ASPEK-ASPEK EVALUASI FORMATIF

Aspek-aspek kinerja implementasi yang dievaluasi dalam evaluasi formatif ini

adalah :

a. Effort Evaluation: Mengevaluasi kecukupan input program

b. Performance Evaluation: Mengkaji output dibandingkan dengan input program.

c. Effectiveness Evaluation: Mengkaji apakah pelaksanaannya sesuai dengan

sasaran & tujuan

e. Process Evaluation: Mengkaji metode pelaksanaan, aturan dan prosedur dalam

pelaksanaan

Sedang menurut Wiiliam N. Dun aspek-aspek kinerja kebijakan yang harus

dievaluasi adalah sebagaimana yang tampak di dalam tabel berikut ini:

Tabel IV.1. Katagori Evaluasi

Katagori Pertanyaan Ilustrasi

Efektifitas Apakah hasil yang diinginkan telah

tercapai? Unit Pelayanan

Efisiensi Seberapa banyak upaya yang diperlukan untuk mencapai hasil yang diinginkan?

Cost-benefit Ratio; Manfaat bersih; Unit Biaya

Kecukupan Seberapa jauh pencapaian hasil yang diinginkan untuk

Ketepatan Apakah hasil (tujuan) yang diinginkan benar-benar berguna atau bernilai

Program public harus merata dan eisien

Sumber: William N. Dunn (1999; h 609)

IV.5. EVALUASI SUMATIF/EVALUASI DAMPAK

1. PENGERTIAN DAMPAK

a. Dampak adalah perubahan kondisi fisik maupun sosial sebagai akibat dari

b. Akibat yang dihasilkan oleh suatu intervensi program pada kelompok sasaran

(baik akibat yang diharapkan atau tidak diharapkan), dan sejauh mana akibat

tersebut mampu menimbulkan pola perilaku baru pada kelompok sasaran

(impact)

c. Akibat yang dihasilkan oleh suatu intervensi program pada kelompok sasaran,

baik yang sesuai dengan yang diharapkan ataupun tidak dan apakah akibat

tersebut tidak mampu menimbulkan perilaku baru pada kelompok sasaran

(effects)

2. TUJUAN EVALUASI SUMATIF/DAMPAK

Evaluasi sumatif umumnya dilakukan untuk memperoleh informasi terkait dengan

efektifitas sebuah kebijakan/program terhadap permasalahan yang diintervensi.

Evaluasi ini bertujuan untuk:

a. Menilai apakah program telah membawa dampak yang diinginkan terhadap

individu, rumah tangga dan lembaga

b. Menilai apakah dampak tersebut berkaitan dengan intervensi program

c. Mengeksplore apakah ada akibat yang tidak diperkirakan baik yang positif

maupun yang negatif

d. Mengkaji bagaimana program mempengaruhi kelompok sasaran, dan apakah

perbaikan kondisi kelompok sasaran betul-betul disebabkan oleh adanya

program tersebut ataukah karena faktor lain.

3. DIMENSI DAMPAK

a. Dampak pada masalah publik (pada kelompok sasaran) yang diharapkan atau

tidak.

b. Dampak pada kelompok di luar sasaran sering disebut eksternalitas / dampak

melimpah (spillover effects)

c. Dampak sekarang dan dampak yang akan datang.

d. Dampak biaya langsung yang dikeluarkan untuk membiayai program dan

dampak biaya tak langsung yang dikeluarkan publik akibat suatu kebijakan

(misalnya dampak terhadap pengeluaran rumah-tangga akibat relokasi

pemukiman yang menyebabkan jarak ke sekolah/tempatkerja makin jauh, dlsb).

4. APRRAISAL DIMENSI DAMPAK

Menurut Langbein (1980) memperkirakan dampak perlu memperhitungkan

dimensi-dimensi sebagai berikut:

a. Waktu. Dimensi waktu ini penting diperhitungkan karena kebijakan dapat

memberikan dampak yang panjang, baik sekarang maupun pada masa yang

akan datang. Semakin lama periode evaluasi waktu semakin sulit mengukur

dampak, sebab :

1) Hubungan kausalitas antara program dengan kebijakan semakin kabur,

2) Pengaruh factor-faktor lain yang harus dijelaskan juga semakin banyak,

3) jika efek terhadap individu dipelajari terlalu lama maka akan kesulitan

menjaga track record individu dalam waktu yg sama.

4) Semakin terlambat sebuah evaluasi dilakukan akan semakin sulit mencari

data dan menganalisis pengaruh program yang diamati.

Selain memperhatikan efektifitas pencapain tujuan, seorang evaluator harus

pula memperhatikan

1) Berbagai dampak yang tak diinginkan,

2) Dampak yang hanya sebagian saja dari yang diharapkan dan

3) Dampak yang bertentangan dari yang diharapkan

c. Tingkat Agregasi Dampak

Dampak juga bersifat agregatif artinya bahwa dampak yang dirasakan secara

individual akan dapat merembes pada perubahan di masyarakat secara

keseluruhan

d. Tipe Dampak

Ada 4 tipe utama dampak program :

1) Dampak pada kehidupan ekonomi : penghasilan, nilai tambah dsb

2) Dampak pada proses pembuatan kebijakan: apa yg akan dilakukan pada

kebijakan berikutnya

3) Dampak pada sikap publik : dukungan pada pemerintah, pada program dsb

4) Dampak pada kualitas kehidupan individu, kelompok dan masyarakat yg

bersifat non ekonomis.

5. UNIT-UNIT SOSIAL TERDAMPAK

Sebuah kebijakan/program dapat membawa dampak pada berbagai unit sosial

b. Dampak individual : biologis (penyakit, cacat fisik dsb karena kebijakan

teknologi nuklir misalnya), psikologis (stress, depresi, emosi dsb), lingkungan

hidup (tergusur, pindah rumah dsb), ekonomis (naik turunnya penghasilan,

c. Dampak organisasional : langsung (terganggu atau terbantunya pencapaian

tujuan organisasi), tak langsung (peningkatan semangat kerja, disiplin)

d. Dampak pada masyarakat (meningkatnya kesejahteraan; dlsb)

e. Dampak pada lembaga dan sistem sosial (meningkatnya kesadaran kolektif

masyarakat; menguatnya solidaritas sosial, dlsb)

6. FAKTOR-FAKTOR KEGAGALAN DAMPAK

Sebuah kebijakan/program bisa saja gagal memperoleh dampak yang diharapkan

meski proses implementasi berhasil mewujudkan output sebagaimana yang

dituntut oleh program tersebut, namun ternyata gagal mencapai outcomesnya;

apalagi jika proses implementasi gagal mewujudkan keduanya. Hal ini menurut

Anderson bisa saja disebabkan karena :

1) Sumber daya yang tidak memadai

2) Cara implementasi yang tidak tepat (misalkan pilihan-pilihan tindakan yang

kontra produktif seperti studi banding atau membeli mobil bagi pejabat yang

memakan banyak biaya dengan tujuan meningkatkan kapasitas layanan)

3) Masalah publik sering disebabkan banyak faktor tetapi kebijakan yang dibuat

hanya mengatasi satu faktor saja

4) Cara menanggapi kebijakan yang justru dapat mengurangi dampak yang

diinginkan (misalkan karena takut dianggap melanggar prosedur, maka

implementers bertindak sesuai ‘textbook’ walau situasinya mungkin berbeda)

5) Tujuan-tujuan kebijakan tak sebanding bahkan bertentangan satu sama lain

(misalnya kebijakan untuk menumbuhkan industry dalam negeri yang

memberi insentif pajak dan kemudahan modal; tapi di sisi lain ada kebijakan

6) Biaya yang dikeluarkan jauh lebih besar dari masalahnya (yang ini sering

terjadi di Indonesia, terutama karena seringnya terjadi mark-up harga,

ataupun karena bentuk-bentuk kegiatan yang terkesan dicari-cari untuk

penyerapan anggaran yang seharusnya tidak dibutuhkan.

7) Banyak masalah publik yang tak mungkin dapat diselesaikan

8) Timbulnya masalah baru sehingga mendorong pengalihan perhatian dan

tindakan

9) Sifat dari masalah yang akan dipecahkan (Anderson, 1996)

IV.6. STUDI EVALUASI KEBIJAKAN

Evaluasi program atau kebijakan tidak dapat dilakukan hanya melalui kajian

teoritik atau hanya melalui data-data sekunder, sebab jika hal tersebut yang dilakukan,

maka penilaian dan rekomendasi yang dihasilkan tidak valid karena hanya berdasarkan

perkiraan saja. Untuk dapat disebut sebagai sebuah Studi/kajian, maka Evaluasi

kebijakan harus memenuhi hal-hal berikut ini.

6.1. KARAKTERISTIK PENELITIAN EVALUASI

a. Evaluasi harus empirik tidak spekulatif hipotetik atau asumtif teoritik

b. Tidak bias pada satu alternatif atau dampak tertentu

c. Rasional, harus sistematis dan dapat dipertanggungjawabkan dihadapan pakar

d. Kajian harus dilakukan dari berbagai aspek

e. Handal dan sahih baik dalam analisis, ketersediaan data dan reliabilitas

6.2. TEKNIS PENELITIAN EVALUASI

Penelitian evaluasi kebijakan bukanlah hal yang dapat dipandang sepele karena

dari hasil penelitian tersebut diharapkan diperoleh masukan/umpan balik dan

penilaian-penilaian yang akurat atas sebuah kinerja kebijakan/program, serta

hasilnya dapat dipertanggung-jawabkan. Untuk itu Leonard Rutman memberikan

panduan yang perlu diperhatikan sbb:

a. Sebelum pelaksanaan :

1) Gunakan prosedur-prosedur ilmiah

a) Mengamati dan memahami tujuan evaluasi

b) Mengamati dan memilih kriteria

c) Mengamati sensitivitas metode

2) Focus pada proses dan outcomes kebijakan/program, bukan hanya pada

outcomesnya saja. Dengan demikian dapat diperoleh informasi mengenai

aktifitas-aktifitas apa menghasilkan apa; serta memungkinkan upaya

replikasi di kemudian hari.

3) Jangan batasi dampak hanya pada sasaran-sasaran yang dinyatakan secara

formal saja, sebab tidak semua sasaran kebijakan dinyatakan secara

formal. Konsekuensi-konsekuensi yang mungkin terjadi akibat

program/kebijakan juga dipertimbangkan. Untuk itu manfaatkan hasil

penelitian yang terkait, gunakan logika, atau pengalaman-pengalaman

atas program yang serupa.

4) Pertimbangkan informasi-informasi yang dibutuhkan oleh pembuat

keputusan di masa mendatang, bukan hanya kebutuhan saat ini.

b. Persiapan sebelum menguji Program:

1) Definisi Program Secara Jelas.

Harus dipastikan bahwa label yang diberikan pada sebuah program

memiliki makna dan maksud yang sama bagi semua yang terlibat,

sehingga jelas data mana yang harus diukur (definisi konsep harus jelas,

sehingga definisi operasionalnya juga jelas dan dapat direplikasikan).

2) Spesifikasi Sasaran/goals.

Karena sasaran-sasaran merupakan criteria keberhasilan program, maka

harus dinyatakan secara spesifik agar dapat diperoleh tolok ukurnya.

Sayangnya seringkali tujuan/sasaran tersebut hanya disebutkan secara

umum, jangka panjang, bahkan kadang kontradiksi dan tidak terkait

dengan aktifitas-aktifitas program. Jika hal ini terjadi, maka peneliti

bertanggung-jawab untuk merumuskannya secara bersama-sama dengan

perencana program dan manajer program1_.

3) Keterkaitan Rasional.

Harus ada keterkaitan rasional antara program yang akan dievaluasi

dengan sasaran yang dituju dan dampak yang diharapkan. Ada tidaknya

kaitan rasional tersebut, dapat menentukan apakah program tersebut

yang harus dimodifikasi atau sasaran dan hasil yang harus dirubah (misal

Program Pelatihan Angkatan Kerja dengan sasaran jangka panjang

berkurangnya angka pengangguran. Akan lebih masuk akal jika dikaitkan

dengan sasaran jangka pendek : pencapaian tenaga kerja berketrampilan.

4) Pastikan Kegunaan Evaluasi. Kendati studi evaluasi dimaksudkan sebagai

akuntabilitas program, serta untuk memberikan informasi yang terkait

dengan pelaksanaan dan hasil program kepada pembuat keputusan dan

manajemen, namun seringkali studi evaluasi dilakukan dengan

maksud-maksud tertentu, yang disebut oleh Edward Suchman sebagai

Pseudoevaluations2_{. Karenanya evaluator juga harus mengetahui siapa}

yang menghendaki dan mendanai studi evaluasi tersebut untuk mencegah

timbulnya ketegangan dengan administrator program.

5) Spesifikasikan Variabel-variabel Evaluasi

a) Spesifikasikan komponen-komponen program, dengan memperjelas

terdiri dari komponen-komponen aktifitas apa saja program tersebut

(misalnya PKK dengan 10 Program PKKnya). Gunanya adalah sebagai

Component testing untuk menguji sumbangan keefektifan

masing-masing komponen terhadap program.

b)Spesifikasikan sasaran-sasaran dan efeknya. Bukan hanya yang

dinyatakan secara formal dalam dokumen atau oleh pengelola

program, namun juga sasaran-sasaran latent dan dampak-dampak lain

yang diharapkan oleh masyarakat (misal kasus program Bantuan

Langsung Tunai BLT yang ditujukan untuk meringankan beban

masyarakat miskin akibat kenaikan harga BBM, dapat ditanggapi

beragam – missal: apa criteria ‘miskin’ dan apa criteria ‘meringankan’

yang dimaksudkan oleh program tsb? Karena jawabannya dapat

beragam, demikian juga dampaknya).

6) Spesifikasikan Variabel-variabel antesedennya. Anteseden variable

adalah factor-faktor konteks yang dapat mempengaruhi jalannya program

(misalnya karakteristik target kebijakan; sifat dasar permasalahan

sehingga memerlukan intervensi kebijakn, dll).

7) Spesifikasikan variable-variabel Interveningnya dengan menanyakan :

”setelah program dijalankan, factor-faktor apakah yang dapat mendukung

atau menghambat pencapaian sasaran program?

8) Measurement : setelah mengetahui apa saja yang harus diukur, maka

langkah selanjutnya adalah memilih tehnik pengukuran yang tepat untuk

menilai. Untuk itu perlu : a). ketepatan indicator (tolok ukur) yang

digunakan; b). Reliabilitas alat ukur (hasil yang diberikan konsisten meski

dilakukan dalam situasi yang berbeda) dan c). Validitas alat ukur

(ketepatan alat ukur dalam mengukur fenomena).

c. Kriteria yang harus dipenuhi dalam evaluasi :

1) Relevansi : harus mampu memberikan informasi yang tepat pada

pembuat dan pelaku kebijakan, mampu menjawab secara benar

pertanyaan dalam waktu yang tepat

2) Signifikan : harus mampu memberikan informasi yang baru dan penting.

Antecedent

3) Validitas : mampu memberikan pertimbangan yang tepat sesuai dengan

hasil nyata/data empiric mengenai hasil kebijakan.

4) Reliabilitas : dapat membuktikan bahwa hasilnya diperoleh dengan

penelitian yang teliti

5) Obyektif : tidak memihak /bias

6) Tepat waktu

7) Daya guna : hasil penelitian dapat dipahami dan dimanfaatkan oleh

pelaku dan pembuat kebijakan

6.3. METODA DAN MODEL-MODEL STUDI EVALUASI

Beragam methoda dan model-model evaluasi program yang dapat digunakan

untuk mengukur kinerja implementasi Program/kebijakan. Untuk pemahaman

yang lebih baik dan lebih dalam (sebab buku ini hanya untuk memberikan

informasi dasar saja), salah satu buku yang dianjurkan dan patut dipelajari adalah

buku “Measuring Performance in Public and Nonprofit Organizations” karya

6.4. PROBLEM DALAM STUDI EVALUASI

1. Ketidakpastian dan ketidakjelasan tujuan kebijakan

2. Evaluasi tidak dilakukan dengan sistematis, sehingga kesulitan menguji

kausalitas bahwa dampak memang disebabkan oleh kebijakan tersebut

3. Dampak kebijakan biasanya menyebar di luar sasaran kebijakan

4. Kesulitan dalam memperoleh data primer

5. Data sekunder yang tersedia seringkali kurang valid

6. Resistensi pejabat/penanggung-jawab program yang merasa diawasi

7. Evaluasi cenderung kurang melihat dampak (kurang valid), tapi lebih suka

6.5. EVALUASI KEBIJAKAN DI INDONESIA)*

1. Sering tidak sungguh-sungguh karena evaluatornya dari Pemerintah sendiri.

2. Hasil evaluasi tidak konklusif, membahas banyak persoalan tetapi tanpa arah

yang jelas, sehingga tak ada rekomendasi yang argumentatif

3. Bersifat formalitas dari pada berdasarkan kebutuhan riel. Karena dilakukan

secara rutin maka hasilnya kurang tajam. Hanya untuk memenuhi formalitas,

membaca data dan memasukkannya dalam form-form tertentu. (*lihat juga

catatan kaki no 2 tentang pseudoevaluation).

IV.7. PERTANYAAN-PERTANYAAN DALAM STUDI EVALUASI

1. MENURUT SOFIAN EFFENDI Tujuan dari evaluasi kebijakan public adalah untuk

mengetahui variasi dalam indicator-indikator kinerja yang digunakan untuk

menjawab tiga pertanyaan pokok (lihat, Nugroho, h.284),:

a. Bagaimana kinerja implementasi kebijakan, sejauh mana variasi kesesuaian

capaian kebijakan (output dan outcomes yang dihasilkan dari proses

implementasi) dengan indicator-indikator yang telah ditetapkan.

b. Faktor-faktor apa yang menyebabkan variasi tersebut? Apakah karena factor

yang terkait dengan isi program/kebijakan itu sendiri, apakah karena cara

kerja dalam pengorganisasian implementasi kebijakan (output yang terkait

dengan kinerja implementers); atau karena lingkungan implementasi

kebijakan yang mempengaruhi variasi outcomes tersebut.

c. Bagaimana strategi untuk lebih meningkatkan kinerja implementasi

kebijakan? Jawaban atas pertanyaan tersebut adalah tugas pengevaluasi

2. MENURUT RANDALL B. RIPLEY

Untuk mengukur capaian riel sebuah program/kebijakan, maka dari hasil kajian

evaluasi harus diperoleh jawaban-jawaban atas persoalan berikut ini:

a. Kelompok dan kepetingan mana yg memiliki akses dalam pembuatan

kebijakan?

b. Apakah pembuatan kebijakan dilakukan secara cukup rinci, terbuka dan

memenuhi prosedur?

c. Apakah program-program kebijakan didesain secara logis ?

d. Apakah sumber daya yg menjadi input program telah memadai untuk

mencapai tujuan ?

e. Apa standar implementai yang baik bagi kebijakan tsb ?

f. Apakah program dilaksanakan sesuai standar efisiensi ekonomi? Apakah uang

digunakan dengan tepat dan jujur?

g. Apakah kelompok sasaran memperoleh pelayanan seperti yg didesain dalam

program ?

h. Apakah program juga memberikan dampak pada kelompok non sasaran? Apa

jenis dampaknya ?

i. Apa dampak yg diharapkan dan tak diharapakan pada masyarakat ?

j. Kapan tindakan program dilaksanakan dan dampaknya diterima oleh

masyarakat ?

IV.8. IMPLIKASI HASIL EVALUASI TERHADAP PROGRAM/KEBIJAKAN

Hasil kajian evaluasi atas sebuah program/kebijakan akan berimplikasi pada

keberlangsungan program/kebijakan termaksud, yang menurut Weis (dalam Shafritz

and Hyde, 1987) adalah sebagai berikut:

a. Meneruskan atau mengakhiri program

b. Memperbaiki praktek & prosedur administrasinya

c. Menambah atau mengurangi strategi dan tehnik implementasi

d. Melembagakan program ke tempat lain

e. Mengalokasikan sumber daya ke program lain

f. Menolak atau menerima pendekatan/teori yang digunakan oleh Program/

kebijakan sebagai asumsi

KESIMPULAN

Secara teoritik siklus terakhir dalam proses kebijakan adalah evaluasi, yang bertujuan

memberikan informasi mengenai kinerja Program/kebijakan setelah diimplementasikan.

Evaluasi sangatlah penting sebagai bentuk akuntabilitas public pemerintah atas kinerjanya.

Namun melakukan evaluasi atas sebuah program/kebijakan yang dapat memberikan

masukan bagi pemerintah/pembuat keputusan dengan hasil yang dapat

dipertanggung-jawabkan tidaklah mudah. Sebagian karena kesulitan yang bersifat instrinctive (karena sifat

dampak yang berdimensi luas dan dapat menyebar), juga karena beragam kebijakan juga

menuntut beragam metode pengukuran yang sesuai; serta karena kurangnya usaha yang

serius untuk itu. Untuk menghasilkan studi evaluasi yang benar-benar berguna, maka

memahami criteria evaluasi yang harus dipenuhi, memahami metoda penelitian evaluasi,

TUGAS UNTUK MAHASISWA

1. Tunjukkan perbedaan obyek analisis dalam lingkup studi implementasi dan lingkup studi

evaluasi, dengan mengambil sebuah contoh kebijakan/program yang sedang

dilaksanakan di sekitar anda.

2. Dari contoh kasus kebijakan/program yang sama, buatlah rencana penelitian evaluasinya

dengan memperimbangkan apa saja yang menjadi:

a. Definisikan Program secara jelas (dengan melihat terdiri dari apa saja

komponen-komponen Program tersebut

b. Spesifikasikan sasaran-sasaran tujuan/goals program, dampaknya serta yang

menjadi unit-unit sosial terdampaknya.

c. Buatlah kerangka keterkaitan rasional antara tujuan/sasaran dengan aktifitas

program dengan mengidentifikasikan apa saja yang dapat menjadi variable

anteseden dan variable intervening.

d. Susunlah indicator yang reliable (andal) dan valid (terpercaya) bagi masing

masing variable tersebut.

SENARAI

Evaluasi Proses kebijakan Evaluasi Formatif Evaluasi Sumatif

Dampak kebijakan Impak Kebijakan Efek kebijakan

Effort Evaluation Performance Evaluation Process Evaluation

Effectiveness Evaluaition Dimensi Waktu Dampak Agregasi Dampak

Unit Sosial terdampak Faktor Kegagalan Dampak Peusedoevaluation

DAFTAR PUSTAKA

1. Anderson, James E; Public Policy Making, Reinhart and Wiston, New York; 1970.

2. Dolbeare, Kenneth M. (ed); Public Policy Evaluation; Sage Yearbooks in Politics and Public Policy; 1975.

3. Dunn, William N. Public Policy Analysis – An Introduction; Pearson education; New jersey; 1981.

4. Dye, Thomas R. Understanding Public Policy, Prentice Hall Inc, New Jersey, 1978. 5. Hill, Michael & Peter Hupe, Implementing Public Policy: Governance in Theory and

Practice, Sage Publication, London, 2002.

6. Kingdon, John W, Agendas, Alternative and Public Poilicies Little Brown & Company, Totonto: 1984.

7. Meltsner, Arnold J. Policy analysis in the Bureaucracy, University of California Press, 1986.

8. Meyer, Robert R & Ernest Greenwood; Rancangan Penelitian Kebijakan Sosial; CV. Rajawali, Jakarta, 1984.

9. Nugroho, Riant Public Policy, Elekmedia Komputindo, Jakarta; 2008 10. Parsons, Wayne : Public Policy: Prenada Media, Jakarta, 2005.

11. Poister, Theodore H.; Measuring Performance in Public and Nonprofit Organizations;

john Wiley & Sons; San Fransisco, 2003.

12. Ripley Randall B.; Policy Analysis in Political Science, Nelson Hall, Chicago, 198. 13. Rossi, Peter H. & Walter Williams (eds); Evaluating Social Programs – Theory;

Practice, and Politics; Seminar Press; New York; 1972

14. Rutman, Leonard (ed.), Evaluation Research Methods- a basic Guide; Sage Publication, London, 1977

15. Weis, Carol H. Evaluation Research : Methods for Assesing Program Effectiveness,