ORIENTASI TERHADAP PROSES KEBIJAKAN
3.3 Metoda dan Teknik Evaluasi Kebijakan Publik
Berdasarkan William N Dunn terdapat 16 teknik dalam mengevaluasi kinerja kebijakan dengan menggunakan tiga pendekatan seperti yang telah dijelaskan pada
bagian sebelumnya yaitu evaluasi semu, evaluasi formal, dan Decision-Theoretic Evaluation. Dari metoda dan teknik tersebut, hampir keseluruhannya digunakan dalam hubungannya dengan metoda-metoda analisis kebijakan lainnya. Hal ini sebenarnya menunjukkan sifat saling ketergantungan dari perumusan masalah, peramalan, rekomendasi, pemantauan, dan evaluasi di dalam analisis kebijakan.9
Secara lebih ringkas teknik-teknik atau metode tersebut dapat digambarkan relevansinya dengan pendekatan evaluasi kebijakan, sebagaimana dalam tabel berikut:9
Pendekatan Evaluasi Teknik / Metode
Evaluasi Semu
Sajian grafik Tampilan tabel Angka indeks
Analisis waktu berkala terputus Analisis berkala terkontrol Analisis diskontinuitas regresi Evaluasi Fromal Pemetaan sasaran
Klarifikasi nilai Kritik nilai
Pemetaan hambatan Analisis dampak silang
Diskonting
Evaluasi Keputusan Teoritis
Brainstorming Analisis argumentasi Delphi Kebijakan
Analisis survey pemakai
Tabel 1. Metode Evaluasi yang Relevan dengan Tiga Pendekatan Evaluasi
1. Sajian Grafik
Banyak informasi tentang hasil kebijakan disajikan dalam bentuk grafik, yaitu gambar yang mewakili nilai dari satu atau lebih variabel tindakan atau hasil. Sajian grafik dapat digunakan untuk melukiskan sebuah variabel pada satu titik waktu atau lebih, atau untuk merangkum hubungan antara dua variabel. Kesulitan yang biasa dijumpai dalam menggunakan grafik adalah intepretasi palsu, yaitu suatu situasi di mana dua variabel tampak berkorelasi tapi sebenarnya keduanya berkorelasi dengan variabel lain. Contoh dari intepretasi palsu ini yaitu analis yang mengamati berdasarkan observasinya terhadap data kegiatan pemadam kebakaran kota. Berkesimpulan bahwa jumlah alat pemadam kebakaran yang tersedia dalam setiap kebakaran berkorelasi positif dengan jumlah kerusakan. Korelasi yang diperoleh berdasarkan pengamatan ini dapat dipakai untuk menegaskan bahwa jumlah alat pemadam kebakaran yang dipakai tidak mengurangi kerusakan karena kebakaran, karena tidak peduli berapa pun alat yang tersedia, jumlah kerusakan tetap saja berada pada tingkat yang konstan. Intepretasi palsu ini karena variabel besarnya kebakaran tidak diperhitungkan.
2. Tampilan tabel
Cara lain yang berguna untuk mengevaluasi hasil kebijakan adalah dengan tampilan tabel. Teknik penggunaannya hampir mirip dengan pelaksanaan monitoring. Sebuah tabel dimaksudkan untuk merangkum gambaran penting dari sebuah variabel atau lebih sehingga dapat diketahui hubungan antar variabel.
3. Indeks
Angka indeks adalah alat yang mengukur seberapa besar nilai suatu indikator atau seperangkat indikator berubah antar waktu secara relatif dihadapkan pada waktu tertentu. Angka indeks banyak digunakan dalam analisis kebijakan publik, meliputi angka-angka indeks untuk memantau perubahan dalam harga barang konsumen, produksi industri, peningkatan kejahatan, polusi, pelayanan kesehatan, kualitas hidup, dan lain-lain. Angka indeks berbeda-beda dalam fokusnya, dan daya jelasnya. Angka indeks mungkin berfokus pada perubahan harga, jumlah dan nilai. Angka indeks mempunyai beberapa keterbatasan. Pertama, prosedur pembobotan yang eksplisit seringkali kurang tepat. Kedua, sukar diperoleh data sampel untuk mengindeks data yang berharga bagi semua kelompok masyarakat.
4. Analisis waktu berkala terputus (Interrupted time series analysis)
Merupakan suatu prosedur untuk menunjukkan akibat dari tindakan kebijakan terhadap hasil kebijakan dalam bentuk grafik. Metoda ini sudah memadai untuk masalah-masalah di mana sebuah badan memulai suatu tindakan yang menimbulkan akibat pada seluruh kelompok sasaran. Karena tindakan kebijakan terbatas pada kelompok sasaran, maka tidak ada peluang untuk membandingkan hasil kebijakan dengan kelompok sasaran lain atau di antara kategori yang berbeda dari kelompok sasaran. Dalam situasi ini satu-satunya dasar komparasi adalah catatan tentang hasil kebijakan pada tahun-tahun sebelumnya. Grafik yang dibuat dari metoda ini merupakan alat yang ampuh untuk menguji akibat dari intervensi kebijakan terhadap beberapa segi dari suatu hasil kebijakan.
5. Analisis berkala terkontrol (Control-series Analysis)
Metoda atau teknik ini memanfaatkan satu atau lebih kelompok kontrol bagi suatu desain seri waktu yang terinterupsi. Hal ini untuk menentukan apakah karakteristik dari kelompok menimbulkan akibat independen terhadap hasil kebijakan, terpisah dari tindakan kebijakannya sendiri. Logikan dari analisis ini sama dengan sebelumnya. Perbedaannya adalah bahwa sebuah atau beberapa kelompok yang tidak tersentuh oleh tindakan kebijakan ditampilkan pula dalam grafik. Analisis ini lebih
membantu secara cermat menentukan validitas kesimpulan tentang akibat tindakan kebijakan terhadap hasilnya karena didukung oleh data berkala yang terkontrol. 6. Analisis diskontinuitas regresi (Regression-Discontinuity Analysis)
Metoda yang digunakan merupakan suatu grafik dan prosedur statistik yang digunakan untuk menghitung dan membandingkan berbagai ramalan tentang hasil- hasil tindakan kebijakan di antara dua kelompok atau lebih, yang salah satunya memperoleh sentuhan kebijakan sedangkan yang lain tidak. Kelebihan dari analisis ini adalah bahwa analisis ini memungkinkan kita untuk memantau akibat dari penyediaan suatu sumberdaya yang terbatas bagi anggota populasi target yang paling membutuhkan. Metoda ini cocok untuk melakukan evaluasi yang menggunakan krietria equity dan bermanfaat untuk memantau hasil dari eksperimen sosial yang bermaksud mendistribusikan sumberdaya yang sangat terbatas.
7. Pemetaan Sasaran
Pemetaan sasaran merupakan metoda yang digunakan dalam membuat rekomendasi. Teknik ini digunakan untuk menyusun tujuan dan sasaran dan hubungannya dengan alternatif kebijakan. Dengan melakukan pemetaaan sasaran maka dapat diketahui kegiatan mana saja yang telah mencapai sasaran untuk selanjutnya menilai apakah tujuan utama kebijakan tersebut sudah dipenuhi atau tidak.
8. Klarifikasi Nilai
Merupakan prosedur untuk mengidentifikasi dan mengklasifikasikan premis nilai atas dasar seleksi terhadap sasaran kebijakan. Kebutuhan untuk memperjelas nilai dalam mengevaluasi kebijakan sering dibuktikan ketika kita membandingkannya dengan berbagai kriteria. Dengan adanya klarifikasi nilai maka cara ini akan memungkinkan kita untuk keluar dari analisis tujuan jika ternyata tujuan-tujuan tersebut tidak lebih dari pencerminan dari keinginan dan selera beberapa kelompok atau individu.
9. Kritik Nilai
Kritik nilai adalah serangkaian prosedur untuk menguji mana yang lebih meyakinkan antara argumen-argumen yang saling berlawanan dalam suatu debat
mengenai tujuan kebijakan. Jika klarifikasi nilai memungkinkan kita untuk mengklasifikasikan nilai sesuai dengan bentuk, konteks, dan fungsinya, maka kritik nilai memungkinkan kita untuk menguji peran dari nilai dalam debat tentang argumen kebijakan. Klarifikasi nilai memusatkan perhatiannya pada tujuan-tujuan dan nilai- nilai yang mendasari setiap pelaku kebijakan dan pada kualitas yang bersifat statis. Sebaliknya kritik nilai memusatkan perhatiannya pada konflik mengenai tujuan dan nilai-nilai yang mendasari setiap pelaku kebijakan dan pada perubahan nilai yang dihasilkan oleh debat yang argumentatif. Meskipun kritik nilai pada akhirnya tidak dapat menjawab pertanyaan tentang seberapa banyak efisiensi seharusnya dikorbankan untuk meningkatkan keadilan sosial, cara ini memungkinkan kita untuk melakukan debat etik yang bernalar tentang pertanyaan semacam itu daripada sekedar mengharapkan analisis cost benefit dengan jawaban yang tidak sesuai. Karena dalam konteks ini Ilmu ekonomi tidak lagi menjadi etika dan harga telah menjadi nilai. Oleh karena itu metoda ini cocok untuk mengevaluasi kriteria efisiensi.
10. Pemetaan Hambatan
Pemetaan hambatan adalah suatu prosedur untuk mengidentifikasi keterbatasan dan hambatan yang menghadang jalan untuk mencapai sasaran kebijakan dan program. Hambatan tersebut bisa berupa hambatan fisik, hukum, organisasional, politik, distributif dan anggaran. Cara yang efektif untuk mengidentifikasikan hambatan adalah dengan membuat pohon hambatan (constraints tree)yaitu merupakan tampilan grafis tentang keterbatasan dan hambatan yang menghalangi pencapaian tujuan.
11. Cross Impact Analysis
Cross-impact analysis adalah suatu teknik yang menghasilkan penilaian atas dasar informasi tentang probabilitas kejadian dari peristiwa masa depan dengan berbasis pada terjadi atau tidak terjadinya peristiwa-peristiwa yang terkait. Tujuan dari analisis ini adalah untuk mengidentifikasi peristiwa yang akan mendukung berlangsungnya suatu peristiwa terkait.Analisis ini memperhatikan tiga aspek yaitu:
Mengindikasikan apakah sebuah peristiwa mempengaruhi berlangsungnya peristiwa yang lain, dan apakah arah pengaruh bersifat positif (penguatan) atau negatif (pelemahan).
Kekuatan kaitan
Mengindikasikan seberapa kuat peristiwa-peristiwa itu terkait baik dalam mode penguatan maupun pelemahan.
Jangka waktu kaitan
Mengindikasikan jumlah waktu (minggu, tahun, dekade) diantara berlangsungnya peristiwa-peristiwa yang terkait.
Cross Impact Analysis bekerja atas prinsip-prinsip probabilitas kondisional yang menyatakan bahwa kemungkinan terjadinya suatu peristiwa tergantung pada terjadinya suatu peristiwa lain.Kelebihan dari teknik ini adalah untuk mengungkapkan dan menganalisis interdependensi yang kopleks seperti sebagai masalah yang rumit (ill-structured problem) dan memungkinkan dilakukannya revisi yang terus-menerus terhadap probabilitas awal atas dasar asumsi atau bukti baru. Namun, terdapat beberapa keterbatasan di dalam teknik ini yaitu kita tidak pernah dapat yakin bahwa semua peristiwa yang berpotensi untuk saling mempengaruhi telah dicakup dalam analisisnya, prosesnya sangat mahal dan membuang waktu. Lalu pembentukan dan permainan sebuah matriks dampak silang adalah proses yang sangat mahal dan membuang waktu. Dan terakhir, yang paling penting adalah penerapan analisis ini sekarang mendapat penekanan yang tidak realistik terhadap konsensus di antara para pakar.
12. Discounting
Merupakan prosedur untuk memperkirakan nilai saat ini dari biaya dan manfaat yang akan diperoleh pada masa mendatang. Discounting adalah prosedur Discounting merupakan cara untuk menghitung dampak waktu ketika membuat rekomendasi suatu kebijakan. Banyak kebijakan dan program menghasilkan berbagai perbedaan dalam tingkatan biaya dan manfaat sesuai dengan perjalanan waktu. Dalam konteks evaluasi, metoda ini sangat cocok untuk digunakan pada ex ante evaluation.
13. Brainstorming
Brainstorming adalah metode untuk menghasilkan ide-ide, tujuan-tujuan jangka pendek, dan strategi-strategi yang membantu mengidentifikasi dan mengkonseptualisasikan kondisi-kondisi permasalahan. Kegiatan brainstorming mencakup aktivitas-aktivitas baik terstruktur atau tidak terstruktur tergantung pada tujuan-tujuan analis dan hambatan-hambatan praktis terhadap praktisi. Fokusnya pada kelompok-kelompok yang banyak mengetahui ketimbang para ahli dan aktivitasnya dinilai berdasarkan konsensus diantara anggota-anggota kelompok.
Keterbatasan utamanya yaitu tidak menyediakan prosedur yang eksplisit untuk mempromosikan penggunaan konflik yang kreatif dalam perumusan masalah-masalah kebijakan sehingga konfli ditekan yang dapat menutup kesempatan untuk menghasilkan dan mengevaluasi ide-ide, tujuan-tujuan jangka pendek, dan strategi- strategi yang layak.
14. Analisis Argumentasi
Analisis Argumentasi adalah suatu teknik yang digunakan dalam hubungannya dengan analisis asumsi untuk menyatakan suatu urgensi dari pembenaran, dukungan dan bantahan. Analisis ini difokuskan pada kelompok, individu atau keduanya untuk menyatakan suatu argumennya terhadap suatu kebijakan dengan mensintesiskannya secara kreatif.
15. Policy Delphi
Teknik Delphi adalah prosedur peramalan pendapat untuk memperoleh, menukar, dan membuat opini tentang peristiwa di masa depan. Penerapannya pada awalnya didorong oleh kepedulian terhadap tidak efektifnya kerja panitia, panel ahli, dan proses kelompok yang lain. Teknik ini dirancang untuk menghindari berbagai sumber distrorsi komunikasi pada kelompok-kelompok itu seperti dominasi terhadap kelompok oleh satu atau beberapa orang. Untuk menghindari masalah ini, penerapan awal teknik ini memperkenalkan lima prinsip dasar yaitu:
Semua pakar atau orang yang berpengetahuan memberikan tanggapan secara terpisah dan anonimitas (saling tidak mengenal di antara mereka) benar-benar dijaga
Iterasi
Penilaian setiap individu dihimpun dan dikomunikasikan kembali kepada semua pakar yang ikut berkomentar dalam dua putaran atau lebih, sehingga berlangsung proses belajar sosial dan dimungkinkan berubahnya penilaian awal.
Tanggapan balik yang terkontrol
Pengkomunikasian penilaian dilakukan dalam bentuk rangkuman jawaban terhadap kuesioner
Jawaban statistik
Rangkuman dari tanggapan setiap orang disampaikan dalam bentuk tendensi sentral (biasanya median), disperse (interkuartil), dan distribusi frekuensi (histogram dan polygon frekuensi).
Konsensus
Untuk menciptakan konsensus di antara para pakar kemudian prinsip-prinsip konvensional ini dikembangkan menjadi prinsip Policy Delphi karena tidak menyediakan suatu cara yang sistematik untuk mengungkapkan asumsi dan argumen yang melandasi suatu penilaian subyektif. Policy Delphi memperkenalkan beberapa prinsip baru yaitu:
Anonimitas yang selektif
Partisipan tetap anonim hanya selama putaran awal dari upaya peramalan itu. Setelah argumen-argumen tandingan tentang alternative bermunculan, partisipan diminta untuk memperdebatkan pandangan mereka secara terbuka.
Advokasi ganda orang-orang yang berpengetahuan
Proses untuk menyeleksi partisipan didasarkan pada kriteria minat dan tingkat pengetahuan bukan kepakaran semata-mata. Dalam menyusun kelompok, investigator berusaha menyeleksi wakil dari suatu kelompok advokat yang berpengetahuan dan mungkin ada dalam situasi tertentu.
Tanggapan terpolarisasi secara statistik
Dalam merangkum penilaian atau pendapat pakar, digunakan cara-cara yang menekankan ketidaksepakatan dan konflik menggunakan ukuran-ukuran statistik.
Konflik yang terstruktur
Diasumsikan bahwa konflik adalah sesuatu yang wajar dalam isu kebijakan, jadi berbagai upaya dilakukan untuk menggunakan ketidaksepakatan dan pertentangan untuk secara kreatif mengeksplorasi alternative-alternatif dan konsekuensi mereka.
Konferensi melalui komputer
Konsultasi lewat komputer dipakai untuk merancang suatu proses anonim yang terus-menerus antar individu yang secara fisik terpisah. Keterbatasan dari metode ini yaitu tidak mempertimbangkan hubungan potensial antara peristiwa yang munngkin saling menguatkan atau saling eksklusif.
16. User-Survey Analysis
Analisis survai-pemakai adalah serangkaian prosedur untuk mengumpulkan informasi mengenai evaluabilitas suatu kebijakan atau program dari calon pengguna dan pelaku-pelaku kebijakan lainnya. Instrumen utama untuk mengumpulkan informasi adalah melalui wawancara formal dengan sejumlah pertanyaan terbuka. Tanggapan terhadap pertanyaan tersebut memberi informasi yang diperlukan untuk melengkapi beberapa tahap dalam penaksiran evaluabilitas.
Evaluasi kebijakan publik adalah menilai keberhasilan atau kegagalan kebijakan berdasarkan indikator-indikator yang telah ditentukan. Indikator-indikator untuk mengevaluasi kebijakan biasanya menunjuk pada dua aspek : aspek proses dan hasil.
Aspek proses menunjuk bahwa apakah selama implementasi program, seluruh pedoman kebijakan telah dilakukan secara konsisten oleh para implementor di lapangan? Aspek hasil menunjuk apakah kebijakan yang dimplementasikan telah mencapai hasil seperti yang telah ditetapkan (output dan outcomes). Meskipun
demikian kajian evaluasi yang lebih komprehensif sudah selayaknya dilakukan, yaitu mengevaluasi:
Apakah selama proses implementasi berlansung seluruh pedoman yang telah dilakukan secara konsisten oleh para implementor?
Jika terjadi penyimpangan, apakah penyimpangan tersebut disebabkan oleh ketidakrealistisan kebijakan terhadap lapangan kebijakan atau atas inisiatif implementor?
Mengapa implementor melakukan diskresi (penyimpangan)?
Bagaimana hasil kebijakan (output atau outcomes) akibat diskresi dari implementor? (gagal atau berhasilkah?)
Bagaimana hasil kebijakan lain yang tidak mengalami penyimpangan? (gagal atau berhasilkah?)
Hal-hal di atas menarik untuk diungkap, untuk menentukan apakah kebijakan benar- benar memberikan implikasi kepada kelompok sasaran. Desain evaluasi kebijan kemudian dikembangkan untuk menyakinkan bahwa kebijakan benar-benar mengakibatkan output dan outcomes. Desain evaluasi yang mudah, penting dan bagus untuk dipelajari adalah
Tabel . Desain Tipe Penelitian Evaluasi
No. Jenis Evaluasi Pengukuran Kondisi Kelompok Sasaran Kelompok Pembanding Informasi yang Diperoleh Sebelum Sesudah 1. Single Program After-
Tidak Ya Tidak ada Keadaan kelompok
only sasaran 2. Single
Program Before-After
Ya Ya Tidak ada Perubahan keadaan kelompok sasaran 3. Comparative
After only
Tidak Ya Ada Keadaan sasaran bukan sasaran 4. Comparative
Before-After
Ya Ya Ada Efek program
terhadap kelompok sasaran Sumber.Finsterbusch dan Motz (1980, dalam Wibawa, et al, 1994: 74)
Sebelum menjelaskan secara lebih detai mengenai definisi dari keempat desain penelitian, maka akan dijelaskan terlebih dahulu mengenai kelompok sasaran dan kelompok pembanding. Kelompok sasaran adalah sekumpulan individu yang menjadi objek kebijakan, memiliki karakter khas yang akan diintervensi oleh pemerintah dengan suatu kebijakan tertentu. Kelompok pembanding adalah skeumpulan individu yang di luar kelompok sasaran memiliki karakter yang sama seperti kelopmok sasaran dan tidak diintervensi oleh kebijakan yang sama atau kebijakan yang lain.
Desain yang pertama, adalah desain penelitian evaluasi kebijakan singleprogram after-only, yaitu menunjuk bahwa evaluasi dilakukan hanya mengidentifikasi kondisikelompok sasaran pada saat kebijakan selesai dilakukan. Penelitiaan ini sangat lemah karena hanya diskriptif, dan tidak mampu memberikan keyakinan yang lebih bahwa kebijakan benar-benar telah memberikan dampak bagi kelompok sasaran.
Desain yang kedua, adalah desain peneitian evaluasi kebijakan seingle program before-after, yaitu menunjuk bahwa evaluasidilakukan dengan menbandingkan kondisi sebelum dan sesudah dari kelompok sasaran tanpa menggunakan kelompok pembanding. Hasil evaluasi ini sudah cukup baik namun, masih terdapat kekurangan yaitu lemahnya argumentasi apakah kelompok di luaryang diintervensi tidak memiliki hasil atau dampak yang sama seperti kelompoksasaran. Jangan-jangan ketika diketahui bahwa implementasi kebijakan memiliki hasil dan dampak tertentu, di kelompok yang lain kejadian tersebut juga terjadi.
Desain penelitian evaluasi ketiga adalh desain penelitian comparative after only, yaitu menunjuk bahwa evaluais kebijakan dilakukan dengan mengidentifikasi kondisi kelompok sasaran setelah implementasi dan membandingkannya dengan kondisikelompok pembanding. Desain penelitiaan ini baik, karena telah memberikan informasi apakah ada perbedaan kondisi kelompok yang diintervensi kebijakan dengan yang tidak. Kelemahan desain penelitiaan ini adalah bahwa desain penelitiaan ini tidak dapat memastikan berapa derajat perubahan dari hasil intervensi kebijakan.
Desain penelitiaan evaluasi yang keempat adalah deain penelitiaan comparative before after, yaitu menunjuk bahwa evaluasi kebijakan dilakukan dengan mengidentifikasi kondisi kelompok sasaran dan kelompok pembanding sebelum dan sesudah implementasi. Desain penelitianini adalah jenis penelitian evaluasi kebijakan yang terbaik, selain dapat mengukur derajat perubahan sebelum dan sesudah masing- masing kelompok, juga dapat dipastikan bahwa hasil dan dampak kebijakan tersebut adalah benar-benar hasil dari kinerja kebijakan.
Hasil evaluasi kebijakan kemudian dipublikasikan kepada public untuk mendapatkan feedback atas kebijakan yang telah dilakukan. Hasil evaluasi kebijakn ini dapat menjadi isu atau masalah public dan masuk dalam siklus kebijakan kembali untuk di reformulasi. Analisis kebijakn juga harus memperhatikan hasil evaluasi kebijakn sebagai salah satu sumber untuk menggali ide dalam setiaptahap analisis kebijakan dalam proses reformulasi kebijakn yang sama atau formulasi kebijakan
yang lain. Hasil evaluasi juga amat penting bagi para praktisi untuk mengetahui sejauh mana tingkat keberhasilan mereka dalam mengimplementasi kebijakan. Informasi kesuksesan implementasi kebijakan akan menambah percaya diri implementor kebijakan untuk melanjutkan kebijakan atau program yang sama. Sedangkan, informasi kegagalan implementasi kebijakn dapat dijadikan batu loncatan untuk belajar mengimplementasi kebijakan-kebijakan yang sama atau kebijakn yang lain di masa yang akan datang.
