DOKUMEN EVALUASI FORMAL DAN EVALUASI TEORI KEPUTUSAN

EVALUASI FORMAL DAN EVALUASI TEORI

KEPUTUSAN

OUTLINE

Pendekatan Evaluasi Formal

1. Pemahaman pendekatan evaluasi formal

2. Teknik yang terdapat dalam kelompok evaluasi formal

Pendekatan Evaluasi Teori Keputusan (DTE)

1. Pemahaman pendekatan evaluasi DTE

2. Teknik yang terdapat dalam kelompok evaluasi DTE (Decision Theoritic Evaluation)

Pendekatan

Evaluasi Formal

Definisi;

Evaluasi formal adalah evaluasi yang menggunakan metoda-metoda deskriptif untuk menghasilkan informasi-informasi yang valid dan reliable tentang hasil dari suatu kebijakan.

[PL4107]. Teknik Evaluasi Perencanaan

01.

Asumsi;

Evaluasi didasarkan pada program-program kebjakan yang secara resmi telah dicanangkan oleh pemerintah, dimana tujuan dan sasaran yang telah ditetapkan tersebut merupakan ukuran keberhasilan pelaksanaan program/kebijakan.

METODA

Untuk menghasilkan informasi yang valid dan reliable ditempuh dengan cara:

1. Merunut legislasi

2. Merunut dokumen-dokumen program 3. Interview dengan penyusun kebijakan

atau administrasi program.

SASARAN INTERVIEW

• Mengidentifikasi

• Mendefinisikan

• menspesifikasi

KRITERIA EVALUASI

✓ Effectiveness

✓ Effeciency

E V A L U A S

I F O

R M

A L

Tujuan dan sasaran program

Summative Evaluation

Upaya untuk mengevaluasi program yang telah dilaksanakan dalam kurun waktu tertentu. Umumnya untuk mengetahui program yang relatif sudah “baku” atau stabil.

Formative Evaluation

Upaya untuk mengevaluasi pelaksanaan program secara kontinyu. Umumnya untuk mengevaluasi program yang relatif “baru”

dan dinamis.

TIPE EVALUASI FORMAL

EVALUASI FORMAL DILIHAT DARI DERAJAT KONTROL TERHADAP INPUT DAN PROSES PELAKSANAAN KEBIJAKAN BERIKUT;

Direct Control

Indirect Control

Evaluator dapat secara langsung mengatur tingkat pengeluaran dana, komposisi program dan kelompok sasaran dari program

Evaluator tidak dapat secara langsung mengatur tingkat pengeluaran dana, komposisi program dan kelompok sasaran dari program

Klasifikasi Evaluasi Formal

Kontrol terhadap Pelaksanaan

Program

Orientasi dari Proses Pelaksanaan Program

Formative Summative Direct

Development Evaluation Experiment Evaluation

Indirect

Retrospective Process Evaluation Retrospective Outcome Evaluation

Development Evaluation

Mengevaluasi secara kontinyu pelaksanaan program dan dalam waktu yang bersamaan dilakukan intervensi terhadap input dan proses pelaksanaan program untuk mencapai hasil yang diinginkan pada tahap berikutnya.

Contoh :

Bermanfaat untuk mengadaptasikan program pada suatu perubahan tertentu.

Evaluasi terhadap program pengenalan

metoda belajar baru.

Retrospective Process

Evaluation

Mengevaluasi secara kontinyu pelaksanaan program untuk mengidentifikasi masalah- masalah dan “ bottle neck ” yang menghambat implementasi program.

Contoh :

Evaluasi program IDT oleh pihak independent (misal : LSM)

Syarat : Menghendaki sistem pelaporan yang kontinyu dan reliable

sulit diperoleh

^.

Experimental Evaluation

Mengevaluasi hasil-hasil pelaksanaan program dalam kurun waktu tertentu dengan kemampuan mengatur secara langsung input dan proses pelaksanaan program.

Contoh :

▪ New Jersey Pennsylvania Income Maintenance Experiment

▪ California Group Therapy Criminal Recidivism Experiment

▪ Kansas City Preventive Patrol Experiment

Beberapa syarat yang diperlukan:

• Adanya variabel-variabel yang secara jelas didefinisikan sebagai variabel yang dapat di intervensi.

• Tingkat generalisasi yang tinggi dalam mengukur keberhasilan program berdasarkan program lain yang sejenis (external validity).

• Tingkat kesalahan yang kecil dalam mengukur hasil-hasil program itu sendiri (internal validity).

• Sistem monitoring yang baik untuk menghasilkan informasi yang valid dan reliable.

Retrospective Outcome Evaluation

Mengevaluasi hasil pelaksanaan program selama periode waktu tertentu tanpa kemampuan mengatur input/proses pelaksanaan program secara langsung.

Ada 2 jenis :

1. Cross Sectional Evaluation

Mengevaluasi perbedaan output dari berbagai program dan penyebabnya dalam waktu yang bersamaan.

2. Longitudinal Evaluation

Mengevaluasi perbedaan output dari berbagai program dan penyebabnya dalam beberapa titik pengamatan.

Contoh:

Evaluasi Formatif Keefektifan Proses Pelaksanaan Tugas dan Fungsi Satuan Koordinasi Pelaksana Penanggulangan Bencana dan Penanganan Pengungsi (Satkorlak) PBP Propinsi DKI Jakarta (Indra Febriansyah, 2005)

Acuan kriteria:

• Prosedur tetap penanggulangan bencana bencana dan penanganan pengungsi DKI Jakarta (Protap PBP)

• Pedoman Umum Penanggulangan Bencana dan Penanganan Pengungsi (Pedoman Umum PBP)

Kriteria:

• Keefektifan proses pelaksanaan tugas dan fungsi

Pendekatan Evaluasi Keputusan (DTE)

Definisi;

02

[PL4107]. Teknik Evaluasi Perencanaan

.

Sifat ;

melakukan penilaian berdasarkan parameter yang disepakati oleh pihak-pihak yang terkait secara langsung/pihak yang bersitegang. Sistem nilainya juga

berdasarkan kesepakatan antara pihak yang bersitegang. Biasanya berkisar antara benar atau salah

pendekatan yang menggunakan metode-metode deskriptif untuk

menghasilkan informasi yang dapat dipertanggung-jawabkan dan valid mengenai hasil-hasil kebijakan yang secara eksplisit dinilai oleh berbagai macam pelaku kebijakan

^.

Perbedaan mendasar evaluasi ini dengan dua pendekatan sebelumnya adalah bahwa evaluasi ini berusaha untuk menemukan dan

mengeksplisitkan tujuan dan target dari pelaku kebijakan, baik yang

nyata maupun tersembunyi.

Decison Theoritic Evaluaton (DTE)

Keunggulan DTE

DTE mengatasi beberapa kekurangan dalam evaluasi formal dan semu:

❑Underutilization and nonutilization of performance information → tidak semua tujuan dan sasaran pihak-pihak yang terlibat dalam pembuatan kebijakan dan program dipertimbangkan

❑Ambiguity (duality) of performance goals → tujuan umum yang sama dapat berbentuk tujuan spesifik yang bertentangan dengan yang lain → berkaitan dengan kriteria evaluasi

❑Multiple Conflicting Objectives → berbagai pihak yang mempunyai tujuan yang berbeda terlibat dalam evaluasi

Tujuan dan Asumsi

❑Tujuan utama DTE menghubungkan adalah menghubungkan informasi tentang policy outcome dengan nilai semua stakeholder

❑Asumsi: tujuan dan sasaran yang diformalkan maupun laten merupakan ukuran dari nilai kebijakan maupun program.

Decison Theoritic Evaluaton (DTE)

Pendekatan memiliki dua varian

02

[PL4107]. Teknik Evaluasi Perencanaan

.

Penilaian evaluabilitas

merupakan serangkaian prosedur yang dilaksanakan untuk menganalisis sistem pembuatan keputusan

Analisis utilitas multi atribut

merupakan serangkaian prosedur yang ditetapkan untuk memperoleh penilaian yang subjektif dari para pelaku kebijakan tentang kemungkinan nilai dari hasil suatu kebijakan.

Decison Theoritic Evaluaton (DTE)

ELEMEN KUNCI DECISION THEORY &ANALYSIS

• Bagaimana struktur keputusan

• Bagaimana memahami proses pengambilan keputusan

• Bagaimana membuat keputusan dalam situasi yang sulit

DECISION THEORY AND

THE DECISION-MAKING PROCESS

• Keputusan : Memilih satu alternative dari bermacam set alternatif

• Situasi keputusan sering melibatkan factor yang tak dapat dikontrol dan banyak akibatnya.

Peranan Teori Keputusan

• Menyediakan kerangka (framework) untuk lebih mengerti dalam situasi keputusan

• Menyediakan jalan untuk mengevvakuasi alternative alternative dalam kondisi tak menentu

• Memahami uncontrollable factor agar mengerti terhadap situasi keputusan, walaupun tidak dapat dikendalikan (control) oleh pengambil keputusan

Teknik yang

terdapat dalam DTE 02

[PL4107]. Teknik Evaluasi Perencanaan

.

Linear Programming

Merupakan metode matematik dalam mengalokasikan sumber daya yang terbatas untuk mencapai suatu tujuan seperti memaksimalkan keuntungan dan meminimalkan biaya

Policy Delphi

proses yang dilakukan dalam kelompok untuk mensurvei dan mengumpulkan pendapat dari para ahli terkait topik tertentu. Metode ini berguna untuk menstrukturkan proses komunikasi kelompok sehingga prosesnya akan berjalan efektif, sehingga kelompok tersebut bisa menyelesaikan masalah.

salah satu metode klasifikasi yang paling populer karena mudah untuk di interpretasi oleh manusia.

Pohon keputusan adalah model prediksi menggunakan struktur pohon atau struktur berhirarki

Pohon Keputusan

Social Cost Benefit Analisys

suatu alat analisis dengan prosedur yang sistematis untuk

membandingkan serangkaian biaya dan manfaat yang relevan dengan sebuah aktivitas atau proyek. Tujuan akhir yang ingin dicapai adalah secara akurat membandingkan kedua nilai, manakah yang lebih besar.