BAB 5 METODE PENELITIAN EVALUASI PROGRAM
A. Ruang Lingkup Evaluasi Program
Penelitian evaluasi merupakan salah satu penelitian terapan yang digunakan untuk mengevaluasi implementasi kebijakan, program, dan projek. Penelitian evaluasi kebijakan bertujuan untuk menghasilkan rek- omendasi yang menjadi dasar bagi perumusan kebijakan, menunjang im- plementasi kebijakan, atau untuk mengetahui kinerja dan dampak dari kebijakan. Penelitian evaluasi program berisi kegiatan pengumpulan data dan informasi untuk membuat keputusan tentang program (melanjutkan, memperluas, memperbaiki atau menghentikan) program yang sedang ber- jalan. Penelitian evaluasi projek dilakukan untuk mengatasi hambatan- hambatan yang dialami dalam pelaksanaan projek supaya projek dapat berjalan efektif dan efisien. Kebijakan, program dan projek disusun ber- dasarkan hierarki seperti terlihat pada gambar 5.1.
Hierarki program yang tercantum pada gambar 5.1 menunjukkan bahwa program merupakan bagian dari kebijakan. Sebagai contoh: pemerintah menetapkan kebijakan wajib belajar pendidikan dasar. Supa- ya semua penduduk dapat mengakses pendidikan, maka pemerintah membuat beberapa program antara lain program pemberian beasiswa pendidikan untuk masyarakat miskin (bidik misi), pemberian dana BOS, SD-SMP satu atap dan Pendidikan Non Formal (paket A, B dan C).
METODE PENELITIAN EVALUASI
PROGRAM
Menurut hierarki konseptual, kebijakan, program dan projek mengandung pengertian sebagai berikut:
Kebijakan : menggunakan landasan-landasan filosofis, tujuan bersifat mayor, dan dicapai dalam jangka panjang Program : kegiatan yang lebih spesifik dan tujuan lebih
kongkret untuk dicapai setelah program dil- aksanakan
Projek : kegiatan sangat spesifik, dirancang oleh individu untuk mendukung aktualisasi kebijakan maupun aktualisasi individu
Penelitian evaluasi program dapat dilakukan dengan berbagai macam metode maka tidak jarang penelitian evaluasi ini juga meng- gabungkan dua jenis data yaitu data kuantitatif dan kualitatif. Data kuantitatif digunakan untuk mengambil keputusan yang bebas nilai se- dangkan data kualitatif digunakan untuk mengambil keputusan yang memiliki banyak pertimbangan.
Evaluasi program memiliki cakupan wilayah yang sangat luas, mulai dari program berskala internasional, nasional, lokal sampai pada program institusi atau satuan organisasi. Dalam lingkup yang kecil, evaluasi pro- gram bahkan sering dilakukan untuk mengevaluasi program pembelajaran di kelas. Dengan demikian, penelitian evaluasi program ini tidak akan pernah kehabisan permasalahan untuk diteliti karena setiap lembaga pen- didikan pasti memiliki program atau kegiatan.
Program pada umumnya dirancang untuk mengatasi suatu masalah, meningkatkan kinerja lembaga, meningkatkan mutu pendidikan, menso- sialisasikan kebijakan, menguji produk baru, dll. Penelitian evaluasi pro- gram dilakukan dengan tujuan untuk:
Kebijakan
Program
Projek
Program,
Projek Projek Projek
Program Program
Projek Projek Projek
Projek Projek Projek Projek
Projek
115 Pengetahuan Dasar Tentang Metode Penelitian
1. Menunjukkan sumbangan program terhadap pencapaian tujuan organisasi. Hasil evaluasi ini penting untuk mengembangkan pro- gram yang sama di tempat lain.
2. Mengambil keputusan tentang keberlanjutan sebuah program apakah program perlu diteruskan, diperbaiki atau dihentikan. Berdasarkan tujuan tersebut semakin jelas terlihat bahwa program yang telah dirancang dan dilaksanakan perlu dievaluasi tingkat keberhasi- lannya. Evaluasi dapat dilakukan selama program masih dilaksanakan (formative evaluation) atau sesudah program selesai dilaksanakan (sum- mative evaluation). Formative evaluation penting dilakukan untuk men- diagnosa hambatan-hambatan dan segera mengatasinya supaya pelaksa- naan program berikutnya menjadi lebih sukses. Summative evaluation dilakukan untuk mengevaluasi tingkat pencapaian hasil sesuai dengan tujuan program pada seluruh komponen evaluasi program.
Menurut Madaus (1986: 25-35) ada 11 model evaluasi program yang terdiri dari lima model berorientasi pada pertanyaan (question) dan enam model berorientasi pada nilai (value). Pendekatan evaluasi yang berorien- tasi pada pertanyaan menggunakan pertimbangan yang objektif untuk mengambil keputusan. Pengambilan data sampai cara melaporkan hasil evaluasinya menggunakan pendekatan kuantitatif. Pendekatan yang berorientasi pada value menggunakan pertimbangan subjektif untuk mengambil keputusan. Pengambilan data sampai cara melaporkan hasil evaluasinya menggunakan pendekatan kualitatif. Lima model evaluasi yang berorientasi pada pertanyaan adalah: (1) objectives-based studies; (2) accountability studies; (3) experimental research studies; (4) testing program; dan (5) management information systems. Enam model evaluasi lain yang berorientasi pada nilai yaitu: (6) accreditation/certification studies; (7) policy studies; (8) decision-oriented studies; (9) consumer- oriented studies; (10) client-centered studies, dan (11) connoisseur-based studies.
Program yang dievaluasi semakin luas dan bervariasi sehingga pen- dekatan evaluasi pun terus bertambah. Stuflebeam (1999) telah men- gidentifikasi sebanyak 22 model dasar evaluasi program. Beliau mengklasifikasikan pendekatan evaluasi menjadi 4 kategori yaitu: pseudo evaluations, questions/methods-oriented evaluation approaches, im- provement/accountability-oriented evaluations approaches, dan social agenda–directed (advocacy) approaches. Pseudo evaluation terdiri dari: (1) public relations-inspired studies; dan (2) politically controlled stud- ies. Questions/methods-oriented evaluation approaches terdiri dari 13 pendekatan yaitu: (3) objectives-based studies, (4) accountability, partic- ularly payment by result studies; (5) objective testing programs, (6) out- comes monitoring/value-added assessment, (7) performance testing; (8)
experimental studies; (9) management information systems; (10) benefit- cost analysis approach; (11) clarification hearing; (12) case study evalu- ation; (13) criticism and connoisseurship; (14) program theory-based evaluation; (15) mixed methods studies. Improvement/accountability- oriented evaluation approaches terdiri dari 3 pendekatan yaitu: (16) deci- sion/accountability-oriented studies; (17) consumer-oriented studies; (18) accreditation/certification approach. Social agenda -directed (advo- cacy) approaches terdiri dari: (19) Client-centered studies (or Responsive Evaluation); (20) Constructivist Evaluation; (21) Deliberative democra t- ic evaluation; (22) utilization-focused Evaluation.
Pendekatan evaluasi ini perlu diketahui untuk menambah wawasan peneliti bahwa setiap program membutuhkan metode evaluasi yang spe- sifik sehingga tidak layak menggunakan metode evaluasi yang sama un- tuk mengevaluasi program yang berbeda. Berdasarkan identifikasi pen- dekatan di atas, evaluasi yang berorientasi pada pertanyaan dapat digunakan untuk mengevaluasi hasil pembelajaran, melihat akuntabilitas program, penelitian eksperimen, pengujian program baru. Pendekatan evaluasi yang berorientasi pada nilai digunakan pada akreditasi atau ser- tifikasi, penelitian kebijakan, pengambilan keputusan, peningkatan kepuasan pelanggan dan sebagainya. Pendekatan evaluasi yang dipapar- kan di atas memberi gambaran bahwa evaluasi hasil belajar dan evaluasi kebijakan misalnya membutuhkan pendekatan yang berbeda. Keputusan yang diperoleh dari hasil evaluasi juga memiliki dampak yang berbeda. Keputusan hasil evaluasi yang berorientasi pada nilai memiliki dampak yang lebih luas daripada evaluasi yang berorientasi pada pertanyaan.