(6) METODE PENELITIAN EVALUASI (6) METODE PENELITIAN EVALUASI
MATERI 6
PROGRAM STUDI SOSIOLOGI KLAS A
PENGAMPU
DR. L.V.RATNA DEVI S.
MATERI 6
PROGRAM STUDI SOSIOLOGI KLAS A
PENGAMPU
DR. L.V.RATNA DEVI S.
PROSES EVALUASI
TAHAPAN-TAHAPAN PROSES EVALUASI
PENENTUAN TUJUAN EVALUASI --- MEMILIH STRATEGI EVALUASI --- PENGUMPULAN DATA --- ANALISIS DAN INTERPRETASI DATA ---TINDAK LANJUT
• Alasan melakukan evaluasi:
1. Ingin tahu sejauh mana suatu obyek itu bernilai dan memberikan keuntunganpada penduduk yang dikenai obyek itu
2. Ingin mendapatkan informasi yang dapat dipergunakan sebagai umpan balik bagi obyek itu.
Penentuan Tujuan Evaluasi (LANGKAH 1)
Dijabarkan menjadi sejumlah rincian tujuan Dijabarkan menjadi sejumlah rincian tujuan
AWAL MULA SUATU PROGRAM
• Program: adalah suatu upaya untuk memecahkan masalah sosial yang dirasakan oleh sebagian masyarakat atau seluruh masyarakat.
• Asal program: lembaga pemerintah, lembaga swasta, lembaga non pemerintah yang bersifat non profit, atas ide seseorang, berasal dari masyarakat sendiri,
• Tujuan program: memperbaiki kondisi atau situasi yang tidak dikehendaki. Mengembangkan pengetahuan yang berkaitan dengan evaluasi
• Tujuan dirumuskan evaluator berdasarkan kepentingan evaluator
• Program: adalah suatu upaya untuk memecahkan masalah sosial yang dirasakan oleh sebagian masyarakat atau seluruh masyarakat.
• Asal program: lembaga pemerintah, lembaga swasta, lembaga non pemerintah yang bersifat non profit, atas ide seseorang, berasal dari masyarakat sendiri,
• Tujuan program: memperbaiki kondisi atau situasi yang tidak dikehendaki. Mengembangkan pengetahuan yang berkaitan dengan evaluasi
• Tujuan dirumuskan evaluator berdasarkan kepentingan evaluator
MODEL TEORITIS PERKEMBANGAN PROGRAM MODEL TEORITIS PERKEMBANGAN PROGRAM
Tujuan Program Masalah
sosial
Tujuan yang dilegislasikan
Intervensi sosial Struktur Administratif
Hasil Prpgram Perumusan
Tujuan
System Delivery
Dampak Program Perumusan
masalah
pelayanan
• Sistem Delivery: pengaturan organisasional, termasuk staf, prosedur, aktivitas, benda-benda fisik dan material, yang diperlukan untuk diberikan bagi pelayanan program.
• Sisten delivery meliputi 2 hal : 1. struktur administrasi atau organisasi. 2. intervensi sosial
• Intervensi: setiap program atau usaha terencana yang
ditujukan untuk menghasilkan perubahan yang dikehendaki dalam penduduk yang disasar.
• Setiap intervensi sosial dilengkapi dengan organisasi pelaksana, beserta input yang menyertainya
• Setiap intervensi sosial diharapkan menumbuhkanefek atau dampak program yang berupa hasil-hasil program, baik yang dapat diukur maupun yang tidak dapat diukur
• Tujuan yang dilegislasikan dapat berupa: SK, Kepres, Permen, Inpres, butir-butir GBHN
• Tujuan program: merupakan pekerjaan instansi atau dinas- dinas (contoh: reboisasi)
• Struktur administratif : badan yang menangani program dari pusat sampai bawah.
• Intervensi sosial: Ev. Perencanaan /konseptualisasi program, evaluasi pelaksanaan
• Hasil program: evaluasi impact, evaluasi efek
MEMILIH STRATEGI EVALUASI (LANGKAH 2)
Strategi adalah:
Metode atau pendekatan yang dipilih agar dapat menjawab pertanyaan- pertanyaan sebuah penelitian evaluasi.
Pertanyaan tergantung tujuan evaluasi yang telah dirumuskan
Strategi evaluasi yang dipilih menyangkut berbagai hal, mulai bagaimana:
1. merumuskan pertanyaan penelitian. 2. rancangan penelitian untuk
menjawab pertanyaan penelitian. 3. bagaimana cara mengumpulkan data. 4.
bagaimana teknik sampling. 5. bagaimana cara mengukur setiap indikator perubahan yang diakibatkan oleh program. 6. cara mengolah data. 7. cara menganalisis data. 8. cara menginterpretasi data.
Pemilihan stategi evaluasi dipengaruhi oleh latar belakang kompetensi dan tata nilai yang dianut oleh evaluator.
MACAM – MACAM STRATEGI EVALUASI MACAM – MACAM STRATEGI EVALUASI
1. Model Eksperimen
2. PERT (Program Evaluation and Review Technique)
3. CPM (Critical Path Method)
4. CIPP (Context, Input, Proscess dan Product)
a. Context evaluation b. Input Evaluation c. Proscess Evaluation d. Product Evaluation
5. Model Kualitatif atau Model Antropologi
6. Model berorientasi Partisipatif
Model Eksperimental
Model ini barangakali adalah yang paling dominan di dalam sejarah penelitian evaluasi. Diambil dari nilai-nilai dan metode-metode ilmu – khususnya bagi ilmu sosial – model ini mengutamakan hasrat agar informasi yang dikumpulkan tidak memihak, teliti, dan sesuai dengan kenyataannya dan sahih. Yang termasuk model eksperimen ini antara lain adalah:
rancangan eksperimental semu dan rancangan eksperimental sungguhan;
penelitian berbasis objektivitas yang berasal dari ilmu kependidikan;
berbagai perspektif yang berorientasi pada ekonometri seperti misalnya analisis biaya-efektifitas dan analaisis biaya-laba; dan evaluasi yang menonjol pada akhir-akhir ini yaitu evaluasi yang ditarik dari teori.
Model ini barangakali adalah yang paling dominan di dalam sejarah penelitian evaluasi. Diambil dari nilai-nilai dan metode-metode ilmu – khususnya bagi ilmu sosial – model ini mengutamakan hasrat agar informasi yang dikumpulkan tidak memihak, teliti, dan sesuai dengan kenyataannya dan sahih. Yang termasuk model eksperimen ini antara lain adalah:
rancangan eksperimental semu dan rancangan eksperimental sungguhan;
penelitian berbasis objektivitas yang berasal dari ilmu kependidikan;
berbagai perspektif yang berorientasi pada ekonometri seperti misalnya analisis biaya-efektifitas dan analaisis biaya-laba; dan evaluasi yang menonjol pada akhir-akhir ini yaitu evaluasi yang ditarik dari teori.
PERT (Program Evaluation and Review Technique)
PERT adalah model bagi manajemen proyek yang diketemukan oleh Departemen Pertahanan Amerika Serikat. Pada dasarnya PERT adalah suatu metode untuk menganalisis tugas-tugas yang melibatkan penyelesaian proyek tertentu, khususnya suatu waktu yang dibutuhkan bagi penyelesaian masing-masing tugas, dan mengidentifikasi waktu minimum yang dibutuhkan bagi penyelesaian proyek secara keseluruhan. Bagian yang paling terkenal dari model PERT adalah
“jaringan kerja PERT”, yaitu bagan-bagan ketepatan waktu yang saling berhubungan. PERT dimaksudkan bagi proyek-proyek berskala besar, tepat waktu, rumit dan tidak bersifat rutin.
Contoh : Jaringan Kerja PERT Contoh : Jaringan Kerja PERT
CPM (Critical Path Method)
• Model untuk merencanakan proyek. CPM diperuntukkan bagi proyek yang terdiri atas berbagai aktivitas individu.
• CPM dapat membantu kita memperoleh gambaran tentang:
(1) Berapa lama suatu proyek yang rumit dapat diselesaikan.
(2) Aktivitas-aktivitas mana saja yang bersifat “critical” dalam arti proyek itu harus diselesaikan tepat waktu, kalau tidak proyek secara keseluruhan akan tertunda penyelesaiannya.
• Bilamana kita bermaksud untuk memperoleh informasi mengenai biaya masing-masing aktivitas, dan berapa biayanya untuk mempercepat penyelesaian masing-masing aktivitas, CPM dapat membantu kita memperoleh gambaran tentang:
(1) Apakah kita akan mempercepat proyek, dan jika demikian maka,
(2) Rencana optimal apakah bagi pencepatan proyek.
• Sebuah aktivitas adalah tugas yang khusus. Aktivitas itu menggerakkan sesuatu itu dijalankan. Suatu aktivitas dapat memiliki unsur-unsur sebagai berikut:
(1) Nama-nama aktivitas-aktivitas lain yang harus diselesaikan sebelum suatu aktivitas dimulai.
(2) Lama waktu normal yang diproyeksikan.
(3) Biaya untuk menyelesaikan.
(4) Waktu yang lebih pendek untuk menyelesaikan (5) Biaya yang lebih tinggi untuk menyelesaikan
CIPP (Context, Input, Proscess dan Product)
• Model ini adalah pedoman yang memberikan suatu struktur sistematis bagi evaluasi program. Idenya muncul dari bidang penelitian kualitatif yang dirintis oleh Guba, Spradley
• Context Evaluation
Evaluasi berkaitan dengan konteks (situasi dan kondisi yang diperhitungkan) dari keberadaan organisasi atau obyek yang dievaluasi. Context evaluation menentukan identitas populasi sasaran, merumuskan parameter-parameter dari suatu
organisasi. Apakah populasi sasarannya? Kebutuhan apa yang harus dipuaskan? Juga menilai lingkungan tempat evaluasi terjadi. Context evaluation juga menjawab pertanyaan:
Bagaimana bingkai organisasi memfasilitasi misi organisasinya?”
Metode yang digunakan untuk melengkapi informasi mengenai konteks organisasi: 1) brainstorming dengan informan-informan penting di dalam organisasi. 2) mewawancarai orang-orang yang sering menggunakan organisasi (baik klien maupun stakeholder), atau menghubungi organisasi sejenis sebagai pembandingan. Teknik pengambilan sampel berstratifikasi (untuk hal ini periksa Y. Slamet, 2006 Penerbit: UNS Press) untuk mengidentifikasi kelompok-kelompok sosial dan sebagai pertimbangan-pertimbangan kultural dan etnis. Informasi mungkin dikumpulkan melalui wawancara atau survei, tergantung dari besar kecilnya organisasi. Seluruh data itu kemudian ditabulasikan dan dipresentasikan kepada penyandang dana untuk menentukan prioritas bagi tujuan-tujuan yang hendak dicapai baik yang layak maupun yang produktif.
• Input evaluation
Menilai sumber-sumber dan tantangan-tantangan bagi keberhasilan program. Ini adalah suatu kesempatan untuk menilai biaya finansial dan biaya kesempatan, juga menilai problem-problem yang potensial bagi keberhasilan pelaksanan program (misalnya iklim politik, kondisi ekonomi).
Ini juga merupakan langkah untuk mempertimbangkan pilihan-pilihan untuk melaksanakan tindakan pemecahan masalah.
• Process Evaluation.
Evaluasi proses, berkaitan dengan kebutuhan yang mungkin diperlukan untuk merestruktur program. Ini adalah evaluasi mengenai pekerjaan organisasi sehari-hari. Ini dilakukan setelah rancangan program dimulai. Hal ini bisa menyangkut sistem informasi manajemen yang melacak kejadian-kejadian dari organisasi. Apakah yang dilakukan oleh masing-masing bagian dari organisasi bersifat mendukung bagian-bagaian lain? Apakah rasio biaya laba (cost/benefit ratio) dari masing-masing merupakan aktivitas yang mahal? Sistem informasi manajemen dapat melacak data yang demikian itu sebelum pelaksanaan perbaikan program bagi pembandingan setelah pelaksanaan.
• Product evaluation.
Evaluasi ini berkaitan dengan penilaian tentang dampak dari program. Klien akan dinilai kepuasan mereaka mengenai pelayanan dan atau produk dari organisasi. Penilaian dampak dapat dilakukan secara ilmiah dengan menggunakan metode- metode kualitatif. Hal ini biasanya dapat diterima untuk menyatakan beberapa derajat kausalitas antara program dan hasilnya (produknya) bilamana tidak ada sebab-sebab lain yang masuk akal.
Model Kualitatif atau Model Antropologi
Model ini menekankan pentingnya observasi (pengamatan), kebutuhan akan mempertahankan kualitas fenomenologis evaluasi konteks dan nilai penafsiran manusia secara subyektif di dalam proses evaluasi. Termasuk di dalam kategori ini adalah pendekatan-pendekatan yang dikenal di dalam evaluasi sebagai pendekatan naturalistik; berbagai aliran kualitatif; teori kritis dan pendekatan-pendekatan kritik seni; dan pendekatan teori grounded dari Glaser dan Strauss.
Model Berorientasi Partisipatif
Model ini menekankan pentingnya evaluasi yang dilakukan oleh peserta program, yaitu para klien, pengguna program, dan stakeholder. Pendekatan yang berorientasi pada klien dan stakeholder adalah contoh dari model yang berorientasi pada peserta program.
PENGUMPULAN DATA (LANGKAH 3)
Penggunaan teknik pengumpulan data sangat erat dengan:
1. Jenis data dan informasi yang akan diraih.
2. Kemampuan peneliti dalam menguasai metode evaluasi dan metode penelitian sosial pada umumnya
3. Kepribadian dan tata nilai yang dianut oleh peneliti peneliti.
4. Keadaan penduduk yang diteliti
5. Nilai-nilai yang dianut oleh masyarakat 6. Kepekaan data
Macam-Macam Teknik pengumpulan data 1. Pengamatan (observation)
2. Wawancara (Interview) 3. Focus Group Discussion
• Dua macam informasi yang diperoleh dalam pengumpulan data:
1. Data deskriptif : mengenai hal-hal yang telah tertulis. Misal:
SK, peraturan program, notulen pertemuan, semua dokumen-dokumen mengenai program
2. Judgmental (penilaian) : isinya mengenai sikap, pendapat, kepercayaan.
Yang harus dicek:
3. responden: sudah tercakup semuakah (misal: 80 responden, sudah tercakup semuakah)
4. Instrumen: sudah lengkap atau belum. Instrumen bisa instrumen pengamatan, instrumen studi lokal, instrumen diri kita, questioner, dll.
5. Tempat dan waktu: kapan pengumpulan data dilakukan dan dimana (di rumah, di sawah)
• Dua macam informasi yang diperoleh dalam pengumpulan data:
1. Data deskriptif : mengenai hal-hal yang telah tertulis. Misal:
SK, peraturan program, notulen pertemuan, semua dokumen-dokumen mengenai program
2. Judgmental (penilaian) : isinya mengenai sikap, pendapat, kepercayaan.
Yang harus dicek:
3. responden: sudah tercakup semuakah (misal: 80 responden, sudah tercakup semuakah)
4. Instrumen: sudah lengkap atau belum. Instrumen bisa instrumen pengamatan, instrumen studi lokal, instrumen diri kita, questioner, dll.
5. Tempat dan waktu: kapan pengumpulan data dilakukan dan dimana (di rumah, di sawah)
Pengamatan : (apa yang dilakukan oleh seorang evaluator)
• Menggambarkan bingkai dari pelayanan program, yaitu menggambarkan dimana pengamatan itu dilakukan dan bagaimana keadaan fisik dari pelayanan program itu.
• Mengidentifikasi orang-orang yang terlibat di dalam kegiatan, yaitu ciri-ciri dari orang tersebut, misalnya umurnya berapa, pekerjaannya apa, jenis kelaminnya apa, dll.
• Mendeskripsikan isi daripada program, yaitu aktivitas-aktivitas program yang nyata beserta penjelasan-penjelasan yang
disampaikan di dalam program.
• Mendokumentasikan interaksi/pergaulan antara staf pelaksana dan peserta program.
• Mendeskripsikan dan menilai kualitas pelayanan program.
Setiap peneliti wajib membuat field notes/ catatan hasil pengamatan
• Dalam pengumpulan data dengan menggunakan teknik observasi, peneliti dapat menggunakan alat bantu seperti misalnya kamera, vidio, perekam, dan block note. Namun perlu diingat disini bahwa penggunaan alat itu jangan mencolok mata sebab dapat mengubah suatu situasi yang bersifat alami menjadi situasi yang dibuat-buat.
• Dalam melakukan observasi, evaluator bukan hanya sekedar penonton melainkan dia harus mendeskripsikan kejadian- kejadian berdasarkan konsep-konsep, definisi-definisi, dan kriteria-kriteria tertentu
Wawancara (Interview) Wawancara (Interview)
Wawancara adalah: dialog antara seorang pewawancara yang terlatih dengan yang diwawancarai
Tujuannya adalah: untuk memperoleh bahan yang jelas dan
terperinci yang nantinya dijadikan bahan data atau informasi yang dapat diolah dan dianalis
Pengembangan Instrumen Evaluasi
• Melalui observasi/pengamatan
• Interview: tidak terstruktur dan terstruktur
• Kuesioner: diberikan pada responden untuk diberikan jawaban
• Studi dokumen: meneliti arsip, surat-surat, catatan-catatan, aturan-aturan, SK-SK
Yang perlu dipertimbangkan dalam melakukan wawancara
(a)Pilihlah suatu setting (tempat) yang menjaga kerahasiaan bagi peserta program.
(b)Pilihlah lokasi yang tidak gaduh sehingga dapat mendengarkan seluruh ucapan-ucapan peserta program.
(c)Pilihlah tempat yang nyaman dan enak.
(d)Pilihlah tempat yang tidak membahayakan (misalnya jangan melakukan wawancara dipinggir jalan raya yang lalu-lintasnya ramai, di pinggir tebing yang curam, di dalam gubug yang reot, dll. ).
(e)Pilihlah lokasi yang mudah dijangkau oleh orang yang akan diwawancarai.
(f) Pilihlah alat pelengkap yang cocok, misalnya tape recorder, atau rekaman vidio.
(g)Berhentilah mewawancarai kalamana ada telepon atau tamu yang menyela selama dilakukan wawancara dirumah atau dikantor orang yang diwawancarai.
(h)Berilah/munculkan suasana yang menumbuhkan suasana terbuka dan keberanian untuk mengungkapkan pendapat orang yang diwawancarai.
Focus Group Discussion
• Focus group discussion (FGD) adalah mengkombinasikan unsur-unsur baik wawancara mapun observasi berpartisipasi. Inti utamanya adalah melakukan wawancara terhadap kelompok, bukan membentuk kelompok diskusi, atau membentuk kelompok yang memecahkan masalah, atau kelompok yang membuat keputusan.
• Tujuan utamanya adalah untuk menciptakan dinamika kelompok untuk mendiskusikan suatu topik sehingga terjadi interaksi yang memunculkan data yang tidak muncul bilamana tidak melalui diskusi kelompok.
• FGD yang efektif terdiri dari sekitar 8 – 12 orang yang saling membagi pengalaman dalam mengevaluasi suatu program.
Pokok-pokok utama yang didiskusikan di dalam FGD antara lain adalah sebagai berikut:
(a) Mengidentifikasi dan mendefinisikan masalah-masalah yang berkaitan dengan pelaksanaan program.
(b) Mengidentifikasi kekuatan dan kelemahan program, serta memberikan rekomendasi.
(c) Membantu dan menginterpretasikan penemuan-penemuan hasil penelitian.
(d) Mendapatkan kesan tentang hasil dan dampak dari program.
(e) Menumbuhkan gagasan-gagasan baru mengenai program
