change. Unfortunately, it’s not that simple at all. A good design for your evaluation will help you answer important questions like these:
a. First, how do you measure progress?
b. Second, if there seems to be none, how do you know what you should change in order to increase your effectiveness?
c. Third, if there is progress, how do you know it was caused by (or contributed to) your program, and not by something else?
d. And finally, even if you’re doing well, how will you decide what you could do better, and what elements of your program can be changed or eliminated without affecting success?
Maksudnya, peneliti harus mempertimbangkan siapa yang harus terlibat dalam memutuskan pemilihan maupun perancangan desain evaluasi. Pertama, bagaimana peneliti mengukur keberhasilan, kedua jika terdengar tidak seorangpun yang dapat mengukur keberhasilan maka pastikan bagaimana peneliti dapat mengganti aturan yang efektif. Ketiga Apabila mengalami kemajuan, pastikan bahwa hal tersebut bekerja disebabkan oleh program yang dilakukan, bukan karena factor lainnya.
Keempat, Sekalipun peneliti melakukan dengan sebaik-baiknya bagaimana peneliti bisa memutuskan hal terbaik apa yang dapat dilakukan dan elemen apa dari program yang dapat diganti atau dihilangkan tanpa memberikan dampak pada keefektifan program.
Beberapa alasan spesifik mengapa seorang evaluator harus merancang desain evaluasi dengan berhati-hati:
a. Agar evaluasi yang dilakukan benar-benar dapat diandalkan. Sebuah desain yang baik akan memberikan hasil yang akurat. Dengan memahami program yang akan dievaluasi, menentukan model, serta metode yang sesuai dan dapat diterapkan dalam mengevaluasi akan membuat evaluator memiliki keyakinan dan kepercayaan bahwa evaluator dan team akan lebih mudah mencapai tujuan evaluasi.
b. Evaluator dapat menentukan wilayah-wilayah yang dibutuhkan untuk bekerja. Sebuah desain yang baik akan membantu evaluator memahami dengan persis di mana titik-titik kuat dan lemah dari program atau intervensi yang dapat memberikan petunjuk tentang bagaimana evaluasi yang dilakukan dapat menghadirkan rekomendasi bagi perbaikan suatu program.
c. Evaluasi yang dilakukan dapat memiliki hasil yang kredibel. Jika evaluasi dirancang dengan baik, pemangku kepentingan maupun siapa saja yang membutuhkan hasil evaluasi akan serius dalam mengambil hasil evaluasi. Jika evaluasi yang dirancang dengan baik menunjukkan bahwa evaluasi program yang anda lakukan “efektif”, sehingga memungkinkan dapat meyakinkan orang lain untuk menggunakan metode yang serupa. Secara financial evaluator dapat menjadi asset yang berguna bagi organisasi, sehingga dapat meningkatkan penghasilan evaluator (Good will).
d. Evaluator dapat mengidentifikasi faktor-faktor yang terkait dan tidak terkait dengan penelitian. Sebuah desain evaluasi yang baik dapat membantu evaluator dalam mengidentifikasi, variable yang akan diteliti, apakah variable akan diteliti terpisah atau digabungkan.
e. Evaluator dapat mengidentifikasi konsekuensi yang tidak diinginkan (baik positif maupun negatif) bagi mereka. Sebuah desain yang baik dapat menunjukkan semua hal yang dihasilkan dari program atau intervensi, bukan hanya apa yang diharapkan.
f. Evaluator akan memiliki rencana yang koheren dan struktur pengorganisasian untuk evaluasi yang dilakukannya. Desain evaluasi yang baik dan sesuai akan jauh lebih memudahkan bagi evaluator untuk melakukan evaluasi. Evaluator akan tahu lebih baik apa yang perlu dilakukannya untuk mendapatkan informasi yang dibutuhkan.
Meskipun menyusun desain evaluasi akan menghabiskan waktu yang lama, terkait dengan pekerjaan evaluator dalam memilih dan mengatur desain evaluasi, namun kerja keras dalam mengusung desain evaluasi akan terlunasi dengan keberhasilan dan kualitas informasi yang evaluator dapatkan. Oleh karena itu seorang evaluator tidak harus terburu-buru dalam mengatur desain evaluasi yang akan digunakannya.
Lengkapi seluruh prosedur dalam perencanaan evaluasi agar proses evaluasi dapat berjalan dengan baik dan menghasilkan data/informasi yang memudahkan perumusan rekomendasi evaluasi yang akurat.
3. When should you choose a design for your evaluation?
Kapan Anda harus memilih desain untuk evaluasi Anda. Evaluasi yang dilakukan harus menjadi bagian yang integral dengan program yang ada. Oleh karena itu perencanaan harus menjadi bagian integral dari
perencanaan program. Jika program memiliki siklus, maka memungkinkan untuk memulai evaluasi di awal itu tahun atau diawal fase Program, di mana semua peserta mulai dari tempat yang sama, atau dari awal keterlibatan mereka di dalam program. Jika program dilakukan bergulir, atau menyediakan layanan setiap kali orang membutuhkannya maka memungkinkan evaluasi dilakukan pada dampak program hanya pada kelompok tertentu saja. Di sisi lain, jika program beroperasi tanpa awal dan akhir tertentu, maka memungkinkan mendapatkan gambar terbaik dari efektivitas program dengan mengevaluasi kapanpun evaluator siap. Oleh karena itu apapun masalahnya, desain evaluasi yang dirancang oleh evaluator harus mengikuti pengumpulan informasi dan sintesis dari program yang dievaluasi.
4. Who should be involved in choosing a design?
Siapa yang harus dilibatkan dalam memilih desain?. Yang dapat terlihat dalam memilih desain penelitian adalah evaluator dan team sebagai peneliti dan mitra atau klien dalam penelitian, termasuk semua orang yang berkepentingan atau berpengaruh dalam perencanaan, dan pelaksanaan program. Keterlibatan evaluator ahli dapat membantu dalam mengarahkan pemilihan desain evaluasi agar tidak menghabiskan waktu dalam menetapkan desain evaluasi.
5. How do you go about deciding what kind of research design will best serve the purposes of your evaluation?
Bagaimana evaluator memutuskan jenis desain penelitian terbaik untuk melayani keperluan evaluasi?. Beberapa jawaban yang harus dapat dijawab adalah:
a. Sifat dari pertanyaan penelitian yang dicoba dijawab
b. Tantangan untuk penelitian, dan cara-cara yang dapat dilakukan untuk menyelesaikan atau mengurangi hambatan
c. Jenis desain penelitian yang umumnya digunakan, dan detail setiap desain
d. Kemungkinan mengadaptasi desain penelitian tertentu untuk program atau situasi tertentu.
Berdasarkan kajian mengenai Desain evaluasi yang telah dikemukakan di atas maka dapat disimpulkan bahwa terdapat cara-cara
yang harus diperhatikan dalam memilih desain evaluasi. Dinyatakan bahwa dalam memilih desain evaluasi seorang evaluator wajib mengetahui potensi-potensi (sumber daya) yang dimiliki untuk memutuskan desain apa yang akan digunakan dalam evaluasi. Hal ini bermaksud agar evaluasi yang dilakukan dapat memiliki tahapan yang mengarahkan pada tujuan dilakukannya evaluasi dengan baik.
Pada dasarnya dalam desain evaluasi terdapat dua unsur utama yang harus diperhatikan oleh seorang evaluator yaitu Model Evaluasi yang akan dipilih dan Metode Evaluasi yang akan digunakan. Wirawan (2011:148) menyatakan bahwa evaluator harus memilih salah satu dari model evaluasi, ada beberapa pertimbangan dalam memilih model evaluasi:
a. Pertimbangan Teknis adalah pertimbangan bagaimana teknis (cara) yang akan digunakan dalam menjaring informasi, memutuskan kemampuan evaluator dari segi teknis melakukan proses evaluasi.
b. Pertimbangan Biaya. Disesuaikan dengan kemampuan peneliti dalam segi biaya
c. Pertimbangan Waktu penelitian yang tersedia untuk melaksanakan suatu model evaluasi
d. Permintaan Pemangku kepentingan, disesuaikan dengan penyandang dana penelitian.
Sedangkan pertimbangan dalam memilih Metode penelitian dalam evaluasi program dikemukakan oleh Wirawan (2011:151) adalah sebagai berikut:
1. Pertimbangan Teoritis
Pertimbangan teoritis atau pertimbangan saintifik terkait dengan data yang akan dijaring dalam mencapai tujuan evaluasi. Pertimbangan teoritis terdiri dari jenis data, kekuatan saintifik data dan filosofi dari evaluasi yang dilakukan. Metode kualitatif memungkinkan evaluator untuk meneliti objek evaluasi secara lebih dalam dan rinci, sedangkan metode kuantitatif menggunakan kriteria-kriteria untuk menjaring data yang menggunakan standarisasi data dan pengukurannya. Untuk menjaring data dengan lebih luas dan lebih rinci evaluator dapat menggunakan metoda campuran kuantitatif dan kualitatif.
2. Pertimbangan Praktis
Pertimbangan praktik dalam memilih metode penelitian yang akan digunakan adalah:
a. Waktu yang tersedia
b. Tenaga. Terkait juga dengan wilayah penelitian yang akan dijangkau.
c. Biaya. Metode kualitatif dan campuran membutuhkan biaya yang lebih besar dari kuantitatif.
d. Aksesibilitas responden (kemampuan responden untuk dapat ditemui dan dijangkau)
e. Daerah Operasi Program.
Terkait dengan evaluasi program dalam seorang evaluator dapat menentukan desain yang akan digunakan dalam melaksanakan evaluasi pendidikan dengan pertimbangan seperti yang dikemukakan di atas.
Evaluator pendidikan dapat memilih model evaluasi yang harus dilakukan dan proses melaksanakan evaluasi kemudian menentukan metode penelitian memilih salah satu apakah evaluasi program pendidikan Kejuruan akan dilakukan dengan metode kuantitatif, kualitatif, atau campuran, evaluator juga menentukan jenis data yang akan dijaring, teknik menjaring data dan instrumen yang dipergunakan.