MENGEVALUASI PELATIHAN
PENYUSUNAN RANCANGAN
Sebelum melaksanakan M&E, rancangan atau disain pelaksanaan M&E perlu lebih dahulu mendapat input dari berbagai pihak untuk dikembangkan agar dapat menjaring aspirasi dari konstituen maupun penyelenggara/proyek. Rancangan ini diperlukan sebagai pedoman dalam melaksanakan M&E.
Secara umum, beberapa komponen utama yang perlu ada dalam rancangan M&E antara lain: (1) penentuan fokus dan tujuan, (2) penentuan komponen dan indikator, (3) rancangan pengumpulan data dan pengembangan instrumen, (4) penyusunan rencana kerja.
1. Penentuan Fokus dan Tujuan
Fokus kegiatan M&E perlu ditentukan, yaitu apakah lebih menekankan pada kegiatan monitoring atau pada evaluasi. Seperti dikemukakan di muka, monitoring memfokuskan pada perolehan informasi mengenai pelaksanaan program pelatihan, sedangkan evaluasi memfokuskan pada hasil program pelatihan atau program. Di samping itu, mengacu pada program-program pelatihan yang sedang atau telah dilaksanakan, perlu ditentukan tujuan M&E secara jelas dan operasional sehingga kriteria pencapaiannya dapat diukur dan mudah diketahui. Berkaitan dengan hal tersebut, perlu dilakukan pencermatan terhadap program pelatihan atau proyek yang akan di M&E.
2. Pengembangan Komponen dan Indikator
Komponen dan indikator program pelatihan yang akan di M&E perlu ditentukan. Penentuan komponen ini didasarkan pada tujuan diselenggarakannya M&E dan substansi program pelatihan. Untuk kegiatan monitoring, komponen yang perlu dipantau terutama mengenai komponen proses pelaksanaan, termasuk kondisi masukan dan pengelolaannya dalam rangka proses pelaksanaan program pelatihan. Adapun untuk kegiatan evaluasi
Penentuan indikator dan kriteria yang digunakan untuk M&E sangat terkait dengan komponen yang akan di M&E. Indikator merupakan penjabaran dari komponen-komponen program yang akan di M&E. Dalam hal ini, setiap komponen dijabarkan menjadi indikator- indikator, termasuk kriteria pencapaiannya.
3. Rancangan Pengumpulan Data dan Pengembangan Instrumen
Sesuai dengan tujuan M&E dan komponen yang akan di dikaji, perlu ditentukan rencana pengumpulan data. Dalam hal ini, data apa saja yang akan dijaring dan siapa responden atau sumber datanya. Setelah hal tersebut ditentukan, maka langkah selanjutnya adalah mengembangkan instrumen.
Pengembangan instrumen dilakukan dengan mengacu pada komponen-komponen program yang akan di M&E. Penyusunan instrumen mencakup penentuan jenis instrumen dan isi instrumen. Isi instrumen hendaknya disusun berdasarkan kisi-kisi substantif dari komponen dan indikator, dan perlu dilakukan validasi serta uji coba untuk memperoleh instrumen yang valid dan reliable. Satu komponen dapat dijabarkan menjadi beberapa indikator. Sebagai gambaran, contoh instrumen M&E pada lampiran dapat digunakan sebagai acuan untuk dikembangkan sesuai program
4. Penyusunan Rencana Kerja
Rencana kerja pelaksanaan M&E perlu disusun, mencakup berbagai kegiatan dalam M&E, terutama pengumpulan data, analisis data, pembuatan laporan, dan tindak lanjutnya. Dalam hal ini, perlu disusun jenis kegiatan, waktu pelaksanaan, pelaksana atau evaluator, hasil yang diharapkan, instrumen dan metode yang digunakan, serta subyek atau sumber data.
Berikut ini merupakan salah satu contoh format rencana kerja penyelenggaraan M&E:
Tabel 1. Rencana Kerja Pelaksanaan M&E No Waktu Kegiatan Hasil Yang
Diharapkan
Pelaksana Tempat Responden/ Sumber Data Alat/ Instrumen 1. ... ... ... ... ... ... ... 2. ... ... ... ... ... ... ... 3. ... ... ... ... ... ... ... Dst. ... ... ... ... ... ... ... J. PELAKSANAAN
Kegiatan pelaksanaan M&E program pelatihan pada dasarnya terdiri atas empat, yaitu pengisian kuesioner oleh responden, mencermati dokumen yang terkait dengan program pelatihan, observasi kegiatan program, dan wawancara. Empat kegiatan tersebut dilakukan untuk saling melengkapi dan cek silang (cross check). Misalnya informasi dari isian kuesioner dicek dengan observasi atau wawancara. Empat kegiatan tersebut dapat juga dilakukan secara simultan. Misalnya ketika melakukan observasi langsung diteruskan dengan wawancara untuk kontrolnya. Juga hasil observasi dapat dicek dengan data
penyelenggara untuk menunjuk orang. Mengapa? Agar diperoleh informasi yang objektif, jujur dan tidak cenderung membaik-baikan atau sebaliknya menjelek-jelekkan. Namun harus diupayakan responden yang mengetahui kondisi atau program-program, sehingga dapat memberikan penilaian. Sebagai contoh, ketika memilih target group sebagai responden, sebaiknya yang aktif dalam kegiatan proyek/program atau pengguna jasa. Target group yang tidak terlibat dalam program atau menerima mnfaat jika diundang, tentu tidak mengetahui kegiatan proyek, khususnya program pelatihan.
Responden untuk wawancara pada dasarnya sama dengan responden pengisi kuesioner dengan maksud mengecek isian mereka. Atau responden lain untuk mengecek isian kuesioner teman mereka. Misalnya isian kuesioner dari seorang trainer/fasilitator dicek melalui wawancara dengan trainer/fasilitator lain. Yang penting, arahnya untuk mencari informasi yang sebenarnya. Jika terjadi perbedaan perlu dilakukan trianggulasi, yaitu menanyakan ke orang ketiga untuk mendapatkan informasi sebenarnya.
1. Pengisian Kuesioner.
a. Responden untuk penyelenggara terdiri dari: team leader, advisor, spesialist, dll. b. Pemilihan responden diupayakan bukan orang yang ditunjuk oleh pimpinan
proyek/program, tetapi dipilih oleh petugas M&E.
c. Usahakan agar responden mengisi kuesioner secara terpisah/tidak saling mencontoh dan tidak dilihat oleh pimpinan proyek/program, sehingga dapat bebas mengisinya. d. Perlu dijelaskan bahwa pengisian kuesioner dengan menuliskan nama, tetapi pengisian
tidak berpengaruh terhadap yang bersangkutan. Petugas M&E harus dapat meyakinkan bahwa isian semata-mata untuk penyempurnaan program pelatihan dan tidak akan berpengaruh kepada karier pengisi
e. Pengisian kuesioner harus selesai pada hari itu juga dan hasilnya dibawa pulang oleh petugas yang datang. Isian kuesioner seorang responden tidak boleh dilihat oleh responden lain dan juga oleh pimpinan proyek/program
2. Penggalian Data Dokumen
a. Data dokumen yang perlu dicermati adalah: (1) rancangan program pelatihan/ proyek secara umum, (2) sosiologis target group, (3)) data tentang kegiatan pelatihan dan prestasi yang dicapai, (5) data prestasi lulusan, khususnya yang terkait dengan capaian target dalam program/proyek, (6) laporan pelaksanaan program pelatihan, jika sudah ada, serta (7) data lain yang diperlukan.
b. Ketika mencermati data dokumen harus selalu diingat data yang sebelumnya sudah ditemukan. Misalnya jika pada isian kuesioner disebutkan pelaksanaan suatu program mencapai 60%, perlu dicek apakah catatan-catatan yang ada sesuai dengan isian tersebut.
c. Ketika mencermati data dokumen perlu diarahkan untuk menjawab pertanyaan: (1) Apakah program pelatihan sesuai dengan kebutuhan target group (akuntabel)? Pertanyaan ini dijawab dengan cara mencocokan isi program-program pelatihan dengan karateristik latar belakang sosiologis target group. (2) Apakah sasaran yang diajukan realistik? Pertanyaan ini dicermati dari data tentang kesiapan komponen fungsi-fungsi pendukung (komponen input) untuk mencapai sasaran tersebut, misalnya jumlah dan kualitas trainer/fasilitator, ketersediaan alat dan sebagainya. (3) Apakah sasaran yang disebutkan pada program pelatihan tercapai (4) Apakah dampak program pelatihan tersebut terhadap kepercayaan target group. Pertanyaan ini dijawab dengan melihat perkembangan peningkatan partisipasi target group terhadap program- program pelatihan/proyek (5) Akuntabilitas keuangan, dengan mencermati bukti-bukti pembukuan sehingga diketahui apakah penggunaan dana sudah sesuai dan dapat
K.
OBSERVASI
a. Observasi dilakukan untuk mencermati kegiatan sekolah atau bukti fisik yang berkaitan dengan program sekolah, misalnya KBM, kegiatan olahraga, hasil pengadaan fasilitas tertentu, rapat guru dan sebagainya.
b. Ketika melakukan observasi sebaiknya telah dipastikan data apa yang ingin didapatkan. Di samping itu juga telah mencermati data awal, baik dari program sekolah maupun isian kuesioner, sehingga observasi dapat tearah.
c. Hasil observasi diharapkan dapat menjawab pertanyaan: (1) Apakah manajemen sekolah cukup terbuka? Pertanyaan tersebut dapat dijawab dengan melihat apakah rapat guru berjalan dengan demokratis dan apakah program sekolah tersedia dan dapat dibaca oleh guru dan tatausaha bahkan orangtua siswa. (2) Apakah kegiatan yang diprogramkan berjalan dengan baik? Jawaban pertanyaan tersebut dicermati misalnya KBM yang diprogramkan, kegiatan diperpustakaan, kessuaian fasilitas yang diadakan dengan pengajuan pada program sekolah dan sebagainya.
L.
WAWANCARA
a. Wawancara dilakukan untuk menggali persepsi responden terhadap proses pelaksanaan program pelatihan. Wawancara juga digunakan untuk mencek data lain yang sudah lebih dahulu diperoleh. Misalnya data dokumen tentang kondisi sosiologis target group dapat dicek ketika wawancara. Data keterbukaan yang diperoleh dari kuesioner dapat dicek dengan wawancara dengan trainer/fasilitator, event orgnizer (tata usaha), peserta/lulusan dan target group.
b. Hasil wawancara diharapkan dapat mengungkap pertanyaan: (1) Apakah betul bahwa penyusunan program pelatihan dilakukan secara bersama-sama antara pimpinan/penanggung jawab, triner/fasilitator, event organizer (tata usaha), wakil peserta/lulusan dan wakil target group, termasuk masyarakat penerima manfaat proyek? (2) Apakah betul semua warga pelatihan, khususnya trainer/fasilitator mengetahui apa saja program pelatihan dan program proyek? (3) Apakah betul bahwa alokasi anggaran diketahui oleh warga proyek dan target group? (4) Apakah betul kerjasama antara warga pelatihan semakin membaik? (5) Apakah betul kerjasama antara program/proyek dengan target group dan masyarakat pengguna jasa semakin meningkat? (6) Apakah penggunaan dana dilakukan secara terbuka? (7) Apakah program-program proyek diyakini akan terus berlanjut, karena memang merupakan kebutuhan target group?
c. Semua yang ditanyakan pada butir (b) di atas juga ditanyakan pada kuesioner. Wawancara lebih banyak melakukan pendalaman atau pemeriksaan tentang isian kuesioner. Oleh karena itu sebaiknya sebelum melakukan wawancara isian kuesioner telah dibaca dan dipahami lebih dahulu.
M.
ANALISIS DATA
Analisis pada M&E dasarnya untuk menjawab pertanyaan pokok, antara lain:
1. Apakah visi, misi, dan tujuan telah sesuai dengan target group dan lingkungannya? 2. Apakah sasaran yang diajukan dalam program pelatihan realistik
penting tersebut dapat dirinci menjadi: (1) Apakah proses pengambilan keputusan, baik menyangkut program maupun alokasi keuangan, semakin partisipatif dan terbuka? Misalnya dalam penyusunan program, rapat-rapat dan pengambilan kebijakan lainnya. (2) Apakah kerjasama antar warga pelatihan dan mitra maupun antara proyek dengan lingkungan target group dan masyarakat sekitar berjalan semakin baik? (3) Apakah kemandirian program sudah menunjukkan arah kepada keberlanjutan? Juga apakah program/proyek mampu menumbuhkan partisipasi masyarakat? (4) Apakah pelaksanaan program maupun penggunaan anggaran akuntabel, baik dari aspek kegiatan maupun keuangannya?
7. Apakah program pelatihan efektif, artinya apakah sasaran-sasaran yang diajukan dapat tercapai?
8. Apakah ada dampak positif atau negatif dari proyek dan program pelatihan?
Data M&E ini tidak dapat dianalisis secara linier dengan satu butir pertanyaan atau sumber data. Oleh karena itu berdasarkan data yang diperoleh, baik isian kuesioner, dokumentasi, hasil pengamatan (observasi) dan wawancara tersebut, petugas M&E dituntut untuk mampu memastikan jawaban dari pertanyaan-pertanyaan di atas. Perlu dicatat bahwa simpulan (hasil analisis) sangat mungkin tidak berupa jawaban “ya atau tidak”, tetapi seberapa jauh perkembangan yang terjadi. Misalnya, keterbukan manajemen tidak menuntut jawaban “terbuka” atau “tidak terbuka”, tetapi seberapa jauh peningkatan keterbukaan yang terjadi setelah adanya program sekolah tersebut.
Oleh karena itu, setelah mencermati data yang diperoleh, petugas M&E harus dapat menjawab pertanyaan-pertanyaan di atas. Sebagai contoh, bagaimana menyimpulkan bahwa sasaran yang diajukan sekolah realistik atau tidak. Perlu dicermati hasil identifikasi fungsi-fungsi untuk mencapai sasaran, hasil analisis SWOT, dan program untuk mengatasi komponen yang lemah dan ancaman. Setelah itu dicermati apakah memang program yang diajukan realistik, yaitu sesuai dengan kondisi dan kemampuan. Jika Anda menilai tidak mungkin program itu dapat terlaksana karena potensi yang ada tidak mampu mendukung, berarti sasaran tidak realistik.
Apakah hal seperti itu tidak subyektif? Jawabnya ya, jika petugas M&E benar-benar memahami konsep M&E dan mengerti kondisi program/proyek, memiliki sikap jujur, maka simpulan tidak akan terlalu bias. Oleh karena itu tiga aspek itu (pemahaman konsep M&E, pemahaman kondisi program, dan kejujuran) merupakan modal yang harus dimiliki oleh petugas M&E.
N.
PENYUSUNAN LAPORAN
Untuk M&E yang dilakukan oleh pihak di luar sekolah (eksternal), struktur laporan sebagai berikut:
Bab I :
Gambaran Umum Proyek /Program Program-program Pelatihan
Bab II : Deskripsi Data
Kondisi dan Dukungan Komponen Konteks Ketersediaan dan Kesiapan Komponen Input Proses Pelaksanaan/Keterlaksanaan Program Ketercapaian Sasaran/Hasil
Dampak Program Pelatihan Terhadap Target group dan tujuan Umum Proyek Peningkatan Sebelum dan Setelah Pelaksanaan Program-Program Pelatihan Pertanggungjawaban Keuangan
O.
PEMANFAATAN HASIL DAN TINDAK LANJUT
Seperti disebutkan sebelumnya bahwa hasil M&E akan digunakan sebagai landasan pengambilan keputusan, baik keputusan pada tingkat program pelatihan yang bersangkutan, maupun proyek secara keseluruhan
Program pelatihan
Program pelatihan secara langsung dapat memanfaatkan hasil M&E, terutama yang berfokus pada monitoring pelaksanaan program yang dilakukan oleh tim internal. Dengan mencermati laporan hasil M&E dapat diidentifikasi berbagai hambatan dan kemajuan dalam pelaksanaan program-. Hasil M&E tersebut berfungsi formatif, yaitu sebagai acuan untuk memperbaiki berbagai kelemahan dan kendala dalam pelaksanaan program pelatihan agar hasilnya dapat lebih baik. Hal ini terutama menyangkut berbagai komponen dan indikator yang secara langsung mampu ditangani penyelenggara program pelatihan.
Pimpinan proyek menggunakan hasil M&E sebagai acuan dalam melakukan pembinaan terhadap para trainer, advisor, spesialist dan staf lainnya, serta sebagai dasar dalam penyusunan program yang akan datang. Berkaitan dengan hal tersebut, sebaiknya proyek secara rutin mengadakan pertemuan konstituen, guna membahas temuan-temuan M&E. Laporan hasil M&E yang disusun oleh internal juga digunakan sebagai bentuk laporan kemajuan dan akuntabilitas terhadap donor
Hasil M&E yang dilakukan oleh tim eksternal, dimanfaatkan oleh proyek sebagai bahan refleksi. Dengan mencermati hasil M&E tersebut, proyek dapat mengetahui kelemahan dan keunggulan program- program proyeknya dibanding proyek lain. Berkaitan dengan hal tersebut, bila M&Enya kurang baik hendaknya tidak segan-segan untuk berkonsultasi atau bertukar pengalaman dengan proyek atau program lain yang lebih maju. Demikian pula, proyek hendaknya perlu berkonsultasi dengan Pengawas mengenai berbagai hal yang terkait dengan upaya untuk meningkatkan kinerja proyek, khusus program pelatihan