Oleh: Almy Zarlis, S.T.
Tahap 6. Pengukuran ROI ‐ Return of Investment (hasil dari investasi)
C. Evaluasi Sumatif
EVALUASI sumatif adalah bentuk evaluasi yang mudah dikenali sekaligus mudah diterapkan prinsip‐prinsipnya karena berasal dari penilaian. Konteks evaluasi di sini adalah memberikan penilaian sebagai tinjauan ulang atau review atas program yang telah dijalankan. Kegiatan ini membutuhkan berbagai data untuk mendukung penilaian yang diperoleh dari analisis yang dilakukan. Hasil inilah yang kemudian dibuatkan laporan evaluasi atau laporan hasil, kemudian tim evaluasi dapat merancang rekomedasi atas laporan hasil tersebut.
Tentu saja kegiatan evaluasi sumatif ini membutuhkan pendokumentasian data sepanjang pelaksanaan program atau perencanaan. Ini berarti kinerja di bidang‐bidang lain yang terlibat sangat dibutuhkan untuk dibuatkan laporan evaluasinya, misalkan hasil analisis data dari bidang atau seksi media. Tahapan ini bukan hanya melaporkan data, tetapi menginterpretasikan data, sehingga dapat dinilai seberapa jauh keberhasilan (atau kegagalan) dari bidang media ini. Begitu pula dengan bidang lain yang memasok data untuk dievaluasi. Kesemuanya menghendaki kelengkapan, agar dapat dilaporkan dengan baik. Tidak jarang, laporan evaluasi perencanaan komunikasi dilengkapi berlembar‐ lembar lampiran yang menunjukkan akurasi data. Salah satu yang dianggap penting adalah evaluasi sumatif bidang anggaran keuangan (budgeting and expenditure). Komponen ini mengharuskan evaluasi yang akurat didasari laporan dan data yang lengkap.
Pada banyak kasus, komponen keuangan merupakan hal yang cukup krusial manakala penyerapan anggaran tidak sesuai perencanaan. Sangat boleh jadi, terjadi perkembangan atau modifikasi yang diperlukan dalam proses yang mengharuskan penambahan biaya. Meskipun bersifat tentatif atau sewaktu‐ waktu manakala dibutuhkan, kasus seperti ini pada saat evaluasi mengharuskan kelengkapan data yang dapat dipertanggungjawabkan. Ini termasuk siapa yang
mengambil keputusan penambahan biaya, besarnya biaya hingga laporan
penggunaannya secara detail. Kelengkapan dan akurasi data keuangan dalam organisasi, atau institusi, merupakan kondisi yang harus terpenuhi. Biasanya dilengkapi dengan perangkat ketentuan atau peraturan tentang lalu lintas keuangan dengan bidang khusus yang menanganinya yakni bidang akuntansi.
Dalam UNDP (2009:137) disebutkan batasan tentang evaluasi sumatif.
Summative evaluation is conducted at the end of an initiative (or a phase of that initiative) to determine the extent to which anticipated outcomes were produced. It is
intended to provide information about the worth of the programme. Evaluasi sumatif dilakukan pada akhir dari inisiatif (atau pada salah satu tahapannya) untuk menentukan sejauh mana hasil yang diharapkan dapat diperoleh. Hal ini dimaksudkan untuk menyajikan informasi mengenai nilai hasil atas program tersbut. Kata inisiatif di sini dapat diartikan pelaksanaan upaya gagasan atau program. Mengacu kepada batasan ini maka evaluasi sumatif dapat disebut sebagai penilaian akhir atas hasil yang dicapai. Setelah selesai maka dilakukan penilaian atas raihan hasil.
Mengenai evaluasi sumatif ini, dalam UNDP (2009: 137) membuat kategori tambahan dengan apa yang diaebut Ex‐post evaluation yang dapat diartikan sebagai evaluasi purna‐hasil.
Ex-post evaluation is a type of summative evaluation of an initiative after it
has been completed; usually conducted two years or more after completion. Its purpose is to study how well the initiative (programme or project) served its aims, to assess sustainability of results and impacts and to draw conclusions for similar initiatives in the future.
Evaluasi purna‐hasil merupakan jenis evaluasi sumatif setelah seluruh upaya diselesaikan. Sering dilakukan setelah dua tahun kemudian. Gunanya untuk mempelajari bagaimana upaya tersebut mencapai tujuannya, untuk menilai kesinambungan dari hasil yang diperoleh dan dampak yang mungkin terjadi, serta untuk menarik kesimpulan yang berguna bagi kegiatan serupa di masa datang. Jika memahami batasan dari UNDP ini, contoh kasus di awal bab ini akan menjadi bahan pelajaran berharga bagi perencanaan komunikasi pembangunan di masa datang.
Evaluasi sumatif dapat dipandang sebagai sebuah kegiatan pasca‐kegiatan
perencanaan. Umumnya dilengkapi dengan laporan dan penilaian yang
diperoleh dari pengukuran (measurement). Komponen penilaian tersebut mengindikasikan bahwa terdapat program kerja yang bersifat metodologis, atau menggunakan metode tertentu untuk mengukur seberapa jauh kegiatan tersebut memperoleh hasil (outcome) dan seberapa jauh tujuan dapat terpenuhi (performed). Komponen pengukuran dalam konteks evaluasi sumatif yang biasa dilakukan adalah melakukan survey dan wawancara. Artinya, secara metodologis untuk evaluasi perencanaan komunikasi dapat dilakukan dengan metode kuantitatif ataupun metode kualitiatif, tergantung informasi dan data yang akan kita butuhkan sejauh dilakukan dengan maksud mengukur outcome dan perform tersebut.
Sebagai arahan evaluasi sumatif, umumnya dibuatkan semacam matriks untuk melihat komponen apa saja yang akan dievaluasi beserta langkah‐langkah yang diperlukan. Hal yang paling perlu dilakukan adalah menentukan maksud diadakannya evaluasi. Jadi pada saat evaluasi dilakukan, sudah memiliki arah akan ke mana pekerjaan evaluasi dan apa harapan yang akan diperoleh dari hasil evaluasi tersebut. Dengan telah ditetapkannya arah tersebut, maka akan diketahui hal‐hal apa saja yang akan dinilai dan akan diketahui hasilnya. Langkah berikutnya adalah menetukan kriteria evaluasi, yaitu menentukan komponen dari kegiatan yang akan dinilai. Pada contoh matriks berikut ini, dapat dilihat tiga kriteria perencanaan komunikasi yang akan dievaluasi:
Gambar 12.2. Contoh Matriks Evaluasi Kriteria Evaluasi Pertanyaan Kunci Rincian
Pertanyaan Sumber Data
Teknik Perolehan Data Ukuran Keberhasilan Teknik Analisis Data Efek media luar ruang (baliho) Kognitif Mengenali pesan himbauan Memahami pesan himbauan Penduduk setempat Pamong desa Wawancara Tercatat Kuesioner Mengenali isi pesan media Memahami maksud isi pesan media Interpretasi dokumen dan statistik kuantitatif Efek media luar ruang (baliho) Sikap Ketertarikan Kesukaan Kecende- rungan Penduduk setempat Pamong desa Wawancara tercatat Kuesioner Dianggap menarik Menyukai isi pesan media Bersedia melaksanakan himbauan Interpretasi dokumen dan statistik kuantitatif Tata kelola Keuangan Efisiensi Operasional Tertib catatan keuangan Penyerapan budget Biaya operasional Head of department Monitoring sheet Acounting report Tertib administrasi keuangan Pencapaian terget sesuai budget Interpretasi dokumen
Contoh matriks sederhana ini hanya akan melihat hasil dari ketiga item atas kriteria yang ditentukan. Boleh jadi, ada kriteria lain yang harus dinilai karena dianggap penting, misalnya kriteria pencapaian hasil setiap departemen di organisasi pelaksana program, maka isian pada kolom akan berbeda. Juga berarti matriks akan lebih panjang dan kompleks.
Pada contoh matriks di atas, peran montoring sheet merupakan hal yang cukup penting dalam membuat evaluasi. Adapun monitoring sheet adalah lembar
pemantauan tercatat atau terdokumentasi dalam kegiatan yang disebut
monitoring. Dalam hal ini, monitoring dapat diartikan sebagai kegiatan pengawasan atau pemantauan sepanjang pelaksanaan program atau saat strategi dijalankan. Jika diperhatikan bahwa monitoring sheet berperanan dalam kegiAtan evaluasi, bukan berarti kegiatan monitoring adalah kegiatan evaluasi; antara keduanya terdapat perbedaan.
