KETENTUAN PROSES DAN PROSEDUR
MONEV TENGAH-AKHIR TAHUN IMPLEMENTASI PHK TPSDP, A2 DAN SP4 Untuk Internal Reviewer PUSAT JAMINAN MUTU (PJM)
UNIVERSITAS BRAWIJAYA TAHUN 2005
LATAR BELAKANG
Dalam rangka meningkatkan kesehatan institusi, Universitas Brawijaya telah mengikuti beberapa Program Hibah Kompetisi (PHK) sejak 1998. Tujuan proyek DUE, DueLike, QUE, TPSDP dan Program Hibah Kompetisi (PHK) Dikti adalah meningkatkan mutu pendidikan di jurusan di masing-masing Perguruan Tinggi penerima hibah. Tercapainya peningkatan mutu pendidikan akan diukur menggunakan beberapa indikator kinerja (performance indicators) yang telah ditetapkan maupun yang diusulkan oleh penerima hibah. Sasaran kuantitatif indikator-indikator tersebut ditetapkan sebelum program dimulai dan dicantumkan dalam proposal dan Rencana Implementasi Proyek (Project Implementation Plan/PIP) yang diajukan oleh penerima hibah dari masing-masing Perguruan Tinggi. Peningkatan mutu pendidikan yang ditunjukkan oleh peningkatan indikator-indikator tersebut diharapkan tercapai karena adanya perbaikan didalam pengelolaan Jurusan dan pelaksanaan Program Studi sebagai dampak dari implementasi hibah dari Direktorat Jenderal Pendidikan Tinggi.
Majelis dan komisi yang ada di Dewan Pendidikan Tinggi bertanggung jawab melaksanakan monitoring dan evaluasi terhadap kinerja yang dicapai. Akan tetapi secara internal tugas Monev implementasi PHK tersebut menjadi tanggung jawab Pusat Jaminan Mutu (PJM) Universitas Brawijaya untuk mengevaluasi pengembangan Jurusan dan Program Studi, sesuai dengan tujuan dan sasaran yang telah ditetapkan oleh penerima hibah, baik secara kualitatif yaitu berupa evaluasi terhadap ada tidaknya perbaikan ke arah tujuan yang diinginkan oleh unit penerima hibah, maupun secara kuantitatif yaitu ada tidaknya peningkatan indikator kinerja pada setiap akhir tahun pelaksanaan proyek/program selama proyek/program berlangsung. Selain itu reviewer internal PJM-UB juga melakukan evaluasi tahunan terhadap kemajuan yang dicapai dalam pelaksanaan kegiatan investasi yang dilakukan oleh proyek/program tersebut sekaligus untuk mengetahui permasalahan yang dihadapi.
Berdasarkan SK Rektor Universitas Brawijaya No. 023/A/SK/2006, tugas dari PJM-UB adalah:
1. Mengembangkan prosedur kerja baku (Standard Operation Procedure atau SOP) untuk: a. Menjamin kualitas dan seleksi internal proposal Program Hibah Kompetisi (PHK) dari
DIKTI
b. Menjamin kualitas pelaksanaan PHK DIKTI tersebut melalui Monitoring dan Evaluasi (Mone)
c. Pendampingan pada saat visitasi PHK dari DIKTI
d. Menjamin kualitas Penelitian dan Pengabdian pada Masyarakat
e. Menjamin kualitas usulan akreditasi Program Studi/Institusi melalui pendampingan 2. Monitoring dan evaluasi uji coba serta implementasi manual untuk kegiatan akademik 3. Pengembangan Sistem Jaminan Mut Akademik di Universitas Brawijaya
4. Menyebarluaskan praktek baik (good practices) dari suatu unit penerima PHK ke unit yang lain.
TUJUAN
Tujuan utama dilakukannya monitoring dan evaluasi adalah :
1. Mengetahui dengan jelas perkembangan unit penerima hibah dalam mengimplementasikan rencana pengembangannya yang tertuang didalam proposal dan Rencana Implementasi Proyek.
2. Membantu unit penerima hibah dengan memberikan masukan-masukan dalam menghadapi berbagai permasalahan yang dijumpai dalam rangka pelaksanaan rencana pengembangannya.
3. Memberikan laporan dan rekomendasi kepada Rektor dan Penanggungjawab Kegiatan mengenai tindak lanjut pelaksanaan pemberian hibah dari Direktorat Jenderal Pendidikan Tinggi pada unit penerima hibah tersebut.
KRITERIA MONITORING DAN EVALUASI YANG BAIK
Proses monitoring dan evaluasi yang dianggap baik harus dapat memenuhi kriteria sebagai berikut:
1. Reliable (kehandalan).
Keandalan dari suatu proses monitoring dan evaluasi dinilai dengan kesamaan hasil proses monitoring dan evaluasi tersebut pada berbagai kondisi yang relatif sama, kalau antar kondisi-kondisi tersebut diperbandingkan. Dengan demikian, faktor-faktor subyektifitas (seperti karakteristik individu para reviewer, penafsiran dan penilaian yang tidak berdasar, dsb) dalam pelaksanaan monitoring dan evaluasi sedapat mungkin dikurangi ataupun dihindari.
2. Transparan.
Transparansi pada proses monitoring dan evaluasi bergantung pada sejauh mana pihak yang melakukan monitoring dan evaluasi dan pihak yang dimonitor dan dievaluasi memahami dengan baik proses tersebut, termasuk pemahaman mengenai tujuan, alasan maupun hasil yang diharapkan.
3. Credible (dapat dipercaya).
Tingkat kredibilitas suatu proses monitoring dan evaluasi sangat bergantung pada tingkat validitas hasil proses monitoring dan evaluasi tersebut. Oleh karena itu, kecermatan dalam mengukur prestasi yang telah dicapai dalam mencapai tujuan yang diinginkan dan mengukur kewajaran dalam pembiayaan implementasi program, serta keterbukaan dari yang dimonitor dan dievaluasi (penerima hibah) menjadi faktor yang sangat penting dan perlu mendapatkan perhatian.
4. Comprehensiveness (tingkat komprehensif).
Tingkat Komprehensif dari suatu proses monitoring dan evaluasi sangat bergantung kepada keseuaian jumlah obyek yang diamati dan kesesuaian jumlah sampel responden (mahasiswa, dosen, dsb) yang disiapkan oleh unit yang dimonitor dan dievaluasi.
5. Universality.
Keuniversalan suatu proses monitoring dan evaluasi bergantung pada sejauh mana proses tersebut dapat diadopsi dan dilaksanakan pada berbagai subject area dan pada berbagai kondisi.
6. Effectiveness.
Efektivitas proses monitoring dan evaluasi yang berkualitas bergantung pada sejauh mana dampak dari proses tersebut menyebabkan penerima hibah secara sadar melakukan proses pengembangan yang berkesinambungan (continuous improvement), termasuk melakukan identifikasi peluang-peluang pengembangan, memberikan informasi secara berkesinambungan pada para stakeholder mengenai perkembangan institusinya, dsb.
Ke 6 kriteria tersebut diatas, sebaiknya dipahami benar oleh para reviewer yang melakukan proses monitoring dan evaluasi.
SKEMA DAN PROSEDUR
Monev tengah tahun dan akhir tahun akan dilaksanakan oleh sebuah tim internal reviewer PJM atau minimal harus terdiri dari dua orang reviewers. Monev dilakukan dua kali dalam
satu tahun, yaitu di tengah dan akhir tahun implementasi. Monev dilakukan dengan desk evaluation didasarkan pada Laporan Tengah Tahun dan Presentasi Kemajuan PHK di depan seluruh taskforce penerima hibah.
• Desk evaluation
Dilakukan oleh dua (2) orang internal reviewer PJM dan dimaksudkan untuk mendapat informasi secara detail kemajuan, kendala dan solusi alternatif yang dilakukan oleh penerima PHK berdasarkan Laporan yang telah dibuat. Setiap penerima PHK menyerahkan dua eksemplar Laporan. Dialukan pada Monev tengah dan akhir tahun.
• Progress Report Presentation
Selain itu, pada waktu yang disepakati, penerima hibah melakukan presentasi di hadapan seluruh penerima PHK di lingkungan Universitas Brawijaya. Komentar dari reviewer pada saat desk evaluation dapat diklarifikasi melalui diskusi. Selain itu, forum ini juga diharapkan menjadi sarana penyebaran dari good practices setiap penerima hibah. Pimpinan fakultas dan universitas dapat hadir dalam acara ini untuk memberikan pengarahan.
• Site visit
Selain itu, pada waktu yang disepakati pada akhir tahun, dilakukan visitasi untuk melakukan klarifikasi keberhasilan, kendala dan dampak hibah yang diterima. Dilakukan oleh dua (2) orang internal reviewer PJM dan dialog dengan Pimpinan Fakultas, Jurusan, PIC, dosen dan mahasiswa serta pemeriksaan dokumen pendukung.
Kriteria dan Monitoring-Evaluasi
Setiap laporan implementasi PHK diberi penilaian, komentar dan catatan koreksi sebagai bahan pertimbangan bagi perbaikan implementasi PHK.
Pada saat visitasi maupun proses Monev, reviewer mendapat form Monev sbb:
Kriteria dan Evaluasi Implementasi PHK berdasarkan waktu A. Monev Tengah Tahun
Menitik-beratkan pada dampak dari pelaksanaan proyek, kesesuaian arah perkembangan dengan tujuan dan sustainabilitas hasil pengembangan. Komponen Penilaian Monev Tengah Tahun untuk PHK SP4, A2 dan TPSDP
Komentar Umum: Evaluasi Diri (ED), Program Pengembangan (PP), capaian, kendala, masalah yang dihadapi & solusinya, apakah implementasi proyek berjalan sebagaimana aturan yang berlaku
a. Kepemimpinan dan komitmen PT b. Kemampuan melakukan evaluasi diri c. Program yang diusulkan
d. Keberlanjutan program B. Monev Tahunan
Menitik-beratkan pada capaian, kendala dan masalah yang dihadapi dan solusi yang telah & akan dilakukan dalam melaksanakan proyek/program hibah pada tahun berjalan. Komponen Penilaian Monev Akhir Tahun untuk PHK SP4, A2 dan TPSDP
Komentar Umum: Evaluasi Diri (ED), Program Pengembangan (PP), capaian, kendala, masalah yang dihadapi & solusinya, apakah implementasi proyek berjalan sebagaimana aturan yang berlaku
a. Kepemimpinan dan komitmen PT b. Kemampuan melakukan evaluasi diri c. Program yang diusulkan
d. Program yang akan direncanakan pada tahun berikutnya e. Keberlanjutan program
C. Monev Akhir Proyek
Menitik-beratkan pada dampak dari pelaksanaan proyek, pencapaian tujuan dan arah perkembangan selanjutnya serta usaha-usaha yang telah/akan dilaksanakan untuk menjaga sustainabilitas hasil pengembangan.
Komponen Penilaian Monev Akhir Project untuk PHK SP4, A2 dan TPSDP
Komentar Umum: Evaluasi Diri (ED), Program Pengembangan (PP), capaian, kendala, masalah yang dihadapi & solusinya, apakah implementasi, output dan outcomes proyek berjalan sebagaimana aturan yang berlaku
a. Kepemimpinan dan komitmen PT b. Kemampuan melakukan evaluasi diri c. Program yang diusulkan
d. Keberlanjutan program
Setiap laporan diriview oleh dua (2) orang reviewer internal dan tim yang bertugas diminta untuk menyusun komentar gabungan hasil konsolidasi. Jika sebuah konsensus tidak dapat dicapai, tim reviewer harus menunjukkan dengan jelas pendapat yang berbeda tersebut (dissenting opinion). Komentar (consolidated) dikirimkan ke Sekretariat PJM (pjm-ub@brawijaya.ac.id) dalam waktu 7 (tujuh) hari setelah kegiatan Monevin. Hasil penilaian dilaporkan Ketua PJM ke Rektor dengan tembusan penerima hibah.
Code of conduct bagi para reviewer
Tim yang melakukan monev dibiayai oleh Universitas. Karena itu tidak diperbolehkan menerima pembayaran atau bantuan finansial dalam bentuk apa pun dari penerima hibah. Tim yang melakukan monev harus menangani semua informasi dan data yang diperoleh dengan kerahasiaan tinggi dan menggunakan informasi tersebut hanya untuk dan dalam evaluasi PHK saja.
Lampiran 1. Contoh Monev Tengah Tahun PHK A2
MONEV TENGAH TAHUN IMPLEMENTASI PHK A2
UNIVERSITAS BRAWIJAYA TAHUN 2005
Jurusan/Fakultas : Farmasi/Kedokteran Reviewer : Endang Arisoesilaningsih
KOMENTAR UMUM
Jurusan Farmasi sedang melakukan kegiatan pengembangan dengan dana PHK A2 2004 untuk meningkatkan kualitas lulusan berdasarkan hasil evaluasi diri. Secara umum evaluasi diri telah dilakukan, namun ketajaman prioritas kegiatan akan lebih mudah ditentukan apabila evaluasi diri telah dilakukan dengan metode yang benar sesuai Pedoman PHK A2. Selain itu, kegiatan pengelolaan program belum didasarkan pada struktur organisasi yang tepat, BME telah berubah menjadi PJM.
Tiga kegiatan yang diusulkan tahun 2005 adalah peningkatan relevansi dan soft skill lulusan, peningkatan mutu manajemen internal dan peningkatan kerjasama untuk kegiatan kewirausahaan. Ketua Taskforce Jurusan Farmasi telah berhasil melakukan koordinasi sehingga kegiatan berjalan tanpa kendala berarti dengan kemajuan fisik rata-rata telah lebih dari 50%. Sementara itu, capaian kemajuan fisik setiap sub kegiatan masih bervariasi dari 7-100%. Kemajuan terendah umumnya pada kegiatan terkait dengan pengadaan barang dan penjadwalan. Untuk itu, Jurusan telah berupaya melakukan negosiasi dengan rekanan dan penjadwalan ulang. Keberhasilan juga ditunjukkan oleh beberapa indikator capaian terkait output (misalnya implementasi student active learning, jumlah kerjasama penelitian dan jumlah magang). Beberapa indikator masih bersifat kualitatif dan tidak dijelaskan bagaimana metode mengukurnya. Secara umum implementasi awal program tahun ke-1 telah memperbaiki beberapa indikator kinerja yang ditetapkan, memperbaiki keterlibatan staff dalam program pengembangan jurusan dan meningkatkan resource sharing dengan jurusan lain di Fakultas Kedokteran.
a. Kepemimpinan dan komitmen PT
Keberhasilan dan keterlibatan sivitas akademika serta pihak eksternal, pencairan dana DRK dan usulan kegiatan Jurusan Farmasi yang selaras dengan visi/misi Fakultas/Universitas menunjukkan komitmen untuk memperbaiki kualitas lulusan. Selain itu, ada upaya untuk memperbaiki kepemimpinan staf juga ditunjukkan oleh usulan peningkatan manajemen sumber daya manusia. Akan tetapi, taskforce perlu memperhatikan bagaimana metode pengukuran indikator sikap kepemimpinan dan keharmonisan sivitas akademika dengan penilaian “kurang, cukup, baik”. Sebaiknya ada batasan nilai “kurang, cukup, baik”, sehingga evaluasi keberhasilan lebih konsisten.
b. Kemampuan melakukan evaluasi diri
Evaluasi diri belum dilakukan secara mendalam dengan teknik yang tepat. Akibatnya, Jurusan Farmasi belum menemukan akar permasalahan sebenarnya dari masalah yang teridentifikasi. Dengan kata lain, daftar masalah dan akar permasalahan yang teridentifikasi masih ber”masalah”, misalnya masalah “masa studi lama”, akar permasalahan yang teridentifikasi masih berupa masalah yaitu “penyelesaian TA lama, metode PBM kurang memadai, penyelesaian administrasi lambat, sarana dan prasana PBM kurang”. Hal ini juga berlaku untuk permasalahan yang lain. Keberhasilan menemukan akar permasalahan menjadi awal ketepatan dan keberhasilan pengusulan kegiatan. Evaluasi diri perlu dilakukan secara periodik dengan melibatkan internal dan external stakeholders.
c. Program yang diusulkan
Jurusan Farmasi telah melaporkan kegiatan secara cukup detail, sehingga tahapan kegiatan dapat lebih mudah ditelusuri. Akan tetapi, format penulisan Bab 4 terutama tentang “pelaksanaan mekanisme dan rancangan”, “hasil pelaksanaan” dan “capaian indikator kegiatan” belum tepat. Narasi yang ditulis di “hasil pelaksanaan” sebaiknya ditulis di bagian “pelaksanaan mekanisme dan rancangan”, hasil pelaksanaan sebaiknya diisi dengan capaian indikator. Masih ada kesan, bahwa kegiatan yang dilakukan masih berorientasi pada investasi dan bukan pada outcomes. Setiap kegiatan harus dapat diukur melalui proxy indicator (indikator kinerja pendukung) bukan indikator utama. Dengan demikian maka indikator capaian yang sama tidak dituliskan berulang-ulang. Taskforce perlu memperhatikan satuan rata-rata lama studi, teknik penentuan lama pelayanan laboratorium dan arsip jurusan, kemajuan pengembangan SIM hingga akhir project belum 100%, konversi nilai A,B,..,E menjadi TOEFL tidak relevan. Hal ini akan mempengaruhi efisiensi dan produktivitas hibah yang diperoleh.
d. Keberlanjutan program
Implementasi kegiatan baru diimplementasikan selama enam bulan dan tidak ada informasi tentang keberlanjutan program yang diusulkan. Akan tetapi, Jurusan Farmasi perlu
memperhatikan dan mengaitkan keberlanjutan PHK A2 ini dengan peningkatan jumlah proposal, jumlah kontrak kerjasama, promosi dan adanya pabrik mini. Adanya pabrik mini diharapkan tidak akan mengurangi interaksi sivitas akademika dengan external stakeholder.
Daftar Informasi yang harus digali/verifikasi
Adanya strong & focus visi, misi, tujuan & strategi pengembangan PT ke depan, yang menjadi acuan bagi visi, misi, tujuan & strategi pengembangan fakultas dan Jurusan/PS
Pemahaman pimpinan jurusan/PS tentang keterkaitan antara proposal PHK yang diajukan dengan Renstra PT. Renstra harus menjadi acuan dalam program pengembangan
Upaya PT untuk menggerakkan seluruh unsur (termasuk pembentukan tim Task Force) untuk seleksi internal yang adil dan transparan
Alasan pimpinan PT dalam menetapkan prioritas dan pengusulan proposal PHK DIKTI Menyediakan dana pendamping
Upaya PT untuk membangun sistem jaminan mutu penyelenggaraan pendidikan (academic quality
assurance)
Di tingkat jurusan/fakultas: ada upaya untuk mengundang keterlibatan secara kolektif lintas akademika dalam menyusun proposal/laporan. Penunjukkan task force yang kompeten, berwibawa, mampu mengorganisir, perbaikan dan finalisasi proposal/laporan sesuai pedoman
Keberadaan dan fungsionalisasi Monev PHK di institusi
Mutu penyelenggaraan dan pengelolaan program pendidikan secara keseluruhan
Kendala dan dampak implementasi dan capaian PHK terhadap penerapan good practices yang dirasakan pada tingkat PT maupun sivitas akademika di fakultas dan jurusan/PS
Kep
emi
mpinan & Komitmen
Mendapat info upaya menjaga keberlangsungan hasil pengembangan yang telah dicapai Kesesuaian kurikulum yang digunakan dengan kebutuhan pada lapangan kerja
Kesesuaian kurikulum yang digunakan dengan kebutuhan untuk studi lanjut S2 dan S3 Kesesuaian ketrampilan lulusan dengan kebutuhan pada lapangan kerja
Kemandirian, kreatifitas, kemampuan berpikir logis dan kritis, lulusan PS ini, jumlah dan kualitas mata kuliah pilihan
Rel
evansi
Kebebasan mahasiswa dalam memilih MK pilihan sesuai dengan minatnya Komunikasi antar staf pengajar
Komunikasi antara staf pengajar dengan pimpinan
Komunikasi antara mahasiswa dengan pengajar didalam kelas Komunikasi antara mahasiswa dengan pengajar diluar kelas Komunikasi antar mahasiswa
Sarana komunikasi yang ada (seminar, majalah, dll)
Sarana komunikasi yang ada, didayagunakan secara optimal Keterlibatan mahasiswa dalam seminar ilmiah
Keterlibatan mahasiswa dalam penelitian staf Tugas akademik mahasiswa, selain kuliah Sistem penilaian ujian transparan
Suas
ana Ak
ad
emi
k
Mahasiswa diberi kesempatan untuk mengajukan keberatan atas nilai ujian Struktur organisasi dan koordinasi yang jelas
Deskripsi tugas, adanya Standard Operating Procedure (SOP) yang tersosialisasikan Kinerja dan motivasi staff dosen dan karyawan
Pembenahan sistem perencanaan dan penganggaran yang mencerminkan prioritas Pengembangan sistem monitoring dan evaluasi
Sistem prosedur dan pengambilan keputusan Penyederhanaan birokrasi
Manaj
emen intern
al
& organisasi
Pengelolaan sumber daya secara transparan, efisien dan efektif
Usaha menjamin eksistensi institusi, perolehan dana dari masyarakat (SPP, NGO, pemerintah dan industri..)
Usaha menjamin kualitas yang telah dicapai dengan penerapan good practices dalam aktivitas rutin
Keb
erlan
jutan
Usaha menjamin sumberdaya yang telah diinvestasikan dalam pemeliharaan Sarana untuk proses pembelajaran
Pendayagunaan sarana untuk proses pembelajaran
Pengaturan dan pelaksanaan jadwal kuliah maupun praktikum Jumlah staf akademik yang mengajar
Efisien
si &
Produktivita
s
Proses pembelajaran, berjalan sesuai dengan rancangan pengajaran Hasil proses pembelajaran, sesuai dengan yang diinginkan
Tingkat kehadiran mahasiswa dikelas
Mahasiswa tekun dan antusias dalam mengikuti perkuliahan Mahasiswa tekun dan antusias dalam menyelesaikan tugas Proses bimbingan mahasiswa
Tingkat pengambilan ulang mata kuliah Tingkat drop-out mahasiswa
