Seiring berjalannya waktu, “retorika kinerja” pemerintah telah melahirkan sejumlah pendekatan untuk menilai hasil kerja sama antar pemerintah (Radin 2000), yang kemudian diperluas hingga menilai hasil tata kelola kolaboratif dan CGR. Hanya sedikit orang yang menentang argumen bahwa menilai kinerja upaya kolaborasi antarorganisasi dan multipihak merupakan tugas manajemen publik yang penting (lih. Frederickson dan Frederickson 2006; Goldsmith dan Eggers 2004; Koliba, Meek, dan Zia 2010; Turrini et al. 2010 ). Meskipun demikian, mengukur hasil kinerja upaya kolaborasi lintas batas masih sulit dan rumit (Agranoff dan McGuire 2001b; Cheng dan Daniels 2003; Kettl 2005; Provan dan Mil-ward 2001; Radin 2006). Misalnya, meskipun ada “kekhawatiran yang sah” yang memotivasi pengukuran dan manajemen kinerja, pendekatan-
pendekatan ini sering kali “menciptakan masalah” yang “menghambat pencapaian kinerja” (Radin 2006, 3). Termasuk di antara banyak masalah yang terlihat dalam program kinerja adalah “mengandalkan pendekatan analitis formal tanpa memperhatikan konteks politik di mana pendekatan tersebut terjadi, melompat untuk mengukur hasil tanpa memperhatikan proses pengambilan keputusan, menyoroti tujuan efisiensi tanpa fokus pada pertanyaan keadilan, ketergantungan pada pada pendekatan satu ukuran untuk semua, kesulitan menemukan proses pengambilan keputusan yang akan menggunakan informasi yang dikembangkan, dan memisahkan kegiatan pengelolaan dari permasalahan program yang substantif” (Radin 2006, 7–8).
Menilai Kinerja CGR 181
Hal ini menimbulkan tantangan tambahan dalam mendefinisikan kinerja kolaborasi antarorganisasi. Meskipun terdapat kesepakatan umum bahwa pendekatan tradisional terhadap penilaian kinerja tidak dapat ditransfer dengan mudah atau tepat ke dalam sistem tata kelola kolaboratif (Kim, Johnston, dan Kang 2011; Mandell dan Keast 2008), terdapat sedikit kesepakatan mengenai apa yang dimaksud dengan kinerja efektif dalam pengaturan kolaboratif (misalnya , Koliba, Meek, dan Zia 2010; Provan dan Milward 2001). Beberapa pihak menilai kinerja kolaboratif dalam kaitannya dengan hasil relasional, seperti peningkatan modal sosial, peningkatan pengelolaan konflik (pencegahan, pengurangan, dan resolusi), dan pengelolaan pengetahuan yang lebih baik (termasuk pembangkitan, penerjemahan, dan difusi), sedangkan yang lain percaya bahwa hasil yang diukur secara tepat adalah hasil yang dicapai. peningkatan koordinasi upaya, pemanfaatan dan pengumpulan sumber daya yang lebih baik, pembagian risiko yang lebih besar dalam eksperimen kebijakan, dan peningkatan kepatuhan kebijakan (misalnya, Agranoff 2008; Agranoff dan McGuire 2003; Leach dan Sabatier 2005; Provan dan Milward 1995). Interaksi dan umpan balik antara berbagai aspek kinerja ini semakin memperumit tantangan definisi ini.
Perbedaan-perbedaan ini sebagian terkait dengan tantangan penting lainnya dalam hal ini Kita juga tidak mempunyai definisi yang konsisten untuk istilah-istilah penting seperti
“pemerintahan”, “kolaborasi”, dan “jaringan”, yang sering digunakan secara bergantian atau bersamaan (Ansell dan Gash 2008; Emerson, Nabatchi, dan Balogh 2012). Hal ini sebagian disebabkan oleh fakta bahwa kolaborasi diteliti dalam banyak tradisi dan garis keturunan penelitian yang berbeda, dan tradisi-tradisi ini tidak memiliki hubungan yang baik (lihat Bab 1). Dapat dimengerti bahwa para sarjana yang mempelajari jaringan, resolusi konflik, institusi, dan manajemen, serta topik-topik lainnya, melakukan pendekatan dan menilai kolaborasi secara berbeda. Selain itu, para pakar cenderung mengoperasionalkan aspek-aspek kolaborasi yang berbeda (misalnya, kepemimpinan, manajemen, dan hubungan), namun mereka tidak sering mengkaji isu-isu sistemik atau rezim pemerintahan kolaboratif secara keseluruhan. Secara keseluruhan, permasalahan-permasalahan ini menyulitkan operasionalisasi dan pengukuran kolaborasi dan kinerja kolaboratif.
Tugas menilai kinerja tata kelola kolaboratif dan CGR menjadi rumit karena adanya beberapa tantangan tambahan. Daya tarik normatif dari kolaborasi lintas batas untuk memecahkan masalah-masalah publik yang kompleks atau menyediakan barang dan jasa publik mungkin telah memperlambat pengawasan terhadap bentuk-bentuk pemerintahan yang berkembang pesat ini (Kettl 2006; Koontz dan Thomas 2012). Selain itu, ortodoksi kolaborasi dan tata kelola kolaboratif sering kali menghalangi penilaian kritis dan evaluasi kinerja. Sebaliknya, kami mendapatkan cerita dan anekdot tentang manfaat dan hasil positif dari kolaborasi. Memang benar, “literatur tentang kolaborasi sering kali bersifat perayaan dan jarang bersifat hati-hati” (O'Leary dkk. 2009, 6).
182
Bab 9
proses resolusi konflik mengenai apakah suatu kelompok mencapai kesepakatan. Semakin beragam kelompoknya, dan tentunya semakin konfliktual, semakin besar kemungkinan terjadinya perbedaan perspektif mengenai kinerja.
Organisasi atau konstituen yang diwakili oleh para peserta juga cenderung memiliki perspektif dan prioritas yang berbeda mengenai aspek apa saja yang penting dalam kinerja CGR, dan perspektif ini mungkin berbeda dengan perspektif masing-masing peserta. Melihat kinerja dari perspektif CGR secara keseluruhan dapat mengungkap dimensi kinerja lain yang penting. Komunitas yang lebih luas dan masyarakat luas—mungkin sebagai penerima atau penerima manfaat dari tindakan CGR—juga cenderung memiliki pandangan berbeda yang bahkan mungkin dimediasi oleh media atau pemimpin opini lainnya. Penyandang dana eksternal tentu akan mencari tolok ukur kinerja mereka sendiri yang relevan.
Untuk semakin memperumit penilaian CGR, berbagai perspektif mengenai dimensi relevan dari kinerja yang sukses perlu ditangani, sebuah poin yang didokumentasikan dengan baik dalam tinjauan terbaru mengenai jaringan antarorganisasi (Popp et al. 2014). Ada banyak peserta dalam CGR, yang masing-masing mungkin memiliki pandangan berbeda mengenai kinerja CGR. Emerson dan rekan penulisnya (2009) menemukan, misalnya, bahwa terdapat perbedaan besar dalam kelompok antara beragam pemangku kepentingan dalam kolaborasi dan konservasi lingkungan.
mengukur kinerja CGR: sifat temporal dari sistem ini. Kinerja CGR tidak hanya terjadi seiring berjalannya waktu tetapi juga berubah seiring berjalannya waktu, sehingga sulit untuk diamati dan dievaluasi. CGR bersifat cair, generatif, dan berkembang, serta terdapat berbagai tingkat kinerja jangka pendek, menengah, dan panjang. Ketika dimensi kinerja yang diukur semakin menjauh dari tindakan CGR, maka semakin sulit untuk mengaitkan pencapaian spesifik semata-mata dengan CGR. Selain itu, terbatasnya ketersediaan data longitudinal sering kali membatasi kemampuan peneliti untuk mempelajari dampak kinerja jangka panjang. Akhirnya, banyak penelitian didasarkan pada persepsi post hoc tentang apa yang terjadi dan apa yang dicapai oleh CGR. Hal ini menimbulkan kekhawatiran mengenai efek halo, dimana kesuksesan yang baru-baru ini terjadi mempengaruhi kesan dan persepsi yang dilaporkan (Sabatier dkk.
2005), bersamaan dengan efek mengingat kembali (recall effect), dimana keakuratan laporan partisipan mengenai peristiwa masa lalu berkurang atau menjadi bias. waktu.
Yang terakhir, dan mungkin yang paling penting, kinerja penting dalam kaitannya dengan pengukuran langsung terhadap perubahan yang ditargetkan pada sifat atau kondisi masalah publik yang menjadi fokus CGR. Singkatnya, menilai kinerja CGR adalah hal yang rumit dan menjadi tantangan tersendiri karena ketidakkonsistenan konseptual dan definisi, sifat temporal dari kegiatan CGR, dan berbagai perspektif terkait yang menjadi dasar penilaian dan penilaian kinerja.
Menilai Kinerja CGR 183
Pertama, ketika kami memperkenalkan kerangka integratif untuk tata kelola kolaboratif di Bab 1, kami mencatat bahwa kerangka tersebut menggunakan logika kinerja, yang dapat dengan mudah diterjemahkan ke dalam pendekatan model logika.
Model logika pada dasarnya adalah alat evaluasi yang menelusuri hubungan sebab akibat antara masukan, proses, keluaran, dan hasil. Pedoman ini memberikan panduan konseptual atau peta jalan untuk evaluasi program dan digunakan secara luas dalam analisis kebijakan, mulai dari pendidikan hingga kesehatan masyarakat, dan dari resolusi konflik lingkungan hingga partisipasi masyarakat (Emerson dkk.
2009; Kellogg Foundation 2005 ; Mayeske dan Lambur 2001; Nabatchi 2012; Orr, Emerson, dan Keyes 2008).
Seruan baru-baru ini untuk menggunakan model logika sebagai informasi
pengukuran kinerja tata kelola kolaboratif menggarisbawahi nilai potensialnya (Koontz dan Thomas 2012; Thomas dan Koontz 2011; lihat juga Emerson dan Nabatchi 2015).
Dalam bab ini, kami menggunakan pendekatan model logika terhadap penilaian kinerja CGR dan menyajikan indikator untuk komponen kerangka kerja kami yang mewakili kondisi sebelumnya, kinerja proses, dan kinerja produktivitas.
Untuk mengatasi tantangan ini dan tantangan lainnya dengan lebih baik, kami merekomendasikan pendekatan penilaian kinerja CGR yang menggabungkan (1) penggunaan struktur model logika untuk memperjelas komponen penyusun CGR dan hubungan antara komponen-komponen ini, (2) pengakuan terhadap perbedaan dan hubungan antara kinerja proses CGR dan kinerja produktivitas, (3) penggunaan beberapa unit analisis, dan (4) kesadaran temporal dan perhatian jangka panjang.
Pendekatan Integratif terhadap Kinerja Kolaboratif
Dalam formulasi dinamika kolaborasi, kami menyadari pentingnya proses, dan kami menyadari bahwa proses menghasilkan serangkaian hasil kinerja tersendiri; namun, dengan memasukkan dinamika kolaborasi dan tindakan kolaboratif sebagai fitur konstituen CGR, kami juga menyadari bahwa proses menghasilkan tindakan (yang kadang-kadang kami sebut sebagai keluaran dalam bab ini, agar konsisten dengan terminologi model logika), sebagai serta hasil dan adaptasi, yang pada gilirannya menjadi penting.
Kedua, dengan pendekatan model logika terhadap kinerja kolaboratif, maka perlu menguraikan variabel masukan, proses, keluaran, dan hasil. Ini bukanlah tugas yang mudah. Di satu sisi, gerakan kinerja cenderung berfokus secara eksklusif pada hasil;
hal ini sebagian besar mengabaikan pentingnya masukan, proses, dan keluaran (Radin 2006). Di sisi lain, variabel-variabel ini sering kali digabungkan—dengan alasan yang bagus. Seperti yang dikemukakan oleh pihak-pihak lain, “proses dan hasil [produktivitas] tidak dapat dipisahkan dengan jelas dalam pembangunan konsensus [dan CGR] karena proses itu sendiri penting, dan karena proses dan hasil
kemungkinan besar saling terkait” (Innes dan Booher 1999, 415).
Bab 9
184