Bias terhadap keberhasilan
MSC sering cenderung mendukung kisah sukses daripada 'berita buruk'. Dalam Sasaran 10, sekitar 90 persen dari cerita yang yang dikumpulkan adalah yang berkenaan dengan hasil positif. Proporsi di ADRA Laos berkisar 80-90 persen. Namun, ini tidak selalu gagal, karena mengidentifikasi apa hal terbaik yang dapat dicapai oleh program dapat membantu menggerakkan program untuk mencapai hasil yang lebih baik lagi. Membuat domain yang spesifik untuk menampung cerita negatif (Bab 2, Langkah 2) dapat dilakukan jika itu memang diinginkan.
Subjektivitas dalam proses seleksi
Proses seleksi dalam MSC adalah bersifat subjektif karena merupakan ekspresi nilai-nilai dari orang- orang yang terlibat dalam panel seleksi. Oleh karena itu penting untuk menyadari yang ada dan yang tidak terwakili di panel seleksi. Namun, tidak seperti pendekatan penelitian lain, subjektivitas ini adalah sumber lain dari data tentang nilai-nilai organisasi. Alasan ketika memilih cerita tentang perubahan signifikan dicatat dan didokumentasikan bersama dengan cerita itu sendiri. Dimasukkannya interpretasi ini merupakan bentuk lain dari data yang evaluatif dan memberi tingkat transparansi yang tinggi.
Bias terhadap pandangan populer
Kritik lain dari proses seleksi MSC (dan semua metode yang berusaha mencapai konsensus) adalah bahwa pandangan yang kasar atau tidak populer dapat dibungkam oleh suara mayoritas. Ini adalah masalah nyata yang perlu dipertimbangkan. Namun, dalam pengalaman kami, proses seleksi cerita secara induktif (voting pertama, kemudian mengidentifikasi kriteria) lebih mungkin untuk mengidentifikasi dan mencatat pandangan yang mungkin kurang populer dibandingkan teknik monitoring dan evaluasi lainnya. Permintaan untuk memilih salah satu cerita yang signifikan dari sekian cerita yang ada tampaknya dapat secara mengejutkan memunculkan terjadinya diskusi yang terbuka dan jujur.
Pada tingkat yang lebih luas, MSC mempertahankan keragaman pandangan dan tidak memaksakan untuk mencapai konsensus. Risiko adanya satu jenis cerita yang dominan diatasi dengan fakta bahwa pada setiap tingkat pemilihan cerita MSC yang baru diperoleh dari sumber berbeda. Bahkan setelah perubahan yang paling signifikan dari setiap domain telah dipilih oleh staf paling senior (atau donor), beberapa cabang organisasi masih akan melihat cerita lain yang mungkin lebih signifikan. MSC tidak menghasilkan konsensus mutlak. Hal ini akan lebih didasarkan pada perbandingan cerita dan perdebatan tentang keberhasilan mereka.
67
"The Wisdom of Crowds"14
"Keanekaragaman dan kemandirian penting karena keputusan kolektif terbaik adalah produk dari ketidaksepakatan dan kontes, bukan konsensus atau kompromi ... Paradoksnya, cara terbaik bagi kelompok untuk menjadi pintar adalah bahwa setiap orang berpikir dan bertindak se-independen mungkin." (The Wisdom of Crowds, Suroweicki, 2004: xix)
Bias terhadap pandangan orang-orang yang pandai bercerita
Seperti semua teknik monitoring dan evaluasi, MSC menyukai beberapa jenis tertentu dibanding data lainnya. MSC memiliki bias yang tidak biasa karena mendorong pandangan dari orang-orang yang dapat menceritakan kisah yang baik. Ini adalah alasan lain untuk tidak melihat MSC sebagai alat yang berdiri sendiri dalam monitoring dan evaluasi. Namun, kami telah melihat kasus di mana peserta yang terlibat dalam proses seleksi menyadari bahwa keterampilan bercerita dapat memiliki pengaruh yang tidak semestinya, yang dapat mempengaruhi penilaian mereka atas cerita tersebut.
Isu voice dan kuasa dalam MSC
Dalam MSC, banyak staf, donor dan stakeholder lainnya (dalam beberapa kasus termasuk juga peserta) dapat terlibat aktif dalam mengumpulkan dan menganalisa data. MSC merupakan salah satu teknik monitoring dan evaluasi yang paling partisipatif. Namun, dalam hal siapa yang memberikan suara, dapat dikatakan bahwa MSC lebih mengutamakan peran beberapa stakeholder saja.
Proses seleksi cerita inheren bias karena cenderung mendukung orang-orang yang menghadiri sesi reviu cerita. Orang-orang yang menghadiri panel reviu mungkin tidak sepenuhnya mewakili voice15 yang lebih luas dari staf atau penerima manfaat. Namun hal ini dapat diimbangi sampai batas tertentu dengan memprhatikan penyebaran perwakilan dari orang yang terlibat dalam memilih cerita, atau dengan membentuk panel seleksi lain (paralel) yang mewakili kelompok kepentingan yang berbeda.
Meskipun demikian, MSC berproses dalam diskursus diantara staf proyek dan anggota panel seleksi. Kelemahannya, Itu tidak dapat menangkap pendapat dari orang-orang yang memilih untuk tidak berpartisipasi. Ini adalah masalah nyata, terutama ketika menggunakan MSC untuk evaluasi sumatif, tapi kita dapat berupaya mengatasi ini dengan menggunakan gabungan MSC dan teknik lainnya, seperti wawancara semi-terstruktur, yang berusaha memperoleh pandangan non-peserta atau kritik. Kemungkinan lain adalah bahwa peneliti bisa mencari cerita dari pihak yang antagonis dan memasukkan mereka dalam proses peninjauan MSC.
Namun, MSC menerapkan beberapa mekanisme untuk menyeimbangkan suara yang tidak setara dalam organisasi. Karena proses biasanya berada pada struktur kekuasaan yang dapat dilihat, maka semua keputusan yang dibuat jauh lebih publik daripada sebaliknya. Mereka di puncak hirarki harus memilih dari menu pilihan yang dibuat oleh orang-orang di bawah mereka. Akhirnya, domain opsional 'perubahan lain-lain' membuka cakupan perubahan yang dapat ditempatkan pada menu. Meskipun pilihan ini tidak pernah sepenuhnya bebas, karena mereka terjadi dalam konteks organisasi, MSC memberikan ruang yang lebih besar bagi mereka di bagian bawah hirarki organisasi dibandingkan dengan banyak sistem monitoring dan evaluasi konvensional lainnya.
14
Penerj.: Mungkin dapat diartikan sebagai ‘kebijaksanaan kolektif’ dari sekumpulan orang.
15
68
Di VSO, cerita tentang perubahan signifikan yang melibatkan dan telah divalidasi oleh pihak lain selain relawan yang menulis cerita tersebut, sering dinilai sebagai lebih signifikan dibandingkan cerita yang ditulis oleh relawan tanpa mengacu pada pandangan stakeholder lain. Hal ini menunjukkan bahwa proses pemilihan cerita tentang perubahan signifikan, jika dikelola dengan baik, dapat membantu mengatasi risiko dari staf yang berpartisipasi untuk hanya melaporkan cerita yang, sengaja atau tidak sengaja, mementingkan diri mereka sendiri.
69