3. Rancangan penelitian
3.5 Metode eksperimen semu
Eksperimen semu membuat para peneliti bisa mengubah pelaksanaan intervensi konservasi menjadi 'eksperimen kebijakan' (policy experiment) yang memungkinkan pembuatan kesimpulan sebab-akibat antara satu intervensi dan dampak-dampaknya dalam kondisi yang sebenarnya, dan dalam situasi dimana
pengacakan suatu intervensi tidak praktis atau tidak etis (Ferraro & Pattanayak 2006). Eksperimen semu meniru pengujian acak terkontrol dengan (a) mengidentifikasi bias teramati, yaitu hal yang yang memicu dilakukannya intervensi konservasi di suatu tempat tertentu atau mempengaruhi capaian intervensi konservasi tersebut, dan (b) mempergunakan bias yang sudah diidentifikasi tersebut sebagai kriteria untuk mengidentifikasi kelompok kontrol yang cocok (Rosenbaum 2010)6. Misalnya, jaringan kawasan konservasi daratan cenderung dilakukan di lahan marjinal yang jauh dari pasar utama (Joppa &
Pfaff 2009). Pendekatan eksperimen semu membuat para peneliti bisa mengurangi perbedaan sistematis antara tempat-tempat yang dikonservasi dan tidak dikonservasi; jika hal ini tidak dilakukan maka akan menyulitkan upaya untuk menarik kesimpulan sebab-akibat antara suatu intervensi dan dampaknya (Caliendo & Kopeinig 2008; Gertler et al. 2011). Eksperimen semu biasa digunakan untuk mengevaluasi dampak kebijakan sosial dan intervensi pembangunan (Ravallion 2007), dan belakangan diterapkan untuk mengevaluasi dampak intervensi konservasi (misalnya kawasan konservasi daratan yang mencakup keanekaragaman hayati dan kemiskinan; Andam et al. 2010).
perbedaan sistematis yang ada antara individu yang mendapat perlakukan atau yang menjadi kontrol (Rosenbaum 2010). Bila tidak ada perbedaan sistematis antara kelompok yang mendapat perlakukan dan kelompok kontrol, maka perbedaan yang ditemukan di antara keduanya dapat katakan merupakan dampat dari intervensi (Rosenbaum, 2010). Pengujian acak terkontrol jarang dilakukan untuk mengevaluasi intervensi konservasi, karena upaya
pengacakan konservasi keanekaragaman hayati jarang dianggap layak (feasible) atau etis untuk dilakukan.
4 Pendekatan studi kasus (misalnya studi mendalam dari kondisi sebelum dan sesudah intervensi pada sejumlah lokasi tertentu), secara luas digunakan untuk mengevaluasi dampak intervensi konservasi. Studi kasus
mempergunakan metode kualitatif dan kuantitatif, tetapi tidak adanya kelompok kontrol menyebabkan tidak dapatnya ditarik kesimpulan sebab-akibat yang menghubungkan intervensi dengan dampaknya secara kuantitatif (Gertler et al. 2011).
5 Akan tetapi studi kasus merupakan perangkat berharga untuk evaluasi dampak karena memungkinkan penilaian kualitatif yang mendalam atas suatu intervensi dan dampak-dampaknya. Berbagai desain penelitian yang diuraikan dalam dokumen ini memiliki kekuatan dan keterbatasannya masing-masing sehubungan dengan kemampuannya untuk membantu menarik kesimpulan, dan para peneliti harus mempergunakan satu pendekatan yang sesuai dengan kebutuhan mereka.
6 Catatan: Kelompok yang tidak mendapat perlakukan dalam eksperimen semu bisa lebih akurat disebutkan sebagai kelompok 'pembanding’. Namun untuk menyederhanakannya, kami menggunakan istilah ‘kontrol’ di sini untuk menjelaskan kelompok mirip yang dijadikan pembanding dalam eksperimen semu.
3.5.1 Asumsi-asumsi
Agar model sebab-akibat Neyman-Rubin berlaku dalam konteks eksperimen semu, maka ada dua asumsi yang harus dipenuhi.
Asumsi 1: Tidak meragukan (unconfoundedness)
Keikutsertaan dalam, dan pencapaian dari, suatu intervensi tidak tergantung pada karakteristik yang tidak terukur. Perbedaan sistematis apapun pada pencapaian antara kelompok yang mendapat perlakuan dan tidak mendapat perlakuan muncul dari intervensi itu sendiri (Caliendo & Kopeinig 2008). Sederhananya, asumsi ini mengharuskan seluruh variabel yang bisa berdampak pada mereka yang ikut serta dalam intervensi konservasi, serta besaran atau arah dari pencapaian yang mungkin terjadi, dimasukkan sebagai bagian dari kriteria yang digunakan untuk mengidentifikasi kelompok kontrol.
Asumsi 2: Tumpang tindih
Unit-unit serupa dengan karakteristik yang bisa diukur memiliki peluang yang sama untuk ditempatkan baik pada kelompok yang mendapat perlakuan maupun yang tidak mendapat perlakuan (Caliendo &
Kopeinig 2008).
3.5.2 Kontrol terhadap bias teramati
Metode-metode eksperimen semu mengharuskan para peneliti mengidentifikasi dan melakukan kontrol terhadap faktor atau sekelompok faktor yang mempengaruhi partisipasi dalam, dan pencapaian dari, suatu intervensi konservasi. Faktor yang teramati sebelum intervensi ini dikenal sebagai kovariat (Rosenbaum 2010). Dalam suatu invervensi konservasi, mengidentifikasi serangkaian kovariat yang sesuai untuk mengontrol bias teramati bukanlah hal yang mudah, dan derajat kesulitannya bervariasi antar intervensi.
Sebagai contoh, eksperimen semu untuk mengevaluasi dampak kawasan konservasi pada laju deforestasi bisa mengontrol untuk jarak dengan jalan, elevasi dan potensi pertanian, yang kesemuanya telah
diidentifikasi dalam literatur sebagai faktor yang dapat memicu deforestasi (e.g. Andam et al. 2008).
Dalam hal ini, peneliti bisa mengkombinasikan pemodelan suatu intervensi dengan pendapat para ahli untuk mengidentifikasi kovariat yang sesuai (Rosenbaum 2010; Caliendo & Kopeinig 2008).
Metode eksperimen semu bisa dibagi ke dalam tiga kelas besar; regresi diskontinuitas (regression discontinuity)7, variabel instrumental (instrumental variables)8, dan pencocokan (matching) (Gertler et al.
2011). Karena regresi diskontinuitas maupun variabel instrumental memiliki keterbatasan dalam penerapannya untuk mengevaluasi intervensi konservasi, kami memusatkan perhatian pada metode pencocokan untuk digunakan dalam studi ini. Pencocokan mempergunakan teknik-teknik statistik dalam
7Regresi diskontinuitas bisa digunakan untuk mengevaluasi intervensi dimana keikutsertaan ditentukan oleh pemeringkatan potensi peserta dengan mempergunakan sistem skoring berkelanjutan . Pendekatan ini lazim dalam mengevaluasi skema kredit mikro, dimana keputusan untuk memberikan kredit kepada seseorang didasarkan pada peringkat kredit mereka (Gertler et al.
2011).
8Variabel instrumental adalah insentif pengacakan untuk mendorong keikutsertaan dalam satu intervensi yang tidak berdampak pada pencapaian intervensi itu (Rosenbaum 2010)
24 Versi 1.0 (September 2012)
membangun suatu kelompok kontrol buatan (Rosenbaum & Rubin 1983). Para peneliti yang mempergunakan metode pencocokan pertama-tama mengidentifikasi serangkaian kovariat yang
mempengaruhi partisipasi dan pencapaian (Caliendo & Kopeinig 2008). Setelah kovariat ini diidentifikasi, unit-unit yang tidak mendapat perlakuan yang memiliki kesamaan paling banyak dengan unit yang
mendapat perlakuan, dipilih untuk membentuk kelompok kontrol (Rosenbaum & Rubin 1983; Caliendo &
Kopeinig 2008). Metode pencocokan bisa diterapkan dalam setiap jenis intervensi, dimana (Gertler et al.
2011):
faktor-faktor yang mempengaruhi partisipasi dan pencapaian bisa diidentifikasi
terdapat sejumlah unit yang memenuhi kriteria untuk berpartisipasi, tetapi tetap tidak mendapatkan perlakuan
Oleh karena itu, dalam studi ini kami harus (a) mengerti kriteria/alasan dibalik penetapan KKP di lokasi tertentu, dan (b) bisa mengidentifikasi tempat-tempat yang memenuhi kriteria itu tetapi berada di luar KKP.
Untuk mengerti dampak-dampak sosial KKP, kami mencocokan rumah tangga penduduk di KKP dengan rumah tangga yang sama di luar batas KKP. Karena data sosial tingkat rumah tangga terbatas atau tidak bisa didapatkan di sebagian besar Bentang Laut Kepala Burung, kami menggunakan prosedur pencocokan dua tahap. Metode ini mempergunakan prosedur pencocokan kasar untuk mengidentifikasi pemukiman di luar batas KKP dimana peluang keberadaan rumah tangga yang sama dengan penduduk di KKP tinggi.
Pencocokan kasar ini mengkombinasikan data sekunder dengan pendapat para ahli untuk memperkecil radius pencarian rumah tangga kontrol. Pengumpulan data primer yang ditargetkan di KKP dan kumpulan calon rumah tangga kontrol yang 'dicocokan secara kasar' menghasilkan data yang dibutuhkan untuk prosedur pencocokan secara statistik, sehingga masing-masing rumah tangga di KKP bisa dicocokan dengan padanannya yang berada di luar KKP dengan karakteristik teratamati yang mirip. Metode ini memungkinkan metodologi eksperimen semu yang memerlukan data secara intensif bisa diterapkan dengan murah dalam situasi dimana data yang tersedia sangat minim.
3.5.3 Efek interaksi
Suatu intervensi konservasi bisa mempengaruhi lingkungan sekitar yang tidak dikonservasi (Ewer &
Rodrigues 2008) baik secara positif (dikenal dengan istilah ''limpahan') atau negatif (dikenal sebagai 'kebocoran'). Sebagai contoh, suatu KKP bisa meningkatkan biomassa ikan di perairan yang secara langsung mengelilingi daerah larang tangkap (ini adalah contoh limpahan; Halpern et al.2009), atau bisa juga semata-mata memindahkan kegiatan penangkapan ke wilayah di sekitarnya (ini adalah contoh kebocoran; Kellner et al. 2007). Ketika efek interaksi ini ‘menganggu’ kelompok kontrol yang telah dipilih, maka perkiraan dampak dari intervensi bisa menjadi bias (Rosenbaum 2010; Gertler et al. 2011).
Efek interaksi tidak terdokumentasi secara baik dalam literatur, dan besaran serta arahnya jarang diketahui (Ewer & Rodrigues 2008). Ketika mengidentifikasi satu kelompok kontrol, dapat ditentukan semacam wilayah penyangga di sekitar wilayah yang menjadi intervensi. Kelompok yang berada di dalam wilayah penyangga ini lalu dianggap sebagai kelompok yang ‘tidak cocok’ sebagai kelompok kontrol. Hal ini dilakukan untuk mengurangi kemungkinan efek interaksi mengganggu kelompok kontrol. Jarak atau lebarnya wilayah penyangga ini sering kali ditentukan secara arbitrer, bukan berdasarkan kajian empiris terhadap proses ekologi dan sosial yang mendasari interaksi antara intervensi konservasi dan lingkungan
sekitarnya (yaitu Andam et al. 2008). Baru belakangan ini para peneliti mulai memodelkan proses ekologi yang mendasari efek interaksi. Robalino & Pfaff (2012) misalnya, menggunakan statistik spasial (koefisien autokorelasi atau autocorrelation coefficients) untuk mendokumentasi besarnya efek interaksi yang terjadi terkait dengan deforestasi.
Pemanfaatan sumber daya kelautan di Papua bersifat teritorial dimana masyarakat memiliki hak untuk mencari ikan di dalam wilayah yang telah ditentukan (Mangubhai et al. 2012). Dalam banyak kasus, KPP yang baru ditetapkan sama dengan batas-batas daerah kepemilikan kelautan secara adat yang sudah ada.
Karena nelayan setempat memiliki hak terbatas dalam memanfaatkan sumber daya dari wilayah tetangga, dan karena biasanya mereka adalah nelayan skala kecil, kebocoran antara satu KKP dengan KKP lain serta upaya untuk memperhitungkan pindahnya nelayan bisa dibatasi. Malah yang terjadi, kegiatan penangkapan dipindahkan ke dalam wilayah laut yang menjadi hak mereka atau ke suatu KKP. Pada pemukiman di KKP maupun pemukiman di wilayah kontrol, kami mempergunakan kelompok fokus untuk mendokumentasi batas-batas ruang wilayah nelayan setempat, serta kelompok-kelompok pengguna utama di lokasi-lokasi tersebut, sehingga kami bisa mengidentifikasi efek interaksi antara kelompok nelayan di KPP dan di daerah kontrol tanpa adanya keragu-raguan.
KKP di Bentang Laut Kepala Burung dirancang untuk memperkuat hak-hak mengelola nelayan setempat dan membatasi hak-hak nelayan dari luar lokasi untuk memanfaatkan sumber daya kelautan. Penetapan KKP bisa memindahkan kegiatan mencari ikan komersial yang tadinya dilakukan di dalam menjadi di luar wilayah KKP, dan ini menyebabkan kebocoran. Kebocoran bentuk ini, jika jumlahnya besar, bisa dideteksi dalam pola pemanfaatan sumber daya di seluruh Bentang Laut Kepala Burung (yang saat ini diawasi oleh sejumlah LSM), dan juga dari data yang didapat dalam diskusi kelompok mengenai tingkat konflik sumber daya kelautan, serta dari identitas kelompok pengguna yang utama.