LAPORAN
WORKSHOP NASIONAL ITEM REVIEW
KEDOKTERAN
Direktorat Akademik
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
1. Pendahuluan
Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ
Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas,
komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian praktik dengan dukungan teknologi berbasiskan komputer yang disebut juga sebagai Computer Based Testing (CBT). Untuk itu maka diperlukan suatu upaya untuk membuat suatu Bank Soal yang sangat kredibel baik dari segi sistemnya maupun soal – soal yang terkandung di dalamnya.
Kegiatan ini juga harus melibatkan seluruh klinisi yang terkait dari berbagai Institusi Pendidikan sebagai upaya peningkatan sumber daya manusia dalam hal ini staf pengajar, dalam pembuatan soal. Dengan demikian maka proses ujian di tingkat nasional dapat diiringi dengan berkembangnya sistem ujian di setiap institusi pendidikan yang pada akhirnya diharapkan dapat meningkatkan proses belajar peserta didik dan meningkatkan nilai capaian dari ujian ini.
2. Tujuan
Tujuan dilaksanakannya workshop nasional item review UKDI ini adalah :
1. Terkumpulnya soal - soal UKDI dari tiap regional yang berkualitas sebagai input item bank UKDI periode mendatang
2. Meningkatnya jumlah dan kemampuan para pembuat soal dari tiap regional dalam membuat soal UKDI yang memenuhi syarat untuk digunakan sebagai ujian yang bersifat nasional
3. Terkumpulnya sejumlah pembuat soal yang berbakat dan berkapasitas dari berbagai bidang ilmu yang terkait secara menyeluruh dan dapat mewakili kepentingan para pemangkunnya
3. Output Workshop
Output yang diharapkan dari workshop ini adalah :
1. Jumlah soal UKDI berkualitas baik yang dapat digunakan untuk ujian nasional dan mengisi bank soal di tingkat nasional
2. Jumlah pembuat soal UKDI yang berkualitas dari berbagai bidang ilmu yang terkait secara menyeluruh yang dapat mewakili kepentingan para pemangku dan kisi-kisi soal ujian 3. Kualitas soal UKDI lebih baik sehingga jumlah peserta ujian yang lulus dapat meningkat.
4. Metode Pelaksanaan Workshop
Workshop nasional item review kedokteran ini dilaksanakan pada tanggal 4 – 5 Juni 2010 di Hotel Grand Aquila, Bandung. Peserta workshop adalah 12 item writer terpilih dari 6 wilayah AIPKI, yaitu :
NO NAMA INSTITUSI ALAMAT EMAIL
2 Ramzi Amin FK UNSRI (Wilayah 1) [email protected] 3 Riwanti Estiasari FK UI (Wilayah 2) [email protected] 4 Fen Tih FK UKM (Wilayah 3) [email protected]
5 Eka Hendryanny FK UNISBA (Wilayah 3) [email protected]
6 Khotibuddin FKIK UMY (Wilayah 4) [email protected] 7 Beta Ahlam Gizela FK UGM (Wilayah 4) [email protected]
8 Roostantia FK UNAIR (Wilayah 5) [email protected] 9 Agung Wiwiek FK UNUD (Wilayah 5)
10 Sri Asriyani FK UNHAS (Wilayah 6) [email protected] 11 Joel Herbet FK UNCEN (Wilayah 6) [email protected] Pada pelaksanaannya, satu orang peserta tidak dapat hadir karena suatu hal yang tidak dapat ditinggalkan, yaitu Ronald Sugiono (FK UNTAR) dari wilayah 2. Akan tetapi, soal-soal yang dikumpulkan dari FK UNTAR dan sekitarnya telah dikumpulkan kepada item writer dari wilayah 2 lainnya yang hadir. Para item writer yang terpilih sebagai koordinator item writer dari wilayah masing ini memiliki amanah untuk mengkoordinir pengumpulan soal di wilayahnya masing-masing.
Untuk mempermudah proses review soal, para item writer dibagi menjadi 6 kelompok kecil, yang dibagi berdasarkan wilayah masing-masing. Khusus untuk wilayah 2 yang hanya diwakili oleh 1 item
writer, maka kelompoknya digabung dengan wilayah 3. Dalam mereview soal, para item writer
dipandu dan didampingi oleh 5 orang fasilitator dari KB UKDI, yaitu Mohammad Ghozali, Ike R Husen, Susy Susanah, Suryani As’Ad dan Erial Bahar.
5. Hasil Kegiatan
Workshop ini diawali pengarahan dari perwakilan fasilitator mengenai hal-hal yang akan dikerjakan selama workshop beserta penentuan target yang akan dicapai. Selepas workshop nasional item
development, para item writer memiliki tanggung jawab untuk mengumpulkan soal dari institusi di
wilayahnya masing-masing. Target yang ditetapkan bersama adalah masing-masing institusi diminta mengumpulkan minimal 50 soal. Dari 69 institusi, diharapkan akan terkumpul 3450 soal yang dapat direview lebih lanjut dan dapat dimasukkan ke dalam bank soal nasional.
Pada tahap mereview soal, koordinator komponen mengingatkan beberapa raising issues terkait penyusunan soal UKDI dan peran AIPKI wilayah dalam mensukseskan target peningkatan jumlah lulusan melalui pembuatan soal yang berkualitas. Pada dasarnya, kegiatan-kegiatan di tingkat regional terkait pengembangan dan evaluasi sistem ujian yang difasilitasi oleh proyek HPEQ ini merupakan trigger untuk capacity building para item writer di institusi dan wilayahnya masing-masing. Proses transisi nasionalisasi soal uji dari tiap wilayah ini memang perlu didukung oleh Dikti (Proyek HPEQ) dan AIPKI. Apabila dalam masa transisi tersebut ditemukan suatu kendala, maka proyek HPEQ bekerjasama dengan AIPKI dapat memfasilitasi proses asistensi/nurturing untuk tiap regional dalam rangka menghasilkan item writer dan soal yang berkualitas.
Berdasarkan pengamatan, kontribusi dari tiap regional dalam menghasilkan soal ujian yang berkualitas dinilai masih belum optimal. Hal ini disebabkan karena mekanisme review soal di tiap regional masih belum terstandarisasi. Peran wilayah dan institusi dalam menghasilkan soal belum maksimal karena belum memandang hal ini adalah kepetingan bersama antar IPD dan wilayah AIPKI dalam meningkatkan jumlah lulusan dokter di Indonesia. Hal ini menjadi tantangan bagi IPD di tiap wilayah AIPKI, yaitu bagaimana membentuk suatu forum item development dan item review yang
comfortable bagi tiap item writer dan membangun paradigma bahwa proses review atau assessment
bukanlah untuk keperluan sumatif saja, tetapi juga sebagai dasar evaluasi diri tiap IPD. Tantangan lainnya adalah bagaimana membangun suatu “cafeteria” item bank/item review di masing-masing regional, sehingga pengumpulan soal dapat terkoordinir dan terorganisir dengan baik.
Pada tingkat nasional, para item writer diharapkan dapat fokus untuk membangun key feature yang dikehendaki dari tiap jenis soal yang disusun, tidak lagi berkutat dalam hal memperbaiki item. Fokus dasar dalam mereview soal adalah metodologi key feature yang pada dasarnya berpedoman pada konsep dasar SKDI. Lebih lanjut menurut koordinator komponen 2, semua kegiatan terkait item
development dan item review yang difasilitasi oleh proyek HPEQ dapat dijadikan breakthrough untuk
pelaksanaan kegiatan terkait di masing-masing wilayah.
Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop item
review UKDI secara umum adalah sebagai berikut :
NO KOMPONEN TARGET REALISASI
1. Jumlah soal yang terkumpul dalam workshop 3450 595 2. Jumlah soal yang direview dalam workshop 595 312 3. Jumlah soal yang memenuhi kriteria soal yang baik 312 216 4. Jumlah institusi yang berkontribusi mengirim soal 69 18
5. Jumlah peserta workshop 12 11
6. Jumlah narasumber 6 5
Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini masih belum optimal. Hal ini dapat dilihat dari jumlah soal yang berhasil terkumpul, jumlah soal yang berhasil direview maupun jumlah soal yang memenuhi kriteria soal yang baik. Permasalahan paling mendasar yang muncul adalah sangat minimnya jumlah soal yang terkumpul, yaitu hanya sekitar 17 % dari target yang ditentukan.
Faktor utama penyebab rendahnya pencapaian target pengumpulan soal, sangat relevan dengan rendahnya jumlah institusi yang berkontribusi dalam mengirimkan soal. Dari 69 institusi yang tersebar di 6 wilayah AIPKI, hanya 26 % yang berkontribusi mengirimkan soal untuk tingkat nasional. Kurang optimalnya pencapaian workshop perlu dianalisa
lebih lanjut dengan melakukan evaluasi kinerja tiap wilayah AIPKI dalam hal mekanisme item development & review. Dalam rangka observasi root of causes dari kurang optimalnya output workshop, perlu dilakukan analisa lebih lanjut terhadap parameter-parameter monev untuk workshop item review ini. Berdasarkan input dari para item
writer, berikut adalah rekapitulasi kinerja tiap wilayah yang
tercermin melalui parameter monev jumlah soal yang terkumpul, jumlah soal yang direview, jumlah soal yang memenuhi kriteria soal baik dan jumlah institusi yang mengirimkan soal :
Faktor mendasar yang perlu dicermati pertama kali adalah institusi yang berkontribusi mengirimkan soal. Dari 26 % anggota AIPKI yang mengirimkan soal, berikut adalah detail institusi yang berkontribusi dalam mengirimkan soal dari tiap wilayah.
Berdasarkan grafik, terlihat disparitas yang cukup besar antara target yang ditetapkan dengan realisasi jumlah institusi yang mengirimkan soal. Dari tiap wilayah, rata-rata hanya 2 institusi yang berkontribusi, yaitu institusi dimana koordinator item writer bertugas. Pencapaian terbaik adalah AIPKI wilayah 6 yang telah berhasil mengkoordinir 6 dari 9 institusi untuk mengumpulkan soal di tingkat nasional. Berikut adalah detail institusi yang berkontribusi dari tiap wilayah :
Wilayah 1 : USU, UMSU, UNSRI Wilayah 2 : UI, UNTAR
Wilayah 3 : UNPAD, UKM, UNISBA Wilayah 4 : UMY, UGM
Wilayah 5 : UNAIR, UNUD
Wilayah 6: UMI Makassar, UNCEN, UNHAS, UNSRAT, UNISMUH, UNPATTI
Dampak terbesar dari rendahnya jumlah institusi yang mengirimkan soal adalah jumlah soal yang terkumpul pada tingkat nasional. Berdasarkan grafik dapat dilihat bahwa jumlah soal terbanyak berhasil dikumpulkan oleh wilayah 1. Meskipun hanya 2 institusi yang berkontribusi mengumpulkan soal, akan tetapi 2 institusi tersebut sangat produktif dalam menghasilkan soal. Hal ini berbanding terbalik dengan wilayah 6. Banyaknya institusi yang berkontribusi dalam mengirimkan soal, belum diimbangi dengan jumlah soal yang dihasilkan. Hal ini perlu dicermati lebih lanjut, terutama oleh AIPKI wilayah 6, untuk menyusun srategi peningkatan produktivitas para item writer di wilayah 6.
Selanjutnya, soal-soal yang telah berhasil terkumpul direview oleh tiap item writer dengan berpedoman pada template
review, SKDI dan referensi penggunaan
istilah soal UKDI. Berdasarkan rekapitulasi jumlah soal yang berhasil direview, item
writer dari wilayah 4 dinilai paling
produktif karena paling banyak mereview soal. Pencapaian wilayah 4 berbanding terbalik dengan wilayah 2 yang paling sedikit mereview soal. Hal ini dapat dimaklumi karena wilayah 2 hanya diwakili oleh 1 orang item writer. Pada dasarnya, pencapaian jumlah soal yang direview ini dibatasi oleh waktu pelaksanaan workshop. Apabila diberi alokasi waktu lebih lama, maka jumlah soal yang direview juga akan semakin banyak. Berdasarkan soal-soal yang telah direview, maka
dipilih soal-soal yang memenuhi kriteria baik dan layak untuk dimasukkan ke dalam item bank nasional. Kontributor terbesar untuk soal dengan kriteria baik adalah wilayah 3. Sebaliknya, wilayah 2 dinilai masih kurang optimal dalam menghasilkan soal dengan kriteria baik. Hal ini dapat dikarenakan soal-soal yang dihasilkan belum memenuhi standar kualitas KB UKDI. Pada dasarnya, dengan skenario perhitungan optimis, apabila semua soal yang terkumpul dapat direview,maka diharapkan akan terkumpul 410 soal kriteria baik yang dapat menjadi input untuk item
Setelah dilakukan analisa terhadap pencapaian tiap wilayah untuk setiap parameter monev, maka kinerja tiap wilayah dapat dipetakan melalui dua aspek, yaitu pencapaian target untuk semua parameter monev dan kontribusi tiap wilayah. Dari aspek pencapaian target, wilayah 6 dinilai
memiliki kinerja yang paling optimal karena pencapaian targetnya untuk semua aspek berada diatas
rata-rata pencapaian target wilayah lain. Hal ini berbanding terbalik dengan kinerja wilayah 2 dalam hal pencapaian target tiap parameter. Pencapaian target jumlah institusi yang berkontribusi, jumlah soal yang terkumpul dan jumlah jumlah item writer yang berpartisipasi cukup jauh dari target yang disepakati bersama.
Sisi lain yang dapat dijadikan dasar pertimbangan untuk menilai kinerja wilayah adalah kontribusi tiap wilayah terhadap output yang dihasilkan dari workshop ini. Berdasarkan rekapitulasi kontribusi tiap wilayah untuk semua parameter penilaian, dapat terlihat bahwa wilayah 1 adalah kontributor
terbesar hampir di semua aspek penilaian. Pencapaian wilayah 1 juga diikuti oleh wilayah 3, dimana
wilayah. Di sisi lain, sejalan dengan kinerja wilayah 2 dalam pencapaian target yang kurang baik, maka kontribusi wilayah 2 juga paling rendah. Hal ini dapat dicermati dengan jelas pada prosentasi kontribusi untuk tiap parameter yang nilainya selalu dibawah rata-rata.
Berdasarkan hasil analisa kinerja tiap wilayah, sebaiknya masing-masing koordinator wilayah dapat menyusun plan of action yang strategis untuk memperbaiki kinerja masing-masing wilayah dalam hal implementasi mekanisme item development & review yang pada akhirnya berkontribusi pada peningkatan kualitas UKDI dan lulusannya. Analisis ini juga dapat dijadikan input evaluasi diri tiap wilayah dan dapat dijadikan dasar pemetaan kemampuan tiap wilayah dan strategi treatment yang seharusnya diterapkan untuk tiap wilayah AIPKI dalam meningkatkan kualitas pelaksanaan UKDI yag akan berdampak positif pada meningkatnya kualitas lulusan UKDI. Disparitas yang cukup besar untuk kontribusi tiap institusi dalam mengumpulkan soal juga perlu direduksi karena hal ini dapat menurunkan variasi soal dan dampaknya item bank nasional menjadi kurang representatif. AIPKI wilayah diharapkan dapat menerapkan prinsip Encouraging, Enabling dan Assisting terhadap tiap institusi dalam mengimplementasikan mekanisme item development dan item review. Hal ini diharapkan dapat membantu koordinator wilayah untuk bergerak secara mandiri dalam
mengkoordinir para item writer di tiap wilayah, dalam rangka meningkatkan kualitas dan produktivitas para item writer dalam menghasilkan soal yang eligible. Kinerja wilayah 2 yang kurang baik pada workshop ini, sebaiknya dapat dijadikan feedback untuk improvement kinerja wilayah 2 ke depan, yang harus didukung oleh semua anggota AIPKI di wilayah 2 pada khususnya, dan semua anggota AIPKI pada umumnya.
6. Refleksi
Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut :
Gambaran Umum
Hampir di seluruh wilayah regional, mekanisme item development masih berjalan secara individual dan belum menyeluruh. Sejalan dengan hal ini, perlu identifikasi terhadap permasalahan-permasalahan terkait mekanisme item development di tiap wilayah.
Partisipasi institusi dalam mengumpulkan soal masih belum merata, masih didominasi oleh institusi yang mewakili wilayah.
Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah :
Mekanisme berjenjang dalam pengumpulan soal di wilayah masih belum berjalan di semua regional
Institusi yang menyelenggarakan workshop item development masih sangat sedikit
Sebagian besar peserta workshop belum memahami tugas sebagai koordinator wilayah
Disiplin ilmu asal peserta belum merata, dan masih didominasi bagian preklinik
Fasilitator
Kemampuan dan partisipasi peserta sangat baik dan semakin meningkat terutama dalam pemahaman feature
Usulan :
Diperbanyak workshop di tingkat regional untuk mengingkatkan keterlibatan institusi
Peserta dan reviewer sebaiknya berasal dari atau mewakili bidang keahlian, sehingga mudah untuk berkonsultasi
Peningkatan komitmen pimpinan untuk penyelenggaraan workshop sejenis di tingkat institusi
Perlu disediakan kamus bahasa Indonesia untuk menyamakan istilah dalam soal
Kegiatan sebaiknya dapat dimulai lebih awal agar dapat menghasilkan output workshop yang lebih opti,al
Alat-alat penunjang workshop (laptop dan LCD) agar disiapkan lebih awal sehingga reviewer dapat langsung bekerja
Peserta
Kendala yang dihadapi dalam mengikuti workshop
Undangan terlalu mendadak sehingga tidak sempat mengumpulkan soal dari institusi anggota wilayah
Koneksi internet terbatas
Soal yang sudah disiapkan masih banyak yang harus dirapikan lagi karena belum sesuai format
Kesulitan mengumpulkan soal dari institusi anggota wilayah
Tidak cukup waktu mengumpulkan soal
Hal-hal yang mendukung dalam workshop
Fakultas dan proyek HPEQ telah memfasilitasi dengan baik Fakultas telah menyiapkan soal-soal yang siap direview
Mekanisme berjenjang dalam pengumpulan soal di wilayah ?
Tidak berjalan dengan baik karena kesibukan dari masing-masing pembuat soal pada saat sudah kembali ke institusi masing-masing
Pelatihan di institusi sudah diselenggarakan oleh MEU di Fakultas
Belum baik, karena pembuatan soal di masing-masing institusi belum berjalan
Belum ada mekanisme yang jelas, pengumpulan soal dari wakil institusi hanya dari bagian yang wakilnya bisa bekerja
Mekanisme pengumpulan soal dari anggota wilayah masih belum baik, kemungkinan karena waktu permintaan undangan mendadak/mendesak
Mekanisme di wilayah tidak berjalan. Mohon AIPKI lebih aktif mendukung, sehingga ada dukungan bagi para koordinator
Usulan
Harus tetap diselenggarakan agar dihasilkan soal yang berbobot
Kegiatan ini sangat bermanfaat untuk meningkatkan kemampuan item writer sebagai reviewer
Perlu follow up acara serupa di wilayah
Tim Monev : Feedback Peserta
Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 11
kuesioner yang kembali ke tim monev, 63 % responden menyatakan pelaksanaan workshop memuaskan. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia dan para item writer yang sangat cooperative.
Analisa lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap output workshop, dimana peserta merasa mendapatkan added value yang besar, sehingga workshop ini dinilai dapat meningkatkan kemampuan mereka dalam mereview soal yang baik. Fasilitas yang diberikan selama workshop dan pelayanan panitia juga dinilai sangat memuaskan. Faktor yang dinilai kurang memuaskan adalah dari sisi fasilitator yang kurang fokus untuk mendampingi tiap kelompok item writer. Hal ini dikarenakan mereka harus berbagi tugas untuk memback-up fasilitator yang berhalangan hadir.
7. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
Perlu pemberdayaan wilayah untuk menyelenggarakan workshop regional dengan fasilitasi dari AIPKI wilayah masing-masing. Ketua AIPKI pusat perlu menghimbau AIPKI wilayah untuk hal tersebut.
Tiap AIPKI wilayah perlu menghimbau masing-masing institusi untuk meningkatkan partisipasi dalam setiap workshop item development
Penyusunan mekanisme item development yang terstandar, khususnya untuk FK yang baru atau masih belum berkembang.
Penegasan kembali tugas koordinator wilayah sehingga mekanisme berjenjang dapat berjalan optimal. Perlu penugasan formal kepada koordinator wilayah sebagai dasar dalam menjalankan tugas. Koordinator wilayah diharapakan dapat menjadi motor pengerak kegiatan item development dan item review di wilayah masing-masing. Inisiatif dari tiap koordinator sangat diharapkan, tanpa menunggu undangan dari proyek HPEQ.
Inventarisasi bidang ilmu para reviewer perlu dibenahi, supaya seluruh bidang ilmu terwakili
Untuk mempermudah koordinasi item writer nasional, maka akan dibuat mailing list sebagai wadah untuk sharing informasi.
Untuk menindaklanjuti soal-soal yang telah berhasil terkumpul dari workshop ini, akan dilaksanakan workshop panel expert pada tanggal 11-12 Juni 2010 untuk melakukan review
lebih lanjut terhadap soal-soal yang dinilaibaik, untuk selanjutnya dipilih soal-soal yang benar-benar eligible untuk dimasukkan ke dalam item bank nasional.
8. Penutup
Upaya peningkatan kualitas dan kuantitas pembuatan soal diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat Institusi Pendidikan. Untuk itu diharapkan bahwa para peserta workshop yang terpilih dapat menjadi calon narasumber untuk pelatihan yang diadakan di tingkat regional dan lokal. Dengan demikian upaya percepatan pembuatan soal yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna.
