LAPORAN
WORKSHOP NASIONAL ITEM DEVELOPMENT CBT NERS
Gelombang 2
Komponen 2 Proyek HPEQ
Direktorat Pembelajaran dan Kemahasiswaan
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan dan Kebudayaan
1. Pendahuluan
Upaya peningkatan sistem ujian pada pendidikan keperawatan yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tulis. Dalam mendukung kegiatan tersebut diperlukan suatu upaya untuk membuat dan menganalisis sehingga didapatkan Bank Soal yang kredibel, melalui sistem pembuatan soal yang sesuai dengan kaidah dan berstandar nasional dan internasional.
Untuk dapat melaksanakan kegiatan di atas hal yang sangat mendasar adalah menyiapkan sumber daya manusia, yang dimulai dengan pelatihan-pelatihan yang diselenggarakan secara nasional untuk dapat memperoleh pemahaman yang sama terhadap cara dan sistem pembuatan soal. Kegiatan ini melibatkan institusi pendidikan keperawatan dan organisasi profesi keperawatan dengan tujuan untuk meningkatkan jumlah dan kemampuan SDM baik institusi pendidikan maupun anggota profesi. Selanjutnya diikuti dengan berkembangnya sistem ujian di setiap institusi pendidikan yang pada akhirnya dapat meningkatkan proses belajar dan pencapaian nilai peserta didik yang lebih bermutu.
Pada tahun 2011 kegiatan ini telah di lakukan sebanyak 4 kali, namun dengan banyaknya institusi pendidikan maka perlu di lakukan stimulasi kembali untuk dapat menghasilkan penulis soal yang berkualitas. Pada tahun 2012 ini dilakukan 2 kali kegiatan item development yang dilakukan dengan harapan selanjutnya akan di teruskan dengan item development institusional. Kegiatan item development ini bersifat terfokus yaitu dengan memilih individu yang selanjutnya akan menjadi motor penggerak untuk seluruh institusi pendidikan dan juga pelayanan.
2. Tujuan
Tujuan dilaksanakannya workshop nasional item development ners ini adalah meningkatkan kemampuan SDM keperawatan dalam membuat soal uji tulis yang berkualitas, meningkatkan jumlah SDM keperawatan yang kompeten dalam pembuatan soal uji tulis yang berkualitas, teridentifikasi nama – nama pembuat soal uji tulis yang kompeten, dan terkumpulnya soal uji ners yang berkualitas baik.
3. Output Workshop
Output yang diharapkan dari workshop ini adalah terkumpulnya soal uji tulis ners yang berkualitas baik yang dapat dihimpun pengelola yang selanjutnya akan di review dan disimpan dalam bank soal serta teridentifikasi nama – nama pembuat soal uji tulis yang kompeten.
4. Metode Pelaksanaan Workshop
Workshop nasional item development ini dilaksanakan pada tanggal 4 – 5 Juni 2012 di Hotel Kuta Paradiso, Bali. Jumlah peserta workshop yang hadir adalah 30 peserta yang terdiri dari perwakilan 22 institusi pendidikan, 4 orang fasilitator dan 2 orang LO komponen untuk profesi ners. Participation rate peserta workshop ini cukup baik yaitu 75%.
Pada saat workshop, para item writer dibagi menjadi 6 kelompok kecil untuk mempermudah proses review soal berdasarkan peminatan keilmuan keperawatan. Setiap peserta sudah ditugaskan untuk membawa 15 soal sesuai peminatan. Dalam proses review, setiap kelompok dipandu oleh fasilitator yang berasal dari profesi ners yaitu, I Made Kariasa, Masfuri, Kumboyono, Tuti Herawati, Khudazi Aulawi dan Ketut Suardana. Hal yang perlu disorot dari workshop kali ini adalah bahwa semua fasilitator dan LO sudah berasal dari profesi ners.
5. Hasil Kegiatan
Workshop ini diawali dengan pengarahan dan penjelasan mengenai blue print ujian tulis ners, template soal, dan review item development. Presentasi mengenai blue print ujian tulis ners dan template soal dilakukan oleh LO, I Made Kariasa, dan review item development dilakukan oleh fasilitator Tuti Herawati. Selain itu peserta juga dijelaskan mengenai hal-hal yang akan dikerjakan selama workshop beserta penentuan target yang akan dicapai yaitu sejumlah 600 soal yang berkualitas baik. Oleh karena itu dalam TOR yang dikirimkan, setiap peserta diminta untuk mengumpulkan 15 soal dan diharapkan selama proses workshop berlangsung dapat diperoleh 15 soal yang berkualitas baik dari masing-masing peserta.
Proses diskusi dilaksanakan dengan membagi peserta menjadi enam kelompok kecil yang dibagi menurut bidang keilmuan. Diskusi dimulai dengan pelatihan review soal secara bersama-sama di tiap kelompok kecil yang dipandu oleh fasilitator. Pada tahap review soal, fasilitator mengingatkan kembali agar dalam mereview soal para peserta mengikuti ketujuh tinjauan yang ada dalam template soal. Permasalahan terjadi pada saat merubah format soal sesuai dengan ketentuan blue print dan template soal sehingga peran fasilitator sangat diperlukan dalam proses ini. Setelah direview bersama, sisa soal direview sendiri oleh peserta (self review) untuk format dan tata bahasanya, namun untuk substansi dilakukan review bersama. Masing-masing peserta melakukan review dengan didampingi oleh satu orang fasilitator untuk setiap kelompok. Peserta mampu melakukan review dengan baik walaupun selama proses fasilitator masih memberikan arahan dalam membuat soal sesuai persyaratan yang telah ditetapkan dan disampaikan. Dari hasil pengamatan, banyak peserta yang harus membuat soal dari awal karena soal yang dibawa belum sesuai dengan standar item development seperti yang sudah dijelaskan dalam presentasi tentang item development.
Berdasarkan hasil workshop yang telah dilaksanakan selama dua hari, output dari workshop item development ners secara umum adalah sebagai berikut :
NO KOMPONEN TARGET REALISASI
1. Jumlah soal yang terkumpul dalam workshop 600 435
2. Jumlah soal yang direview dalam workshop 600 285
3. Jumlah soal yang memenuhi kriteria soal yang baik 600 217
4. Jumlah institusi yang berkontribusi mengirim soal 30 22
5. Jumlah peserta workshop 40 30
6. Jumlah fasilitator 6 6
Hasil rekapitulasi output workshop secara umum menunjukkan bahwa pencapaian target workshop kali ini belum cukup optimal. Hal ini dapat dilihat dari perbandingan antara target dan realisasinya. Institusi yang berkontribusi dalam item development ini ialah 73.33% dari
target yang telah ditentukan. Jumlah soal yang dibawa oleh wakil institusi ialah 72.5% dan jumlah soal yang berhasil direview hanya mencapai 47.5%. Terlebih lagi, setelah dilakukan review, soal yang diterima dan dinilai memenuhi kriteria baik yaitu hanya 36.16% dari target yang ingin dicapai.
Faktor penyebab tidak semua soal direview adalah rata-rata peserta workshop belum pernah mengikuti pelatihan item development, sehingga soal yang dibawa belum sesuai dengan acuan blue print dan ketujuh tinjauan template soal. Selain itu, peserta umumnya mengalami kesulitan dalam membuat soal vignette. Oleh karena itu, butuh waktu bagi peserta untuk memperbaiki soal yang sudah dibawa. Selain itu, ada kelompok yang anggota diskusinya terlalu banyak sehingga butuh waktu yang lebih lama juga untuk melakukan review soal bersama.
Diagram 1. Rekapitulasi Soal Workshop
0 100 200 300 400 500 600 700
Jumlah soal yang terkumpul
Jumlah soal yang direview Jumlah soal yang berkualitas
Target Realisasi
Diagram 2. Jumlah Institusi, Peserta, dan Fasilitator Workshop
Analisa yang dilakukan terhadap presentase pencapaian jumlah institusi dan peserta yang berkontribusi sudah hampir mendekati target yang diharapkan. Namun, jumlah soal yang terkumpul, jumlah soal yang direview, jumlah soal yang berkualitas belum cukup memuaskan. Hal ini dapat diantisipasi dengan sosialisasi atau pelatihan yang bertahap agar mendapat hasil yang maksimal.
Terdapat beberapa faktor yang mendukung tercapainya target soal, yaitu narasumber yang melakukan review mengenai materi item development dan masing-masing peserta telah membawa 15 soal. Kontribusi tiap institusi juga perlu dicermati agar ada pemerataan kontribusi masing-masing institusi dalam pembuatan soal CBT ners. Berikut adalah rekapitulasi item development pada workshop ini:
0 5 10 15 20 25 30 35 40 45
Jumlah Institusi Jumlah Peserta Jumlah Fasilitator
Target Realisasi
0 10 20 30 40 50 60 70 80
Jumlah Soal Target Jumlah Soal Realisasi Jumlah Soal Direview Jumlah Soal Berkualitas
TABEL REKAPITULASI SOAL WORKSHOP NASIONAL ITEM DEVELOPMENT CBT KEPERAWATAN KOMPONEN 2 - HEALTH PROFESSIONAL EDUCATION QUALITY
KUTA PARADISO HOTEL BALI 4 - 5 JUNI 2012
No. Nama Institusi Jumlah Soal Peserta Jumlah Soal Institusi
Target Realisasi Review Berkualitas Target Realisasi Review Berkualitas
1. Cahyu Septiwi Stikes Muh. Gombong/ Kebumen 15 15 10 10 15 15 10 10 2. Ariani Arista Putri PSIK FK UGM/ Yogyakarta 15 19 6 6 15 19 6 6 3. Weny Savitri Stikes A. Yani/ Yogyakarta 15 15 11 11 15 15 11 11 4. Listyana Natalia PSIK Univ. Respati/ Yogyakarta 15 15 15 6 15 15 15 6 5. Dian Ramawati PSIK Unsoed/ Purwokerto 15 15 15 6 15 15 15 6 6. Aida Rusmariana Stikes Muh. Pekajangan/ Pekalongan 15 15 15 6 15 15 15 6
7. Evi Karota Bukit 15 15 6 3
8. Ismayadi Fak. Keperawatan USU/ Medan 15 15 5 2
45 45 16 10
9. Rika Endah Nurhidayah 15 15 5 5
10. Edriyani Yonlafado S. STIKES Mutiara Indonesia/ Medan
15
15 10 10 15 15 10 10
11. Yosafat Barus STIKES Deli Husada/ Medan 15 15 13 5 15 15 13 5 12. Tahan Adrianus Manalu STIKES Medistra Lubuk Pakam/
Sumut
15
15 7 7 15 15 7 7
13. Yati Afiyanti FIK UI/ Jakarta 15 15 5 5 15 15 5 5 14. Hansen
Stikes Papua/ Sorong
15 15 10 10
30 31 25 25
15. Bambang Suparno 15 16 15 15
16. Hariyono Stikes ICME/ Jombang 15 - - - 15 - -
18. Tantut Susanto 15 15 13 8
19. Roymond Simamora PSIK FK UNEJ/ Jember 15 15 15 15 30 30 28 23 20. Gunawan STIKES Malahayati/ Lampung 15 15 11 4 15 15 11 4 21. Cahya Utami PSIK Unud/ Denpasar 15 15 15 6 15 15 15 6 22. Ni Luh Satriani STIKES Bali/ Denpasar 15 10 5 5 15 10 5 5 23. Kusniati Utami
STIKES Yarsi/ Mataram
15
15 7 7 30 15 7 7
24. Misroh Muliyaningsih 15 0 0 0
25. Erfina 15 15 8 8
26. Silvia Malasari
PSIK FK UNHAS/ Makassar
15 15 10 6
75 75 46 42
27. Hapsah 15 15 10 10
28. Rosyidah Arafat 15 15 10 10
29. Yuliana Syam 15 15 8 8
30. Nur Hidayah PSIK UIN SH/ Jakarta 15 15 10 10 15 15 10 10 31. Yulli Fety Stikes Mandala Waluya/ Kendari 15 15 7 7 15 15 7 7 32. Sulistyani STIKES Mataram/ Mataram 15 0 0 0 15 0 0 0 33. Aniek Puji Rahayu STIKES Wiyata Husada/
Samarinda 15 0 0 0 15 0 0 0
34. Haryanto STIKES Muh. Pontianak 15 0 0 0 15 0 0 0 35. Warjiman STIKES Suaka Insan/
Banjarmasin 15 0 0 0 15 0 0 0
36. Eka Santi PSIK FK UNLAM/ Banjarmasin 15 0 0 0 15 0 0 0
37. Muhsinin 15 0 0 0
38. Solikin STIKES Muh. Banjarmasin 15 0 0 0 30 0 0 0 39. Sitti Syamsiah STIKES Panakukang/ MKS 15 0 0 0 15 0 0 0 40. Zainar Kasim STIKES Muh. Manado 15 0 0 0 15 0 0 0
TOTAL 600 435 285 217 600 435 285 217
Urutan item writer kompeten dipilih oleh masing-masing fasilitator dalam kelompok bidang
keilmuan. Urutan item writer kompeten dilihat dari jumlah soal berkualitas yang dihasilkan dan keaktifan peserta dalam proses diskusi. Berikut adalah tabel rekapitulasi urutan item writer kompeten
berdasarkan keilmuan:
TABEL REKAPITULASI URUTAN ITEM WRITER KOMPETEN CBT KEPERAWATAN
No. Nama Institusi Keilmuan Jumlah Soal
Target Realisasi Direview Berkualitas 1 Rosyidah Arafat PSIK-FK UNHAS KMB 15 15 10 10 2 Cahyo Septiwi STIKES Muh. Gombong KMB 15 15 10 10 3 Tahan A. M. STIKES Medistra
Lubukpakam KMB 15 15 7 7
4 Yuliana Syam PSIK-FK UNHAS KMB 15 15 8 8
TOTAL 60 60 35 35
No. Nama Institusi Keilmuan Jumlah Soal
Target Realisasi Direview Berkualitas 1 Wenny Savitri STIKES A. Yani Ygy KMB dan KGD 15 15 11 11
2 Hansen Maikel STIKES Papua Sorong KMB dan KGD 15 15 10 10
3 Edriyani Y. S. PSIK Mutiara Indonesia
Medan KMB dan KGD 15 15 10 10 4 Bambang Suparno STIKES Papua Sorong KMB dan KGD 15 16 15 15
TOTAL 60 61 46 46
No. Nama Institusi Keilmuan Jumlah Soal
Target Realisasi Direview Berkualitas 1 Yati Afiyanti FIK UI Maternitas 15 15 5 5 2 Erfina PSIK UNHAS Maternitas 15 15 8 8 3 Kusniyati Utami STIKES Yarsi Mataram Maternitas 15 15 7 7 4 Ni Luh Adi Satriani STIKES Bali Maternitas 15 10 5 5 5 Yulli Fety STIKES Mandala
Waluya Maternitas 15 15 7 7
No. Nama Institusi Keilmuan Jumlah Soal
Target Realisasi Direview Berkualitas 1 Roymond H. S. PSIK Unej Jiwa/ Manajemen/
DKKD 15 15 15 15
2 Nur Hidayah UIN Alauddin Makassar Jiwa/ Manajemen/
DKKD 15 15 10 10
3 Ariani Arista Putri PSIK UGM Jiwa/ Manajemen/
DKKD 15 19 6 6
4 Hapsah PSIK FK UNHAS Jiwa/ Manajemen/
DKKD 15 15 10 10
5 Rika Endah
Nurhidayah FKep USU
Jiwa/ Manajemen/
DKKD 15 15 5 5
TOTAL 75 79 46 46
No. Nama Institusi Keilmuan Jumlah Soal
Target Realisasi Direview Berkualitas 1 Tantut Susanto PSIK Unej Komunitas/
Keluarga/ Gerontik 15 15 13 8 2 Silvia Malasari PSIK UNHAS Komunitas/
Keluarga/ Gerontik 15 15 10 6 3 M. Maftukhul Huda STIKES Karya Husada
Pare
Komunitas/
Keluarga/ Gerontik 15 15 8 4 4 Yosafat Barus STIKES Deli Husada
Delitua
Komunitas/
Keluarga/ Gerontik 15 15 13 5 5 Gunawan Irianto Malahayati Lampung Komunitas/
Keluarga/ Gerontik 15 15 11 4 6 Ismayadi FKep USU Komunitas/
Keluarga/ Gerontik 15 15 5 2 7 Evi Karota FKep USU Komunitas/
Keluarga/ Gerontik 15 15 6 3
TOTAL 105 105 66 32
No. Nama Institusi Keilmuan Jumlah Soal
Target Realisasi Direview Berkualitas 1 Dian Ramawati UNSOED Anak 15 15 15 6 2 Cahya Utami PSIK Udayana Anak 15 15 15 6 3 Aida Rusmariana STIKES Muh.
4 Listyana NR UNRIYO Anak 15 15 15 6
TOTAL 60 60 60 24
Pembuatan soal yang benar belum tersosialisasi dengan baik pada setiap peserta. Hal ini berpengaruh pada kualitas soal yang terkumpul. Oleh karena itu urutan peserta yang kompeten tidak hanya mengacu pada jumlah soal yang dihasilkan namun juga pada kontribusi item writer dalam kelompok diskusi. Selain itu ada satu peserta yang tidak tertulis pada list diskusi yaitu Hariyono dari Stikes ICME/ Jombang
6. Refleksi
Evaluasi pelaksanaan workshop umumnya ditinjau dari perspektif peserta dan tim monev. Sebaiknya perlu ada form evaluasi khusus dari tim fasilitator mengenai pelaksanaan kegiatan secara detail, sehingga pertemuan berikutnya akan terlaksana dengan maksimal. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut :
Gambaran Umum
Pencapaian hasil workshop masih jauh dari target, yaitu jumlah soal yang direview sebanyak 285 soal dan menghasilkan 217 soal yang berkualitas.
Sudah teridentifikasinya nama-nama pembuat soal yang kompeten sesuai dengan bidang keilmuan.
Hanya sedikit peserta yang membawa referensi dalam melakukan review soal
Peran fasilitator sangat penting dalam proses mereview soal
Beberapa hal yang perlu ditingkatkan dari pelaksanaan workshop ini adalah :
Metode pelaksanaan diskusi, dimana jumlah peserta diskusi yang berbeda tiap kelompoknya membuat output jumlah soal yang dihasilkan berbeda dan memakan waktu diskusi yang lebih lama pada kelompok diskusi yang pesertanya banyak
Diharapkan peserta membawa referensi yang cukup untuk memperlancar proses review
Fasilitator
baik
Usulan: LPUK membuat surat ke institusi untuk membuat soal
Peserta
Hal yang perlu diperhatikan dalam pengembangan soal agar menghasilkan soal yang berkualitas
o Peserta ditekankan untuk membawa referensi
o Kasus yang dibuat, terjadi/ dikenal mahasiswa di seluruh Indonesia
o Setiap soal dihantarkan oleh kasus, dimulai dengan tanda tanya, tidak boleh ada kata double negative, option jawaban dibuat homogen, ada kemungkinan mahasiswa menjawab opsi yang salah, dan dimulai dengan keyword baru dikembangkan
o Kesesuaian antara kompetensi dengan praktik o Kompetensi student/ perawat
o Pengalaman klinis dan referensi
o Kemampuan menggambarkan kasus riil dan pemahaman kompetensi Ners baru lulus o Tata bahasa yang baik, vignette yang berfungsi, terdapat distraktor, mengacu pada
literatur baku yang digunakan, dan kompetensi perawat
o Kata kunci pada vignette, kaidah penulisan sesuai EYD, menghindari petunjuk/ pernyataan negatif, dan memperhatikan blue print dan tujuan kompetensi yang ingin dicapai
o Buat blue print-nya sehingga tinjauan yang ingin dijabarkan dapat menggambarkan hasil kompetensi dan tindakan
o Buku yang jelas
o Pemahaman tentang prinsip-prinsip kerja blue print
o Blue print, kompetensi yang ingin dicapai oleh perawat, dan susun kalimat & gambaran kasus
o Disesuaikan dengan tujuan dan sasaran (untuk siapa soal dibuat) o Situasi nyata di rumah sakit dan teori
o Soal harus jelas dan logis, mengaplikasikan kisah nyata dan lebih banyak berfokus pada kompetensi keperawatan
o Memahami konsep dari kasus yang dibuat, penggunaan bahasa dan penulisan yang baik
o Memahami hal-hal apa yang mau ditanyakan sehingga skenario kasusnya dapat dibuat yang aplikatif
o Soal kasus diambilkan dari kasus yang nyata hasil praktik dan disesuaikan dengan teori yang ada
o Kompetensi yang ingin dicapai, blue print soal,dan gambaran kasus yang baik dan lead in
o Pengalaman praktik dan pemahaman terhadap blue print o Prioritas masalahnya
o Kompetensi pendidikan Ners termuat dalam soal, bahasa Indonesia yang lazim digunakan, dan budaya masing-masing daerah dalam pelayanan keperawatan di seluruh Indonesia
o Aspek dari setiap tinjauan, vignette yang tidak menjebak/ mengarahkan peserta o Kebrsinambungan antara TIK – TIU mata ajar dan standar kompetensi profesi
o Kompetensi yang ingin dicapai di soal yang diberikan, standard setting, reviewer yang baik, dan pengembangan item review
o Sistematis/ susunan kalimat, data yang ada di dalam soal, terminologi bahasa yang sudah umum digunakan, pilihan jawaban yang sesuai untuk soal, dan data faktual o Tim reviewer, dan kemampuan teoritis, psikomotor, dan konotif
o Knowledge, skill, dan afektif
Kendala yang dihadapi dalam mengembangkan soal o Pada waktu diskusi, referensi yang dibawa minim
o Peserta belum mengetahui rambu-rabu pembuatan vignette o Sulit membuat soal dalam vignette
o Sumber referensi dan pengalaman klinik o Membuat kasus
o Template yang diberikan masih yang lama, kesiapan peserta, dan pemahaman konten yang agak bervariasi
o Banyak item yang belum dipahami sehingga belum terbayang soalnya, contohnya soal untuk pengembangan profesionalisme, afektif/ konatif, value & belief.
o Literatur yang terbatas, ketidaksesuaian dengan kompetensi Ners di Indonesia
o Kesulitan dalam merubah soal dari C1 ke C3, dan menerjemahkan dari teori ke dalam aplikasi
o Menyesuaikan vignette dengan lead in, dan waktu terlalu pendek untuk proses reviewnya
o Option yang dipilih sangat sulit
o Pengembangan dalam memahami soal latihan yang beragam
o Belum terbiasa dengan penggunaan kaidah-kaidah dan prinsip kerja dalam pembuatan soal
o Kesulitan dalam pembuatan vignette, dan ketidaksesuaian dengan kompetensi o Waktu terlalu singkat
o Pemilihan kata yang padat dan mudah dimengerti oleh pembaca dan yang sesuai dengan kaidah EYD
o Membutuhkan waktu yang banyak
o Penggunaan bahasa/ dialek yang berbeda pada pembuat soal, soal terlalu panjang dan membingungkan, referensi yang berbeda
o Kurangnya literatur dan perlunya supervisi untuk klarifikasi soal yang dibuat o Waktu yang terlalu singkat dan referensi yang kurang
o Waktu yang dibutuhkan lama/panjang dalam pembuatan soal, butuh analisis yang baik sehingga soal tersebut aplikatif bagi perawat pemula/ fresh graduate, dan buth referensi yang mendukung dalam pembuatan soal
o Pemilihan kata-kata dalam menyusun dalam sebuah kalimat o Standar dari mata ajar yang berbeda pada masing-masing institusi
o Peserta belum terbiasa dengan soal model MCQ-A dengan struktur vignette - lead in – option
o Penyesuaian kata-kata dan menyesuaikan soal dengan jawaban o Waktu yang disiapkan untuk review soal sangat singkat
o Mengembangkan option yang mendekati keseragaman dengan distraktor yang baik dan vignette yang lengkap dan sempurna
o Keterbatasan kemampuan dalam pengembangan, penentuan apa yang akan ditanya dan bagaimana mau bertanya
o Membuat vignette yang reliable sesuai fakta, membuat vignette dengan kasus legal etik, membuat distraktor, membuat vignette yang behubungan dengan soal, kesulitan tidak boleh menggunakan ‘kecuali’, kesulitan di closed option, dan membuat option yang homogen
o Menyusun data yang tepat (faktual) untuk mengukur kompetensi yang diharapkan dan pilihan jawaban yang sesuai untuk soal
o Kurangnya kemampuan dalam pemahaman pembuatan soal yang baik
o Kesiapan institusi dalam mengembangkan soal yaitu sumber daya manusia dan item writer CBT yang qualified
Kualifikasi yang harus dimiliki oleh seorang item writer CBT Ners yang baik o Punya pengalaman klinik, sudah S2
o Kompetensi dan bahasa Indonesia yang baik dan benar
o Paham konten dengan baik dan memahami soal yang baik dan benar o Pengalaman praktik, pendidikan
o Menguasai/ pakar di area/ bidang keperawatan o Pengalaman klinik, mengajar minimal dua tahun
o Memahami kompetensi Ners dan mempunyai pengalaman klinik yang memadai o Pengalaman di lahan yang cukup, dan memahami kompetensi Ners di Indonesia o Pengetahuan & pemahaman tentang peminatan yang digeluti, memahami aturan
pembuatan soal, dan berpikir kritis
o Memilih kompetensi proporsional dan mampu menyusun soal sesuai ketentuan o Memiliki kompetensi tentang item development
o Peraturan yang telah disepakat hatus dipahami bersama, kemudian penerapannya merata di setiap institusi
o Pengalaman kerja, mengajar mata kuliah yang kritis dan talented
o Mempunyai pengalaman klinik, kemmapuan dalam membuat vignette, dan mengetahui kompetensi
o Analisa tinggi dan wawasan luas
o Pengalaman klinik memadai dan pengetahuan sangat baik di bidangnya dan bidang lain
o Pemahaman yang baik pada tingkat kesulitan soal dan pengalaman dalam pembuatan soal
o Berkualifikasi perawat Ners, dan pendidik yang berpengalaman
o Pengalamn klinis yang cukup, pengalaman mengajar, kemampuan berbahasa Indonesia yang baik dan benar, dan berkomitmen untuk menghasilkan soal yang baik o Memiliki pengetahuan yang komprehensif tentang keperawatan sehingga dapat
menuliskan soal yang aplikatif, dan punya pengalaman klinik o Pendidikan yang mendukung rumpun keilmuannya
o Spesifikasi keilmuan yang jelas (sesuai dengan bidang yang diambil) o Kesesuaian bidang ilmu, dan pengalaman praktik dan komunitas o Bisa menganalisa soal dan harus tepat kata kuncinya
o Tingkat pendidikan minimal S2 dan memiliki pengalaman kerja sebagai dosen minimal 5 tahun
o Kognitif, afektif, dan skill di bidang masing-masing agar penyusunan soal lebih terkonsentrasi
o Kemampan sensitivitas akan standar kompetensi dalam pencapaiannya
o Mengenal fenomena di lapangan, minimal S1 Ners, memahami patofisiologi askep secara menyeluruh, dan mampu menginterogasikan teori secara komprehensif
o Pendidikan minimal S1, dan sudah pernah mengikuti pelatihan item development atau item review sebelumnya
o Kompeten di bidangnya, kritis, dan pendidikan minimal S1 Keperawatan
o Pendidikan S1 Keperawatan Ners + S2 Keperawatan, dan sesuai bidang peminatan
Strategi pengumpulan soal di tingkat institusi selama ini o Pelatihan rutin
o Soal yang disusun di institusi yang sudah direview atau di-try out o Hanya diminta melalui email satu-persatu
o Masih berlum terkoordinir dengan baik o Cukup baik
o Dikumpulkan ke KPS
o Belum dikumpulkan secara teratur di dalam bank soal, dan belum ada penilai kualitas soal & kesesuaian dengan kompetensi
o Pengumpulan soal disentralisasi di kepanitiaan UTS/ UAS kemudian diperbanyak di tigkat prodi
o Soal dikumpulkan pada tim bank soal sehingga mempermudah dalam penyimpanan soal
o Penyusunan tiap menjelang ujian dan sebelum diujikan dilakukan proses review o Komunikasi yang efektif
o Setiap institusi mengumpulkan soal, kemudian bisa ditelaah kembali
o Dibuat oleh pengajar mata kuliah, kemudian diserahkan kepada koor MK sebagai pembuat soal dan penggabungan soal ke seluruh tim
o Belum dilakukan o Masih kurang
o Mengumpulkan secara langsung soal dari sisi pengajar o Sudah cukup baik
o Belum berjalan maksimal karena masing-masing dosen membuat soal tersebut belum disosialisasikan
o Membuat soal ujian vignette di setiap semester, mengajak para dosen bersama-sama membuat soal vignette, mengumpulkan soal ujian dan didokumentasikan
o Mengumpulkan soal ke dalam bank soal di bagian administrasi akademik dan kurikulum program studi
o Setiap dosen membuat soal berdasarkan bagiannya dan dikumpulkan menjadi suatu bank soal
o Kasus diambil dari hasil laporan profesi mahasiswa, dilakukan penyusunan soal di tiap bagian keperawatan, soal diujicobakan lewat UTS/ UAS, dan dilakukan evaluasi melalui rapat bagian dan rapat akademik
o Masih belum terpola dan diserahkan apda masing-masing dosen
o Masih belum sistematis dari dosen penanggung jawab mata kuliah saja o Masih kurang baik
o Soal yang dikumpulkan saat ujian semester dibuatkan pedoman pembuatan soal dan melaksanakan workshop pembuatan soal tingkat prodi
o Dibuat masing-masing dosen kemudian digabungkan dalam tim tanpa adanya evaluasi o Dikumpulkan secara sentral di bidang akademik
o Setiap pengajar mengumpulkan soal MCQ/ Essay ke koordinator blok, koordinator mereview kualitas soal yang sesuai dengan tujuan pembelajaran dan kompetensi yang diharapkan, semua soal yang telah direview direkap.
o Pengumpulan soal masih di tahapan koordinator mata ajar
o Soal dibuat oleh dosen pengampu kemudian dikumpulkan di bagian akademik o Strategi pengumpulan soal di bagian di administrasi pendidikan
Rencana tindak lanjut kegiatan ini di tingkat institusi o Ditindaklanjuti dengan kondisi di lokal
o Secara periodil menyusun soal dengan design seperti sekarang o Sebaiknya didiseminasikan ke institusi agar mahasiswa terbiasa o Mengembangkan dan melanjutkan soal di tempat kerja
o Pelatihan rutin dan memperbanyak reviewer o Mengadakan review soal
o Mengadakan in-house training item development, meningkatkan pembelajaran kasus-kasus di laboratorium (case based learning) membiasakan mahasiswa menghadapi soal dan kasus untuk mencapai kompetensi, dan tetap menjalin hubungan dengan fasilitator/ reviewer untuk meningkatkan kualitas soal
o Mengadakan workshop review soal di tingkat institusi
o Sosialisasi tentang kegiatan/ metode pembuatan soal yang baik pada rekan-rekan sejawat di institusi, soal-soal untuk ujian final dan mid akan mengikuti panduan penulisan soal sehingga mahasiswa terbiasa
o Menyusun soal standar CBT Ners sesuai dengan kelompok keilmuan o Harus dibuat pelatihan di tingkat institusi
o Perlu di-follow up soal yang dari institusi memenuhi syarat/tidak
o Sosialisasi dan implementasi langsung pada saat membuat soal ujian mahasiswa o Sosialisasi cara pembuatan soal yang benar sehingga mahasiswa terbiasa dengan soal
vignette saat ujian kompetensi
o Sosialisasi tentang cara pembuatan soal, mencoba penerapannya o Pelaksanaan latihan pembuatan soal
o Disosialisasikan kepada semuadosen di institusi
o Rapat para dosen membahas soal ujian bentuk vignette, mengarahkan dosen dalam penyusunan soal vignette, dan kosultasi soal vignette ke pusat melalui email dan workshop
o Mendiseminasikan hasil pelatihan kepada seluruh dosen, mereview soal yang ada, dan berlatih membuat soal yang baik bersama-sama
o Melakukan pelatihan internal institusi sehingga rekan-rekan memahami cara pembuatan soal yang benar
o Penyediaan waktu dalam penyusunan soal, pembahasan internal sebelum ke regional, dan uji coba
o Diadakan training pembuatan soal yang baik dan berbasis kompetensi o Membentuk unit assessment lokal di masing-masing institusi
o Akan mereview soal-soal yang ada di institusi
o Mengadakan pertemuan rutin membuat soal dalam satu semester o Diseminasi untuk sejawat
o Akan segera di-share-kan dengan deluruh departemen o Diseminasi strategi pembuatan soal
o Meningkatkan kualitas soal dengan diskusi/ peer review seminar atau jurusan, dan mengevaluasi soal-soal yang pernah dibuat sebelumnya dengan teman sejawat
o Akan melakukan sosialisasi pengembangan soal yang sudah dipelajari di tingkat institusi
o Menginformasikan institusi untuk persiapan ujian dan menyampaikan kepada institusi untuk mempersiapkan peralatan CBT dan sumber daya sebagai item writer CBT
Rekomendasi untuk perbaikan workshop kedepan o Surat ke peserta di institusi lebih awal diberikan
o Syarat peserta yang membawa soal harus sudah direview o Waktu bekerja diperpanjang
o Lebih lama lagi waktu penyelenggaraannya
o Perbandingan reviewer disesuaikan dengan banyak peserta o Undangan/ template dibagikan lebih awal
o Samakan dulu persepsi tentang kompetensi dan blue print, dan semoga bisa berkontribusi dan berperan aktif
o Materi yang disampaikan lebih dulu disampaikan pada audience o Bidang keilmuan yang diundang juga dilihat dari segi kuantitasnya o Informasi rencana workshop mohon dua minggu sebelum pelaksanaan o Hari yang harus ditambah, minimal satu minggu
o Mohon info jauh sebelum pelaksanaan workshop sehingga dapat mempersiapkan apa yang dibutuhkan
o Pertemuan lebih intens, ada jenjang lanjutan
o Workshop sudah bagus, mungkin waktunya terlalu singkat sehingga soal yang dibuat tidak bisa direview keseluruhan
o Waktu ditambah dan pemberitahuan lebih dini
o Diberikan contoh terlebih dahulu pada setiap tinjauan khususnya tinjauan 1 dan 2 o Terus mempertajam dalam pembuatan soal supaya lebih dalam
o Mohon agar kami selalu dilibatkan dalam pembuatan soal vignette item development CBT Ners selanjutnya
o Sudah baik, pertahankan dan tingkatkan peran fasilitator dalam kelompok, dan sebaiknya ada presentasi dari perwakilan peserta setelah soal direview dalam bentuk panel
o Mengadakan WS dengan mengunjungi setiap propinsi/ dipusatkan ke propinsi tertentu untuk beberapa daerah dimana kita tahu banyak institusi tersebar di seluruh Indonesia dan tidak semua dapat mengikuti secara nasional
o Waktu ditambahkan, dan penyimpanan soal yang sudah diujikan di instansi
o Dibuat peminaan lebih intens pada wilayah/ regional tentang WS item development o Pembuatan soal ‘pesanan’ untuk mengisi sel-sel yang kosong dari blue print
o Waktunya kurang banyak, mohon dipertimbangkan lagi
o Mengundang masing-masing item writer CBT Ners untuk masing-masing departemen/ kompetensi bidang ilmu untuk membuat kesepakatan sesuai bidang ilmu
o Adanya kelompok kerja untuk setiap kelompok bidang kajian/ mailist/ FB sehingga komunikasi tetap terjalin
o Waktu agar diperpanjang dan jangan sampai putus informasi o Fasilitator tiap bidang mohon disediakan lengkap
o Fasilitator sesuai bidang/ peminatan disediakan o Fasilitator tiap bidang/ departemen mohon disediakan
o Fasilitator disesuaikan dengan bidang peminatan
7. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
Soal-soal yang sudah direview oleh peserta akan dikumpulkan dan nantinya akan digunakan dalam workshop item review untuk di review kembali oleh peserta item review.
Daftar nama item writer yang kompeten dapat digunakan untuk mengikuti workshop item review.
Setiap peserta secara aktif mengirim soal melalui mailist yang disediakan oleh panitia pusat.
Masing-masing peserta workshop pelatihan akan melakukan sosialisasi materi hasil pelatihan ke institusinya masing-masing.
8. Penutup
Upaya peningkatan kualitas dan kuantitas pembuatan soal diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat Institusi Pendidikan, terutama untuk institusi yang tersebar di seluruh Indonesia. Oleh karena itu diharapkan para peserta workshop yang terpilih dapat menjadi calon narasumber untuk pelatihan yang diadakan di tingkat regional dan lokal. Dengan demikian upaya percepatan pembuatan soal yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna.
Lampiran
Point of Discussion Workshop
