LAPORAN
WORKSHOP NASIONAL ITEM REVIEW
PERAWAT (gelombang 4)
Direktorat Akademik
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
1. Pendahuluan
Upaya peningkatan sistem ujian pada pendidikan keperawatan yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif dan sesuai dengan kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tulis. Untuk mendapatkan soal-soal yang berkualitas, diperlukan item review yang mempunyai kemampuan dalam me-review soal yang handal.
Di sisi lain, diperlukan proses pembuatan soal dilanjutkan dengan proses review yang sesuai dengan kaedah standar nasional dan internasional oleh SDM yang cukup dan berkualitas di setiap institusi. Untuk dapat menjaga keberlangsungan program pelatihan ini, maka perlu dilakukan kegiatan pelatihan yang diselenggarakan secara nasional untuk dapat memperoleh pemahaman dan kemampuan yang sama terhadap cara dan sistem review soal yang berkualitas. Kegiatan ini melibatkan institusi pendidikan keperawatan (AIPNI) dan organisasi profesi keperawatan (PPNI).
Workshop item review secara nasional telah dilakukan untuk profesi ners melalui serangkaian workshop, pada 16-17 April 2010 (gelombang 1), 23-24 Juli 2010 (gelombang 2), 22-23 September 2010 (gelombang 3) dan 22-23 Oktober 2010 (gelombang 4). Mengingat setelah pelaksanaan workshop para peserta mengirimkan soal sebagai bahan untuk ujian tulis, maka dipandang perlu untuk melakukan review soal yang telah dikumpulkan baik dari segi struktur maupun materi soal yang terkandung di dalamnya sebagai upaya menghasilkan soal yang berkualitas.
2. Tujuan
Tujuan dilaksanakannya workshop nasional item review UKDI ini adalah :
a. Meningkatkan kemampuan SDM keperawatan dalam melakukan review soal untuk menghasilkan soal uji tulis yang berkualitas.
b. Meningkatkan jumlah soal uji yang te-review untuk digunakan pada uji nasional
c. Teridentifikasi nama–nama trainer nasional dalam review soal uji tulis keperawatan yang kompeten.
3. Output Workshop
Output yang diharapkan dari workshop ini adalah :
a. Sejumlah item reviewer soal ujian tulis yang berkualitas b. 350 soal uji yang berhasil direview
4. Metode Pelaksanaan Workshop
Workshop nasional item review perawat ini dilaksanakan pada tanggal 23 – 24 September 2010 di Hotel Inna Putri, Bali. Peserta workshop adalah 22 item review, 1 orang fasilitator, dan 2 orang Tim MONEV. Pada pelaksanaannya, ada 10 undangan yang tidak hadir, 8 undangan dari peserta (3 diantaranya diwakilkan), 1 undangan dari tim Pokja PPSDM Komponen 2, dan 1 undangan dari tim MONEV.
REKAPITULASI DAFTAR PESERTA WORKSHOP
No. Nama Asal Institusi Email
1 Aulawi Khudazi PSIK FK UGM [email protected] 2 Mustikasari FIK-UI / PPNI [email protected] 3 Wawan Arif Sawana PPNI Jawa Barat [email protected] 4 Edy Wuryanto PPNI Jawa Tengah [email protected] 5 Diwa Agus S. PPNI Jawa Barat [email protected] 6 Mariyono Sedyowinarjo PSIK UGM / PPNI [email protected]
7 Masfuri PPNI Pusat [email protected]
8 Harif Fadhillah PP - PPNI [email protected] 9 Yani Sofiani PSIK FKK UMJ [email protected] 10 Tuti Herawati PP - PPNI [email protected] 11 Eddy Rosfiati PPNI / KNKP [email protected]
12 Made Kariarsa AIPNI / FIK - UI [email protected] 13 Heru Supriyanto PPNI / Poltekes Semarang [email protected] 14 Agus Santoso AIPNI / PSIK UNDIP [email protected] 15 Lulu Lusyana RS Jantung Harapan Kita [email protected] 16 I Ketut Suardana PSIK FK UNUD [email protected] Untuk mempermudah proses review soal, para item review dibagi menjadi 3 kelompok. Masing masing kelompok membahas 3 kelompok soal yang didapatkan dari workshop item development di medan, yogyakarta, dan bali. Fasilitator (Trijoko) dari KBUKDI berperan mengarahkan setiap kali ada pertanyaan mengenai dasar item review.
Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara sudah berjalan sesuai dengan jadwal. Hanya saja ada sedikit kendala mengenai instrumen kaji ulang yang belum siap. Dengan demikian, nilai substansi dari tiap materi yang diberikan oleh narasumber tidak berkurang. Berikut adalah rundown acara workshop pada kondisi riil :
HARI PERTAMA
Waktu Acara Pelaksana/Fasilitator
14.00 – 14.15 Pembukaan & Pengarahan Workshop LO Profesi Ners Komponen 2 14.15 – 15.30 Penjelasan mengenai item review Fasilitator KB UKDI
5. Hasil Kegiatan
Workshop ini diawali pengarahan dari fasilitator KBUKDI mengenai hal-hal yang akan dikerjakan selama workshop beserta penentuan target yang akan dicapai. Workshop ini merupakan workshop item review yang pertama kali untuk perawat. Beberapa peserta nampak belum begitu memahami materi item
review, sementara beberapa peserta lain yang sudah pernah mengikuti workshop item review sebagi
pengamat tampak sudah memahami materi. Dalam penjelasan oleh fasilitator dijelaskan mengenai tugas dari item reviewer. Setelah itu acara dilanjutkan dengan item review soal yang sudah dibagi menjadi 3 kelompok.
Pada tahap review soal, fasilitator kembali mengingatkan agar dalam mereview soal para peserta menggunakan instrumen yang telah ada. Berdasarkan pengamatan, masih banyak soal ujian yang kualitasnya belum optimal. Hal ini disebabkan karena sebagian besar item writer baru mengikuti workshop item development untuk pertama kali. Di lain pihak persamaan terminologi dan buku acuan bagi perawat masih berbeda antara institusi yang satu dengan institusi yang lain. Permasalahan dalam workshop ditambah dengan kurang pahamnya peserta mengenai tugas item review, karena ada sebagian peserta berusaha melihat konten soal lebih jauh di bidang keilmuan ketimbang mengikuti instrumen yang ada.
Kesulitan yang paling mendasar muncul karena sebagian besar soal merupakan soal yang tidak baik, dan harus dibuang. Oleh karena itu, diambil kebijaksanaan untuk mencapai target workshop kali ini. Kebijaksanaan tersebut sebagai berikut :
1. Soal yang tidak memenuhi/ jauh dari kriteria soal baik, akan langsung ditolak dan dikembalikan kepada penulis soal dengan feedback yang terlampir.
2. Soal yang masih mungkin diperbaiki, akan langsung diperbaiki ditempat oleh item reviewer. 3. Dari soal yang diperbaiki dan diterima, diambil 5 contoh soal yang digunakan sebagai contoh
soal (yang baik dan buruk) yang akan digunakan dalam workshop item development yang diadakan di tingkat institusi maupun regional.
19.00 – 22.00 Kaji Ulang Kelompok Fasilitator
HARI KEDUA
Waktu Acara Pelaksana/Fasilitator
08.00 – 10.00 Kaji Ulang Kelompok Fasilitator
10.00 – 11.30 Kaji Ulang Pleno LO Profesi Ners Komponen 2 11.30 – 12.00 Wrap Up dan Rencana Tindak Lanjut LO Profesi Ners Komponen 2
Dengan adanya kesepakatan di atas, maka item reviewer juga melakukan perbaikan soal. Namun, peserta dan fasilitator sudah paham betul, bahwa nantinya item reviewer tidak akan mengkoreksi soal, tapi mengkaji soal, menetukan kelayakan soal, dan kemudian memberikan feedback untuk soal tersebut. Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop item
review perawat secara umum adalah sebagai berikut:
No. KOMPONEN TARGET REALISASI
1. Jumlah soal yang direview dalam workshop 350 234 2. Jumlah soal yang memenuhi kriteria soal yang baik 350 133
3. Jumlah peserta workshop 21 16
4. Jumlah narasumber 1 1
Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini sudah sangat belum optimal. Hal ini dapat dilihat dari jumlah soal yang berhasil direview dan jumlah soal yang baik. Jumlah peserta workshop hanya mencapai 76%.
Beberapa faktor mendukung tidak tercapainya target review soal
1. Jumlah soal yang kurang, sehingga review soal tidak sesuai dengan target.
2. Jenis soal yang masih perlu banyak perbaikan, banyak diantara soal yang dibawa berada dibawah target.
3. Kemampuan item development yang kurang, dikarenakan pelatihan item development baru dilaksanakan sekali waktu.
Untuk workshop item review, tidak ada kesulitan dalam menyamakan terminologi karena sebelum peserta dibagi dalam kelompok, sudah disampaikan terminologi yang sudah disepakati secara nasional. Dalam undangan, ada 21 peserta yang diundang, namun pada kenyataanya hanya 16 orang yang datang. Hal ini menyebabkan SDM item review kurang dari terget dan membuat proses item review berjalan lambat. Jumlah soal yang didapat dari masing – masing item development masih belum bisa memenuhi target. Selain itu buruknya kualitas soal yang terkumpul menjadi perhatian tersendiri dari masing – masing peserta item review.
REKAPITULASI ITEM REVIEW
KELOMPOK: 1No. Nama Asal Institusi Email
1 Aulawi Khudazi PSIK FK UGM [email protected]
2 Mustikasari FIK-UI / PPNI [email protected]
3 Wawan Arif Sawana PPNI Jawa Barat [email protected] 4 Edy Wuryanto Un. Muh. Semarang / PPNI Jawa Tengah [email protected] 5 Diwa Agus S. PPNI Jawa Barat [email protected]
KELOMPOK: 2
No. Nama Asal Institusi Email
1 Mariyono Sedyowinarjo PSIK UGM / PPNI [email protected]
2 Masfuri PPNI Pusat [email protected]
3 Harif Fadhillah PP - PPNI [email protected] 4 Yani Sofiani PSIK FKK UMJ [email protected] 5 Tuti Herawati PP - PPNI [email protected] 6 Eddy Rosfiati PPNI / KNKP [email protected]
KELOMPOK: 3
No. Nama Asal Institusi Email
1 Made Kariarsa AIPNI / FIK - UI [email protected] 2 Heru Supriyanto PPNI / Poltekes Semarang [email protected] 3 Agus Santoso AIPNI / PSIK UNDIP [email protected] 4 Lulu Lusyana RS Jantung Harapan Kita [email protected] 5 I Ketut Suardana PSIK FK UNUD [email protected] Selanjutnya, soal-soal yang telah berhasil terkumpul direview oleh tiap item review dengan berpedoman pada cara penulisan soal yang baik dan tinjauan yang disepakati serta instrumen review. Berdasarkan rekapitulasi jumlah soal yang berhasil direview, item review dari kelompok 1 dinilai paling produktif karena paling banyak mereview soal. Untuk soal yang berkualitas baik, kelompok 1 merupakan kelompok yang paling banyak mereview soal yang menjadi soal yang berkualitas baik. Pada dasarnya, pencapaian jumlah soal yang direview ini dibatasi oleh waktu pelaksanaan workshop. Apabila diberi alokasi waktu lebih lama, maka jumlah soal yang direview juga akan semakin banyak.
Jumlah soal di review
Jumlah soal diterima dengan perbaikan
Jumlah soal yang ditolak
Jumlah soal yang sudah jadi
Kelompok soal jogja 131 66 65 66
Kelompok soal medan 62 34 38 34
Kelompok soal bali 41 33 8 33
Berdasarkan soal-soal yang telah direview, maka dipilih soal-soal yang memenuhi kriteria baik yang nantinya akan dibawa pada workshop item review perawat untuk dijadikan sebagi sumber soal. Semua soal yang telah direview oleh kelompok yang memiliki kriteria baik dilakukan perbaikan pada saat mereview soal tersebut.
Pada workshop kali ini ditemukan banyak kekurangan di bidang item development para item writer. Peserta sudah berjanji bahwa akan mengadakan workshop item development dan item review di wilayahnya masing-masing. Berdasarkan kesepakatan tersebut, sebaiknya masing-masing peserta dapat
menyusun plan of action yang strategis untuk memperbaiki kinerja masing-masing wilayah dalam hal implementasi mekanisme item development & review yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi perawat dan lulusannya.
6. Refleksi
Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut :
Gambaran Umum
Mekanisme item review masih berjalan secara individual dan belum menyeluruh. Sejalan dengan hal ini, perlu identifikasi terhadap permasalahan-permasalahan terkait mekanisme item review di tiap wilayah keperawatan.
Partisipasi institusi dalam mengumpulkan soal baik, hanya saja masih banyak soal yang tidak memenuhi kriteria. Perlu diadakan lebih banyak lagi workshop item review regiolnal maupun lokal.
Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah :
Kemampuan peserta dalam item review
Institusi yang menyelenggarakan workshop item review masih sangat sedikit
Disiplin ilmu asal peserta belum merata, pengalaman klinis beberapa peserta yang kurang
Fasilitator
Penilaian terhadap kemampuan peserta item review
Pada umumnya peserta mengikuti workshop dengan antusias dan serius.
Peserta mau menerima masukan dari fasilitator dan cepat beradaptasi.
Peserta cukup berpengalaman dalam segi keilmuan dan menyadari kekurangannya setelah mendapat masukan.
Kendala dari sisi peserta
Beberapa soal yang dibawa tidak menggunakan vignette.
Vignette yang dibuat peserta masih belum sistematis dan beberapa soal tidak masuk kriteria soal dengan one best answer.
Tidak semua berkontribusi dalam memberi masukan tiap soal, beberapa peserta bahkan tidak berkontribusi soal.
Apakah peserta workshop mampu menjadi pelatih item review di institusi masing-masing?
Mampu namun masih memerlukan pendampingan dari fasilitator.
Manfaat kegiatan ini untuk pengembangan sisten uji kompetensi perawat di Indonesia
Meningkatkan jumlah soal yang dapat dikontribusikan di dalam bank soal profesi perawat dan meningkatkan jumlah soal untuk digunakan dalam uji kompetensi perawat.
Memberika wacana baru mengenai pembuatan soal yang baik kepada para item review, sehingga dapat menambah jumlah item review bagi uji kompetensi perawat.
Rekomendasi
Meningkatkan pelatihan item review di tingkat institusi
Mewajibkan institusi untuk membuat soal sesuai dengan blue print yang ada.
Melakukan sosialisasi uji kompetensi dan blue print.
Adanya follow up dari AIPNI dan PPNI kepada anggotanya yang telah mengikuti workshop supaya dapat berkontribusi lebih dalam item review.
Saran
Jika memungkinkan, HPEQ dapat membantu dalam pembuatan software item analysis.
Perlu ada regulasi yang meminta setiap institusi yang sudah mengikuti workshop untuk membuat soal dalam format yang disepakati.
Perlu ada penambahan waktu workshop.
Peserta
Kendala
Kesulitan dalam membuat soal yang sesuai dengan format yang baku, karena minimnya pengalaman tentang bagaimana cara menulis soal yang baik. Selain itu kesulitan juga dikarenakan kurangnya membaca text book.
Perlu ada buku referensi dan pakar dalam bidang spesialistik tertentu. Selain itu perlu adanya kesepakatan di semua institusi mengenai referensi yang digunakan sebagai acuan pembuatan soal.
Kurangnya dukungan pimpinan di daerah untuk mengikuti workshop dan mengadakan workshop di tingkat institusi.
Waktu workshop sangatlah sempit, sehingga peserta tidak dapat dilatih secara optimal.
Tidak semua perawat mempunyai kompetensi yang sama dan beberapa institusi perawat belum sepaham. Belum ada kejelasan mengenai komitmen dari masing-masing institusi untuk melakukan uji kompetensi ini. Selain itu juga adanya perbedaan persepsi mengenai kompetensi perawat yang diharapkan.
Sebaiknya ada sertifikat.
Kedatangan surat undangan yang mendadak membuat peserta kesulitan dalam mempersiapkan soal.
Kurangnya fasilitator dari institusi di wilayah indonesia bagian timur.
Belum adanya kesamaan pemahaman dan penggunaan istilah-istilah yang digunakan dalam soal.
Rencana diseminasi
Membuat laporan workshop pada rektor dan dekan serta rencana diseminasi.
Segera dilakukan tindak lanjut berupa sosialisasi dan workshop item review di tingkat institusi sebagai persiapan uji kompetensi. Juga perlu dilakukan sosialisasi pada seluruh anggota PPNI.
Perlu ada sharing ilmu antara jajaran keperawatan dan direksi.
Perlu dibuat bank soal di masing-masing institusi.
Perlu dibuat mekanisme feedback yang efektif mengenai revisi soal, agar penulis soal juga semakin paham cara menulis soal yang baik.
Perlu dilakukan advokasi kepada pimpinan institusi dan yayasan.
Perlu ada uji coba soal pada ujian di institusi masing-masing.
Komentar
Waktu yang disediakan terlalu sedikit, dan diharapkan ada program IT untuk item review karena ada perbedaan persepsi antara masing-masing item review.
Perlu ada lagi workshop serupa di tingkat regional maupun institusi. Selain itu perlu ada sosialisai mengenai blue print dan proyek HPEQ kepada pimpinan institusi.
Kegiatan ini sangat berguna untuk melatih pada dosen dalam membuat soal yang baik.
Sebaiknya perlu ada komunikasi yang intensif antara peserta, fasilitator, dan proyek HPEQ mengenai perkembangan informasi uji kompetensi.
Workshop sudah sangat baik, namun mohon disediakan softcopy Analisis soal.
Workshop ini memberikan ilmu yang sangat aplikatif dan membangun profesi perawat.
Sebaiknya peserta juga diikutkan dalam workshop item review dan standard setting.
7. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
Semua institusi berkomitmen mendukung proyek ini.
Akan dilaksanakan WS Item Review di tingkat Institusi / Regional yang akan dibiayai mandiri oleh masing-masing institusi.
Sulawesi Tenggara = STIKES Mandala Waluya
Sulawesi Utara = Univ. De Lesale
Sulawesi Selatan = UIN Alauddin
Sulawesi Selatan = PPNI – STIKES Panakukang
Jawa Tengah = PPNI Jateng
Jawa Timur = STIKES Nganjuk
Papua = STIKES Papua Sorong
Bali = PPNI – STIKES Wira Medika
DKI = RS Jantung Harapan Kita
Jawa Barat = PPNI – STIKES Ahmad Yani
8. Penutup
Upaya peningkatan kualitas dan kuantitas pembuatan soal diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat Institusi Pendidikan. Untuk itu diharapkan bahwa para
item review yang terpilih di tingkat nasional dapat menjadi calon narasumber untuk pelatihan yang
diadakan di tingkat regional dan lokal. Dengan demikian, upaya percepatan pembuatan soal yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna.
