2012
HPEQ KOMPONEN II KEMENDIKBUDTIM UJI KOMPETESI NERS
LAPORAN TRY OUT
UJI KOMPETENSI NERS 2012
Page 2 of 37 BAGIAN I
MANAJEMEN UJIAN
Pada bagian ini, laporan evaluasi memaparkan mengenai evaluasi pra ujian dan pelaksanaan ujian dari manejemen ujian. Evaluasi pra ujian meliputi : Kepesertaan, Metoda Ujian dan Lokasi Ujian, Kesiapan CBT, Ruang Briefing dan fasilitas Penunjang, Briefing Pengawas Pusat. Sedangkan evaluasi pelaksanaan ujian meliputi : evaluasi brefing peserta dan pelaksanaan ujian.
1.1 Evaluasi Pra Ujian : Kepesertaan
Evaluasi pra ujian terkait kepesertaan meliputi : jumlah institusi teregistrasi, jumlah peserta teregistrasi, jumlah peserta terverifikasi, jumlah peserta tervalidasi dan target waktu yang ditetap dalam registrasi.
Tabel 1.1 Jumlah Target dan Realiasi Peserta yang Melakukan Registrasi
No Registrasi Target Realisasi Keterangan
1 Jumlah institusi teregistrasi 120 90 Realiasi institusi tidak mencapai target kemungkinan karena perhatian kurang dari institusi atau karena informasi tidak sampai 2 Jumlah peserta teregistrasi 1730 1449 Ada beberapa data dari institusi tidak sesuai
dengan format 3 Jumlah peserta terverifikasi 1449 1449
4 Jumlah peserta tervalidasi Valiadai tidak dapat dilakukan karena waktu sangat sempit. 5. Waktu melakukan registrasi 1 bulan 1 bulan 2 mg
Registasi terhambat karena ada libur lebaran.
6. Waktu verifikasi 7 hari 7 hari
7. Waktu memvalidasi - - Tidak dapat dilakukan 8. Waktu penetapan peserta
final
Page 3 of 37 Tabel 1.2 : Masalah dan Solusi dalam Registrasi Peserta
No Masalah Solusi
1 Petunjuk/pedoman /format pendaftaran yang di kirim ke institusi/regional tidak lengkap
Format yang di gunakan sebagai pendaftaran tidak sesuai dengan format yang ada pada aplikasi
• Petunjuk/pedoman pendaftaran
disusun/dirumuskan secara komprehensif , baru kemudian di kirim/di email ke regional.
• Pengiriman petunjuk/pedoman pendaftaran hanya satu sumber
• Format yang di kirim sama dengan data yg sesuai dengan aplikasi
2 Waktu pendaftaran ke regional dan dari regional ke pusat tidak di tepati, karena berbagai hal, terutama libur ramadhan dan lebaran.
Tanggal pendaftaran ke regional dan dari regional ke pusat hendaknya di tepati. Pendaftaran di luar jadwal tersebut, dinyatakan tidak diterima. 3 Panitia pusat masih menerima kiriman data via email
dari institusi-institusi di masing-masing regional, tidak melalui sub regional atau double.
Institusi hanya boleh mengirimkan data ke regional/sub regional.
Panitia pusat tidak menerima data dari institusi, tetapi dari regional/sub regional.
4 Masih ada pengiriman data pendaftar yang
belum/tidak sesuai dengan format yang disediakan, termasuk file foto dan format foto (jpeg: 600x800 fixel)
• Berikan petunjuk pengisian data ke dalam format pendaftaran, termasuk cara melakukan edit foto agar sesuai dengan yang diinginkan (jpeg: 600x800 fixel)
• Kembalikan data pendaftar, jika ada yang tidak sesuai dengan format dan ketentuan yang diinginkan.
• Pada tiap kolom yang ada dalam form
pendaftaran peserta di beri “insert comment” • Data yang di kirim ke pusat adalah data “ bersih “
dari regional 5 Pemakaian email pribadi menyulitkan identifikasi data,
mengingat email TO yang masuk akan tercampur email lainnya
Perlu dibuat email tersendiri yang khusus di buat untuk keperluan pendaftaran TO
6 Format pendaftaran berubah-ubah Format dikembangkan oleh tim IT dan didesign sedemikian rupa sehingga pengetikan data (termasuk hurup besar/kecil) hanya akan terbaca sesuai yang diinginkan
7 Respon institusi pengirim peserta try out sangat lamban
Perlu sosialisasi yang lebih intensif melalui jejaring AIPNI dan organisasi profesi PPNI dan MTKP masing-masing daerah
Page 4 of 37 1.1.1 Lesson Learn dalam Kegiatan Registrasi
a. Pentingnya koordinasi antara regional dan sub regional serta panitia pusat dalam proses registrasi, verifikasi dan validasi
b. Pentingnya melibatkan MTKP dan PPNI propinsi serta AIPNI regional dalam proses try out c. Perlu disusun lebih teknis SOP registrasi, verifikasi dan validasi
d. Sistem registrasi dilakukan secara on line.
1.1.2 Rencana Tindak Lanjut a. Registrasi Peserta
1. Pemberitahuan registrasi kepada seluruh institusi peserta dilakukan 3 bulan sebelum hari H (format data peserta dilampirkan).
2. Registrasi dilakukan oleh AIPNI regional (AIPNI regional akan disesuaikan dengan MTKP regional).
3. Registrasi di AIPNI regional dilakukan 2 minggu setelah pemberitahuan registrasi.
4. Masing-masing regional mengirim data jumlah peserta dan institusi pengirim (sesuai format yang berlaku (format sedang dibuat]).
5. AIPNI regional melakukan kompilasi dan verifikasi data peserta dari seluruh institusi regional. 6. AIPNI regional melakukan validasi ke institusi pengirim peserta, sehingga data menjadi sangat
valid dan pasti tidak berubah lagi.
7. Data peserta yang telah sangat valid dari seluruh regional dikirim ke ke Panitia Pusat. 8. Proses dari no 4 s.d. 7 diselesaikan dalam waktu 2 minggu.
9. Bagi peserta yang terlambat mendaftar dalam periode ini, akan dimasukan dalam periode selanjutnya.
b. Verifikasi Peserta
1. Verifikasi dilakukan oleh pengelola regional dengan memastikan kesesuaian data antara lain nama institusi, jumlah peserta, dan kelengkapan data lainnya (sesuai format).
2. Jika terdapat data yang kurang/tidak sesuai agar langsung di sampaikan kepada institusi pengirim.
3. Institusi pengirim diminta untuk merevisi dan melengkapi data-data yang tidak sesuai atau menambahkan data, untuk selanjutnya dikembalikan ke pengelola regional.
4. Setelah data dilengkapi dan dinyatakan benar dan sesuai oleh institusi pengirim, data tersebut di kirim kembali ke pengelola regional.
Page 5 of 37 c. Validasi Peserta
1. Setelah verifikasi data, proses validasi dilakukan oleh penanggung jawab regional dibantu sub regional.
2. Data yang sudah diverifikasi dibuat dalam dua bentuk data:
a. Data per institusi yang akan divalidasi oleh pimpinan institusi dan regional dibantu sub regional
b. Data rekapitulasi yang akan divalidasi oleh regional dan MTKP lingkup regional bersangkutan
c. Validasi ini dibuat dalam bentuk berita acara yang ditanda tangani stake holder yang bersangkutan
3. Data hasil validasi dikirim ke penanggung jawab pusat. 4. Waktu validasi maksimal 6 hari kerja
1.2. Evaluasi Pra Ujian: Evaluasi Metode Ujian dan Lokasi ujian 1.2.1. Metode Ujian
Semua kegiatan try out UKNI menggunakan metode CBT (Computer Based Test). Hal ini sesuai dengan yang direncanakan dan berlangsung di 17 CBT center.
1.2.2. Lokasi Ujian
Perencanaan lokasi ujian ditetapkan 2 bulan sebelum pelaksanaan ujian dengan mengidentifikasi CBT center fakultas kedokteran dan kapaitas per CBT. Setelah jumlah peserta tergistrasi melalui koordinasi dengan penganggung jawab regional dilakukan pemetaan CBT center yang digunakan beserta kapasitasnya. Penetapan final CBT dan peserta per-CBT dilakukan 2 minggu sebelum ujian. Pemberitahuan ke penanggung jawab lokasi ujian (Koordinator CBT) secara informal dilakukan oleh penanggung jawab regional Ners di wilayah tersebut. Adapun pengiriman surat ke CBT Center dilakukan seminggu sebelum pelaksanaan ujian oleh HPEQ Komponen 2 Ners. Lokasi ujian yang digunakan menggunakan 17 CBT Center kedokteran. Setelah di tentukan CBT center yang digunakan panitia pusat menentukan pengawas pusat serta pengawas lokal melalui koordinasi dengan penanggung jawab regional.
Page 6 of 37 TABEL 1.3 Penentuan CBT dan Jumlah Pengawas Berdasarkan Jumlah Peserta dan Instansi Terdaftar
1.2.3. Masalah Pada Penentuan Lokasi Ujian
Dalam penentuan lokasi ujian perinstansi ada satu instansi yang mendapatkan lokasi ujian dengan jarak cukup jauh. Hal ini kemungkinan karena tidak dilakukan validasi panitia pusat ke penanggung jawab regional baik peserta maupun jarak instansi peserta tersebut.
1.2.4. Solusi dan Rencana Tindak Lanjut
1) Perlunya validasi lokasi ujian dari panitia pusat ke penanggung jawab regional untuk memastikan jarak lokasi ujian dekat dengan instansi.
2) Dalam menetapkan lokasi ujian dengan registrasi online dapat diketahui dari alternatif kota instansi itu berada
No CBT KOTA Institusi yg Terlibat Jumlah Peserta Ujian dalam Daftar Hadir Jumlah Pengawas Pusat Jumlah pengawas lokal
1. UNSYIAH BANDA ACEH 3 61 1 2
2. USU MEDAN 4 60 1 3 3. UNAND PADANG 3 55 1 1 4. UNBRAH PADANG 6 83 1 3 5. YARSI JAKARTA 10 176 1 7 6. UNPAD BANDUNG 6 140 1 6 7. UNJANI BANDUNG 4 68 1 2 8. UMY YOGYAKARTA 3 41 1 5 9. UGM YOGYAKARTA 10 145 1 6 10. UNISSULA SEMARANG 6 88 1 4 11. UNDIP SEMARANG 3 45 1 2 12. UWKS SURABAYA 10 130 1 5 13. UMM MALANG 3 39 1 2 14. UB MALANG 3 75 1 3 15. UNUD DENPASAR 4 103 2 5 16. UNLAM BANJARMASIN 5 75 1 3 17. UNHAS MAKASAR 6 91 1 4
Page 7 of 37 1.3. Evaluasi Pra Ujian : Kesiapan CBT, Ruang Briefing dan Fasilitas Penunjang
Tabel 1.4 : Jumlah Peserta Ujian dan Panitia Lokal Ujian
No CBT Peserta Briefing Peserta Ujian yg Hadir Peserta Ujian yg Tidak Hadir Jumlah Koordinator CBT Jumlah IT Lokal Jumlah Petugas Pendukung 1. UNSYIAH 58 59 2 1 2 - 2. USU 55 58 2 1 1 1 3. UNAND 46 47 8 1 1 3 4. UNBRAH 80 80 3 1 2 3 5. YARSI 140 162 14 1 4 3 6. UNPAD 137 137 3 1 3 2 7. UNJANI 4 65 3 1 3 1 8. UMY 41 41 0 1 3 2 9. UGM 139 139 7 1 3 1 10. UNISSULA 86 87 1 1 3 4 11. UNDIP 44 44 1 1 1 1 12. UWKS - 128 2 1 3 - 13. UMM 35 33 2 1 1 1 14. UB 73 73 2 1 2 2 15. UNUD 102 102 1 1 2 3 16. UNLAM 5 73 2 1 2 1 17. UNHAS 94 91 3 1 2 4
TABEL 1.5 : Kesiapan Workstation, Ruang Briefing Dan Fasilitas Penunjang Di 17 CBT Center
No CBT
KESIAPAN WS
RUANG BRIEFING FASILITAS PENUNJANG JUMLAH WS YANG ADA JUMLAH WS YANG DIGUNAKAN JARAK WS
1. UNSYIAH 95 61 BAIK BAIK Loker tempat tas belum
tersedia, pengumuman WS belum siap pada H-1
2. USU 86 60 BAIK BAIK BAIK
3. UNAND BAIK BAIK BAIK BAIK Toilet belum besih
4. UNBRAH 100 80 BAIK Kesiapan ruang
briefing terlambat dari waktu yang disepakati
Loker hanya berjumlah 50, belum sesuai jumlah peserta 100 Oorang 5. YARSI 203 176 Jarak ws terlalu padat di lt3 BAIK Pengumuman pembagian ruangan dan WS belum siap pada H-1
6. UNPAD 160 140 Jarak ws
terlalu padat
BAIK BAIK
Page 8 of 37
BAIK berbeda gedung dg tempat ujian, toilet kurang bersih
8. UMY 71 41 BAIK Kurang
memadai daya tampung
loker tas belum ada
9. UGM BAIK BAIK BAIK
10. UNISSULA 108 88 BAIK Ruang briefing
di ruang ujian/CBT
BAIK
11. UNDIP 50 45 BAIK BAIK BAIK
12. UWKS 140 128 BAIK BAIK BAIK
13. UMM 60 33 BAIK BAIK BAIK
14. UB 82 73 BAIK BAIK BAIK
15. UNUD 130 103 BAIK BAIK BAIK
16. UNLAM 90 75 BAIK BAIK Toilet kurang bersih
17. UNHAS 100 91 BAIK BAIK Belum ada ruang khusus
penyimpanan tas, toilet wanita dan pria digabung
TABEL 1.6 : Masalah Dan Solusi Berdasarkan Kesiapan Ws, Ruang Briefing Dan Fasilitas Penunjang
No Kegiatan Target Realisasi Masalah Solusi
1. KESIAPAN WS Semua CBT Center yang digunakan memenuhi jumlah workstation dan jarak Workstation sesuai dengan ketentuan. Walaupun semua workstation pada CBT center sudah memenuhi ketentuan tetapi ada beberapa CBT center mempunyai jawak WS yang terlalu padat Jarak workstation belum memenuhi standar Pelunya format evaluasi dan saran dari PP ke koordinator CBT 2. RUANG BRIEFING Semua ruang briefing pada CBT yang digunakan memadai disertai fasilitas penunjang seperti LCD dan Pengeras suara
Belum semua ruang briefing di CBT Center sudah siap digunakan sesuai waktunya pada H-1 (Waktu telat digunakan untuk persiapan ruangan terlebih dahulu). Ada satu CBT menggunakan ruang Keberadaan fasilitas penunjang ruang briefing belum tepat waktu
Belum seragamnya pemahaman PP tentang
penggunaan ruang
Perlunya ada panitia lokal ners yang membantu dalam persiapan ujian di CBT Center Kedokteran serta perlunya standar ruang briefing
Page 9 of 37 briefing di tempat ujian briefing
3 FASILITAS PENUNJANG
Fasilitas Penunjang yang digunakan seperti AC, Loker, memadai serta rambu-rambu sudah terpasang pada H-1
Ada beberapa CBT Center yang fasilitas penunjang belum siap digunakan pada H_1 keberadaan wc kotor, rambu-rambu penunjuk ruang CBT belum terpasang, serta pengumuman pembagian ruangan dan workstation belum terpasang pada H-1 Keberadaan fasilitas penunjang ujian belum terpenuhi sesuai ketentuan/standar Perlunya ada panitia lokal ners yang membantu dalam persiapan ujian di CBT Center Kedokteran
1.4. Evaluasi Persiapan Ujian : Briefing Pengawas Pusat
TABEL 1.7 : Masalah dan Solusi Briefing Pengawas Pusat Berdasarkan kehadiran, Workshop, Pemahaman Tupoksi, Pembagian Perangkat Ujian, Pengecekan perangkat ujian, Penjelasan Pembagian Perangkat Ujian.
No Kegiatan Target Realisasi Masalah Solusi
1 Kehadiran Semua PP dapat hadir tepat waktu
PP Terlambat 1 orang Adanya kehadiran pengawas pusat pada saat briefing belum tepat waktu Dibuatkan standar baku toleransi keterlambatan pengawas pusat 2 Workshop PP Semua PP mendapatkan pemahaman yang sama terhadap proses pelaksanaan TO CBT Ada beberapa PP pada saat pelaksanaan ujian tidak mematuhi petunjuk pelaksanaan ujian. TOR workshop PP belum terstandar Materi workshop yang diperoleh PP belum terstandar dan belum sesuai tahapan-tahapan Perlu adanya SOP materi workshop PP. Perlu SOP tentang materi briefing PP ke pengawas lokal Perlu SOP tentang materi
Page 10 of 37 ujian briefing PP ke peserta 3 Pemahaman Tupoksi PP Seluruh PP memahamai ketentuan-ketentuan dalam proses pelaksanaan TO UKNI CBT Ada beberapa PP yang melaksanakan tugasnya tidak sesuai ketentuan. contoh: cara menyegelan, cara mengisi berita acara Belum ada standar evaluasi pemahaman tupoksi PP Dilakukan evaluasi tentang Tupoksi PP 4 Pembagian perangkat ujian Semua PP mendapatkan perangkat ujian yang lengkap PP hanya menandatangani penerimaan perangkat ujian
Belum ada berita acara penerimaan perangkat ujian dari penanggung jawab pembawa perangkat ujian ke PP. Dibuatkan berita acara serah terima perangkat ujian. 5 Pengecekan perangkat ujian PP melakukan pengecekan kelengkapan perangkat ujian PP secara individu melakukan pengecekan perangat ujian Belum adanya check list kelengkapan perangkat ujian Dibuatkan lembar chek list kelengkapan perangkat ujian 6 Penjelasan pengembalia n perangkat ujian Semua PP mendapatkan penjelasan tentang proses pengembalian perangkat ujian termasuk checklist kelengkapan pengembalian perangkat ujian Semua PP tidak mendapatkan penjelasan pengembalian perangkat ujian Pengembalian perangkat ujian tidak sesuai ketentuan Perlunya penjelasan dan Sosialisasi PP tentang pengembalian perangkat ujian
1.5. Evaluasi Pelaksanaan Ujian H -1 Briefing Peserta
TABEL 1.8 : Masalah dan Solusi Briefing Pengawas Peserta Berdasarkan waktu pelaksanaan briefing, Materi, Pengecekan lokasi ujian, Distribusi Kartu Peserta, Pengecekan perangkat ujian, Penjelasan Pembagian Perangkat Ujian.
Page 11 of 37
No. Kegiatan Target Realisasi Masalah Solusi
1. Waktu pelaksana an Waktu pelaksanaan briefing dilaksanakan tepat waktu sesuai koordinasi di awal Semua kegiatan briefing dilakukan pada H-1 tetapi Ada beberapa CBT Waktu pelaksanaan briefing terlambat dilaksanakan terkait dengan kehadiran peserta terlambat Keterlambatan waktu briefing dengan peserta dan pengawas lokal Perlunya standar baku toleransi keterlambata n peserta dan pengawas lokal 2. Materi Briefing dengan peserta Materi briefing dengan peserta dari pengawas pusat seragam dengan media yang seragam Ada pengawas pusat yang belum menjelaskan aplikasi CBT pada H-1 pada peserta
Belum seragamnya pemberian materi briefing oleh pengawas pusat kepada peserta dan pengawas lokal
Dibuatkan daftar cheklist materi briefing pengawas pusat dengan peserta serta materi briefing dengan pengawas lokal 3. Pengecek an Lokasi Ujian Semua peserta di semua CBT sudah mengetahui lokasi ujiannya dan melakukan pengecekan lokasi/ruangan ujian Belum semua peserta mengetahui pembagian ruangan ujian dan melakukan pengecekan lokasi ujian pada H-1 dikarenakan ada beberapa CBT center belum membagi dan memasang rambu-rambu atau penunjuk pada H-1
Belum semua panitia lokal ujian melaksanakan standar pelaksanaan ujian terkait penyediaan fasilitas pendukung Perlunya surat pernyataan komitmen panitia lokal ujian 4. Distribusi kartu peserta Pada H-1 Semua kartu peserta dapat terdistribusi
Tidak semua kartu peserta
terdistribusi pada H-1 karena
Belum semua kartu peserta terdistribusi pada H-1 karena belum semua peserta
Perlunya standar baku persyaratan distribusi
Page 12 of 37 sesuai ketentuan beberapa peserta
di beberapa CBT tidak membawa identitas berfoto membawa id card berfoto kartu peserta Perlunya standar pengumuman kepada peserta ujian terkait persyaratan ujian 5. Laporan pelaksana an (H-1) di Lokasi Ujian Semua pengawas pusat melaporkan kegiatan (H-1) di lokasi ujian secara lengkap sesuai format yang disediakan Semua pengawas pusat membuat laporan pelaksanaan (H-1) di Lokasi Ujian sudah sesuai format
Tidak ada Tidak Ada
1.6. PELAKSANAAN UJIAN
TABEL 1.9 : Masalah dan Solusi Pelaksanaan Ujian Berdasarkan Pembukaan Berkas Ujian, Pembagian nomor login peserta, waktu pelaksanaan ujian, Pengisian Berita Acara Pelaksanaan, Penyegelan Tas Soal, Pengembalian Berkas Ujian
No Kegiatan Target Realisasi Masalah Solusi
1 Pembukaan berkas ujian Pembukaan berkas ujian dilaksanakan sesuai ketentuan Ada CBT center pembukaan berkas ujian tidak disaksikan oleh koordinator CBTnya berhubung sedang adanya kegiatan Pembukaan berkas ujian belum sesuai ketentuan dihadiri oleh koordinator CBT Perlunya panitia lokal ners untuk persiapan menjadi koordinator CBT –Ners atau Perlunya surat pernyataan kesiapan membantu penyelenggaraan ujian ners 2. Pembagian nomor login peserta Pembagian nomor login peserta dilakukan Pembagian nomor login kepada pengawas lokal Waktu yang diperlukan dalam Petugas admin persiapan ujian perlu menyusun
Page 13 of 37 berdasarkan
urutan peserta
mengalami kesulitan karena disusun tidak berdasarkan nomor urut peserta pembagian nomor login peserta kurang efisien informasi login sesuai nomor urut peserta 3 Waktu pelaksanaan ujian Waktu pelaksanaan ujian dilakukan secara serentak di seluruh CBT Waktu pelaksanaan ujian di beberapa CBT dilaksanakan terlambat dikarenakan adanya kendala diprogram komputer seperti di UNJANI dan UMM - Perlunya pemahaman PP dalam pengoperasian WS serta perlunya panduan konsultasi terkait WS oleh PP 4. Pengisian Berita Acara Pelaksaaan Ujian Pengisian berita acara pelaksanaan ujian dilaporkan secara lengkap dan detil sesuai format
Belum semua pengawas pusat mengisi berita acara pelaksanaan ujian secara detil dan lengkap Belum semua PP memahami cara pengisian BAP ujian Perlunya materi cara pengisian BAP ujian saat briefing PP 5. Penyegelan tas soal Melakukan penyegelan tas soal sesuai ketentuan Ada beberapa pengawas pusat melakukan
penyegelan tas kurang benar. Penyegelan tas tidak memenuhi ketentuan Perlunya materi penyegalan saat briefing PP 6. Pengembalian Berkas Ujian Pengembalian berkas ujian sesuai dengan ketentuan Belum semua pengawas pusat mengembaikan berkas/barang sesuai dengan ketentuan: seperti hard disk demo, daftar absensi, informasi login Pengembalian berkas/barang belum sesuai tas/tempat yang seharusnya Perlunya penjelasan saat briefing pada PP terkait materi pengembalian berkas ujian
1.7 RENCANA TINDAK LANJUT
Dari hasil kegiatan Pra Ujian dan Pelaksanaan Ujian diperlukan rencana tindak lanjut sebagai berikut :
1) Perlunya deskripsi tugas yang operasional terkait panitia ujian baik manajemen soal/divisi ujian dan manajemen ujian
Page 14 of 37 2) Perlunya surat pernyataan kesiapan koordinator CBT, IT lokal maupun tim admin CBT center
dalam dalam membantu penyelenggaraan ujian Ners atau perlunya dibentuk panitia lokal Ners yang membantu pelaksanaan ujian di Fakultas Kedokteran baik sebagai administrasi maupun IT lokal.
3) Perlunya standar baku materi workshop pengawas pusat/ penambahan daftar cheklis a. Materi saat briefing dengan peserta
b. Materi saat briefing dengan pengawas lokal
c. Materi tentang cara pengisian berita acara ujian baik persiapan maupun pelaksanaan ujian d. Materi tentang cara pengecekan/persiapan workstation
e. Materi tentang pengembalian berkas ujian
4). Perlunya penambahan dan perbaikan panduan meliputi :
a. Berita Acara pengambilan tas soal/berkas ujian oleh pengawas pusat dari penanggung jawab berkas ujian
b. SOP cara penyegelan tas soal oleh pengawas pusat c. Berita acara pengembalian berkas ujian
d. Memperbaiki panduan pembukaan berkas ujian terkait penambahan daftar cheklis briefing peserta dan briefing pengawas lokal
Page 15 of 37
BAGIAN II MANAJEMEN SOAL
Pengelolaan soal uji kompetensi ners pada pelaksanaan Try Out UKNI 2012 ini telah mengikuti pola pengembangan soal yang akuntabel. Proses diawali dengan kegiatan item development yang dilaksanakan melalui project HPEQ sebanyak 3 kali dengan melibatkan 111 peserta dari berbagai institusi penyelenggara ners berhasil mengumpulkan 1621 soal. Selain itu sudah terselenggara juga beberapa kali item development yang di selenggarakan oleh beberapa institusi dan saat proses item review setiap peserta di wajibkan membawa soal sebanyak 10 soal. Dari kedua proses tersebut terkumpul 764 soal . Jadi total soal yang masuk dan di review adalah 2385 soal. Soal yang terkumpul tersebut masuk ke dalam proses item review. Dari item review sebanyak 3 kali terjaring soal sebanyak 1426 soal baik (masuk pada item bank 1). Seluruh soal tersebut dilakukan panel expert sebanyak 2 kali dan menghasilkan soal sebanyak 1160 (masuk item bank 2). Soal ini kemudian dilakukan pemilihan soal sebanyak 622 soal yang dibuat dalam 4 booklet soal yang di gunakan dalam try out 2012.
Berdasarkan hasil item analysis dari hasil try out, dihasilkan 292 yang dikatagorikan soal baik (masuk item bank 3). Soal-soal tersebut bersama dengan 142 soal katagori baik pada hasil try out 2011 masuk dalam item bank 3. Soal inilah yang siap dipergunakan untuk soal uji kompetensi ners tahun 2013. Alur proses manajemen soal dapat dilihat pada diagram di bawah ini.
Page 16 of 37
2.1. Item development
2.1.1. Hasil pencapaian UKNI
Selama penyelanggaraan 3 kali item development di tahun 2012, UKNI mendapatkan 1621 soal dari 1860 soal yang ditargetkan. Proses pembuatan soal ini telah melibatkan 64 institusi pendidikan ners dari tujuh regional pendidikan Ners se Indonesia yang terdiri dari 8 institusi di Regional I, 7 institusi di regional II, 9 institusi di regional III, 17 institusi di regional IV,13 institusi di regional V, 6 institusi di regional VIdan 4 institusi di regional VII. Lima belas institusi dari perguruan tinggi negeri dan 49 institusi dari perguruan tinggi swasta. Untuk lebih jelas dapat dilihat pada tabel 2.1
ITEM WRITER (111) LOCAL ITEM BANK ADMINIST. REGIONAL ITEM BANK ADM. (1621) NATIONAL ITEM REVIEW ITEM BANK- 1 (1426) NATIONAL ITEM BANK ADM. PANEL EXPERT ITEM BANK – 2 (1160) Try Out ITEM BANK – 3 (292) ITEM SELECTION PROCESS QUESTION BOOK ITEM BANK – 4
Page 17 of 37
Tabel 2.1. Pencapaian jumlah soal berdasarkan regional dan jumlah institusi No. Regional Area Jumlah Institusi Jumlah soal
Target Realisasi 1. I - Aceh - Sumatera utara - Sumatera Barat - Kepulauan Riau 8 270 264
2. III - Jawa Barat - Banten 9 195 198 3. II - DKI Jakarta - Sumatera Selatan - Bengkulu - Lampung - Bangka - Jambi 7 300 282 4. IV - DIY - Jawa Tengah 17 300 340 5. V - Jawa Timur - Bali - NTB - NTT 13 315 308 6. VI - Kalimantan 6 120 110 7. VII - Sulawesi - Maluku - Papua 4 120 119
Penulis soal sebanyak 111 orang yang berasal dari 15 Perguruan Tinggi Negeri dan 49 Perguruan Tinggi Swasta. Soal yang diterima berdasarkan pencapaian keilmuan selama tiga kali pelaksanaan item development adalah 1) keilmuan keperawatan KMB dan KGD: 591 soal, 2) keilmuan Keperawatan Maternitas: 270 soal, 3) keilmuan Keperawatan Anak: 195 soal, 4) keilmuan Keperawatan Jiwa: 155 soal, 5) keilmuan Keperawatan Keluarga, komunitas dan gerontik : 270 soal, dan 6) keilmuan Keperawatan Manajemen: 169 soal.
Institusi penyelenggara item development local atau mandiri dilaksanakan antara lain oleh Unsyiah, USU, Malahayati, Jambi, UPH, UI, STIKES Carolus, Unpad, Unjani, STIK Imanuel, UNDIP, UGM, UB, Unair, UNUD, UNHAS, UIN Jakarta. Pelatihan ini dilakukan untuk institusi sendiri dan juga melibatkan institusi sekitar. Pelatihan Secara mandiri ini telah dilaksanakan lebih kurang 17 kali sejak tahun 2011, namun data pasti tidak diketahui karena tidak ada laporan kegiatan secara tertulis. Jumlah soal yang terkumpul pada masing-masing workshop mandiri
Page 18 of 37
juga tidak diketahui secara pasti, ada 4 kumpulan soal yang diselengarakan diberbagai workshop yang diikutkan dalam proses item review.
Jumlah soal dan institusi yang terlibat di tahun 2012 bila dibandingkan tahun-tahun sebelumnya terjadi peningkatan yang signifikan. Hal ini diantaranya disebabkan tata kelola yang jauh lebih baik dalam hal penyebaran undangan, sosialisasi hal-hal yang harus dibawa saat workshop dan pelaporan dan dokumentasi, dimana institusi pendidikan dan profesi sudah secara aktif terlibat dalam semua proses.
Sosialisasi dan perbaikan tata kelola terlihat dari jumlah institusi yang terlibat. Pada tahun 2010 dan 2011 institusi peserta merupakan keterwakilan dari institusi ners dan PPNI (institusi Poltekes dan praktisi). Beberapa institusi yang telah mengikuti item dev 2010 kembali mengikuti di tahun 2011 dan 2012. Hal ini terjadi karena proses sosialisasi yang belum efektif. Perbaikan ini juga terlihat dari adanya peningkatan produktifitas soal pada workshop 2012 dibandingkan 2011 dan 2010. Penyebaran peserta dari berbagai regional juga sudah meningkat. Dari sekitar 50 dari 307 institusi pendidikan S1 di tahun 2011 menjadi 64 dari 307. Hal ini dimungkinkan karena pada tahun 2012, sudah mengaktifkan koordinator regional dan sub regional dalam penunjukkan institusi peserta workshop. Namun demikian beberapa institusi dari Indonesia bagian timur masih perlu di tingkatkan motivasi dan peran serta aktifnya untuk ikut berkontribusi dalam item development.
Peningkatan jumlah soal dari tahun ke tahun menunjukkan sudah ada peningkatan dari aspek keaktifan peserta dan perbaikan proses penyelenggaraan item development. Hal ini terjadi pada saat item development peserta sebelumnya telah mendapat informasi yang lebih lengkap tentang persyaratan, kualifikasi, tamplate soal, yang kesemuanya telah di masukan dalam TOR undangan sehingga saat workshop lebih banyak berkonsentrasi pada perbaikan struktur dan content soal. Hal ini berbeda dengan tahun 2010 dan 2011, soal yang dibawa oleh peserta dibawah target dan soal yang dibawa belum sesuai dengan template yang tersedia serta sebagian besar adalah soal recall sehingga perlu waktu untuk proses perbaikan.
Page 19 of 37
2.1.2 Permasalahan yang ditemukan
Permasalahan yang ditemukan selama tiga kali pelaksanaan item development, yaitu:
2.1.2.1. Ketersediaan buku referensi.
2.1.2.2. Kurangnya pengalaman klinik dari kebanyakan peserta pembuat soal karena recruitment staf pengajar di berbagai institusi memang tidak mensensayaratkan adanya pengalaman klinik dan pada proses perkembangannya sebagai staf juga sangat kurang atau tidak mendapatkan kesempatan untuk mendapatkan pengalaman klinik.
2.1.2.3. Adanya variasi pemahaman tentang keilmuan di dalam kelompok. Untuk mengatasi perlu adanya pertemuan pertemuan pada pengampu mata ajar atau bidang keilmuan itu sendiri sehingga mempunyai kesepakatan kesepatan secara bersama sama.
2.1.2.4. Adanya perbedaan pemahaman di antara peserta tentang blueprint dan kompetensi ners
2.1.2.5. Soal yang di bawa oleh beberapa peserta hampir sama atau kurang variasa baik dari sisi pemenuhan blue print baupun dari sisi kasus pemicunya ( stemnya) sehingga terkesan soal homogeny dan kurang heteroden sesuai dengan kebutuhan kompetensi dan blue print
2.1.2.6. Review materi pembuatan soal yang terlalu singkat. Waktu workshop sangat singkat sehingga kesempatan untuk mendiskusikan materi yang masih beragam pemahaman itu menjadi terganggu dan menurunkan produktifitas
2.1.2.7. Belum adanya contoh contoh soal yang memang sulit pada blue print yang di berikan kepada peserta sehingga soal soal yang sulit tersebut memang menjadi sangat kurang.
2.1.2.8. Masih belum pahamnya semua peserta dalam penggunaan kata kata yang di sepakati sehingga banyaki waktu saat review di gunakan untuk memperbaiki bahasa.
2.1.2.9. Peserta kesulitan membuat vignette dan option yang baik
2.1.2.10. Item development yang dilakukan secara mandiri belum optimal dan terorganisir dengan baik. Soal-soal saat workshop mandiri masih belum banyak diterima nasional
Page 20 of 37
2.1.2.11. Jumlah Item writer dan soal meningkat, manajemen soal lebih baik namun jumlah soal baik tidak berbeda dengan TO sebelumnya
2.1.2.12. Sosialisasi item development di regional dan insttusi yang belum efektif. Terlihat dari peserta yang mengikuti workshop baru belajar cara menulis soal yang baik.
2.1.3. Penyelesaian masalah dan tindak lanjut Penyelesaian masalah yang dilakukan UKNI adalah:
2.1.3.1. Mengingatkan peserta untuk membawa buku referensi, atau penyelenggara item development menyiapkan buku referensi.
2.1.3.2. Memilih peserta sesuai dengan persyaratan yang telah ditetapkan (pengalaman klinik dan tingkat pendidikan).
2.1.3.3. Meminta peserta item development membuat curriculum vitae.
2.1.3.4. Pertemuan keilmuan secara regional untuk penyamaan persepsi, kesepakatan buku referensi yang digunakan.
2.1.3.5. Sosialisasi blueprint, keseragaman istilah yang digunakan, materi pembuatan soal yang baik dan contoh soal untuk beberapa tinjauan yang sulit dibuat.
2.1.3.6. Adanya pembagian tinjauan untuk soal yang akan dibuat, sehingga soal yang terkumpul tidak sama dan terdistribusi dengan baik.
2.1.3.7. Perlu penambahan waktu untuk pelaksanaan item development 2.1.3.8. Aktifkan regionalisasi pengumpulan soal diserahkan ke nasional.
2.1.3.9. Perlunya struktur regionalisasi yang disahkan dan disosialisasikan untuk pengelolan soal yang berkelanjutan
2.1.3.10. Pengaktifkan IBA regional untuk menyangga IBA Nasional
2.1.3.11. Implementasi pendekatan pembuatan soal untuk masing-masing mata ajar di institusi masing-masing.
2.2 Item Review
2.2.1. Hasil pencapaian UKNI
Selama tiga kali pelaksanaan item review tahun 2012, UKNI mendapatkan 1426 soal dengan kriteria baik dari target 1800. Soal tersebut merupakan hasil review dari 1621 soal saat item dev dan 774 soal saat proses item review dan item dev
Page 21 of 37
mandiri (2385 soal). Dengan kata lain, soal baik yang dihasilkan saat item review adalah sekitar 60 % dari jumlah soal yang direview. Ini menunjukan kualitas soal dari pembuat soal masih rendah.
Institusi yang terlibat dalam tiga kali item review nasional dengan melibatkan 102 reviewer dari 44 institusi penyelenggara ners dari berbagai regional yang terdiri dari regional I sebanyak 4 intitusi; regional II sebanyak 8 intitusi; regional III sebanyak 4 intitusi; 4) regional IV sebanyak 12 intitusi; regional V sebanyak 9 intitusi; regional VI sebanyak 3 intitusi; dan regional VII sebanyak 3 intitusi. Table 2.2 Rekapitulasi kegiatan item review pada tahun 2012 dapat dilihat pada tabel di bawah ini.
irev 1 irev 2 irev 3
target Realisasi Target realisasi Target Realisasi
Reviewer 36 35 36 36 40 39
Institusi 28 28 27 25 30 30
jumlah soal terreview
1000 855* 1000 767* 1000 763*
jumlah soal baik 600 400 600 436 600 590
2.2.2. Permasalahan yang ditemukan
2.2.2.1. Soal yang terkumpul tidak proporsional (sesuai dengan blue print), dan kurang variasi.
2.2.2.2 Kemampuan penulis soal untuk menulis soal tinjauan tertentu terbatas 2.2.2.3 Soal baik masih sedikit (sekitar 40 %)
2.2.2.4 Penulis soal belum dapat feedback dari soal yang di buatnya karena sistem yang ada belum mendukung
2.2.2.5 Kemampuan reviewer untuk mereview dari sisi content dan memperbaiki perlu ditingkatkan
2.2.2.6 Fasilitas untuk mereview masih terbatas
Page 22 of 37
2.2.2.8 Kesulitan dalam melakukan entry ke dalam SIPENA (user friendly) saat copy word ke system satu persatu dan kemampuan profesi untuk melakukan trubleshooting saat penggunaan SIPENA masih perlu di tingkatkan.
2.2.2.9 Belum adanya SOP terkait penyelenggaraan item review 2.2.2.10 Pemahaman reviewer tentang kompetensi belum sama
2.2.2.11 Pemilihan reviewer masih berfokus pada distribusi institusi belum berhubungan dengan kualitas reviewer
2.2.3. Penyelesaian masalah dan tindak lanjut
2.2.3.1.Item dev sesuai dengan permintaan (telah disesuaikan dengan blue print)
2.2.3.2.Melakukan proses item reviewer di institusi dan regional untuk meningkatkan kemampuan reviewer.
2.2.3.3.Perlu adanya SOP dan fasilitas yang cukup untuk penyelenggaran item review.
2.2.3.4.Adanya sistem yang mendukung untuk proses feedback. Saat ini SIPENA belum sepenuhnya mampu mengidentifikasi penulis soal (karena saat penggabungan paket ditemukan beberapa soal yang berganti penulis) dan jumlah soal yang diproduksi oleh penulis soal tersebut.
2.2.3.5.Menentukan kriteria reviewer. 2.2.3.6.Sharing keilmuan dan kompetensi
2.2.3.7.Sosialisasi IBA di regional dan penunjukkan penanggung jawab regional.
2.3 Item bank dan Pemilihan Soal
2.3.1. Hasil pencapaian UKNI
Selama persiapan Try Out 2012, pengelolaan soal sejak item development dan item review dilakukan bersama-sama oleh tim inti. Saat item development soal yang terkumpul sudah di katagorikan berdasarkan tinjauan keilmuan. Saat item review, setiap kali workshop sudah teridentifikasi jumlah soal berdasarkan tinjauan. Hal ini memudahkan pengelola untuk memberikan rekomendasi kepada reviewer untuk mengumpulkan soal-soal yang diperlukan untuk mengisi tinjauan yang kosong.
Page 23 of 37
Namun demikian, soal-soal yang terkumpul masih tidak sesuai dengan proporsi blueprint.
Soal-soal yang terkumpul saat item development dan item review masih dalam format MS word yang disimpan dalam flash disk khusus milik UKNI. Kegiatan identifikasi soal berdasarkan tinjauan keilmuan saat item development ataupun tinjauan secara keseluruhan saat item review masih dilakukan secara manual. Hal ini dilakukan karena kurang sosialisasinya penggunaan SIPENA, SIPENA yang masih terus berkembang (diperbaiki) dan kemudahan dalam proses review (editing) dengan menggunakan ms word. Namun demikian, untuk tetap menjaga kerahasiaan soal tim ukni hanya menggunakan komputer tim inti UKNI dan saat proses review dikerjakan di flash disk.
Saat panel expert I, soal-soal yang direview masih dengan template ms word, dengan proses mengerjakan di flash disk UKNI dan komputer yang disediakan oleh tim UKNI. Kegiatan identifikasi tinjauan pun masih dilakukan secara manual. Soal-soal hasil panel expert 1 kemudian di entri ke dalam SIPENA.
Saat panel expert II, soal-soal yang direview oleh expert sudah dalam SIPENA. Namun, selama proses tersebut tim mengalami beberapa kendala teknis terkait penggunaan SIPENA, karena saat proses tidak ada pendampingan IT. Masalah tersebut diantaranya, compatibility komputer terhadap SIPENA, soal yang sudah direview hilang, file SIPENA yang dicopy tidak bisa dibuka.
Setelah proses panel expert, maka IBA mulai melakukan kompilasi soal-soal hasil panel expert 1 dan 2. Saat proses ini IBA menemukan masalah diantaranya saat soal yang dikumpulkan mendekati 1000 soal, jumlah soal yang dimasukkan tidak sesuai dengan jumlah total, banyaknya soal yang terkumpul, dan ketidak sesuaian nama penulis soal dan tinjauan. Hal ini akhirnya dapat diselesaikan dengan bantuan IT UKDI dan perbaikan tinjauan serta nama penulis soal oleh penulis soal. Adanya perbedaan tinjauan dengan isi soal dan perubahan nama penulis soal mungkin dapat disebabkan oleh ketidak fahaman penulisan soal tentang tinjauan, perubahan content soal yang tidak diikuti dengan perubahan tinjauan, entri soal yang tidak
Page 24 of 37
tepat saat memasukkan dalam SIPENA dan kehandalan SIPENA saat proses kompilasi.
Setelah proses kompilasi selesai, maka dilakukan proses pemilihan, namun ternyata jumlah soal yang akan dipilih tidak sesuai dengan jumlah soal hasil panel expert. Setelah berkonsultasi ternyata SIPENA yang dimiliki UKNI saat itu masih menggunakan template soal try out 2011, sehingga IBA harus mengeluarkan soal satu per satu sebelum melakukan pemilihan soal.
Sebelum melakukan pemilihan soal, IBA melihat rekapitulasi item soal yang tersedia. Kemudian IBA melakukan penilaian soal-soal yang akan dilakukan proses jangkar (ada dua set soal jangkar yang di buat pada soal tertentu dengan jumlah soal masing masing 49 soal) dimana setiap set jangkar digunakan pada 2 booklet soal try out berdasarkan ketersediaan soal ditinjauan yang jumlah soal di bank soal sedikit. Hal ini dilakukan agar booklet soal yang diberikan sesuai dengan blue print.
Setelah diketahui tinjauan yang akan dijangkarkan dan jumlahnya, maka IBA melakukan pemilihan tinjauan sesuai dengan yang diinginkan, membaca sekilas tinjauan dan soalnya, kemudian menuliskan no id soal untuk buku 1 dan 2 secara manual. Setelah jumlah soal yang akan di jangkarkan dibagi rata untuk kedua buku soal, IBA baru melakukan proses pemilihan di SIPENA. Hal yang serupa dilakukan dalam pemilihan soal try out selanjutnya. IBA memfokuskan pemilihan pada tinjauan keilmuan, proses keperawatan dan upaya yang dibagi secara merata pada keempat buku. Saat satu tinjauan keilmuan (KMB) lagi akan dimasukkan, IBA kembali melihat rekapitulasi item pada masing-masing buku, kemudian merencanakan jumlah soal yang diperlukan pada tinjauan tertentu agar sesuai dengan blue print.
Setelah soal terpilih dalam 4 booklet, IBA melakukan proses pencetakan untuk diberikan kepada tiga editor. Soal yang diberikan kepada editor berupa hard copy, karena waktu yang terbatas maka 1 buku hanya di baca oleh satu editor.
Page 25 of 37
Soal-soal yang memerlukan perbaikan secara teknis dan bahasa kemudian diperbaiki dan soal yang kurang tepat menurut editor, kemudian dicarikan padanannya untuk digantikan. Sedianya 2 booklet soal jangkar terdiri dari masing-masing 51 soal, akhirnya hanya 49 soal, kemudian soal di keempat booklet di tambahkan sesuai dengan tinjauan yang masih kurang sesuai dengan blue print.
Setelah soal selesai diperbaiki, maka soal diberikan ke tim IT UKDI Bandung untuk ditindaklanjuti. Soal-soal tersebut kemudian dilakukan quality control oleh tim ners yang berada di Bandung.
2.3.2. Permasalahan yang ditemukan
2.3.2.1. Soal hilang , perubahan nama pembuat soal dan tinjauan 2.3.2.2.Compatibility SIPENA terhadap komputer
2.3.2.3. File SIPENA yang tidak bisa dibuka
2.3.2.4. Jumlah total soal yang berbeda saat soal dikompilasi mendekati 1000 soal
2.3.2.5. Banyaknya bugs pada SIPENA
2.3.2.6. Kurang friendly nya SIPENA saat entri soal 2.3.2.7. Template soal 2011 yang masih ada
2.3.2.8. Kurangnya pemahaman tentang IT/SIPENA atau dukungan IT. 2.3.2.9. Kurangnya sosialisasi SIPENA
2.3.3. Penyelesaian masalah dan tindak lanjut
2.3.3.1.SOP SIPENA dan troubleshooting dengan SIPENA 2.3.3.2. Cara menggunakan SIPENA
2.3.3.3. Pengembangan SIPENA
2.3.3.4. Pelatihan IBA dan trouble shootingnya
Page 26 of 37
2.4.Panel Expert
2.4.1. Hasil pencapaian UKNI
Dilakukan 2 kali dengan melibat 39 institusi (pendidikan ners, PPNI, Kolegium) dengan melibatkan 59 expert dan menghasilkan 1160 soal dari 1426 soal yang direview.
2.4.2. Permasalahan yang ditemukan 2.4.2.1.Variasi soal yang kurang 2.4.2.2.Fokus pada target jumlah soal 2.4.2.3.Waktu dan referensi terbatas
2.4.2.4.Terbatasnya reviewer yang memahami SIPENA dan troubleshooting nya
2.4.3. Penyelesaian masalah dan tindak lanjut
2.4.3.1. Pembuatan soal sesuai dengan permintaan/blue print 2.4.3.2.Sosialisasi SIPENA
2.4.3.3.Peningkatan kemampuan penulis soal untuk membuat variasi soal Secara umum disampaikan rekomendasi untuk stakeholder terkait dengan uji kompetensi khususnya manajemen soal.
Rekomendasi untuk AIPNI :
1. Memberikan perhatian khusus pada pembinaan dan pengembangan metode ujian 2. Mengakselerasi terbentuknya unit assessmen di institusi
3. Meningkatkan upaya untuk pelaksanaan pelatihan item dev institusi 4. Mengembangkan kelompok peminatan antara institusi
5. Menyepakati terbentuknya unit assessment di institusi 6. Menyepakati model ujian institusi dg model LPUK 7. Pengembangan model reward dalam pengembangan soal
Rekomendasi untuk MTKI :
1. Menetapkan Blue print ners
2. Pengelolaan sesuai dengan ketentuan LPUK dalam pengelolaan item 3. Mempercepat capacity building dalam pengembagan item
Page 27 of 37
Rekomendasi untuk PPNI :
Menetapkan satu pola dalam pengembangan item sesuai LPUK
BAGIAN III HASIL TRY OUT
Pada bagian ini akan di sampaikan hasil try Out uji kompetensi UKNI September 2012. 3.1 Hasil Ujian
Tabel 3.1 Hasil Try out UKNI September 2012
Analisis hasil Try out
0 Jumlah peserta untuk setiap booklet soal cukup antara minimal 350 peserta dengan distribusi penjawab telah di acak untuk setiap soal dijawab oleh institusi regional untuk menghitung validitas dan reliabilitas serta distraktor
0 Ada perwakilan regional
0 Bancmarking nasional untuk setiap soal
0 Dapat melihat kemampuan institusi pada setiap regional
TRY OUT 2011 2012
Buku TOTAL 1 2 TOTAL 1 2 3 4
JumlahPeserta 862 437 425 1418 358 352 354 354 JumlahSoal 360 180 180 720 180 180 180 180 NilaiRerata (+ SB) 45.16 (+ 7.31) 45.08 (+ 6.92) 45.24 (+ 7.68) 44.84 (+6.99) 44.53 (+ 6.52) 44.63 (+ 7.20) 45.70 (+ 7.21) 44.49 (+ 6.95) NilaiTertinggi 68.33 61.67 68.33 63.89 60.00 61.11 63.89 62.78 NilaiTerendah 24.44 26.67 24.44 21.11 23.89 23.89 21.11 25.00 KR21 0.74 0.72 0.77 0.72 0.68 0.74 0.74 0.72 RerataIndeksKesulitan 0.45 0.45 0.45 0.45 0.45 0.45 0.46 0.44 % Soal Baik 40.56 38.89 42.22 40.56 38.33 42.22 39.44 42.22
Page 28 of 37
Nilai Rerata:
0 Menunjukan nilai rata –rata yang dapat di jawab oleh seluruh peserta . Nilai rata rata nasional sekitar 44 dengan rata rata SD 7. Nilai ini memberikan banyak gambaran tentang kemampuan atau kompetensi nasional peserta yang masih rendah yakni di bawah kelaziman lulus suatu proses yakni sekitar 50 – 60 . Namun demikian nilai ini belum sepenuhnya dapat di persalahkan dari peserta didiknya mungkin yang pertama harus di lihat adalah proses sampai munculnya soal ujian dengan berbagai format dan bentuk yang baru.
0 Hal hal yang dapat dilihat terkait hasil tersebut adalah sebagai berikut :
1. Soal masih dianggap sulit banyak soal dalam analisis soal masih dianggap sulit ( tingkat kesulitan berada di bawah 0,3) Ini menunjukan banyak hal: kompetensi mahasiswa memang kurang? Atau kebiasaan mahasiswa dalam menjawab soal seperti ini masih kurang karena biasanya soal yang di buat tidak berdasarkan kasus ( veggneet ). Atau lebih substansi dimana proses pembelajaran yang di lakukan selama ini di institusi (dengan nilai rendah) belum berjalan sebagaimana mestinya ini menunjukan masih banyak pembenahan yang harus dilakukan oleh institusi dengan memperbaiki berbagai persyaratan tentang kualitas institusi yang dikatakan baik dan berkualitas terutama dari sisi sumber daya manusia (dosen). Dalam hal ini apakah ada hubungan antara hasil ini dengan nilai akreditasi institusi perlu di berikan data dan di analisis. jika nantinya menghasilkan nilai akreditasi tidak sesuai dengan hasil kemampuan peserta didiknya maka seharusnya juga dipertanyakan proses akreditas yang berlangsung selama ini.
2. Kualitas soal kurang bagus, ambigue, kurang jelas, membingungkan. Setelah soal soal yang dianggap sulit oleh mahasiswa itu di lihat dan analisis kembali ternyata banyak soal memang tidak menunjukan kualitas yang baik> Seperti kasus tidak jelas arah kompetensi yang mau di nilai pada soal tersebut< data penunjangnya tidak focus sehingga membingungkan, distraktornya atau pilihan jawabannya kurang baik> jawaban ambigue bahkan masih ada soal yang tidak ada jawaban yang benar atau salah jawaban ( final review belum memiliki kesepahaman konsep, Banyak soal yang masih masuk dalam review 3 dari segi konsep masih ragu). Ini menunjukan sangat jelas kemampuan penulis soalnya
Page 29 of 37
masih sangat perlu ditingkatkan. Ada inisiatif dari seluruh institusi ners untuk meningkatkan kemampuan penulisan soal. Dengan belajar menulis secara baik ini staf pengajar atau dosen akan menyadari betapa masih perlunya mereka meningkatkan diri untuk meningkatkan pemahaman konsep dan praktik dalam proses pembelajaran.
3. Proses belajar belum mengacu pada kompetensi esensial dan blue print. Selama ini proses pembelajaran yang terjadi masih sebatas menyelesaikan kewajiban SKS. Pembelajaran seharusnya berfokus pada kompetensi inti< penunjang dan lainnya. Lebih jelas lagi seharusnya semua proses pencapaian kompetensi di araghkan pada pencapaian kompetensi esensial. Pada proses penulisan soal masih banyak yang kurang mampu untuk mengatakan dan memilih mana kompetensi yang esensial mana yang bukan. Hal ini juga tercermin pada saat penulisan soal. Soal yang masuk pada call for item belum sesuai dengan kompetensi esensial.
KR21
0 Menunjukan reliabilitas booklet soal : paling tidak harus 0,70 0 Semakin tinggi semakin reliable soal tersebut
0 KR 21 ini cukup tapi belum memuaskan karena masih ada dikisaran 70 %. Kita akan puas bila reliabilitas soal itu sudah mencapai diatas 90 %. Nilai reliabilitas di pengaruhi banyak hal antara lain: jumlah pesrta menjawab, kualitas soal, proses pembelajaran di institusi, penulis soal masih kurang dapat melihat kompetensi esensial dan mngkin juga kurikulum belum menggambarkan kompetensi yang hendak dicapai.
Tingkat Kesulitan
0 Sangat di pengaruhi oleh : - kemampuan peserta
- proses pengajaran yang kurang sesuai : kurang fokus - Pengajaran tidak sesuai dengan kompetensi
- Proporsi pengajaran dalam kurikulum kurang sesuai - Tingkat kompetensi yang di tulis dalam soal terlalu tinggi - bentuk soal yang kurang sesuai kaedah .
Page 30 of 37
3.2 Analisis Tinjauan Try Out UKNI 2012
Pada try out 2012, UKNI membuat 4 booklet soal, dengan masing-masing booklet terdiri 180 soal.
3.2.1. Tinjauan I (Kompetensi Utama Perawat) Kompetensi Utama perawat terdiri dari:
1. Praktik Profesional, etik, legal dan peka budaya (15-25%) 2. Asuhan dan manajemen asuhan keperawatan (65-75%) 3. Pengembangan Profesional (5-15%)
Tabel di atas menunjukkan bahwa proporsi kompetensi utama di ke empat booklet try out 2012 sama dan sesuai dengan blueprint perawat. Demikian pula rerata respon peserta terhadap masing-masing sub tinjauan merata di ke 4 booklet. Hal ini menunjukkan bahwa standar soal yang diberikan di ke empat buku dan tingkat kesulitan soal sama. Hal ini dibuktikan dengan jumlah benar peserta di masing-masing sub tinjauan pada keempat buku berkisar 50 % dari total jumlah soal pada masing-masing sub tinjauan. Pada sub tinjauan 1-1 dan 1-3, dibuat 2 booklet soal untuk 4 booklet soal try out, karena keterbatasan jumlah soal. Kedua booklet soal masing-masing terdiri dari 49 soal yang mengandung sub tinjauan praktik profesional, etik legal dan peka budaya; pengembangan profesional; afektif knowledge; upaya rehabilitasi.
3.2.2. Tinjauan II (Domain)
Pada tinjauan ini terdiri dari 3 sub tinjauan, yaitu: 1. kognitif (65-75 %) 2. prosedural knowledge (20-25%) 0 20 40 60 80 100 120 140 160 T1-1 T1-2 T1-3 Jumlah Soal 1 Rerata 1 Jumlah Soal 2 Rerata 2 Jumlah Soal 3 Rerata 3 Jumlah Soal 4 Rerata 4
Page 31 of 37
3. Affective knowledge (5-10%)
Tabel di atas menunjukkan bahwa proporsi subtinjauan domain di keempat booklet hampir merata dan masih dalam range yang ditetapkan blueprint perawat 2012. Rerata jumlah benar peserta pun hampir sama di setiap subtinjuan pada keempat booklet. Hal ini menunjukan kualitas soal dan tingkat kesulitan yang hampir sama pada ke empat booklet try out 2012.
3.2.3. Tinjauan III (Keilmuan)
Pada tinjauan ini terdiri dari 9 sub tinjauan keilmuan, yaitu :
1. KMB 25-37% 2. Maternitas 8-14% 3. Anak 8-14% 4. Jiwa 8-14% 5. Keluarga 8-14% 6. Gerontik 3-9% 7. Manajemen 3-9% 8. Gadar 3-9% 9. Komunitas 3-9% 0 20 40 60 80 100 120 140 160 T2-1 T2-2 T2-3 Jumlah Soal 1 Rerata 1 Jumlah Soal 2 Rerata 2 Jumlah Soal 3 Rerata 3 Jumlah Soal 4 Rerata 4 0 10 20 30 40 50 60 T3-1 T3-2 T3-3 T3-4 T3-5 T3-6 T3-7 T3-8 T3-9 Jumlah Soal 1 Rerata 1 Jumlah Soal 2 Rerata 2 Jumlah Soal 3 Rerata 3 Jumlah Soal 4 Rerata 4
Page 32 of 37
Tabel di atas menunjukkan bahwa proporsi subtinjauan keilmuan di keempat booklet hampir merata dan masih dalam range yang ditetapkan blueprint perawat 2012. Pada subtinjauan 3-7 (manajemen) berada pada batas atas. Hal ini disebabkan soal manajemen yang merupakan soal jangkar (2 booklet soal untuk 4 booklet soal), selain soal manajemen itu sendiri. Rerata jumlah benar peserta pun hampir sama di setiap subtinjuan pada keempat booklet. Hal ini menunjukan kualitas soal dan tingkat kesulitan yang hampir sama pada ke empat booklet try out 20
3.2.4. Tinjauan IV (Proses Keperawatan)
Pada tinjauan ini terdiri dari 9 sub tinjauan Proses keperawatan, yaitu :
1. Pengkajian 20-30%
2. Penentuan masalah/diagnosa 20-30%
3. Perencanaan 15-25%
4. Implementasi 15-25%
5. Evaluasi 5-15%
Tabel di atas menunjukkan bahwa soal-soal pada subtinjuan 4-1 (Pengkajian) bervariasi (13-22 % dari total jumlah soal) secara umum masih sedikit dibawah target blue aprint. Rerata jumlah soal pada subtinjauan 4-4 (implementasi) pada keempat booklet soal sedikit melebihi batas atas blue print. Pada tinjauan 4-5 (rehabilitasi) karena keterbatasan jumlah soal maka soal 2 booklet diperuntukkan 4 booklet. Sementara jumlah soal pada subtinjauan lainnya masih berada pada range blue print. Rerata respon peserta pada semua subtinjauan berkisar 50% dari total soal pada masing-masing subtinjauan.
3.2.5. Tinjauan V (Upaya)
Pada tinjauan ini terdiri dari 4 sub tinjauan Upaya, yaitu : 1. promotif 15-25% 2. preventif 15-25% 3. kuratif 35-45% 4. rehabilitatif 15-25% 0 10 20 30 40 50 60 70 T4-1 T4-2 T4-3 T4-4 T4-5 Jumlah Soal 1 Rerata 1 Jumlah Soal 2 Rerata 2 Jumlah Soal 3 Rerata 3 Jumlah Soal 4 Rerata 4
Page 33 of 37
Jumlah soal pada subtinjauan 5-1 (promosi) dan 5-4(rehabilitasi) masih pada batas bawah proporsi blueprint, karena keterbatasan soal yang tersedia pada tinjauan ini. Jumlah soal pada subtinjauan 5-3 (prevensi) masih sesuai dengan batasan blueprint. Sehingga jumlah soal pada subtinjauan (kuratif) jauh melebihi batas atas blueprint. Respon peserta dalam menjawab masing-masing subtinjauan hampir merata (50%).
3.2.6. Tinjauan VI (Kebutuhan)
Pada tinjauan ini terdiri dari 11 sub tinjauan Pemenuhan kebutuhan, yaitu :
Oksigenasi
10-14% Cairan dan elektrolit
10-14%
Nutrisi 10-14%
Aman dan Nyaman 10-14%
Eliminasi 7-11%
Aktivitas dan istirahat 7-11%
Psikososial 7-11%
Komunikasi 7-11%
Seksual 3-7%
nilai dan keyakinan 3-7%
Belajar 3-7% 0 20 40 60 80 100 120 T5-1 T5-2 T5-3 T5-4 Jumlah Soal 1 Rerata 1 Jumlah Soal 2 Rerata 2 Jumlah Soal 3 Rerata 3 Jumlah Soal 4 Rerata 4
Page 34 of 37
Jumlah soal pada subtinjauan pemenuhan kebutuhan oksigenasi, cairan dan elektrolit, nutrisi, aktifitas dan istirahat, dan komunikasi pada keempat buku sesuai dengan blueprint. Sementara soal pada subtinjauan eliminasi kurang dan kebutuhan seksual sangat kurang. Jumlah soal pada subtinjauan nilai dan keyakinan lebih dari batas atas blueprint, sedangkan jumlah soal pada pemenuhan kebutuhan aman dan nyaman serta psikososial jauh di batas atas blueprint. Namun respon menjawab peserta pada seluruh subtinjauan 50% dari total soal pada masing-masing tinjauan.
3.2.7. Tinjauan VII (Sistem Tubuh)
Pada tinjauan ini terdiri dari 12 sub tinjauan Sistem tubuh, yaitu :
Pernafasan
8-12% kardiovaskuler dan limfatik
8-12% Pencernaan dan hepatobilier 8-12% Saraf dan perilaku 12-16%
Endokrin 6-10%
Muskulo skleletal 6-10%
Perkemihan 6-10%
Reproduksi 8-12%
Integumen 3-7%
darah dan imun 3-7 %
Penginderaan 2-4 % lain-lain 6-10% 0 5 10 15 20 25 30 35 40 Jumlah Soal 1 Rerata 1 Jumlah Soal 2 Rerata 2 Jumlah Soal 3 Rerata 3 Jumlah Soal 4 Rerata 4
Page 35 of 37
Jumlah soal padatinjauan sistem tubuh menunjukkan bahwa subtinjauan pernafasan, kardiovaskular dan limfatik, pencernaan dan hepatobilier, endokrin dan reproduksi sudah sesuai blueprint. Sementara jumlah soal endokrin dan penginderaan masih dibawah batas blueprint. Pada sub tinjauan lain-lain jauh melebihi batas blueprint. hal ini disebabkan karena soal-soal pada praktik profesional, etik, legal dan peka budaya, pengembangan profesional, manajemen, komunitas, tumbuh kembang dan kesehatan jiwa masuk didalam komponen ini. Secara umum kemampuan menjawab peserta soal-soal pada subtinjauan berada pada kisaran 50 %.
0 5 10 15 20 25 30 35 40 45 T7-1 T7-2 T7-3 T7-4 T7-5 T7-6 T7-7 T7-8 T7-9 T7-10 T7-11 T7-12 Jumlah Soal 1 Rerata 1 Jumlah Soal 2 Rerata 2 Jumlah Soal 3 Rerata 3 Jumlah Soal 4 Rerata 4
Page 36 of 37
Bagian 4
UMPAN BALIK UJI KOMPETENSI NERS INDONESIA 2 - 15 SEPTEMBER 2012
Pada tabel di atas menggambarkan bahwa sebagian besar peserta sangat setuju soft ware mudah digunakan, dapat dengan mudah berpindah dari satu soal ke soal lainnya dan sangat setuju ujian membantu mengevaluasi tingkat kompetensinya. Sebagian peserta sangat setuju tampilan program terlihat sangat menarik dan soal-soal yang diberikan pada ujian sesuai dengan kompetensi ners.
Dari tabel tersebut juga teridentifikasi sebagian dari peserta menyatakan setuju mudah menjalankan navigasi yang diberikan, program berjalan dengan cukup baik, fasilitas pendukung sangat membantu, dapat membaca soal dengan baik pada monitor, dapat dengan mudah menemukan tempat duduk di tempat ujian, merasa nyaman dengan temperatur dan kebersihan tempat pelaksanaan ujian, Operator/pengawas membantu menyelesaikan masalah dengan komputer, Fasilitas pendukung ujian sangat memadai, Waktu yang dialokasikan mencukupi (1 soal/menit), pengaturan pelaksanaan ujian ini sudah baik, dan sebagian peserta setuju memilih menggunakan komputer pada ujian selanjutnya.
Adapun saran secara tertulis dari peserta permohonan untuk mempertahankan ujian komputer dengan memperhatikan tampilan soal menarik sehingga tidak monoton, adanya alat bantu untuk menghitung soal hitungan atau soal hitungan di hilangkan, tulisan pada soal di layar monitor diperbesar, serta adanya saran variasi kasus soal juga lebih beragam. 0 100 200 300 400 500 600 700 800 900 1000 Softw ar e mu d ah … Pro gram b erja lan … Say a d ap at d en gan … Say a d ap at … Tam p ilan p rogram … Say a d ap at … Say a d ap at d en gan … Say a m era sa … Op era to r/p en gawa … Fa sili ta s p en d u ku n g … Soa l-so al yan g … Wa kt u y an g … Say a m era sa u jia n … Say a le b ih me m ili h … Penga w asan u jia n … Penga tu ra n …
Sangat Tidak Setuju Tidak Setuju Setuju Sangat setuju
