LAPORAN
Pelatihan Standard Setting Ners Tahun 2012
Direktorat Pembelajaran dan Kemahasiswaan
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan dan Kebudayaan
Hotel Atlet Century Park, Jakarta 28 – 29 Juni 2012
1. Pendahuluan
Komponen 2 Proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini salah satunya dilakukan melalui proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang bersifat high stake exam dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan.
Secara umum terdapat 2 (dua) pengelompokan metoda yang dapat digunakan, yaitu metoda relatif dan metoda absolut. Mekanisme penentuan batas lulus yang saat ini berjalan masih menggunakan metoda relatif. Bahkan pada kebanyakan praktek penentuan kelulusan dilakukan secara arbitrary yang tidak didasari oleh landasan ilmiah dan upaya keras untuk bersikap adil dan dapat dipertanggungjawabkan.
Pemahaman tentang metodologi penentuan batas lulus ini masih kurang karena dalam prakteknya masih jarang digunakan. Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal di atas, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan pelatihan standard setting sehingga setiap institusi pendidikan ners mengetahui metode yang sesuai dan adil dalam penentuan batas lulus.
2. Tujuan
Tujuan dilaksanakannya pelatihan standard setting ners adalah:
1. Meningkatkan pemahaman institusi pendidikan terhadap berbagai metode penentuan batas lulus yang adil dan dapat dipertanggung jawabkan secara ilmiah 2. Meningkatnya jumlah dan kemampuan standard setter yang akan menjadi judge
3. Output Workshop
Output serta dampak yang diharapkan dari pelatihan ini adalah:
1. Disepakatinya metode penentuan batas lulus yang dinilai paling sesuai diterapkan untuk institusi Ners di Indonesia
2. Rencana implementasi metode penentuan batas lulus yang paling sesuai untuk uji kompetensi baik lokal maupun nasional
4. Metode Pelaksanaan Workshop
Pelatihan standard setting ners ini dilaksanakan pada tanggal 28-29 Juni 2012 di Hotel Atlet Century Park Jakarta. Peserta pelatihan
No Nama Institusi Email
1 I Made Kariasa AIPNI/ Jakarta
venpenglit@yahoo.com 2 Masfuri PPNI/ Jakarta
masfuri@yahoo.com 3 Riyani Wikaningrum FK Yarsi/ Jakarta rwikaningrum@yahoo.com 4 Yulherina KB UKDI/ Jakarta yulherina@yahoo.com 5 Cholis Abrori FK UNTAR/ Jakarta dollis_dr@yahoo.com 6 Erial Bahar FK UNSRI/ Palembang tu@fk.unsri.ac.id/
erialbahar@unsri.ac.id
7 Abraham Simatupang FK UKI/ Jakarta abraham.simatupang@uki.ac.id 8 Agus Santoso PSIK FK UNDIP/ Semarang cakgus2005@yahoo.com
9 Ai Mardhiyah FIK UNPAD/ Bandung
aibageur@yahoo.com 10 Ikhsannudin FIK USU/ Medan
ichanpainbehaviorist@gmail.com 11 Intan Sri Rahayuningsih PSIK FK Unsyah/ Banda
Aceh
intan_274@yahoo.co.id 12 Yuni Sufyani F. Kep Unair/ Surabaya
yuni_psik@yahoo.com 13 Aulawi Khudazi PSIK FK UGM/ Yogyakarta
aulawi@gmail.com 14 Kumboyono PSIK FK UB/ Malang
kumbo_yono05@yahoo.com 15 Takdir Tahir PSIK FK UNHAS ns.takdirpsikuh@gmail.com 16 Rika Sabri PSIK FK UNAND/ Padang
rika.riyus@gmail.com 17 Rohman Azzam PSIK UMJ/ Jakarta
rohman.azzam@yahoo.co.id 18 Ketut Suardana PSIK FK UNUD/ Denpasar
19 Tuti Herawati FIK UI/ Jakarta itut_herawati@yahoo.com, herawati.kmb.fik@gmail.com 20 Marthen Sagrim Stikes Papua Sorong marthen_sagrim83@yahoo.co.id 21 Sriyono F. Kep Unair/ Surabaya
sriyono_70@yahoo.com 22 Lutfatul Latifah PSIK FK Unsoed/
Purwokerto
daanish.haura@gmail.com 23 Herawati PSIK FK UNLAM/
Banjarmasin
nabila_sholehah@yahoo.com 24 Husin Stikes Sari Mulia/
Banjarmasin
husin_ns@yahoo.com 25 Deni Suwardiman STIKES Faletehan/ Serang suwardimand@yahoo.co.id 26 Saefullah STIKES Indramayu mumet_plumbon@yahoo.co.id;
stikes_indramayu@yahoo.com 27 Erwin PSIK UNRI/ Pekanbaru erwinnurse@yahoo.com 28 Urip Rahayu FIK UNPAD/ Bandung
urip@unpad.ac.id
29 Emiliana Tarigan STIKES Sint Carolus/ Jakarta tarigan_tarigan@yahoo.com 30 Irma Nurbaeti PSIK FK UIN SH/ Jakarta
nurbaeti.warcham@yahoo.co.id 31 Agus Pairi STIKES Harapan Ibu/ Jambi
gunungkunyit@yahoo.co.id 32 Endah Sulistiyani STIKES Mataram esa.danie@gmail.com 33 Gunawan STIKES Malahayati/
Lampung iguana_2011@yahoo.com 34 Harif Fadhillah MTKI/ Jakarta
syamaranail@yahoo.com Pada pelaksanaannya, ada 3 peserta yang tidak dapat hadir yaitu Wiwin Winarsih (FKUI), Syafwani (Stikes Muh. Banjarmasin), Tuti Nuraeni (FKUI) dan tidak mengirimkan penggantinya.
Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan terlambat 1 jam dari waktu yang telah ditentukan. Berikut adalah rundown acara workshop pada kondisi riil :
Kamis, 28 Juni 2012
Waktu Agenda Pelaksana/ Narumber
15.00 - 15.10 Pengarahan dan pembukaan pelatihan Tuti Herawati
15.10 - 16.00 Penjelasan standar setting Yulherina/ Fasilitator 14.45 - 17. 50 Pengertian borderline dan judge Cholis Abrori
17.50 - 19.30 ISHOMA
19.30 - 23.00 Latihan Standard setting Fasilitator
Jum’at, 29 Juni 2012
08.00-09.40 Pemaparani hasil latihan Standar Setting Cholis Abrori 09.40-11.10 Evaluasi hasil latihan standar setting Rina / Fasilitator
11.00-selesai Penutupan I Made/ LO
5. Hasil Kegiatan
Workshop ini diawali dengan pembukaan oleh ibu Tuti Herawati dan dilanjutkan dengan penjelasan tentang standard setting oleh ibu Yulherina.
Pada saat acara dimulai, peserta yang berjumlah 34 orang dibagi menjadi 4 kelompok dan didampingi dengan 1 orang fasilitator. Target setiap kelompok harus mengerjakan soal sebanyak 90 soal. Pada tahap pengerjaan soal, fasilitator mengingatkan kembali agar dalam mengerjakan soal peserta harus menempatkan diri sebagai borderline.
Berdasarkan hasil pelatihan yang telah dilaksanakan selama 2 hari, output dari pelatihan
standard setting ners secara umum adalah sebagai berikut:
Kriteria Borderline
1. Menyelesaikan pendidikan profesi ners melebihi standar (1-2 semester) 2. IPK ners minimal lulus
3. Mengulang maksimal 2 stase untuk dapat lulus ujian profesi 4. IPK tahap akademik minimal lulus
5. Untuk lulus mata kuliah perlu mengikuti remedial 6. Dalam mengerjakan tugas perlu bimbingan tambahan 7. Untuk lulus uji kompetensi perlu mengulang
Kriteria Judge
1. Minimal Ners/SKp
2. Pengalaman mengajar atau pembimbing minimal 5 tahun atau 3. Pengalaman membimbing dan praktek minimal 5 tahun
5. Telah mengikuti salah satu pelatihan yang berisi student assesment (pekerti, AA, akta V,
item development)
6. Pernah mengikuti pelatihan standard setting 7. Bersedia menjadi judge dan mematuhi kode etik
Hasil dari pengerjaan soal yang dilakukan oleh tiap kelompok adalah sebagai berikut :
BUKU 1
Berdasarkan hasil pengerjaan soal, didapatkan Nilai Batas Lulus (NBL) untuk kelompok 1 mencapai nilai 60,00, sedangkan pada kelompok 2 hanya mencapai 50,00.
NBL per-round pada kelompok 1 dan 2 yang mengerjakan buku 1, hasilnya hampir tidak jauh beda, dengan perolehan nilai pada kelompok 1 (55,00) dan kelompok 2 lebih rendah yaitu (50,00).
60,00
60,00
50,00
40,00
0,00
20,00
40,00
60,00
80,00
1
2
NBL Perkelompok
Kelompok 1
Kelompok 2
55,00
50,00
0,00
20,00
40,00
60,00
1
2
NBL per-Round
Series1
BUKU 2
Di sisi lain, untuk pengerjaan soal buku 2, didapatkan NBL untuk kelompok 1 mencapai nilai 60,00, sedangkan pada kelompok 2 hanya mencapai 50,00.
NBL per-round pada kelompok 1 dan 2 yang mengerjakan buku 2, hasilnya hampir tidak jauh beda, dengan perolehan nilai pada kelompok 1 (55,00) dan kelompok 2 lebih rendah yaitu (51,88).
50,00
60,00
50,00
53,75
0,00
20,00
40,00
60,00
80,00
1
2
NBL Perkelompok
Kelompok 1
Kelompok 2
55,00
51,88
0,00
50,00
100,00
1
2
NBL per-Round
Series1
HASIL AKHIR
Setelah dianalisis lebih lanjut, NBL akhir mencapai nilai (50,94) kemudian di bulatkan menjadi (51,00).
Persentase kelulusan dengan NBL 51 masih rendah. Hal ini menggambarkan bahwa kemampuan peserta uji harus ditingkatkan untuk dapat mengerjakan soal dengan kualitas yang baik. Perlu dipastikan bahwa NBL 51 dapat dijalankan sebagaimana yang diamanatkan oleh metode ini. Hasil uji harus dapat dianalisis dan dipertanggungjawabkan secara ilmiah.
Di sisi lain, Dari 340 soal yang dikerjakan oleh para calon judges, hanya sejumlah 140 soal yang dinilai layak untuk masuk pada bank soal nasional. Hal ini dapat menjadi pelajaran bagi para item writer dan item reviewer ners dalam memperbaiki kualitas soal uji kompetensi ners.
Lesson learned dari pelatihan ini diharapkan dapat membuka wawasan calon judges ners
lebih luas, dan menyiapkan tiap institusi atas pelaksanaan uji kompetensi ners dengan
50,00
51,88
50,94
0,00
10,00
20,00
30,00
40,00
50,00
60,00
Buku 1
Buku 2
Hasil Akhir
Series1
Hasil Kelulusan • NBL = 51 • % Kelulusan – Buku 1 : 20,82% – Buku 2 : 22,35%standar nasional. Jika sistem assesment baik, diharapkan dapat meningkatkan kualitas lulusan ners.
6. Refleksi
Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan pelatihan ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi borderline, jugde, dan metode yang paling sesuai untuk standard setting ners. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut :
Fasilitator
Secara umum pelaksanaan pelatihan standard setting ners sudah berjalan dengan baik dan peserta sangat antusias
Pemahaman tentang tujuan dan metode standard setting sudah sangat baik, tetapi peserta perlu latihan lagi. Masih banyak yang terperangkap dengan review soal dan beberapa peserta belum memiliki pemahaman yang komprehensif
Peserta sudah dapat menyepakati kriteria judge yang baik, walaupun di akhir sesi masih diperlukan penjelasan
Kendala yang dihadapi peserta dalam melaksanakan tahapan standard setting di saat round-round adalah terpengaruh dengan difficulty index yang di bagikan
Rekomendasi perbaikan pelaksanaan standard setting selanjutnya pelaksanaan dilakukan pagi hari.
Yang terpenting dari pelatihan ini adalah seluruh proses dapat diterekam dengan baik. Diharapkan peserta dapat membagikan pengalaman ini di institusi masing-masing
Peserta (Calon judges)
Untuk menentukan metode standard setting yang ideal, perlu perhatian pada kelompok lulusan/mahasiswa yang borderline. Profil lulusan akan ujian, juga perlu di identifikasi atau digambarkan sebelum judging karena ada kemungkinan akan menguatkan kriteria
borderline
Akan menjadi lebih baik apabila keterwakilan seluruh komponen, baik dari variasi institusi pendidikan, wilayah dari indonesia dan pengambil keputusan berlatar belakang ners
Setuju dengan metode angoff karena sesuai dengan kondisi judge, sehingga lebih ideal dengan penentuan berdasarkan median. Akan lebih baik menyetujui satu metode untuk bisa dilatih lebih sering, walaupun nanti perlu perbandingan dengan metode lain.
Ideal adil dalam menentukan NBL dengan metode angoff
Sangat setuju, hal tersebut akan menghasilkan NBL yang rasional dengan catatan judge harus bisa menempatkan bahwa yang diuji adalah kelompok borderline bukan judge
Dari yang dipelajari adalah angoff modifikasi. Untuk menjadi perhatian bersama adalah NBL, setidaknya mewakili kondisi di luar jawa yang upaya belajar mahasiswanya lebih rendah dibandingkan mahasiswa dari jawa
Kriteria ideal untuk menjadi judge standar setting ners ini : komitmen, fokus, memahami kemampuan peserta borderline
Pendidikan minimal ners. Pengalaman mengajar minimal 5 tahun. Bersedia memahami kode etis sebagai judge
Kriteria ideal – sebagai judge adalah : orang yang komitmen, ikhlas, memiliki wawasan nasional, meninggalkan kepentingan pribadinya
Judge benar-benar mempersiapkan diri dan tidak membawa nama institusi
Kriteria judge merupakan kesepakatan bersama dan sebagai permulaan kriteria ini cukup dalam perkembangan mungkin akan disepakati kriteria tambahan
Seluruh peserta sudah siap untuk menjadi judge
Tindak lanjut dari pelatihan standar setting ners ini di buat standar setting training lanjut agar meningkatkan obyektifitas
Kriteria judge di sebarluaskan ke seluruh institusi yang akan melakukan uji kompetensi/ mengikuti uji kompetensi sehingga keterwakilan judge di seluruh indonesia dapat terwakili dan judge tidak dianggap sesuatu yang ekslusif, melakukan workshop/ pelatihan untuk menjadi judge pada masing-masing regional
Mengembangkan standar kompetensi ners yang lebih spesifik. Berlatih di institusi agar lebih memahami borderline
Menyepakati standar kompetensi ners sebagai dasar penyusunan soal uji kompetensi. Sosialisasi standar kompetensi ke seluruh institusi pendidikan keperawatan di indonesia. Perlu diadakah pelatihan item development, item review dan standard setting di tingkat institusi.
Menyiapkan jumlah judge. Menentukan NBL regional serta pelatihan judge untuk ujian nasional
Kesepakatan dan sosialisasi standar kompetensi ners ke institusi pendidikan ners. Adanya
standar setting ners lanjutan
7. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan pelatihan standard setting ners, refleksi dan feedback dari peserta pelatihan, beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga
sustainability output dan outcome dari pelatihan ini adalah sebagai berikut :
Pelatihan harus betul-betul memberi dampak positif untuk sub regional dan ke semua institusi. Untuk itu, perlu dilakukan diseminasi hasil pelatihan
Diharapkan setelah pelatihan ini peserta memberikan feedback ke institusinya masing-masing untuk membiasakan mahasiswa mengerjakan soal-soal yang di muat dalam blue print dan diterapkan ke institusi, sehingga identifikasi borderline dapat lebih akurat .
8. Penutup
Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini, hal yang sangat krusial dalam menentukan kelulusan terutama adalah pada kelompok borderline. Oleh karena itu, pemahaman dan peningkatan kemampuan standard setter dalam panel expert sangat diperlukan. Harapannya, melalui workshop ini tujuan tersebut dapat tercapai dan output dari workshop ini dapat disosialisasikan di masing-masing institusi. Selain itu, hasil evaluasi dari workshop ini diharapkan dapat menjadi input untuk MTKI, AIPNI, AIPDIKI pada khususnya, dan institusi pendidikan keperawatan pada umumnya dalam usaha meningkatkan kualitas UKNI.