LAPORAN
WORKSHOP REGIONAL PENGELOLA BANK SOAL
KEDOKTERAN dan KEDOKTERAN GIGI GELOMBANG KE -2
KOMPONEN 2 PROYEK HPEQ
Direktorat Akademik
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
Hotel JW Marriot, Medan 30 – 31 Agustus 2010 (Wil.1&2)
Hotel Savoy Homann, Bandung 30 – 31 Agustus 2010 (Wil.3&4)
1. Pendahuluan
Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 Proyek HPEQ mensyaratkan adanya suatu proses pelaksanaan ujian yang kredibel, efektif, dan efisien sesuai dengan tingkat kepentingan ujian yang tinggi (High Stake Exam). Sistem ujian ini membutuhkan mekanisme pengembangan soal yang berjenjang mulai dari tingkat institusi, regional selanjutnya juga di nasional. Proses ini merupakan mekanisme untuk meningkatkan kualitas soal melalui proses review soal berjenjang. Untuk mengelola soal yang dihasilkan tersebut maka diperlukan suatu sistem pengelolaan bank soal yang terkomputerisasi yang sangat kredibel baik dari segi keamanannya, maupun kemudahan dari proses administrasinya dengan dukungan piranti perangkat lunak dan keras yang memadai.
Disamping upaya peningkatan kualitas pembuatan dan review soal, diperlukan pula Sumber Daya Manusia pendukung yang secara handal dapat mengelola Bank Soal yang kredibilitasnya sangat tinggi baik dari sisi penguasaan teknis maupun tingkat kepercayaan dalam mengemban kerahasiaanya. Oleh karena itu, proyek HPEQ telah memfasilitasi workshop pengelola bank soal gelombang 1 di tingkat regional pada tanggal 19-20 April 2010 (Regional 1-2), 21-22 April 2010 (Regional 3-4), 23-24 April 2010 (Regional 5-6), maupun di tingkat nasional pada tanggal 14-15 April 2010
Pada workshop gelombang pertama telah dicapai kesepakatan mengenai mekanisme atau prosedur kerja pengelola bank soal di tingkat institusi, regional dan nasional. Selain itu, telah dilakukan sosialisasi terkait pengembangan perangkat lunak pengelolaan bank soal dan didapatkan usulan untuk perbaikan. Output yang dihasilkan pada workshop gelombang satu dirasakan belum optimal, terutama dari sisi teknis instalasi software. Selain itu, proyek memiliki misi untuk melaksanakan akselerasi implementasi software pengelolaan bank soal untuk profesi lain, yaitu dokter gigi, bidan dan ners. Oleh karena itu, proyek HPEQ akan memfasilitasi kembali workshop pengelola bank soal gelombang ke-2 ini dengan coverage peserta yang lebih luas, yaitu untuk 4 profesi kesehatan yang dinaungi oleh proyek HPEQ.
2. Tujuan
1. Tersosialisasinya standar atau protokol kerja yang disepakati secara nasional dan menjadi acuan bagi pengelolaan bank soal
2. Terlatihnya para calon pengelola atau administrator bank soal ujian dalam penggunaan aplikasi dan proses administrasi pembuatan, review, persiapan dan pelaksanaan ujian, serta pelaporan hasil ujian
3. Terpilihnya kandidat pengelola atau administrator sesuai dengan jumlah pusat ujian dan institusi pendidikan yang diperlukan
4. Terevaluasinya kegiatan pengelolaan bank soal ujian sehingga dapat ditingkatkan kualitas penyelenggaraannya dari waktu ke waktu
3. Output Workshop
1. Input perbaikan untuk standar atau protokol kerja pengelolaan bank soal untuk masing-masing profesi
2. Rencana evaluasi kegiatan pengelolaan bank soal ujian untuk masing-masing profesi 3. Item bank administrator untuk tingkat nasional
4. Metode Pelaksanaan Workshop
A. Batch 1 (Kedokteran Wilayah 1 & 2 dan Kedokteran Gigi Wilayah Barat)
Workshop regional pengelola bank soal gelombang ke-2 ini scopenya lebih luas karena melibatkan 4 profesi kesehatan yang tergabung di proyek HPEQ, yaitu dokter, dokter gigi, bidan dan ners (bidan dan ners sebagai observer). Workshop nasional pengelola bank soal gelombang 2 yang telah dilaksanakan pada tanggal 30 – 31 Agustus 2010 di Hotel JW Marriot Medan ini dihadiri oleh 42 peserta yang terdiri dari 4 perwakilan profesi sevabau berikut :
• Kedokteran
26 peserta dari 24 institusi (FK UMSU mengirimkan 3 orang peserta) Peserta yang tidak hadir : USU dan Universitas Jambi
• Kedokteran Gigi
12 peserta dari 12 institusi • Perawat sebagai Observer
2 peserta dari 2 institusi • Bidan sebagai Observer 2 peserta dari 2 institusi
Participation rate peserta workshop regional 1 & 2 ini sangat baik, bahkan melebihi 100 %, meskipun ada 2 IPD yang tidak berpartisipasi.
Lebih lanjut lagi berdasarkan pantauan tim monev, ada beberapa peserta yang merupakan “wajah lama” dan sudah pernah mengikuti pelatihan terkait assessment yang difasilitasi proyek HPEQ lainnya, seperti : item development CBT & OSCE, osce examiner, SP trainer. Diantara mereka bahkan ada yang telah menjadi fasilitator pada workshop-workshop tersebut. Hal ini sebenarnya sudah diwarning oleh proyek untuk dihindari, karena workload dan tanggung jawab masing-masing peserta yang telah mengikuti pelatihan HPEQ (terutama yang telah menjadi peserta nasional) akan sangat berat, terutama dalam menjaga sustainability output workshop di regional amaupu instistusi masing-masing. Beberapa peserta yang berstatus “merangkap” adalah sebagai berikut :
• Kedokteran
1. Bernadetha (FK UKI) merupakan fasilitator penguji OSCE nasional 2. Ronald Sugiono (FK UNTAR) merupakan fasilitator pelatih SP nasional • Kedokteran Gigi
1. M. Zulkarnain (FKG Univ. Prima Indonesia) merupakan peserta nasional item development Kedokteran Gigi wil. barat
2. Retno Damayanti (FKG UPDM) merupakan peserta item development Kedokteran Gigi wil. barat 3. Fitriani (FKG Univ. Prima Indonesia) merupakan peserta nasional item development Kedokteran
Gigi wil. barat
Di sisi lain, fasilitator yang mengguide peserta pada workshop IBA gelombang ke-2 ini telah melibatkan IBA item bank administrator nasional, dan melibatkan item bank manager dari masing-masing profesi (untuk workshop kali ini dari profesi dokter dan dokter gigi, karena profesi bidan dan ners masih berlaku sebagai observer). Fasilitator-fasilitator yang berkontribusi pada workshop wilayah 1 dan 2 adalah sebagai berikut :
Kedokteran
1. Hemma Yulfi - FK USU/ IBA Nasional
2. Ninik Sukartini - FK UI/ IBA Nasional
Kedokteran Gigi
1. Indri Kurniasih - UKDGI/ FKG UMY/ item bank manager
2. Utmi Arma - FKG UNBRAH/ Padang
Pada pelaksanaannya, workshop dilaksanakan dengan 2 metode, yaitu dengan metode presentasi narasumber yang disertai dengan diskusi interaktif serta simulasi aplikasi software item bank yang diharapkan dapat memberikan pemahaman yang komprehensif kepada para item bank administrator.
Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan agak terlambat dari jadwal dikarenakan waktu mulainya acara terlambat sekitar 45 menit. Meskipun demikian, hal ini tidak mengurangi nilai substansi dari tiap sesi workshop secara
keseluruhan. Berikut adalah rundown acara workshop pada kondisi riil : Hari ke-1 (30 Agustus)
WAKTU EVENT PIC / NARASUMBER
14.45 – 14.50 Pembukaan M. Ghozali
14.50 – 16.15 Ice Breaking dan Sharing peserta mengenai item bank di institusi masing-masing
M. Ghozali 16.15 – 17.50 Materi Penjelasan Garis Besar Proses item bank
administration
Hemma Yulfi fan Ninik Sukartini
17.50 – 18.00 Pembagian Flash Disk Program IBA Panitia
18.00 – 19.40 Ishoma
19.40 – 22.00 Simulasi Program Software item bank administration Indri Kurniasih Hari ke-2 (31 Agustus)
WAKTU EVENT PIC / NARASUMBER
08.10 – 08.20 Sharing simulasi hari pertama M. Ghozali
08.20 – 10.00 Simulasi data entry M. Ghozali
10.00 – 10.20 Update Aplikasi Irfan/ IT Program
10.22 – 10.30 Mekanisme buku ujian M. Ghozali
10.30 – 10.50 Diskusi M. Ghozali
10.50 – 11.00 Penutupan M. Ghozali
B. Batch 2 (Kedokteran Wilayah 3 & 4)
Workshop Regional Pengelola Bank Soal wilayah 3&4 dilakukan secara paralel dengan wil 1&2 di Hotel Savoy Homan Bandung. Pada pelaksanaannya, sebagian peserta datang tepat pada waktunya, sehingga acara dapat dimulai tepat waktu. Participation rate workshop hanya mencapai 92 %, hal ini dikarenakan ada dua orang peserta tidak dapat hadir karena suatu hal yang tidak dapat ditinggalkan, yaitu FK UNILA dari wilayah 3 dan FK UKDW dari wilayah 4. Secara keseluruhan jumlah peserta workshop yang berpartisipasi adalah 24 orang, dengan 6 orang diantaranya adalah observer dari profesi bidan dan ners.
Sebagaimana yang terjadi di wilayah 1 & 2, sebagian peserta yang dikirimkan adalah peserta baru dan memang khusus dikirim oleh institusinya sebgai item bank administrator. Namun demikian beberapa peserta merupakan wajah lama yang sudah pernah mengikuti pelatihan lain seperti : item
development CBT & OSCE, osce examiner. Hal ini perlu dicermati, karena sebaiknya peran sebagai item bank administrator di institusi, regional, maupun di tingkat nasional tidak dicampur aduk dengan peran lain dalam ranah assessment profesi kesehatan. Pada workshop wilayah 3 & 4 ini tercatat 6 peserta yang berstatus “merangkap” :
No Nama Instansi Asal Pelatihan
1 Bhisma Muiti FK – UNS ID, IBA
2 Hermin A FK-UNPAD ID, IBA
3 M. Bakhriansyah FK-UNLAM BJM ID, IBA
4 Welly Ratwita FK-UNJANI ID, IBA, SS
5 Santun Bhekti R. FK-UNISBA ID, IBA, SS
6 Hary Nugroho FK-UNMUL ID, IBA
Keterangan : IBA (Item Bank Administrator), ID (Item Development), OE (Osce Examiner), SS (Standard Setting)
Pada pelaksanaan workshop, untuk mempermudah proses pelatihan, para peserta blended dalam satu kelas besar tanpa ada pembagian kelompok. Dalam melakukan latihan aplikasi, para IBA regional dipandu dan didampingi oleh 3 orang fasilitator, yaitu Sari Puspa Dewi (KB UKDI), dan IBA nasional, Iis Inayati (FK UNJANI) dan Santoso (FK UNDIP). Berikut merupakan susunan acara pelatihan pada wilayah 3 dan 4.
Hari 1 (30 Agustus)
Waktu Kegiatan Pelaksana
14.15 – 14.30 Pengarahan dan pembukaan Workshop Sari Puspa Dewi
14.30 – 16.00 Penjelasan Garis Besar Proses Administrasi Soal Sari Puspa Dewi 16.00 – 16.30 Istirahat – Sholat
16.30 – 17.30 Simulasi Administrasi Soal (Data Entry) Fasilitator 17.30 – 19.30 Istirahat, Sholat, Makan
19.30 – 21.30 Simulasi Administrasi Soal (Blue Printing) Fasilitator Hari 2 (30 Agustus)
Waktu Kegiatan Pelaksana
08.00 – 09.00 Simulasi Administrasi Soal (Exam Preparation) Fasilitator 09.00 – 10.00 Simulasi Administrasi Soal
(Item Analysis & Scoring)
Fasilitator
10.00 – 10.30 Trouble Shooting Pelaksanaan Ujian Fasilitator
10.30 – 11.00 Wrap up dan Rencana Tindak lanjut Fasilitator
C. Batch 3 (Kedokteran Wilayah 5 & 6 dan Kedokteran Gigi Wilayah Timur)
Workshop regional pengelola bank soal wilayah 5 dan 6 yang dilaksanakan di Hotel Arya Dutta Makassar ini merupakan rangkaian akhir workshop regional item bank administrator gelombang ke-2. Workshop yang telah dilaksanakan pada tanggal 1 – 2 September 2010 ini dihadiri oleh 37 peserta yang terdiri dari 4 perwakilan profesi sebagai berikut :
• Kedokteran
21 peserta dari 21 institusi • Kedokteran Gigi
• Ners sebagai Observer
1 peserta dari 1 institusi, perwakilan ners dari Stikes Muhammadiyah Banjarmasin tidak hadir Bidan sebagai Observer
2 peserta dari 2 institusi
Participation rate workshop regional 5 & 6 ini sangat baik, yaitu mencapai 99 %, karena hanya 1 peserta yang tidak hadir, yaitu observer ners.
Sama seperti pada wilayah lainnya, tim monev juga mengamati peserta yang berpartisipasi pada workshop. Pada wilayah ini, hanya teridentifikasi 2 peserta yang berstatus merangkap, yaitu : 1. A.Ma'ruf (FK Unizar) merupakan peserta pelatihan pelatih Standardized Patient. Menurut
keterangan yang bersangkutan, statusnya adalah pengganti dari item administrator yang berhalangan hadir
2. Joel Herbet (FK UNCEN) yang merupakan item writer nasional
Disisi, beberapa fasilitator yang membantu peserta pada teknis pelaksanaan workshop adalah sebagai berikut :
Kedokteran
1. Achmad Yuniari Heryana - FK UNAIR/ Surabaya
2. Mahmud Ghaznawi - FK UNHAS/ Makassar
3. Sari Puspa Dewi - FK UNPAD/ item bank manager (KB UKDI)
Kedokteran Gigi
4. Indri Kurniasih - UKDGI/ FKG UMY/ item bank manager
5. Adam Malik - FKG UNHAS/ Makassar
Ners
6. Tuti Herawati - PPNI Jakarta/ item bank manager
Pada pelaksanaannya, workshop dilaksanakan dengan 2 metode, yaitu dengan metode presentasi narasumber yang disertai dengan diskusi interaktif serta simulasi aplikasi software item bank yang diharapkan dapat memberikan pemahaman yang komprehensif kepada para item bank administrator. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan agak terlambat dari jadwal dikarenakan waktu mulainya acara terlambat sekitar 30 menit. Meskipun demikian, hal ini tidak mengurangi nilai substansi dari tiap sesi workshop secara keseluruhan. Berikut adalah rundown acara workshop pada kondisi riil :
Hari 1 (1 September 2010)
14.30 – 15.45 Pembukaan
Perkenalan peserta dan fasilitator
Indri Kurniasih
15.45 – 16.00 Prinsip Student Assessment Indri Kurniasih
16.00 – 17.00 IBA dan Garis Besar Proses Administrasi Soal
Achmad Yuniari Heryana
17.00 – 19.00 Break Mahmud Ghaznawi dan fasilitator
Hari 2 (2 September 2010)
08.30 – 09.00 Simulasi penggunaan software item bank Fasilitator 09.30 – 10.30 Simulasi Administrasi Soal (Item Analysis &
Scoring)
Fasilitator 10.30 – 11.30 Trouble Shooting Pelaksanaan Ujian Fasilitator
Wrap up dan Rencana Tindak lanjut Fasilitator
5. Hasil Kegiatan
A. Batch 1 (Kedokteran Wilayah 1&2 dan Kedokteran Gigi Wilayah Barat)
Workshop batch 1 diawali dengan sharing peserta yang dipandu fasilitator KB UKDI, yaitu Moh Gozali. Kemudian dilanjutkan dengan penyampaian materi dari IBA Nasional, yaitu Hemma Yulfi dan Ninik Sukartini terkait prinsip dasar item bank administration dan garis besar proses administrasi soal. Kuliah yang diberikan oleh narasumber ini dianggap benar-benar dapat memberi masukan kepada peserta workshop dalam membuat sistem/ work flow item bank administration yang berkenaan dengan sistem pengelolaan yang credible dari segi keamanan dan kemudahan proses administrasi. Beberapa catatan penting dari sesi kuliah dan diskusi interaktif pada workshop adalah sebagai berikut :
1. Di institusi sudah ada mekanisme pengelolaan soal, tidak lagi garbage in/ garbage out
Setiap institusi memiliki proses pengelolaan soal tersendiri. Oleh karena itu, workshop ini dilaksanakan untuk merancang suatu aplikasi yang dapat dipakai secara bersama-sama oleh 4 profesi dalam hal input soal, pembuat soal, review soal, dll.
2. Proyek HPEQ akan memfasilitasi penyusunan aplikasi item bank administration yang akan digunakan bersama oleh 4 profesi
Untuk pembuatan aplikasi ini dibutuhkan input dari para item bank admin agar aplikasi yang disusun sesuai dengan nature profesi
3. Permasalahan pengumpulan soal yang masih sulit pada masing-masing institusi
Permasalahan pengumpulan soal pada masing-masing institusi masih menjadi persoalan yang dihadapi oleh masing-masing profesi. Permasalahan ini dapat menhambat proses entry soal ke item bank nasional.
4. Tinjauan untuk profesi kedokteran dan kedokteran gigi
Sama-sama memiliki 7 tinjauan, hanya saja dengan tinjauan yang berbeda sesuai dengan blue print masing-masing profesi
5. Satu Komputer khusus untuk keperluan item bank
Setiap institusi harus memiliki komputer khusus yang digunakan untuk keperluan item bank tanpa terkoneksi internet, untuk menjaga confidentiality dan mengeliminir peluang kebocoran soal
6. Mekanisme Buku Ujian
Buku ujian ini dibuat untuk mengekstrak soal-soal yang dimuat dan yang telah diriview, hanya saja belum ada satu SOP untuk mekanisme dan tipe ujian yang sama. Selama ini masing-masing institusi memiliki mekanisme masing-masing.
7. Koordinator Regional Item Bank Administration
PIC yang bertindak sebagai koordinator untuk masing-masing regional adalah IBA Nasional yang telah terpilih pada workshop nasional item bank administration terdahulu
8. Program ini sudah dapat diaplikasikan dan disosialisasikan
Program aplikasi Item Bank Administration ini secara prinsip sudah dapat dipakai dan disosialisasikan diinstitusi masing-masing dan jika ada permasalahan dapat disampaikan ke koordinator masing-masing wilayah
B. Batch 2 (Kedokteran Wilayah 3 & 4)
Workshop ini diawali pengarahan dari perwakilan komponen 2 (Sari Puspa Dewi, item bank manager UKDI) mengenai hal-hal yang akan dikerjakan selama workshop beserta penentuan target yang akan dicapai. Masing-masing peserta kembali diberikan pengarahan mengenai tugas dari komponen assesment dalam HPEQ, yaitu tugas dari item bank development and review, item bank administrator, dan kolaborasi dari komponen tersebut. Secara umum, sebagian besar peserta belum begitu memahami mengenai tugas dari item bank administrator, sehingga penjelasan dan diskusi mengenai tugas item bank administrator memakan waktu cukup lama. Sebagian peserta lain sudah memahami mengenai peran item bank administrator dan bahkan beberapa institusi telah melakukan sosialisasi mengenai item development dan review di tingkat institusi.
Pada tahap latihan data entry, semua peserta dan observer mendapatkan sebuah flashdisk yang berisi program SIPENA (Sistem Informasi Uji Kompetensi Nasional) yang akan digunakan oleh item bank administrator untuk mensortir soal-soal yang telah direview oleh item reviewer. Dalam penggunaannya, ada masalah dengan beberapa hardware yang digunakan peserta. Beberapa peserta tidak bisa menggunakan laptopnya untuk menjalankan program tersebut. Ada 2 kemungkinan penyebab hal tersebut terjadi, yaitu konflik software dengan sistem operasi dalam komputer dan ketidakcocokan spesifikasi hardware. Oleh karena itu, sebaiknya dilakukan uji validasi software dengan hardware, sehingga dapat dipastikan sofware ini dapat berjalan dengan lancar. Selain itu ada beberapa masukan dari peserta untuk software ini. Semua masukan tersebut bersifat perbaikan tampilan dan algoritma / logika pemrograman untuk software ini agar lebih mudah dioperasikan.
Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop secara umum adalah sebagai berikut :
• Setiap institusi wajib mengirimkan 100 soal kepada IBA nasional setiap tahunnya.
• Soal yang akan dikirimkan harus di review terlebih dahulu oleh item reviewer di masing-masing institusi.
• Semua soal yang sudah di-review oleh item reviewer tingkat institusi dikumpulkan kepada item bank administrator institusi, kemudian soal yang memenuhi kriteria dikirimkan kepada item reviewer tingkat regional, untuk selanjutnya direview lagi.
• Semua soal yang sudah di-review oleh item reviewer tingkat regional dikumpulkan kepada item bank administrator regional, kemudian soal yang memenuhi kriteria dikirimkan kepada item reviewer tingkat nasional, untuk selanjutnya direview lagi.
• Semua soal yang sudah di-review oleh item reviewer tingkat nasional dikumpulkan kepada item bank administrator nasional, kemudian soal yang memenuhi kriteria akan disimpan dalam bank soal nasional.
• Semua soal akan dikembalikan kepada masing-masing item bank administrator tingkat regional dan institusi untuk selanjutnya ditindak lanjuti. Soal yang baik akan masuk kedalam bank soal dan soal yang kurang baik/ tidak memenuhi kriteria akan dikembalikan kepada pembuat soal.
• Item bank administrator tidak mereview soal, tapi mensortir soal yang telah direview oleh item reviewer, untuk kemudian dikembalikan kepada penulis (untuk diperbaiki) atau disimpan dalam bank soal.
• Sofware SIPENA yang ada sementara ini digunakan untuk data entry dan item review yang belum matang dan masih membutuhkan feedback dari user. Berikut adalah beberapa masukan untuk software SIPENA :
• Perlu ada kesamaan alat yang digunakan dalam mengkoreksi LJK, supaya output file dari scanner LJK sama. Dengan ini, pihak pengembang software dapat menyediakan perlakuan khusus untuk file tersebut, supaya proses item analysis dapat dilakukan dengan mudah.
• Sosialisasi yang dilaksanakan di tingkat institusi adalah mengenai tugas item reviewer, item writer, item bank administrator, dan hubungan antara ketiganya. Perlu dilakukan penggandaan software terlebih dahulu untuk sosialisasi. Sofware bisa di-share dengan menggunakan server intranet (dengan menginstall ke dalam PC server).
• Perlu disepakati mengenai prasyarat dan syarat untuk menjadi item bank administrstor.
Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini masih belum optimal. Hal ini dapat dilihat dari belum adanya rencana evaluasi kegiatan pengelolaan bank soal ujian untuk masing-masing profesi dan belum ada peserta yang dipilih sebagai item bank administrator untuk tingkat nasional. Pemilihan item bank administrator untuk tingkat nasional akan didiskusikan oleh fasilitator setelah workshop kali ini.
Faktor utama penyebab kurangnya pencapaian target output workshop dikarenakan masalah software yang belum matang. Masalah pada software ini menjadi bahasan yang paling sering didiskusikan dalam workshop kali ini. Selain itu banyak masalah klasik di tingkat institusi yang menyebabkan topik bahasan sedikit melenceng dari tujuan workshop. Masalah yang paling sering muncul adalah masalah sosialisasi kepada anggota atau bagian-bagian yang ada dalam institusi tentang item development. Sebagian besar peserta mengeluhkan bahwa anggota atau bagian dari institusinya kurang memahami dan kurang peduli mengenai item development yang baik. Sehingga soal yang didapatkan sangat jauh dari kriteria.
C. Batch 3 ( Kedokteran Wilayah 5 & 6 dan Kedokteran Gigi Wilayah Timur)
Workshop diawali dengan sharing peserta yang dipandu fasilitator yang merupakan item bank manager UKDGI, yaitu Indri Kurniasih. Selanjutnya, dilanjutkan dengan penyampaian materi mengenai prinsip student assessment. Materi mengenai IBA dan Garis Besar Proses Administrasi Soal disampaikan oleh Achmad Yuniari Heryana. Kuliah yang diberikan oleh narasumber ini dianggap benar-benar dapat memberi masukan kepada peserta workshop dalam membuat sistem/ work flow item bank administration yang berkenaan dengan sistem pengelolaan yang credible dari segi keamanan dan kemudahan proses administrasi. Beberapa catatan penting dari sesi kuliah dan diskusi interaktif pada workshop adalah sebagai berikut :
1. Di institusi belum banyak yang memiliki mekanisme pengelolaan soal
Sebagian besar institusi belum memiliki proses pengelolaan soal tersendiri, khususnya prodi-prodi yang baru berdiri. Maka workshop ini dibuat untuk membuat suatu aplikasi yang dapat dipakai secara bersama-sama
2. Hambatan yang sering muncul dari institusi
Para penulis soal memberikan soalnya pada saat akhir menjelang ujian, sehingga menyulitkan proses review. Memang tujuan dari pembuatan software ini adalah pembuatan item bank sehingga setelah item bank ini cukup kaya akan soal-soal maka proses review akan berjalan dengan baik dan hanya perlu penyesuaian dengan blueprint
3. Masalah pengkodean dirasa cukup menyulitkan IBA karena harus bekerja dua kali membuat kode item bank institusi lalu mengubahnya lagi ke kode UKDI
Pada sesi berikutnya dilanjutkan dengan simulasi penggunaan item bank. Sesi ini berjalan lancar, meskipun ditemukan beberapa kesalahan minor dari program (sudah dicatat oleh pengembang soal
dan fasilitator) yang masih perlu perbaikan dan tidak mempengaruhi jalannya program secara keseluruhan. Input dari beberapa peserta terkait penyempurnaan software adalah sebagai berikut : • Software dan program belum sempurna sehingga masih perlu perbaikan dan pengembangan • IBA diharapkan seorang yang mengerti tentang kesehatan, dan diharapkan juga menjadi seorang
reviewer meskipun hak me-review sepenuhnya adalah milik reviewer.
• Perbaikan terus menerus dan pengembangan dari software yang dapat mengakomodasi keinginan semua pihak.
• Sosialisasi mengenai proses pengelolaan item bank untuk UKDI (pada khususnya) dan tidak menutup kemungkinan untuk institusi
• Perlu kerjasama tim untuk mengembangkan bank soal di institusi masing-masing 6. Evaluasi Kegiatan
Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop pada tiap batch ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kurang optimalnya output dalam workshop. Berikut adalah refleksi pelaksanaan workshop untuk tiap batch. A. Batch 1 ( Kedokteran Wilayah 1 & 2 dan Kedokteran Gigi Wilayah Barat)
Gambaran Umum
• Hampir di seluruh wilayah, sosialisasi mengenai item development belum berjalan secara menyeluruh. Sejalan dengan hal ini, perlu identifikasi terhadap permasalahan-permasalahan terkait mekanisme item development di tiap institusi.
• Partisipasi institusi dalam mengirimnkan calon item bank administrator sudah baik, namun ada beberapa peserta yang juga berperan sebagai item development dan item review di institusinya. Hal ini akan memberatkan tugas dan berpotensi menyebabkan kurang optimalnya output yang dihasilkan.
• Banyak peserta yang telah menjadi PIC untuk workshop assessment lainnya, ditugaskan juga untuk menjadi IBA. Hal ini dikhawatirkan dapat menyebabkan PIC tersebut menjadi tidak fokus dalam menjalankan tanggung jawabnya.
Fasilitator
• Kemampuan dan partisipasi peserta :
Kemampuan peserta baik, lebih baik dari pelaksanaan terdahulu. Peserta terlihat jauh lebih siap
Sebagian besar peserta kemampuannya sudah memadai karena sudah mempunyai basic yang baik terhadap software item bank
Semua peserta antusias mengikuti pelaksanaan workshop, hanya beberapa yang masih kesulitan pada saat penggunaan program item bank
Sebagian besar peserta sudah cepat tanggap dan exploratif terhadap aplikasi yang diberikan • Usulan :
Perbanyak pelatihan yang sejenis
Peserta sebaiknya memiliki kemampuan komputer dan IT yang baik
IBA yang diutus seharusnya adalah orang-orang yang memiliki wewenang dalam tim assesment di institusinya
Perlu penyempurnaan SOP/ borderline dan aplikasi Peserta
• Kesiapan menjadi Item Bank Administrator dan Fasilitator di Institusi/Regional Kedokteran :
o cukup siap, dengan membutuhkan banyak pengalaman lagi o masih perlu memperkaya diri dengan latihan-latihan
o setelah mengikuti workshop ini berupaya mengadakan pelatihan di institusi dan pengelolaan soal
o mencoba memberikan pelatihan di tingkat institusi, menyiapkan teman-teman sejwat menjadi item writer dan tim reviewer
o mengikuti workshop secara kontinu, membaca buku-buku terkait, mempraktekan ilmu dari workshop sehingga jika ada kesulitan dapat langsung didiskusikan
o mengikuti setiap workshop yang berhubungan dengan IBA untuk disosialisasikan ke institusi, sehingga dapat ditindaklanjuti, walaupun masih terkendala SDM yang terbatas Kedokteran Gigi :
o mempersiapkan diri dengan membentuk aplikasi item bank soal dan menjalin kerjasama dengan reviewer, penulis soal dan juga pimpinan institusi
o perlu lebih banyak pelatihan untk mengembangkan kemampuan dalam item bank administration
o untuk tingkat institusi, saya merasa cukup siap menajdi item bank admnistrator,dengan lebih banyak belajar lagi, untuk tingkat regioanl merasa belum siap menjadi IBA
• Usul saran untuk memperbaiki standar / protocol pengelolaan soal Kedokteran :
o Harus memiliki IT manager, sistem computerized, sosialisasi lebih jauh di institusi o perlu dibenahi proses pemprograman
o salah satunya menggunakan software yang sekarang dilatihkan tetapi sudah benar-benar complete dan teruji
o pengembangan SDM dan pelatihan-pelatihan
o dibuat suatu sistem administrasi yang lebih terstruktur
o tersedia website online untuk mengupdate program-program baru
Kedokteran Gigi :
o Penyiapan sistem/ struktur organisasi
o SDM harus dipersiapkan lebih baik, baik sebagai penulis soal, reviewer ataupun item bank administrator
o input soal harus dibuat lebih mudah
o menggunakan aplikasi yang baik, terjamin kerahasiannya
o setiap institusi sebaiknya rutin mengadakan rapat ataupun workshop untuk meningkatkan kemampuan masing-masing institusi dalam pengelolaan soal di setiap institusi
o Sharing tentang ilmu yang didapat, membuat soal yang lebih baik lagi
• Kendala dalam mengembangkan Item Bank Uji Kompetensi Kedokteran :
o narasumber/ item writer tidak bisa mengoperasikan komputer/ program software; o dalam melakukan pengumpulan soal harus disamakan dulu persepsi antara item writer
dan reviewer
o kurangnya perhatian/ minat dari staff pengajar
o sulit mengumpulkan soal-soal dari para item writer dan kurangnya tenaga ahli dalam review soal
o kualitas dan kuantitas soal tidakmemadai, item writer terbatas o sulit mengumpulkan expert
o sulit mengumpulkan soal
o sumber daya manusia yang kompeten
o tidak semua institusi memiliki tim reviewer yang kompeten, tidak semua institusi mengembangkan soal ujian berbasis UKDI
o belum ada standarisasi dan keseragaman dalam pembuatan dan pemakaian bentuk soal o kurangnya sember daya manusia yang bersedia untuk mengelola item bank
o masalah teknis/ tenaga untuk input data
Kedokteran Gigi :
o Pengumpulan soal dari para item writer
o SDM, kuantitas waktu, kendala-kendala teknis dan biaya o kendala dana terutama swasta/ yayasan
o sulit mendapatkan item writer yang handal
• Usulan Kedokteran :
o Terus dilakukan pembaharuan baik terhadap input (item-item yang perlu ditambah) o Up grade software dalam kurun waktu tertentu
o Perlu workshop yang dilaksanakan secara berkesinambungan dan softwarenya telah direview dahulu
o Hasil workshop perlu dishare ke semua regional, sehingga ditemukan banyak trouble shooting dan solusinya
o pertemuan berkala untuk mengatasi sharing kendala dan solusinya
o menerapkan di intitusi masing-masing dan terus melakukan sosialisasi dan observasi pengelolaan soal di tiap institusi
o memberi kewenangan AIPKI wilayah untuk check dan balancing program item bank setelah proyek HPEQ selesai
Kedokteran Gigi :
o Workshop/ pertemuan rutin para administrator;
o Sebaiknya diberikan penuntun atau pedoman berbentuk buku yang telah disepakati bersama mengenai garis besar/benang merah dari sistem pengelolaan soal baik di tingkat institusi maupun di tingkat regional;
o Perlu pelatihan yang berkesinambungan dan kerjasama yang solid dari atas kebawah; o Perlu perbaikan pada fitur software
Tim Monev : Feedback Peserta
Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop.
Dari 40 kuesioner yang kembali ke tim monev, 46 % responden menyatakan pelaksanaan workshop sangat memuaskan. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia dan para item bank administrator yang sangat cooperative.
Analisa lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap output workshop, dimana peserta merasa mendapatkan added value yang besar, sehingga workshop ini dinilai dapat meningkatkan kemampuan mereka dalam mengelola bank soal dengan baik. Selain itu narasumber juga dirasakan telah menyampaikan tambahan ilmu dengan sangat baik. Fasilitas yang diberikan selama workshop dan pelayanan panitia juga dinilai sangat memuaskan. Faktor yang dinilai kurang memuaskan adalah standar atau protokol terkait item bank administration, dinilai belum terlalu jelas untuk memberikan arahan kepada IBA institusi, sehingga implementasi IBA di institusi menjadi kyran optimal.
B. Batch 2 (Kedokteran Wilayah 3 & 4) Gambaran Umum
• Hampir di seluruh wilayah, sosialisasi mengenai item development belum berjalan secara menyeluruh. Sejalan dengan hal ini, perlu identifikasi terhadap permasalahan-permasalahan terkait mekanisme item development di tiap institusi.
• Partisipasi institusi dalam mengirimkan calon item bank administrator sudah baik, namun ada beberapa peserta yang juga berperan sebagai item development dan item review di institusinya. Hal ini akan memberatkan tugas dan berpotensi menyebabkan kurang optimalnya output yang diharapkan.
Fasilitator
• Kemampuan dan partisipasi peserta sangat baik dan semakin meningkat terutama dalam pemahaman feature
• Usulan :
Diperbanyak workshop di tingkat regional untuk mengingkatkan keterlibatan institusi Peserta dan reviewer sebaiknya berasal dari atau mewakili bidang keahlian, sehingga
mudah untuk berkonsultasi
Peningkatan komitmen pimpinan untuk penyelenggaraan workshop sejenis di tingkat institusi
Perlu disediakan kamus bahasa Indonesia untuk menyamakan istilah dalam soal
Kegiatan sebaiknya dapat dimulai lebih awal agar dapat menghasilkan output workshop yang lebih opti,al
Alat-alat penunjang workshop (laptop dan LCD) agar disiapkan lebih awal sehingga reviewer dapat langsung bekerja
Peserta
• Kesiapan menjadi Item Bank Administrator dan Fasilitator di Institusi/Regional
Hampir semua peserta pada dasarnya siap menjadi IBA dan Fasilitator di tingkat institusi dan regional
Ada sedikit peserta yang tidak siap karena keterbatasan waktu/kesibukan.
Beberapa peserta lain mengaku belum siap karena belum ada deskripsi kerja dan struktur organisasi yang jelas.
• Usul saran untuk memperbaiki standar / protocol pengelolaan soal Penyempurnaan software
Perlu ada SOP yang jelas
Perlu ada sosialisasi di tingkat institusi (terutama pada dekanat), supaya mendapat dukungan penuh dari masing-masing anggota institusi.
Perlunya penyediaan fasilitas bagi IBA (PC atau Laptop) dan IW (Flash disk dengan SIPENA didalamnya).
Software SIPENA sebaiknya di buat secara online saja, supaya mempermudah upload dan download soal.
Perlu ada asisten yang bertugas membantu item bank administrator.
Perlu dibuat petunjuk pelaksanaan dan petunjuk teknis yang jelas, termasuk manual dari software yang ada.
• Kendala dalam mengembangkan Item Bank Uji Kompetensi Sosialisasi di tingkat bagian masih belum berjalan Keterbatasan waktu dalam membuat soal.
Pemahaman yang kurang dari masing-masing anggota institusi mengenai IBD, sehingga tidak semua soal layak masuk ke dalam bank soal.
Ada beberapa kekhawatiran mengenai keamanan program ini. Ada kekhawatiran bisa di rubah (hack) oleh orang yang tidak bertanggung jawab, atu bisa saja terkena virus.
Belum banyak dosen yang mau menulis soal. • Usulan
Perlu diadakan pelatihan dan evaluasi secara berkala.
Perlu ada forum yang bersifat sharing mengenai masalah-masalah yang muncul ditingkat institusi yang dimoderatori oleh dikti/HPEQ.
Perlu ada milis untuk para item bank administrator.
Perlu ada pertemuan yang akan memegang komitmen masing-masing institusi untuk saling member dan menerima saat ada kewajiban mengirim soal.
Pengelola bank soal haru menjga kerahasiaan soal.
Undangan untuk pelatihan berikutnya sebaiknya orang yang sama atau tetap. Tim Monev : Feedback Peserta
Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 23 kuesioner yang kembali ke tim monev, 50 % responden menyatakan pelaksanaan workshop sangat memuaskan. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia dan para item bank administrator yang sangat cooperative.
Analisa lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap output workshop, dimana peserta merasa mendapatkan added value yang besar, sehingga workshop ini dinilai dapat meningkatkan kemampuan mereka dalam mengelola bank soal dengan baik. Selain itu narasumber juga dirasakan telah menyampaikan tambahan ilmu dengan sangat baik. Fasilitas yang diberikan selama workshop dan pelayanan panitia juga dinilai sangat memuaskan. Faktor yang dinilai kurang memuaskan adalah dari sisi fasilitator yang kurang fokus untuk mendampingi tiap kelompok IBA. Disisi lain, peserta juga merasa kurang puas dengan waktu yang diberikan untuk mempersiapkan diri mengikuti workshop. Selain itu, standar atau protokol terkait item bank administration, dinilai belum terlalu jelas untuk memberikan arahan kepada IBA institusi.
5%
45% 50%
PROPORSI SATISFACTION LEVEL
kurang memuaskan cukup memuaskan sangat memuaskan 0 3 0 0 0 0 0 0 0 0 3 1 6 0 1 0 0 1 0 4 3 7 4 3 4 5 5 5 9 12 10 15 15 9 8 7 18 4 7 0 4 4 10 10 10
REKAP FEEDBACK WORKSHOP ITEM BANK ADMINISTRATION NASIONAL Bandung, 30 - 31 Agustus 2010
C. Batch 3 ( Kedokteran Wilayah 5 & 6 dan Kedokteran Gigi Wilayah Timur) Gambaran Umum
• Workshop berjalan cukup lancar, namun terdapat masalah pada setting tempat, sehingga pada sesi malam perlu penggantian setting.
• Peserta cukup antusias mengikuti rangkaian sesi workshop dari awal sampai akhir. Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah:
• Perlu adanya pelatihan yang berkelanjutan dan berkala (6 bulan – 1 tahun sekali) • Manual penggunaan software
• Pematangan software dan aplikasinya
• Perlu refresh mengenai template soal UKDI dan sosialisasi blueprint UKDI dikarenakan hampir semua peserta baru.
• Perlu adanya pemerataan peran dari masing-masing fasilitator (koordinasi) sehingga dapat bekerja lebih efektif dan efisien
Fasilitator
• Penilaian narasumber terhadap kemampuan peserta dalam workshop ini sudah baik
• Pengelolaan soal akan dapat berjalan dengan baik dengan dukungan dari institusi, penyelenggaraan workshop dan forum diskusi yang berkesinambungan
• Fasilitator juga merasa optimis bahwa peserta mampu menjadi fasilitator pada workshop IBA di tingkat institusi
• Kegiatan ini sangat berguna dalam membuat, menyimpan, mereview dan mempersiapkan ujian, mendapat soal ujian nasional yang valid dan reliable dan pengelolaan soal-soal menjadi lebih baik, aman dan profesional
• Saran untuk memperbaiki kualitas peserta:
• kesiapan aplikasi dan pembagian tugas yang jelas antar fasilitator • updating software disesuaikan dengan perkembangan soal uji
• Perlu refreshing training IBA secara berkala sesuai dengan jadwal uji kompetensi • Buku manual IBA
Peserta
Kedokteran dan kedokteran Gigi
• Sebagian besar peserta menyatakan siap untuk menjadi IBA institusi masing-masing dengan catatan:
• perlu latihan lagi
• perlu menyesuaikan dengan kepentingan institusi (kurikulum dan pengembangannya), • perlu suatu tim dan tenaga IT yang mampu bekerja sama serta dukungan institusi. • Saran
• mengadakan sosialisasi dan pelatihan yang intensif dan berjenjang yang dilakukan oleh tiap institusi, mulai dari tim pengelolaan soal MEU, blok dan akhirnya semua dosen di setiap bagian mengenai pembuatan soal yang baik dan mengenai UKDI;
• pembentukan suatu tim yang bertugas sebagai reviewer dan tim analisis soal untuk memberikan feedback terhadap soal yang sudah dibuat
• program yang sudah ada ini terus diupgrade hingga sempurna;
• diperlukan suatu pandangan terhadap standar pengelolaan soal (dalam institusi); • Diadakan WS berkala dan berkesinambungan
• Pembentukan suatu forum atau milis untuk sharing dan diskusi • Pemaparan kembali mengenai blueprint dan format soal UKDI • Kendala yang dihadapi:
• Membutuhkan waktu yang tidak sedikit dalam proses sosialisasi dan kemudian pada proses review dan pengumpulan soal
• Komitmen yang kurang dari para staf • Jumlah SDM yang kurang memadai
• Proses pengumpulan soal yang mepet (mendekati hari ujian) Bidan dan Perawat
• Baru pertama kali mengikuti kegiatan ini, sehingga belum siap. Peserta berjanji akan berusaha belajar mengenai item writer, item reviewer, dan item analysis
• Harus ada komitmen dari seluruh staf dan pimpinan dan juga adanya paparan mengenai kegiatan ini
• Kurikulum bidan belum KBK sehingga masih banyak hal yang perlu perbaikan Tim Monev : Feedback Peserta
Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 34 kuesioner yang kembali ke tim monev, 51 % responden menyatakan pelaksanaan workshop sangat memuaskan, dan 2% menyatakan WS kurang dan sangat tidak memuaskan. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia dan peserta yang sangat cooperative.
Analisa lebih lanjut terhadap pelaksanaan workshop, peserta merasa kurang puas terhadap waktu yang diberikan untuk mempersiapkan diri. Untuk masalah teknis, ada beberapa peserta yang kurang puas dengan fasilitas yang diberikan selama workshop, terutama dari sisi setting ruangan. Selain itu, semua faktor sudah dinilai memuaskan oleh peserta.
7. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
• Perlu diadakan sosialisasi yang dilaksanakan di tingkat institusi mengenai tugas item reviewer, item writer, item bank administrator, dan hubungan antara ketiganya. Perlu dilakukan penggandaan software terlebih dahulu untuk sosialisasi. Sofware bisa di-share menggunakan server intranet (dengan menginstall ke dalam PC server).
• Perlu disepakati mengenai prasyarat dan syarat untuk menjadi item bank administator.
• Akan ada improvemet software mengenai sistem keamanannya, supaya satu pengguna hanya bisa berperan sebagai satu peran (item review/admin)
• Data item bank development dan reviewer akan disiapkan di tingkat institusi • Update program akan di-share melalui mailist (mengenai eksport-import, dll) • Akan dilaksanakan workshop mengenai IBA secara berkala dan berkesinambungan
• Perbaikan terus menerus dan pengembangan dari software yang dapat mengakomodasi keinginan semua pihak
8. Penutup
Upaya peningkatan kualitas dan kredibilitas pengelolaan soal diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat regional dan institusi pendidikan. Untuk itu diharapkan bahwa para pengelola yang terpilih dapat menjalankan pengelolaan bank soal di tingkat regional dan lokal, termasuk menyelenggarakan berbagai pelatihan yang diperlukan untuk itu. Dengan demikian upaya perluasan dari pengelolaan bank soal yang baik ini dapat berjalan dan berdampak pada peningkatan proses belajar peserta didik di institusi – institusi pendidikan dalam skala nasional.
9. Lampiran • Materi workshop
