LAPORAN
WORKSHOP NASIONAL
ITEM REVIEW KEDOKTERAN GIGI
KOMPONEN 2 PROYEK HPEQ
Direktorat Akademik
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
Hotel Santika Jogjakarta
10 – 11 Oktober 2010
1. Pendahuluan
Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tertulis dengan dukungan teknologi berbasiskan computer atan disebut juga sebagai computer-based testing (CBT). Untuk itu, diperlukan suatu upaya untuk membuat suatu Bank Soal yang sangat kredibel baik dari segi sistemnya maupun soal – soal yang terkandung di dalamnya.
Di samping pengembangan infrastruktur dan aplikasi untuk melaksanakan CBT, tentu saja di saat yang bersamaan diperlukan upaya intensif untuk membuat dan mengisi Bank Soal Ujian Tertulis. Mengingat kepentingan hal itu maka diperlukan serangkaian workshop pembuatan soal (Item Development) yang diselenggarakan secara luas dan berkesinambungan. Kegiatan ini juga harus melibatkan seluruh institusi pendidikan sebagai upaya peningkatan sumber daya manusia dalam hal ini staf pengajar dalam pembuatan soal dengan demikian maka proses ujian di tingkat nasional dapat diiringi dengan berkembangnya sistem ujian di setiap institusi pendidikan yang pada akhirnya diharapkan dapat meningkatkan proses belajar peserta didik dan meningkatkan nilai capaian dari ujian ini.
Salah satu kegiatan yang akan dilakukan oleh Proyek HPEQ Komponen 2 adalah penyusunan bank soal. Hal ini sejalan dengan kebutuhan KDGI yang memerlukan soal (MCQ) untuk ujian Uji Kompetensi yang bersifat nasional dan dapat digunakan sebagai instrumen untuk mengukur standar kompetensi dokter gigi. Dalam rangka mempersiapkan bank soal (item bank), Proyek HPEQ Komponen 2 telah menyelenggarakan Lokakarya TOT Item Development and Analysis yang diikuti oleh wakil dari semua institusi pendidikan dokter gigi Indonesia. Lokakarya tersebut dilanjutkan di masing-masing institusi pendidikan dokter gigi untuk para dosennya. Diharapkan pada lokakarya di masing-masing institusi pendidikan dokter gigi anggota AFDOKGI, dapat terkumpul sedikitnya 20 soal sesuai dengan kisi-kisi (blue print) yang telah ditetapkan dan secara komprehensif sesuai Standar Kompetensi Dokter Gigi Indonesia. Dengan demikian akan diperoleh sekitar 480 soal untuk dikaji ulang.
Bank soal untuk uji kompetensi yang pernah disusun KDGI pada tanggal 11 s/d 13 Pebruari 2008 di Kuta, Bali, sebanyak 800 soal, telah digunakan untuk Uji Kompetensi periode April 2008 sampai dengan April 2010. Sehubungan dengan itu, perlu dilakukan pengkajian ulang (item review) soal-soal hasil lokakarya Item Development and Analysis di setiap institusi pendidikan dokter gigi anggota AFDOKGI. Dengan demikian, soal-soal untuk uji kompetensi yang ada di dalam bank soal, merupakan soal yang sudah dikaji dengan baik dan memenuhi standar.
Mengingat urgensi output yang diharapkan dari program ini, maka proyek HPEQ telah memfasilitasi kegiatan Item review kedokteran gigi gelombang 1 tanggal 28-29 Juni 2010 di Pecatu Bali. Output yang didapatkan pada item review gelombang pertama menghasilkan 137 soal yang dinyatakan eligible untuk masuk ke dalam bank soal UKDGI. Selanjutnya, untuk menambah bank soal UKDGI periode berikutnya, perlu dilaksanakan workshop item review gelombang 2.
2. Tujuan
1. Mengkaji-ulang soal-soal dari FKG anggota AFDOKGI
2. Mengumpulkan soal-soal yang sudah dianalisis dan dikaji ulang dalam rangka penyusunan Bank Soal untuk Uji Kompetensi Dokter Gigi (UKDGI)
3. Output Workshop
Terkumpulnya 480 soal untuk direview lagi oleh pakar Kedokteran Gigi dari seluruh anggota AFDOKGI
4. Metode Pelaksanaan Workshop
Workshop nasional item review kedokteran gigi ini dilaksanakan pada tanggal 10 – 11 Oktober 2010 di Hotel Santika Jogjakarta. Workshop ini diikuti oleh 23 item writer, dengan pembidangan yang berbeda-beda, dan dari 23 institusi yang berbeda pula.
N a m a Institusi Departemen/Bid.Ilmu No. HP Email
Dwi Tj.
Putranti
FKG USU Prostodonti 0811635853 drgdwitp@gmail.com
Edrizal FKG UNBRAH Ortodonti 081330478336 edrizalburhan@yahoo.com
Sri Redjeki FKG UI Fisiologi 0811954983 sriredjekiprasetyo@yahoo.com
Ary Indrawati
FKG USAKTI Anatomi 08161870377 arybams@gmail.com
Hady FKG U PROF.
MOESTOPO (B)
Penyakit mulut 08123202933 hadistyo@yahoo.com
Mayu Winnie FKG UGM Farmakologi 081578800168 mayuwinnie@ugm.ac.id/
mayuwinnie@yahoo.com
Asti Mezarini FKG UNAIR Material KG 0811337956 asti_mezarini@yahoo.com
Istien Wardani
FKG UHT 0811377059 istienwardani@yahoo.com
Hestiyonini FKG UNEJ IKGM 08155909090 hestieyonini@plasa.com
Sri Octawati FKG UNHAS Periodontology 08529958300 periounhas_sri@yahoo.com
Sumantri FKG UNMAS Konservasi Gigi 08123848115 aji_manthree@yahoo.com
Diana Setyaningsih
Dedy Sumantri
PSKG UNAND Periodontology 08126713467 desuman_dentist@yahoo.co.id
Shanty Chaerani
PSKG UNSRI Biologi oral 081380763696 drg_shantychaerani@yahoo.com
Vinna Kurniawati S.
PSKG UKM Biologi oral 08122115650 vinnakurniawati@yahoo.co.id
Harris Budi W.
PSKG UNSOED Biologi oral/IKGM 081335036549 harisbw@yahoo.com
Tita Ratya
Utari
FKG UMY Ortodonti 08122970687 tita_utari@yahoo.com
Djoko Prianto
FKG UNISSULA Ortodonti 08122856063 djoko_prianto@yahoo.com
Afrida PSKG IIK Bakti
Wiyata Kediri
Material KG 081335577150 afri_nur@yahoo.com
Setyohadi PSKG UB 081334769758 tiyo1958@ymail.com
Isyana Erlita PSKG UNLAM Prostodonti 081330199707 isyanaerlita@ymail.com
Vonny NS.
Wowor
PSKG UNSRAT IKGM (Kesmas) 085240599273 vonnyw_dogi@yahoo.com
Suci Erawati FKG UNPRIMA
Ind.
IKGM 081265410449 erawati_suci@yahoo.com
Pada pelaksanaannya, yang tidak dapat hadir, yaitu satu peserta dari institusi FKG Universitas Padjajaran, 1 orang core team, Hazlinda Z Tamin (FKG USU) dan 1 orang monev Ekky S Soemantri (FKG UNPAD).
Dalam menyusun dan mereview soal, para item writer dipandu dan didampingi oleh 10 orang core team kedokteran gigi.
Core Team UKDGI
1 Utmi Arma FKG UNBRAH 08126770599 FKG_unbrah79@yahoo.co.id
2 Ariadna Djais FKG UI 021-3910344 ariedjais@yahoo.com 3 Peter Andreas PDGI/ FKG UI 021-96391199/ 081808559050 ptrandreas@yahoo.com 4 Iwan Dewanto FKG UMY 081578704082 iwanjoe1314@yahoo.com
Yusra 6 Indri Kurniasih FKG UMY 08122742330 ik_sb472@yahoo.com 7 Mei Syafriadi FKG UNEJ 081336181168 mei_syafriadi@hotmail.com 8 Melanie S Djamil FKG USAKTI 08151833515 melaniehendriaty@yahoo.com
9 Adam Malik FKH UNHAS 081355645501 adam_iboy@yahoo.co.id
10 Wiwiek P FKG USAKTI 0811977065 wiwiek_poedjiastoeti@gmail.com
Narasumber 11 Bambang Trenggono KKI 0816704388 bamstrenggono@gmail.com 12 Boedi Roeslan KDGI 0811906793 bo_roeslan@yahoo.com 13 Sarworini B.Budihardjo FKG UI/ Monev 081618875360 sarworinibagio@yahoo.co.id
Rundown acara workshop nasional item review kedokteran gigi tersebut adalah sebagai berikut : HARI PERTAMA, 10 Oktober 2010
14.20 - 14.35 Pembukaan & Pengarahan Workshop 1. Melanie S Djamil/ LO Profesi Kedokteran Gigi Komponen 2
2. Bambang Irawan/ Ketua KDGI
14.35–15.10 Review workshop item review terdahulu Indri Kurniasih 15.10–17.30 Kaji Ulang Kelompok Core Team 17.30 – 19.00 ISHOMA
19.00–22.00 Kaji Ulang Kelompok Core Team HARI KEDUA, 11 Oktober 2010
Waktu Acara Pelaksana/Fasilitator
08.00 - 10.00 Kaji Ulang Kelompok Core Team 10.00 –11.30 Kaji Ulang Pleno Exam Manajer
5. Hasil Kegiatan
Pada workshop ini peserta langsung dibagi menjadi 6 kelompok untuk melakukan review soal yang telah dibawa masing-masing peserta. Berikut adalah pembagian kelompoknya:
Kelompok 1
Fasilitator: Melanie Djamil, Ariadna Djais
Kepakaran: Biologi Oral/Biomedis/Patologi Anatomi/Patologi Klinik/Radiologi
Nama Peserta Nama Institusi
Sri Redjeki FKG UI
Shanty Chaerani FKG UNSRI
Mayu Winnie FKG UGM
Vinna Kurniawati S. FKG UKM
Harris Budi W. FKG UNSOED
Ary Indrawati FKG USAKTI
Setyohadi FKG UB
Kelompok 2
Fasilitator: Utmi Arma, Wiwiek P
Kepakaran: Periodontologi/Bedah Mulut/IPM
Nama Peserta Nama Institusi
Sri Octawati FKG UNHAS
Dedy Sumantri FKG ANDALAS
Hady FKG MUSTOPO
11.30 – 12.00 Wrap Up dan Rencana Tindak Lanjut LO Profesi Kedokteran Gigi Komponen 2
Kelompok 3
Fasilitator: Adam Malik, Indri K Kepakaran: Konservasi/IKGA
Nama Peserta Nama Institusi
Sumantri FKG UNMAS
Istien Wardani FKG UHT
Kelompok 5
Fasilitator: Mei S, Yohana Y, Sarworini B
Kepakaran: Biomaterial/Epidemiologi/Perilaku Kes gigi/Manajemen KG/IKGMP/IKGK/Interdisiplin
Nama Peserta Nama Institusi
Hestiyonini FKG JEMBER
Diana Setyaningsih FKG UNSIAH
Vonny NS. Wowor FKG SAMRATULANGI
Suci Erawati FKG UMPRIMA
Afrida IIK Bhakti Wiyata Kediri
Asti Mezarini FKG UNAIR
Kelompok 6
Fasilitator: Peter A, Iwan D
Kepakaran: Prosthodontia/Orthodontia
Nama Peserta Nama Institusi
Dwi Tj. Putranti FKG USU
Edrizal FKG UNBRAH
Tita Ratya Utari FKG UMY
Djoko Prianto FKG UNISSULA
Secara umum, output dari workshop nasional item review kedokteran gigi adalah sebagai berikut :
KOMPONEN TARGET REALISASI
Jumlah peserta yang mengikuti workshop
24 23
Jumlah fakultas yang mengirim wakil
24 23
Jumlah narasumber 11 10
Jumlah soal yang direview 480 575
Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini sudah sangat optimal dalam mereview soal bahkan melebihi target yang ingin dicapai untuk jumlah soal yang direview.
Beberapa faktor pendukung tercapainya target review soal adalah
1. Para peserta yang mengikuti workshop ini sudah lebih paham dalam mereview soal sehingga waktu yang diperlukan untuk mereview satu soal cukup optimal 2. Peserta dan fasilitator sudah
dibagi dalam kelompok berdasarkan kepakaran sehingga content soal langsung dapat dibahas tanpa harus melihat referensi maupun bertanya ke peserta lain
3. Fasilitator sangat membantu peserta dalam memperbaiki soal
Selanjutnya, soal-soal yang telah berhasil terkumpul direview oleh tiap item review dengan berpedoman pada template review dan tinjauan yang disepakati. Pada dasarnya, pencapaian jumlah soal yang direview ini dibatasi oleh waktu pelaksanaan workshop. Apabila diberi
alokasi waktu lebih lama, maka jumlah soal yang direview juga akan semakin banyak. Berikut adalah rekapitulasi item review pada workshop kali ini.
Pada workshop ini, item-item yang akan direview adalah item yang belum terreview dalam workshop sebelumnya. Item-item ini sudah dikelompokkan kedalam bidang keilmuannya bukan berdasarkan institusi lagi.
Dari diagram batang berikut, dapat dilihat bahwa soal yang belum direview pada bidang biomedis sudah terkumpul banyak. Tetapi setelah dilakukan review ternyata soal yang berkualitas baik hanya sedikit jika dibandingkan soal yang sudah terkumpul. Biologi oral merupakan bidang yang pada workshop ini paling sedikit menghasilkan soal yang berkualitas baik.
TABEL REKAPITULASI ITEM REVIEW berdasarkan KELOMPOK
Kelompok Dep/bid ilmu Soal
berkualitas baik Soal perlu perbaikan Soal tidak bisa dipakai 1 Biologi Oral Biomedis Radiologi 10 19 20 - - 2 26 48 6 2 Periodontologi Bedah Mulut IPM 18 32 48 11 - - 8 18 11 3 Konservasi IKGA 40 27 10 4 1 4
4 Prosthodontia Orthodontia 41 46 5 Biomaterial IKGM 24 28 10 15 16 3 Total 353 52 177
Dapat dilihat bahwa kelompok 2 merupakan kelompok yang paling banyak mereview soal yang berkualitas baik. Kelompok ini membahas periodontologi, bedah mulut, dan IPM. Sedangkan kelompok 1 merupakan kelompok yang paling banyak mereview soal yang tidak bisa dipakai. Sehingga perlu adanya tambahan soal-soal yang membahas tentang biologi oral dan biomedis. Sebenarnya ada yang mengeluh karena tidak ada pakar dari radiologi untuk mereview soal tetapi ternyata masalah ini bisa teratasi.
Dari grafik berikut dapat dilihat bahwa dari workshop ini telah banyak menghasilkan soal yang berkualitas baik dalam bidang IPM, konservasi, prosthodonsia, dan orthodonsia. Untuk bidang biologi oral masih banyak soal yang tidak bisa dipakai dan hanya sedikit soal yang berkualitas baik.
Berdasarkan soal-soal yang telah direview, maka dipilih soal-soal yang memenuhi kriteria baik dan layak untuk dimasukkan ke dalam item bank nasional. Semua soal yang telah direview oleh semua kelompok memiliki kriteria baik dengan perbaikan yang dilakukan pada saat mereview soal tersebut.
Berdasarkan analisa tim monev, pencapaian target jumlah institusi yang berkontribusi, jumlah soal yang terkumpul, jumlah soal yang direview, dan jumlah soal yang berkualitas baik sudah melebihi target yang disepakati bersama.
Peserta sudah berjanji bahwa akan mengadakan workshop item development dan review di institusinya masing-masing.
Berdasarkan kesepakatan tersebut, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja masing-masing wilayah dalam hal implementasi mekanisme item development & review yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter gigi dan lulusannya. Analisis ini juga dapat dijadikan input evaluasi diri dari tim item review dan dapat dijadikan dasar pemetaan kemampuan dan strategi yang seharusnya diterapkan untuk tiap wilayah item review dalam meningkatkan kualitas pelaksanaan uji kompetensi yang akan berdampak positif pada kualitas lulusan uji kompetensi dokter gigi.
5. Evaluasi Kegiatan
Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut :
Gambaran Umum
Selama workshop ini, semua peserta yang hadir menjadi mengerti struktur soal-soal yang akan digunakan dalam uji kompetensi dokter gigi
Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah :
Sebagian peserta baru pertama kali ini mengikuti item review sehingga perlu adanya penjelasan lagi dari fasilitator
Fasilitator
Kendala
Waktu
Jumlah soal serta kualitas item yang direview
Jumlah pakar kurang seimbang
Sering terjadi perbedaan persepsi dari materi sehingga diskusi terlalu lama untuk satu soal
Peserta baru karena belum memahami sehingga masih terlalu tinggi dalam penentuan soal yang kemungkinan berdampak menjadi soal yang sukar Saran
Diberikan jadwal jauh-jauh hari
Pengiriman soal dari masing-masing institusi sebaiknya benar-benar telah direview sehingga waktu review lebih maksimal lagi
Semua pakar diundang untuk review
Item yang telah direview disusun/diedit oleh tim editor (ahli bahasa Indonesia)
Berikan masukan-masukan ke para peserta permasalahan-permasalahan yang muncul saat diskusi (kalibrasi istilah, pembuatan vignette masih banyak yang belum baik
Agar ada perbaikan di institusi masing-masing kemudian di monev untuk difeedback di institusi apakah sudah melakukan perbaikan atau belum
Sebaiknya soal yang akan direview telah terpilih sesuai dengan format sehingga lebih cepat proses reviewnya
Perlu dilakukan lebih sering workshop seperti ini
Peserta
Usul/saran
Sebaiknya untuk kegiatan HPEQ bila di Jogja di hotel ini juga
Panitia lebih responsif diantaranya dalam hal masalah penempatan kamar
Target perlu disesuaikan dengan waktu yang tersedia
Soal yang dikirimkan sebaiknya telah benar-benar direview sehingga akan diperoleh hasil yang maksimal
Mohon lebih proaktif meminta soal pada institusi
Tim review sebaiknya pertemuan ditambah
Bila dilaksanakan item review selanjutnya diharapkan untuk dapat memfasilitasi masing-masing IPDG mengirimkan minimal 2 orang pakar
Mohon untuk menunjuk nama untuk kesinambungan pekerjaan (review) kepada institusi
Dari hasil review menunjukkan masih banyak institusi yang belum mengerti pembuatan soal yang baik (vignette tidak sesuai dengan pertanyaan dan jawaban) sehingga perlu lanjutan pembuatan soal yang baik
Undangan kegiatan kalau bisa langsung untuk 1 bulan dan juga diketahui oleh institusi
Ada feedback item review ke institusi
Permintaan soal ke institusi harus lebih spesifik
Penempatan dosen pakar di kelompok sudah tepat
Dari soal-soal yang direview banyak yang belum sesuai dengan kriteria vignette sehingga perlu dilakukan lagi pelatihan pembuatan soal
Sinkronisasi dan harmonisasi antara kegiatan HPEQ dan KKI dan kolegium Rencana tindak lanjut di institusi
Review kembali kembali soal-soal yang belum sempat direvisi/soal baru yang belum pernah direvisi
Mengkoordinir tim item review agar lebih pakar dalam pembuatan soal yang baik
Penataran cara membuat soal yang baik melalui/mengadakan cara “review soal” learning by doing
Mengkalkulasi jumlah soal yang masuk bank
Mencanangkan satu hari satu soal
Mereview soal-soal yang telah/akan digunakan
Lebih meningkatkan pada dosen membuat soal yang lebih sesuai UKDGI
Segera mensosialisasikan ke institusi tentang pengumpulan soal vignette di bank soal dari institusi
Dekan mengkoordinasikannya bersama WD 1 dan staf yang telah terlibat dalam proyek HPEQ
Pelatihan pembuatan soal dan review yang baik
Diujicobakan di institusi ujian dengan vignette dan MCQ
Item yang telah direview disusun/diedit kalimatnya oleh tim editor (ahli bahasa Indonesia)
Penyusunan soal-soal ujian harus sesuai dengan materinya sehingga peserta ujian tidak bingung
Membuat tim item review
Tim Monev : Feedback Peserta
Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Kuisioner yang dibagikan kepada peserta dibagi menjadi 4 kelompok besar yang menilai input workshop item review, proses workshop item review, outout workshop item review, dan aspek klinis. Dari 22 kuesioner yang kembali ke tim monev, didapatkan hasil bahwa kepentingan untuk input, proses, output, dan aspek teknis di institusi masing-masing belum berjalan dengan baik sehingga diharapkan
Analisa lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap output workshop, dimana peserta merasa mendapatkan added value yang besar, sehingga workshop ini dinilai dapat meningkatkan kemampuan mereka dalam mereview soal yang baik.
6. Rencana Tindak Lanjut
Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
Masing masing Institusi melakukan workshop penyusunan item MCQ tipe one best answer dengan vignette
Melakukan item review terhadap soal soal yang akan dikirimkan ke item bank UKDGI
Masing masing Institusi mengirimkan minimal 20 soal tahap I (paling lambat akhir oktober 2010) dan 20 soal tahap II (paling lambat akhir november)
Soal dikirim ke item bank melalui e-mail: o ik_sb472@yahoo.com
o utmiarma@yahoo.com
7. Penutup
Standarisasi lulusan/ dokter gigi melalui uji kompetensi merupakan bagian penting dari upaya peningkatan kualitas lulusan/dokter gigi dan juga untuk institusi pendidikan dokter gigi. Kualitas
lulusan/ dokter gigi yang baik dan kompeten sangat menguntungkan organisasi profesi dari sisi pembinaan, pemerintah pusat dan daerah selaku pengguna, serta untuk perlindungan masyarakat dari segi pelayanan. Mengingat fungsi dan perannya yang sangat besar, maka dukungan semua fihak terkait berkenaan kegiatan pada komponen sangat diperlukan
