LAPORAN
WORKSHOP NASIONAL
PANEL EXPERT
KEDOKTERAN GIGI GEL. 2
Direktorat Akademik
Direktorat Jenderal Pendidikan Tinggi
Kementerian Pendidikan Nasional
1. Pendahuluan
HPEQ Project komponen 2, khususnya sub komponen 2.2 mempunyai fokus memperbaiki metodologi dan manajemen ujian berbasis standar nasional. Dalam upaya peningkatan dan penjaminan mutu sistem ujian ini, salah satunya dilakukan melalui proses review soal yang dilakukan secara berjenjang, mulai dari tahap institusi, wilayah, dan pusat. Pada proses review tingkat nasional akan dilakukan 2 tahap kegiatan. Pertama, review dilakukan oleh wakil-wakil institusi yang mewakili keahlian yang berbeda. Kedua, soal yang telah di- review oleh pakar pakar dalam bidang keahliannya akan di review kembali oleh tim pusat untuk memastikan bahwa soal soal tersebut sesuai dengan kompetensi dokter gigi umum.
Proses review ini sangat penting pula untuk pengembangan bank soal. Soal-soal yang tidak masuk kategori pada skala nasional akan dikembalikan ke wilayah dan institusi untuk mendapat perbaikan dan dapat dimasukkan ke dalam bank soal institusi dan wilayah. Sementara itu, soal yang telah lolos melalui berbagai tahap review akan meningkatkan jumlah dan kualitas soal yang masuk bank soal pusat yang selanjutnya akan diujikan dalam uji kompetensi nasional (UKGDI) sesungguhnya yang mulai bulan Juli 2010 . Pada tahap implementasi setiap UKGDI akan diujikan 120 soal yang mana terdiri dari 100 soal untuk UKDGI sesungguhnya, dan 20 soal untuk diujicobakan tanpa dilakukan penghitungan terhadap nilai akhir dengan tujuan untuk menentukan standart setting dan kemudian soal soal yang sudah diujicobakan yang telah dianggap baik pada saat uji coba akan di masukkan kedalam bank soal.
Pada sisi lain, proses review yang dilakukan oleh panel expert merupakan upaya untuk lebih meningkatkan kemampuan dan kapasitas sumber daya manusia dalam bidang review soal. Keikutsertaan seseorang dalam proses ini dipengaruhi oleh tingkat keaktifan peserta dalam kontribusi pembuatan soal dan review soal sebelumnya pada tingkat institusi dan wilayah serta nasional. Dengan kesempatan review akhir ini akan terjalin kerjasama reviewer tingkat nasional yang akan menambah jumlah dan kualitas serta cakupan keilmuan reviewer yang ada. Keseluruhan proses ini akan tetap dimonitoring dan dievaluasi oleh penjamin mutu agar keberlangsungan kegiatan tetap efektif ,efisien dan sesuai dengan luaran yang akan dicapai. 2. Tujuan
a. Tereviewnya soal yang telah direview oleh expert dari tiap bidang ilmu untuk menghasilkan soal yang sesuai dengan standar kompetensi dokter gigi Indonesia. b. Meningkatkan jumlah soal yang berkualitas baik dan selanjutnya dapat
diimplementasikan pada UKGDI, mulai periode Juli 2010.
c. Meningkatkan kemampuan tim review pusat dalam menelaah soal yang layak untuk diinputkan pada bank soal UKDGI.
d. Menambah jumlah panel expert sesuai bidang keahlian yang diperlukan untuk selanjutnya menjadi tim review pusat.
e. Memberikan input kepada IPDG dan stakeholder profesi dokter gigi dalam hal pengembangan soal UKDGI yang berkualitas.
3. Output Workshop
Output yang diharapkan dari workshop ini adalah :
1. Tersedianya jumlah soal yang tereview dengan baik sesuai standard kompetensi dokter gigi Indonesia yang siap diujikan pada UKDGI mulai bulan Juli 2010
2. Terkumpulnya soal soal yang sudah di ujicobakan pada setiap UKDGI ke dalam bank soal di KDGI.
3. Meningkatnya jumlah reviewer tingkat pusat yang dapat melakukan proses review final dengan baik.
4. Rekomendasi
4. Metode Pelaksanaan Workshop
Workshop nasional Panel expert kedokteran gigi ini dilaksanakan pada tanggal 13 – 14 Juli 2010 di Hotel Santika Bogor. Workshop ini diikuti oleh 12 anggota core team UKDGI nasional, yaitu :
No. Nama Institusi Email
1 Hazlinda Z Tamin FKG USU lind_zt@yahoo.com
2 Utmi Arma FKG UNBRAH FKG_unbrah79@yahoo.co.id
3 Boedi Roeslan FKG USAKTI bo_roeslan@yahoo.com
4 Ariadna Djais FKG UI ariedjais@yahoo.com
5 Sarworini PDGI/ FKG UI sarworinibagio@yahoo.co.id 6 Peter Andreas PDGI/ FKG UI ptrandreas@yahoo.com
7 Rahmi Amtha FKG USAKTI rahmi_amtha@yahoo.com
8 Yohana Yusra FKG USAKTI yohanayusra@yahoo.com
9 Indri Kurniasih FKG UMY ik_sb472@yahoo.com
10 Mei Syafriadi FKG UNEJ mei_syafriadi@hotmail.com
11 Melanie S Djamil FKG USAKTI melaniehendriaty@yahoo.com
12 Wiwiek P FKG USAKTI wiwiek_poedjiastoeti@gmail.com
Pada pelaksanaannya, satu anggota core team tidak dapat hadir yaitu Adam Malik (FKG UNHAS).
Rundown acara workshop nasional Panel expert kedokteran gigi tersebut adalah sebagai berikut : Hari ke-1 :
WAKTU EVENT PIC / NARASUMBER
14.30 – 15.00 Pembukaan dan Pengarahan Panel expert Boedi Utomo Roeslan 15.00 – 15.45 Diskusi tentang pembagian tugas mereview
soal secara kelompok
Haslinda Tamin 15.45 – 18.00 Review soal per kelompok berdasarkan blue
print yang disepakati
Core team
18.00 – 20.00 Break Core team
Hari ke-2:
WAKTU EVENT PIC / NARASUMBER
08.00 – 10.30 Penentuan Item Soal UKDGI Core team
10.30 – 11.00 Rekapitulasi Core team
11.30 – 12.00 Wrap Up dan penutupan Core team
5. Hasil Kegiatan
Workshop ini diawali dengan pemaparan rekapitulasi soal dari 9 institusi yang telah berhasil di review sebelumnya (output workshop item review soal UKDGI, Bali, 25-26 Juni 2010) dan 100 item soal yang akan digunakan pada UKDGI periode Juli. Berdasarkan hasil review seluruh core team, dihasilkan 397 soal yang dianggap layak dan berkualitas. Disamping itu, dihasilkan 56 soal yang dinilai berkualitas namun belum mengikuti format soal UKDGI. Soal-soal tersebut direview berdasarkan tinjauan 5.
Sebelum melaksanakan proses review, dilakukan diskusi antar core team untuk mendapatkan kesepakatan terkait prosedur review soal. Beberapa kesepakatan terkait proses review soal UKDGI adalah sebagai berikut :
1. Soal yang sudah direview pada workshop panel expert ini, akan direview ulang oleh KDGI berdasarkan enam tinjauan lainnya.
2. Istilah-istilah yang kurang umum dapat dijelaskan dengan menggunakan bahasa Ingris (bahasa asli).
3. Dalam mereview soal, core team dibagi menjadi 5 kelompok sebagai berikut: Kelompok Kode Soal Panel expert / Reviewer
I F1 Mei dan Yana
II F3 dan F11 Wiwik dan Mei III F4 dan F5 Hazlinda dan Indri
IV F8 Rahmi dan Ariadna
V F9 dan F10 Utmi dan Peter 4. Rekapitulasi seluruh item soal berdasarkan blue print tinjauan.
-Untuk soal mengenai profesionalisme masih sangat kurang 5. Penentuan 100 soal untuk UKDGI periode Juli 2010.
Dalam perjalanan mereview soal, beberapa permasalahan yang berhasil teridentifikasi adalah sebagai berikut :
1. Pada tinjauan 5 poin ke-5 (terkait Ilmu Kedokteran gigi interdisiplin), masih belum dimasukkan dalam kurikulum dan masih menunggu persetujuan dari Kolegium Spesialis Kedokteran Gigi. Implikasinya, prosentase soal untuk tinjauan ini dialihkan ke tinjauan 5 poin 3 dan lainnya.
2. Masih ada perdebatan mengenai Standar Kompetensi Dokter Gigi Indonesia (SKDGI) yang dinilai perlu perbaikan dengan memasukkan tinjauan 5 poin kelima.
Setelah dilakukan review soal pada workshop hari ke-1, selanjutnya dilakukan pemilihan soal untuk UKDGI bulan Juli 2010. Teknis pelaksanaannya adalah masing-masing core team diberi soal untuk kemudian dipilih dengan basis tinjauan I, V dan tinjauan lain.
Berikut adalah alokasi soal yang akan diujikan pada UKDGI periode Juli 2010: No Bidang Ilmu Alokasi soal
(item) Keterangan 1 BM 5 2 Perio 5 3 OM 5 4 Konservasi 10 5 Prostho 10 6 Pedo 5 7 Radent 5 8 Ortho 5 9 KGD (BO, DM) 20
10 Paraklinik 15 Tidak ada yang memberikan
kategori ini sehingga diambilkan dari bagian lain. 11 Interdisiplin - Dialihkan ke Klinis
12 IKGMP/ Manajemen
15
Total 100 Soal
Pada pelaksanaannya, terdapat masalah dalam pengorganisasian file soal, sehingga sedikit memperlambat proses pemilihan soal. Pada akhirnya, terpilih 90 soal, ditambah dengan 10 soal lain mengenai profesionalisme yang diambil dari Modul Pembekalan KDGI. Selain itu, dipilih juga 50 soal untuk cadangan. Analisa lebih lanjut terhadap pengalokasian soal adalah telah teridentifikasi beberapa bidang soal yang stock out dari item bank UKDGI. Persentase stock out terbesar terjadi pada bidang IKGMP. Hal ini perlu segera ditindaklanjuti, karena bidang soal ini bisa tidak keluar pada periode UKDGI selanjutnya.
Berdasarkan penilaian tim monev secara keseluruhan, output dari workshop nasional Panel expert
kedokteran gigi gelombang 2 ini adalah sebagai berikut :
NO PARAMETER PENILAIAN TARGET REALISASI 1. Jumlah soal yang terkumpul dalam
workshop
100 150 (untuk diedit lagi mEnjadi 100)
2. Jumlah soal yang direview dalam workshop
453 453
6. Evaluasi Kegiatan
Evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Berikut adalah evaluasi workshop dari beberapa perspektif tersebut:
Gambaran Umum
Secara umum, workshop berjalan lancar dan dipandang sangat produktif berkat kontribusi 12 panel expert dari core team UKDGI. Beberapa hal yang perlu di-improve dari pelaksanaan workshop ini diantaranya adalah :
• Perlu adanya format penulisan dan review soal yang baku untuk selanjutnya perlu disosialisasikan kepada setiap item writer
• Perlu dikembangkan software untuk mempermudah pengelompokan soal, karena proses manual dirasa sangat menyulitkan.
• Karena banyaknya soal yang disusun belum sesuai format, maka perlu dilaksanakan pelatihan ulang untuk para item writer.
Selama pelaksanaan workshop, tim monev berusaha mengidentifikasi problem utama yang dirasakan dalam proses review dan pemilihan soal, serta menjaring input dari para expert untuk rekomendasi improvement.
1.Kendala yang dihadapi dalam pemilihan soal :
a. Belum ada sistem pemilihan soal yang lebih praktis (software) sesuai dengan blue print yang ada b. Format belum seragam
c. Proses pemilihan soal masih manual, sehingga cukup menyulitkan dan takes time
2. Kesulitan yang dihadapi dalam mereview soal a. Masih ada soal yang belum disusun sesuai format, b. Penggunaan istilah yang belum seragam
c. Penggunaan tata bahasa yang belum konsisten d. Masih ada vignette yang kurang berfungsi
e. Masih ada tinjauan yang belum terimplementasikan
f. Kurangnya item soal pada bidang tertentu dikarenakan proporsi jumlah soal tiap bidang tidak merata
3. Apakah soal dan blue print review soal sudah sesuai sehingga dapat terimplementasikan dengan baik ? Apabila belum optimal, parameter review apa yang masih harus dioptimalkan atau ditambahkan ?
a. Sudah sesuai sehingga dapat diimplementasikan sesuai dengan kompetensi yang diharapkan b. Akan lebih baik lagi apabila didukung oleh sistem bank soal berbasis IT
4.Rekomendasi perbaikan untuk membuat soal yang lebih baik :
a. Perlu latihan yang lebih intensif untuk para item writer, supaya lebih terkoordinasi dengan metode yang sudah terstandar (berpedoman pada buku panduan pelatihan)
b. Perlu pelatihan item development lanjutan pada tiap IPDG
5.Rekomendasi untuk meningkatkan jumlah soal yang dikumpulkan :
a. Perlu pendekatan intensif kepada setiap IPDG agar dapat lebih produktif dalam menyusun dan mengirimkan soal untuk item bank UKDGI
b. Sosialisasi kepada staf pengajar mengenai pentingnya peran item writer dan peningkatan produksi jumlah soal yang berkualitas terhadap kualitas lulusan dan pendidikan dokter gigi c. Pengiriman surat resmi KDGI ke tiap IPDG untuk mengirimkan soal dengan melampirkan
pedoman pembuatan soal yang sudah terstandar 7. Rencana Tindak Lanjut
Berdasarkan hasil evaluasi pelaksanaan workshop nasional Panel expert kedokteran gigi, beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
• 100 soal ditambah 50 soal cadangan yang merupakan output utama dari workshop ini akan di review ulang oleh ketua KDGI untuk selanjutnya dipilih sebagai soal UKDGI periode Juli 2010 (100 soal, termasuk didalamnya 5 soal dari Modul Pendalaman KDGI
• Penyesuaian waktu pelaksanaan uji kompetensi (maksimum waktu ujian adalah 180 menit) • Rencana tindak lanjut terhadap bidang soal yang sudah stock out dapat dilakukan dengan 3
alternatif. Alternatif pertama adalah diadakan pertemuan pakar untuk menyusun soal sesuai bidang yang sudah stock out tersebut, sedangkan alternatif kedua adalah menggunakan soal cadangan yang belum direview atau menggunakan soal periode sebelumnya. Alternatif terakhir adalah bidang soal tersebut tidak masuk kedalam kaegori soal yang diujikan.
• Pengembangan software item bank dan perencanaan akselerasi pelatihan item bank administrator kedokteran gigi
• Workshop standard setting kedokteran gigi akan dilaksanakan pada tanggal 18 – 19 Agustus 2010 dengan basis hasil item analysis soal UKDGI periode Juli 2010.
8. Penutup
Workshop panel expert tingkat pusat merupakan bagian penting dalam penjaminan mutu soal ujian. Kegiatan ini juga sangat penting untuk mendapatkan kualitas soal yang sesuai dengan standart kompetensi dokter gigi. Untuk itu, pelaksanaan workshop ini membutuhkan dukungan dari semua pihak, termasuk dari komitmen institusi dan peserta untuk mengikutinya dengan baik.
9. Lampiran
LAMPIRAN :
BLUE PRINT
UKDGI
13 – 14 Juli 2010
Tinjauan 1 Jumlah
soal
% blue print
Profesionalisme 19 10
Penguasaan ilmu pengetahuan kedokteran dan kedokteran gigi 169 10 Pemeriksaan fisik secara umum dan system stomatognatik 124 25
Pemulihan fungsi sistem stomatognatik 117 25
Kesehatan gigi dan mulut masyarakat 44 20
Manajemen praktik kedokteran gigi 3 10
Tinjauan 2 Jumlah soal % blue print Kognitif 347 50 Procedural knowledge 105 25 Konatif 17 25 Tinjauan 3 Jumlah soal % blue print RECALL 79 40 REASONING 388 60 Tinjauan 4 Jumlah soal % blue print
Kelainan genetic dan kongenital 18 10
Penyakit infeksi dan imunologi 234 40
Penyakit neoplasma 21 10
Penyakit akibat trauma atau kecelakaan 22 10
Lainnya: …… (sebutkan) 91 20
Tinjauan 5 Jumlah
soal
% blue print
Kedokteran gigi dasar (Biologi Oral & Dental Material) 60 20 Kedokteran gigi para klinik (patologi mulut dan maksilofasial) 20 15 Kedokteran gigi klinik (ilmu periodonsia, ilmu Bedah Mulut,
ilmu penyakit mulut, prostodonsia, othodonsia, konservasi gigi, pedodonsia, radiologi kedokteran gigi
351 50
Kedokteran gigi masyarakat & kedokteran gigi pencegahan (epidemiologi oral, perilakukesehatan gigi, manajemen/ administrasi kesehatan gigi, ilmu kesehatan gigi pencegahan, ilmu kedokteran gigi keluarga)
36 15
Ilmu kedokteran gigi interdisiplin (anestesi kedokteran gigi, gerodontologi, implan kedokteran gigi, kedokteran gigi estetik, kedokteran gigi forensik, kedokteran gigi khusus, kedokteran gigi militer, oklusi dan gangguan sendi rahang)
5 20 (nilai ini didistribusikan ke 4 point di atas) Tinjauan 6 Jumlah soal % blue print Promotif 28 20 Preventif 42 20 Kuratif/diagnose 315 20
Rehabilitatif 73 20 tambahan : Aspek lain ....(co etika & hkm) 12 20
Tinjauan 7 Jumlah soal % blue print Individu 435 60 Keluarga 3 20 Masyarakat 29 20
