SISTEM PENILAIAN
A. Tentang Sistem Penilaian LKS Nasional
Strategi Penilaian Lomba Kompetensi Siswa (LKS) menerapkan prinsip dan teknik yang harus dipatuhi dalam proses pengujian dan penilaian Lomba. Penilaian di Lomba Kompetensi Siswa tingkat Nasional melibatkan dua metode utama: measurement dan judgement. Instrumen utama yang digunakan untuk mendukung sistem penilaian adalah Standar Okupasi Kerja, Skema Penilaian, Proyek Uji (Test Project), dan Competition Information System (CIS).
Assessment adalah istilah yang luas dan mencakup penilaian termasuk didalamnya metode yang digunakan dan serta hasil.
Marking adalah istilah yang lebih sempit yang mengacu pada penetapan skala atau angka di dalam proses penilaian.
B. Standar Okupasi Kerja / Kompetensi
Standar Okupasi Kerja dalam Lomba Kompetensi Siswa tingkat Nasional merupakan spesifikasi pekerjaan dalam lomba yang menggambarkan okupasi pekerjaan di Industri. Setiap bidang lomba wajib menentukan Standar Okupasi Kerja yang sesuai dengan Proyek Uji (Test Project) yang diujikan dalam Lomba Kompetensi Siswa tingkat Nasional. Standar Okupasi Kerja berupa Pengetahuan, Pemahaman, Keterampilan dan kemampuan yang mendukung praktik terbaik dalam kinerja teknis dan kejuruan di tempat kerja.
C. Metode Penilaian
Pada Lomba Kompetensi Siswa tingkat Nasional menggunakan 2 metode asesmen: 1. Measurement / Pengukuran
Measurement merupakan metode yang digunakan untuk menilai akurasi, presisi dan kinerja lain yang diukur secara objektif. Measurement digunakan dimana ambiguitas dalam asesmen perlu dihindari.
2. Judgement / Pertimbangan
Judgement merupakan metode yang digunakan untuk menilai kualitas kinerja yang mungkin akan ada sedikit perbedaan pandangan berdasarkan tolak ukur penerapan di industri.
Baik measurement maupun judgement harus menunjukkan bahwa pengujian dan penilaian berdasarkan tolak ukur yang diambil dari praktik industri terbaik. Semua penilaian harus memiliki tolok ukur yang ditetapkan dalam Skema Penilaian. Semua peserta akan dinilai berdasarkan tolok ukur ini. Melakukan metode pemeringkatan peserta dalam menentukan pemberian nilai tidak diizinkan dalam keadaan apapun.
D. Skema Penilaian
Skema Penilaian menetapkan kriteria yang digunakan untuk menilai Proyek Uji (Test Project) berdasarkan Standar Okupasi Kerja dalam Deskripsi Teknis.
1. Skala Penilaian
Setiap bidang lomba memiliki skema penilaian dengan skala nilai 100. 2. Kriteria Penilaian
Kriteria penilaian merupakan pembagian kriteria yang diujikan dan dinilai pada setiap bidang lomba. Setiap bidang lomba idealnya memiliki beberapa kriteria penilaian. Satu kriteria penilaian dapat menjadi satu modul Proyek Uji (Test Project) atau terbagi kedalam beberapa modul Proyek Uji (Test Project).
3. Asesmen Sub Kriteria
Setiap kriteria penilaian terbagi menjadi satu atau lebih sub kriteria yang menjabarkan satiap kriteria penilaian ke dalam beberapa bagian sub kriteria tersebut. Satu sub kriteria dapat berupa satu bagian dalam Proyek Uji (Test Project) atau beberapa bagian Proyek Uji (Test Project) yang berkaitan.
4. Aspek Sub Kriteria
Setiap Sub Kriteria terbagi menjadi satu atau lebih Aspek. Aspek dikategorikan sebagai judgement atau measurement untuk mencerminkan metode penilaian. Setiap Aspek harus terkait dengan satu bagian dari standar okupasi kerja.
Aspek penilaian setiap bidang lomba sekurang-kurangnya 50 aspek dan tidak lebih dari 200 aspek.
5. Alokasi Nilai
Setiap aspek tidak boleh lebih dari 2 point (sama dengan 2 persen dari total point yang tersedia).
6. Persiapan dan Penggunaan Formulir Penilaian
CIS (Competition Information System) menghasilkan satu formulir penilaian untuk setiap Sub Kriteria. Formulir Penilaian ini berisi:
▪ Semua Aspek, baik dinilai dengan judgement atau measurement ▪ Rincian Aspek Sub Kriteria dengan tolok ukur penilaian
▪ Nilai maksimum untuk setiap Aspek
▪ Juri yang bertanggung jawab atas penilaian pada sub kriteria tersebut.
Untuk menghilangkan potensi bias saat formulir penilaian digunakan, juri dapat meminta untuk menghapus tanda maksimum per aspek dari formulir penilaian.
7. Formulir Penilaian Format Lanskap
Formulir Penilaian dalam format lanskap dapat digunakan untuk memungkinkan juri mencatat poin penilaian lebih dari satu kompetitor pada satu halaman dalam proses penilaian. Formulir penilaian lanskap dapat digunakan untuk mencatat raihan skor dan penilai untuk judgement dan measurement.
E. Prosedur Pengujian dan Penilaian
1. Prosedur Pengujian dengan Measurement
Pertimbangan pengujian dan penilaian untuk measurement adalah berikut: ▪ Biner, Iya atau tidak.
▪ Skala kesesuaian yang telah ditentukan sebelumnya terhadap tolok ukur tertentu. Penggunaan salah satu metode ini harus sesuai dengan tolak ukur standar industri terbaik. 2. Prosedur Pengujian dengan Judgement
Skor adalah penghargaan yang diberikan juri untuk aspek judgement pada sub kriteria. Skor harus dalam kisaran 0, 1, 2 atau 3. Nilai yang diberikan dihitung dari skor yang diberikan oleh juri dalam tim penilaian.
Masing-masing dari juri menilai setiap aspek sub kriteria, apakah peserta sudah mencoba mengerjakan atau tidak. Skor dari 0 hingga 3 terkait dengan standar industri sebagai berikut:
▪ 0: Kinerja dibawah standar industri, termasuk tidak mengerjakan ▪ 1: Kinerja memenuhi standar industri
▪ 2: Kinerja melampaui standar industri
▪ 3: Kinerja luar biasa terkait dengan ekspektasi industri 3. Pengujian dan penilaian harian
Pengujian dan penilaian untuk setiap sub kriteria ditentukan dalam CIS (Competition Information System). Skor dan penilaian untuk setiap Sub Kriteria yang dinilai pada hari tersebut harus dimasukan ke dalam sistem CIS maksimal pada jam 12 siang keesokan harinya. Bidang lomba tertentu yang melakukan penilaian pada hari terakhir harus ditentukan di dalam CIS dan disetujui oleh Dewan Juri.
F. Finalisasi Nilai
1. Memerika Formulir Penilaian
Skor dan nilai dimasukan dari formulir penilaian tulisan tangan ke dalam sistem CIS saat penilaian berlangsung. Sebagai alternatif, skor dan / atau nilai dapat dimasukkan langsung ke dalam CIS menggunakan computer atau laptop, dalam hal ini tidak diperlukan formulir penilaian.
Entri tanda nilai CIS dikunci oleh Ketua Dewan Juri untuk semua sub kriteria saat penilaian untuk sub kriteria tersebut selesai pada setiap harinya. Semua juri kemudian harus diberi kesempatan untuk meninjau dokumen pdf hasil entri data nilai pada CIS dari semua peserta terhadap formulir penilaian yang ditulis tangan sebelumnya. Jika entri data CIS langsung tanpa tulis tangan formulir penilaian, juri tidak perlu meninjau dokumen pdf hasil entri karena tujuan utama tinjauan ini adalah untuk mengidentifikasi dan mengoreksi perbedaan antara lembar tulisan tangan dan penilaian yang dimasukkan ke dalam CIS.
Jika sebuah penilaian perlu diubah karena sebuah kesalahan, berdasarkan persetujuan ketua dewan juri admin sistem membuka aspek, membuat perubahan, dan mengunci kembali aspek tersebut. Semua juri dalam bidang tersebut harus menandatangani formulir untuk mengonfirmasi bahwa mereka menyetujui amandemen tersebut.
2. Penyelesaian Penilaian dan Kompetisi
Penilaian oleh juri dan input nilai ke dalam aplikasi CIS harus selesai sebelum pukul 12:00 pada H +1 (hari pentupan dan pengumuman). Tugas Juri akan berakhir setelah hasil penilaian sudah dicetak dan dimasukan ke dalam Berita Acara serta ditandatangani oleh Tim Juri Bidang Lomba untuk diserahkan dan divalidasi oleh Dewan Juri.
G. Competitior Information System (CIS) 1. Skala Penilaian LKS Nasional
Lomba Kompetensi Siswa tingkat Nasional menggunakan poin untuk membawa hasil dari semua bidang lomba ke dalam skala yang sama: Skala WorldSkills. Hasil penilaian setiap bidang lomba dengan skala 100 distandarisasi pada skala WorldSkills oleh sistem CIS. Prosedur ini menetapkan nilai median setiap bidang lomba di posisi 700 poin.
2. Pembulatan
Nilai yang diberikan untuk setiap aspek sub kriteria dibulatkan menjadi dua decimal dibelakang koma. Nilai dimana desimal ketiga sama dengan atau lebih besar dari 5 akan dibulatkan keatas. Jika nilai desimal ketiga kurang dari lima akan dibulatkan ke bawah. Contoh: 1,055 menjadi 1,06 dan 1,054 menjadi 1,05
H. Sosialisasi Sistem Penilaian
Sistem Penilaian Lomba Kompetensi Siswa Nasional termasuk keberadaan Sistem CIS (Competition Information System) wajib disosialisasikan oleh juri kepada peserta dan pembimbing sekurang-kurangnya pada saat teknikal meeting khusus dan idealnya pada simulasi LKS Nasional dengan sesi khusus penjelasan sistem penilaian serta demonstrasi penilaian peserta secara langsung oleh juri.
I.
Keamanan Proyek Test yang diselesaikan
Semua Proyek Uji (Test Project) yang sudah selesai dinilai dan ditandatangani oleh Juri harus diamankan. Juri tidak diizinkan untuk mempublikasikan hasil nilai ke media apapun sampai Panitia mengumumkan hasil pemenang lomba.
J. Publikasi Hasil Penilaian
Hasil penilaian LKS Nasional akan diberikan kepada setiap kontingen provinsi dengan mencantumkan nilai yang diperoleh dan penghargaan yang dicapai oleh setiap peserta. Juga akan diberikan hasil medali yang diperoleh Provinsi berdasarkan “poin rata-rata”, “total poin medali” pada saat Acara Penutupan dan Pengumuman Pemenang. Juri dan Panitia tidak diperkenankan membagikan hasil penilaian dengan siapa pun. Hasil pemenang LKS Nasional akan dipublikasikan secara resmi melalui web Puspresnas.
K. Perizinan Penggunaan Sistem CIS di LKS Provinsi
LKS tingkat provinsi diperkenankan jika ingin menggunakan aplikasi CIS (Competition Information System). Setiap penggunaan aplikasi CIS oleh institusi diluar Pusat Prestasi Nasional (Puspresnas) harus meminta izin pengguaan aplikasi CIS melalui surat kepada Puspresnas sebagai Member WorldSkills. Puspresnas akan memandu instalasi dan penggunaan aplikasi CIS kepada penanggung jawab sistem. Provinsi yang menggunakan aplikasi CIS harus menyiapkan domain dan server VPS (Virtual Private Server) berbasis linux dengan spesifikasi minimal procesor: Core i3 atau setara, RAM: 4 GB, Disk: 80 GB SSD.