MODEL EVALUASI UJIAN NASIONAL KOMPETENSI KEAHLIAN SMK
HASIL DAN PEMBAHASAN Keterbacaan Instrumen Evaluas
Berdasarkan hasil penilaian pertama terhadap keterbacaan instrumen evaluasi diperoleh rerata skor sebagai berikut: 1) kejelasan petunjuk instrumen = 3,85; 2) kejelasan indikator kolaborasi sekolah dengan asosiasi profesi atau DU/DI = 3,75; 3) kejelasan indikator kinerja asesor = 3,80 ; 4) kejelasan indikator sarana dan prasarana = 3,85 ; 5) kejelasan indikator pengetahuan siswa terhadap Ujian nasional Kompetensi Keahlian SMK = 3,80; 6) kejelasan indikator ketersediaan informasi capaian kompetensi siswa = 3,95; 7) kejelasan indikator legalitas dan pengakuan DU/DI = 3,85; 8) penggunaan bahasa indonesia baku = 3,80 ; 9) rumusan pernyataan yang komunikatif = 3,90; 10) pilihan bentuk huruf = 3,5; 11) ukuran huruf = 3,80 ;12) penggunaan tanda baca = 3,95, rerata total skor = 3,84; apabila rerata skor-skor tersebut dikonsultasikan dengan standar penilaian konversi data kuantitatif ke kualitatif (tabel 2 halaman λ7) maka berada pada interval 3,4 – 4,2 dan termasuk klasifikasi layak sehingga instrumen tersebut dapat digunakan. Namun karena rerata skor tersebut belum termasuk sangat layak, maka tetap diperlukan adanya beberapa perbaikan. Oleh karena itu, sebelum instrumen diujicobakan pada tahap kedua terlebih dahulu diadakan beberapa perbaikan sesuai masukan yang diberikan oleh validator.
Pada penilaian tahap kedua seteleh instrumen direvisi, rerata total hasil penilaian mengalami peningkatan dari 3,84 menjadi 3,89. Berdasarkan hasil penilaian pertama terhadap keterbacaan instrumen evaluasi diperoleh rerata skor sebagai berikut: 1) kejelasan petunjuk instrumen = 3,90; 2) kejelasan indikator kolaborasi sekolah dengan asosiasi profesi atau DU/DI = 3,80; 3) kejelasan indikator kinerja asesor = 3,90 ; 4) kejelasan indikator sarana dan prasarana = 4,00 ; 5) kejelasan indikator pengetahuan siswa terhadap Ujian nasional Kompetensi Keahlian SMK = 3,90; 6) kejelasan indikator ketersediaan informasi capaian kompetensi siswa = 3,95; 7) kejelasan indikator legalitas dan pengakuan DU/DI = 3,95; 8) penggunaan bahasa indonesia baku = 3,90 ; 9) rumusan pernyataan yang komunikatif = 4,00; 10) pilihan bentuk huruf = 3,80; 11) ukuran huruf = 3,90 ;12) penggunaan tanda baca = 3,95, rerata total skor = 3,91; apabila rerata skor-skor tersebut dikonsultasikan dengan standar penilaian konversi data kuantitatif ke kualitatif (tabel 2 halaman λ7) maka berada pada interval 3,4 – 4,2 dan termasuk klasifikasi layak sehingga instrumen tersebut dapat digunakan.
Pada penilaian tahap ketiga setelah instrumen direvisi, apabila dibandingkan dengan hasil penilian pada uji coba kedua, rerata total hasil penilaian mengenai keterbacaan instrumen mengalami kenaikan dari 3,91 menjadi 3,95. Berdasarkan hasil penilaian pertama terhadap keterbacaan instrumen evaluasi diperoleh rerata skor sebagai berikut: 1) kejelasan petunjuk instrumen = 3,90; 2) kejelasan indikator kolaborasi sekolah dengan asosiasi profesi atau DU/DI = 3,90; 3) kejelasan indikator kinerja asesor = 3,90; 4) kejelasan indikator sarana dan prasarana = 4,00 ; 5) kejelasan indikator pengetahuan siswa terhadap Ujian nasional Kompetensi Keahlian SMK = 3,95; 6) kejelasan indikator ketersediaan informasi capaian kompetensi siswa = 3,95; 7) kejelasan indikator legalitas dan pengakuan
66
DU/DI = 3,95; 8) penggunaan bahasa indonesia baku = 3,90 ; 9) rumusan pernyataan yang komunikatif = 4,00; 10) pilihan bentuk huruf = 3,90; 11) ukuran huruf = 3,90 ;12) penggunaan tanda baca = 3,95, rerata total skor = 3,95; apabila rerata skor-skor tersebut dikonsultasikan dengan standar penilaian konversi data kuantitatif ke kualitatif (tabel 2 halaman 90) maka berada pada interval 3,4 – 4,2 dan termasuk klasifikasi layak sehingga instrumen tersebut dapat digunakan.
Analisis Data Hasil Pengujian Instrumen dengan Responden Siswa a. Instrumen Kolaborasi Sekolah dengan Asosiasi Profesi atau DU/DI
Uji coba tahap kedua: sebelum uji coba tahap kedua instrumen telah diperbaiki berdasarkan masukan dari validator. Setelah diperbaiki diperoleh hasil uji coba sebgai berikut: (a) Semua nomor butir instrumen kolaborasi sekolah dengan asosiasi profesi atau DU/DI memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,96, (b) Untuk aspek 1 diperoleh α = 0,726 dan apek 2 diperoleh α = 0,704 ( di atas 0,7) sehingga reliabel, (c) Chi-Square = 21,67 , p-value = 0,06077 ( 0,05), (d) RMSEA = 0,087 ( 0,1), dan (e) GFI = 0,λ3 ( 0,λ0)
Uji coba tahap ketiga. Berdasarkan analisis data dari uji coba tahap ketiga diperoleh hasil sebagai berikut: (a) Semua nomor butir instrumen kolaborasi sekolah dengan asosiasi profesi atau DU/DI memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,96, (b) Untuk aspek 1 diperoleh α = 0,868 dan apek 2 diperoleh α = 0,λ24 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 19,91 , p-value = 0,0λ740 ( 0,05), (d) RMSEA = 0,046 ( 0,1), dan (e) GFI = 0,λ8 ( 0,λ0).
b. Instrumen Kinerja Asesor
Uji coba tahap kedua: sebelum uji coba tahap kedua instrumen telah diperbaiki berdasarkan masukan dari validator. Setelah diperbaiki diperoleh hasil uji coba sebgai berikut: (a) Semua nomor butir instrumen kinerja asesor memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,λ6, (b) Untuk aspek 1 diperoleh α = 0,842, aspek 2 diperoleh α = 0,821, aspek 3 diperoleh α = 0,803dan aspek 4 diperoleh α = 0,806 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 83,62 , p-value = 1,00000 ( 0,05), (d) RMSEA = 0,000 ( 0,1), dan (e) GFI = 0,λ1 ( 0,λ0)
Uji coba tahap ketiga. Berdasarkan analisis data dari uji coba tahap ketiga diperoleh hasil sebagai berikut: (a) Semua nomor butir instrumen kinerja asesor memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,λ6, (b) Untuk aspek 1 diperoleh α = 0,λ26, aspek 2 diperoleh α = 0,813, aspek 3 diperoleh α = 0,87λ dan aspek 4 diperoleh α = 0,923 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 170,15 , p-value = 0,10262 ( 0,05), (d) RMSEA = 0,025 ( 0,1), dan (e) GFI = 0,λ3 ( 0,λ0)
c. Sarana dan Prasarana
Uji coba tahap kedua: sebelum uji coba tahap kedua instrumen telah diperbaiki berdasarkan masukan dari validator. Setelah diperbaiki diperoleh hasil uji coba sebgai berikut: (a) Semua nomor butir instrumen kinerja asesor memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,λ6, (b) Untuk aspek 1 diperoleh α = 0,860, aspek 2 diperoleh α = 0,888 dan aspek 3 diperoleh α = 0,802 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 48,12 , p-value = 0,23λ05 ( 0,05), (d) RMSEA = 0,040 ( 0,1), dan (e) GFI = 0,λ1 ( 0,λ0)
67
Uji coba tahap ketiga. Berdasarkan analisis data dari uji coba tahap ketiga diperoleh hasil sebagai berikut: (a) Semua nomor butir instrumen kinerja asesor memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,λ6, (b) Untuk aspek 1 diperoleh α = 0,868, aspek 2 diperoleh α = 0,840 dan aspek 3 diperoleh α = 0,λ24 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 45,87 , p-value = 0,3146λ ( 0,05), (d) RMSEA = 0,01λ ( 0,1), dan (e) GFI = 0,λ7 ( 0,λ0).
d. Pengetahuan Siswa Terhadap Kegiatan Ujian Nasional Kompetensi Keahlian SMK Uji coba tahap kedua: sebelum uji coba tahap kedua instrumen telah diperbaiki berdasarkan masukan dari validator. Setelah diperbaiki diperoleh hasil uji coba sebgai berikut: (a) Semua nomor butir instrumen Pengetahuan Siswa Terhadap Kegiatan Ujian Nasional Kompetensi Keahlian SMK memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,λ6, (b) Untuk aspek 1 diperoleh α = 0,7λ4, aspek 2 diperoleh α = 0,703 dan aspek 3 diperoleh α = 0,701 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 63,46 , p-value = 0,82637 ( 0,05), (d) RMSEA = 0,000 ( 0,1), dan (e) GFI = 0,λ1 ( 0,λ0).
Uji coba tahap ketiga. Berdasarkan analisis data dari uji coba tahap ketiga diperoleh hasil sebagai berikut: (a) Semua nomor butir instrumen kinerja asesor memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,λ6, (b) Untuk aspek 1 diperoleh α = 0,λ1λ, aspek 2 diperoleh α = 0,8λ5 dan aspek 3 diperoleh α = 0,861 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 80,13 , p-value = 0,3213λ ( 0,05), (d) RMSEA= 0,017 ( 0,1), dan (e) GFI = 0,λ5 ( 0,λ0).
e. Informasi Capaian Kompetensi Siswa
Uji coba tahap kedua: sebelum uji coba tahap kedua instrumen telah diperbaiki berdasarkan masukan dari validator. Setelah diperbaiki diperoleh hasil uji coba sebgai berikut: (a) Semua nomor butir instrumen informasi capaian kompetensi siswa memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,λ6, (b) Untuk aspek 1 diperoleh α = 0,705 dan aspek 2 diperoleh α = 0,776 ( di atas 0,7) sehingga reliabel, (c) Chi-Square = 43,57 , p-value = 0,12583 ( 0,05), (d) RMSEA = 0,056 ( 0,1), dan (e) GFI = 0,λ1 ( 0,λ0).
Uji coba tahap ketiga. Berdasarkan analisis data dari uji coba tahap ketiga diperoleh hasil sebagai berikut: (a) Semua nomor butir instrumen informasi capaian kompetensi siswa memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,96, (b) Untuk aspek 1 diperoleh α = 0,λ21 dan aspek 2 diperoleh α = 0,λ01 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 45,21 , p-value = 0,0λ464 ( 0,05), (d) RMSEA = 0,036 ( 0,1), dan (e) GFI = 0,λ6 ( 0,λ0).
f. Legalitas dan Pengakuan Asosiasi Profesi atau DU/DI
Uji coba tahap kedua: sebelum uji coba tahap kedua instrumen telah diperbaiki berdasarkan masukan dari validator. Setelah diperbaiki diperoleh hasil uji coba sebgai berikut: (a) Semua nomor butir instrumen legalitas dan pengakuan asosiasi profesi atau DU/DI memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,96, (b) Untuk aspek 1 diperoleh α = 0,843 dan aspek 2 diperoleh α = 0,754 ( di atas 0,7) sehingga reliabel, (c) Chi-Square = 36,58 , p-value = 0,34λ65 ( 0,05), (d) RMSEA = 0,02λ ( 0,1), dan (e) GFI = 0,λ2 ( 0,λ0)
68
Uji coba tahap ketiga. Berdasarkan analisis data dari uji coba tahap ketiga diperoleh hasil sebagai berikut: (a) Semua nomor butir instrumen legalitas dan pengakuan asosiasi profesi atau DU/DI memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,96, (b) Untuk aspek 1 diperoleh α = 0,8λ5 dan aspek 2 diperoleh α = 0,886 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 44,84 , p-value = 0,10111 ( 0,05), (d) RMSEA = 0,036 ( 0,1), dan (e) GFI = 0,λ7 ( 0,90)
Analisis Data Hasil Pengujian Instrumen dengan Responden Guru a. Instrumen Kolaborasi Sekolah dengan Asosiasi Profesi atau DU/DI
Uji coba tahap kedua: sebelum uji coba tahap kedua instrumen telah diperbaiki berdasarkan masukan dari validator. Setelah diperbaiki diperoleh hasil uji coba sebgai berikut: (a) Semua nomor butir instrumen kolaborasi sekolah dengan asosiasi profesi atau DU/DI memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,96, (b) Untuk aspek 1 diperoleh α = 0,756 dan apek 2 diperoleh α = 0,706 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 15,80 , p-value = 0,26011 ( 0,05), (d) RMSEA = 0,066 ( 0,1), dan (e) GFI = 0,λ1 ( 0,λ0)
Uji coba tahap ketiga. Berdasarkan analisis data dari uji coba tahap ketiga diperoleh hasil sebagai berikut: (a) Semua nomor butir instrumen kolaborasi sekolah dengan asosiasi profesi atau DU/DI memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,96, (b) Untuk aspek 1 diperoleh α = 0,λ21 dan apek 2 diperoleh α = 0,λ51 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 3,82 , p-value = 0,λλ300 ( 0,05), (d) RMSEA = 0,000 ( 0,1), dan (e) GFI = 0,λλ ( 0,λ0)
b. Instrumen Kinerja Asesor
Uji coba tahap kedua: sebelum uji coba tahap kedua instrumen telah diperbaiki berdasarkan masukan dari validator. Setelah diperbaiki diperoleh hasil uji coba sebgai berikut: (a) Semua nomor butir instrumen kinerja asesor memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,λ6, (b) Untuk aspek 1 diperoleh α = 0,83λ, aspek 2 diperoleh α = 0,810, aspek 3 diperoleh α = 0,800 dan aspek 4 diperoleh α = 0,7λ4 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 179,42 , p-value = 0,04015 (kurang dari 0,05), (d) RMSEA = 0,066 ( 0,1), dan (e) GFI = 0,72 ( kurang dari 0,λ0)
Uji coba tahap ketiga. Berdasarkan analisis data dari uji coba tahap ketiga diperoleh hasil sebagai berikut: (a) Semua nomor butir instrumen kinerja asesor memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,λ6, (b) Untuk aspek 1 diperoleh α = 0,λ2λ, aspek 2 diperoleh α = 0,715, aspek 3 diperoleh α = 0,λ21 dan aspek 4 diperoleh α = 0,λ51 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 89,81 , p-value = 0,λλλλ6 ( 0,05), (d) RMSEA = 0,000 ( 0,1), dan (e) GFI = 0,λ1 ( 0,λ0)
c. Sarana dan Prasarana
Uji coba tahap kedua: sebelum uji coba tahap kedua instrumen telah diperbaiki berdasarkan masukan dari validator. Setelah diperbaiki diperoleh hasil uji coba sebgai berikut: (a) Semua nomor butir instrumen kinerja asesor memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,λ6, (b) Untuk aspek 1 diperoleh α = 0,882, aspek 2 diperoleh α = 0,8λ2 dan aspek 3 diperoleh α = 0,840 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 24,61 , p-value = 0,λ8000 ( 0,05), (d) RMSEA = 0,000 ( 0,1), dan (e) GFI = 0,λ2 ( 0,λ0)
69
Uji coba tahap ketiga. Berdasarkan analisis data dari uji coba tahap ketiga diperoleh hasil sebagai berikut: (a) Semua nomor butir instrumen kinerja asesor memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,96, (b) Untuk aspek 1 diperoleh α = 0,λ17, aspek 2 diperoleh α = 0,λ06 dan aspek 3 diperoleh α = 0,λ53 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 23,40 , p-value = 0,λ8765 ( 0,05), (d) RMSEA = 0,000 ( 0,1), dan (e) GFI = 0,λ6 ( 0,λ0).
d. Informasi Capaian Kompetensi Siswa
Uji coba tahap kedua: sebelum uji coba tahap kedua instrumen telah diperbaiki berdasarkan masukan dari validator. Setelah diperbaiki diperoleh hasil uji coba sebgai berikut: (a) Semua nomor butir instrumen informasi capaian kompetensi siswa memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,λ6, (b) Untuk aspek 1 diperoleh α = 0,863 dan aspek 2 diperoleh α = 0,737 ( di atas 0,7) sehingga reliabel, (c) Chi-Square = 19,22 , p-value = 0,λ8044 ( 0,05), (d) RMSEA = 0,000 ( 0,1), dan (e) GFI = 0,λ2 ( 0,λ0).
Uji coba tahap ketiga. Berdasarkan analisis data dari uji coba tahap ketiga diperoleh hasil sebagai berikut: (a) Semua nomor butir instrumen informasi capaian kompetensi siswa memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,96, (b) Untuk aspek 1 diperoleh α = 0,λ47 dan aspek 2 diperoleh α = 0,λ1λ ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 36,49 , p-value = 0,35387 ( 0,05), (d) RMSEA = 0,027 ( 0,1), dan (e) GFI = 0,λ3 ( 0,90)
e. Legalitas dan Pengakuan Asosiasi Profesi atau DU/DI
Uji coba tahap kedua: sebelum uji coba tahap kedua instrumen telah diperbaiki berdasarkan masukan dari validator. Setelah diperbaiki diperoleh hasil uji coba sebgai berikut: (a) Semua nomor butir instrumen legalitas dan pengakuan asosiasi profesi atau DU/DI memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,96, (b) Untuk aspek 1 diperoleh α = 0,880 dan aspek 2 diperoleh α = 0,842 ( di atas 0,7) sehingga reliabel, (c) Chi-Square = 18,49 , p-value = 0,λ85λ5 ( 0,05), (d) RMSEA = 0,000 ( 0,1), dan (e) GFI = 0,λ3 ( 0,λ0)
Uji coba tahap ketiga. Berdasarkan analisis data dari uji coba tahap ketiga diperoleh hasil sebagai berikut: (a) Semua nomor butir instrumen legalitas dan pengakuan asosiasi profesi atau DU/DI memiliki muatan faktor di atas 0,3 dan nilai t lebih besar dari 1,96, (b) Untuk aspek 1 diperoleh α = 0,8λλ dan aspek 2 diperoleh α = 0,λ15 ( di atas 0,7) sehingga reliaabel, (c) Chi-Square = 28,17 , p-value = 0,74853 ( 0,05), (d) RMSEA = 0,000 ( 0,1), dan (e) GFI = 0,λ5 ( 0,λ0).
Panduan penerapan Instrumen Evaluasi
Berdasarkan hasil penilaian pada uji coba tahap pertama terhadap panduan penerapan instrumen evaluasi diperoleh rerata skor sebagai berikut: a) kejelasan petunjuk umum evaluasi = 3,80, b) kejelasan langkah-langkah proses evaluasi = 3,85, c) kejelasan rekomendasi hasil evaluasi = 3,95, d) kejelasan waktu pelaksanaan evaluasi = 4,00 , e) kejelasan sistem penilaian = 3,95, f) kejelasan format laporan hasil evaluasi = 3,90, g) penggunaan bahasa indonesia baku = 3,95, h) kemudahan pemahaman rumusan pernyataan = 3,85, i) kejelasan penggunaan kata dan kalimat = 3,80. Rerata skor total = 3,89 . Nilai rerata
70
tersebut menunjukkan bahwa panduan penerapan instrumen evaluasi masuk kategori layak dan dapat dipergunakan.
Hasil penilaian tahap kedua terhadap panduan penerapan instrumen evaluasi diperoleh rerata skor untuk: a) kejelasan petunjuk umum evaluasi = 3,95, b) kejelasan langkah-langkah proses evaluasi = 3,92 , c) kejelasan rekomendasi hasil evaluasi = 3,95 , d) kejelasan waktu pelaksanaan evaluasi = 4,00, e) kejelasan sistem penilaian = 3,95, f) kejelasan format laporan hasil evaluasi = 3,95, g) penggunaan bahasa indonesia baku = 3,95, h) kemudahan pemahaman rumusan pernyataan = 3,85, i) kejelasan penggunaan kata dan kalimat = 3,90. Rerata skor total = 3,94. Nilai rerata tersebut apabila dikonsultasikan dengan standar penilaian pada tabel 2 hal 97 menunjukkan bahwa panduan penerapan instrumen evaluasi masuk kategori layak dan dapat dipergunakan.
Berdasarkan hasil penilaian tahap ketiga terhadap panduan penerapan instrumen evaluasi diperoleh rerata skor untuk: a) kejelasan petunjuk umum evaluasi = 3,95, b) kejelasan langkah-langkah proses evaluasi = 3,95 , c) kejelasan rekomendasi hasil evaluasi = 3,95 , d) kejelasan waktu pelaksanaan evaluasi = 4,00 , e) kejelasan sistem penilaian = 3,95, f) kejelasan format laporan hasil evaluasi = 4,00, g) penggunaan bahasa indonesia baku = 3,95, h) kemudahan pemahaman rumusan pernyataan = 3,95, i) kejelasan penggunaan kata dan kalimat = 3,90 . Rerata skor total = 3,95menunjukkan bahwa panduan penerapan instrumen evaluasi masuk kategori layak dan dapat dipergunakan.