Kedelapan:
2
Definisi Tes
Djemari Mardapi 1999:2
Tes (Test) merupakan salah satu cara untuk menaksir besarnya kemampuan seseoarang secara tidak langsung, yaitu melalui respon seseorang terhadap stimulus atau pertanyaan.
Respon peserta tes terhadap sejumlah pertanyaan menggambarkan kemampuan dalam bidang tertentu. Tes merupakan bagian tersempit dari evaluasi.
.
3
Definisi Assessment (Penilaian)
Group on Assesssment and Testing Dalam Griffin & Nix, 1991:3
Assessment sebagai semua cara yang digunakan untuk menilai unjuk kerja individu atau kelompok.
Boyer & Ewel
Dalam Stark & Thomas, 1994:46
Assessment sebagai proses yang menyediakan informasi tentang individu siswa, tentang kurikulum atau program, tentang institusi atau segala sesuatu yang berkaitan dengan sistim institusi.
Jadi assessment adalah sebagai kegiatan menafsirkan data hasil pengukuran.
4
Kompetensi Evaluator vs Evaluasi Pelatihan
Evaluasi pelatihan merupakan mata rantai dalam sistim pelatihan mulai dari awal proses, ditengah proses pelaksanaan sampai, diakhir proses pelatihan sampai dengan pasca kegiatan pelatihan.
5
Definisi Measurement (Pengukuran)
Guilford dalam Griffin & Nix, 1991:3
Measurement (Pengukuran) didefinisikan sebagai assigning numbers to, or quantifying, things according to a set of rules.
Ebel & Frisbie, 1986:14
Pengukuran dinyatakan sebagai proses penetapan angka terhadap individu atau karakteristiknya menurut aturan tertentu. Allen& Yen, dalam Djemari Mardapi, 2000:1
Pengukuran sebagai penetapan angka dengan cara yang sistematik untuk menyatakan keadaan individu.
6
National Study Committee on evaluation dari UCLA (Stark & Thomas 994:12) menyatakan:
Evaluasi merupakan suatu proses atau kegiatan pemilihan, pengumpulan, analisis dan penyajian informasi yang dapat digunakan sebagai dasar pengambilan keputusan serta penyusunan program selanjutnya
Evaluasi pelatihan merupakan mata rantai dalam sistim pelatihan mulai dari awal proses, pelaksanaan proses sampai akhir proses pelatihan dan sampai dengan pasca kegiatan pelatihan.
7
Dalam melaksanakan evaluasi secara keseluruhan Weiss (1972:4) menyatakan bahwa tujuan evaluasi pelatihan adalah: The purpose of evaluation research is to measure the effect of program against the goals it set out accomplish as a means of contributing to subsequent decision making about the program and improving future programming
Tujuan dari evaluasi pelatihan adalah untuk mengukur pengaruh program
terhadap tujuan-tujuan yang ditetapkan, sebagai sarana untuk
pengambilan keputusan untuk peningkatan program pelatihan dimasa depan.
Dari rumusan tersebut ada 4:
1. Penggunaan metode penelitian,
2. Menekakan pada hasil suatu program
3. Penggunaan kreteria untuk menilai
4. Kontribusi thd pengambilan keputusan dan perbaikan program dimasa
8
Reactions
•
Results
Learning
Behavior
1 2 3 4 TRAINING WORK PLACETraining and the workplace
Framework of Kirkpatrick
9
During program evaluation
– Level One Reaction
– Level Two Learning
Post program evaluation
– Level Three Behavior
– Level Four Results
Training and the workplace
10
Kirkpatrick’s Four-Level Framework of
Evaluation Criteria
Level I : Evaluasi Reaksi
Mengevaluasi kepuasan peserta dalam mengikuti proses belajar mengajar yang nencakup kepuasan peserta, kualitas instruktur, kualitas materi pelatihan dan pelayanan (akomodasi dan lain-lain). Dilaksanakan pada akhir pembelajaran dalam bentuk kuesioner umpan balik peserta pelatihan.
Level II : Evaluasi Peningkatan Pembelajaran
Mengevaluasi peningkatan kemampuan peserta setelah mengikuti proses belajar mengajar. Evaluasi ini dilaksanakan dalam bentuk pengerjaan soal-soal sebelum pembelajaran dimulai (Pre-test) dan sesudah pelajaran selesai (Post-test).
Empat Level Evaluasi Pelatihan (Donald L. Kirkpatrick, 1988:10)
Level III: Evaluasi Behavior
Mengevaluasi perubahan behavior peserta setelah mengikuti pelatihan minimal 3 bulan dari penyelenggaraan. Evaluasi dilakukan oleh alumni dan atasan peserta. Aspek yang dinilai termasuk aspek kesesuaian pelatihan dengan job task peserta (mengevaluasi tahapan analisis), peningkatan kemampuan bekerja (menganalisis tahapan design dan development).
level IV : Evaluasi Manfaat Pelatihan/Business Impact
Evaluasi terhadap manfaat pelatihan dalam meningkatkan kinerja perusahaan. Evaluasi ini dilaksanakan dengan mengambil sampling melihat sejauh mana efektivitas (penghematan biaya, peningkatan output, customer satisfaction, employee satisfaction) dan pengaruh dari pelaksanaan pelatihan terhadap kinerja perusahaan.
level V : Evaluasi Return of Invesment
Jack J. Philips (2002) menjelaskan satu konsep baru evaluasi pelatihan yang merupakan lanjutan dari teori yang dijelaskan oleh D. Kirkpatrick. Pada level ini, evaluasi diukur secara financial dengan melihat tingkat pengembalian investasi suatu pelatihan dengan rumus yang digunakan.
Introduction
Training Evaluation
Efektivitas pelatihan : manfaat yang diperoleh perusahaan dan peserta pelatihan yang diterima dari pelatihan.
Outcomes pelatihan atau kriteria : tindakan bahwa pelatih dan perusahaan menggunakan evaluasi program pelatihan.
Evaluasi pelatihan - proses pengumpulan hasil yang diperlukan untuk menentukan apakah pelatihan efektif.
Desain evaluasi - pengumpulan informasi, termasuk siapa, apa, kapan, dan bagaimana, untuk menentukan efektivitas program pelatihan
Reasons for Evaluating Training
Perusahaan mengeluarkan investasi yang besar dalam pelatihan dan pendidikan dan melihatnya sebagai strategi untuk menjadi sukses; perusahaan mengharapkan hasil dari pelatihan menjadi terukur.
Evaluasi pelatihan memberikan data yang diperlukan untuk menunjukkan bahwa pelatihan memberikan manfaat bagi perusahaan.
Evaluasi formatif - berlangsung selama desain dan pengembangan program.
Membantu memastikan bahwa program pelatihan terorganisasi dengan baik dan berjalan lancar, dan peserta pelatihan belajar dan puas dengan program pelatihan.
Memberikan informasi tentang bagaimana membuat program pelatihan yang lebih baik; melibatkan pengumpulan data kualitatif tentang program.
Uji coba - proses pendahuluan program pelatihan dengan calon peserta pelatihan dan manajer atau dengan pelanggan lain.
Summative evaluation - determine the extent to
which trainees have changed as a result of participating in the training program.
(menentukan sejauhmana peserta telah berubah sebagai akibat dari partisipasinya dalam program pelatihan).
Termasuk mengukur manfaat moneter yang diterima perusahaan dari program pelatihan.
19
To gather data to assist in marketing training programs. To determine the financial benefits and costs of the
program.
To compare the costs and benefits of:
training versus non-training investments.
different training programs to choose the best program.
A training program should be evaluated:
To identify the program’s strengths and weaknesses. To assess whether content, organization, and
administration of the program contribute to learning and the use of training content on the job.
To identify which trainees benefited most or least from
20
21
The hierarchical nature of Kirkpatrick’s
framework suggests that higher level outcomes
should not be measured
unless positive
changes occur in lower level outcomes
.
The framework implies that changes at a
higher level are
more beneficial
than
changes at a lower level.
Outcomes Used in the Evaluation
of Training Programs
22
Outcomes Used in the Evaluation of Training Programs (cont.)
Penelitian belum menemukan bahwa setiap tingkat dari model Kirkpatrick disebabkan oleh tingkat yang mendahului sebelumnya.
Tidak terbukti yang menunjukkan bahwa pentingnya tingkatan evaluasi pelatihan yang berbeda dalam model Kirkpatrick.
Pendekatan tidak memperhitungkan tujuan evaluasi
Hasil evaluasi pelatihan yang didapat harus dikumpulkan secara tertib dengan mengukur reaksi/reaction diikuti dengan langkah-langkah learning, perilaku belajar/behavior dan hasil/result.
23
24
Reaction outcomes
It is collected at the program’s conclusion.
Cognitive outcomes
They do not help to determine if the trainee will
actually use decision-making skills on the job.
Skill-based outcomes
The extent to which trainees have learned skills
can be evaluated by observing their performance in work samples such as simulators.
Outcomes Used in the Evaluation
of Training Programs (cont.)
25
Return on investment
Direct costs - salaries and benefits for all
employees involved in training; program material and supplies; equipment or classroom rentals or purchases; and travel costs.
Indirect costs - not related directly to the design,
development, or delivery of the training program.
Benefits - value that the company gains from the
training program.
Outcomes Used in the Evaluation
of Training Programs (cont.)
26
Criterion Deficiency, Relevance,
and Contamination
27
