• Tidak ada hasil yang ditemukan

D.4 Evaluasi Hasil Pembelajaran Diklat Menggunakan Disain Pre Test Post Test Nonequivalent Control Group

N/A
N/A
Protected

Academic year: 2021

Membagikan "D.4 Evaluasi Hasil Pembelajaran Diklat Menggunakan Disain Pre Test Post Test Nonequivalent Control Group"

Copied!
25
0
0

Teks penuh

(1)
(2)

101

D.4

Evaluasi Hasil Pembelajaran Diklat Menggunakan

Disain Pre Test Post Test Nonequivalent Control Group

Rohmatulloh1, Sri Winarni2

1Sekretariat Badan Diklat Energi dan Sumber Daya Mineral, Jakarta 2Departemen Statistika – FMIPA Universitas Padjajaran, Bandung

Email: rohmatulloh@diklat.esdm.go.id, sri.winarni@unpad.ac.id

ABSTRAK

Evaluasi kinerja penyelenggaraan diklat pada semua tahap penyelenggaraan perlu dilakukan untuk mengetahui efektifitas program diklat yang telah dilakukan oleh institusi penyelenggara jasa diklat. Evaluasi pada tahap hasil pembelajaran peserta saat sebelum dan setelah mengikuti diklat untuk mengetahui tingkat capaian kompetensinya. Tujuan kajian ini adalah mendemonstrasikan metode quasi experimental dengan disain pre test post test non equivalent control group untuk mengetahui tingkat capaian kompetensi peserta diklat yang mendapatkan intervensi mengikuti diklat berbasis kompetensi (kelompok eksperimen). Hasil kelompok eksperimen ini selanjutnya disandingkan dengan kelompok pembanding yang hanya diberikan intervensi diklat yang belum berbasis kompetensi. Penggunaan disain ini lebih fleksibel dan mudah diterapkan dalam evaluasi hasil pembelajaran peserta program diklat. Analisis menggunakan uji beda dua nilai tengah data bebas dan data berpasangan. Berdasarkan contoh kasus yang diterapkan pada makalah ini diperoleh gambaran bahwa hasil pembelajaran peserta diklat yang mengikuti diklat berbasis kompetensi lebih baik dibandingkan dengan hasil pembelajaran peserta diklat yang mengikuti diklat belum berbasis kompetensi. Kata kunci: Model kirkpatrik, Evaluasi hasil pembelajaran, Diklat, Pre test post test, Nonequivalent control group.

1. PENDAHULUAN

Pengembangan sumber daya manusia (SDM) merupakan salah satu pilar penting dalam rangka mendukung keberhasilan organisasi mencapai sasaran strategisnya di masa akan datang. Pengembangan SDM dalam rangka untuk memperkecil kesenjangan kompetesi yang dimiliki individu saat ini dengan standar kompetensi yang seharusnya dipenuhi individu tersebut dalam bekerja. Dengan SDM yang berkompeten diharapkan dapat mendorong kinerja organisasi menjadi lebih baik dan pada akhirnya akan membawa dampak terhadap kesejahteraan dirinya sendiri dan masyarakat. Pengembangan kompetensi SDM dapat dilakukan melalui berbagai program seperti diklat, sertifikasi keahlian, coaching, on the job

training, dan lain-lain. Ketiga program dan kegiatan pengembangan SDM tersebut

(3)

102 lembaga penyedia jasa pengembangan SDM eksternal milik pemerintah dan swasta, serta perguruan tinggi.

Salah satu program pengembangan SDM melalui program diklat banyak ditawarkan oleh berbagai lembaga diklat. Namun dalam prakteknya, penyelenggaraan program diklat tersebut pada umumnya masih mengukur keberhasilan hanya dari sisi kinerja output penyelenggaraan diklat, yaitu banyaknya jumlah peserta yang mengikuti diklat setiap tahunnya. Fokus pada pengukuran keberhasilan ini biasanya memiliki kelemahan, yaitu hanya memberi gambaran kuantitas saja dan hanya sedikit memperhatikan segi kualitas.

Belakangan ini mulai timbul kesadaran dari para pengelola diklat dan pengguna jasa diklat bahwa ukuran keberhasilan kualitas penyelenggaraan diklat akan lebih bermakna jika dilihat juga kinerjanya dari sisi hasil dan manfaat (outcome) penyelenggaraan diklat. Fokus evaluasi kinerja dari sisi ini lebih memberikan masukan yang bermanfaat bagi pengelola diklat untuk menilai sejauhmana program diklat tersebut efektif dan menjawab kebutuhan pengembangan SDM di sektornya masing-masing. Selanjutnya pengelola diklat dapat membuat keputusan yang tepat terkait dengan keberlanjutan program dan kegiatan diklat tersebut ke depannya, apakah dihentikan atau dilanjutkan dengan berbagai perbaikan perangkat diklat sesuai standar mutu untuk mencapai outcome yang diharapkan. Sedangkan bagi pengguna jasa diklat dapat mengetahui sejauhmana dana yang telah diinvestasikan untuk pengembangan pegawai apakah berdampak terhadap peningkatan kinerja organisasi.

Evaluasi outcome penyelenggaraan diklat merupakan kegiatan yang harus dilakukan secara menyeluruh dan saling terkait (sistemik). Evaluasi dimulai dari kinerja penyelenggaraan diklat (evaluasi kepuasan dan pembelajaran) sampai dengan pasca penyelenggaraan diklat untuk melihat perubahan perilaku alumni diklat di unit kerjanya dan dampaknya terhadap peningkatan kinerja organisasi. Evaluasi menyeluruh ini direpresentasikan ke dalam sebuah model yang populer di kalangan pengelola diklat, yaitu model Kirkpatrik. Model Kirkpatrik adalah model evaluasi outcome terdiri dari evaluasi empat tahap, yaitu reaksi, pembelajaran, perubahan perilaku, dan hasil atau dampak (Kirkpatrick, 1998; Bates, 2004).

Empat tahap evaluasi diklat pada umumnya telah dilakukan oleh lembaga diklat secara beragam. Namun pada umumnya terdapat kesamaan pola jumlah

(4)

103

evaluasi dimana semakin tinggi tahap evaluasi maka persentase program yang dievaluasi semakin sedikit dari jumlah program yang diselenggarakan. Hal ini dikarenakan bahwa evaluasi pada tahap yang paling tinggi semakin sulit dilakukan dan banyak menghabiskan waktu. Namun jika semua tahap telah dilakukan maka akan banyak sekali informasi bermakna yang diperoleh untuk mendapatkan gambaran seberapa besar program diklat yang diselenggarakan efektif untuk peserta diklat dan unit kerjanya (Kirkpatrik, 1998).

Tujuan makalah ini adalah membahas evaluasi kinerja penyelenggaraan diklat pada tahap dua, yaitu evaluasi hasil pembelajaran peserta diklat untuk mengetahui perubahan pengetahuan dan keterampilan peserta sebelum dan setelah mengikuti diklat berbasis kompetensi. Evaluasi pada tahap dua menjadi penting karena terkait dengan keberhasilan pencapaian tujuan program diklat yang telah ditetapkan dalam kurikulum diklat. Evaluasi ini menjadi penting seperti disarankan Berger & Berger (2008) yang menyebutkan bahwa lembaga diklat setidaknya harus melakukan evaluasi pada tahap ini sebanyak 60% dari jumlah program diklat. Sedangkan American Society of Training and Development dalam sebuah survey menemukan bahwa lembaga diklat yang telah melakukan evaluasi pembelajaran baru sebanyak 44% dari seluruh program diklat.

Untuk melengkapi bahasan ini, penulis mendemostrasikan contoh kasus sederhana evaluasi hasil pembelajaran dengan metode eksperimen semu (quasi

experimental). Disain yang digunakan adalah nonequivalent control group yang

diberikan pre test dan post test sebelum dan sesudah pemberian intervensi. Dua kelompok terdiri dari kelompok peserta yang diberikan intervensi mengikuti diklat berbasis kompetensi (experimental group) dan kelompok peserta yang hanya diberikan intervensi mengikuti diklat belum berbasis kompetensi sebagai kelompok pembanding (control group). Metode quasi experimental digunakan karena penentuan anggota kelompok yang masuk ke dalam kelompok ekeperimen dan kelompok pembanding tidak dipilih secara acak (random assignment). Dengan kata lain, jika ada calon peserta yang mendaftar pada diklat belum berbasis kompetensi atau diklat berbasis kompetensi maka secara alamiah semua calon akan masuk ke dalam kelompok tersebut sesuai dengan kapasitas diklat masing-masing.

(5)

104 2. Model Evaluasi Diklat Kirkpatrik

Model evaluasi yang paling banyak dibahas dalam berbagai pustaka untuk evaluasi diklat pada umumnya adalah goal based dan system based. Goal based adalah evaluasi untuk mengetahui sejauhmana program memenuhi tujuan dan sassaran yang telah ditentukan. Sedangkan system based adalah pendekatan evaluasi yang berfokus pada apakah intervensi program efektif dan efisien. Namun seringkali perbedaan kedua model pendekatan tersebut terlihat samar. Model goal based memiliki banyak ragamnya diantaranya model Kirkpatrik (empat tahap), Kirkpatrck plus (lima tahap: Return On Investment), Hamblin (lima tahap), Indiana University

taxonomy (enam strata), Nine outcomes model, dan model lainnya. Ragam model

yang telah disebutkan selain model Kirkpatrik adalah pengembangan dari model Kirkpatrik itu sendiri (Zinovieff & Rotem, 2008).

Model Kirkpatrik adalah model sederhana dan populer yang telah dikembangkan sejak tahun 1959. Kepopuleran model ini dapat ditelusuri jejaknya dari beberapa faktor, yaitu model dibuat untuk memenuhi kebutuhan pelatihan profesional untuk memahami evaluasi pelatihan secara sistematis, model menekankan pada empat outcome untuk mendapatkan informasi berharga dari program pelatihan yang diselenggarakan, dan model merupakan hasil dari penyederhanaan proses evaluasi pelatihan yang kompleks (Bates, 2004).

Model Kirkpatrik terdiri dari empat tahap, yaitu reaksi atau kepuasan, pembelajaran, perubahan perilaku, dan hasil atau dampak (Tabel 1). Tahap pertama dan tahap kedua dilakukan pada saat penyelenggaraan diklat. Evaluasi pada tahap ketiga dan keempat dilakukan setelah penyelenggaraan diklat (pasca diklat) dan setelah alumni diklat kembali ke unit kerjanya minimal satu tahun. Tahap reaksi sama dengan pengukuran tingkat kepuasan peserta diklat. Tahap pembelajaran untuk mengukur tingkat keberhasilan peserta diklat terkait dengan perubahan pengetahuan, keterampilan, dan sikap sesuai dengan tujuan program diklat. Tahap perilaku untuk mengevalusi perubahan perilaku alumni diklat akibat peningkatan kompetensi yang diperoleh selama diklat dalam pekerjaannya. Tahap hasil atau dampak untuk mengevaluasi akibat dari perubahan perilaku alumni dilihat dalam meningkatkan kinerja organisasi (Kirkpatrick, 1998; Bates, 2004).

(6)

105

Tabel 1. Empat tahap evaluasi penyelenggaraan diklat (Zinovieff & Rotem, 2008)

Tahap Fokus pengukuran Pertanyaan Keterangan

I. Reaksi Persepsi peserta diklat

Apakah peserta diklat merasa puas? Evaluasi kinerja penyelenggaraan II. Pembelajar an Penguatan pengetahuan, keterampilan, dan sikap

Apakah ada peningkatan pengetahuan, ketarampilan, dan sikap?

III. Perilaku Implementasi di tempat kerja

Apakah pengetahuan, keterampilan, dan sikap digunakan dalam pekerjaannya?

Evaluasi pasca diklat

IV. Hasil atau Dampak

Pengaruh terhadap organisasi

Apakah pengaruh diklat terhadap kinerja organisasi?

Setiap tahapan evaluasi memiliki tingkat kesulitan berbeda-beda. Semakin tinggi tahapannya maka semakin sulit dan menghabiskan banyak waktu untuk pelaksanaan evaluasinya. Jumlah program yang harus dievaluasi setiap tahapan pada umumnya berbeda-beda. Tabel 2 adalah perbandingan persentase program diklat yang disarankan untuk dievaluasi dan hasil survei American Society of Training and Development pada perusahan di Amerika yang telah menerapkan evaluasi program diklat. Berdasarkan data pada Tabel 2 dapat dilihat bahwa pada tahap yang semakin sulit dan banyak menghabiskan waktu evaluasi, maka persentase program yang dievaluasi semakin sedikit dibandingkan tahap di atasnya. Salah satu contoh kesulitan yang seringkali ditemukan lembaga diklat seperti Badan Diklat ESDM adalah kendala teknis terkait sulitnya mencari sumber data alumni diklat pada saat akan dilakukan evaluasi pasca diklat (tahap ketiga dan keempat) karena telah dirotasi ke unit kerja yang tidak sesuai dengan fungsinya lagi. Namun jika seluruh tahapan sudah dilakukan evaluasi, maka akan banyak sekali informasi bernilai yang diperoleh untuk mendukung pengambilan keputusan pengelola diklat dalam menentukan keberlanjutan program diklat ke depannya (Kirkpatrick, 1998).

(7)

106 Tabel 2. Persentase program yang dievaluasi pada setiap tahap

Tahap

Program yang dievaluasi

Berger & Berger, 2008

Survei American Society of Training and Development (Zinovieff & Rotem, 2008)

Badiklat ESDM*

I. Reaksi 100% 75% 100%

II. Pembelajaran 60% 44% 50%**

III. Perilaku 30-40% 21% 3-5% (minimal 2 diklat

strategis per bidang diklat ESDM) IV. Hasil atau

Dampak

10-20% 11%

* wawancara dengan pengelola evaluasi diklat ** perkiraan

3. Disain Pre Test Post Test Nonequivalent Control Group

Disain pre test post test nonequivalent control group banyak digunakan untuk evaluasi efektifitas pelaksanaan program pembangunan. Engel & Schutt (2014) memberikan sebuah contoh evaluasi program pembangunan di bidang sosial untuk mengetahui keberhasilan keefektifan pencegahan para mantan narapidana menjadi residivis. Satu kelompok mantan narapidana diberikan intervensi program selama enam bulan dalam bentuk dukungan moneter seperti tiket transportasi, barang keperluan sehari-hari, rumah, pencegahan dari obat-obatan, dan pelatihan kerja. Satu kelompok lainnya menolak untuk diberikan intervensi. Contoh lainnya adalah evaluasi program sosial efektifitas pencegahan bahaya minuman alkohol. Sekelompok anak muda yang tinggal di dua daerah di bandingkan dengan salah satu kelompok diberikan intervensi program budaya selama tiga belas minggu selesai pulang sekolah dan enam sesi setelah enam bulan kemudian.

Sedangkan di bidang diklat, disain ini cukup populer digunakan. Misalnya penelitian yang dilakukan oleh Nur’aini, Chamisijatin, & Nurwidodo (2015) untuk

(8)

107

mengukur tingkat pemahaman siswa madrasah aliyah negeri pada pelajaran biologi. Kelompok peserta dibagi menjadi dua, yaitu kelompok siswa yang diberikan intervensi menggunakan metode pembelajaran multimedia interaktif dan satu kelompok yang diberikan pelajaran menggunakan metode konvensional. Nurroeni (2013) dalam penelitiannya menggunakan disain nonequivalent control group untuk mengukur keefektifan pembelajaran ilmu pengetahuan alam pada siswa sekolah dasar. Kelompok eksperimen diberikan intervensi model pembelajaran mind

maping, sementara kelompok pembanding hanya diberikan model pembelajaran

konvensional.

Pengukuran hasil belajar merupakan tahap penting untuk mengetahui capaian tujuan diklat kepada peserta dalam menyerap hasil pembelajaran pada program diklat yang dilaksanakan. Pada tahap ini fokus evaluasi dilakukan dengan mengumpulkan informasi mengenai perubahan pengetahuan, keterampilan, dan sikap peserta diklat. Informasi yang digunakan adalah informasi hasil tes peserta diklat pada kondisi awal (pre test) di mana peserta belum diberikan intervensi dibandingkan dengan hasil tes setelah peserta selesai diberikan intervensi (post

test). Namun yang perlu diperhatikan bahwa penggunaan metode pre test dan post test hanya untuk mengukur perubahan pengetahuan yang telah diserap peserta

selama mengikuti diklat. Penggunaan metode pre test dan post test juga tidak dapat digunakan untuk diklat yang bersifat andragogis, di mana peserta terlibat penuh dalam perumusan tujuan pelatihan pada awal suatu pelatihan. Dalam hal ini peserta pelatihan diminta untuk menyampaikan harapan-harapannya sebelum pelatihan dimulai (Nasrul, 2009). Pre test juga tidak perlu digunakan untuk anggota dua kelompok jika pelaksana evaluasi yakin bahwa kompetensi yang dimiliki kedua kelompok tersebut sama (Campbell & Stanley,1963 dalam Schumann, Anderson, Scott, & Lawton, 2001).

Untuk mendapatkan hasil yang lebih baik, evaluasi pada tahap ini disarankan agar menggunakan kelompok pembanding (control group) apabila memungkinkan. Penggunaan kelompok pembanding juga disarankan untuk evaluasi pasca diklat pada tahap ketiga dan tahap keempat (Kirkpatrick, 1998). Model disain

pre test dan post test menggunakan dua kelompok tidak setara disajikan seperti

pada Tabel 3. Pemilihan anggota kedua kelompok tidak menggunakan cara penugasan acak (random assignment) sehingga pendekatan ini masuk ke dalam kelompok eksperimen semu (quasi experimental). Adapun anggota kedua kelompok

(9)

108 yang dipilih dengan penugasan secara acak (random assignment) maka disain eksperimen yang digunakan masuk ke dalam kelompok eksperimen sesungguhnya (true experimental). Tentu saja kelebihan true experimental dalam meminimalisir gangguan validitas internal lebih baik dibandingkan dengan quasi experimental. Tetapi kelebihan quasi experimental dari segi fleksibilitas lebih longgar, segi biaya lebih murah, dan segi waktu lebih singkat dibandingkan dengan true experimental. Sehingga metode ini lebih berguna bagi peneliti dan pelaksana evaluasi (Engel & Schutt, 2014).

Tabel 3. Disain pre test post test non equivalent control group Kelompok

(Nonrandom assignment) Pre test Intervensi (Diklat) Post test Eksperimen

(Peserta diklat berbasis

kompetensi) O1 X1 O3

Pembanding

(Peserta diklat belum berbasis kompetensi)

O2 X2 O4

Keterangan:

O1 = Tingkat pengetahuan dan keterampilan kelompok eksperimen sebelum diklat O2 = Tingkat pengetahuan dan keterampilan kelompok pembanding sebelum diklat X1 = Kelompok yang diberikan intervensi mengikuti diklat berbasis kompetensi X2 = Kelompok yang diberikan intervensi mengikuti diklat belum berbasis kompetensi

O3 = Perubahan pengetahuan dan keterampilan kelompok eksperimen setelah diberikan intervensi diklat berbasis kompetensi

O4 = Perubahan pengetahuan dan keterampilan kelompok pembanding yang hanya diberikan intervensi diklat tidak berbasis kompetensi

(10)

109

4. Uji Beda Dua Nilai Tengah

Tahapan analisis statistik untuk menguji perbedaan menggunakan uji beda dua nilai tengah. Uji beda dua nilai tengah digunakan untuk menguji perbedaan dua nilai tengah populasi. Pengujian dua nilai tengah dibedakan menurut jenis datanya. Terdapat pengujian untuk data bebas dan data berpasangan. Jika elemen dari populasi satu saling bebas dengan elemen populasi dua, artinya elemen kedua populasi merupakan obyek yang berbeda, maka data tersebut merupakan data bebas. Pengujian dua nilai tengah data berpasangan digunakan jika elemen pada populasi satu merupakan elemen yang sama dengan elemen pada populasi dua (Montgomery, 2009). Pada Tabel 3 untuk menguji perbedaan hasil tes pada diklat berbasis kompetensi dan tidak berbasis kompetensi digunakan uji data bebas (O1 vs O2 dan O3 vs O4) karena peserta diklat berbasis kompetensi adalah orang yang berbeda dengan peserta diklat yang belum berbasis kompetensi. Sedangkan untuk menguji perbedaan pre test dan post test digunakan pengujian data berpasangan (O1 vs O3 dan O2 vs O4). Peserta diklat berbasis kompetensi diberikan pre test dan post

test, sehingga nilai pre test dan post test didapatkan dari peserta yang sama. Begitu

juga pada peserta diklat yang belum berbasis kompetensi.

1. Pengujian hasil tes pada diklat berbasis kompetensi dengan diklat tidak berbasis kompetensi

Untuk mengetahui apakah diklat berbasis kompetensi memberikan pengaruh yang lebih baik daripada diklat yang tidak berbasis kompetensi dilakukan pengujian data bebas. Pengujian dua nilai tengah data bebas terbagi menjadi dua kasus, yaitu kasus ragam populasi diketahui dan kasus ragam populasi tidak diketahui. Informasi mengenai ragam populasi seringkali sulit didapatkan sehingga pada kajian ini digunakan pengujian dua nilai tengah dengan asumsi ragam populasi tidak diketahui. Pada kasus ragam populasi tidak diketahui terdapat dua kasus yang mungkin terjadi, yaitu kasus asumsi kedua ragam sama dan kasus asumsi kedua ragam berbeda. Penentuan kedua asumsi tersebut dilakukan dengan uji kesamaan ragam. Tahapan pengujian kesamaan ragam diberikan sebagai berikut :

a. Hipotesis

H0 : Asumsi kedua ragam populasi sama (

(11)

110 b. Taraf nyata α = 5% c. Statistik uji d. Kriteria uji Tolak H0 jika

Informasi yang didapatkan pada pengujian kesamaan ragam adalah apakah ragam kedua populasi sama atau tidak. Informasi ini akan menentukan pengujian dua nilai tengah yang digunakan. Pengujian dua nilai tengah dengan asumsi ragam sama dan asumsi ragam berbeda disajikan pada Tabel 4.

Tabel 4. Pengujian dua nilai tengah dengan asumsi ragam sama dan asumsi ragam berbeda

Bentuk hipotesis Asumsi ragam sama Asumsi ragam berbeda H0 : 1 = 2 H1 : 1 2 Tolak H0 jika |thitung| > tdb=(n1+n2-2). /2 Tolak H0 jika |thitung| > tdb=db efektif . /2 H0 : 1 2 H1 : 1 > 2 Tolak H0 jika thitung > tdb=(n1+n2-2).  Tolak H0 jika thitung > tdb=db efektif.  Ho : 1 2 H1 : 1 < 2 Tolak H0 jika thitung < -tdb=(n1+n2-2).  Tolak H0 jika thitung < -tdb=db efektif.  Statistik uji

Pengujian data bebas dilakukan pada O3 vs O4 dengan bentuk hipotesis satu arah. Pengujian ini memberikan informasi apakah diklat berbasis kompetensi memberikan hasil pembelajaran yang lebih tinggi daripada diklat yang belum berbasis kompetensi.                                   1 1 2 2 2 2 2 1 2 1 2 1 2 2 2 2 1 2 1 n n s n n s n s n s dbeff 2 ) 1 ( ) 1 ( 2 1 2 2 2 2 1 1       n n s n s n sgab 2 2 2 1 2 1 2 1 n s n s x x thitung    2 2 2 1 s s Fhit 2 1 2 1 1 1 n n s x x t gab hitung   

(12)

111

2. Pengujian pre test dan post test pada diklat berbasis kompetensi dan diklat tidak berbasis kompetensi

Pengujian pre test dan post test ditujukan untuk mengetahui perbedaan pemahaman sebelum diberikan diklat dan sesudah diberikan diklat. Prosedur pengujian dua nilai tengah data berpasangan diberikan sebagai berikut (Montgomery, 2009):

a. Hipotesis

H0 : (hasil pembelajaran pre test dan post test tidak berbeda)

H1 : (hasil pembelajaran pre test dan post test berbeda)

b. Taraf nyata α = 5% c. Statistik uji dimana ; d. Wilayah kritik

Tolak H0 jika atau p-value < α

Pada pengujian pre test dan post test peserta diklat berbasis kompetensi (O1 vs O3) memberikan informasi apakah hasil pembelajaran peserta meningkat setelah diberikan materi pada diklat yang telah berbasis kompetensi. Begitu juga pada pengujian pre test dan post test peserta diklat yang belum berbasis kompetensi (O2 vs O4), informasi yang dihasilkan adalah apakah hasil pembelajaran peserta meningkat setelah mengikuti diklat yang belum berbasis kompetensi.

n s d t d / 

(13)

112 5. Contoh Kasus

Berikut ini contoh kasus sederhana menggunakan data hasil evaluasi hasil pembelajaran yang diasumsikan pada tahap pre test dan post test. Misalnya Badan Diklat ESDM pada tahun 2015-2019 telah melakukan penajaman salah satu indikator kinerja utamanya (IKU) menjadi persentase diklat berbasis kompetensi yang dilaksanakan dalam setahun dari IKU sebelumnya (2010-2014), yaitu persentase diklat yang diselenggarakan. Selanjutnya hasil pembelajaran pada salah satu judul program diklat yang belum berbasis kompetensi pada tahun 2014 akan dibandingkan kinerjanya dengan pelaksanaan diklat berbasis kompetensi pada tahun 2015.

Data hasil pre test dan post test berdasarkan hasil pembelajaran peserta diklat berbasis kompetensi dan diklat yang belum berbasis kompetensi disajikan pada Tabel 5. Jumlah kelompok ekeperimen dan kelompok pembanding masing-masing sebanyak 20 orang sesuai dengan kapasitas program diklat yang dilaksanakan untuk setiap satu angkatan.

Tabel 5. Nilai pre test dan post test evaluasi hasil pembelajaran

No.

Kelompok eksperimen (Diklat berbasis

kompetensi)

Kelompok pembanding (Diklat belum berbasis kompetensi)

Pre test Post test Pre test Post test

1 60 80 56 57 2 67 86 62 60 3 64 84 58 60 4 58 69 67 70 5 70 97 68 65 6 61 72 55 55 7 56 63 54 56 8 54 69 50 55 9 60 79 56 61 10 65 91 52 53 11 62 87 57 56 12 67 82 71 70 13 66 86 70 72 14 53 71 67 70 15 52 75 66 69 16 64 80 59 61 17 60 82 76 75 18 61 83 73 70

(14)

113 No. Kelompok eksperimen (Diklat berbasis kompetensi) Kelompok pembanding (Diklat belum berbasis kompetensi)

Pre test Post test Pre test Post test

19 60 79 52 54

20 70 88 62 60

Analisis awal dilakukan secara visual dengan menggunakan plot nilai rata-rata yang disajikan pada Gambar 1. Berdasarkan plot data tersebut terlihat bahwa pada hasil post test kelompok eksperimen meningkat tajam dari hasil pre testnya. Sedangkan pada kelompok pembanding terlihat tidak ada peningkatan yang berarti dari hasil pre test ke hasil post test. Informasi lain yang didapat dari plot data ini adalah bahwa hasil post test kelompok eksperimen terlihat lebih tinggi dari hasil

post test kelompok pembanding.

Gambar 1. Perubahan nilai rata-rata pre test dan post test pada kelompok eksperimen dan kelompok pembanding

Analisis secara visual seperti yang disajikan pada Gambar 1 tidak dapat dilakukan penarikan kesimpulan. Analisis tersebut hanya sebatas penggambaran data secara deskriptif. Analisis secara formal dilakukan dengan pengujian hipotesis. Hasil pengujian pre test dan post test pada kelompok eksperimen dan kelompok pembanding disajikan seperti pada Tabel 6.

(15)

114 Tabel 6. Hasil pengujian pre test dan post test

pada kelompok eksperimen dan kelompok pembanding

Kelompok t p-value

Eksperimen -18.65 5.122 -16.282 0.000

Pembanding -0.90 2.426 -1.659 0.113

Pada pengujian hasil pre test dan post test kelompok eksperimen yang mengikuti program diklat berbasis kompetensi didapatkan nilai thitung sebesar -16.282dengan p-value 0.000. Karena p-value kurang dari α = 5% maka diputuskan tolak H0 dan disimpulkan bahwa ada perbedaan hasil pretest dengan postest. Hasil

post test pada kelompok eksperimen lebih tinggi dari hasil pre test, dengan rata-rata pre test 61.50 dan rata-rata post test 80.15 seperti disajikan pada Gambar 1 di atas.

Berdasarkan hasil tersebut maka diperoleh gambaran tentang kinerja penyelenggaraan diklat berbasis kompetensi berpengaruh terhadap hasil belajar peserta diklatnya. Peserta diklat berbasis kompetensi mengalami peningkatan kompetensi setelah mengikuti diklat dari kondisi awal sebelum mengikuti diklat. Dengan demikian penyelenggara diklat telah berhasil meningkatkan kinerja penyelenggaraan diklat sesuai dengan target.

Sedangkan pengujian pada kelompok pembanding untuk hasil penilaian pre

test dan pos test didapatkan nilai t-hitung -1.659 dengan value 0.113. Karena p-value lebih besar dari α = 5% maka diputuskan terima H0 yang berarti bahwa pada

kelompok pembanding tidak ada perbedaan hasil pembelajaran setelah mengikuti diklat yang belum berbasis kompetensi. Hasil ini sekaligus memberikan informasi bahwa diklat berbasis kompetensi lebih baik dibandingkan dengan diklat yang belum berbasis kompetensi terkait dengan capaian kinerja hasil belajar pesertanya. Hal ini juga didukung dengan pengujian hasil pembelajaran diklat berbasis kompetensi dengan diklat yang belum berbasis kompetensi. Pengujian dilakukan dengan membandingkan nilai post test pada kelompok eksperimen dengan kelompok pembanding. Pada contoh kasus ini kelompok eksperimen dan kelompok pembanding merupakan dua kelompok yang saling bebas, artinya peserta diklat pada kelompok eksperimen bukanlah orang sama dengan peserta diklat kelompok pembanding. Dengan demikian pengujian dilakukan dengan pengujian data bebas. Hasil pengujian disajikan seperti pada Tabel 7.

(16)

115

Tabel 7. Pengujian hasil pembelajaran kelompok eksperimen dan kelompok pembanding

Asumsi ragam

Uji kehomogenan ragam Uji dua nilai tengah F-hitung p-value t-hitung db p-value

Asumsi ragam sama 0.054 0.818 7.252 38 0.000

Asumsi ragam tidak sama 7.252 36.863 0.000

Pengujian hasil pembelajaran kelompok eksperimen dan kelompok pembanding dilakukan untuk menguji apakah terdapat perbedaan post test antara kedua kelompok tersebut. Hasil pengujian kehomogenan ragam didapatkan nilai F-hitung 0.054 dengan p-value 0.818 (lebih besar dari α = 5%) sehingga diputuskan asumsi ragam sama. Dengan demikian pengujian dua nilai tengah data bebas dilakukan dengan asumsi ragam sama. Hasil pengujian didapatkan nilai t-hitung 7.252 dengan p-value 0.000 menunjukkan bahwa ada perbedaan antara hasil pembelajaran post test kelompok eksperimen dengan kelompok pembanding. Nilai rata-rata post test kelompok eksperimen sebesar 80.15 dan kelompok pembanding sebesar 62.45. Hasil ini semakin memperkuat kesimpulan sementara yang telah diperoleh berdasarkan data pada Gambar 1 di atas, bahwa kinerja penyelenggaraan diklat berbasis kompetensi lebih baik dibandingkan kinerja diklat yang belum berbasis kompetensi dilihat dari indikator capaian hasil belajar peserta diklatnya setelah selesai mengikuti diklat.

Hal ini cukup berasalan karena penerapan diklat berbasis kompetensi memerlukan persyaratan yang lebih banyak dibandingkan dengan pelaksanaan diklat yang belum berbasis kompetensi. Berdasarkan Peraturan Menteri Tenaga Kerja dan Transmigrasi Nomor 8 Tahun 2014 tentang Pedoman Penyelenggaraan Pelatihan Berbasis Kompetensi menyebutkan bahwa persyaratan yang harus dipenuhi dalam menerapkan diklat berbasis kompetensi dibagi menjadi tiga, yaitu persiapan, pelaksanaan, dan evaluasi. Dari ketiga tahapan tersebut, komponen yang paling penting adalah identifikasi kebutuhan pelatihan, menyiapkan fasilitas pelatihan seperti peralatan, bahan pelatihan, tempat pelatihan, modul (buku informasi, buku kerja dan buku penilaian), referensi (teks book, manual book, prosedur operasional standar (POS), dan referensi lainnya, penilaian/asesmen di lembaga pelatihan, dan monitoring evaluasi.

(17)

116 6. Penutup

Program diklat berbasis kompetensi memerlukan seperangkat diklat yang lengkap dibandingkan diklat yang belum berbasis kompetensi. Hasil dari penyelenggaraan diklat berbasis kompetensi diharapkan juga dapat lebih baik dalam peningkatan kompetensi peserta lulusan diklatnya. Kinerja penyelenggaraan diklat berbasis kompetensi dengan diklat yang belum berbasis kompetensi dapat diukur menggunakan disain evaluasi pre test post test nonequivalent control group. Disain ini lebih fleksibel dan mudah digunakan karena calon peserta yang mendaftar pada program diklat pada umumnya tidak dapat ditentukan secara acak oleh panitia penyelenggara diklat untuk masuk ke dalam kelompok tersebut (kelompok eksperimen dan kelompok pembanding). Semua calon peserta yang mendaftar secara alamiah akan masuk menjadi peserta salah satu diklat yang belum berbasis kompetensi dan diklat berbasis kompetensi selama kapasitas program diklat per angkatannya masih tersedia.

7. DAFTAR PUSTAKA

Bates, R. (2004). A Critical Analysis of Evaluation Practice: The Kirkpatrick Model and Principle of Beneficence. Evaluation and Program Planning, 27, 341-347. Berger, L., & Berger, D. (2008). The Handbook of Best Practice on Talent Management.

Jakarta: Penerbit PPM.

Engel, R., & Schutt, R. (2014). Fundamentals of Social Work Research (2nd ed.). SAGE Publications.

Kirkpatrick, D. (1998). Evaluating Training Programs (2nd ed.). San Fransisco: Berrett-Koehler Publishers.

Montgomery, D.C. (2009). Design and Analysis of Experiments. Ed ke-7. New York: John Wiley & Sons, inc.

Nasrul, M. (2009). Evaluasi Program Pelatihan. Medik (1), 39-44.

Nur’aini, F., Chamisijatin, L., & Nurwidodo. (2015). Pengembangan Media Berbasis Multimedia Interaktif untuk Meningkatkan Pemahaman Siswa MAN 2 Batu Materi Kingdom Animalia. Jurnal Pendidikan Biologi Indonesia, 1(1), 35-46.

(18)

117

Nurroeni, C. (2013). Keefektifan Penggunaan Model Mind Mapping Terhadap Aktivitas dan Hasil Belajar IPA. Journal of Elementary Education, 2(1), 54-60. Schumann, P., Anderson, P., Scott, T., & Lawton, L. (2001). A Framework For

Evaluating Simulations As Educational Tools. Development in Business and

Experiential Learning, 28, 215-220.

Zinovieff, M., & Rotem, A. (2008). Review and Analysis of Training Impact Evaluation

Methods, and Proposed Measures to Support a United Nations System Fellowships Evaluation Framework. Geneva: WHO Department of Human

(19)

427

Wavelet adalah fungsi gelombang kecil yang dapat membangun suatu basis ortonormal pada ruang 2

 

L

dimana fungsi 2

 

L

merupakan ruang vektor atau himpunan semua fungsi terukur

f

yangdidefinisikan dalam interval riil dengan

 

2

f t dx 

. Setiap fungsi wavelet (

) mempunyai pasangan fungsi skala (

) yang khas.

Dalam membangun basis pada 2

 

L

, wavelet membentuk keluarga wavelet berupa bentuk translasi dan dilatasi. Parameter translasi adalah parameter yang menunjukkan lokasi fungsi wavelet ketika proses pergeseran (shifting) dilakukan sepanjang sinyal, dengan kata lain parameter translasi ini menunjukkan informasi waktu (atau jarak) dalam transformasi wavelet. Parameter dilatasi didefinisikan sebagai 1/frekuensi sehingga parameter ini memberikan informasi frekuensi.

Persamaan fungsi skala dapat dituliskan :

 

/2

,

2

2

j j j k

t

t k

(3) Persamaan funsi wavelet dapat dituliskan :

 

/2

,

2

2

j j j k

t

t

k

(4)

Wavelet dan fungsi skala berrsama-sama dapat membangun ruang multiresolusi, sehingga setiap fungsi 2

 

f

L

dapat dinyatakan sebagai kombinasi linier dari wavelet dan fungsi skala yang dapat disajikan sebagai berikut

 

j,k j,k

 

j,k j,k

 

k j k

f t

V

t



W

t

(5)

dimana

j k

,

Z

, Vj,k merupakan koefisien skala dan Wj,k merupakan koefisien

wavelet. Koefisien skala dan koefisien wavelet dapat dihitung dengan persamaan berikut:

   

j,k j,k

V

f t

t dt

 

(6)

(20)

428

 

 

j,k j,k

W

f t

t dt

 

(7)

Analisis Multiresolusi (AMR) adalah keluargasubruang tertutup

V j

j

,

dari 2

 

L

mempunyai sifat: 1.

 

2 1 0 1

0

 

V

   

V

V

L

2. j

 

0

j

V

3. 2

 

j j

V

L

4.

f t

 

 

V

0

f

 

2

j

t

V

j untuk semua

j

Z

5.

f t

 

 

V

0

f t k

 

V

0 untuk semua

k

Z

6.

k

t

k

Zmerupakan basis ortonormal untuk

V

0 dimana

V

0 yang

disebut fungsi skala. 3.3 Filter Wavelet

Dari suatu wavelet terdapat sebanyak berhingga genap nilai-nilai dengan sifat istimewa. Himpunan nilai-nilai dimaksud disebut filter wavelet. Filter dalam transformasi wavelet dapat digunakan untuk mengubah sinyal menjadi dua bagian yaitu koefisien wavelet (bagian detail) dan koefisien skala (bagian smooth). Jika suatu sinyal

X

(data time series) dikenakan filter wavelet

 

h

n akan menghasilkan

bagian detail dan jika dikenakan filter skala

 

g

n akan menghasilkan bagian

smooth.Vektor

X

berdimensi N diartikan sebagai elemen analisis runtun waktu bernilai real

X t

t

,

0,1, 2,

,

N

1

.

Filter wavelet

 

h

n dengan lebar L

h l

l

:

0,1,

,

L - 1

memiliki sifat-sifat (Percival dan Walden, 2000) yaitu:

1 0

0

L l l

h

 

, 1 2 0

1

L l l

h

 

, dan 1 2 0

1

0

0

0

L l l n l

n

h h

n

  

 

n

(8)

(21)

429 1 0

2

L l l

g

 

, 1 2 0

1

L l l

g

 

, 1 2 0

1

0

0

0

L l l n l

n

g g

n

  

 

, dan 1 2 0

0

L l l n l

g h

  

untuk semua n (9)

Besaran filter berbeda untuk setiap keluarga wavelet. Filter wavelet untuk keluarga wavelet Haar adalah :

0

1

2

h

dan 1

1

2

h

 

(10)

sedangkan filter skala untuk keluarga wavelet Haar adalah :

0

1

2

g

dan 1

1

2

g

(11)

Filter wavelet untuk keluarga wavelet Daubechis 4 adalah :

0

1

3

4 2

h

; 1

3

3

4 2

h

 

; 2

3

3

4 2

h

; 3

1

3

4 2

h

 

; (12)

sedangkan filter skala untuk keluarga wavelet Daubechis 4 adalah :

0

1

3

4 2

g

; 1

3

3

4 2

g

; 2

3

3

4 2

g

; 3

1

3

4 2

g

(13)

4. Maximal Overlap Disrete Wavelet Transform (MODWT)

Pemodelan runtun waktu dengan Maximal Overlap Discrete Wavelet

Transform(MODWT) merupakan pengembangan dari pemodelan runtun waktu

dengan Discrete Wavelet Transform (DWT). Kelebihan metode MODWT dibandingkan dengan DWT adalah data tidak dibatasi kelipatan

2

J yang merupakan persyaratan untuk melakukan DWT, padahal data runtun waktu (N) tidak selamanya

2

J .

Filter wavelet dan filter skala MODWT didefinisikan sebagai

 

h

l dan

 

g

l

(22)

430 1,

1

2

l l l

h

 

h

h

dan 1,

1

2

l l l

g

g

g

(14)

 

1

1 l l L l

h

 

g

  dan

g

l

 

 

1

l1

h

L 1 l (15)

Persamaan MODWT dapat ditulis sebagai berikut :

0 0 0 1 J T T j j J J j

X

W

W

V

V

(16) 0 0 1 J j J j

D

S

(17)

Persamaan detail dan smooth MODWT dapat diidentifikasi yaitu :

1 1 T T T j

jj

W

j

D

A

A

B

(18) dan 0 1 0 1 0 0 T T T j

jj

V

j

S

A

A

A

(19)

(23)

431 0 3 2 1 1 0 3 2 2 1 0 3 3 2 1 0 3 2 1 0 3 2 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 j h h h h h h h h h h h h h h h h h h h h h h h h                          B (20) dengan

W

j

B

j

X

dan

V

J

A

J

X

5. MODEL PERAMALAN DENGAN MODWT

Pada unmumnya peramalan merupakan tujuan dari proses pemodelan. Dalam penelitian ini hasil transformasi wavelet digunakan untuk peramalan nilai tukar rupiah. Dalam penggunaan dekomposisi transformasi wavelet maka proses AR menjadi proses Multiscale Autoregressive (MAR) yang diberikan oleh Renaud dkk (2003). Pada proses MAR ini, masing- masingkoefisien wavelet dan koefisien skala mengikuti proses autoregressive, yang dinyatakan sebagai:

    1 , , 2 1 1,k , 2 1 1 1 1 ˆ j ˆ j ˆ j j A A J t j k j t k j j t k j k k Xa W aV    



(21) dimanaJ adalah level wavelet

j

1, 2,

,

J

, Aj adalah orde MAR

k

1, 2,

,

A

j

,

W

j t, adalah koefisien wavelet,

V

j t, adalah koefisien skala. aˆj k,

adalah koefisien MAR, dan t adalah waktu

Untuk mengetahui bagaimana memprediksi nilai data ke

t

1

dapat dilihat pada gambar berikut ini

(24)

432 Gambar 3.2 Koefisien Wavelet yang Akan Digunakan Untuk Meramalkan Nilai

Selanjutnya

Gambar di atas merupakan contoh model MAR yang mewakili model dengan level

J

4

dengan orde MAR Aj 2. Berdasarkan gambar tersebut menunjukkan

bahwa jika akan melakukan peramalan data ke-18, maka variabel input yang digunakan adalah koefisien wavelet level 1 pada

t

17

dan

t

15

, koefisien wavelet level 2 pada

t

17

dan

t

13

, koefisien wavelet level 3 pada

t

17

dan

9

t

, koefisien wavelet level 4 pada

t

17

dan

t

1

. 6. KESIMPULAN

Prosedur pemodelan dengan wavelet yaitu data nilai tukar rupiah dilakukan transformasi MODWT sehingga diperoleh koefisien skala dan wavelet. Kemudian koefisien skala dan wavelet akan digunakan untuk memperoleh nilai Multiscale

Autoregressive (MAR) yang akan digunakan untuk meramalkan data nilai tukar

(25)

433

7. DAFTAR PUSTAKA

Appleyard, Dennis R. and Field Jr, Alfred J. (1998), International Economics, 3rd

edition, McGraw-Hill.

Daubechies, I, 1992. Ten Lectures on Wavelets. Society for industrial Applied

Mathematics. Philadelpia: SIAM

Kuncoro, Mudrajad dan Hikmah Inayah, 2003, “Adakah Pengaruh Pernyataan Presiden Gus Dur terhadap Perilaku Kurs Rp/US$, 1 Januari 1999 – 30 April 2002?: Studi Empiris dengan Metode Box Jenkins (ARIMA)”, Jurnal Ekonomi dan Bisnis Indonesia, Vol. 18 No. 4, Oktober, FE UGM, Yogyakarta

Kuncoro, Mudrajad. 1996. Manajemen Keuangan Internasional: Pengantar Ekonomi dan Bisnis Global, Edisi Pertama, Yogyakarta: BPFE.

Percival, B.D. and Waldon, A.T., 2000, Wavelet for Time Series Analysis, Cambridge University Press, USA.

Renaud, O.,J.L Starck and F. Murtagh. 2002. Wavelet-based Forecasting of Short and

Long Memory Time Series. Universite de Geneve. Geneve

Vidakovic, Brani. 1999. Statistical Modeling by Wavelets. John Wiley & Sons. Inc. New York.

Wei, William W.S. 2006. Time Series Analysis, 2nd Edition. Addison Wisley. New York.

Gambar

Tabel 1. Empat tahap evaluasi penyelenggaraan diklat (Zinovieff &amp; Rotem,  2008)
Tabel 3. Disain pre test post test non equivalent control group  Kelompok
Tabel 4. Pengujian dua nilai tengah dengan asumsi ragam sama dan asumsi ragam  berbeda
Tabel 5. Nilai pre test dan post test evaluasi hasil pembelajaran
+4

Referensi

Dokumen terkait

Berdasarkan hasil analisis data diperoleh kesimpulan bahwa melalui variasi pembelajaran menggunakan media rintangan dapat meningkatkan hasil belajar Lari Sprint pada

Berdasarkan hasil analisis data tersebut, maka diperoleh kesimpulan penelitian: (1) Ada perbedaan hasil belajar Biologi siswa kelas VIII dengan menggunakan Think Pair

Berdasarkan data hasil belajar siswa yang diperoleh dari data awal, tes hasil belajar siklus I dan tes hasil belajar siklus II maka dapat ditarik kesimpulan bahwa

Berdasarkan perhitungan perbedaan hasil belajar kognitif siswa diperoleh hasil belajar Sehubungan dengan kesimpulan hasil penelitian di atas, maka penulis

Berdasarkan data awal yang diperoleh, rata-rata hasil belajar siswa yaitu 69,69 kriteria ketuntasan minimal untuk mata pelajaran matematika 60, dari data di atas siswa

Berdasarkan hasil di atas, maka kesimpulan yang dapat diambil dari penelitian ini adalah dari hasil analisis data pada penelitian ini diperoleh bahwa

Berdasarkan data hasil post test yang diolah menggunakan teknik CRI diperoleh hasil analisis CRI siswa di kelas eksperimen dan kontrol seperti yang ditunjukkan

Berdasarkan paparan data penilaian hasil belajar yang diuraikan peneliti di atas dari hasil yang diperoleh pada siklus II, maka pelaksanaan siklus II telah terlaksana dengan sangat baik