Alat Ukur

METODOLOGI PENELITIAN

F. Alat Ukur

Metode pengumpulan data dilakukan dengan cara pemberian alat ukur. Kirkpatrick (1998) mengatakan bahwa ada empat level pengukuran untuk melihat efektivititas pelatihan. Empat level pengukuran tersebut adalah (1) level reaksi, (2) level belajar, (3) level perilaku, dan (4) level hasil. Pada penelitian ini, peneliti melakukan reduksi pada level hasil. Hal ini dikarenakan level hasil banyak variabel-variabel lain yang dapat mempengaruhi hasil dalam jangka panjang (Trapnel, dalam Kristanto 2004). Selain itu, menurut Kristanto jenis-jenis pelatihan tertentu seperti kepemimpinan, komunikasi, motivasi, dll sulit diukur dengan menggunakan model evaluasi hasil. Berikut ini adalah alat ukur yang digunakan.

1. Evaluasi Reaksi

Evaluasi reaksi bertujuan mengukur reaksi subjek terhadap program pelatihan. Evaluasi reaksi yang digunakan merupakan terjemahan dari buku yang berjudul “How To Measure Training Results, tahun 2002” karangan Jack J.Philips dan Ron Drew Stone. Aspek-aspek yang diukur dalam evaluasi reaksi adalah materi, metodologi, lingkungan, fasilitator, total penilaian dan penilaian

pelaksanaan secara menyeluruh. Jumlah aitem dalam tiap aspeknya tidak berimbang karena disesuaikan dengan evaluasi reaksi yang dipakai. Menurut Azwar (2005) penentuan bobot relevansi dapat ditentukan salah satunya melalui temuan yang pernah ada. Sebaran aitem dapat dilihat pada tabel spesifikasi berikut.

3.1. Tabel Spesifikasi Evaluasi Reaksi

Kategori penilaian yang digunakan merupakan kategori tipe likert. Skor 1 (sangat tidak setuju) untuk jawaban yang paling tidak mendukung bergerak sampai dengan skor 5 (sangat setuju) untuk jawaban yang paling mendukung. Sedangkan untuk penilaian program pelatihan secara menyeluruh skor 1 (sangat tidak baik) untuk jawaban yang paling tidak mendukung bergerak sampai dengan skor 10 (sangat baik) untuk jawaban paling mendukung. Rentang skor diperpanjang karena penilaian program pelatihan berpotensi besar terjadinya subjektifitas. Oleh karena itu, untuk mempertajam deferensiasi penilaian maka jenjangnya diperpanjang (Azwar, 2004).

Semakin tinggi nilai total tiap aspek yang diperoleh subjek menunjukkan reaksi terhadap program pelatihan semakin positif, sebaliknya semakin rendah nilai total tiap aspek yang diberikan subjek menunjukkan reaksi terhadap program pelatihan semakin negatif.

No Aspek Sebaran Aitem Bobot

1 Materi 1, 2, 3, 4 4 (22%)

2 Metodologi 5, 6, 7, 8, 9, 10, 11 7 (39%)

3 Lingkungan 12, 13, 14 3 (17%)

4 Fasilitator 15, 16, 17, 18 4 (22%)

Selain itu, diberikan juga ruang untuk menuliskan rencana aksi dan komentar-komentar pada tiap aspeknya, yang berguna sebagai data kualitatif.

Seleksi aitem tidak dilakukan dalam evaluasi ini karena karena evaluasi ini didesain khusus pada pelaksanaan pelatihan kecerdasan emosional yang baru pertama kali dilakukan, sehingga tidak relevan jka diberikan ke pelatihan lain. Untuk melihat kendalan atau konsistensi antar aitem itu sendiri, diperoleh

α

Cronbach sebesar 0,828 pada subjek penelitian. Hasil tersebut menunjukkan evaluasi reaksi yang dipakai adalah reliabel. Menurut Nugroho (2005) reliabiltas konstruk suatu variabel dikatakan baik jika memiliki nilai

α

Cronbach > 0,60

2. Evaluasi Belajar

Evaluasi belajar bertujuan untuk mengukur perubahan pengetahuan terhadap materi pelatihan. Pengumpulan data dilakukan dengan cara pemberian tes prestasi yang bersifat tes obyektif. Aitem-aitem tes didasarkan pada empat aspek kecerdasan emosional, yaitu kesadaran diri, mengelola diri, kesadaran sosial, dan mengelola hubungan. Keempat aspek tersebut secara umum dibagi dalam dua kompetensi, yaitu kompetensi pribadi (kesadaran diri dan mengelola diri) dan kompetensi sosial (kesadaran sosial dan mengelola hubungan).

Penilaian dilakukan dengan pemberian skor secara dikotomi, yaitu skor 1 untuk jawaban benar dan skor 0 untuk jawaban salah (Azwar, 2005). Nilai total yang semakin tinggi menunujukkan bahwa subjek memiliki pengetahuan yang semakin tinggi mengenai materi kecerdasan emosional, sebaliknya nilai total yang semakin rendah menunjukkan bahwa subjek memiliki pengetahuan yang semakin rendah mengenai materi kecerdasan emosional. Sebaran aitem sebelum uji coba dapat dilihat pada tabel spesifikasi berikut.

Tabel 3.2. Tabel Spesifikasi Evaluasi Belajar Sebelum Uji Coba

No Aspek Sebaran Aitem Bobot

1 Menyadari Diri 2, 4, 6, 10, 15 5 (25%) 2 Mengelola Diri 5, 8, 11, 14, 20 5 (25%) 3 Menyadari Orang Lain 1, 9, 13, 16, 17 5 (25%) 4 Mengelola Hubungan 3, 7, 12, 18, 19 5 (25%)

TOTAL 20 (100%)

Sebelum evaluasi belajar digunakan, peneliti terlebih dahulu melakukan uji coba. Peneliti menyebar 32 eksemplar evaluasi belajar, yang kesemuanya kembali dan memenuhi syarat untuk dianalisis. Uji reliabilitas pada aitem-aitem evaluasi belajar didapat koefisien

α

Cronbach sebesar 0,860. Menurut Azwar (2005) ada 2 kriteria atau parameter untuk melihat kualitas aitem, yaitu indeks kesukaran aitem (p) dan indeks daya diskriminasi aitem (d). Azwar menambahkan analisis aitem dapat dilakukan dengan bantuan fasilitas SPSS, untuk menghitung indeks kesukaran aitem dengan subprogram descriptive dikarenakan angka hanya 1 dan 0 saja, untuk menghitung indeks daya

diskriminasi dengan subprogram correlation yang merupakan korelasi antara skor tiap aitem dengan skor total.

Hasil analisis dengan menggunakan SPSS for Windows versi 12.0 diperoleh indeks kesukaran aitem antara 0,22–0,84. Peneliti menghendaki adanya aitem-aitem tes yang memiliki tingkat kesukaran merata (mudah, sedang, dan sulit) sehingga tidak dilakukan seleksi aitem berdasarkan indeks kesukaran aitem. Hasil analisis pada indeks daya diskriminasi aitem, diperoleh hasil antara 0,038-0,741. Berdasarkan hasil tersebut diperoleh 16 aitem yang lolos seleksi, 2 aitem gugur dan 2 aitem sengaja digugurkan untuk menyeimbangkan proporsi. Berikut ini adalah tabel spesifikasi evaluasi belajar setelah uji coba.

Tabel 3.3. Tabel Spesifikasi Evaluasi Belajar Setelah Uji Coba

No Aspek Sebaran Aitem Bobot

1 Menyadari Diri 2*, 4, 6, 10, 15 4 (25%) 2 Mengelola Diri 5, 8, 11, 14, 20* 4 (25%) 3 Menyadari Orang Lain 1, 9, 13*, 16, 17 4 (25%) 4 Mengelola Hubungan 3*, 7, 12, 18, 19 4 (25%)

TOTAL 16 (100%)

3. Evaluasi Perilaku

Untuk mengukur perubahan perilaku yang lebih cerdas secara emosional diberikan evaluasi dalam bentuk skala. Aitem-aitem skala didasarkan pada empat aspek kecerdasan emosional, yaitu kesadaran diri, mengelola diri, kesadaran sosial, dan mengelola hubungan. Keempat aspek tersebut secara umum dibagi dalam dua kompetensi, yaitu kompetensi pribadi (kesadaran diri dan mengelola diri) dan kompetensi sosial (kesadaran sosial dan mengelola hubungan).

Kategori penilaian yang digunakan merupakan kategori tipe likert. Penilaian butir-butir yang mendukung bergerak dari skor 1 untuk jawaban (sangat tidak sesuai) sampai dengan skor 6 untuk jawaban (sangat sesuai). Untuk penilaian butir-butir yang tidak mendukung bergerak dari skor 1 untuk jawaban (sangat sesuai) sampai dengan skor 6 untuk jawaban (sangat tidak sesuai). Nilai total yang semakin tinggi menunjukkan semakin sesuai perilaku cerdas secara emosional, sebaliknya nilai total yang semakin rendah menunjukkan semakin tidak sesuai dengan perilaku cerdas secara emosional. Berikut ini adalah tabel spesifikasi perilaku sebelum uji coba.

Tabel 3.4. Tabel Spesifikasi Evaluasi Perilaku Sebelum Uji Coba

Sebelum digunakan sebagai evaluasi perilaku final, peneliti melakukan uji coba terhadap alat ukur terlebih dahulu. Uji validitas yang digunakan adalah uji validitas isi atau content validity. Validitas isi merupakan validitas yang diestimasi lewat pengujian terhadap isi tes dengan analisis rasional atau lewat profesional judgment (Azwar, 1999). Aitem-aitem dalam evaluasi perilaku telah dikoreksi oleh profesional judgment, yaitu dosen pembimbing.

Proses seleksi aitem dilakukan dengan cara pengujian daya diskriminasi aitem. Daya diskriminasi aitem adalah kemampuan aitem

No Aitem No Aspek Favorabel Unfavorabel Jumlah 1 Kesadaran Diri • Kesadaran emosional

• Penilaian diri yang akurat

• Harga diri 1, 21, 28, 32 2, 17, 22, 38 14, 18, 23, 39 16, 25, 30, 43 15, 26, 34, 48 24, 35, 37, 35 24 (25%) 2 Mengelola Diri • Pengendalian diri • Integritas

• Disiplin dan tanggungjawab

• Adaptibilitas • Dorongan berprestasi • Inisiatif 13, 27 4, 36 29, 47 10, 46 9, 42 41, 45 3,19 12, 20 5, 11 6, 40 7, 33 8, 31 24 (25%) 3 Kesadaran Sosial • Empati

• Orientasi pada pelayanan

• Kesadaran organisasi 49, 63, 73, 84 51, 66, 75, 89 52, 62, 67, 88 50, 65, 74, 90 61, 64, 85, 96 68, 86, 87, 95 24 (25%) 4 Mengelola Hubungan

• Membangun orang Lain

• Pengaruh • Komunikasi • Manajemen konflik • Kepemimpinan • Katalisator perubahan • Membina hubungan • Kerjasama &kolaborasi 53, 76 60, 94 59, 71 58, 79 93 91 83 82 69 70 92 80 57, 81 54, 77 55, 78 56, 72 24 (25%) TOTAL 48 48 96 (100%)

dalam membedakan antara subjek mana yang memiliki skor tinggi dan subjek mana yang memiliki skor rendah (Azwar, 2005). Dalam mengukur daya diskriminasi aitem dilakukan dengan menghitung koefisien korelasi antara nilai subjek yang bersangkutan dengan nilai total skala. Semakin tinggi korelasi positif antara nilai aitem yang bersangkutan dengan nilai total berarti semakin tinggi konsistensi aitem yang bersangkutan (aitem tersebut reliabel). Batasan koefisien korelasi aitem-total (riX) untuk mengukur daya disriminasi adalah rix ≥ 0,30. Hal ini dikarenakan aitem yang memiliki harga rix kurang dari 0,30 dapat diinterpretasikan sebagai aitem yang memiliki daya diskriminasi rendah sedangkan aitem yang memiliki harga r_iX minimal 0,30 daya diskriminasinya dianggab memuaskan (Azwar, 2005). Namun, Azwar juga menambahkan jika jumlah aitem yang lolos ternyata tidak sesuai dengan jumlah yang diinginkan kita dapat menurunkan sedikit batas kriteria 0,30 menjadi 0,25.

Uji reliabilitas dimaksudkan untuk mengukur kestabilan atau konsistensi suatu pengukuran (Azwar, 1999). Estimasi reliabilitas dilakukan dengan melihat konsistensi antar aitem dalam skala itu sendiri. Tinggi rendahnya keandalan ditujukkan oleh koefisien keandalan. Koefisien keandalan dicari dengan menggunakan teknik alpha Cronbach.

Peneliti menyebar 56 eksemplar evaluasi perilaku. Setelah dianalisis ada 44 eksemplar yang memenuhi syarat. Berdasarkan analisis dengan menggunakan SPSS for Windows versi 12.0 diperoleh koefisien korelasi aitem-total (rix) antara -0,048 sampai 0,774. Berdasarkan seleksi

pada aitem-aitem yang memenuhi syarat dan masukan dari subjek uji coba yang mengeluh terhadap banyaknya aitem, evaluasi perilaku ditentukan berjumlah 48 aitem, 48 aitem gugur dan sengaja digugurkan. Pada uji reliabilitas pertama diperoleh koefisien

α

Cronbach sebesar 0,957, sedangkan pada uji reliabilitas ke dua terjadi penurunan koefisien

α

Cronbach sebesar 0,952. Terjadinya penurunan koefisien

α

Cronbach dikarenakan jumlah aitem ditentukan berdasarkan keseimbangan proporsi antar aspek dan kompetensi-kompetensi kecerdasan emosional. Jadi meskipun terjadi penurunan koefisien

α

Cronbach, tetapi terjadi peningkatan koefisien korelasi aitem-total (rix), yaitu antara 0,271-0,753. Berikut ini adalah tabel spesifikasi evaluasi reaksi setelah uji coba.

Tabel 3.5. Tabel Spesifikasi Evaluasi Perilaku Setelah Uji Coba No Aitem No Aspek Favorabel Unfavorabel Jumlah 1 Kesadaran Diri • Penyadaran Emosional

• Penilaian diri yang akurat

• Harga diri 1*, 21, 28*, 32 2*, 17*, 22, 38 14*, 18*, 23, 39 16*, 25*, 30, 43 15, 26*, 34*, 48 24*, 35, 37*, 35 12 (25%) 2 Mengelola Diri • Pengendalian diri • Integritas

• Disiplin dan tanggungjawab

• Adaptibilitas • Dorongan berprestasi • Inisiatif 13*, 27 4, 36* 29*, 47 10*, 46 9*, 42 41*, 45 3*,19 12*, 20 5, 11* 6, 40* 7*, 33 8*, 31 12 (25%) 3 Kesadaran Sosial • Empati

• Orientasi pada pelayanan

• Kesadaran organisasi 49*, 63, 73, 84* 51, 66*, 75, 89* 52, 62*, 67, 88* 50*, 65*, 74, 90 61*, 64, 85, 96* 68, 86, 87*, 95* 12 (25%) 4 Mengelola Hubungan

• Membangun orang lain

• Pengaruh • Komunikasi • Manajemen konflik • Kepemimpinan • Katalisator perubahan • Membina hubungan • Kerjasama &kolaborasi 53, 76* 60, 94* 59*, 71 58, 79* 93* 91* 83 82 69 70 92* 80 57*, 81 54*, 77 55*, 78* 56, 72* 12 (25%) TOTAL 24 24 48 (100%) Catatan.

Untuk aitem-aitem yang diberi (*) dan (_) adalah aitem-aitem yang digugurkan karena memiliki daya diskriminasi aitem kurang baik, sedangkan aitem yang diberi (*) saja adalah aitem-aitem yang sengaja digugurkan.

4. Observasi

Selain dengan ketiga alat ukur diatas, dilakukan juga observasi oleh tiga observer independen. Observer adalah mahasiswa psikologi yang telah menempuh mata kuliah observasi. Tujuan diadakannya observasi adalah untuk mengetahui metode yang digunakan, performansi fasilitator, perilaku peserta, dan suasana lingkungan selama program pelatihan. Observasi dilaksanakan pada setiap sesi pelatihan dengan menggunakan form observasi.