BIASRESPO
D
i
PONSE STYLEPADA EVALUASI KINERJ
UNIVERSITAS SANATA DHARMA
Skripsi
Diajukan sebagai salah satu syarat kelulusan Program studi Psikologi
Fakultas Psikologi
Disusun oleh: Rani Khrisna Mukti
059114062
FAKULTAS PSIKOLOGI UNIVERSITAS SANATA DHARMA
YOGYAKARTA 2011
ii SKRIPSI
BIASRESPONSE STYLEPADA EVALUASI KINERJA DOSEN
UNIVERSITAS SANATA DHARMA
Oleh:
Rani Khrisna Mukti 059114062
Telah disetujui oleh:
Pembimbing I:
iii SKRIPSI
BIASRESPONSE STYLEPADA EVALUASI KINERJA DOSEN
UNIVERSITAS SANATA DHARMA
Dipersiapkan dan ditulis oleh: Rani Khrisna Mukti NIM : 059114062
Telah dipertahankan didepan Panitia Penguji Pada tanggal 12 Juli 2011
Dan dinyatakan telah memenuhi syarat
Susunan panitia penguji:
Nama lengkap Tanda Tangan:
1. Agung Santoso, S.Psi., M.A. ………
2. A. Tanti Arini, S.Psi., M.Si. ………
3. Minta Istono, S.Psi., M.Si ………
Yogyakarta, 18 Agustus 2011 Fakultas Psikologi Universitas Sanata Dharma
Dekan
iv
HALAMAN MOTO
Tidak pernah berjalan mundur.
Sesekali boleh menoleh ke belakang, tapi jangan sampai menyesalinya..
Berpikir sebelum bertidak agar tidak ada penyesalan..
Terima kasih sebesar-besarnya pada:
Tuhan Yesus, Mami, Eric, dan teman-teman seperguruan
v
PERNYATAAN KEASLIAN KARYA
Saya menyatakan bahwa yang tertulis dalam skripsi ini adalah hasil karya saya sendiri, bukan karya maupun jiplakan karya orang lain, baik sebagian maupun seluruhnya. Pendapat maupun temuan orang lain yang terdapat dalam skripsi ini dikutip atau dirujuk berdasarkan kode etik ilmiah.
Yogyakarta, 22 Agustus 2011
vi
BIAS RESPONSE STYLE PADA EVALUASI KINERJA DOSEN UNIVERSITAS SANATA DHARMA
Rani Khrisna Mukti
ABSTRAK
Evaluasi kinerja dosen merupakan sesuatu yang penting bagi dunia pendidikan tinggi karena dapat mempengaruhi kualitas pembelajaran dalam suatu universitas. Banyak cara yang dilakukan untuk mengadakan evaluasi kinerja dosen. Salah satu caranya adalah dengan menyebarkan skala atau kuesioner. Kebanyakan skala menggunakan teknik penskalaansemantic differensialatau teknik Likert, yang memiliki kelemahan mudah terpengaruh oleh bias response style. Penelitian ini ingin membuktikan adanya biasresponse styledalam data evaluasi kinerja dosen USD. Data yang digunakan adalah data jawaban mahasiswa USD tahun ajaran 2009/2010. Jumlah data yang dapat digunakan sebesar 1620. Teknik analisis yang digunakan adalah teknik structural equation model. Peneliti membuat dua model untuk dibandingkan. Hasil perhitungan menunjukkan bahwa dengan df = 4, χ2 dengan nilai sebesar 478 memiliki nilai p < 0.05, yang menunjukkan bahwa kedua model tersebut memiliki perbedaan ke-fit-an yang signifikan. Hasil perbandingan fit index kedua model menunjukkan model dengan biasresponse stylelebih didukung oleh data evaluasi kinerja dosen USD.
vii
RESPONSE STYLE BIAS ON TEACHER EVALUATION OF SANATA DHARMA UNIVERSITY
Rani Khrisna Mukti
ABSTRACT
Teacher evaluation is something important for higher education system because it affects teaching quality of the university. There are many ways to do teaching evaluation. One way is through the dissemination of the scale or questionnaire. Some of questionnaires use semantic differential technic scale or known as Likert, that is easy to contamminated by bias response style. This study wants to prove the existence of this bias. This study uses the response of the students of Sanata Dharma University 2009 / 2010 generation. The total of data that can be used are 1620. This study use structural equation models (SEM) analytical techniques. The researchers created two models for comparison. The results of calculations show that withdf = 4, χ2 with the value 478 has a p <0.05, indicating that both models have fitness result that significantly differ. The comparison of both models show a response style bias on the data subject's performance evaluation
viii
LEMBAR PERNYATAAN PERSETUJUAN
PUBLIKASI KARYA ILMIAH UNTUK KEPENTINGAN AKADEMIS Yang bertanda tangan di bawah ini, saya mahasiswa Universitas Sanata Dharma
Nama : Rani Khrisna Mukti
Nomor mahasiswa : 059114062
Demi pengembangan ilmu pengetahuan, saya memberikan kepada Perpustakaan Universitas Sanata Dharma, karya ilmiah saya yang berjudul:
BiasResponse Stylepada Evaluasi Kinerja Dosen Universitas Sanata Dharma
beserta perangkat yang diperlukan (bila ada). Dengan demikian saya memberikan kepada Perpustakaan Universtas Sanata Dharma hak untuk menyimpan, mengalihkan dalam bentuk media lain, mengelolanya di internet atau media lain untuk kepentingan akademis tanpa perlu meminta ijin dari saya maupun memberikan royalti kepada saya selama tetap mencantukan nama saya sebagai penulis.
Demikian pernyataan ini yang saya buat dengan sebenarnya. Dibuat di Yogyakarta
Pada tanggal 22 Agustus 2011
Yang menyatakan,
ix
KATA PENGANTAR
Saya mengucapkan terima kasih kepada semua pihak yang membantu terselesaikannya skripsi ini. Skripsi ingin mengungkap tentang bias respon subyek yang seringkali tidak pernah diperhitungkan dalam pembuatan skala, misalnya dalam skala evaluasi kinerja dosen ini. Karena evaluasi itu adalah sesuatu yang subyektif, maka penilaian mahasiswa berangkat dari persepsi mahasiswa tersebut terhadap dosennya.
Banyak faktor yang dapat mempengaruhi penilaian subyektif seseorang. Dalam hal evaluasi kinerja dosen ini, menurut saya tidak hanya dapat dijawab dengan hanya melihat jawaban terbanyak, karena jawaban terbanyak bisa berarti dosen tersebut populer di kalangan mahasiswa atau dosen tersebut memang berkualitas. Tentunya kita semua ingin agar kuesioner ini bekerja sesuai dengan fungsinya agar pada akhirnya, mahasiswa, universitas dan juga dosen itu sendirilah yang akan menikmati hasilnya.
Saya memang tidak dapat menjawab semua pemikiran saya itu dalam penelitian ini. Tapi saya ingin menunjukkan salah satu faktor yang dapat mempengaruhi penilaian seseorang dalam menjawab kuesioner, yaitu bias respon subyek atau biasresponse style. Ini bukan topik yang familiar bagi saya, namun saya berusaha memberikan gambaran yang lengkap tentang bias ini.
x
dan membuat saya mempelajari pengetahuan baru, juga kepada teman-teman “seperguruan” yang memberikan nasihat serta sharing yang sangat membantu dan mendorong saya untuk tetap semangat dalam menyelesaikan penelitian ini. Tanpa sharing dan dukungan dari mereka semua, saya mungkin akan lebih lama menghabiskan waktu saya dengan berkutat dengan hal-hal yang tak perlu, merasa cemas dan tertekan karena merasa bahwa penelitian ini terlalu sulit untuk saya.
Akhir kata, saya mohon maaf apabila ada hal-hal yang tidak berkenan dalam penelitian ini. Saya berharap penelitian ini akan berguna bagi orang banyak dan memberikan pengetahuan baru bagi pihak-pihak yang membutuhkan.
xi DAFTAR ISI
HALAMAN JUDUL... i
HALAMAN PERSETUJUAN PEMBIMBING ... ii
HALAMAN PENGESAHAN... iii
HALAMAN MOTO ... iii
PERNYATAAN KEASLIAN KARYA ... iv
ABSTRAK ... v
ABSTRACT... vi
LEMBAR PERNYATAAN PERSETUJUAN PUBLIKASI... viii
KATA PENGANTAR ... ix
DAFTAR ISI... x
DAFTAR GAMBAR ... xiv
DAFTAR LAMPIRAN... xv
BAB I: PENDAHULUAN... 1
A. Latar belakang masalah... 1
B. Rumusan masalah... 5
C. Tujuan penelitian... 5
D. Manfaat penelitian... 6
BAB II: LANDASAN TEORI ... 7
xii
B. Evaluasi kinerja dosen... 10
C. Evaluasi kinerja dosen USD ... 12
D. Biasresponse style ... 17
E. Biasresponse stylepada evaluasi kinerja dosen USD ... 33
F. Model ... 35
BAB III: METODOLOGI PENELITIAN ... 39
A. Jenis penelitian ... 39
B. Variabel penelitian ... 39
C. Definisi operasional ... 39
D. Subjek penelitian... 40
E. Instrumen penelitian... 41
F. Validitas dan reliabilitas... 42
G. Metode analisis data ... 44
BAB IV: HASIL PENELITIAN DAN PEMBAHASAN... 45
A. Kancah orientasi... 45
B. Pelaksanaan penelitian ... 47
C. Hasil penelitian... 48
D. Pembahasan... 53
xiii
BAB V: KESIMPULAN DAN SARAN ... 59
A. Kesimpulan ... 59
B. Saran... 59
DAFTAR PUSTAKA ... 60
xiv
DAFTAR GAMBAR
Gambar 1: Pola BiasResponse Style... 22
Gambar 2: Gambaran Dimensi Budaya Hofstede Untuk Indonesia ... 34
Gambar 3: Model a, Model dengan BiasResponse Style... 36
xv
DAFTAR LAMPIRAN
Lampiran 1: Sampel data (48 awal, 48 tengah, 48 akhir) ... 64
Lampiran 2:Covariance Matrix... 70
Lampiran 3: Uji Analisis Statistik... 75
BAB I PENDAHULUAN
A. Latar Belakang Masalah
Semakin hari, kebutuhan manusia akan pendidikan semakin meningkat. Tingkat pendidikan akan berpengaruh pada kehidupan seseorang secara keseluruhan seperti penerimaan masyarakat, jenjang karir dan sebagainya. Masyarakat menginginkan pendidikan yang terbaik bagi anak-anak mereka, oleh karena itu lembaga pendidikan harus berlomba untuk menjadi yang terbaik. Untuk menjadi yang terbaik, lembaga pendidikan melakukan banyak kegiatan agar bisa menyediakan pendidikan yang berkualitas.
Paradigma baru pendidikan difokuskan pada otonomi, akuntabilitas, akreditasi dan evaluasi demi mencapai terselenggaranya pendidikan bermutu. Keempat pilar manajemen ini diharapkan pada akhirnya mampu menghasilkan pendidikan bermutu (Wirakartakusumah, 1998). Evaluasi merupakan salah satu dari keempat pilar yang diharapkan dapat memperbaiki mutu pendidikan. Evaluasi dosen merupakan cara untuk mengetahui pengaruh pengajaran dosen terhadap mahasiswa dalam perguruan tinggi (Ramsden, 1992). Evaluasi kinerja dosen digunakan dengan harapan agar kualitas para pengajar atau dosen dapat meningkat.
Evaluasi dosen sebagai bentuk penilaian kinerja memiliki tiga tujuan secara umum, yaitu tujuan strategis, tujuan administratif dan tujuan
pengembangan karyawan. Tujuan strategis berkaitan erat dengan tujuan dari organisasi tersebut sehingga penilaian kinerja sebaiknya terkait langsung dengan tujuan organisasi tersebut. Tujuan administratif yang dimaksud adalah untuk peningkatan gaji, promosi, pemberian penghargaan, pemutusan hubungan kerja. Tujuan pengembangan karyawan berkaitan dengan pengembangan karyawan agar bekerja lebih efektif, misalnya dengan konseling dan bimbingan, pelatihan dan pengembangan (Noe, Hollenbeck, Gerhart dan Wright, dalam Chairy, 2005). Tujuan evaluasi kinerja dosen secara khusus adalah untuk meningkatkan kualitas pembelajaran, mengembangkan diri dosen, meningkatkan kepuasan mahasiswa terhadap pengajaran, meningkatkan kepuasan kerja dosen, mencapai tujuan program studi/fakultas/universitas, serta meningkatkan penilaian masyarakat terhadap fakultas/universitas (Chairy, 2005).
yang ingin berkembang dalam bidang keilmuan dan perkembangan pribadi. Hal tersebut disampaikan oleh Ir. Ig. Aris Dwiatmoko, M.Sc. yang merupakan salah seorang dosen pendiri P3MP.
Evaluasi kinerja dosen yang tidak dilakukan dapat mengakibatkan program studi, fakultas maupun universitas tidak memiliki informasi mengenai kinerja pembelajaran dosen tersebut berdasarkan persepsi mahasiswa. Ini akan membuat program studi atau fakultas atau universitas tidak dapat memberikan saran maupun masukan kepada dosen untuk melakukan peningkatan.
Informasi mengenai dosen akan akurat jika alat ukur yang digunakan dapat memberikan informasi yang sesungguhnya atau yang sebenar-benarnya mengenai kualifikasi dosen yang bersangkutan, oleh sebab itu diperlukan alat ukur yang memenuhi kriteria tes yang baik.
Tes yang baik (Azwar, 2006) harus memiliki beberapa kriteria antara lain valid, reliabel, standar, ekonomis dan praktis. Selain itu, alat ukur tersebut juga harus memiliki item dengan kualitas yang baik. Salah satu kriteria item yang baik adalah item yang bebas dari biasresponse stylekarena bias ini dapat mengganggu akurasi data sehingga hasil yang muncul bukan gambaran dari kondisi subyek yang sesungguhnya. Keberadaan biasresponse style akan membuat data menjadi rancu atau tidak sesuai dengan kondisi atau penilaian subjek yang sebenarnya.
Acquiescence merupakan kecenderungan seseorang untuk mendukung suatu pernyataan begitu saja tanpa memperhatikan isi dari pernyataan tersebut. Sebaliknya, disacquiescence merupakan kecenderungan untuk tidak menyetujui suatu pernyataan apapun. Extreme response style (ERS) merupakan kecenderungan seseorang untuk memilih pilihan jawaban yang paling ekstrim (sangat setuju atau sangat tidak setuju). Midpoint response style adalah kecenderungan untuk memilih jawaban yang ditengah (biasa saja, netral, dll).
Evaluasi yang dipengaruhi oleh bias response style, membuat hasil evaluasi tersebut tidak menunjukkan kondisi yang sebenar-benarnya. Hasil evaluasi yang tidak akurat menyebabkan penilaian yang tidak akurat sehingga umpan balik atau saran yang diberikan kepada pihak yang bersangkutan meleset. Doniclar dan Grün (2009) menemukan bahwa bias response style dapat mengurangi keakuratan data hingga 29%. Koreksi data dari ARS (Acquiescence response style) meningkatkan akurasi data menjadi 84% - 85%. Jika ARS (Acquiescence response style) dan ERS (Extreme response style) dikoreksi, akurasi data dapat mencapai 97%.
mahasiswa sebagai respondennya, misalnya data evaluasi kinerja dosen yang sangat mempengaruhi peniliaian kualitas fakultas. Alat ukur yang kebal terhadap bias response style perlu dibuat untuk mengatasi kemungkinan terjadinya bias yang disebabkan karena perbedaan budaya tersebut. Namun sampai saat ini belum ada penelitian di Universitas Sanata Dharma yang membuktikan apakah instrumen yang dipakai sudah kebal terhadap biasresponse styleatau tidak.
Dari uraian di atas dapat diketahui pentingnya mengenali adanya bias
response stylepada alat ukur yang digunakan untuk mengevaluasi kinerja dosen. Untuk itu penelitian ini ingin mencoba menganalisis alat ukur yang digunakan oleh P3MP untuk mengevaluasi kinerja dosen apakah sudah kebal terhadap bias
response styleatau belum.
B. Pertanyaan Penelitian
Apakah ada biasresponse styledalam evaluasi kinerja dosen USD?
C. Tujuan Penelitian
D. Manfaat Penelitian 1. Manfaat teoritis
Menyumbangkan informasi tentang bias response style bagi bidang pengembangan alat tes agar pembuat alat tes atau skala lebih berhati-hati dalam membuat skala.
2. Manfaat praktis
BAB II
LANDASAN TEORI
A. Evaluasi Kinerja
1. Definisi evaluasi kinerja
Evaluasi kinerja adalah pengenalan, pengukuran dan pengaturan prestasi karyawan di dalam sebuah organisasi. Evaluasi ini sebaiknya berorientasi pada aktivitas masa depan yang memberikan feedback yang berguna bagi karyawan dan melatih mereka untuk meningkatkan tingkat produktivitasnya (Gómez-Mejia, Balkin dan Cardy, 2001).
2. Tujuan evaluasi kinerja
Secara umum ada tiga tujuan pentingnya dilaksanakan evaluasi kinerja (Noe, Hollenbeck, Gerhart dan Wright, 2000). Tujuan-tujuan tersebut adalah sebagai berikut:
a. Tujuan strategik
Sistem evaluasi kinerja para karyawan tersebut hendaknya berhubungan langsung dengan tujuan organisasi. Sistem evaluasi kinerja tersebut seharusnya fleksibel agar dapat mencapai tujuan strategik ini. Hal ini disebabkan karena apabila tujuan organisasi berubah, maka tingkah laku dan karakter para karyawan harus ikut menyesuaikan pula.
b. Tujuan administratif
Organisasi menggunakan informasi evaluasi kinerja dalam menentukan banyak keputusan administratif, misalnya kenaikan gaji, promosi,
terminationdanrecognition. c. Tujuan pengembangan
Tujuan ketiga dari dilaksanakannya evaluasi kinerja adalah untuk mengembangkan karyawan yang berkerja dengan efektif. Pada saat kinerja karyawan kurang memuaskan maka evaluasi kinerja ini dapat berfungsi untuk memberi masukan dan meningkatkan kinerja mereka.
Secara umum Noe, Hollenbeck, Gerhart dan Wright (2000) membagi dalam tiga tujuan tersebut dengan melihat dari sudut pandang kepentingan semua pihak, baik kepentingan perusahaan/organisasi maupun kepentingan karyawan itu sendiri.
a. Menuntun arah tujuan karyawan
Informasi evaluasi kinerja ini digunakan untuk mengambil keputusan-keputusan penting bagi karyawan misalnya mempromosikan, mempekerjakan ataupun memberhentikan karyawan. Tanpa informasi ini, keputusan-keputusan tersebut hanya dapat dibuat dengan pemilihan secara acak ataunya terkesan subyektif.
b. Memberi penghargaan kepada karyawan
Pemberian penghargaan terhadap karyawan seperti promosi, kenaikan berdasarkan pada kinerja karyawan.
c. Pengembangan personalia
Karyawan memerlukan feedback atas kinerja mereka agar mereka dapat berkembang. Evaluasi kinerja ini juga dapat memberikan masukan atas kebiasaan-kebiasaan baru yang lebih baik. Selain itu, evaluasi kinerja ini dapat memberikan informasi kepada banyak orang yang ingin mengetahui seberapa baik mereka dalam bekerja dan apa saja yang perlu mereka perbaiki.
d. Mengidentifikasi kebutuhantraining
e. Mengatur perencanaan bagi karyawan
Evaluasi kinerja menjadi dasar bagi perkembangan sistem perencanaan ketenagakerjaan yang terpadu dengan menyediakan informasi atas posisi-posisi yang baru terbentuk, keahlian terbaru para karyawan, perkembangan karyawan yang potensial, dan pengembangan pengalaman yang mereka butuhkan.
Kesimpulan yang dapat diambil dari beberapa tujuan diatas bahwa pada umumnya suatu organisasi mengadakan peniliaian kinerja terhadap karyawannya adalah untuk tujuan administrasi dan tujuan pengembangan karyawan itu sendiri. Penilaian kinerja digunakan untuk kepentingan administrasi pada saat dibutuhkan informasi untuk mengambil keputusan terhadap seorang karyawan yang meliputi promosi, pemberhentian maupun pemberian hadiah.
B. Evaluasi Kinerja Dosen 1. Definisi
2. Tujuan evaluasi kinerja dosen
Bergquist dan Phillips (dalam Miarso, 2004) berpendapat bahwa pengembangan tenaga dosen merupakan bagian inti dari pengembangan kelembagaan (institutional development), dan meliputi sebagian dari pengembangan personal, pengembangan profesional, pengembangan organisasi, dan pengembangan masyarakat. Miarso (dalam Karsidi, 2005) berpendapat bahwa pengembangan tenaga dosen juga dimaksudkan untuk pengembangan sarana, pengembangan karier sebagai bagian pengembangan organisasi, dan pengembangan kesejahteraan sebagai bagian penting dari pengembangan personal.
Tujuan diadakannya evaluasi kinerja dosen (Chairy, 2005). adalah untuk :
a. Meningkatkan kualitas pengajaran b. Mengembangkan diri dosen,
c. Meningkatkan kepuasan mahasiswa terhadap pengajaran, d. Meningkatkan kepuasan kerja dosen,
e. Mencapai tujuan program studi/fakultas/universitas,
f. Meningkatkan penilaian masyarakat terhadap fakultas/universitas.
berkembang sehingga dapat meningkatkan kualitas pengajaran sehingga meningkatkan penilaian masyarakat terhadap universitas dan mencapai tujuan universitas.
C. Evaluasi Kinerja Dosen USD 1. Definisi
Evaluasi diartikan sebagai penentuan nilai dalam pencapaian suatu program. Pengukuran diartikan sebagai pemberian angka pada status atribut atau karakteristik tertentu yang dimiliki oleh orang, hal atau obyek tertentu menurut aturan atau formulasi yang jelas. Penilaian adalah suatu proses mengambil keputusan dengan menggunakan informasi yang diperoleh melalui pengukuran. Penilaian dimaksudkan untuk memberi nilai tentang kualitas hasil belajar (Pusat Pengembangan dan Penjaminan Mutu Pengajaran [P3MP], 2010).
2. Tujuan
Secara umum tujuan evaluasi proses pembelajaran (P3MP, 2010) adalah untuk menjawab pertanyaan-pertanyaan berikut:
a. Apakah strategi yang dipilih dan digunakan oleh dosen efektif? b. Apakah media yang digunakan oleh dosen efektf?
c. Apakah cara mengajar dosen menarik dan sesuai dengan pokok materi sajian yang dibahas, mudah diikut dan mahsiswa mudah mengerti tentang materi tersebut?
d. Bagaimana persepsi mahasiswa terhadap materi sajian yang dibahas berkenaan dengan kompetensi dasar yang akan dicapai?
e. Apakah mahasiswa antusias untuk mempelajari materi sajian yang dibahas?
f. Bagaimana mahasiswa menyikapi pembelajaran yang dilaksanakan oleh dosen?
g. Bagaimanakah cara belajar mahasiswa?
Evaluasi kinerja dosen diadakan pada salah satu jam pertemuan setelah jam perkuliahan selesai, menjelang akhir semester. Kuesioner diisi oleh mahasiswa yang mengambil mata kuliah dosen yang bersangkutan. Tidak ada dosen yang berada di dalam kelas pada saat pembagian kuesioner oleh relawan yang bertugas sehingga diharapkan mahasiswa mengisi lembar kuesioner secara objektif tanpa adanya intervensi dari dosen yang bersangkutan. Setelah kuesioner yang berisi dari pandangan mahasiswa terhadap dosen yang bersangkutan dikumpulkan dan dijadikan satu, maka diperoleh angka yang menunjukkan kualitas pengajaran dosen yang bersangkutan dilihat dari persepsi mahasiswa. Berdasarkan hasil penilaian ini, diharapkan agar dosen dapat memperbaiki kekurangannya dalam hal mengajar dan mempertahankan atau meningkatkan hal yang sudah dianggap baik bagi mahasiswa (Purwatini, komunikasi pribadi, 14-12-2010).
3. Manfaat
Manfaat evaluasi kinerja dosen di USD ini ditinjau berdasarkan pihak-pihak yang memanfaatkan hasil dari evaluasi kinerja dosen itu sendiri (Purwatini, komunikasi pribadi, 14-12-2010), antara lain:
a. Bagi dosen yang bersangkutan akan mendapatkan umpan balik dari mahasiswa yang merasakan langsung proses pengajaran dosen tersebut. b. Bagi mahasiswa akan memperoleh pengajaran yang lebih baik
c. Bagi atasan (kaprodi, rektor) akan memperoleh gambaran tentang dosen di prodinya yang dapat digunakan untuk membuat perencanaan terhadap dosen tersebut. Misalnya untuk mengikutsertakan dosen dalam loka karya, seminar, pelatihan dan lain-lain.
Manfaat adanya evaluasi kinerja dosen ini harus dapat dirasakan oleh berbagai pihak, antara lain dosen itu sendiri, mahasiswa dan pihak universitas yang mempekerjakan dosen tersebut.
4. Instrumen
Intrumen evaluasi proses pembelajaran untuk memperoleh deskriptif dan/atau informasijudgementaldapat berwujud:
b. Kuesioner yang harus dijawab oleh mahasiswa berkenaan dengan strategi pembelajaran yang digunakan oleh dosen, minat dan persepsi mahasiswa tentang materi pembelajaran (P3MP, 2010).
P3MP, sebagai badan yang melakukan pengawasan terhadap berjalannya proses evaluasi belajar mengajar di USD, menggunakan dan mengembangkan instrument berdasarkan butir yang kedua. Instrumen yang dikembangkan oleh Universitas Sanata Dharma menggunakan aspek penilaian (P3MP, 2010) sebagai berikut:
a. Kinerja dosen dalam proses pembelajaran
b. Kontribusi mahasiswa dalam proses pembelajaran c. Kepuasan mahasiswa terhadap proses pembelajaran
Ketiga aspek ini penilaiannya dilakukan secara kuantitatif berdasarkan nilai yang diperoleh.
D. BiasResponse Style
1. Awal Mula Penelitian tentang BiasResponse Style
Bias response style sudah menjadi isu dalam pengukuran psikologi selama setengah abad (Messick; dalam Herk, Poortinga, dan Verhalen, 2004). Sebelum masa itu, jawaban yang diberikan oleh responden dianggap benar-benar mencerminkan pengetahuan dan pendapat responden. Para peneliti saat itu memulai penelitian tentang bias response style pada tahun 1940, dan Cronbach (dalam Herk, Poortinga, dan Verhalen, 2004) mempublikasikan dua hasil rangkumannya tentang biasresponse style tersebut. Cronbach menyebut dengan istilah response set untuk kecenderungan seseorang untuk merespon, terlepas dari isi pertanyaannya. Bagaimanapun juga, beberapa response set
yang muncul menjadi lebih stabil (Cronbach; Messick: dalam Herk, Poortinga, dan Verhalen, 2004), dan response set itu sendiri seolah-olah mencerminkan aspek kepribadian pemiliknya. Untuk menegaskan hal tersebut, Jackson dan Messick (dalam Herk, Poortinga, dan Verhalen, 2004) mengajukan istilahresponse style. Kedua istilah tersebut masih dipakai dalam penulisan literatur, namun dalam penelitian ini peneliti memutuskan untuk menggunakan istilah biasresponse style.
2. Definisi biasresponse style
spesifiknya. Bias ini mungkin awalnya merupakan respon sementara terhadap tekanan situasi, hal ini disebut sebagai response set (Paulhus, dalam Herk, Poortinga, dan Verhalen, 2004; Baumgartner & Steenkamp, dalam Harzing, 2006). Ketika seorang responden secara konsisten menunjukkan bias ini, maka hal ini disebutresponse style(Van Herk, Poortinga & Verhallen, 2004).
Smith (dalam Taylor, 2008) mendefinisikan bias response style dari sudut pandang psikologi antar budaya sebagai gaya komunikasi individu dalam hubungan antarkelompok yang direfleksikan dari tingkat budaya suatu negara, dan berlaku dalam konteks budaya tertentu.
Berdasarkan kedua definisi di atas maka penulis menyimpulkan bahwa bias response style adalah kecenderungan seseorang yang sistematis atau terpola untuk merespon atau mengkomunikasikan sesuatu, baik dalam bentuk kuesioner maupun pada komunikasi dalam kelompok.
3. Macam-macam biasresponse style a. Acquiescence response style (ARS)
mengidentifikasi acquiescence sebagai sumber dari bias metode pada umumnya yang berhubungan dengan sifat bawaan instrumen self-report itu sendiri.
Smith dan Fischer (dalam Taylor, 2008) mengungkapkan bahwa
acquiescence mungkin merupakan fungsi gabungan dari kepribadian responden dan faktor lain seperti format item dan konteks atau situasi saat tes diselenggarakan.
b. Disacquiscence response style (DRS)
Disacquiscence response style merupakan kebalikan dari
acquiescence, yaitu kecenderungan untuk tidak menyetujui suatu pernyataan, terlepas dari apapun isi pernyataannya (“nay-saying”; e.g., Bachman & O’Malley, dalam Taylor, 2008). Bias ini tidak sering dipelajari sepertiacquiescence.
c. Extreme response style (ERS)
Response style ini merupakan response style pertama yang ditemukan yaitu pada tahun 1946 oleh Cronbach. Extreme response style
pernyataan atau aitem, hanya saja responden cenderung memilih kategori yang ekstrim sebagai indikasi dari respon mereka.
Arce-Ferrer (2006; dalam Taylor, 2008) mengemukakan beberapa alasan perbedaan kemunculan extreme response styleantar budaya, antara lain norma budaya, karakteristik skala bertingkat, dan subjektivitas responden.
d. Middling/midpoint response style (MRS)
Middling response style merupakan kecenderungan untuk menjawab pada poin tengah dari pilihan jawaban yang tersedia. Kategori atau poin tengah dalam suatu skala biasanya berupa jawaban netral atau bukan setuju maupun tidak setuju. Oleh karena itu, sangat sulit menyimpulkan apakah responden mengisi poin tersebut karena sesuai dengan apa yang ada atau karena responden tidak menyatakan pendapatnya terhadap item (Taylor, 2008).
Weems dan Onwuegbuzie (dalam Taylor, 2008) menunjukkan bahwa menghilangkan kategori tengah dapat meningkatkan reliabilitas dari suatu skala, dan skala tanpa kategori tengah cenderung lebih reliabel daripada skala dengan kategori tengah.
Gambar di bawah ini merupakan gambar pola-pola biasresponse style:
Gambar 1. Pola response style (www.vovici.com, diakses tanggal 20 Februari 2011)
Berdasarkan penjelasan diatas maka dapat diketahui bahwa
response style ada beberapa jenis. Tipe response style yang akan dibahas dalam penelitian ini ada empat jenis, yaitu acquiescence, disacquiescence response style, extreme response style, dan midpoint (middling) response style.
4. Faktor penyebab munculnya biasresponse style
a. Latar belakang budaya
& Yoo; Hui & Triandis; Marin, Gamba, & Marin; Marshall & Lee; van Herk, Poortinga, & Verhallen; Welkenhuysen-Gybels, Billet, & Cambre; Zax & Takahashi, dalam Harzing, 2006). Penelitian menemukan bahwa responden Amerika, Australia, dan Hispanik cenderung memiliki tipe respon ERS, sedangkan responden Asia cenderung memiliki tipemiddling response style.
Banyak peneliti menggunakan dimensi budaya Hofstede (dalam Harzing, 2006) untuk menjelaskan penyebab munculnya response style
seperti penelitian yang dilakukan oleh Harzing (2006). Dimensi budaya yang digunakan antara lain:
1) Power distance
2) Uncertainty avoidance
Masyarakat dengan tingkat uncertainty avoidance yang tinggi berusaha meminimalisir berbagai macam situasi dan resiko dengan aturan-aturan dan hukum yang ketat untuk menghindari situasi yang tidak jelas (diluar kendali).Uncertainty avoidance terkait erat dengan
intolerance of ambiguity. Keduanya bersifat menolak ketidakjelasan. Penelitian membuktikan bahwa respon ekstrim yang diberikan oleh seseorang menunjukkan intolerance of ambiguity. Bagi responden,
endpoint bersifat lebih definitif dibandingkan dengan midpoint yang dirasa terlalu multi interpretasi (Hofstede, dalam Harzing, 2006). Semakin rendah toleransi masyarakat terhadap ketidakjelasan maka semakin tinggi kecenderungan untuk memiliki respon afirmatif (acquiescence). Selain itu nilai uncertainty avoidance berkorelasi positif secara signifikan dengan extreme response style (Harzing, 2006).
3) Individualism-collectivism
Ciri dari negara kolektivistik adalah harmoni, menghindari konfrontasi dan bersikap konformitas. Inisiatif dan opini individu ditentukan secara berkelompok. Harzing (2006) mengungkapkan bahwa kelompok kolektivistik mempunyai hubungan positif dengan
menerima konfrontasi dan memiliki kesadaran yang kurang akan konformitas dan harmoni. Mereka kurang memperhatikan konsekuensi yang ada jika memperlihatkan ekspresi yang terlalu kuat, sedangkan masyarakat kolektivistik cenderung menjaga harmonisasi dengan menyampaikan kesetujuan dan mengurangi perbedaan pendapat. Harzing (2006) dalam penelitiannya mengungkapkan kelompok individualistik memiliki hubungan negatif yang signifikan dengan
acquiescentdanmiddling response style.
4) Masculinity-femininity
Maskulin dapat diartikan sifat yang asertif dan sikap menantang. Dalam beberapa sumber menyebut masculinity sebagai extraversion,
misalnya Harzing (2006). Masyarakat dengan tipe maskulin cenderung menunjukkan extreme response style. Feminin dapat diartikan sifat yang sederhana. Masyarakat dengan tipe feminin cenderung menunjukkan tipe responmiddlingatauacquiescence.
b. Karakteristik individu
Beberapa peneliti memandang bias response style sebagai manifestasi dari sindrom kepribadian (Couch & Keniston; Crowne & Marlowe; Gage; Heilbrun; Jackson & Messick, dalam Hays, 1970). Bias
(Berg; Jackson & Messick, dalam Hays, 1970) dan telah dikaitkan dengan berbagai macam model pertahanan dalam penyesuaian diri seseorang (Couch & Keniston; Crowne and Marlowe, dalam Hays, 1970).
Hays (1970) dalam penelitiannya menyampaikan hubungan sifat kepribadian dengan kemunculan masing-masing bias response style pada seseorang. Berikut akan dijelaskan lebih lanjut mengenai sifat kepribadian yang mempengaruhi munculnya biasresponse style:
1) Acquiescence (yea-saying) response style
Acquiescence dipandang sebagai sikap yang meliputi otoreterianisme (sikap yang menganut paham otoriter atau kepatuhan mutlak), konformitas, dan kepatuhan (Gage & Chatterjee; Gage, Leavitt, & Stone, dalam Hays, 1970). Jackson (dalam Hays, 1970) menunjukkan bahwa responden dengan acquiescence kurang memiliki kepribadian yang kuat dan cenderung konformitas. Couch & Keniston (dalam Hays, 1970) menyatakan bahwa yeasayer menerima stimulus secara sadar tanpa penyensoran, pengubahan, atau asimilasi dan menyatakan kesetujuan, bertindak dan menyerah pada tekanan stimuli yang mendesaknya.
2) Disacquiescence (nay-saying) response style
Couch & Keniston (dalam Hays, 1970) juga mengungkapkan bahwa
karena faktor internal (dorongan, kebutuhan, perubahan suasana hati yang tiba-tiba) maupun eksternal (sugesti, provokasi, paksaan, kegemparan, kesenangan baru).
Perbedaan paling menonjol antara naysayer dan yeasayer
adalah pada fungsi ego mereka. Hasil penelitian menunjukkan bahwa
yeasayer rata-rata memiliki ego pasif (melepaskan, membebaskan), sebaliknya,naysayercenderung memiliki ego aktif (mengontrol).
3) Extreme response style (polarization)
Beberapa peneliti menduga penggunaan kategori ekstrim berhubungan dengan gangguan patologis. Zax, Gardiner & Lowy (dalam Hays, 1970) menyatakan bahwa kategori ekstrim pada skala semantic differensial digunakan lebih banyak oleh penderita schizophrenia
daripada kelompok kontrol. Berg and Collier (dalam Hays, 1970) menyatakan bahwa kategori ekstrim lebih sering digunakan oleh kelompok penderita kecemasan dan tidak dapat menyesuaikan diri daripada kelompok normal.
banyak digunakan oleh pasien pelaku bunuh diri dan penderita psikosomatik daripada kelompok kontrol. Frenkel-Brunswik (dalam Hays, 1970) menyatakan bahwa penggunaan kategori ekstrim dapat dikaitkan dengan intolerance ambiguity. Soueif (dalam Hays, 1970) mendukung pernyataan Brunswik bahwaintolerance ambiguitysangat erat kaitannya dengan penggunaan kategori ekstrim.
4) Middling response style (depolarization)
Beberapa hasil penelitian menyatakan bahwa depolarisasi berhubungan dengan psikopatologi (Morris, Eiduson, & O'Donovan, dalam Hays, 1970; O'Donovan, Morris, & Eiduson, dalam Hays, 1970). Morris, Eiduson, O’Donovan (dalam Hays, 1970) menemukan bahwa respon penderita schizophrenia mengumpul pada kategori netral. O’Donovan (dalam Hays, 1970) menyatakan bahwa middling response style (depolarisasi) merupakan response style karakteristik dari gangguan psikotik.
c. Karakteristik situasional
yang dimaksud dengan tekanan waktu adalah ketika seseorang merasa saat itu bukan waktu yang tepat untuk mengerjakan evaluasi, misalnya responden sudah memiliki rencana lain saat itu, atau subjek sedang terburu-buru (ingin pulang atau makan siang) atau waktu yang diberikan tidak cukup, dan sebagainya. Suatu skala sikap dapat dikatakan baik apabila memiliki kemampuan membedakan antara kelompok yang setuju dengan kelompok yang tidak setuju, oleh karena itu suatu item perlu dibuat berdasarkan pedoman atau kriteria informan penulisan pernyataan sikap (Azwar, 1997). Sebagai contoh, sebaiknya tidak membuat kalimat pernyataan yang memiliki kemungkinan besar untuk disetujui oleh banyak orang, mengandung lebih dari satu ide, ataupun menggunakan istilah-istilah sulit yang belum tentu dipahami oleh semua orang.
Berdasarkan penjelasan di atas, dapat disimpulkan bahwa hal-hal yang dapat mempengaruhi munculnya biasresponse styleantara lain: latar belakang budaya, karakteristik individu dan faktor situasional.
5. Dampak adanya biasresponse style
Sedikit yang mengetahui sampai mana bias response style ini mengganggu validitas dari studi antar budaya. Salah satu alasan mengapa tidak banyak yang mengetahui dampak bias ini adalah bahwa analisis dari
yang harus diteliti bertentangan dengan standar umum, terutama tingkah laku seseorang yang sesungguhnya (Herk, Poortinga, Verhallen, 2004).
Extreme response styleakan mempengaruhi validitas empiris dari hasil penelitian (Doniclar & Grün, 2007b). ERS akan menaikkan nilai reliabilitas dan menurunkan nilai validitas dari nilai yang sebenarnya (Clarke III, dalam Doniclar & Grün, 2007). Konsekuensinya, standar deviasi meningkat dan korelasi menurun; perubahan ini akan mempengaruhi seluruh metode yang menggunakan analisis korelasi sebagai fondasinya, seperti analisis faktor dan analisis regresi (Chun et al.; Heide & Gronhaug; Hui & Triandis, dalam Dolnicar & Grün, 2009)—dua metode yang paling umum digunakan dalam penelitian sosial empiris.
Acquiescence response styledapat meningkatkan perkiraan reliabilitas dari suatu alat ukur dan membuat prediksi suatu hubungan antar konstrak menjadi lebih tinggi atau lebih rendah. Dalam studi komparatif, bias
Secara umum dapat disimpulkan bahwa dampak munculnya bias
response style adalah mengubah perkiraan reliabilitas dan menurunkan validitas suatu alat ukur dari nilai yang sebenarnya.
6. Cara menghindari munculnya biasresponse style.
Bias response style merupakan bias yang sulit terdeteksi namun memiliki kemampuan untuk memalsukan validitas dan realibilitas. Untuk itu diperlukan usaha untuk menghindari munculnya bias response style. Metode yang bisa ditempuh antara lain:
a. Menggunakan binary answer format (yes/no question atauagree/disagree question) (Cronbach, dalam Doniclar & Grün, 2009) atau menggunakan
best-to-worst scalling (Lee, Soutar, Louviere, & Daly, dalam Doniclar & Grün, 2009), responden diminta menentukan pilihan terbaik dan pilihan terburuk dari tiga atau lebih pilihan jawaban yang tersedia.
b. Penggunaan kalimat positif negatif (positively and negatively items) untuk menghindari bias acquiescence, affirmation atau agreement (DeVellis: Nunnaly, dalam Motl & DiStefano, 2002). Dalam metode ini, setengah dari jumlah aitem dibuat ke arah positif dan setengahnya lagi di buat ke arah negatif. Menurut McClendon (dalam Billiet & McClendon, 2000)
acquiescence untuk kalimat positif akan dibatalkan dengan acquiescence
Namun, penelitian terbaru mengindikasikan bahwa strategi penulisan ini sendiri justru dapat memunculkan bias sistematis dalam analisis. Dan penafsiran dan pengelolaan aset tersebut melibatkan isu-isu konseptual dan metodologis sistematis (Horan, DiStefano, Motl, 2003, dalamwww.vovici.com, diakses tanggal 20 Februari 2011).
c. Choose-many question—menyusun banyak pertanyaan kemudian meminta responden untuk memilih mana yang sesuai bagi dirinya atau yang tidak disukai (www.vovici.com, diakses tanggal 20 Februari 2011). d. Ranking question—menggunakan skala bertingkat untuk menghindari
munculnya bias response style, dimana setiap pilihan dalam skala hanya digunakan sekali: paling penting sampai kurang penting, sangat memuaskan sampai kurang memuaskan, sangat suka sampai kurang suka (www.vovici.com, diakses tanggal 20 Februari 2011).
e. MaxDiff scaling—Maximum-Difference Discrete-choice. Memberikan empat atribut pilihan dalam satu item dan meminta responden untuk memilih atribut terbaik dan terburuk dalam satu set tersebut (Steve Lohen & Leopoldo Neira, dalam (www.vovici.com, diakses tanggal 20 Februari 2011).
negatively worded item, menggunakan choose-many question, menggunakan
ranking questiondan menggunakanMaxDiff-scaling.
E. BiasResponse Stylepada Evaluasi Kinerja Dosen USD
Dalam penelitian ini, peneliti akan mencari tahu apakah bias response style muncul dalam evaluasi kinerja dosen USD atau tidak. Peneliti menduga adanya kemungkinan muncul bias response style dalam evaluasi kinerja dosen USD dan juga biasresponse styletipe apa yang mendominasi data, namun belum ada bukti empiris yang mendukung dugaan tersebut. Dugaan ini didasarkan pada hasil studi yang menyebutkan bahwa Indonesia memiliki nilai power distance
Hasil studi tentang nilai dimensi budaya yang dimiliki oleh Indonesia dapat dilihat pada gambar berikut ini.
Gambar 2. Deskripsi dimensi budaya Hofstede untuk Indonesia
(www.geerthofstede.com, diakses tanggal 25 Februari 2011).
Keterangan:
PDI =power distance index
IDV =individual index
MAS =masculinity index
UAI =uncertainty avoidance index
Berdasarkan penjelasan di atas, peneliti menduga bias response style
F. Model
Peneliti menggunakan alat ukur Structural Equation Model (SEM) untuk menganalisis apakah bias response style muncul dalam evaluasi kinerja dosen USD dan menjawab pertanyaan peneliti. Program yang digunakan oleh peneliti untuk menganalisis data evaluasi kinerja dosen adalah program Lisrel 8.80. Model pengukuran yang digunakan ada 2 macam untuk membuktikan adanya bias
response styledalam data evaluasi kinerja dosen, yaitu model a yang merupakan model tanpa biasresponse style, dan model b yang merupakan model dengan bias
response style. Dalam program ini, model berarti hipotesis yang akan diuji. Cara membuktikan adanya bias response style adalah dengan membandingkan mana diantara kedua model tersebut yang lebih sesuai (fit) atau yang lebih didukung oleh data.
Keterangan:
Var = aspek-aspek yang digunakan dalam evaluasi kinerja dosen.
Var1 = indeks kinerja dosen dalam proses pembelajaran, mencakup item no 1 sampai item no 10.
Var2 = indeks partisipasi mahasiswa dalam proses pembelajaran, mencakup item no 11 sampai item no 17.
Var3 = indeks kepuasan mahasiswa, mencakup item no 18. It1-It18 = masing-masing item dari skala evaluasi kinerja dosen.
Bias = bias response style yang diprediksi dapat mempengaruhi keseluruhan item dalam skala evaluasi kinerja dosen.
Biasresponse styleakan dianggap muncul apabila kesimpulan dari hasil analisis memenuhi kondisi-kondisi berikut:
1. Terdapat perbedaan yang signifikan antara kedua model
2. Model b, model dengan bias response style, dinyatakan fit atau
memiliki χ2
BAB III
METODE PENELITIAN
A. Jenis penelitian
Jenis penelitian ini adalah penelitian kuantitatif deskriptif, yaitu penelitian yang dilakukan untuk mengetahui nilai variabel mandiri, baik satu variabel atau lebih
(independen) tanpa membuat perbandingan, atau penghubungan dengan variabel
yang lain.
Penelitian ini ingin melihat adanya bias response style dalam evaluasi kinerja dosen USD.
B. Variabel penelitian
Variabel yang akan diteliti adalah jawaban subjek untuk setiap aitem dalam evaluasi kinerja dosen USD.
C. Definisi operasional
Jawaban subjek untuk setiap aitem diperoleh dari lembar instrumen yang diisi oleh mahasiswa. Jawaban subjek memiliki interval 1 sampai dengan 7 dari skala bertingkat. Poin yang dipilih oleh subjek itulah yang akan menjadi jawaban subjek. Jawaban subjek berupa skor angka antara 1 sampai dengan 7.
D. Subjek penelitian
Subjek penelitian ini adalah mahasiswa Universitas Sanata Dharma Yogyakarta. Teknik pengambilan data yang digunakan adalah teknik purposive sampling. Peneliti mengambil data dari badan P3MP, badan yang mengurus masalah pengembangan kualitas pengajaran, termasuk evaluasi kinerja dosen ini. Peneliti meminta ijin kepada kepala badan P3MP terlebih dahulu untuk mengambil data. Setelah disetujui, peneliti membicarakannya dengan staf P3MP. Ketika mengajukan permintaan, peneliti memberikan gambaran sampel yang diinginkan, sebagai berikut:
1. Dari setiap fakultas hanya diambil satu kelas yang terdiri dari 30-50 mahasiswa yang terdiri dari berbagai angkatan.
2. Sampel yang diambil adalah mahasiswa yang mengikuti perkuliahan pada tahun ajaran 2009/2010.
Data jawaban subjek yang diperoleh peneliti terbagi menjadi dua bagian, yaitu data semester ganjil dan data semester genap. Total data semester ganjil berjumlah 942 data dari 30 kelas dari fakultas yang berbeda yang ada di Universitas Sanata Dharma. Sedangkan data semester genap berjumlah 759 dari 28 kelas dari fakultas yang berbeda. Total keduanya berjumlah 1701 data.
E. Instrumen Penelitian
Instrumen atau alat ukur yang digunakan dalam penelitian ini adalah skala evaluasi kinerja dosen USD yang dibuat oleh salah satu badan dalam universitas yang disebut Pusat Pengembangan dan Penjaminan Mutu Pengajaran (P3MP).
Instrument yang dikembangkan oleh Universitas Sanata Dharma berisi 18 item kuesioner dan 3 item refleksi yang diisi secara essay oleh mahasiswa. Instrument yang dikembangkan oleh Universitas Sanata Dharma menggunakan aspek penilaian (P3MP, 2010) sebagai berikut:
1. Evaluasi kinerja dosen oleh mahasiswa, yaitu aitem no.1 sampai dengan no.10.
2. Kontribusi mahasiswa dalam pembelajaran, yaitu aitem no.11 sampai dengan no.17
3. Kepuasan mahasiswa terhadap pembelajaran, yaitu aitem no.18
dipertahankan, dan hal-hal yang masih perlu ditingkatkan oleh mahasiswa sendiri dalam mengikuti perkuliahan.
F. Validitas dan Realibilitas 1. Validitas
Validitas sering dikonsepkan sebagai sejauh mana tes mampu mengukur atribut yang seharusnya diukur. Validitas digunakan untuk mencari tahu sejauh mana item-item tes mewakili komponen-komponen dalam keseluruhan kawasan isi obyek yang hendak diukur (aspek representasi) dan sejauh mana item-item tes mencerminkan cirri perilaku yang hendak diukur (aspek relevansi). Suatu alat ukur yang tinggi validitasnya akan menghasilkan eror pengukuran yang kecil, artinya skor setiap subyek yang diperoleh oleh alat ukur tersebut tidak jauh berbeda dari skor yang sesungguhnya (Azwar, 2004).
2. Reliabilitas
Reliabilitas adalah tingkat keterpercayaan hasil suatu pengukuran. Pengukuran yang memiliki reliabilitas tinggi, yaitu yang mampu memberikan hasil ukur yang terpercaya, disebut sebagai reliabel. Reliabilitas merupakan salah satu ciri atau karakter utama instrument pengukuran yang baik (Azwar, 2003).
Reliabilitas menyangkut ketepatan pengukuran tanpa menghiraukan apa yang diukur. Sejumlah random error tertentu selalu terjadi dalam semua pengukuran ilmiah. Random error inilah yang mengurangi ketepatan pengukuran (Nunnaly, 1970).
Skala evaluasi kinerja dosen sebelumnya telah diuji reliabilitas dan validitasnya dengan hasil yang baik, yaitu koefisien Cronbach Alpha 0.845 dan korelasi item total > 0.5.
3. Korelasi antar aspek
juga semakin tinggi. Kepuasan mahasiswa sebagai indikator global keberhasilan pembelajaran telah berperan dengan baik (Dwiatmoko, 2009).
4. Metode Analisis Data
BAB IV
HASIL PENELITIAN DAN PEMBAHASAN
A. Orientasi Kancah
P3MP adalah adalah salah satu badan yang bertugas untuk mengelola kegiatan-kegiatan dalam rangka pengembangan kualitas pembelajaran di Universitas Sanata Dharma. Universitas perlu melaksanakan proses pembelajaran yang baik karena proses pembelajaran yang baik berpengaruh besar terhadap akuntabilitas universitas. Penyelenggaraan proses pembelajaran yang berkualitas merupakan tanggungjawab sosial terhadap mahasiswa, masyarakat pengguna maupun pemerintah. Kegiatan-kegiatan yang dilakukan dalam rangka pengembangan kualitas tersebut antara lain berupa :
1. Pembuatan pedoman Penyusunan KBK Universitas
2. Penyelenggaraan lokakarya pembelajaran dan pendampingan mahasiswa. 3. Evaluasi perkuliahan di setiap akhir semester.
4. Penyediaan intensif penyusunan modul.
Evaluasi kinerja dosen dilakukan setiap menjelang akhir semester di akhir jam perkuliahan. Setiap kelas mata kuliah yang diampu oleh masing-masing dosen akan dibagikan lembar kuesioner evaluasi kinerja dosen yang nantinya akan diisi oleh mahasiswa menurut penilaian pribadi mereka. Kuesioner dibagikan oleh mahasiswa tertentu yang sudah ditunjuk oleh P3MP untuk membantu pelaksanaan evaluasi kinerja dosen. Kuesioner dibagikan setelah dosen
meninggalkan kelas pada akhir jam perkuliahan agar mahasiswa dapat mengisi lembar jawaban tanpa ada intervensi dari dosen yang bersangkutan. Setelah selesai mengerjakan kuesioner, lembar jawaban mahasiswa dikumpulkan lalu didata secara komputerisasi untuk diolah lebih lanjut. Data mentah atau data yang belum diolah inilah yang digunakan oleh peneliti dalam penelitian ini.
Kuesioner berisi 18 item pernyataan yang mencakup tiga aspek tertentu, antara lain:
1. Pernyataan no 1-10 dipakai untuk menentukan indeks kinerja dosen dalam pembelajaran.
2. Pernyataan no 11-17 menyangkut partisipasi mahasiswa.
3. Pernyataan no 18 menyangkut kepuasan mahasiswa atas keseluruhan proses belajar mengajar.
Kuesioner yang digunakan dalam evaluasi kinerja dosen tersebut menggunakan teknik penskalaansemantic differensial yang merupakan salah satu teknik self-report untuk pengukuran sikap dimana subyek diminta memilih satu kata sifat atau frase dari sekelompok pasangan kata sifat atau pasangan frase yang disediakan yang paling mampu menggambarkan perasaan mereka terhadap suatu objek. Poin penilaian adalah 1 (sangat negatif) sampai 7 (sangat positif).
Contoh:
1. Penguasaan dosen atas materi perkuliahan
2. Kesempatan mahasiswa berpartisipasi aktif melalui bertanya dan berdiskusi Sedikit :----:----:----:----:----:----:----: Banyak
3. Tanggapan dosen atas pertanyaan mahasiswa tentang materi perkuliahan Kurang perhatian :----:----:----:----:----:----:----: Penuh perhatian
Pihak universitas berharap dengan adanya program evaluasi kinerja dosen ini para dosen dapat meningkatkan kemampuan mereka, baik dalam pemahaman materi, penggunaan media untuk mempermudah proses pembelajaran, maupun memotivasi mahasiswanya untuk ikut aktif dalam kegiatan belajar mengajar.
B. Pelaksanaan Penelitian
Peneliti mulai mencari tahu tentang evaluasi kinerja dosen USD dan menemui Ibu Cornelio Purwatini selaku kepala P3MP, badan yang bertugas untuk mengelola kegiatan-kegiatan dalam rangka peningkatan kualitas pembelajaran di USD ini, dan salah satu kegiatannya adalah evaluasi kinerja dosen. Peneliti melakukan beberapa kali wawancara dengan beliau terkait fungsi, tujuan dan manfaat evaluasi kinerja dosen serta prosedur pelaksanaan dan juga penilaian. Peneliti juga meminta ijin kepada beliau agar bersedia memberikan data jawaban mahasiswa untuk digunakan dalam penelitian ini, dan sebagai gantinya beliau meminta peneliti agar membuatkan satu jilid kopian dari penelitian ini untuk disimpan sebagai arsip P3MP.
(sangat negatif) sampai 7 (sangat positif) yang merupakan jawaban dari kuesioner
semantic differensial evaluasi kinerja dosen. Peneliti meminta ijin secara langsung pada kepala P3MP, Bu Cornelio Purwatini untuk menggunakan data jawaban mahasiswa tersebut dalam penelitian ini. Data yang digunakan dalam penelitian ini merupakan data tahun ajaran 2009 semester ganjil dan 2009 semester genap. Data yang digunakan diambil secara random dari setiap jurusan yang ada di Universitas Sanata Dharma. Masing-masing jurusan diambil satu kelas sebagai sampel. Total data yang diperoleh adalah 1701 data, namun yang dapat digunakan hanya 1620 data.
C. Hasil Penelitian 1. Uji asumsi
a. Normalitas univariat
Hasil analisis yang diperoleh adalah data peneliti tidak mengikuti distribusi normal atau data tidak normal. Data dapat dikatakan normal apabila memiliki nilai p > 0.05, sedangkan dalam hasil analisis di atas data tersebut secara keseluruhan memiliki nilai p = 0.00.
b. Normalitas multivariat
2. Uji Model
Dalam proses pengolahan data, peneliti membuat 2 model untuk menjawab pertanyaan peneliti, yaitu memastikan apakah data evaluasi kinerja dosen mengandung bias response style atau tidak. Kedua model tersebut antara lain model tanpa biasresponse style(a) dan model kedua adalah model dengan biasresponse style(b).
Dalam analisis SEM digunakan beberapa uji statistik untuk menguji hipotesis dari model yang dikembangkan. Uji statistik yang digunakan untuk mengukur tingkat kesesuaian model dalam penelitian ini adalah:
a. χ2- chi square statistic
Alat uji statistik ini digunakan untuk menguji seberapa dekat kecocokan antara matriks kovarians sampel dengan matriks kovarians model. Nilai χ2 yang rendah dan level signifikansi yang lebih besar atau sama dengan 0.05 (p≥0.05) menandakan bahwa hipotesis nol diterima (Wijayanto, 2008).
b. RMSEA (The Root Mean Square Error of Approximation)
Model yang baik adalah model yang memiliki indeks RMSEA 0.05 < RMSEA≤0.08 (Brown dan Cudeck, dalam Wijayanto 2008).
c. NNFI (Non-Normed Fit Index)
d. CFI (Comparative Fit Index)
CFI memiliki nilai yang berkisar antara 0 sampai 1. Model yang baik adalah model yang memiliki CFI lebih besar dari atau sama dengan 0.95 (Hui dan Bentler, 1998; 1999).
e. RFI (Relative Fit Index)
RFI mempunyai nilai berkisar dari 0 sampai 1. Suatu model dinyatakan fit apabila memiliki RFI lebih besar dari atau sama dengan 0.90 (Bollen, dalam Wijayanto, 2008).
f. SRMR (Standardized Root Mean Square Residual)
Suatu model dinyatakan fit apabila memiliki RMSEA kurang dari atau sama dengan 0.08.
Berdasarkan hasil analisis model a (model tanpa bias response style)
memiliki nilai χ2
(df = 133) = 2083.024 (p < 0.05). Hal tersebut sebenarnya yang menunjukkan bahwa model tersebut tidak fit, akan tetapi perlu diteliti lebih lanjut tingkat ketidakcocokannya. Apabila ketidakcocokannya kecil, berarti tingkat kecocokannya lebih besar sehingga model tersebut masih bisa
dikatakan mempunyai kecocokan dengan data (Wijayanto, 2008). χ2
sendiri merupakan nilai yang dapat menjadi amat sensitif ketika jumlah n (jumlah subyek) semakin besar. Oleh karena itu peneliti perlu melihat nilai fit index
yang lain.
memenuhi standar fit index, yaitu dengan nilai RMSEA ≤ 0.08 (RMSEA = 0.0757), nilai NNFI ≥0.90 (NNFI = 0.974), nilai CFI≥0.90 (CFI = 0.977), nilai RFI≥0.90 (RFI = 0.971), dan nilai SRMR≤0.08 (SRMR = 0.0563).
Model b (model dengan bias response style) memiliki nilai χ2 (df =
129) = 1605.024 (p < 0.05). Seperti dalam penjelasan di atas, χ2
yang besar dan p < 0.05 belum tentu model tersebut tidak fit, sehingga perlu juga melihat nilaifit indexlainnya.
Model b dapat dinyatakan fit karena nilai-nilaifit index yang dimiliki oleh model b memenuhi standar nilai fit index, dengan nilai RMSEA ≤ 0.08 (RMSEA = 0.0656),nilai NNFI≥0.90 (NNFI = 0.980), nilai CFI≥0.90 (CFI = 0.983), nilai RFI ≥ 0.90 (RFI = 0.978), dan nilai SRMR ≤0.08 (SRMR = 0.0509).
Berdasarkan penjelasan di atas dengan melihat nilai angka fit index
masing-masing model, dapat disimpulkan bahwa kedua model dinyatakan fit atau didukung oleh data. Untuk melihat model mana yang lebih fit maka perlu diadakan uji beda kedua model.
3. Uji beda kedua model
a. Mencari selisih χ2(chi square) antara model a dengan model b.
χ2 a-χ2b
= 2083.024 – 1605.024 = 478
b. Mencari selisih df antara kedua model dfa- dfb = 133 – 129
= 4
c. Mengevaluasiselisih χ2dari kedua model dan df dari kedua model.
Peneliti menggunakan MS Excel untuk melakukan evaluasi ini. Hasil perhitungan dari MS Excel menunjukkan bahwa dengan df = 4, χ2 dengan nilai sebesar 478 memiliki nilai p < 0.05. Hal ini menunjukkan bahwa terdapat perbedaan ke-fit-an yang signifikan dari kedua model.
D. Pembahasan
Berdasarkan hasil analisis di atas, dapat disimpulkan bahwa kedua model a dan model b dinyatakan fit atau didukung oleh data. Dapat disimpulkan demikian karena angka-angka yang diperoleh memenuhi standar fit index. Fit index merupakan cara untuk memeriksa kecocokan antara data dengan model (Wijayanto, 2008). Apabila suatu model dinyatakan fit berarti dapat disimpulkan bahwa model tersebut mendekati kondisi sampel yang sebenarnya.
Model a (lihat gambar 3) dinyatakan fit, yang berarti ini menunjukkan bahwa skala evaluasi kinerja dosen memiliki validitas yang baik. Hal tersebut ditunjukkan dengan kesesuaian antara pengelompokan item dengan aspek-aspek yang menyusun skala evaluasi kinerja dosen. Korelasi antar aspek menunjukkan bahwa skala tersebut dapat diinterpretasi memiliki satu dimensi. Hal ini sesuai dengan tujuan skala untuk mengukur kinerja dosen dalam proses pembelajaran, partisipasi mahasiswa dalam proses pembelajaran dan kepuasan mahasiswa terhadap proses pembelajaran.
evaluasi kinerja dosen yang mempengaruhi setiap item di dalamnya. Dapat disimpulkan bahwa data yang dihasilkan dari skala Evaluasi Kinerja Dosen dipengaruhi juga oleh biasresponse style.
Karena kedua model dinyatakan fit, maka perlu dicari model mana yang dapat menggambarkan data dengan lebih baik. Hal ini dilakukan dengan uji perbandingan model. Hasilnya menunjukkan bahwa model b lebih fit karena
memiliki fit index χ2
, RMSEA, SRMR dan df yang lebih kecil dari model a, sehingga model b dinyatakan dapat menjelaskan data dengan lebih baik. Dapat disimpulkan bahwa bias response style mempengaruhi pengerjaan item skala Evaluasi Kinerja Dosen.
Ada beberapa faktor yang diduga memunculkan bias respon dalam pengerjaan skala Evaluasi Kinerja Dosen. Faktor-faktor tersebut dapat digolongkan menjadi faktor-faktor disposisional dan situasional. Faktor disposisional atau faktor bawaan meliputi faktor kebudayaan dan faktor kepribadian, sedangkan faktor situasional meliputi faktor tekanan waktu, ambiguitas pertanyaan dan lain sebagainya.
Masyarakat Indonesia memiliki tingkat power distanceyang paling tinggi di antara dimensi budaya lainnya (lihat gambar 2). Masyarakat Indonesia cenderung lebih otoriter dan takut pada kekuasaan, oleh karenanya dalam kepatuhan dalam masyarakat Indonesia menjadi hal yang umum. Kepatuhan ini muncul dalam bentuk acquiescence response style. Hal ini didukung oleh penelitian Harzing (2006) yang mengungkapkan bahwa dimensi kebudayaan
power distancemenunjukkan korelasi positif denganacquiescence.
Masyarakat Indonesia memiliki tingkat kolektivisme tinggi cenderung menjaga harmonisasi dalam bermasyarakat. Cara mereka dalam menjaga harmonisasi ini umumnya muncul dalam menjaga sikap dan cara bicara mereka agar tidak merusak hubungan sosial mereka. Mereka cenderung menyetujui pendapat orang yang berpengaruh di antara mereka, dan hal ini kemudian menjadi
acquiescence response style. Index kolektivisme memiliki hubungan positif denganacquiescence, tetapi tidak denganmiddle response style(Harzing, 2006).
Indexuncertainty avoidancedanmasculinitymasyarakat Indonesia berada di tingkat yang rata-rata, yang berarti masyarakat Indonesia memiliki kecenderungan extreme response style. Masyarakat yang memiliki tingkat
uncertainty avoidance yang tinggi cenderung untuk menghindari ketidakjelasan dan menyukai sesuatu yang pasti sehingga mereka cenderung untuk merespon sesuatu secara ekstrim. Sedangkan masyarakat yang tingkat masculinity-nya
Berdasarkan data tersebut maka kemungkinan jenis bias response style
yang mendominasi data ini adalah acquiescence response style, akan tetapi peneliti tidak dapat membuktikannya dalam penelitian ini. Hal ini disebabkan karena skala yang digunakan dalam penelitian ini hanya menggunakan item
favorablesaja dan tidak menggunakan itemunfavorable. Itemunfavorablesangat penting untuk membuktikan keberadaan bias acquiescence karena dapat membuktikan konsistensi responden dalam menjawab pernyataan.
Faktor kepribadian juga diduga menjadi penyebab munculnya bias
response style. Beberapa peneliti menyatakan bahwa bias response style
merupakan manifestasi yang signifikan dari sindrom kepribadian (Couch & Keniston; Crowne & Marlowe; Gage; Heilbrun; Jackson & Messick, dalam Hays 1970). Namun penelitian ini tidak dapat membahas faktor ini lebih jauh lagi karena peneliti tidak mengambil data tentang kepribadian mahasiswa.
Selain faktor disposisional, terdapat juga faktor situasional yang dapat mempengaruhi munculnya bias response style, yang mencakup ambiguitas pertanyaan dan tekanan waktu. Yang dimaksud dengan ambiguitas pertanyaan adalah pertanyaan yang sama dapat dipahami secara berbeda oleh subjek yang berbeda. Sedangkan yang dimaksud dengan tekanan waktu misalnya waktu yang sempit dapat membuat responden merasa terburu-buru dan tidak dapat menjawab pertanyaan dengan baik.
kurang tepat dapat memicu terjadinya bias response style. Misalnya, biasanya mahasiswa mengisi lembar kuesioner di akhir mata kuliah yang bersangkutan, akan terasa sangat melelahkan jika pengisian dilakukan pada saat tengah hari karena mahasiswa telah beraktivitas sejak pagi dan saat tersebut adalah saat makan siang.
Kaidah penulisan yang kurang tepat juga dapat memicu munculnya ambiguitas. Menggunakan kaidah penulisan pernyataan yang baik bertujuan agar seetiap pernyataan mempunyai kemampuan membedakan antara kelompok responden yang setuju dengan kelompok yang tidak setuju (Azwar, 1997). Menulis kalimat pernyataan yang sangat besar kemungkinannya akan disetujui oleh banyak orang merupakan salah satu kaidah penulisan yang kurang tepat (Azwar, 1997), misalnya pada item 1 dan item 4. Pernyataan yang mengandung banyak penafsiran Menggunakan kata-kata seperti “secara umum” dan “sesuatu yang cukup” juga dapat menimbulkan penafsiran yang berbeda-beda pada setiap orang, misalnya pada item 7, 9 dan 16.
E. Keterbatasan Penelitian
atau bias acquiescence. Untuk membuktikan apakah itu bias atau bukan, harus ada pernyataan unfavorable juga. Jika responden menjawab dengan konsisten pada pernyataan unfavorable, hal itu menunjukkan bahwa responden jujur. Jika responden tetap menjawab setuju pada pernyataanunfavorableberarti hal tersebut dapat dikatakan bias acquiescence. Oleh karena itu, kalimat favorable dan
BAB V
KESIMPULAN DAN SARAN
A. Kesimpulan
Berdasarkan uji model, model a dan model b dapat dinyatakan fit karena keduanya memiliki nilai fit index yang favorabel. Setelah melakukan uji beda kedua model, keduanya dinyatakan memiliki perbedaan tingkat ke-fit-an yang signifikan, sehingga untuk melihat model mana yang lebih didukung oleh data dapat dilakukan dengan cara membandingkan nilai-nilai fit index model mana yang lebih favorabel.
Berdasarkan hasil penelitian dapat disimpulkan bahwa terdapat bias
response style pada data evaluasi kinerja dosen USD. Peneliti tidak dapat menentukan tipe bias response style yang mempengaruhi data evaluasi kinerja dosen tersebut.
B. Saran
1. Kepada P3MP, untuk memperbaiki skala evaluasi kinerja dosen karena berdasarkan penelitian ini ditemukan biasresponse style.
2. Kepada peneliti yang ingin meneruskan penelitian ini untuk memasukkan item-itemunfavorabledalam rangka mengidentifikasi tipe bias response style
yang muncul.
DAFTAR PUSTAKA
Azwar, Saifuddin. (1997). Sikap Manusia: Teori dan Pengukurannya. Yogyakarta: Pustaka Pelajar.
Azwar, Saifuddin. (2006).Reliabilitas dan Validitas. Yogyakarta: Pustaka Pelajar. Billiet, J.B., & Davidov, E. (2008). Testing the Stability of an Acquiescence Style
Factor Behind Two Interrelated Substantive Variables in a Panel Design. Socialogical Methods & Research. Vol 36 no 4, May 2008.
Billiet, J.B., McClendon, M.J. (2000). Modelling Acquiescence in Measurement Models for Two Balanced Sets of Items.
Chairy, Lishce Seniaty. (2005). Evaluasi Dosen sebagai Bentuk Penilaian Kerja. Dipresentasikan dalam Workshop Evaluasi Kinerja Dosen oleh Mahasiswa, UIN Syarif Hidayatullah, Jakarta: 9 April 2005.
Cherrington, David J. (1995). The Management of Human Resources. Englewood Cliffs, NJ: Prince Hall.
Dolnicar, S., Grün, B. (2009). Response Style Contamination of Student Evaluation Data. Journal of Marketing Education, vol. 31 no. 2
Dwiatmoko, Aris. Ig. (2009). Analisis Statistis Kinerja Pembelajaran USD. Disampaikan dalam Seminar Internal Fakultas Sains Dan Teknologi Universitas Sanata Dharma, Yogyakarta: 20 Juni 2009.
Gómez-Mejia, L.R., Balkin, D.B., & Cardy, R.L. (2001). Managing Human Resources. New Jersey: Prentice Hall Inc.
Harzing, A.W. (2006). Response Styles in Cross-national Survey Research: A 26-country Study.http://ccm.sagepub.comdipungut tanggal 4 Oktober 2009. Hays, L.W. (1970). Repression and Response Style: Judgemental Phenomena in
Personality Assesment. Texas Tech University.
Henning, J. (July 23, 2010). Understanding Response Style dan Paragraph Style. Dipungut 20 Februari 2010, darihttp://blog.vovici.com/blog/bid/38361/
Herk. H, Poortinga.Y.H, Verhallen. T.M.M. (2004).Response Style in Rating Scales: Evidence of Method Bias in Data from Six EU Countries. Journal of Cross-Cultural Psychology, vol. 35 No. 3, 346-360.
Horan, P.M., DiStefano, C., Motl, R.W. (2003). Wording Effects in Self-Esteem Scales: Metodological Artifact or Response Style? Structural Equation Modelling, vol 10 (3), 435-445.
Johnson, T., Kulesa, P., Cho, Y.I., & Shavitt, S. (2005). The Relation Between Culture and Response Styles: Evidence From 19 Countries. Journal of cross-cultural pshycologiy, vol 36 No. 2, March 2005.
Karsidi, Ravik. (2005). Peningkatan mutu pendidikan Melalui penerapan teknologi Belajar jarak jauh. Dipresentasikan dalam Seminar Regional Unit Pelaksana Belajar Jarak Jauh – Universitas Terbuka, Solo, 28 Mei 2005.
Motl, R.W. & DiStefano, C. (2002). Longitudinal Invariance of Self-Esteem and Method Effects Associated With Negatively Worded Items. Structural Equation Modeling, vol 9 No. 4, 2002. Lawrence Erlbaum Associated, Inc. Miarso, Yusufhadi. (2004). Pengembangan Profesionalisme Dosen dalam Rangka
Peningkatan Mutu Perguruan Tinggi. Makalah ini merupakan pemutakhiran dari tulisan di Bagian 5 Bab 4 dalam buku Menyemai Benih Teknologi Pendidikan, Jakarta : Kencana, 2004.
Noe, R.A., Hollenbeck, J.R., Gerhart, B., & Wright, P.M. (2000). Human Resource Management: Gaining a Competitive Advantage (3rd Ed.). Boston: Irwin McGraw Hill.
Ramsden, P. (1992). Learning to Teach in Higher Education. London & New York: Routledge.
P3MP. (2010). Panduan Evaluasi Pembelajaran berbasis Pedagogi Ignasian. Universitas Sanata Dharma yogyakarta.
Paulhus, D. L. (1991).Measurement and Control of Response Bias. In J. P. Robinson, R. Shaver, & L. S. Wrightsman (Eds.), Measures of personality and social psychological attitudes(pp. 17-59). San Diego, CA: Academic Press.
Wijayanto, S.H. (2008). Structural Equation Modelling dengan Lisrel 8.8. Yogyakarta: Graha Ilmu.
LAM PIRAN
Lampiran II: Covariance Matrix
Uni ver sal Copyr i ght Convent i on.
Websi t e: www. ssi cent r al . com
The f ol l owi ng l i nes wer e r ead f r om f i l e E: \ r ani ponya\ I de Skr i psi \ bahan\ dat a gabungan\ gabungan. spj :
Covar i ance Mat r i x
Measur ement Equat i ons
Cor r el at i on Mat r i x of I ndependent Var i abl es
var 1 var 2 var 3 bi as
- - -
-var 1 1. 000
var 2 - 0. 974 1. 000
( 0. 017) - 58. 319
var 3 - 0. 968 0. 974 1. 000
( 0. 022) ( 0. 017)
- 44. 738 56. 383
bi as 0. 977 - 0. 971 - 0. 956 1. 000
( 0. 012) ( 0. 016) ( 0. 026)
Goodness of Fi t St at i st i cs
ECVI f or I ndependence Model = 33. 715
Chi - Squar e f or I ndependence Model wi t h 153 Degr ees of Fr eedom = 54549. 389
I ndependence AI C = 54585. 389
Model AI C = 1111. 697
Sat ur at ed AI C = 342. 000 I ndependence CAI C = 54700. 412
