KESAHAN KANDUNGAN PAKAR INSTRUMEN IKBAR BAGI PENGUKURAN AQ MENGGUNAKAN NISBAH KESAHAN KANDUNGAN
Mohd Effendi
Fakulti Pendidikan, Universiti Kebangsaan Malaysia, Bangi, Malaysia Hisyamsani Idris
Politeknik Sultan Azlan Shah, Perak, Malaysia Normawati Abdul Rahman
Politeknik Sultan Azlan Shah, Perak, Malaysia Ahmad Zamri Khairani
Universiti Sains Malaysia, Pulau Pinang, Malaysia
Abstract
This study aimed to examine the content validity of measurement instruments or IKBAR Adversity Quotient for polytechnic student use the Content Validity Ratio analysis (CVR) by Lawshe (1975). The study was conducted through a written questionnaire evaluation and online on 37 experts selected via judgement sampling. They consist of nine professional expert panels at the university and lay expert panel consisted of 28 people who worked in the field of polytechnics. Validity involves 220 items with four main constructs based on CORE Model by Stoltz (1997) namely control, ownership, reach and endurance. The overall findings recorded (N = 37, CVI = 0.664, CVR = 8 items purified). The results have proved IKBAR instrument has great potential to be promoted as a measuring instrument psychometric adversity quotient for polytechnic students. It is recommended that further research be carried out using the deeper statistical analysis, such as the Rasch model detailing items with better quality.
Keywords: Content Validity, AQ, Content Validity Ratio, Experts’ Panel, Polytechnic
1.0 Pengenalan
Mengukur dan melaporkan kesahan kandungan sesuatu instrumen adalah intipati utama dalam kajian. Kesahan kandungan merupakan topik penting bagi pengkaji yang memerlukan kualiti pengukuran yang tinggi (Polit, Beck, & Owen, 2007) dan jenis kesahan yang pertama sekali perlu dilaksanakan apabila membina instrumen baru (Ebel, 1967). Kesahan ini memberi keyakinan kepada pengkaji dan pembaca tentang instrumen tersebut (Yaghmaie, 2003). Walaupun kesahan kandungan bersifat subjektif, ia boleh menambahkan objektiviti dalam kajian (Rubio, Berg-Weger, S.Tebb, Lee, & Rauch, 2003). Kesahan kandungan berfungsi sebagai melihat sejauhmana dimensi dan elemen sesuatu konsep berjaya didefinisikan (Sekaran & Bougie, 2011). Kesahan
kandungan merujuk kepada sejauh mana sesuatu ujian merangkumi kandungan yang hendak dinilai (Siti Rahayah Ariffin, 2008). Lazimnya, ia adalah langkah awal dalam membentuk kesahan sesuatu alat ukur (Sabitha Marican, 2009). Ia berfungsi mengesahkan item – item pada ujian yang mewakili setiap konstruk yang hendak diukur (Miller, Lovler, & McIntire, 2013).
Kesahan kandungan instrumen bergantung kepada kemampuan domain spesifik yang disampelkan (Nunnally, 1978). Pengkaji lepas menjelaskan kesahan kandungan sebagai sejauh manakah sesuatu instrumen itu mewakili kandungan yang sepatutnya diukur (Bush, 1985), perwakilan kepada kandungan instrumen (Kerlinger, 1986) dan skala kandungan (Yaghmaie, 2003). Kesahan kandungan diperolehi daripada tiga sumber iaitu kajian literatur, wakil daripada populasi yang relevan dan panel pakar (experts) (Burns & Grove, 1993). Namun begitu, kesahan kandungan pada fasa penilaian (judgement) yang dimaksudkan adalah berdasarkan bukti kuantitatif (Wilson, 1989). Fasa penilaian bermakna penilaian daripada profesional yang diperlukan untuk memastikan skala yang direkabentuk mengukur trait yang sebenar (Nunnally, 1978). Ghiselli (1964) juga bersetuju bahawa kesahan kandungan adalah subjektif dan berdasarkan penilaian pakar. Ia selaras dengan Johnson & Christensen (2012) yang menyatakan kesahan kandungan dibuktikan melalui penilaian pakar yang akan menilai pengukuran konstruk, kandungan ujian serta membuat keputusan sama ada kandungannya memadai untuk mewakili sesuatu dimensi atau konstruk. Yaghmaie (2003) menjelaskan kesahan kandungan sebagai penilaian yang subjektif oleh pakar tentang sejauhmanakah sesuatu konstruk itu relevan terhadap instrumen yang diuji. Ia disokong dengan maklumbalas yang konstruktif tentang kualiti alat ukur yang baru dibina dan kriteria objektif bagi menilai setiap item boleh diperolehi daripada panel pakar (Rubio et al., 2003).
Pandangan pakar adalah penting kerana tiada kaedah objektif yang lengkap untuk menjelaskan kesahan kandungan sesuatu instrumen walaupun dengan menggunakan pendekatan statistik sekalipun (Dempsey & Dempsey, 1986; Polit & Hungler, 1991). Sternberg, Jarvin, & Grigorenko (2011) juga menekankan kesahan kandungan biasanya diukur dengan penilaian pakar, dan bukan hanya diukur melalui angka sahaja. Kesahan kandungan dapat dilakukan melalui sekumpulan pakar yang meneliti skala tersebut dan bersetuju bahawa item – item yang terkandung dalam skala itu mewakili item – item yang berkaitan dengan konsep yang diukur (Sabitha Marican,
2009). Ia disokong oleh Creswell (2012) yang jelas menyatakan bahawa bukti kesahan kandungan boleh diperolehi daripada bukti empirikal dan panel kepakaran dalam sesuatu bidang untuk mengesahkan sesuatu soal selidik. Justeru, kesahan kandungan bagi kajian ini akan menggunakan pendekatan melalui penilaian pakar sepertimana dicadangkan (AERA, APA, & NCME, 1999; Cohen, Swerdlik, & Sturman, 2012; Creswell, 2012; DeVellis, 1991; Gregory, 2011; Johnson & Christensen, 2012; Miller et al., 2013; Nunnally, 1978; Popham, 2000; Rubio et al., 2003; Sabitha Marican, 2009; Sternberg et al., 2011; Wilson, 1989; Yaghmaie, 2003) untuk menilai item dibina agar berupaya mengukur konstruk AQ berdasarkan model CORE.
2.0 Kajian literature
Stoltz (1997) menegaskan kecerdasan menghadapi cabaran atau Adversity Quotient (AQ) secara istilah bermaksud kemampuan atau kebolehan seseorang individu berjuang menghadapi dan mengatasi cabaran, masalah atau kesulitan yang dihadapi serta mengubahnya menjadi peluang untuk lebih berjaya. Dalam konteks kajian ini, pengkaji mendefinisikan AQ sebagai pengukuran terhadap kemampuan seseorang pelajar politeknik untuk bertahan dan mengatasi cabaran serta mengubahnya menjadi peluang untuk berjaya dalam akademik. AQ diukur melalui empat dimensi iaitu
kawalan (Control), kepunyaan (Ownership), capaian (Reach) dan ketahanan
(Endurance). Dimensi ini dikenali sebagai Model CORE. Pembinaan instrumen AQ umumnya amat jarang difokuskan pengkaji lepas dan hanya dilakukan oleh beberapa pengkaji seperti Desika Nanda Nurvita (2011); Li & Chen (2008); Njoto Benarkah (2006). Malah, bilangan kajian AQ di Malaysia sendiri adalah jauh ketinggalan berbanding kajian dilakukan di negara serantau Asia yang lain seperti Indonesia, Thailand dan Filipina. Selain itu, tiada kajian khusus tentang pengujian psikometrik. Kekurangan maklumat psikometrik telah wujud sehingga sukar membuat kesimpulan yang kukuh (Angelopoulos et al., 2002). Salah satu aspek yang perlu diberi lebih perhatian adalah kesahan kandungan. Pengkaji lepas mengandaikan kesahan alat ukur yang dibangunkan barat adalah sama untuk konteks negara mereka, ini merupakan satu amalan tidak wajar (Ch’ng Pei Eng, Ch’ng Pei Cheng, & Suzana Ab. Rahim, 2007). Aspek kebolehpercayaan dan kesahan dalam instrumen asal AQ juga tidak diperincikan
(Angelopoulos et al., 2002). Instrumen asal AQ iaitu Adversity Response Profile (ARP)
Daripada aspek semakan pakar, pembina instrumen asal AQ iaitu tidak melaporkan
sama ada mereka menggunakan Subject Matter Experts (SME) atau hanya pendekatan
“common sense” untuk menghasilkan senario dalam ARP (Angelopoulos et al., 2002).
Pengkaji lepas cenderung menggunakan kesahan muka dan kandungan melalui kesahan pakar secara ringkas sahaja dan tidak menggunakan teknik khusus seperti CVR. Justeru, terdapat suatu jurang kajian yang boleh diisi melalui pemfokusan terhadap pendekatan kuantitatif melalui sekumpulan panel pakar untuk mengukuhkan lagi item dalam pembinaan instrumen AQ bagi pelajar politeknik. Kajian ini akan memfokuskan kepada
analisis Nisbah Kesahan Kandungan atau Content Validity Ratio (CVR) oleh Lawshe
(1975).
2.1 Model Kesahan Lawshe
Umumnya, terdapat beberapa kaedah dalam penilaian kesahan kandungan secara
kuantitatif seperti Cohen’s kappa (κ; Cohen, 1960), Tinsley – Weiss T index (Tinsley & Weiss, 1975), rWG and rWG(J) indexes (James, Demaree, and Wolf’s, 1993), dan r*WG(J) (Lindell, Brandt, dan Whitney’s, 1999). Namun kaedah ini dilihat lebih kompleks secara pengkomputeran selain lebih fokus hanya pada persetujuan antara panel pakar secara umum. Oleh yang demikian, kesahan kandungan instrumen AQ bagi pelajar politeknik diukur dengan prosedur pengukuran kuantitatif kesahan kandungan
oleh Lawshe (1975) iaitu Nisbah Kesahan Kandungan (Content Validity Ratio atau
CVR). CVR diperkenalkan oleh Lawshe pada 1974 di sebuah persidangan Content
Validity Conference yang dibiayai oleh Society for Industrial and Organizational Psychology (SIOP). Lawshe (1975) mencipta CVR untuk digunakan bagi mengukur kesahan kandungan item melalui pengukuran empirikal. Kaedah yang diilhamkan oleh Lawshe (1975) ini membantu pengkaji membuat keputusan untuk mengekalkan atau menggugurkan item pada instrumen menerusi pengiraan CVR. CVR memberi penekanan tentang kepentingan sesuatu item untuk dikekalkan dalam instrumen. Pendek kata, ia bertujuan menapis item secara empirikal pada instrumen dengan prosedur kuantitatif bagi memastikan setiap item benar – benar mewakili kandungan domain konstruk. Kekuatan kaedah CVR oleh Lawshe ini adalah ia lebih telus dan terarah,
mesra pengguna, pengiraan komputer yang ringkas, tersedia jadual penentuan nilai cut
dianggap “sangat penting” atau essential (Lindell & Brandt, 1999). CVR merupakan kaedah daripada literatur pengukuran klasikal yang lebih praktikal daripada aspek masa dan kos, selain mudah dan pantas (Dewi Rooslani Tojib & Ly-Fie Sugianto, 2006). Kelebihan ini membuatkan CVR menjadi pilihan pengkaji lepas di luar negara (Aksorn & Hadikusumo, 2007; Allahyari, Rangi, Khosravi, & Zayeri, 2011; Baheiraei et al., 2013; Distefano, Pryer, & Erffmeyer, 1983; Rensburg, Basson, & Carrim, 2011) dan kajian dalam negara (Mohd Arif Shuib, Shukran Abdul Rahman, & Nor Diana Mohd Mahudin, 2013; Sohime Ahmad & Abu Daud Silong, 1996).
Kaedah ini menggunakan panel pakar yang akan ditanya untuk memutuskan
sama ada sesuatu item pengukuran itu sangat penting (essential) untuk dikekalkan
berdasarkan operasionalisasi konstruk teoritikal (Johnston & Wilkinson, 2009). Semakin skala item tersebut mewakili domain sesuatu konsep yang diukur, maka semakin hebat kesahan kandungannya (Sekaran & Bougie, 2011). Prosedur bermula dengan pemilihan sekumpulan panel pakar yang berpengetahuan tentang konsep yang dikaji. Selepas semakan calon ujian dilakukan, instrumen yang diperbaiki akan diberikan kepada panel pakar untuk penilaian (Lewis, Templeton, & Byrd, 2005). Kesahan kandungan ditentukan berdasarkan pertimbangan ahli panel pakar profesional dan lapangan dengan meminta mereka menilai tahap kepentingan item – item pada instrumen berdasarkan gabungan jenis cabaran dan indikator AQ. Skala tiga poin digunakan bagi setiap item iaitu (1) Essential (sangat penting), (2) Useful but not essential (berguna tetapi tidak penting) dan (3) Not necessary (tidak perlu). Kesahan
kandungan ditentukan dengan menggunakan formula berikut di mana CVRi adalah nilai
item pada ujian dibina, ne adalah jumlah panel pakar yang menilai item sebagai penting
(essential) dan N merupakan jumlah keseluruhan panel pakar terlibat (N = 37). Setelah
CVR diperolehi bagi setiap item, nilai Content Validity Index (CVI) atau Indeks
Kesahan Kandungan diperolehi daripada keseluruhan instrumen (Lawshe, 1975).
Nilai CVR adalah berada dalam julat -1 sehingga +1, di mana nilai yang hampir
kepada +1 menunjukkan pakar bersetuju bahawa item itu sangat penting dalam kesahan kandungan. Nilai CVR kurang daripada sifar (CVR<0) menunjukkan kurang daripada setengah panel pakar percaya bahawa item pengukuran tersebut adalah sangat penting. Nilai CVR bersamaan sifar (CVR=0) bermaksud setengah daripada saiz sampel panel
pakar percaya bahawa item pengukuran tersebut adalah sangat penting dan setengah lagi bersetuju ia tidak penting. Nilai CVR melebihi sifar (CVR>0) menunjukkan setengah daripada panel pakar percaya kebanyakan item pengukuran memenuhi kesahan muka. Lawshe (1975) mencadangkan bahawa jika lebih daripada jumlah pakar terlibat menilai item sebagai sangat penting, maka item dianggap telah memenuhi kesahan kandungan. Analisis bagi setiap item dan prosedur semakan dijalankan untuk menguji ciri psikometrik instrumen.
3.0 Metodologi kajian
Kajian menggunakan pendekatan kuantitatif secara tinjauan soal selidik bertulis.
Populasi kajian terdiri daripada dua jenis pakar iaitu pakar profesional (professional or
content experts) dan pakar lapangan (lay experts). Istilah pakar juga disebut sebagai
Panel Penilaian Kandungan atau Content Evaluation Panel (Lawshe, 1975). Teknik
persampelan yang digunakan adalah salah satu daripada persampelan bertujuan (purposive sampling) iaitu persampelan penilaian (judgment sampling). Persampelan jenis ini dijelaskan melalui sampel dipilih berdasarkan kepakaran bagi subjek yang dikaji. Persampelan ini digunakan untuk mendapatkan informasi yang diperlukan melalui individu tertentu yang berpengetahuan (Sekaran & Bougie, 2011). Maka, persampelan penilaian adalah yang paling sesuai digunakan dalam kajian ini kerana panel pakar dipilih atas justifikasi tertentu untuk mendapatkan pengesahan tentang kandungan item berkaitan AQ.
Pakar profesional bermaksud golongan profesional yang terlibat dan bekerja
dalam lapangan tersebut atau yang seangkatan dengannya. Ia membantu mengenalpasti sama ada pengukuran dibina dengan baik sesuai untuk ujian psikometrik (L. Davis, 1992). Kriteria pemilihan pakar profesional bergantung kepada bidang, bilangan penerbitan atau pengalaman kerja (Rubio et al., 2003). Dalam konteks kajian, pakar profesional meliputi pensyarah bidang psikologi, pengukuran dan linguistik di universiti, Ini bertepatan dengan konsep kesahan kandungan yang menyatakan bahawa pihak atau individu yang bekerja dalam lapangan yang dikaji boleh bertindak sebagai
experts atau judges dalam memberi skala penilaian (rating) kepada kandungan ujian sama ada ia mewakili sampel yang hendak dikaji (Cohen & Swerdlik, 2010). Sampel terdiri daripada sembilan orang pakar profesional yang terdiri daripada enam orang pakar bidang psikologi daripada Universiti Kebangsaan Malaysia (UKM), Universiti
Putra Malaysia (UPM), Universiti Sains Malaysia (USM) dan Universiti Sains Islam Malaysia (USIM), dua orang pakar pengukuran daripada USIM dan Universiti Infrastruktur Kuala Lumpur (KLIU). Seorang pakar bahasa dari Universiti Pendidikan Sultan Idris (UPSI) turut dilantik bagi menilai laras bahasa yang digunakan agar mudah difahami oleh pelajar politeknik.
Kriteria pemilihan panel pakar profesional adalah seperti (i) kelayakan akademik
Doktor Falsafah dalam bidang; (ii) berpengalaman melebihi sepuluh tahun dalam bidang; (iii) masih berkhidmat di universiti (awam atau swasta) (iv) aktif dalam penulisan, penerbitan mahupun pengajaran dan (v) persetujuan pakar itu sendiri untuk
terlibat. Kajian ini menggunakan pendekatan secara bersemuka (direct approach),
secara pos (postal survey) dan atas talian (email/internet survey) sepertimana
dicadangkan Brinkman (2009) yang menjelaskan bahawa setiap kaedah mempunyai kekuatan tersendiri. Pengkaji juga menghubungi secara menelefon, surat dan email kepada panel lapangan untuk menjelaskan tujuan kajian, prosedur dan memohon kebenaran bagi tujuan penglibatan. Panel pakar profesional diberi masa selama satu hingga dua bulan untuk membuat penilaian. Surat lantikan rasmi bagi panel pakar profesional dikeluarkan oleh Pusat Pengajian Ilmu Pendidikan, Universiti Sains Malaysia.
Pakar jenis kedua adalah pakar lapangan (lay experts). Pakar lapangan pula
adalah individu yang paling relevan dengan topik yang diukur. Pemilihan subjek kajian yang berpotensi sebagai pakar akan membantu mewakili populasi yang hendak dikaji. Kumpulan pakar lapangan akan menyumbang kepada penilaian ayat, kejelasan ayat atau terma dan mencadangkan item yang lebih penting dan relevan. Pandangan Rubio et al. (2003) selari dengan definisi Miller et al. (2013) yang menegaskan bahawa bagi kajian dalam konteks pendidikan, pakar tersebut mungkin adalah rakan di fakulti, pentadbir
kolej atau pelajar sendiri. Rubio et al. (2003) menambah pengamal (practitioner) di
sesuatu institusi yang hendak dikaji berupaya menjadi sumber membangunkan dan menyemak pengukuran. Ini kerana mereka bekerja dan terlibat dalam barisan hadapan dengan populasi yang merupakan subjek sampel kajian sebenar. Pakar lapangan dalam konteks kajian ini terdiri daripada 28 orang pakar iaitu seorang Pengarah Bahagian Kebajikan Pelajar (BKP) di Jabatan Pengajian Politeknik (JPPoli), Putrajaya. Selainnya adalah dua orang pegawai hal ehwal pelajar (HEP) politeknik, sepuluh orang pegawai psikologi politeknik dan tiga belas orang pensyarah politeknik yang masih berkhidmat.
Mereka adalah individu yang relevan dalam konteks kajian ini seperti dicadangkan Rubio et al. (2003).
Kriteria pemilihan bagi panel pakar lapangan terbahagi kepada empat iaitu bagi
pakar di JPPoli (pegawai yang mengetuai Bahagian Kebajikan Pelajar iaitu Pengarah dengan pengalaman melebihi lima tahun), pegawai psikologi (pengalaman melebihi 3 tahun, berkelulusan ijazah sarjana muda bidang psikologi dan berkhidmat di politeknik), pegawai HEP (berpengalaman melebihi 5 tahun dan berkhidmat di politeknik dalam hal ehwal pelajar) dan pensyarah politeknik (berpengalaman mengajar melebihi 3 tahun dan pernah menjadi Penasihat Akademik Pelajar). Pemilihan panel pakar lapangan seperti pegawai psikologi politeknik meliputi sepuluh politeknik iaitu Politeknik Port Dickson (PPD), Politeknik Tuanku Syed Sirajuddin (PTSS), Politeknik Sultan Mizan Zainal Abidin (PSMZA), Politeknik Tunku Sultanah Bahiyah (PTSB), Politeknik Kota Kinabalu (PKK), Politeknik Premier Ibrahim Sultan (PIS), Politeknik Seberang Perai (PSP), Politeknik Kota Bharu (PKB), Politeknik Merlimau Melaka (PMM), Politeknik Kuching Sarawak (PKS), Politeknik Muadzam Shah (PMS) dan Politeknik Nilai (PNS) bagi mendapatkan pandangan yang meluas. Dua pegawai HEP yang terlibat adalah Politeknik Sandakan Sabah (PSS) mewakili zon borneo dan Politeknik Balik Pulau (PBP) bagi zon semenanjung.
Bagi panel pensyarah politeknik pula melibatkan sepuluh politeknik seperti
Politeknik Sultan Azlan Shah (PSAS), Politeknik Kota Kinabalu (PKK), Politeknik Seberang Perai (PSP), Politeknik Kota Bharu (PKB), Politeknik Port Dickson (PPD), Politeknik Sultan Idris Shah (PSIS), Politeknik Merlimau Melaka (PMM), Politeknik Nilai (PNS) dan Politeknik Tunku Sultanah Bahiyah (PTSB). Sampel pakar pensyarah dipilih merentasi pelbagai jabatan seperti Jabatan Kejuruteraan Awam (JKA), Jabatan Kejuruteraan Mekanikal (JKM), Jabatan Kejuruteraan Elektrik (JKE), Jabatan Pengajian Am (JPA), Jabatan Matematik, Sains dan Komputer (JMSK), Jabatan Perdagangan (JP) dan Jabatan Hospitaliti (JH). Surat lantikan pakar lapangan dan keizinan telah diperolehi terlebih dahulu daripada pihak Bahagian Penyelidikan dan Pembangunan Politeknik, Jabatan Pengajian Politeknik, Putrajaya sebelum kajian ini dijalankan.
Bilangan panel pakar kajian bergantung kepada tahap kepakaran yang
diperlukan dan kepelbagaian pengetahuan itu sendiri (Grant & Davis, 1997). Beberapa pengkaji lepas telah membuat penetapan sendiri bagi bilangan pakar iaitu dua orang pakar yang disifatkan mencukupi (Nunnally, 1978), jumlah minimum seramai tiga
orang pakar (Lynn, 1986), sekurang – kurangnya lima orang pakar (Burns & Grove, 1993) dan dicadangkan antara lima ke tujuh orang pakar bagi menilai skala kandungan
domain menggunakan skala rating (Wilson, 1989). Malah, ada yang mencadangkan
julat antara dua hingga dua puluh orang pakar (Gable & Wolf, 1993; Walz, Strickland, & Lenz, 1991) dan seramai lima belas hingga dua puluh individu yang berpengetahuan (Popham, 2000).
Kajian lepas yang dijalankan menunjukkan kepelbagaian jumlah panel pakar
seperti kurang daripada sepuluh panel pakar iaitu lapan orang panel pakar (Allahyari et al., 2011), Sembilan orang panel pakar (Ishra & Anda, 2007). Bagi julat pemilihan pakar antara sepuluh hingga dua puluh pula adalah seperti sepuluh orang panel pakar (Baheiraei et al., 2013; Yaghmaie, 2003) dan lima belas orang panel pakar (Brahma & Chakraborty, 2009; Mohd Arif Shuib et al., 2013). Terdapat juga kajian lepas yang menggunakan panel pakar melebihi tiga puluh orang seperti tiga puluh lapan orang panel pakar (Distefano et al., 1983), empat puluh orang panel pakar (Aksorn & Hadikusumo, 2007) dan lima puluh tujuh orang panel pakar (Sohime Ahmad & Abu Daud Silong, 1996). Malah ada yang mencecah sehingga seratus tujuh puluh lima orang panel pakar (Lawshe, 1975).Kesahan bagi Model Lawshe ini boleh dinilai dengan lebih efektif jika mendapat pulangan lebih daripada sepuluh panel pakar (Allahyari et al., 2011). Dalam Model Lawshe, instrumen dibangunkan dan distrukturkan untuk memandu dan membenarkan panel pakar menilai dengan jelas terhadap kepentingan item – item dalam instrumen. Walaupun kaedah Lawshe hanya memerlukan sekurang-kurangnya empat ahli panel, pengkaji telah memutuskan untuk melibatkan seberapa ramai pakar yang mungkin agar mampu meningkatkan nilai pada model. Dengan itu, penyelidik dan pengamal lain sukar mencabar kesahihan kesahan kandungan model tersebut (Lawshe, 1975).
Dalam konteks kajian ini, pengkaji merujuk kepada definisi pakar oleh Rubio et
al. (2003) yang mentakrifkan panel pakar terdiri daripada dua kategori iaitu pakar profesional dan pakar lapangan. Rubio et al. (2003) telah mencadangkan sekurang – kurangnya tiga orang panel pakar bagi setiap satu kumpulan iaitu kumpulan pakar profesional dan kumpulan pakar lapangan dengan jumlah pakar melebihi sepuluh orang atau diterima dalam lingkungan julat enam hingga dua puluh orang. Dalam konteks kajian ini, seramai sembilan orang panel pakar profesional dan dua puluh lapan orang panel pakar lapangan telah diambil. Bilangan pakar yang melebihi julat dicadangkan
Rubio et al. (2003) bertujuan mendapatkan hasil kesahan kandungan yang lebih kukuh dan meyakinkan. Penggunaan lebih ramai panel pakar akan menghasilkan lebih banyak informasi terhadap perkara yang ingin diukur. Semakin banyak bukti kesahan kandungan seperti penilaian pakar yang diperolehi, maka semakin tinggi keyakinan pengkaji terhadap kesahan instrumen yang dibina (Johnson & Christensen, 2012).
Menurut model pembinaan instrumen oleh Miller, Lovler dan McIntire (2013),
semakan pakar meliputi dua aspek iaitu semakan calon ujian dan semakan pakar. Dalam konteks kajian ini, analisis CVR hanya melibatkan semakan pakar sahaja. Sebelum itu, instrumen ini telah melalui proses semakan calon ujian atau test taker review iaitu pelajar politeknik yang dipilih seramai sepuluh orang pelajar secara rawak bagi mendapatkan maklum balas mengenai kesulitan dan ketidakfahaman calon sama ada dari aspek kejelasan maksud, bahasa dan tempoh masa ujian (Cohen et al., 2012). Pengambilan sepuluh calon ujian ini adalah menepati saiz sampel kajian rintis dicadangkan iaitu antara enam hingga sembilan orang. Saiz sampel rintis tidak perlu besar tetapi memadai untuk memenuhi tujuan perbincangan awal yang berkesan tentang ujian (Mohamad Najib Abdul Ghafar, 2009). Semakan calon ujian diminta untuk melengkapkan instrumen terlebih dahulu dan memberi kritikan tentang format, kandungan, pemahaman, terminologi, kesenangan dan tempoh masa menjawab. Responden diminta untuk mengenalpasti item yang patut ditambah atau digugurkan selain mencadangkan sebarang penambahbaikan. Respon calon ujian mesti disemak dan pemurnian mesti dibuat berdasarkan maklumbalas responden (Lewis et al., 2005). Perbincangan ini meliputi masalah yang mungkin ada tentang ujian, baik daripada segi penyataan soalan, bahasa, kaedah pentadbiran dan jangkamasa mengambil ujian (Mohamad Najib Abdul Ghafar, 2009). Maklumbalas bagi kedua – dua rintis calon ujian dan panel pakar akan digunakan untuk semakan dan pemurnian instrumen (Mohd Arif Shuib et al., 2013). Semakan calon ujian dalam konteks kajian ini adalah hanya untuk memenuhi kesahan muka sebelum diberikan kepada pakar.
3.1 Indeks Kesahan kandungan (CVI)
Selepas nilai CVR bagi setiap item dikenalpasti, item yang berada di bawah nilai 0.322 akan digugurkan. Kemudian, nilai CVI akan dikira secara keseluruhan dengan jumlah item yang masih kekal (Lawshe, 1975). Bagi instrumen baru, pengkaji mesti
mendapatkan nilai CVI bersamaan 0.8 dan ke atas bagi instrumen baru (Davis, 1992). Terdapat pengkaji lepas yang mencadangkan nilai 0.78 dan ke atas bagi kes tiga atau lebih panel pakar dianggap memiliki kesahan kandungan yang baik (Polit et al., 2007). Bagi jumlah pakar seramai enam dan lebih, nilai CVI melebihi 0.78 diterima (Lynn, 1986). Selain itu, ada pandangan yang menyatakan CVI sepatutnya melebihi 0.7 (Tilden, Nelson, and May, 1990). Kajian ini menggunapakai penetapan oleh Davis (1992) iaitu dengan nilai 0.80 bagi instrumen baru selaras dengan hasrat kajian ini. Nilai 0.80 adalah penetapan nilai CVI bagi panel pakar secara keseluruhannya iaitu (N = 37).
3.2 Research Instrumentation
Instrumen kajian mengandungi 220 item AQ yang dibentuk daripada cabaran
utama pelajar politeknik dan digabungkan bersama indikator AQ yang dirujuk berdasarkan sorotan literatur dan kajian lepas. Jadual Spesifikasi Instrumen (JSI) dibina dengan pemberat yang sama rata iaitu dua puluh lima peratus iaitu lima puluh lima item bagi setiap konstruk. Item – item yang dibina melalui konsepsualisasi dan operasionalisasi mengikut konteks politeknik mesti disahkan dari segi kandungan bagi memastikan item mewakili domain teoritikal konstruk tersebut sepertimana prosedur kesahan kandungan dan kesahan muka (Rungtusanatham, 1998). Namun begitu, terdapat pengkaji lepas tidak menganggap kesahan muka sebagai komponen sah bagi kesahan kandungan. Ini kerana kesahan muka dianggap indeks paling minimum dan asas bagi kesahan kandungan (Sekaran & Bougie, 2011). Kesahan kandungan itu sendiri memerlukan penilaian statistik yang mendalam berbanding kesahan muka yang hanya memerlukan penilaian intuitif (Hair, Celsi, Oritinau, & Bush, 2013). Malah, kesahan muka dilihat sebagai tidak psikometrik dalam menilai kesahan kerana ia digunakan sebagai prosedur asas permukaan saja. Prosedur ini perlu diikuti dengan kesahan kandungan melalui penilaian pakar (Gay, Mills, & Airasian, 2012). Kesimpulannya, kesahan muka adalah satu cara yang tidak boleh diterima dalam membuktikan kesahan ujian (Miller et al., 2013).
4.0 Dapatan dan perbincangan
Kadar pulangan soal selidik diterima pengkaji adalah seratus peratus (100%) bagi kesemua 10 orang calon ujian dan 37 orang panel pakar terlibat. Dapatan kajian dibahagikan kepada dua iaitu dapatan kesahan muka dan kesahan kandungan. Kesahan
muka melibatkan sepuluh pelajar politeknik yang dipilih secara rawak bagi menilai kefahaman mereka daripada aspek bahasa. Prosedur ini penting kerana semakan pakar dalam Model Miller, Lovler dan McIntire (2013) menunjukkan semakan calon ujian iaitu pelajar perlu dibuat sebelum semakan panel pakar dibuat. Seramai sepuluh calon ujian dipilih sebagai sampel secara rawak. Responden terdiri daripada enam pelajar wanita dan empat pelajar lelaki dalam lingkungan umur 18 hingga 20 tahun. Lima pelajar adalah berbangsa melayu dan selebihnya bukan melayu. Seramai lapan pelajar berada di semester kedua dan selebihnya adalah semester kelima. Kesemuanya terdiri daripada pelbagai jabatan iaitu seperti Jabatan Kejuruteraan Mekanikal, Jabatan Perdagangan dan Jabatan Agroteknologi dan BioIndustri. Pertimbangan calon ujian ini berdasarkan penilaian skala tiga poin oleh Lawshe (1975) sama seperti penilaian panel pakar. Penetapan nilai CVRkritikal adalah (N = 10; CVRkritikal = .620). Dapatan pada
Jadual 5 menunjukkan terdapat 32 item berada di bawah nilai ditetapkan. Maka, item tersebut wajar diperhatikan oleh pengkaji bagi tujuan penambahbaikan sebelum dinilai oleh panel pakar. Item tersebut adalah bernombor 33, 72, 126, 200 (CVR =.200); item nombor 14, 26, 42, 73, 79, 168, 169, 172, 176, 183, 210 (CVR = .400) dan item nombor 13, 25, 32, 60, 91, 99, 124, 129, 136, 138, 144, 145, 164, 167, 171, 173 dan 188 (CVR =.600).
4.1 Penilaian calon ujian
Penilaian calon ujian dalam konteks ini bertujuan untuk menguji kefahaman pelajar terhadap item daripada aspek laras dan aras bahasa bagi memenuhi kesahan kandungan daripada calon ujian (N = 10) sepertimana dalam model pembinaan ujian oleh Miller, Lovler dan McIntire (2013). Pengkaji telah menjelaskan bahawa mereka bukan dikehendaki menjawab soalan item, tetapi hanya memeriksa bahasa (sama ada terdapat perkataan yang tidak difahami), kefahaman (sama ada wujud maksud yang berbeza bagi ayat yang sama) dan penggunaan perkataan sahaja (sama ada wujud perkataan yang berada pada aras tinggi). Mereka dikehendaki untuk membulatkan dan menggariskan perkataan yang mereka tidak difahami. Pelajar menjawab dengan tenang dan tamat menilai dalam tempoh lebih kurang 30 minit.
4.2 Penilaian kesahan kandungan
Penilaian kesahan kandungan dibincangkan melalui tiga kategori berdasarkan penilaian pakar profesional, pakar lapangan dan keseluruhan bagi kedua – dua jenis pakar (profesional dan lapangan). Kajian ini akan meneliti item yang wajar dikekalkan, digugurkan atau dimurnikan. Meskipun pertimbangan ini adalah berdasarkan nilai CVR bagi kesemua 37 pakar, namun kajian turut menilai secara perbandingan antara pakar
profesional dan lapangan. Maka, nilai CVRkritikal ditetapkan adalah (N = 9; CVRkritikal =
.653) dan (N = 28; CVRkritikal = .370). Dapatan penilaian 28 orang pakar lapangan pada
Jadual 6 menunjukkan sebanyak 21 item tidak menepati ketetapan (N = 28; CVRkritikal =
.370). Item tersebut adalah item nombor 10 (CVR =.143); item nombor 33, 35, 69, 166 (CVR = .214); item nombor 5, 6, 7, 22, 29, 43, 44, 87, 91, 152 (CVR = .286) dan item
nombor 9, 12, 36, 40, 70, 170 (CVR=.357). Kertas kajian ini tidak menyenaraikan item
lengkap yang tidak menepati kriteria panel pakar profesional (N = 9; CVRkritikal = .653).
Ini kerana terdapat 166 item yang berada di bawah nilai 0.653. Kajian ini juga tidak mempertimbangkan nilai CVR pakar professional saja, tetapi meliputi kedua – dua jenis panel pakar. Maka, fokus utama kajian adalah item yang berada di bawah nilai (N = 37;
CVRkritikal = .332).
Calon ujian memberikan beberapa komen utama berkaitan ketidakfahaman dan ketidaksesuaian perkataan yang digunakan pada instrumen IKBAR. Perkataan yang mendatangkan masalah pada mereka adalah perkataan seperti mencampuraduk (item 138), ketidakjujuran (item 145), kelompok (item 148), mencukupkan (item 149), ketiadaan (183), mencungkil (item 18), merunsingkan (item 60), menyesali diri (item 71) dan bukan punca (item 79). Mereka secara umumnya tidak beranggapan bahawa instrumen ini sukar difahami. Kebanyakan calon ujian memahami struktur ayat pada instrumen.
Panel pakar psikologi UKM menyarankan daripada awal agar seorang pakar linguistik dilantik bagi menyemak semula item daripada aspek bahasa, menukar perkataan capaian kepada jangkauan bagi dimensi ketiga model CORE iaitu Reach dan akhir sekali memperbaiki soalan yang double barrel iaitu bertanyakan dua perkara pada item yang sama. Pakar psikometrik USIM mencadangkan perlunya crosswalk iaitu asas kepada pembinaan item. Semua item tiada masalah major dan dicadangkan untuk diteruskan bagi kajian rintis. Oleh kerana item yang dihasilkan adalah banyak, maka beliau mencadangkan supaya instrumen perlu dibawa balik oleh pelajar untuk dijawab
bagi memberikan lebih banyak masa dan ketenangan. Pakar ini juga tidak begitu bersetuju dengan kaedah menjawab mengikut masa kerana dibimbangi item dijawab secara paksa kerana kekangan masa oleh pelajar. Panel pakar psikologi dari USIM juga mempunyai pandangan yang sama dengan pakar dari UKM iaitu penukaran perkataan capaian kepada jangkauan bagi dimensi ketiga model CORE iaitu Reach. Beliau juga mencadangkan agar diwujudkan item negatif untuk meninjau liar tendency selain berpendapat item yang diperuntukkan bagi instrumen ini terlalu banyak.
Pakar psikometrik dari KLIU berpendapat bahawa pengkaji mungkin boleh mengubah cara item dibina supaya meruujuk lebih tepat kepada kaedah penyelesaian masalah itu bagi empat dimensi berbeza. Beliau juga tidak setuju dengan pandangan bahawa perlu diwujudkan item negatif, sebaliknya menasihati pengkaji untuk membina item terus kepada bentuk positif. Terdapat beberapa item yang dilihat seakan – akan serupa dan bertindan. Maka dicadangkan untuk menggantikan item dengan indikator lain dalam sesuatu dimensi itu. Pakar juga bersetuju bahawa item terlalu banyak dan dibimbangi akan wujudnya respon yang tidak bernilai.
Namun pakar psikometrik dari USIM bersetuju dengan pengkaji bahawa item yang dihasilkan bagi draf pertama perlu banyak kerana banyak item akan digugurkan menerusi analisis Rasch. Pakar juga mencadangkan agar diperlihatkan lebih lagi perbezaan permasalahan pada item bagi keempat – empat dimensi CORE. Akhir sekali, cadangan menjurus kepada perkataan yang perlu diubah kerana berupa guided responds seperti yakin dan mahu, selain mencadangkan agar dipermudahkan item melalui penggantian perkataan. Pakar psikologi dan pengukuran dari USM bersetuju bahawa terdapat cabaran yang tidak dipadankan bersama indikator yang dibina melalui konsepsualisasi dan operasionalisasi. Maka, rombakan major perlu dilakukan semula bagi mendapatkan hasil yang lebih baik sebelum dirintiskan kepada pelajar politeknik. Pakar psikologi USM juga mencadangkan supaya item – item menepati model cabaran yang digunakan pengkaji. Dengan cara ini, pembinaan item akan lebih menepati konteks sesuatu dimensi pada model cabaran.
Terdapat 28 pakar lapangan terdiri daripada practitioner di politeknik telah
memberikan pandangan terhadap item daripada perspektif mereka. Pakar iaitu Pengarah Bahagian di Jabatan Pengajian Politeknik telah mengubah semula item bernombor 7, 22, 33, 87 dan 151 selain mengesyorkan beberapa item tambahan. Bagi pakar lapangan dalam kalangan pensyarah politeknik mencadangkan agar pengkaji mengubah item
yang mempunyai perkataan rumah sewa dan asrama kepada tempat tinggal. Selain itu, mereka turut menyatakan terdapat pengulangan item soalan yang sama. Ini menyebabkan responden menjadi bosan untuk menjawab. Pakar dalam kalangan Pegawai Psikologi dan Pegawai Hal Ehwal Pelajar menyenaraikan beberapa poin penting antaranya terdapat item yang agak panjang dan mengelirukan. Maka lebih baik diringkaskan bagi memudahkan pemahaman pelajar. Untuk penggunaan bahasa, laras bahasa yang digunakan adalah sesuai dengan tahap pemahaman pelajar politeknik dan straight to the point. Seperkara yang turut dicadangkan adalah menambahkan istilah rumah sendiri atau rumah keluarga ke dalam item kerana terdapat sebilangan pelajar yang tinggal bersama keluarga walaupun kes ini terpencil.
4.3 Perbandingan dapatan pakar
Terdapat 127 item yang berada di bawah nilai 0.653 hasil daripada gabungan sembilan panel pakar professional dari universiti. Nilai CVI ditunjukkan adalah sebanyak 0.832. Sebanyak 21 item pula telah berada di bawah nilai 0.370 dengan nilai CVI 0.711 hasil gabungan 28 orang pakar lapangan. Dapatan keseluruhannya menunjukkan hanya lapan item saja yang berada di bawah nilai kritikal 0.332 iaitu item bernombor 10, 22, 29, 33, 35, 69, 91 dan 166. Nilai CVI secara keseluruhannya mencatat 0.664. Walaupun nilai ini tidak menepati cadangan oleh Davis (1992), Polit et al. (2007), Lynn (1986) mahupun Tilden, Nelson, and May (1990), namun CVI yang ditunjukkan oleh kesepakatan pakar professional (CVI = 0.832) dan pakar lapangan (CVI = 0.711) adalah melebihi nilai yang dicadangkan mereka iaitu melebihi 0.8 (Davis, 1992) dan 0.7 (Tilden, Nelson, and May, 1990). Justeru, analisis selanjutnya perlu dilakukan bagi menguji kesahan kandungan ini melalui kaedah statistik seperti Model Rasch. Jadual 7 menunjukkan dengan lengkap perbandingan nilai nisbah kesahan kandungan item instrumen AQ mengikut jenis pakar (N = 37). Terdapat lapan item yang memerlukan pemurnian berdasarkan pertimbangan nilai CVR oleh pakar profesional dan pakar lapangan. Justeru, pengkaji telah menjalankan pemurnian kepada lapan item ini. Perubahan item tidak tertakluk hanya kepada lapan item ini sahaja, tetapi turut melibatkan item lain yang dianggap tidak sesuai dengan padanan indikator. Selepas ini, item – item ini akan melalui proses kajian rintis dalam kalangan pelajar politeknik.
5.0 Kesimpulan
Kajian ini berjaya mendapatkan kesepakatan calon ujian, pakar profesional dan pakar lapangan bagi kesemua 220 item yang dibina. Prosedur ini sangat penting bagi mematuhi Model Pembinaan Ujian Lovler, Miller dan McIntire (2013) yang mensyaratkan prosedur ini bagi pembinaan instrumen baru. Sejumlah hanya lapan item yang memerlukan pemurnian menunjukkan item dibina dengan Jadual Spesifikasi Instrumen dan konsepsualisasi serta operasionalisasi yang baik. Penggunaan CVR dapat menunjukkan dengan jelas kekuatan dan kelemahan item melalui kesepakatan pakar. Kekuatan CVR terserlah dalam kajian ini apabila perbezaan kesepakatan pakar dapat dilihat dengan jelas dan mudah. Pengkaji mencadangkan agar kesemua 220 item yang dimurnikan akan menjalani kajian rintis bagi pelajar politeknik menggunakan Model Rasch. Melalui analisis model Rasch, item – item dapat diperincikan dan yang terpilih saja akan kekal manakala selebihnya akan gugur mengikut pertimbangan antaranya seperti statistik kesesuaian min kuasa dua (MNSQ), polariti item atau Kebezaan Kefungsian Item (DIF).
Rujukan
AERA, APA, & NCME. (1999). Standards for educational and psychological testing.
Washington, D.C.
Aksorn, T., & Hadikusumo, B. H. W. (2007). Gap analysis approach for construction
safety program improvement. Journal of Construction in Developing Countries,
12(1), 77–97.
Allahyari, T., Rangi, N. H., Khosravi, Y., & Zayeri, F. (2011). Development and evaluation of a new questionnaire for rating of cognitive failures at work.
International Journal of Occupational Hygiene, 3(1), 6–11.
Angelopoulos, P. A., Houde, S. J. R. J., Thompson, M. M., McCreary, D. R., Blais,
A.-R., & Pasto, L. (2002). Canadian Forces training and mental preparation for
adversity: Empirical review of Stoltz “Adversity Quotient (AQ) training for optimal response to adversity”, a review of the AQ literature and supporting
studies. Toronto, Canada. Retrieved from
http://oai.dtic.mil/oai/oai?verb=getRecord&metadataPrefix=html&identifier=ADA 408478
Baheiraei, A., Khoori, E., Ahmadi, F., Foroushani, A. R., Ghofranipour, F., & Weiler, R. M. (2013). Psychometric properties of the adolescent health concern inventory:
the Persian version. Iranian Journal of Psychiatry, 8(1), 28–36.
Bing - Quan Li, & Chen - Rui Chen. (2008). The reliability and validity of the
22(8), 605–607.
Brahma, S. S., & Chakraborty, H. (2009). Assessment of construct validity of Mishra
and Mishra’s Trust Scale in the context of merger and acquisition in India. Asian
Journal of Management and Humanity Sciences, 4(4), 200–225.
Brinkman, W.-P. (2009). Design of a questionnaire instrument. Handbook of Mobile
Technology Research Methods, 31–57.
Burns, N., & Grove, S. K. (1993). The practice of nursing research conduct,critique, and utilization (2nd ed.). Philadelphia: WB Saunders Company.
Bush, C. T. (1985). Nursing research. Virginia: Reston Publishing Company.
Ch’ng Pei Eng, Ch’ng Pei Cheng, & Suzana Ab. Rahim. (2007). Kesahan dan
kebolehpercayaan alat ukur metakognitif bagi pelajar di peringkat pengajian tinggi: kajian kes UiTM dan INTI. Shah Alam.
Cohen, R. J., Swerdlik, M., & Sturman, E. (2012). Psychological testing and
assessment: and introduction of test and measurement (8th ed.). New York: McGraw Hill.
Creswell, J. W. (2012). Educational research: planning, conducting, and evaluating
quantitative and qualitative research (4th ed.). Boston: Pearson Education.
Davis, L. (1992). Instrument review: getting the most from your panel of experts.
Applied Nursing Research, 5, 194–197.
Davis, L. L. (1992). Instrument review: Getting the most from a panel of experts.
Applied Nursing Research, 194–197. Retrieved from
http://www.sciencedirect.com/science/ article/pii/S0897189705800084
Dempsey, P. A., & Dempsey, A. D. (1986). The research process in nursing (2nd ed.).
Boston: Jones and Bartlett Publishers.
Desika Nanda Nurvita. (2011). Pengembangan inventori adversity quotient dengan
media software bagi siswa MAN Blitar. Bachelor Thesis. Universitas Negeri Malang, Jawa Timur, Indonesia. Retrieved from http://library.um.ac.id
DeVellis, R. F. (1991). Scale development: theory and applications. California: SAGE
Publications.
Dewi Rooslani Tojib, & Ly-Fie Sugianto. (2006). Content validity of instruments in IS
research. Journal of Information Technology Theory and Application (JITTA),
8(3), 31–56.
Distefano, M., Pryer, M., & Erffmeyer, R. (1983). Application of content validity methods to the development of a Job Related Performance rating criterion.
Personnel Psychology, 621–632. Retrieved from
http://onlinelibrary.wiley.com/doi/10.1111/j.1744-6570.1983.tb02239.x/abstract Ebel, R. L. (1967). Evaluating content validity. In D. . Payne & R. . McMorris (Eds.),
Educational and Psychological Measurement: Contributions to theory and practice (pp. 85–94). Waltham Blaisdell.
Gable, R. K., & Wolf, J. W. (1993). Instrument development in the affective domain: measuring attitudes and values in corporate and school settings. Boston: Kluwer Academic.
Gay, L. R., Mills, G. E., & Airasian, P. (2012). Educational research: competencies for analysis and applications (10th ed.). Upper Saddle River, New Jersey: Merrill Prentice Hall.
Ghiselli, E. E. (1964). Theory of psychological measurement. New York: McGraw-Hill
Book Company.
Grandy, J. (2009). Psychometric properties and analysis of the AQ Profile ®. Retrieved
from www.tccta.org/links/Committees/exc-archive/resilience/AQProfile.pdf
Grant, J. S., & Davis, L. T. (1997). Selection and use of content experts in instrument
development. Research in Nursing & Health, 20, 269–274.
Gregory, R. J. (2011). Psychological testing: history, principles and applications (5th ed.). Boston: Allyn & Bacon.
Hair, J. F., Celsi, M. W., Oritinau, D. J., & Bush, R. P. (2013). Essentials of marketing
research (3rd ed.). New York: McGraw Hill.
Ishra, S. M., & Anda, S. P. (2007). Development and Factor Analysis of an Instrument
to measure Faculty Attitude towards e-Learning. Asian Journal of Distance
Education, 5(1), 27–33.
Johnson, B., & Christensen, L. (2012). Educational research quantitative, qualitative, and mixed approaches (4th ed.). Alabama: SAGE Publications Inc.
Johnston, P., & Wilkinson, K. (2009). Enhancing validity of critical tasks selected for
college and university program portfolios. National Forum of Teacher Education
Journal, 19(3), 1–6.
Kerlinger, F. N. (1986). Foundations of behavioral research (3rd ed.). New York: CBS
Publishing.
Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel
Psychology, 28(4), 563–575. http://doi.org/10.1111/j.1744-6570.1975.tb01393.x Lewis, B. R., Templeton, G. F., & Byrd, T. A. (2005). A methodology for construct
development in MIS research. European Journal of Information Systems, 14(4),
388–400. http://doi.org/10.1057/palgrave.ejis.3000552
Lindell, M. K., & Brandt, C. J. (1999). Assessing interrater agreement on the job relevance of a test: A comparison of CVI, T, r-sub(WG(J)), and r*-sub(WG(J))
indexes. Journal of Applied Psychology, 84(4), 640–647.
http://doi.org/10.1037//0021-9010.84.4.640
Lynn, M. R. (1986). Determination and quantification of content validity. Nursing
Research, 35, 382– 385.
Miller, L. A., Lovler, R. L., & McIntire, S. A. (2013). Foundations of psychological testing: a practical approach (4th ed.). California: SAGE Publications Inc.
Mohamad Najib Abdul Ghafar. (2009). Penyelidikan pendidikan (7th ed.). Skudai:
Universiti Teknologi Malaysia.
Mohd Arif Shuib, Shukran Abdul Rahman, & Nor Diana Mohd Mahudin. (2013). Assessing psychosocial elements of crowds during Hajj: Scale construction and
content validation. In Ahamad Tajudin Khader & Naimah Kassim (Eds.), 5th
Pinang: Universiti Sains Malaysia.
Njoto Benarkah. (2006). Pengembangan alat ukur Adversity Quotient berbasis web
untuk mengetahui profil mahasiswa di Universitas Surabaya. In Seminar Nasional
Sistem dan Informatika (pp. 127–130). Bali: Universiti Surabaya.
Nunnally, J. C. (1978). Psychometric theory. New York: McGraw Hill Company.
Polit, D. F., Beck, T., & Owen, S. V. (2007). Focus on research methods is the CVI an acceptable indicator of content validity? Appraisal and recommendations.
Research in Nursing and Health, 30, 459–467. http://doi.org/10.1002/nur
Polit, D. F., & Hungler, B. P. (1991). Nursing research principles and methods. Philadelphia: ID Lippincott Company.
Popham, W. J. (2000). Modern educational measurement: practical guidelines for
educational leaders. Los Angeles: Allyn & Bacon.
Rensburg, H. Van, Basson, J. S., & Carrim, N. M. H. (2011). Human resource
management as a profession in South Africa. SA Journal of Human Resource
Management, 9(1), 1–16. http://doi.org/10.4102/sajhrm.v9il.336
Rubio, D. M., Berg-Weger, M., S.Tebb, S., Lee, E. S., & Rauch, S. (2003). Objectifying
content validity: conducting a content validity study in social work research. Social
Work Research, 27(2), 94–105.
Rungtusanatham, M. (1998). Let’s not overlook content validity. Decision Line, 10–13.
Sabitha Marican. (2009). Penyelidikan sains sosial: pendekatan pragmatik. Batu Caves:
Edusystem Sdn. Bhd.
Sekaran, U., & Bougie, R. (2011). Research methods for business: a skill building approach (5th ed.). New Delhi: John Wiley & Sons.
Siti Rahayah Ariffin. (2008). Inovasi dalam pengukuran dan penilaian pendidikan.
Bangi: Universiti Kebangsaan Malaysia.
Sohime Ahmad, & Abu Daud Silong. (1996). Keberkesanan penilaian prestasi kerja di
kalangan kakitangan perkeranian. Pertanika Journal Social Sciences &
Humanities, 4(1), 55–63.
Sternberg, R. J., Jarvin, L., & Grigorenko, E. L. (2011). Explorations in Giftedness. New York: Cambridge University Press.
Stoltz, P. G. (1997). Adversity quotient: turning obstacles into opportunities. Canada: John Wiley & Sons.
Walz, C. F., Strickland, O., & Lenz, E. (1991). Measurement in nursing research (2nd
ed.). Philadelphia: F.A Davis.
Wilson, H. S. (1989). Research in nursing (2nd ed.). California: Addison-Wesley
Company.
Yaghmaie, F. (2003). Content validity and its estimation. Journal of Medical Education,
3(1), 25–27. Retrieved from
