PROCEEDING Seminar Nasional Psikometri
EVALUASI KARAKTERISTIK PSIKOMETRI INTELLIGENZ STRUKTUR TEST (IST)
Etti Rahmawati Universitas Sumatera Utara etty.rahmawati7@gmail.com
ABSTRAK. Intelligenz Struktur Test (IST) merupakan satu dari banyak tes mengukur inteligensi yang masih sering digunakan meskipun usianya lebih dari 40 tahun sejak pertama sekali diadaptasi ke dalam versi Indonesia. Memastikan bahwa aitem-aitem IST masih memiliki kualitas yang baik untuk digunakan sebagai dasar pengambilan keputusan dirasakan perlu agar tidak terjadi kesalahan dalam pengambilan keputusan akibat penggunaannya. Penelitian ini bertujuan untuk mengevaluasi apakah IST masih memiliki kualitas yang baik dengan menganalisis tingkat kesukaran aitem, daya diskriminasi aitem, dan peluang tebakan semu menggunakan pendekatan item response theory dengan metode marginal maksimum likelihood menggunakan Program R. Pendekatan item response theory digunakan karena kemampuan teori ini mengestimasi karakteristik psikometri aitem tanpa tergantung oleh karakteristik peserta, dan sebaliknya karakteristik peserta tanpa tergantung pada karakteristik psikometri aitem sehingga dapat menghasilkan pengukuran yang equivalen pada peserta dari berbagai kelompok penelitian yang berbeda dan lebih dapat dipercaya. Hasil analisis menunjukkan bahwa 53.125% dari aitem-aitem IST yang dianalisis memiliki karakteristik psikometri yang kurang baik menurut batasan psikometri.
Kata kunci : Karakteristik Psikometri, Item Response Theory, Intelligenz Struktur Test (IST)
A. Latar Belakang
Hasil pengukuran yang dapat dipercaya, diperoleh dari tes yang memiliki kualitas yang dapat dipercaya. Memastikan bahwa tes yang kita gunakan memiliki kualitas yang baik adalah merupakan keharusan. Terlebih pada tes-tes yang hasilnya akan dipergunakan sebagai dasar pengambilan keputusan untuk menentukan posisi penting individu seperti dalam pelaksanaan rekrutmen, penempatan, baik dalam setting pendidikan maupun organisasi. Penggunaan tes dalam bidang Psikologi adalah suatu yang sangat sering dilakukan dalam pengambilan keputusan. Bahkan tidak jarang, hasil dari tes yang dilakukan digunakan sebagai satu-satunya pertimbangan dalam mengambil keputusan. Tes yang masih sangat sering digunakan sampai saat ini berdasarkan pengamatan peneliti, terutama adalah Intelligenz Srukture Test (IST). IST pernah dievaluasi melalui penelitian yang dilakukan oleh beberapa peneliti dari Fakultas Psikologi Universitas Sumatera Utara pada tahun 2011. Evaluasi
karakteristik IST yang telah dilakukan menggunakan pendekatan teori klasik.
Pendekatan yang digunakan dalam evaluasi karakteristik psikometris sebuah tes juga menentukan hasil evaluasi. Meskipun pendekatan teori klasik merupakan pendekatan yang memiliki dasar yang sangat kuat tetapi ada beberapa keterbatas yang dimiliki yang akan mempengaruhi parameter yang diestimasi. Sebuah pendekatan yang relatif lebih baru melengkapi teori tes klasik dalam bidang pengukuran. Pendekatan yang dikenal dengan Item Response Theory, melengkapi teori tes klasik dengan mengatasi ketergantungan ukuran ciri peserta terhadap ciri aitem, serta ketergantungan ukuran ciri aitem terhadap peserta tes. Sehingga dapat menghasilkan pengukuran yang equivalen pada peserta dari berbagai kelompok eksperimen yang berbeda. Hal ini memiliki peranan yang sangat penting untuk melihat perbedaan pada suatu atribut dalam penelitian lintas budaya.
PROCEEDING Seminar Nasional Psikometri Intelligenz Struktur Test (IST)
merupakan satu dari banyak tes yang masih sering digunakan. Dengan demikian, memastikan apakah IST masih memiliki kualitas yang baik dan apakah tes ini benar-benar presisi digunakan sebagai dasar pengambilan keputusan dirasakan perlu agar tidak terjadi kesalahan dalam pengambilan keputusan akibat penggunaannya. Mengingat evaluasi yang telah dilakukan masih menggunakan pendekatan teori klasik maka dirasa belum cukup untuk memastikan kualitas IST. Oleh karena itu, penelitian ini dilakukan untuk mengevaluasi karakteristik IST menggunakan pendekatan item response theory.
B. Kajian Pustaka
1. Teori Respons Aitem
Item response theory mendasarkan diri pada sifat-sifat atau kemampuan laten yang mendasari kinerja atau performansi peserta terhadap aitem tes tertentu. Hambleton, dkk (1991) mengemukakan bahwa item response theory bersandar pada 2 postulat dasar, yaitu :
a. Performansi peserta dalam suatu tes dapat diprediksi dengan sekumpulan faktor yang disebut trait, ciri laten atau kemampuan.
b. Hubungan antara performansi peserta dengan sekumpulan trait yang mendasarinya dapat digambarkan dengan fungsi yang meningkat secara monoton yang disebut item characteristic curve (ICC). Fungsi ini menunjukkan bahwa bila terjadi peningkatan trait, probabilitas jawaban benar juga meningkat.
Asumsi Item Response Theory
Sebelum menggunakan item response theory, ada beberapa asumsi yang harus dipenuhi untuk menentukan apakah item response theory merupakan tehnik yang tepat untuk digunakan. Menurut Hambleton, dkk (1991), Naga (1992), Scheuneman dan Bleistein (1989) asumsi yang harus dipenuhi adalah unidimensi, independensi lokal, dan item characteristic curve (ICC).
1). Unidimensi
Item response theory mensyaratkan setiap aitem hanya mengukur satu ciri peserta. Unidimensi diukur sebagai derajat ketergantungan suatu aitem secara statistik. Ketergantungan diartikan sebagai trait atau kemampuan tunggal (Crocker & Algina, 1986).
2). Independensi lokal
Bila menggunakan item response theory, diasumsikan bahwa respon pada aitem yang satu bebas dari pengaruh respon pada aitem lain jika kemampuan yang mempengaruhi performansi dibuat konstan. Sehingga jika kemampuan disamakan pada aitem, aitem tidak saling berhubungan (Hambleton, dkk, 1991).
Asumsi independensi lokal terpenuhi jika asumsi unidimensi terpenuhi. Namun asumsi independensi lokal dapat terpenuhi pada tes meskipun asumsi unidimensi tidak terpenuhi. Menurut Fennessy, dkk, Thissen, dkk, Steinberg dan Mooney, jika independensi lokal tidak terpenuhi maka hasil estimasi parameter aitem, parameter kemampuan, dan statistik tes yang lain tidak akurat (Zenisky, dkk, 2003)
3). Kurva karakteristik aitem
Item characteristic curve (ICC) dapat merefleksikan hubungan yang sebenarnya antara kemampuan dan respon peserta terhadap aitem tes, oleh karena itu parameter aitem dan parameter peserta harus invarian. (Naga, 1992).
a. Parameter-Parameter dalam Item Response Theory
Item characteristic curve (ICC) dalam item response theory dibentuk dengan tiga unsur, yaitu parameter aitem, parameter peserta dan jawaban peserta terhadap aitem. Sementara itu jawaban peserta terhadap aitem ditentukan oleh parameter aitem dan parameter peserta. Parameter aitem terdiri dari tingkat kesulitan aitem yang dilambangkan dengan b, daya beda aitem yang dilambangkan dengan a dan peluang tebakan semu yang dilambangkan dengan c,
PROCEEDING Seminar Nasional Psikometri sedangkan parameter peserta dilambangkan
dengan theta () dan respon peserta terhadap aitem dinyatakan dalam bentuk probabilitas menjawab benar yang dilambangkan dengan Pi () (Naga, 1992).
1). Parameter kemampuan ()
Kemampuan peserta tidak dapat diukur secara langsung, oleh karena itu kemampuan diestimasi lewat respon peserta terhadap suatu aitem. Hal ini yang menyebabkan sering disebut sebagai kemampuan laten yang mendasari suatu tes. Pada item response theory, parameter membentuk suatu kontinum. Secara teoritis nilainya membentang dari negatif tidak terhingga sampai positif tidak terhinggga. Tetapi secara praktis nilai yang dianggap cukup berarti terletak antara - 4 sampai + 4 (Naga, 1992). 2). Parameter tingkat kesukaran aitem (b) Parameter kesulitan aitem merupakan parameter lokasi yang menunjukkan posisi item characteristic curve (ICC) dalam skala kemampuan. Bila nilai b lebih besar, lebih besar kemampuan yang diperlukan peserta untuk dapat menjawab aitem dengan benar, yang berarti aitem lebih sulit. Item characteristic curve (ICC) pada aitem yang lebih sulit berada disebelah kanan atau semakin tinggi kemampuan yang dibutuhkan untuk menjawab aitem dengan benar, letak KKA semakin kekanan. Semakin mudah aitem atau semakin rendah kemampuan letak KKA semakin kekiri (Hambleton dkk, 1991). Menurut Hambleton dan Swaminathan (1985) nilai b bergerak dari -2 sampai dengan +2.
3). Parameter daya diskriminasi aitem (a) Dalam prakteknya, indeks Daya diskriminasi aitem menunjukkan seberapa baik suatu aitem dapat membedakan antara peserta yang memiliki kemampuan yang tinggi dan peserta yang memiliki kemampuan yang rendah. Nilai daya diskriminasi aitem bergerak dari 0 sampai dengan 2 (Hambleton, dkk, 1991).
4). Parameter peluang tebakan semu (c)
Parameter c melambangkan probabilitas peserta yang memiliki kemampuan rendah dapat menjawab aitem sulit dengan benar. Secara umum disebut juga dengan parameter tebakan karena diasumsikan peserta dapat menjawab aitem dengan benar dengan cara menebak. Secara teoritis, nilai c bergerak dari 0 sampai dengan 1. Tetapi menurut Baker (2001) nilai c di atas 0,35 tidak dapat diterima.
b. Model-Model dalam Item
Response Theory
Parameter aitem dan parameter peserta dihubungkan dengan suatu model rumus yang dikenal dengan fungsi karakteristik aitem (item characteristic function) oleh karena itu setelah semua asumsi dasar dipenuhi, dipilih model item response theory yang akan digunakan. Untuk menentukan model yang tepat, perlu dibuat asumsi tentang fungsi karakteristik aitem. Asumsi ini akan membantu menentukan jumlah parameter yang dibutuhkan dalam model yang digunakan (Harvey & Thomas, 1996). Kemudian parameter tersebut digunakan untuk memperoleh item characteristic curve (ICC). Model-model item response theory yang sering digunakan adalah model logistik 1, 2, dan 3 parameter (Hambleton, dkk, 1991).
1). Model logistik 1 parameter
Model Logistik 1 parameter sering juga disebut model Rasch. Sesuai dengan namanya dalam model ini hanya menggunakan parameter b untuk membedakan antar aitem. Dalam model logistik 1 parameter diasumsikan hanya kesulitan aitem sebagai karakter yang mempengaruhi performansi peserta. Dengan demikian, parameter a dan parameter c diasumsikan konstan untuk semua aitem. 2). Model logistik 2 parameter
Model logistik 2 parameter mirip dengan model logistik 1 parameter. Hanya ada penambahan 2 elemen dalam bentuk matematikanya, yaitu parameter daya beda (a) dan D. D adalah faktor penskalaan,
PROCEEDING Seminar Nasional Psikometri sehingga skala menjadi cocok dengan
distribusi kumulatif normal atau fungsi ogive normal (Hambleton, dkk, 1991). Untuk memperoleh model logistik yang sangat dekat dengan model ogive normal diperlukan nilai D = 1,702, karena dengan nilai D = 1,702 selisih antara model ogive normal dengan model logistik kurang dari 0,01, sehingga kita dapat mengalihkan perhitungan model ogive normal ke perhitungan model logistik.
3). Model logistik 3 parameter
Pada model tes pilihan berganda, peserta mungkin untuk menebak jawaban yang benar. Berbagai kemungkinan tebakan menyebabkan seseorang dengan kemampuan yang sangat rendah dapat menjawab aitem dengan benar. Bahkan ketika mereka memiliki probabilitas mejawab aitem dengan benar yang sangat rendah pada tingkat kemampuan mereka (Harvey & Thomas, 1996). Dengan alasan ini, Birbaum pada tahun 1968 (Johnson, 2004) mengembangkan generalisasi model logistik 2 parameter yang fungsi respon aitemnya memiliki asymtot tidak mendekati nol.
c. Kecocokan Model
Alasan utama pemilihan suatu model tertentu adalah kecocokannya dengan keadaan data yang sebenarnya serta seberapa rinci model tersebut mampu menggambarkan keadaan data yang sebenarnya. Setelah model kita pilih, maka seluruh analisis akan didasarkan pada model tersebut. Suryabrata (2004) mengemukakan bahwa model-model respon aitem pada item response theory dapat palsu, artinya suatu model respon aitem dapat cocok dengan suatu perangkat data tes tertentu dapat pula tidak, jadi model tersebut mungkin tidak dapat secara baik menjelaskan data yang ada. Oleh karena itu, setiap penerapan item response theory merupakan hal yang esensial untuk menguji kesesuaian model dengan data yang ada.
2. Intelligenz Struktur Test (IST)
Intelligenz Struktur Test (IST) merupakan tes kecerdasan yang disusun berdasarkan model structural kecerdasan. ). IST yang saat ini banyak digunakan di Indonesia adalah IST versi 70 hasil adaptasi Fakultas Psikologi Universitas Padjadjaran pada tahun 1973, yang dikonstruk oleh Rudolf Amthauer di Frankfurt Jerman pada tahun 1953 dan telah mengalami beberapa kali revisi. Subtes dalam IST 70 adalah Satzergänzung (SE) melengkapi kalimat, Wortauswahl (WA) persamaan kata, Analogien (AN) analogi verbal, Gemeinsamkeiten (GE) sifat yang sama, Rechenaufgaben (RA) berhitung, Zahlenreihen (ZR) deret angka, Figurenauswahl (FA) pemilihan gambar/pemilihan bentuk, Würfelaufgaben (WU) tugas kubus/latihan balok, dan Merkaufgaben (ME) ingatan (LPSP3 UI, 2012).
C. Metode Penelitian
Data yang digunakan dalam penelitian ini adalah respon jawaban IST dari peserta yang mengikuti tes di Pusat Penelitian dan Pengabdian Kepada Masyarakat (P3M) Universitas Sumatera Utara. Parameter diestimasi dengan menggunakan pendekatan item response theory dengan metode estimasi marginal maximum likelihood menggunakan program R versi 2.9.
D. Diskusi Dan Pembahasan 1. Hasil Penelitian
a. Hasil Analisis Uji Kecocokan Model Hasil analisis uji kecocokan model pada kedelapan subtes IST disajikan pada Tabel 1.
Tabel.1 Hasil Uji Kecocokan Model
No Subtes Model 1 SE 3PL 2 WA 2PL 3 AN 3PL 4 RA 3PL 5 ZR 3PL 6 FA 3PL 7 WU 3PL 8 ME 3PL
PROCEEDING Seminar Nasional Psikometri Berdasarkan hasil analisis diketahui bahwa
data pada ke tujuh subtes IST dapat dijelaskan dengan baik oleh model 3 PL dan 1 subtes dengan model 2 PL.
b. Hasil Analisis Parameter Aitem
Hasil analisis parameter aitem yang meliputi indeks kesukaran aitem, indeks daya diskriminasi aitem, dan peluang tebakan
pada masing-masing subtes IST menggunakan metode Marginal Maksimum Likelihood disajikan berikut ini :
1) Subtes SE
Hasil analisis pada aitem-aitem subtes SE ditemukan bahwa 5 aitem subtes SE memiliki tingkat kesukaran diatas 2.00, 5 aitem memiliki indeks daya diskriminasi diatas 2.00, dan tidak ada aitem yang memiliki nilai peluang tebakan diatas 0.35. Rangkuman hasil analisis disajikan pada Tabel 2.
Tabel 2. Karakteristik Psikometris Aitem Subtes SE Aite
m PT Ket
IK
A Ket IDD Ket
Aite
m PT Ket
IK
A Ket IDD Ket
1 0 dtr m -0.27 8 dtr m 0.67 9 dtr m 11 0 dtr m -0.15 7 dtr m 1.14 6 dtr m 2 0 dtr m -1.11 9 dtr m 3.13 dtl k 12 0 dtr m 2.78 7 dtl k 0.48 6 dtr m 3 0 dtr m -1.10 5 dtr m 2.18 1 dtl k 13 0.11 8 dtr m 0.63 1 dtr m 1.24 dtr m 4 0 dtr m -1.05 7 dtr m 5.12 2 dtl k 14 0 dtr m 0.18 6 dtr m 0.99 1 dtr m 5 0.17 5 dtr m 1.78 9 dtr m 2.51 4 dtl k 15 0.08 6 dtr m 2.53 9 dtl k 1.02 9 dtr m 6 0 dtr m -0.18 4 dtr m 0.95 4 dtr m 16 0.14 8 dtr m 2.21 4 dtl k 8.66 dtl k 7 0.15 8 dtr m 1.40 7 dtr m 1.33 6 dtr m 17 0 dtr m 2.28 5 dtl k 0.51 3 dtr m 8 0 dtr m 0.44 1 dtr m 0.76 2 dtr m 18 0.11 5 dtr m 2.59 6 dtl k 1.22 1 dtr m 9 0.13 7 dtr m 0.17 7 dtr m 1.51 3 dtr m 19 0.01 9 dtr m 0.91 6 dtr m 1.13 1 dtr m 10 0 dtr m -0.34 7 dtr m 1.53 7 dtr m 20 0.15 2 dtr m 1.92 8 dtr m 1.51 4 dtr m Keterangan : PT = Peluang Tebakan; IKA = Indeks Kesukaran A; IDD = Indeks Daya
Diskriminasi Aitem 2) Subtes WA
Hasil estimasi karakteristik aitem-aitem subtes WA didapatkan bahwa 5 aitem memiliki tingkat kesukaran lebih kecil dari
-2.00 dan2 aitem diatas 2.00 serta 3 aitem memiliki indeks daya diskriminasi lebih kecil dari nol. Rangkuman hasil analisis disajikan pada Tabel 3.
PROCEEDING Seminar Nasional Psikometri
Aitem IKA Ket IDD Ket Aitem IKA Ket IDD Ket
21 -0.689 dtrm 1.075 dtrm 31 -147.285 dtlk -0.281 Dtlk 22 -2.32 dtlk 1.198 dtrm 32 0.951 dtrm 0.852 Dtrm 23 -2.544 dtlk -0.825 dtlk 33 1.791 dtrm 0.43 Dtrm 24 -1.326 dtrm 1.36 dtrm 34 -0.994 dtrm 0.524 Dtrm 25 -1.838 dtrm 0.897 dtrm 35 -122.708 dtlk -0.007 Dtlk 26 -1.314 dtrm 1.209 dtrm 36 0.875 dtrm 0.89 Dtrm 27 -1.44 Dtrm 0.924 dtrm 37 -1.349 dtrm 0.233 Dtrm 28 -2.751 Dtlk 0.318 dtrm 38 32.049 dtlk 0.074 Dtrm 29 0.629 Dtrm 0.543 dtrm 39 1.364 dtrm 0.575 Dtrm 30 -1.152 Dtrm 1.494 dtrm 40 13.892 dtlk 0.172 Dtrm Keterangan : IKA = Indeks Kesukaran Aitem; IDD = Indeks Daya Diskriminasi Aitem
3) Subtes AN
Hasil estimasi karakteristik aitem subtes AN bahwa keseluruhan aitem memiliki peluang tebakan dibawah 0.35, sebanyak 5 aitem memiliki tingkat kesukaran diatas 2.00
dan 1 lebih kecil dari -2.00. Serta 6 aitem memiliki indeks daya diskriminasi diatas 2.00. Rangkuman hasil analisis disajikan pada Tabel 4.
Tabel 4. Karakteristik Psikometris Aitem Subtes AN Aite m PT Ket IK A Ke t IDD Ke t Aite m PT Ke t IK A Ke t IDD Ke t 41 0 Dtr m -1.16 5 dtr m 3.14 6 dtl k 51 0.18 3 dtr m 0.82 1 dtr m 2.78 6 dtl k 42 0 Dtr m -0.83 7 dtr m 0.73 1 dtr m 52 0.01 7 dtr m 1.70 3 dtr m 1.60 8 dtr m 43 0 Dtr m -1.01 9 dtr m 1.57 4 dtr m 53 0.09 5 dtr m 1.97 7 dtr m 2.96 1 dtl k 44 0.03 7 Dtr m -0.74 9 dtr m 1.71 3 dtr m 54 0.06 6 dtr m 0.95 2 dtr m 1.30 3 dtr m 45 0 dtr m -0.45 2 dtr m 1.85 9 dtr m 55 0.10 3 dtr m 2.00 5 dtr m 2.01 8 dtr m 46 0.00 6 dtr m -2.66 9 dtl k -1.16 5 dtr m 56 0.11 7 dtr m 1.88 7 dtr m 2.52 9 dtl k 47 0.12 dtr 0.17 dtr 3.32 dtl 57 0.13 dtr 3.19 dtl 0.82 dtr
PROCEEDING Seminar Nasional Psikometri
4 m 5 m 4 k 8 m 5 k m 48 0 dtr m 0.69 2 dtr m 0.49 4 dtr m 58 0.00 2 dtr m 8.00 5 dtl k 0.17 3 dtr m 49 0.12 5 dtr m 3.13 9 dtl k 0.53 3 dtr m 59 0.09 5 dtr m 2.31 4 dtl k 2.04 8 dtr m 50 0.15 8 dtr m 1.14 4 dtr m 2.54 4 dtl k 60 0.11 9 dtr m 2.65 8 dtl k 1.64 dtr m Keterangan : PT = Peluang Tebakan; IKA = Indeks Kesukaran A; IDD = Indeks Daya
Diskriminasi Aitem 4) Subtes RA
Hasil estimasi karakteristik aitem-aitem subtes RA bahwa keseluruhan aitem memiliki peluang tebakan dibawah 0.35, 4 aitem yang memiliki tingkat kesukaran diatas
2.00 dan 1 lebih kecil dari -2.00. serta 10 aitem memiliki indeks daya diskriminasi diatas 2.00. Rangkuman hasil analisis disajikan pada Tabel 5.
Tabel 5. Karakteristik Psikometris Aitem Subtes RA
Aitem PT Ket IKA Ket IDD Ket Aitem PT Ket IKA Ket IDD Ket
77 0 dtrm -2.952 dtlk 1.075 dtrm 87 0 dtrm 0.887 dtrm 1.934 dtrm 78 0.064 dtrm -0.857 dtrm 1.376 dtrm 88 0.011 dtrm 1.196 dtrm 3.829 dtlk 79 0 dtrm 0.385 dtrm 1.31 dtrm 89 0.003 dtrm 1.445 dtrm 3.407 dtlk 80 0 dtrm 0.907 dtrm 1.516 dtrm 90 0.009 dtrm 1.277 dtrm 3.21 dtlk 81 0 dtrm -0.528 dtrm 1.978 dtrm 91 0.006 dtrm 1.612 dtrm 4.064 dtlk 82 0 dtrm 0.628 dtrm 1.99 dtrm 92 0.003 dtrm 1.633 dtrm 3.883 dtlk 83 0 dtrm -0.101 dtrm 1.07 dtrm 93 0.003 dtrm 2.374 dtlk 3.72 dtlk 84 0 dtrm 0.558 dtrm 2.388 dtlk 94 0.003 dtrm 2.139 dtlk 3.622 dtlk 85 0.014 dtrm 1.155 dtrm 2.076 dtlk 95 0.004 dtrm 2.133 dtlk 2.899 Dtlk 86 0.01 dtrm 1.902 dtrm 1.985 dtrm 96 0 dtrm 3.089 dtlk 1.984 Dtrm
Keterangan : PT = Peluang Tebakan; IKA = Indeks Kesukaran A; IDD = Indeks Daya Diskriminasi Aitem
5) Subtes ZR
Hasil estimasi karakteristik aitem subtes ZR bahwa keseluruhan aitem memiliki peluang tebakan dibawah 0.35, hanya 1 aitem yang memiliki tingkat
kesukaran lebih kecil dari -2.00 dan 10 aitem memiliki indeks daya diskriminasi diatas 2.00. Rangkuman hasil analisis disajikan pada Tabel 6.
PROCEEDING Seminar Nasional Psikometri
Tabel 6. Karakteristik Psikometris Aitem Subtes ZR Aite m PT Ke t IK A Ke t ID D Ke t Aite m PT Ke t IK A Ke t ID D Ke t 97 0 dtr m -2.22 4 dtl k 1.67 1 dtr m 107 0.01 4 dtr m -0.09 dtr m 2.37 3 dtl k 98 0 dtr m -1.37 4 dtr m 1.85 1 dtr m 108 0.02 1 dtr m 0.14 4 dtr m 1.40 3 dtr m 99 0 dtr m -1.19 4 dtr m 1.83 6 dtr m 109 0.06 dtr m 0.38 dtr m 2.19 9 dtl k 100 0 dtr m -1.24 5 dtr m 2.37 1 dtl k 110 0.01 3 dtr m 0.75 dtr m 3.03 5 dtl k 101 0 dtr m -0.43 3 dtr m 1.14 4 dtr m 111 0.04 9 dtr m 0.67 1 dtr m 2.85 3 dtl k 102 0 dtr m -0.74 3 dtr m 1.82 7 dtr m 112 0 dtr m 0.85 5 dtr m 2.47 5 dtl k 103 0.01 7 dtr m 0.30 6 dtr m 1.62 5 dtr m 113 0 dtr m 1.14 1 dtr m 1.72 1 dtr m 104 0.02 3 dtr m 0.62 8 dtr m 2.11 dtl k 114 0.04 dtr m 1.34 7 dtr m 2.49 2 dtl k 105 0 dtr m 0.52 4 dtr m 1.08 6 dtr m 115 0.01 3 dtr m 1.38 3 dtr m 3.17 8 dtl k 106 0 dtr m -0.32 5 dtr m 1.91 8 dtr m 116 0.03 dtr m 1.3 dtr m 2.70 5 dtl k Keterangan : PT = Peluang Tebakan; IKA = Indeks Kesukaran A; IDD = Indeks Daya
Diskriminasi Aitem 6) Subtes FA
Hasil estimasi karakteristik pada aitem-aitem subtes FA diketahui 4 aitem memiliki peluang tebakan diatas 0.35, sebanyak 2 aitem memiliki tingkat
kesukaran di atas 2.00 dan hanya 1 lebih kecil dari -2.00. Dua aitem memiliki indeks daya diskriminasi diatas 2.00 dan 1 aitem lebih kecil dari nol. Rangkuman hasil analisis disajikan pada Tabel 7.
Tabel 7. Karakteristik Psikometris Aitem Subtes FA
PROCEEDING Seminar Nasional Psikometri
m t A t D t m t A t D t 117 0.71 9 dtl k -0.53 dtr m 1.30 3 dtr m 127 0.18 5 dtr m 1.66 4 dtr m 1.86 6 dtr m 118 0.44 3 dtl k -0.03 4 dtr m 1.82 8 dtr m 128 0.14 dtr m 1.82 3 dtr m 3.85 2 dtl k 119 0.31 4 dtr m 1.24 9 dtr m 0.72 7 dtr m 129 0.00 3 dtr m -1.22 8 dtr m 1.46 5 dtr m 120 0.18 1 dtr m 0.93 6 dtr m 1.49 2 dtr m 130 0.43 2 dtl k 1.48 dtr m 1.81 dtr m 121 0.00 3 dtr m -1.58 4 dtr m 0.94 9 dtr m 131 0 dtr m -1.27 dtr m 1.09 3 dtr m 122 0.42 1 dtl k 0.58 8 dtr m 8.16 9 dtl k 132 0.05 3 dtr m 2.89 4 dtl k 1.62 6 dtr m 123 0.30 8 dtr m 0.42 6 dtr m 1.94 4 dtr m 133 0 dtr m -0.89 8 dtr m 1.00 4 dtr m 124 0.27 1 dtr m 0.68 8 dtr m 1.27 dtr m 134 0.00 1 dtr m -0.77 8 dtr m 0.59 7 dtr m 125 0.00 4 dtr m -1.65 5 dtr m 0.82 3 dtr m 135 0.00 7 dtr m 5.93 5 dtl k 0.26 4 dtr m 126 0.00 1 dtr m -0.50 1 dtr m 0.80 9 dtr m 136 0.00 2 dtr m -5.16 2 dtl k -0.88 2 dtl k Keterangan : PT = Peluang Tebakan; IKA = Indeks Kesukaran A; IDD = Indeks Daya
Diskriminasi Aitem 7) Subtes WU
Hasil estimasi karakteristik aitem subtes WU diketahui terdapat 1 aitem memiliki peluang tebakan diatas 0.35 dengan keseluruhan aitem memiliki indeks
kesukaran diatas -2.00 dan lebih kecil dari 2.00. Serta terdapat 15 aitem yang memiliki indeks daya diskriminasi lebih besar dari 2.00. Rangkuman hasil analisis disajikan pada Tabel 8.
Tabel 8. Karakteristik Psikometris Aitem Subtes WU Aitem PT Ke t IK A Ke t ID D Ke t Aite m PT Ket IK A Ke t ID D Ke t 137 0.47 dtl -0.12 dtr 3.40 dtl 147 0 Dtr -0.41 dtr 2.38 dtl
PROCEEDING Seminar Nasional Psikometri
9 k 9 m 1 k m 1 m 5 k 138 0.00 1 dtr m -0.56 6 dtr m 1.95 3 dtr m 148 0.21 8 Dtr m 1.27 6 dtr m 8.72 9 dtl k 139 0 dtr m -0.59 8 dtr m 2.15 9 dtl k 149 0.09 5 Dtr m 1.36 8 dtr m 1.57 5 dtr m 140 0.01 5 dtr m -0.76 1 dtr m 2.79 8 dtl k 150 0 Dtr m -0.20 7 dtr m 1.76 5 dtr m 141 0.18 2 dtr m 1.39 8 dtr m 5.04 2 dtl k 151 0.22 1 Dtr m 1.25 1 dtr m 4.69 2 dtl k 142 0 dtr m -0.25 8 dtr m 1.81 2 dtr m 152 0.14 8 Dtr m 1.51 3 dtr m 3.6 dtl k 143 0.00 2 dtr m -0.71 8 dtr m 1.95 3 dtr m 153 0.11 2 Dtr m 1.55 5 dtr m 4.77 4 dtl k 144 0.17 7 dtr m 1.19 6 dtr m 3.26 9 dtl k 154 0.15 9 Dtr m 1.56 dtr m 3.79 3 dtl k 145 0 dtr m -0.54 5 dtr m 2.15 dtl k 155 0.16 6 Dtr m 1.60 6 dtr m 5.47 dtl k 146 0.28 7 dtr m 0.17 1 dtr m 2.07 9 dtl k 156 0.13 8 Dtr m 1.71 7 dtr m 4.94 3 dtl k Keterangan : PT = Peluang Tebakan; IKA = Indeks Kesukaran Aitem; IDD = Indeks Daya
Diskriminasi Aitem 8) Subtes ME
Hasil estimasi karakteristik aitem-aitem subtes ME diketahui keseluruhan aitem memiliki peluang tebakan dibawah 0.35 serta memiliki indeks kesukaran lebih besar dari
-2.00 dan lebih kecil dari -2.00. Empat belas aitem memiliki indeks daya diskriminasi diatas 2.00. Rangkuman hasil analisis disajikan pada Tabel 9.
PROCEEDING Seminar Nasional Psikometri
Tabel 9. Karakteristik Psikometris Aitem Subtes ME
Aitem PT Ket IKA Ket IDD Ket Aitem PT Ket IKA Ket IDD Ket 157 0 dtrm -0.364 dtrm 1.815 Dtrm 167 0.098 dtrm 0.171 dtrm 2.134 dtlk 158 0.057 dtrm -0.355 dtrm 1.804 Dtrm 168 0.08 dtrm 0.235 dtrm 2.792 dtlk 159 0.096 dtrm -0.331 dtrm 1.936 dtrm 169 0.037 dtrm -0.032 dtrm 2.225 dtlk 160 0 dtrm -0.55 dtrm 2.02 dtlk 170 0.017 dtrm -0.3 dtrm 2.141 dtlk 161 0 dtrm -0.332 dtrm 1.766 dtrm 171 0.124 dtrm -0.371 dtrm 2.533 dtlk 162 0 dtrm -0.737 dtrm 2.655 dtlk 172 0 dtrm -0.374 dtrm 2.007 dtrm 163 0.121 dtrm -0.465 dtrm 2.535 dtlk 173 0.031 dtrm -0.143 dtrm 2.13 dtlk 164 0 dtrm -0.942 dtrm 2.334 dtlk 174 0.06 dtrm 0.275 dtrm 2.845 dtlk 165 0.001 dtrm -0.35 dtrm 2.011 dtlk 175 0.07 dtrm 0.19 dtrm 2.967 dtlk 166 0.005 dtrm -0.223 dtrm 1.68 dtrm 176 0.062 dtrm 0.083 dtrm 2.335 dtlk Keterangan : PT = Peluang Tebakan; IKA = Indeks Kesukaran A; IDD = Indeks Daya
Diskriminasi Aitem
c. Rangkuman Hasil Estimasi Parameter Aitem
Berdasarkan hasil analisis parameter aitem pada masing-masing subtes, berikut
disajikan rangkuman hasil analisis aitem-aitem yang masuk dalam kategori memiliki parameter yang baik dan tidak baik berdasarkan batasan psikometris.
Tabel 10. Rangkuman Hasil Estimasi Parameter berdasarkan batasan parameter aitem Paramet er Batasan Nilai Keterang an SE W A AN RA ZR FA WU ME b -2 ≤ b ≤ 2 Baik 15 (75) 13 (65 ) 14 (70) 15 (75) 19 (95) 17 (85) 20 (100) 20 (100 ) b < -2, b > 2 Tidak Baik 5 (25) 7 (35 ) 6 (30) 5 (25) 1 (5) 3 (15) 0 (0) 0 (0) a 0 ≤ a ≤ 2 Baik 15 (75) 17 (85 ) 14 (70) 10 (50) 10 (50) 17 (85) 5 (25) 6 (30)
PROCEEDING Seminar Nasional Psikometri a < 0, a > 2 Tidak Baik 5 (25) 3 (15 ) 6 (30) 10 (50) 10 (50) 3 (15) 15 (75) 14 (70) c 0 ≤ c ≤ 0.35 Baik 20 (100) - 20 (100) 20 (100) 20 (100) 16 (80) 19 (95) 20 (100 ) c > 0.35 Tidak Baik 0 (0) - 0 (0) 0 (0) 0 (0) 4 (20) 1 (5) 0 (0) Keterangan : angka di dalam kurung dalam persentase
Tabel 11 merangkum hasil analisis aitem berdasarkan batasan parameter daya beda
aitem, tingkat kesulitan aitem, dan peluang tebakan secara bersama-sama
tabel 11. Rangkuman hasil estimasi parameter berdasarkan batasan ketiga parameter aitem Parameter Keterang an SE WA AN RA ZR FA WU ME Total -2 ≤ b ≤ 2; 0 ≤ a ≤ 2; 0 ≤ c ≤ 0.35 Baik 11 (0.55) 13 (0.65 ) 8 (0.40 ) 9 (0.45) 9 (0.45) 12 (0.6) 5 (0.25 ) 6 (0.30 ) 73 (0.45 6) b < -2 atau b > 2; a < 0 atau a > 2; c > 0.35 Tidak Baik 9 (0.45) 7 (0.35 ) 12 (0.6) 11 (0.55) 11 (0.55) 8 (0.4) 15 (0.75 ) 14 (0.7) 87 (0.54 4) Keterangan : angka di dalam kurung dalam persentase
2. Pembahasan
Sebagai alat tes yang masih sangat sering digunakan dalam berbagai tujuan terutama dalam seleksi baik dalam bidang pendidikan maupun lingkungan organisasi, IST masih sangat harus diperhatikan. Karena berdasarkan analisis karakteristik dengan metode Marginal Maksimum Likelihood menggunakan pendekatan item response theory ditemukan bahwa 41.25% dari 160 aitem IST yang dianalisis memiliki indeks daya diskriminasi yang masuk dalam kategori tidak baik, 16.87 % dari 160 memiliki tingkat kesukaran dalam kategori tidak baik dan 3.57% memiliki peluang tebakan dalam kategori tidak baik.
Banyaknya aitem yang memiliki indeks daya diskriminasi yang kurang baik dapat membuktikan bahwa memang benar adanya dugaan bahwa alat tes ini sudah bocor di masyarakat sehingga aitem sudah tidak dapat berfungsi dengan baik untuk membedakan antara individu yang memiliki atribut yang sedang diukur. Hal ini sangat didukung oleh hasil estimasi terhadap peluang tebakan pada aitem-aitem IST. Dari 140 aitem, hanya 3.57% aitem yang
memiliki kecenderungan yang tinggi untuk dijawab oleh responden dengan benar dengan cara ditebak, pada hal terdapat 11.25% aitem yang memiliki indeks kesukaran yang sangat tinggi bahkan jauh dari ketentuan. Selain itu terdapat 5.625 % aitem yang memiliki indeks kesulitan yang sangat rendah bahkan mencapai -147.285 yaitu pada aitem nomor 31 pada subtes WA.
Berdasarkan hasil analisis dengan menggunakan kriteria peluang tebakan, indeks kesukaran aitem dan indeks daya diskriminasi secara bersama-sama diketahui bahwa dari 160 aitem yang dianalisis hanya 45.625% yang memiliki kualitas yang masih baik. Hal ini menunjukkan bahwa aitem-aitem IST sudah mengalami perubahan dari fungsinya saat dikonstrak. Salah satu penyebabnya adalah individu sudah familiar dengan aitem-aitemnya, hal ini dapat disebabkan oleh usia tes ini juga sudah hampir mencapai 40 tahun sejak pertama kali diadaptasi di Indonesia dan adanya dugaan adanya kebocoran di masyarakat. Dengan demikian penggunaan IST sebagai satu-satunya dasar
PROCEEDING Seminar Nasional Psikometri pertimbangan pengambilan keputusan
dalam seleksi benar-benar harus dipertimbangkan ulang.
E. Kesimpulan, Saran, Dan Keterbatasan Penelitian 1. Kesimpulan
Berdasarkan hasil analisis parameter aitem peluang tebakan, indeks kesukaran aitem, dan indeks daya diskriminasi aitem pada 2011 data subjek dengan metode estimasi marginal maksimum likelihood dengan pendekatan item response theory maka dapat disimpulkan bahwa 54.375% aitem IST yang dianalisis memiliki kualitas yang kurang baik menurut batasan psikometris.
2. Saran
Berdasarkan hasil penemuan dari penelitian ini, maka peneliti menyarankan beberapa hal :
1. Penggunaan IST sebagai satu-satunya dasar pertimbangan pengambilan keputusan dalam seleksi harus dihindari. 2. Melakukan revisi pada aitem-aitem IST
yang memiliki kualitas yang tidak baik jika penggunaan IST masih akan terus dilakukan.
3. Keterbatasan Penelitian
Pada penelitian ini hanya dilakukan analisis karakteristik psikometris aitem-aitem pada kedelapan subtes IST. Aitem-aitem subtes GE belum dianalisis bagaimana karakteristik psikometrinya, sehingga belum mendapat gambaran secara menyeluruh tentang kualitas aitem IST berdasarkan parameter daya beda aitem, tingkat kesulitan aitem, dan peluang tebakan.
DAFTAR PUSTAKA
Baker. F. B. (2001). The basics of item response theory. New York : Cleringhouse on Assessment and Evaluation.
Crocker. L. & Algina. J. (1986). Introduction to classical and modern test theory. New York : Holt, Rinehart and Winston, Inc.
Hambleton, R. K. (1989). Principles and selected applications of item response theory. In R. L. Linn (Ed.), Educational Measurement. 147–200.
Hambleton. R. K. & Swaminathan. H. (1985). Item response theory. Boston : Kluwer Nijhoff Publisher.
Hambleton. R. K., Swaminathan. H, & Rogers. H. J. (1991). Fundamentals of item response theory. California : SAGE Publication, Inc.
Harvey, R.J. & Thomas, L. A. (1996). Using item response theory to score the myers-briggs type indicator: rational and research findings. Journal of Psychological Type, 37, 16 -60.
Johnson. M. S. (2004). Aitem response models and their use in measuring food insecurity and hunger. City University of New York.
LPSP3 UI. (2012) . Intelligenz Struktur Test, Manual dan Norma. Jakarta. LPSP3 Fakultas Psikologi UI.
Naga. D. S. (1992). Pengantar Teori Skor. Jakarta. Gunadarma.
Scheuneman. J. D. & Bleistein. C. A. (1989). A Consumers’s guide to statistics for identifying differential item functioning. Applied Measurement in Education, 2 (3), 255-275.
Suryabrata. S. (2004). Pengembangan alat ukur psikologis. Yogyakarta: ANDI. Zenisky. A. L., Hambleton. R. K., & Robin. F. (2003). Detection of differential item functioning in large-scale state assessments: A Study evaluating a two-stage approach. Educational and Psychological
