Psikometri. Analisis Item 3

(1)

Modul ke:

Fakultas

Program Studi

Psikometri

Analisis Item 3

Arie Suciyana S., S.Si., M.Si.

Psikologi Psikologi

(2)

Analisis Item dengan SPSS:

Reliabilitas

(3)

3

RELIABILITY

…the consistency of score obtained by

the same persons when they are

reexamined with the same test on

different occasions, or with different

sets of equivalent, or under other

variable examining conditions

(4)

4

Teknik Pengukuran Reliabilitas dikaitkan dengan

Jumlah Form dan Pengambilan Tes

Testing

Session

Required

Test-Forms Required

One Two

One

Split-Half, KR,

Cronbach Alpha

Alternate-Form

(Immediate)

Two

Test-Retest

Alternate-Form

(5)

5

TIPE-TIPE RELIABILITAS

• _{Test-Retest Reliability}

• Alternate-Form Reliability

• Split-Half Reliability

• Kuder-Richardson Reliability and

Coefficient Alpha

(6)

TIPE-TIPE RELIABILITAS yang ada di SPSS

• Alpha (Cronbach). This is a model of internal consistency, based on the average inter-item correlation.

• Split-half. This model splits the scale into two parts and examines the correlation between the parts.

• Guttman. This model computes Guttman's lower bounds for true reliability.

• Parallel. This model assumes that all items have equal variances and equal error variances across replications.

• Strict parallel. This model makes the assumptions of the parallel model and also assumes equal means across

items.

(7)

Interpretasi Hasil Uji Reliabilitas

• Koefiesien Reliabilitas yang paling baik Î mendekati nilai 1

• Nilai Cronbach’s Alpha:

Reliabilitas Minimum: 0,60 (bisa diterima) Reliabilitas Sedang: 0,61 – 0,8

Reliabilitas Baik: > 0,8

(8)

Sebelum melakukan

perhitungan…

• Apabila jawaban peserta tes peserta tes masih

berbentuk pilihan jawaban (misal tes

menggunakan bentuk pilihan ganda) maka

harus dicoding terlebih dahulu, yaitu apabila

peserta tes:

• menjawab sesuai dengan kunci jawaban maka diberi

coding 1, dan

• menjawab tidak sesuai kunci jawaban atau tidak menjawab diberi coding 0.

• Ubah tipe variabel (di variable view):

String Æ Numeric

(9)

Sebelum melakukan

perhitungan…

• Apabila tes berbentuk Likert Scale (misal dengan skala 1 s.d. 6) maka item unfavorable harus

dicoding terlebih dahulu, yaitu 1Æ6; 2Æ5, 3Æ4; 4Æ3; 5Æ2; dan 6Æ1

(10)

Melakukan Coding

10

Dari menu pilih:

Transform

Recode

Into Same/Different Variables...

Æ

Pilih variabel (item) yang akan di-coding

Æ

Klik Old and New Values

Æ

Ketik Old Value dan New Value sesuai kunci

jawaban >> Klik Add

(11)

Melakukan Coding

11

• Untuk pilihan Into Different Variables perlu

dilakukan pemberian nama dan label dari output

variable (hasil coding) Æ Change

Æ Pilih variabel (item) yang akan di-coding

ÆKlik Old and New Values

ÆKetik Old Value dan New Value sesuai kunci jawaban >> Klik Add

(12)

Melakukan Coding

12

Into Same Variables… hasil coding diberikan di kolom yang sama.

Into Different Variables… hasil coding diberikan di kolom yang berbeda, di kolom paling kanan dari data.

(13)

Melakukan Coding

(14)

(15)

Warning!!

• Tidak ada menu UNDO untuk proses recode, sehingga perlu file awal (raw data) untuk

disimpan. Untuk keperluan Analisis Item kelak, file awal yang akan digunakan

(16)

16

TEST-RETEST RELIABILITY,

ALTERNATE-FORM RELIABILITY, dan SPLIT HALF

RELIABILITY

Sebelum melakukan penghitungan koefisien

korelasi terlebih dahulu dibuat skor untuk:

• _{Skor Tes ke-1 dan Tes ke-2}

• Skor Tes Form-1 dan Form-2

• Skor Tes Half-1 dan Half-2 (dapat juga Odd

dan Even)

(17)

17

TEST-RETEST RELIABILITY

dan

ALTERNATE-FORM RELIABILITY

Koefisien reliabilitas (r

_tt

) dengan tipe ini secara

sederhana adalah korelasi antara skor tes yang

didapatkan oleh orang yang sama pada dua kali

pengadministrasian tes.

Dari menu pilih:

Analyze

Correlate

Bivariate...

(18)

(19)

Hasil uji Korelasi (Pre-test vs Post-test)

• Nilai korelasi (R_XY) = 0,589

• Terdapat korelasi yang ‘cukup’ antara skor hasil ‘test 1’ dan ‘test 2’ Æ Reliabilitas alat tes cukup baik digunakan dalam pengukuran karena hasil tes yang dilakukan 2 kali dengan menggunakan alat ukur yang sama memiliki skor yang mendekati sama Æ kedua

(20)

SPLIT HALF RELIABILITY

• _{Pada dasarnya mirip dengan tipe Test-Retest dan}

Alternate-Form Reliability, yaitu korelasi antara

skor tes yang didapatkan oleh orang yang sama

pada dua belahan tes.

Dari menu pilih:

Analyze

Correlate

Bivariate...

Æ Pilih dua variabel (skor belahan tes) Æ Klik OK

(21)

(22)

Hasil Uji korelasi (Split half)

• Nilai korelasi (R_XY) = 0,699

• Terdapat korelasi yang ‘cukup’ antara ‘skor item ganjil’ dan ‘skor item genap’ Æ Reliabilitas alat tes cukup baik digunakan dalam pengukuran karena hasil perbandingan item-item ganjil terhadap item-item genap pada 1x administrasi tes memiliki total skor yang mendekati sama Æ baik item-item ganjil

(23)

Alpha (Cronbach)

• _{This is a model of internal consistency,}

based on the average inter-item

correlation (SPSS.com)

Dari menu pilih:

Analyze

Scale

Reliability Analysis...

Æ Pilih item-itemnya Æ Klik OK

(24)

(25)

Hasil uji Reliabilitas menggunakan nilai Alpha

Cronbach

• Nilai Cronbach’s Alpha= 0,767

• Reliabilitas alat ukur baik Æ keseluruhan item pada alat ukur mengukur konstruk yang sama

(26)

(27)

Sebelum melakukan

perhitungan…

• _{Apabila jawaban peserta tes peserta tes}

masih berbentuk pilihan jawaban (misal tes

menggunakan bentuk pilihan ganda) maka

harus dicoding terlebih dahulu, yaitu apabila

peserta tes:

• menjawab sesuai dengan kunci jawaban maka diberi coding 1, dan

• menjawab tidak sesuai kunci jawaban atau tidak menjawab diberi coding 0.

• Kemudian ubah tipe variabel (di variable

view):

String Æ Numeric

(28)

Sebelum melakukan

perhitungan…

• Apabila tes berbentuk Likert Scale (misal dengan skala 1 s.d. 6) maka item yang unfavorable harus dicoding terlebih dahulu, yaitu 1Æ6; 2Æ5, 3Æ4; 4Æ3; 5Æ2; dan 6Æ1

(29)

Kunci Jawaban

Persepsi terhadap Statistika

• Item Favorable:

semua kecuali item no 3

• Item Unfavorable: item no3

(30)

ITEM ANALYSIS

• Items can be analyzed qualitatively, in term of

their content and form, and quantitatively, in

terms of their statistical properties (Anastasi and

Urbina, 1997)

• Dalam panduan ini hanya akan dibahas analisis item secara kuantitatif saja

(31)

Alpha (Cronbach)

• _{This is a model of internal consistency,}

based on the average inter-item

correlation (SPSS.com)

Dari menu pilih:

Analyze

Scale

Reliability Analysis...

Æ Pilih item-itemnya Æ Klik OK

(32)

(33)

Hasil uji Analisis Item dengan Alpha Cronbach

• Item: 2, 3, 9, 19, 22 memiliki nilai “Cronbach’s Alpha if item deleted” yg lebih tinggi dari nilai Cronbach’s Alpha di tabel “Reliability Statistics “Æ indikasi item tersebut dapat dibuang untuk meningkatkan reliabilitas

33 Item-Total Statistics Scale Mean if Item Deleted Scale Variance if Item Deleted Corrected Item-Total Correlation Squared Multiple Correlation Cronbach's Alpha if Item Deleted Statiscs makes me cry 55.63 72.823 .495 .371 .749 My friends will think I'm stupid for not being

able to cope with SPSS 56.38 81.587 -.117 .188 .781 Standard deviations excite me 55.42 88.509 -.453 .395 .808 I dream that Pearson is attacking me with

correlation coefficients 55.22 70.964 .541 .385 .744 I don't understand statistics 55.28 72.018 .462 .291 .749 I have little experience of computers 55.78 70.050 .490 .427 .745 All computers hate me 55.08 68.816 .573 .469 .739 I have never been good at mathematics 55.77 72.291 .502 .490 .747 My friends are better at statistics than me 55.16 81.215 -.101 .213 .791 Computers are useful only for playing

games 55.72 74.360 .356 .197 .756

I did badly at mathematics at school 55.75 71.470 .555 .530 .744 People try to tell you that SPSS makes

statistics easier to understand but it doesn't 54.84 71.490 .528 .424 .745 I worry that I will cause irreparable damage

because of my incompetenece with computers

55.55 70.543 .569 .450 .742 Computers have minds of their own and

deliberately go wrong whenever I use them 55.13 70.494 .538 .393 .743 Computers are out to get me 55.24 71.503 .468 .344 .748 I weep openly at the mention of central

tendency 55.12 71.334 .539 .463 .744

I slip into a coma whenever I see an

equation 55.54 71.029 .584 .493 .742

SPSS always crashes when I try to use it 55.43 69.027 .593 .492 .738 Everybody looks at me when I use SPSS 55.71 84.617 -.263 .208 .797 I can't sleep for thoughts of eigen vectors 54.38 74.582 .271 .270 .761 I wake up under my duvet thinking that I am

trapped under a normal distribtion 54.83 70.818 .526 .453 .744 My friends are better at SPSS than I am 55.11 82.210 -.148 .140 .788

(34)

Interpretasi Hasil Uji Reliabilitas

• Nilai Cronbach’s Alpha:

Reliabilitas Minimum: 0,60 (bisa diterima) Reliabilitas Sedang: 0,61 – 0,8

Reliabilitas Baik: > 0,8

(35)

ITEM DIFFICULTY

• … the difficulty of an item is defined in terms of

the percentage (or proportion) of persons who answer it correctly.

• The easier the item, the larger this percentage

will be

(36)

Menghitung DIFFICULTY

INDEX

Dari output SPSS, difficulty index adalah persentase yang menjawab 1 (kunci jawaban)

nb: persentase dijadikan proporsi

(37)

Menghitung DIFFICULTY INDEX

• Ubah (coding) jawaban peserta tes dengan aturan yang menyetujui (endorse) menjadi 1 dan yang tidak

menyetujui menjadi 0

• Apabila pilihan jawaban skalanya berjumlah ganjil, misal 5, maka pilihan yang berada di tengah (pilihan 3) tidak dihitung

nb: coding hanya menghasilkan skala nominal

(38)

(39)

(40)

(41)

Menghitung DIFFICULTY INDEX pada

Typical Performance Test

(proportion of endorsement)

• Setelah dicoding, hitung proporsi peserta tes yang meng-endorse (menyetujui) item tersebut (dengan cara yang sama dengan menghitung difficulty index)

(42)

DIFFICULTY INDEX

• Untuk menentukan apakah suatu item memiliki

difficulty index yang tinggi atau memiliki

proportion endorsement yang tinggi gunakan

referensi.

(43)

Item Difficulty

Dari file Latihan Analisis Item.sav:

• Ubah jawaban peserta tes dari huruf (string) ke angka (numeric) sesuai dengan kunci jawaban

(44)

Menghitung DIFFICULTY

INDEX

44

Analyze >> Descriptive Statistics >>

(45)

(46)

Hasil uji analisis item dengan Item Difficulty

• Item RQ_01 dan RQ_03

memiliki tingkat kesulitan yg tinggi, karena lebih dari 70% partisipan memberikan respon tidak sesuai dengan yang

diharapkan

• Item RQ_12 memiliki tingkat kesulitan sedang Æ 50-70% partisipan memberikan respon yang tidak sesuai

• Item RQ_20 memiliki tingkat kesulitan yang rendah dimana lebih dari 50% partisipan

memberikan respon yang sesuai yang diharapkan

(47)

ITEM DISCRIMINATION

• Fungsi item pada dasarnya sama dengan fungsi tes, yaitu membedakan individu yang memiliki kemampuan tinggi (atau karakteristik kuat) dengan individu yang memiliki kemampuan rendah (atau karakteristik lemah)

• Untuk itu perlu diketahui kriteria dalam

membedakan kemapuan/karakteristik individu

(48)

Cara Menghitung ITEM

DISCRIMINATION

… dapat dilakukan dengan dua cara:

• Extreme group method, dan

• Correlation indices method

(49)

EXTREME GROUP METHOD

• Peserta tes dibagi menjadi (setidaknya) dua kelompok yaitu upper dan lower

• Pembagian kelompok ini didasarkan pada total skor

• Anastasi &Urbina (1997) menyarankan

pembagian kelompoknya antara 25% s.d. 33% (dengan demikian sebenarnya ada kelompok ‘middle’)

(50)

Membuat Extreme Group

• Bila jumlah subyek besar (>350) dapat digunakan 25%-33%

• Misal kalau akan diambil 25% maka:

Persentil 25 ke bawah merupakan lower group Persentil 75 ke atas merupakan upper group

• Bila jumlah subyek sedikit bisa digunakan nilai median dalam membagi kelompoknya

(51)

Masalah dalam pembagian Upper dan

Lower

• Apabila ada sejumlah subyek mendapatkan nilai yang sama dengan nilai median, (misal dalam data Tes Pengetahuan Umum.sav setelah

diurutkan nilainya orang ke-41 sampai ke-55 (15 orang) sama-sama mendapatkan skor 55)

Æ solusi: umumnya digunakan randomisasi untuk menempatkan 10 orang ke lower group dan 5 orang ke upper group.

(52)

Menghitung Item

Discrimination D

Dimana:

D = item discrimination

pU = proportion correct di upper group

pL = proportion correct di lower group

52

(53)

Menghitung D di SPSS

• Buat satu variabel (kolom) yang isinya pengelompokkan (upper dan lower)

misal: beri coding 1 untuk lower group dan coding 2 untuk upper group

(54)

Menghitung D di SPSS

• Mencari pU

Data >> Select Cases>> If condition is satisfied>> Klik IF

54

Masukkan variabel pengelompokkan Æ ketik coding upper group>> Continue>> OK

(55)

Menghitung D di SPSS

• _{Perhatikan nomor subjek yang bukan}

merupakan bagian dari upper group dicoret,

artinya pengolahan berikutnya hanya dari

nomor yang tidak dicoret (selected)

• _{Kemudian cari proportion correct}

Analyze >> Descriptive Statistics >>

Frequencies masukkan semua itemnya >> OK

• _{Difficulty Index yang dihasilkan adalah pU}

(56)

Menghitung D di SPSS

• Mencari pL

Data >> Select Cases>> If condition is satisfied>> Klik IF

56

Masukkan variabel pengelompokkan ketik coding lower group>> Continue>> OK

(57)

Menghitung D di SPSS

• _{Perhatikan nomor subjek yang bukan}

merupakan bagian dari lower group

dicoret, artinya pengolahan berikutnya

hanya dari nomor yang tidak dicoret

(selected)

• _{Kemudian cari proportion correct}

Analyze >> Descriptive Statistics >>

Frequencies masukkan semua itemnya >>

OK

• _{Difficulty Index yang dihasilkan adalah pL}

(58)

Menghitung D di SPSS

• Hitung D (secara manual) dengan rumus

58

(59)

Menghitung Item Discrimination

dengan Internal Consistency (r

_IT

)

• Analisis item discrimination dengan teknik internal

consistency dilakukan dengan mengkorelasikan skor

item dengan skor total yang sudah dikurangi dengan skor item yang akan dilihat diskriminasinya

(corrected item-total correlation)

(60)

Item Discrimination dengan

r

_IT

Dari menu pilih:

Analyze>> Scale>> Reliability Analysis...

ÆPilih item-itemnya

ÆKlik Statistics pilih Scale dan Scale if item deleted

Æ Klik Continue>> OK

(61)

(62)

Item Discrimination dengan

r

_IT

• Dari output, kolom corrected item-total

correlation merupakan item discrimination dengaN menggunakan r_IT

(63)

Hasil uji analisis item dengan Item Discrimination

• Item: 2, 3, 9, 19, 22 memiliki nilai corrected item-total correlation negatif (-) Æ indikasi sebaiknya item tersebut di-reverse menjadi unfavourable

item atau dibuang

63 Item-Total Statistics Scale Mean if Item Deleted Scale Variance if Item Deleted Corrected Item-Total Correlation Squared Multiple Correlation Cronbach's Alpha if Item Deleted Statiscs makes me cry 55.63 72.823 .495 .371 .749 My friends will think I'm stupid for not being

able to cope with SPSS 56.38 81.587 -.117 .188 .781 Standard deviations excite me 55.42 88.509 -.453 .395 .808 I dream that Pearson is attacking me with

correlation coefficients 55.22 70.964 .541 .385 .744 I don't understand statistics 55.28 72.018 .462 .291 .749 I have little experience of computers 55.78 70.050 .490 .427 .745 All computers hate me 55.08 68.816 .573 .469 .739 I have never been good at mathematics 55.77 72.291 .502 .490 .747 My friends are better at statistics than me 55.16 81.215 -.101 .213 .791 Computers are useful only for playing

games 55.72 74.360 .356 .197 .756

I did badly at mathematics at school 55.75 71.470 .555 .530 .744 People try to tell you that SPSS makes

statistics easier to understand but it doesn't 54.84 71.490 .528 .424 .745 I worry that I will cause irreparable damage

because of my incompetenece with computers

55.55 70.543 .569 .450 .742 Computers have minds of their own and

deliberately go wrong whenever I use them 55.13 70.494 .538 .393 .743 Computers are out to get me 55.24 71.503 .468 .344 .748 I weep openly at the mention of central

tendency 55.12 71.334 .539 .463 .744

I slip into a coma whenever I see an

equation 55.54 71.029 .584 .493 .742

SPSS always crashes when I try to use it 55.43 69.027 .593 .492 .738 Everybody looks at me when I use SPSS 55.71 84.617 -.263 .208 .797 I can't sleep for thoughts of eigen vectors 54.38 74.582 .271 .270 .761 I wake up under my duvet thinking that I am

trapped under a normal distribtion 54.83 70.818 .526 .453 .744 My friends are better at SPSS than I am 55.11 82.210 -.148 .140 .788

(64)

DISTRACTOR POWER

• Data yang akan digunakan adalah data original dimana pilihan jawaban belum dicoding menjadi jawaban benar (1) atau salah (0)

• Analyze>> Descriptive Statistics>> Frequencies

kemudian masukkan seluruh itemnya kemudian Klik OK

(65)

(66)

DISTRACTOR POWER

• Output yang muncul adalah Actual Distractor Power(ADP) dalam bentuk frekuensi dan

persentase

(67)

Hasil uji analisis item dengan Distractor Power

• Item 1 merupakan item yang baik karena sebagian besar partisipan menjawab sesuai dengan respon yang

diinginkan

• Item 2 kurang baik, karena ‘neither’ atau netral

merupakan respon yang paling banyak dipilih

• Item 3 kurang baik, karena hampir semua respon dipilih oleh jumlah partisipan yang sama Æ indikasi partisipan tidak dapat mengerti dengan baik kalimat atau respon yang diinginkan dari item tersebut

(68)

Daftar Pustaka

Cohen, R. J., & Swerdlik, M. E. (2010). Psychological testing and

assessment: An introduction to test and measurement.

(7th _{ed.). Boston: McGraw Hill.}

Field, A. (2009). Discovering statistics using SPSS. (3rd ed.). New York: SAGE Publications, Ltd.

Kaplan, R.M. & Saccuzzp, D.P. (2009). Psychological testing: Principles, applications, and issues. California:

Wadsworth Cengage Learning

Urbina, S. (2004). Essentials of psychological testing. New York: John Wiley & Sons, Inc.

(69)