RELIABILITAS ORDINAL PADA METODE TEST-RETEST
Yaqozho Tunnisa
1, Rianti Setiadi
2Departemen Matematika, FMIPA UI, Kampus UI Depok 16424 tunnisa.yaqozho@gmail.com1, ririnie@yahoo.com.sg2
Abstrak
Dalam penelitian tertentu, seringkali alat tes digunakan untuk mengurutkan nilai murni sejumlah responden, sehingga alat tes diharapkan dapat memprediksi urutan nilai murni dengan tepat. Reliabilitas ordinal adalah ketepatan prediksi urutan berdasarkan suatu alat tes. Reliabilitas ordinal dipertimbangkan berdasarkan agreement
(ketepatan) antara urutan nilai pengamatan dan urutan nilai murni. Koefisien korelasi Kendall Tau digunakan untuk mengukur agreement tersebut. Karena nilai murni tidak bisa diketahui maka digunakan test-retest untuk penaksiran. Reliabilitas ordinal dapat ditaksir dengan koefisien korelasi Kendall Tau dari urutan skor test-retest. Dapat dibuktikan bahwa ekspektasi taksiran koefisien korelasi Kendall Tau dari skor test-retest lebih kecil dari koefisien reliabilitas ordinal.
Abstract
In certain studies, tests are often used to rank the true score of respondents, so the test is expected to predict the exact rank of true score. Ordinal reliability is the correctness prediction of true scores rank by a test. Ordinal reliability considered by agreement between the order of observed scores and the order of true scores. Kendall Tau correlation coefficient is used to measure the agreement. Because true scores can not be known then retest is used for estimation. Ordinal reliability can be estimated with Kendall Tau correlation coefficient of test-retest ordered score. It can be proved that the expectation of the estimated Kendall Tau correlation coefficient of test-retest scores less than the coefficient of ordinal reliability.
Keywords: reliability, ordinal reliability, agreement,Kendall Tau
1.
PENDAHULUAN
Seringkali tes psikologi atau pendidikan digunakan untuk mengurutkan sejumlah kandidat/responden guna memilih beberapa responden terbaik untuk sejumlah keperluan. Biasanya hal ini dilakukan untuk jumlah responden yang tidak terlalu besar. Sebagai contoh seorang pimpinan suatu perusahaan yang mempunyai 15 cabang tersebar di pulau Jawa ingin memberikan penghargaan kepada 3 supervisor terbaik perusahaan salah satunya berdasarkan kepemimpinan. Untuk keperluan tersebut, beliau memerintahkan kepada bagian HRD untuk membuat tes tentang kepemimpinan dan selanjutnya diberikan kepada supervisor perusahaan. Dalam hal ini penyeleksi lebih mementingkan urutan dari hasil tes dibandingkan skor hasil tes tersebut
Reliabilitas suatu alat tes adalah ukuran kekonsistenan hasil tes yang diperoleh berdasarkan
alat tes jika tes dilakukan berulang dalam kondisi yang relatif sama. Skor hasil tes mengukur nilai murni dari variabel yang terkait dengan alat tes. Jika tes diberikan pada sejumlah responden maka akan didapat nilai pengamatan (skor tes) dari setiap responden. Nilai murni dan skor hasil tes terkait mempunyai variansi yang disebut variansi nilai murni dan variansi skor hasil tes. Jika skor hasil tes lebih dipentingkan daripada urutannya, reliabilitas suatu alat tes didefinisikan sebagai rasio variansi nilai murni dari variabel yang di ukur terhadap variansi nilai pengamatan. Karena nilai murni dari variabel yang terkait tidak diketahui maka reliabilitas perlu ditaksir. Reliabilitas suatu alat tes biasanya ditaksir berdasarkan koefisien korelasi dari skor yang diperoleh saat pengukuran dengan alat tes tersebut dilakukan sebanyak dua kali pada selang waktu tertentu. Jika koefisien korelasi dari hasil tes pertama dan tes kedua semakin besar, maka alat tes tersebut dikatakan semakin reliabel. Metode penaksiran koefisien reliabilitas seperti dituliskan di atas dikenal dengan nama metode test-retest..
Jika alat tes digunakan untuk mencari urutan responden/peserta tes, suatu alat tes diharapkan dapat memberikan prediksi urutan dari nilai murni dengan tepat. Ketepatan prediksi urutan nilai murni berdasarkan suatu alat tes disebut reliabilitas ordinal.(Biswas, 2006).
Berdasarkan definisi reliabilitas ordinal di atas, urutan dari skor hasil tes tidak dapat digunakan untuk mengukur reliabilitas ordinal karena rasio variansi urutan skor hasil tes dengan variansi urutan nilai murni selalu bernilai 1. Dengan demikian perlu di cari pendekatan lain untuk mendefinisikan koefisien reliabilitas ordinal dari suatu alat tes yang tidak berdasarkan konsep rasio di atas.
2.
LANDASAN TEORI
2.1 Koefisien Reliabilitas
Misalkan adalah nilai pengamatan yang diperoleh berdasarkan alat tes, adalah nilai murni dari variabel yang di ukur. Pandang model pengukuran klasik sebagai berikut:
(1) dengan adalah eror dan diasumsikan [ ] , antara dan saling bebas sehingga ( ) . Sebut ( ) ( )
Reliabilitas suatu alat tes didefinisikan sebagai :
Dapat ditunjukkan bahwa , yaitu kuadrat korelasi antara X dan B. Karena reliabilitas dapat dinyatakan sebagai kuadrat korelasi antara nilai pengamatan dan nilai murni, maka koefisien reliabilitas akan berada di interval [0,1].
2.2 Metode Penaksiran Reliabilitas Test-Retest
Variabel adalah variabel yang tidak diketahui langsung dari pengamatan, maka nilai R (koefisien reliabilitas) tidak dapat dicari secara langsung, sehingga akan ditaksir. Salah satu metode penaksiran yang akan digunakan adalah metode test-retest di mana tes dilakukan dua kali dalam selang waktu tertentu dengan alat tes yang sama.
Misalkan adalah nilai pengamatan dari tes pertama, ’ adalah nilai pengamatan dari tes kedua dan adalah nilai murni, model pengukuran test-retest dapat dituliskan sebagai berikut:
Tes 1: (2) Tes 2: (3) dengan adalah error dari tes pertama dan ’ adalah error dari tes kedua. Dalam test-retest diasumsikan
Antara dan saling bebas,
Antara saling bebas,
Antara saling bebas.
Reliabilitas dapat ditaksir dengan menggunakan koefisien korelasi dari hasil skor test-retest, dengan perkataan lain dapat dibuktikan bahwa Misalkan ( ) ( ) ( ) adalah pasangan nilai yang diperoleh dari tes 1 dan tes 2 dalam metode test retest untuk n peserta, maka koefisien reliabilitas dapat ditaksir dengan mencari korelasi antara nilai hasil test-retest ̂
∑ ∑ ∑
√ ∑ (∑ ) √ ∑ (∑ ) .
2.3 Koefisien Kendall Tau
Koefisien Kendall Tau adalah salah satu koefisien untuk mengukur kekuatan hubungan dari dua variabel random dan , di mana dan berpasangan. Misalkan ( ) ( ) ( ) adalah himpunan pengamatan dari pasangan variabel random
X dan Y. Setiap pasangan pengamatan ( ) and
( ) dikatakan konkordan jika dan atau jika dan . Selanjutnya dikatakan diskordan jika dan atau jika dan . Jika atau , pasangan tersebut bukan konkordan atau diskordan.
Koefisien Kendall Tau didefinisikan sebagai :
( ) ( ) ( ) (4) ( ) ( ) Sebut : ( ) ( ) Maka (5) Penyebut dari persamaan (2.4) adalah jumlah kombinasi pasangan ( ) yang ada, maka koefisien Kendall Tau akan berada di interval [ ].
Jika semua pasangan konkordan, maka probabilitas pasangan konkordan akan sama dengan 1, sehingga koefisien Kendall Tau akan bernilai 1. Jika semua pasangan diskordan maka probabilitas pasangan diskordan akan sama dengan 1 sehingga koefisien Kendall Tau akan mempunyai nilai -1. Jika
X dan Y saling bebas, atau jumlah pasangan konkordan dan jumlah pasangan diskordan sama, maka probabilitas pasangan konkordan akan sama dengan probabilitas pasangan diskordan, sehingga koefisien Kendall Tau akan bernilai 0.
Dari definisi konkordan dan diskordan, maka dapat dituliskan sebagai berikut:
[{( ) ( )} {( ) ( )}] [( )( ) ] (6) [{( ) ( )} {( ) ( )}] [( )( ) ] (7) Selanjutnya didefinisikan variable random , sebagai berikut:
( ) ( )
di mana secara umum,
( ) {
sehingga nilai dari variable random adalah :
{
( ) ( ) ( ) ( ) ( ) ( )
Karena variable random adalah diskrit, maka pdf dari adalah: ( ) ( ) ( ) {
Ekspektasi dari yaitu [ ]
Misalkan ( ) ( ) ( ) adalah sampel random dari ( ), maka akan terdapat ( ) pasangan
( ) dan ( ) yang mungkin. Didefinisikan:
̂ ( ) ∑ ∑
Dapat dibuktikan bahwa [ ̂] yang selanjutnya ̂ akan digunakan sebagai penaksir yang tak bias untuk
.
3.
PEMBAHASAN
3.1 Reliabilitas Ordinal
Seperti yang telah disebutkan pada bab 1, seringkali peneliti/penyelenggara tes lebih mementingkan urutan dari hasil tes dibandingkan skor hasil tes tersebut. Alat tes yang digunakan untuk mencari urutan responden/peserta tes diharapkan dapat memberikan prediksi urutan dari nilai murni dengan tepat. Ketepatan prediksi urutan nilai murni berdasarkan suatu alat tes disebut reliabilitas ordinal (Biswas, 2006). Misalkan terdapat sebuah tes yang akan diberikan kepada N peserta. Sebut nilai murni dari variabel yang di ukur untuk individu ke- adalah
. adalah nilai yang didapat dari pengukuran menggunakan alat tes untuk individu ke-. Menurut teori reliabilitas klasik, model pengukuran dapat dituliskan sebagai berikut:
(8) di mana adalah error dari individu ke- untuk
.
Asumsikan saling bebas dan berdistribusi identik dengan cdf ( ) yang memenuhi sifat berikut:
( ) adalah fungsi yang kontinu,
Memiliki pdf yang simetris di ,
Tidak bergantung nilai .
Sebut ( ) ( ( ) ( ) ( )) di mana
( ) adalah urutan dari .
( ) ( ( ) ( ) ( )) di mana ( ) adalah urutan dari . Reliabilitas ordinal dipertimbangkan sebagai agreement (ketepatan) antara ( ) dan ( ). Semakin besar agreement
antara ( ) dan ( ), maka semakin tinggi presisi
( ) untuk memprediksi ( ). Dengan perkataan lain makin besar agreement antara ( ) dan ( ) maka alat tes semakin reliabel secara ordinal. (Biswas, 2006).
Mengingat bahwa ( ) dan ( ) merupakan urutan dari dan , dan bukan nilai sebenarnya dari
dan , maka untuk mengukur agreement antara
( ) dan ( ) akan digunakan koefisien Kendall Tau antara ( ) dan ( ). Jadi reliabilitas ordinal dapat diukur berdasarkan koefisien Kendall Tau. Dalam bab sebelumnya pada persamaan (5) telah dijelaskan bahwa koefisien Kendall tau didefinisikan sebagai
[( )( ) ] [( )(
) ] (9)
nilai dari di persamaan (9) tidak bisa langsung digunakan sebagai koefisien reliabilitas ordinal karena
berada di interval [ ], sedangkan koefisien reliabilitas ordinal seperti yang dijelaskan pada subbab 2.1 mempunyai nilai di interval [0,1].
Sebut ( ) dan ( ) .
Nilai dari {
( )( ) ( )( ) ( )( )
Dengan perkataan lain dapat dituliskan bahwa
{ ( ) ( ) ( ) ( ) Didefinisikan ( ) ∑ ∑ …(3.3)
Dapat dibuktikan bahwa [ ] .
[ ] ( ) ∑ ∑ [ ] ( ) ∑ ∑ [( ) ( ) ] ( ) ∑ ∑ [ ] ( ) ( )
Terbukti bahwa [ ] , selanjutnya [ ] akan dipertimbangkan sebagai koefisien reliabilitas ordinal. Reliabilitas ordinal mempunyai nilai di interval [0,1], sedangkan bernilai di interval [-1,1], selanjutnya akan dibuktikan bahwa jika asumsi dipenuhi, maka nilai [ ] akan berada di interval [0,1].
[
] (
)
∑ ∑ [
]
( ) ∑ ∑ [ ] ( ) ∑ ∑ ( ( ) ( )) ( ) ∑ ∑ ( ( ) [ ( )]) ( ) ∑ ∑ ( ( ) ) ( ) ∑ ∑ ( (( ) ( )) ) ( ) ∑ ∑ ( (( ) ( )) ) ( ) ∑ ∑ ( [ ( )( )] ) ( ) ∑ ∑ ( [ ( )(| |)] )Jika pdf yang bersesuaian dengan ( ) diasumsikan simetris di titik , maka dapat dibuktikan bahwa
( )( ) . Sehingga, ( )(| |) [ ( )(| |)] ∑ ∑ ∑ ∑ [ ( )(| |)] ∑ ∑ ( ) ( ) [ ] ( ) [ ]
terbukti bahwa [ ] berada di interval [0,1]. Karena [ ] dan mempunyai nilai yang di interval [0,1] maka koefisien reliabilitas ordinal akan diukur dengan [ ] Selanjutnya akan dicari taksiran dari [ ]. Penaksiran koefisien reliabilitas ordinal di atas akan dicari dengan metode test-retest .
3.2 Taksiran Reliabilitas Ordinal Berdasarkan Test-Retest
Di subbab sebelumnya, telah dibuktikan bahwa
[ ] dan bernilai di interval [0,1]. Karena masih mengandung b (nilai murni) yang tidak bisa diketahui langsung dari pengamatan, maka koefisien reliabilitas ordinal akan diukur berdasarkan [ ] yang akan ditaksir dengan menggunakan metode test-retest.
= nilai yang diperoleh pada tes pertama untuk individu ke-i,
= nilai yang diperoleh pada tes pertama untuk individu ke-i,
Pandang model pengukuran test-retest,
Tes 1: (10) (10) …(3.8) Tes 2: (11) …(3.9)
Dalam metode test-retest didefinisikan bahwa nilai murni tes pertama dan nilai murni tes kedua bernilai sama, ( ) dan ( ) saling bebas, serta dan
sama-sama berdistribusi ( ).
Sebut ( ) ( ( ) ( ) ( )) di mana ( ) adalah urutan dari , ( )
( ( ) ( ) ( )) di mana ( ) adalah urutan dari . Reliabilitas ordinal dipertimbangkan sebagai agreement antara ( ) dan ( ). Semakin besar agreement antara ( ) dan ( ), maka tes semakin reliabel secara ordinal.
Mengingat bahwa ( ) dan ( ) merupakan urutan dari dan , dan bukan nilai sebenarnya dan , maka untuk mengukur agreement antara
( ) dan ( ) dapat digunakan koefisien korelasi Kendall Tau. Analog dengan penjelasan sebelumnya, sebut ( ) dan ( ) Didefinisikan ( ) ∑ ∑ (12) Nilai dari { ( )( ) ( )( ) ( )( )
Dengan perkataan lain dapat dituliskan bahwa
{
( ) ( ) ( ) ( )
Dari pendefinisian di atas, akan dipertimbangkan sebagai taksiran dari koefisien reliabilitas ordinal
( [ ]). [ ] ( ) ∑ ∑ [ ] ( ) ∑ ∑ ( ) ( ) ( ) ( ) ( ) ∑ ∑ ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ∑ ∑ [ ( )] [ ( )] ( ) ( ) ( ) ( ) ( ) ∑ ∑ [ ( ) ] ( ) ∑ ∑ * (( ) ( )) + ( ) ∑ ∑ * (( ) ( )) + ( ) ∑ ∑ [ [ ( )] ] ( ) ∑ ∑ [ [ (| |)] ] [ ]
Berarti [ ] [ ], dengan perkataan lain bukan merupakan taksiran yang tak bias untuk koefisien reliabilitas ordinal ( [ ]). Walaupun demikian nilai harapan dari lebih kecil dari koefisien reliabilitas ordinal ( [ ]) dengan perkataan lain rata-rata dari [ ] , sehingga bisa didapatkan nilai minimum dari koefisien reliabilitas ordinal yang sesungguhnya. Koefisien reliabilitas ordinal ( [ ]) akan mempunyai nilai lebih tinggi dari nilai yang dihitung dari data. Jika didapatkan nilai yang cukup tinggi maka bisa disimpulkan bahwa alat tes reliabel secara ordinal
4.
KESIMPULAN
Koefisien reliabilitas ordinal pada metode test-retest dapat dicari berdasarkan agreement (ketepatan) dari urutan skor tes pertama dan urutan skor tes kedua (hasil test-retest) berdasarkan koefisien Kendall Tau.
Taksiran koefisien reliabilitas ordinal yang didapat bukan merupakan taksiran yang tak bias untuk koefisien reliabilitas ordinal. Walaupun demikian taksiran nilai reliabilitas ordinal yang didapat mempunyai nilai yang lebih kecil dari koefisien reliabilitas ordinal.
5.
DAFTAR ACUAN
[1] Biswas, A.K. (2006). Reliability of Total Test Scores When Considered as Ordinal Measurements.
Applied Psychological Measurement, 30, 43-55. [2] Conover, W.J. (1980). Practical Nonparamteric Statistics (2nd ed.). New York: John Willey.
[3] Gibbons, J.D. (1971). Nonparametric statistical inference. New York: John Willey.
[4] Hogg, R.V, McKean, J.W and Craig, A.T. (2005).
Introduction to Mathematical Statistics (7th ed.). Boston: Pearson.
[5] Kendall, M.G. (1938). A New Measure of Rank Correlation Correlation. Biometrika, 30, 81-93. [6] Nunnally, J.C, & Bernstein, I.H. (1994).
Psychometric theory (3rd ed.). New York: McGraw-Hill.
[7] Siegel, S. (1992). Statistik Nonparametrik Untuk Ilmu-ilmu Sosial. Jakarta: Gramedia Pustaka Utama.
