STUDI GENERALIZABILITAS TES TIPE DUA FACET DENGAN MENGGUNAKAN ANALISIS VARIAN TIGA JALUR
Oleh Purwo Susongko
Universitas Pancasakti Tegal ([email protected]) Teori generalizabilitas membahas
kajian konseptual dan metodologi untuk menjelaskan kesalahan pengukuran yang lebih detail termasuk diantaranya sumber-sumber kesalahan dalam prosedur pengukuran pendidikan dan psikologi. Aspek kuantitatif dari teori generalizabilitas dapat dianalisis dengan pendekatan teori tes klasik dan analisis varian, walaupun pada dasarnya konsep dasar teori generalizabilitas lebih luas dan berkembang lebih lanjut melampau teori tes klasik. Konsep dasar dan metodologi dari teori generalizabilitas khususnya untuk tipe dua facet dibahas secara komprehensif dalam makalah ini dengan menggunakan data empirik pada tes prestasi belajar kimia di Sekolah Menengah Umum dengan bantuan analisis varian tiga jalur.
Kata kunci: generalizabilitas, facet, analisis varian tiga jalur
A. Pendahuluan
Konsep generalizabilitas merupakan penyempurnaan dari konsep reliabilitas dalam teori tes klasik yang merupakan suatu usaha untuk meningkatkan akurasi interpretasi tes.
Teori generalizabilitas atau teori G memberikan suatu kerangka kerja untuk mengkonseptualisasi, menginvestigasi,
dan mendesain pengamatan yang reliabel. Menurut Allen & Yan (1979), teori generalizabilitas secara eksplisit mempertimbangkan sumber-sumber varians sistematik yang berbeda dalam pengukuran dan menggambarkan cara- cara mengestimasi banyak varians yang disumbangkan oleh sumber-sumber ini.
Teori generalizabilitas melihat teori tes klasik (true-score theory) terlalu menyederhanakan permasalahan. Hal ini disebabkan skor tampak hanya diteorikan merupakan penjumlahan dari skor yang sebenarnya (true-score) dan kesalahan pengukuran (error of measurement) sehingga dalam konsep reliabilitas kesalahan baku sistematik yang muncul tidak dapat terdeteksi dengan baik.
Banyak pembuat tes menyajikan data yang ekivalen dari bentuk tes alternatif, tetapi seringkali kondisi kedua data yang telah terkumpulkan tak sepenuhnya spesifik dan sangat mungkin ada pengaruh sistematik pada ekivalensi
yang tidak diujikan. Salah satu kelemahan konsep reliabilitas adalah sulit sekali membuat dua tes dengan kondisi yang paralel. Oleh karena sulitnya memenuhi asumsi dua tes yang paralel, maka hasil estimasi reliabilitas dapat ambigu atau keputusan yang dibuat tanpa didasarkan pada informasi yang memadai. Contohnya, menggunakan rumus Spearman-Brown, seorang peneliti dapat memprediksi bahwa menduakalikan jumlah pengamatan dapat menghasilkan derajat reliabilitas tertentu yang dikehendaki.
Seandainya pengamatan dilakukan oleh beberapa pengamat, yang menilai (mengamati) perilaku anak-anak hari demi hari berturut-turut. Tanpa melakukan studi G, peneliti tidak akan dapat mengetahui apakah hal itu sesuai dengan menduakalikan jumlah pengamat dan menerima jumlah hari pengamatan yang sama, untuk menunjukkan atau menjaga jumlah pengamat yang sama dan menduakalikan jumlah hari pengamatan, atau membuat beberapa penyesuaian lanjutan. Teori generalisabilitas secara eksplisit memperhatikan masalah-masalah seperti itu, dan menjelaskannya bahwa akurasi pengukuran harus diperhatikan secara
terpisah untuk setiap aplikasi alat pengukuran; koefisien generalisabilitas (yang adalah reliabilitas) dari suatu tes adalah bukan suatu sifat invarian (tak berubah) dari tes melainkan dipengaruhi oleh situasi mana tes diselenggarakan.
Studi G memberikan kemanfaatan, informasi lebih jauh mengenai karakteristik tes di bawah perbedaan kondisi testing, tetapi analisis data yangd digunakan lebih kompleks dibanding dalam teori tes klasik.
Tulisan ini akan mengkaji beberapa hal sebagai berikut: (1) Membahas konsep dasar teori generalizabilitas dalam teori pengukuran pendidikan, (2) Membahas penggunaan analisis varian tiga jalur sebagai metode estimasi varian-varian komponen yang terlibat dalam estimasi koefisien generalizabilitas, (3) Mengestimasi koefisien generalizabilitas dari hasil tes secara empirik pada tes prestasi belajar Kimia di SMA
B. Konsep Dasar Teori Generalizabilitas
Teori G merupakan metode yang komprehensif untuk mendesain, menilai, dan memperbaiki konsistensi internal dan stabilitas pengukuran (Williams &
Patterson, 1992). Teori G, menurut Matt
(2002) menginterpretasi teori reliabilitas klasik sebagai suatu teori yang dapat menggeneralisasi dari suatu sampel pengamatan ke populasi pengamatan darimana sampel tersebut diambil secara acak. Karena pengamatan digeneralisasi ke banyak populasi yang berlainan, maka sebenarnya dapat pula koefisien reliabilitas hasil estimasi sudah tidak tepat lagi dengan kondisi yang sebenarnya.
Dalam teori G, kesalahan- kesalahan sistematik dapat diidentifikasi disamping kesalahan acak sehingga teori G dapat menyajikan besarnya reliabilitas dan validitas secara bersama- sama. Hal ini tentunya tidak dapat dilakukan dengan teori tes klasik, karena pada konsep teori tes klasik reliabilitas dan validitas adalah dua konsep yang berbeda dan diestimasi secara terpisah.
Dalam teori tes klasik, reliabilitas didefinisikan sebagai ukuran ketepatan tes dari kesalahan acak sedangkan validitas didefinisikan sebagai ukuran ketepatan tes dari kesalahan sistematik.
Dalam teori G, suatu populasi, segi- seginya dan kondisi-kondisi bagi pengamatan yang dapat diterima ditegaskan melalui eksplikasi konstrak dengan hati-hati, domain tradisional teori
validitas. Penggunaan istilah-istilah dependability dan generalizability daripada reliability memunculkan minat dalam mempersatukan reliabilitas dan validitas. Bagaimana mendesain dan menginvestigasi ukuran-ukuran atau tindakan-tindakan dependable adalah bahasan pokok teori G (Ahmad Rohani,2008)
Dalam teori generalizabilitas, pengamatan (skor tes teruji) dilihat sebagai sampel dari universe (populasi) pengamatan yang dapat diterima.
Populasi menggambarkan kondisi yang teruji dapat diamati atau dites, yang menimbulkan hasil yang ekivalen pada beberapa tingkatan spesifik. Teori generalisabilitas menekankan bahwa keberadaan populasi yang berlainan dan menjadi tanggung jawab penyusun tes untuk menetapkan batasan berlakunya hasil tes tersebut. Kondisi spesifik yang dipertimbangkan dalam tes biasa disebut facets atau dimension. Sebagai contoh adalah ukuran sampel pengambil tes, banyaknya item tes, bentuk tes, jumlah rater dan sebagainya. Kondisi ini dispesifikasi, dan pengaruhnya- pengaruhnya dapat diuji.
Misalkan suatu tes dilaksanakan pada sejumlah peserta tes (p), dengan
mengerjakan tes dalam beberapa bentuk yang berbeda (t) dan item yang berbeda (r). Tes tersebut dinyatakan sebagai tes yang berdimensi 2 ( 2 facet) karena mempertimbangkan dimensi bentuk tes (t) dan banyaknya item (r). Model yang tepat untuk
) 1 ...
...
ptr tr pr pt r t p
ptr v v v v v v v
X
dimana µ adalah rerata umum dari populasi dan v adalah pengaruh dari berbagai kondisi yaitu pengaruh kondisi peserta tes, bentuk tes dan item tes yang digunakan dalam tes tersebut. Masing- masing pengaruh tersebut saling bebas atau tidak berkorelasi. Varian dari skor yang didapatkan peserta tes sesuai dengan persamaan 1 dapat dinyatakan sebagai berikut:
) 2 ...
...
)
( 2( )
) ( 2 ) ( 2 ) ( 2 ) ( 2 ) ( 2 ) ( 2 2
ptr pr tr
pt r
t ptr p
X
Persamaan 2 menunjukkan varian skor yang didapat peserta tes dalam populasi terdiri dari varian yang disebabkan oleh peserta tes, varian yang disebabkan oleh bentuk tes , varian yang disebabkan oleh item yang digunakan dalam tes dan varian berbagai interaksi antara dimensi-dimensi tersebut. Dari desain ini, selanjutnya dapat ditentukkan
komponen-komponen varian persamaan 2 sebagai kuadrat tengah harapan (EMS/expected mean square) pada tabel 1 berikut. Kuadrat tengah harapan ini dapat diestimasi oleh besarnya kuadrat tengah (MS/mean square) dari model pengaruh acak atau rancangan acak faktorial, dalam kasus ini adalah 3 faktorial masing-masing faktor peserta tes, bentuk tes dan item tes. Rancangan 3 faktor ini digunakan untuk mengestimasi koefisien G dua facet/dimensi karena faktor peserta tes bukan termasuk dimensi tes.
Tabel 1
Kuadrat Tengah dan Estimator dari Komponen-Komponen Varian untuk
Studi G.
Disain pxtxr Pengaruh
(α)
EMS(α) σ2 (α)
P σ2(ptr)+nt
σ2(pr)+nr
σ2 (pt)+ nt
nr σ2(p)
(MS(p)+MS(pt)- MS(pr)+MS(ptr))/
nt nr
T σ2(ptr)+np
σ2(tr)+nr
σ2 (pt)+ np
nr σ2(t)
(MS(t)+MS(pt)- MS(tr)+MS(ptr))/
np nr
R σ2(ptr)+np
σ2(tr)+nt
(MS(r)+MS(pr)- MS(tr)+MS(ptr))/
σ2 (pr)+ np
nt σ2(t)
np nt
Pt σ2(ptr)+ nr
σ2 (pt)
(MS(pt)- MS(ptr))/ nr
Pr σ2(ptr)+ nt σ2 (pr)
(MS(pr)- MS(ptr))/ nt
Tr σ2(ptr)+ np σ2(tr)
(MS(tr)- MS(ptr))/
np Ptr σ2(ptr) MS(ptr)
Sebelum mendefinisikan koefisien generalizabilitas, maka perlu didefinisikan terlebih dahulu berkaitan dengan varian kesalahan pengukuran yang terdiri dari varian kesalahan absolut dan varian kesalahan relatif. Kesalahan absolut, secara sederhana didefinisikan sebagai perbedaan antara skor peserta tes dalam sampel dan skor populasi (univers).
∆p=XpTR-
µp...
...3) Oleh karenanya bila diaplikasikan ke persamaan 2, dapat ditentukkan bahwa:
∆p=
) 4 ...
...
ptr tr pr pt r t
p v v v v v v
v
Dari persamaan 4 dapat dinyatakan bahwa varian kesalahan absolut σ2(∆), adalah jumlah seluruh varian kesalahan
kecuali varian kesalahan yang disebabkan peserta tes σ2(p).
σ2(∆)=
) 5 ...
...
) 2( ) 2( ) ( ) 2 2( ) 2( ) 2(
ptr pr tr
pt r
t
Kesalahan relatif didefinisikan sebagai sebagai perbedaan skor deviasi peserta tes dengan skor deviasi populasinya.
δP=( XpTR-µTR)-( µp-
µ)...6) Untuk desain penelitian ini, maka varian kesalahan relatif dapat dinyatakan sebagai
σ2(δP)=
) 7 ...
...
...
...
) ( 2 ) ( 2 ) ( 2
pr ptr
pt
Selanjutnya, koefisien
generalizabilitas(ρ2) dan indeks dependabilitas (Ф) dapat didefinisikan sebagai berikut:
ρ2 =
) ( ) (
) (
2 2
2
...8)
Ф= ( ) ( )
) (
2 2
2
...9)
Koefisien generalizabilitas identik dengan koefisien reliabilitas pada teori tes klasik, sedangkan indeks dependabilitas mempunyai nilai yang lebih kecil dibanding koefisien
generalizabilitas karena indeks dependabilitas menggunakan varian kesalahan absolut yang lebih besar dibanding varian kesalahan relatif yang digunakan pada koefisien generalizabilitas. Indeks dependabilitas menunjukkan ketepatan ketika skor secara absolut dinterpretasikan seperti pada tes yang beracuan kriteria.
C. Penelitian Empirik
Studi ini dilakukan terhadap tes prestasi belajar kimia semester gasal kelas XI SMA dengan melibatkan peserta tes sebanyak 60 siswa dengan memperhatikan kondisi bentuk tes dan banyaknya item tes yang digunakan.
Data diambil dari siswa SMA I Slawi program IPA tahun pelajaran 2007/2008.
Bentuk tes yang digunakan sebanyak 2 bentuk yaitu bentuk uraian dan testlet.
Siswa yang sama dalam selang waktu sekitar 2 minggu mengerjakan item yang sama tetapi dalam bentuk yang berbeda yaitu bentuk uraian dan testlet. Jumlah item sebanyak 10 yang terdiri dari 2 pokok bahasan masing-masing 5 item.
Pokok bahasan tersebut adalah : (1) Struktur Atom, sistem Periodik dan Ikatan Kimia, (2) Energitika Kimia.
Untuk menentukan koefisien generalizabilitas tes dilakukan dengan
model 2 facet sehingga menggunakan analisis varian model 3 jalur, masing masing subjek, item dan bentuk tes.
Dengan bantuan program SPSS versi 14, tabel anava untuk analisis tiga jalur dapat dilihat pada Tabel2.
Tabel 2
Hasil Analisis Anava Tiga Jalur Untuk Mengestimasi
Pengaruh Jumla h Kuadr at/SS
Der ajat beb as/d f
Kuadr at Tenga h/MS
σ2 (α)
Peserta tes 438,3 37
59 7,429 0,2 26
Item 218,3
20
9 24,25 8
0,1 78 Bentuk 16,33
3
1 16,33 3
0,0 14 Subjek.Ite
m
355,9 80
531 0,670 0,0 085 Subjek.Be
ntuk
319,1 67
59 5,410 0,4 757 Item.Bent
uk
25,98 3
9 2,887 0,0 37 Subjek.Ite
m.Bentuk
346,5 17
531 0,653 0,6 53 Total 1720,
637
119 9
Dari Tabel 2 dapat ditentukkan besarnya Koefisien generalizabilitas dan Indeks dependabilitas, sebagai berikut:
ρ2 = 0,226
0,226+0,5212= 0,302
Ф= 0,226
0,226+1,366= 0,142
D. Kesimpulan
Teori tes klasik dan analisis varian (anava) merupakan dasar teori generalizabilitas. Hal ini disebabkan dengan prosedur anava dapat diterapkan untuk model yang lebih luas dari teori tes klasik. Namun demikian teori generalizabilitas tidak dapat dianggap merupakan gabungan dari teori tes klasik dan anava saja. Sebagai contoh, teori tes klasik tidak dapat mengidentifikasi sumber kesalahan pengukuran secara komprehensif , demikian pula, teori generalizabilitas tidak memaknai hasil analisis varian dengan membandingkan distribusi F yang biasa digunakan dalam uji statistik anava. Oleh karenanya dapat
disimpulkan bahwa teori
generalizabilitas bukan bagian dari kedua metode tersebut. Analisis generalizabilitas dimulai dengan menspesifikasi suatu univers (populasi )
dari suatu sampel observasi. Studi teori G mengestimasi komponen-komponen varian dari populasi yang relevan. Teori generalizabilitas merupakan model pengukuran yang lebih dapat menjelaskan secara memuaskan berkaitan dengan kesalahan pengukuran dibanding dengan teori tes klasik.
Dengan teori G, konsep validitas dan reliabilitas dapat dimaknai secara lebih komperhensif dan integral.
Analisis varian tiga jalur dapat digunakan untuk menganalisis estimasi besarnya komponen-komponen varian yang dibutuhkan dalam studi generalizabilitas.Pada model generalizabilitas 1 facet/dimensi dapat menggunakan analisis varian dua jalur, sedangkan pada model generalizabilitas 2 facet/dimensi dapat menggunakan analisis varian tiga jalur. Studi empirik yang telah dilakukan pada 60 siswa kelas XI SMA I Slawi program IPA tahun pelajaran 2007/2008 pada tes prestasi belajar kimia, menunjukkan bahwa analisis varian tiga jalur sangat baik bila digunakan untuk mengestimasi besarnya komponen-komponen varian yang terlibat dalam studi generalizabilitas.
E. Daftar Pustaka
Allen, Mary J. & Yan, Wendy M. (1979). Introduction to measurement theory. Monterey, California: Brooks/Cole Publishing Company
Ahmad Rohani(2005) Teori generalizabilitas(teori G). Kumpulan makalah : Sistem Penilaian hasil Belajar dalam KBK. FIAI .Unnisula. Semarang
Boodoo. (2001). Bayesian procedures and generalizability theory.
Gwynpres.mislevyclass.doc..
Brennan, R.L.(1992) Elements of generalizability theory (rev, ed). Iowa City, IA:
American College Testing.
---(2006). Generalizability theory: Educational measurement. National Council on Measurement in Education.
Crocker & Algina.(1986). Introduction to classical and modern test theory.New York:
Holt, Rinehart And Winston.
Cronbach, L.J., Gleser, G.C., Nanada, H., & Rajaratnam, N. (1972). The dependability of behavioral measurement: Theory of generalizability for scores and profiles. New York:
Devellis, R.F.(1991). Scale Development, Theory and Applications. Newbury Park London New Delhi: Sage Publications
Dunn-Rankin, P, et al.(2004). Scaling methods.Mahwah, New Jersey,London: Lawrance Erlbaum Associates, Publishers.
Hogg, RV & Tanis, EA.(2004).Probability and statistical inference.New York:
Macmillan Publishing Co, Inc
Keppel, G.(1982). Design and analysis , a researchers handbook.New Jersey: Prentice- Hall, Engelwood Cliffs.
Nunnaly, JC.(1978).Psychometric Theory.New York: Mcgraw-hill Book Company.
Netemeyer, RG, Beardan, WO & Sharma, S ,(2003). Scaling Procedurs, Issues and Aplications. Thousand Oaks: Sage Publications
Wiley.Matt, George E. (2002). Generalizability theory.htm. [email protected].
Williams, Daniel R. & Patterson, Michael E. (1992). The use of generalizability theory in leisure research. Virginia: Departement of Forestry, Polytechnic Institute and State University.
