PENGGUNAAN TEORI G STUDI 1 FACET TERHADAP HASIL UJIAN TENGAH SEMESTER
MATA KULIAH BAHASA ARAB I JURUSAN HI FISIPOL UMY
Ana Taqwa Wati1
UMY (Univeritas Muhammadiyah Yogyakarta)
anataqwawati@yahoo.com
Abstrak
Permasalahan yang akan dibahas dalam penelitian ini adalah seberapa koefisien atau indeks generabilitas dari 10 butir soal bahasa Arab I berbentuk tes subyektif berupa isian singkat dengan mengisi dengan satu benda yang sesuai sesudah kata tunjuk (isim isyarah) yang disediakan dalam soal dan mengisi kata tunjuk (isim isyarah) sebelum kata benda yang disediakan dalam soal, di ujian tengah semester yang dikenakan kepada 27 orang mahasiswa jurusan Hubungan Internasional Fakultas Ilmu Sosial dan Ilmu Politik Universitas Muhammadiyah Yogyakarta pegambil konsentrasi kajian Timur Tengah, dengan satu rater. Metode yang digunakan adalah dengan menggunakan analisis varians 2 jalur terhadap model 1 facet. Hasil yang didapat dari penelitian ini adalah hasil estimasi yang menunjukkan bahwa dengan menggunakan metode ini dapat diperoleh koefisien atau indeks generabilitas (rxx’) sebesar 0.7640397, serta dapat dipahami bahwa indeks generalisasi yang dihasilkan lumayan tinggi, demikian pula kontribusi atau sumbangan instrumen dalam menjelaskan variabilitas peserta tes juga tinggi, yaitu sebesar 0.583757 atau 58% dengan 42% variabilitas peserta tes (mahasiswa) dijelaskan oleh variabel lain.
Abstract
A. PENDAHULUAN
Pembelajaran yang berkualitas salah satunya dapat ditentukan dengan asesmen yang berkualitas, yang dilakukan oleh dosen dalam proses belajar mengajar. Kegiatan asesmen ini dapat membantu dosen untuk mengetahui dan memahami kekuatan dan kelemahan mahasiswanya dalam belajar. Semakin bagus asesmen pembelajaran dibuat, maka akan semakin baik pula dosen mengerti dan memahami kelemahan dan kekuatan mahasiswa dalam mempelajari materi (bahasa Arab I). Untuk mendapatkkan asesmen yang baik perlu disiapkan model tes yang spesifik yang sesuai dengan kebutuhan. Spesifikasi tes yang digunakan dalam penelitian ini adalah achievement test dimana tes ini diberikan pada berbagai tahap selama mereka belajar bahasa untuk melihat sampai dimana mereka belajar. (Alderson J.C., et al, 1995: 12). Sehingg selain memberikan informasi terhadap dosen, asesmen juga dapat memberikan informasi bagi mahasiswa tentang kemajuan belajarnya sehingga menjadi acuan untuk memperbaiki perilaku belajarnya.
Peranan asesmen dalam pembelajaran juga sangat penting dan telah ditekankan dalam Peraturan Menteri Pendidikan Nasional nomor 20 tahun 2007 tentang Standar Penilaian Pendidikan. Pada poin E dalam peraturan tersebut dikatakan bahwa penilaian hasil belajar oleh pendidik dilakukan secara berkesinambungan, bertujuan untuk memantau proses dan kemajuan belajar peserta didik serta untuk meningkatkan efektivitas kegiatan pembelajaran. Langkah-langkah penilaian yang tertuang dalam permen tersebut adalah: (1) mengembangkan instrumen dan pedoman penilaian sesuai dengan bentuk dan teknik penilaian yang dipilih. (2) melaksanakan tes, pengamatan, penugasan, dan/atau bentuk lain yang diperlukan. (3) mengolah hasil penilaian untuk mengetahui kemajuan hasil belajar dan kesulitan belajar peserta didik. (4) mengembalikan hasil pemeriksaan pekerjaan peserta didik disertai balikan/komentar yang mendidik. (5) memanfaatkan hasil penilaian untuk perbaikan pembelajaran.
Jurusan Hubungan Internasional, Fakultas Ilmu Sosial dan Ilmu Politik, Universitas Muhammadiyah Yogyakarta adalah salah satu program studi yang menjadikan bahasa Arab sebagai bahasa pilihan bagi mahasiswanya, pengambil konsentrasi politik Timur Tengah. Para mahasiswa pengambil konsentrasi Politik Timur Tengah wajib mengambil mata kuliah bahasa Arab pada semester 4, 5,
dan 6. Singkatnya waktu bagi mahasiswa dalam mengambil mata kuliah bahasa Arab membuat dosen berusaha memberikan materi yang sebaik-baiknya sehingga dapat memberikan bekal berbahasa bagi para mahasiswa tersebut, dan berusaha memberikan asesmen yang bagus pula.
Teknik pengumpulan data dalam penelitian ini adalah dengan menggunakan teknik pengukuran dengan menggunakan tes hasil belajar.Tes hasil belajar kadang-kadang disebut juga tes prestasi belajar, mengukur hasil-hasil belajar yang dicapai siswa selama kurun waktu tertentu. (Sukmadinata, N.S., 2012: 223). Data yang digunakan adalah data hasil ujian tengah semester pada Tahun Akademik 2012-2013 pada mata kuliah bahasa Arab I, mahasiswa jurusan Hubungan Internasional, Fakultas Ilmu Sosial dan Ilmu Politik, Universitas Muhammadiyah Yogyakarta pengambil konsentrasi kajian Timur Tengah.
Teori tes klasik dapat dipandang sebagai induk dari teori generalizabilitas, dalam arti bahwa teori generalizabilitas bekerja dengan prosedur ANOVA dengan memperluas model yang digunakan dalam teori klasik. Teori generalizabilitas tidak hanya dapat dianggap sebagai gabungan dari teori tes klasik dan ANOVA. Teori tes klasik tidak dapat mengidentifikasi sumber kesalahan pengukuran secara komprehensif, demikian pula teori generalizabilitas tidak memaknai hasil
analisis varians dengan
membandingkannya dengan distribusi F seperti yang biasa digunakan dalam uji statistik ANOVA. Oleh karenya dapat disimpulkan bahwa teori generalizabilitas bukan bagian dari kedua metode tersebut.
Teori generalisabilitas pada dasarnya terdiri atas G theory dan D
theory. G theory digunaan untuk mengestimasi besarnya koefisen reliabilitas antar penilai pada keadaan tertentu. Hasil dari G theory selanjutnya digunakan pada D theory. (Mardapi J., 2012: 89). Konsep generalisabilitas adalah sebagai suatu usaha untuk meningkatkan akurasi interpretasi tes (Cronbach, Gleser, Nanada & Rajaratnam, 1972 dalam Allen & Yan 1979 & dalam Matt, 2002). Definisi teori generalisabilitas terkait dengan penggunaan proses anova atau analisis varians (Boodoo, 2001). Teori generalisabilitas atau teori G memberikan
suatu kerangka kerja untuk
dalam pengukuran dan menggambarkan cara-cara mengestimasi banyak varians yang disumbangkan oleh sumber-sumber
Analisis generalizabilitas dimulai dengan melakukan spesifikasi suatu universe (populasi) dari suatu sampel observasi. Studi teori G mengestimasi komponen-komponen varians dari populasi yang relevan. Model pengukuran dengan teori generalizabilitas lebih dapat menjelaskan secara memuaskan berkaitan dengan kesalahan pengukuran dibandingkan teori tes klasik. Melalui penerapan teori generalizabilitas, konsep validitas dan reliabilitas dimaknai secara lebih komprehensif dan integral.
Berdasar pada uraian diatas, maka makalah ini akan berisi sebuah penelitian yang dilakukan di Jurusan Hubungan Internasional, Fakultas Ilmu Sosial dan Ilmu Politik, Universitas Muhammadiyah Yogyakarta. Data yang diukur adalah data ujian tengah semester (UTS) yang dilakukan pada tahun akademik 2012-2013 pada mata kuliah Bahasa Arab 1, dengan peserta ujian 27 mahasiswa. Item soal yang digunakan dalam ujian ini bersifat dikotomus, dengan banyak soal 10 item. Rater yang digunakan dalam simulasi ini adalah 1 dosen pengajar mata kuliah tersebut.
B. METODE PENELITIAN
Penelitian ini menggunakan pendekatan kuantitatif. Populasi dari penelitian ini adalah 27 mahasiswa Jurusan Hubungan Internasional Fakultas Ilmu Sosial dan Ilmu politik Universitas Muhammadiyah Yogyakarta pengambil mata kuliah bahasa Arab I. Untuk menentukan koefisien generalizabilitas tes dilakukan dengan model 1 facet, sehingga analisis yag digunakan adalah analisis varians model 2 jalur, masing-masing adalah item dan subjek. Analisis data dilakukan dengan program GENOVA.
Dalam teori generalisabilitas, pengamatan (misalnya sekor tes teruji) dilihat sebagai sampel dari universe
(populasi) of admissible observations. Universe menggambarkan kondisi, yang mana teruji dan dapat diamati atau dites, yang menimbulkan hasil yang ekivalen pada beberapa tingkatan spesifik. Suatu sekor populasi teruji ditetapkan oleh nilai harapan sekor amatannya melampaui semua universe of admissible observations (pengamatan yang dapat diterima); sekor populasi secara langsung analog dengan sekor tulen yang digunakan dalam teori sekor klasik. Teori generalisabilitas menekankan bahwa keberadaan populasi yang berlainan dan
menjadi tanggung jawab penyusun tes untuk menetapkan universe itemnya dengan hati-hati. Kondisi spesifik yang dipertimbangkan dalam tes biasa disebut
facets atau dimensions. Sebagai contoh, facet-facet yang terdapat dalam ukuran (besarnya) kelompok testing, jenis-jenis training yang diterima oleh penguji, bentuk (form) tes, kesempatan testing, dan sebagainya. Derajat facet-facet ini dispesifikasi, dan pengaruh-pengaruhnya diuji.
Misalkan suatu tes dilaksanakan pada sejumlah peserta tes (p), dengan banyak item (i). Tes tersebut dinyatakan sebagai tes yang berdimensi satu (1 facet) karena mempertimbangkan banyak item, sehingga model yang tepat adalah:
X
pi=
μ
+
v
p+
v
i+
v
pi ...1)
dengan µ adalah rerata umum dari populasi dan v adalah pengaruh dari berbagai kondisi (seperti kondisi peserta tes, banyak item, dan banyak rater). Masing-masing pengaruh tersebut saling bebas atau tidak berkorelasi.
Varians skor untuk persamaan 1) adalah:
σ
2(
X
pi)=
σ
2(
p
)+
σ
2(
i
)+
σ
2(
pi
)
... 2) Varians skor yang diperoleh peserta tes dalam populasi terdiri dari varians yang disebabkan oleh peserta tes dan banyak item dan varians berbagai interaksi antar facet tersebut.
Untuk mendefinisikan koefisien generalizabilitas, perlu didefinisikan terlebih dahulu berkaitan dengan varians kesalahan pengukuran yang terdiri dari varians kesalahan absolut dan dan varians kesalahan relatif. Kesalahan absolut didefinisikan sebagai perbedaan antara skor peserta tes dalam sampel dan skor populasi (universe):
Δ
pI
=
X
pI
−
μ
p ...3)
Selanjutnya persamaan 3) diaplikasikan ke persamaan 2), diperoleh:
Δ
p =v
p+
v
i+
v
pi ...... 4)
Dari persamaan 4) dapat dinyatakan bahwa varians kesalahan absolut
σ
2(
Δ
)
, adalah jumlah seluruh varianskesalahan kecuali varians kesalahan yang
disebabkan peserta tes
σ
2(
p
)
.σ
2(
Δ
)
=σ
2(
p
)+
σ
2(
i
)+
σ
2(
pi
)
...... 5)
Kesalahan relatif didefinisikan sebagai perbedaan skor deviasi peserta tes dengan skor deviasi populasinya.
δ
pI
=(
X
pI−
μ
I)−(
μ
p−
μ
)
......6) Untuk desain penelitian ini, maka varians kesalahan relatif dapat dinyatakan sebagai
σ
2(
δ
)
=σ
2(
pI
)
...... 7)
Selanjutnya koefisien generalizabilitasnya
(
Eρ
2)
dan indeks dependabilitas(
Φ
)
dapat didefinisikan sebagaiberikut:
Eρ
2=
σ
2(
p
)
σ
2(
p
)+
σ
2(
δ
)
... 8)Φ
=
σ
2
(
p
)
σ
2(
p
)+
σ
2(
Δ
)
... 9)Koefisien generalizabilitas identik dengan koefisien reliabilitas pada teori tes klasik, sedangkan indeks dependabilitas mempunyai nilai yang lebih kecil dibanding koefisien generalizabilitas karena indeks dependabilitas menggunakan varians kesalahan absolut yang lebih besar dibandingkan dengan varians kesalahan relatif yang digunakan pada koefisien generabilitas. Indeks dependabilitas menunjukkan ketepataan ketika skor secara absolut diinterpretasikan seperti pada tes yang beracuan kriteria.
C. APLIKASI DESAIN STUDI G DALAM PENELITIAN
Studi G direncanakan dilakukan terhadap tes kemampuan berbahasa Arab sesuai dengan kaidah tata bahasa bahasa Arab bagi mahasiswa jurusan Hubingan Internasional fakultas Ilmu Sosial dan Ilmu Politik Universitas Muhammadiyah Yogyakarta dengan melibatkan peserta tes
sebanyak 27 orang dengan
memperhatikan banyaknya item tes. Banyak item tes yang digunakan meliputi mengisi satu kata benda sesudah kata tunjuk (isim isyarah) dan menuliskan kata tunjuk (isim isyarah) sebelum kata benda yang telah ditulis dalam soal. Soal terdiri dari 10 butir soal berbentuk tes subyektif berupa isian singkat.
Untuk menentukan koefisien generalizabilitas tes dilakukan dengan model 1 facet, sehingga menggunakan analisis varians model 2 jalur, masing-masing adalah item dan subjek. Analisis data dilakukan dengan program GENOVA 1. Data
4
Tabel 1. Data pxi
Person Item score (Xpi)
I_1 I_2 I_3 I_4 I_5 I_6 I_7 I_8 I_9 I_10
1 1 1 1 1 1 1 1 1 1 1
2 1 1 1 1 1 1 1 1 1 1
3 1 0 1 0 1 0 0 1 1 1
4 0 0 1 1 0 0 0 1 1 0
5 1 1 1 1 1 1 1 1 1 1
6 1 0 1 1 1 1 1 1 1 1
7 1 1 1 1 1 1 1 1 1 1
8 1 1 1 1 1 1 1 1 1 1
9 0 0 0 0 1 1 1 0 1 0
10 1 1 1 1 1 1 1 1 1 1
11 1 1 1 1 1 1 1 1 0 1
12 1 1 1 1 1 1 1 1 1 1
13 0 0 1 0 1 1 1 1 0 1
14 1 1 1 1 1 1 1 0 0 1
15 1 1 1 1 1 1 1 1 1 1
16 1 1 1 1 1 1 1 1 1 1
17 1 1 1 1 1 1 1 1 1 1
18 1 1 1 1 1 1 1 1 1 1
19 0 1 1 0 0 1 1 1 1 1
20 1 0 1 1 0 1 1 1 1 1
21 1 1 1 1 1 1 1 1 1 1
22 1 1 1 1 1 0 0 1 1 0
23 1 1 1 1 1 1 1 1 1 1
24 1 1 0 0 0 1 0 0 1 0
2. Hasil Analisis
Output Anava dua-jalur
np = 27
ni = 10
Komponen varians:
σ
2pi=
MS
pi = 0.099σ
2p=(
MS
p−
MS
pi)/
n
i = (0.411 –0.099)/10 = 0.031181
σ
2i=(
MS
i
−
MS
pi)/
n
p = (0.033 –0.099)/27 = -0.00244 Varians observasi
σ
2obs=
σ
2p+
σ
2i
n
i+
σ
2pin
i=
0 .031181
+
-0. 00244
10
+
0. 099
10
= 0.031181 + -0.00024 + 0.009873 = 0.0408104r
xx'=
σ
2true
σ
2obsTests of Between-Subjects Effects Dependent
Variable: Skor
Source
Type III Sum of Squares df
Mean Squar
e F
Sig . Corrected Model 34.074a 26
9 .127
Intercept 195.926 1 195.92
6
Item .296 9 .033
Person 10.674 26 .411
Item * Person 23.104 23
4 .099
Error 0.000 0
Total 230.000 27
0
σ
2trueσ
2obs=
σ
2
p
σ
2p+
σ
2i
n
i+
σ
2pin
i=
0.031181
0.0408104
rxx’ = 0.7640397r2xx’ = 0.583757
3. Interpretasi Hasil Analisis
Berdasarkan hasil analisis varians 2 jalur terhadap model 1 facet untuk 10 butir soal bahasa Arab I berbentuk tes subyektif berupa isian singkat dengan mengisi dengan satu benda yang sesuai sesudah kata tunjuk (isim isyarah) yang disediakan dalam soal dan mengisi kata tunjuk (isim isyarah) sebelum kata benda yang disediakan dalam soal. Item soal dikenakan kepada 27 orang mahasiswa jurusan Hubungan Internasional Fakultas Ilmu Sosial dan Ilmu Politik Universitas Muhammadiyah Yogyakarta pegambil konsentrasi kajian Timur Tengah, dan diperoleh koefisien atau indeks generabilitas (rxx’)sebesar 0.7640397. Dapat dipahami bahwa indeks generalisasi yang dihasilkan lumayan tinggi, demikian pula kontribusi atau sumbangan instrumen dalam menjelaskan variabilitas peserta tes juga tinggi, yaitu sebesar 0.583757 atau 58% dengan 42% variabilitas peserta tes (siswa) dijelaskan oleh variabel lain yang bukan instrumen tersebut
D. HASIL PENERAPAN METODE
Berdasar dari interpretasi hasil analisis dapat ditarik kesimpulan bahwa untuk mengestimasi koefisiensi dan generalisabilitas dari hasil ujian tengah semester untuk mata kuliah bahasa Arab I bagi mahasiswa jurusan Hubungan Internasional Fakultas Ilmu Sosial dan Ilmu Politik Universitas Muhammadiyah Yogyakarta sudah sangat tepat, mengingat hasil estimasi yang didapat menunjukkan bahwa dengan menggunakan metode ini dapat diperoleh koefisien atau indeks generabilitas (rxx’)sebesar 0.7640397. Serta dapat dipahami bahwa indeks generalisasi yang dihasilkan lumayan tinggi, demikian pula kontribusi atau sumbangan instrumen dalam menjelaskan variabilitas peserta tes juga tinggi, yaitu sebesar 0.583757 atau 58% dengan 42% variabilitas peserta tes (mahasiswa) dijelaskan oleh variabel lain.
E. REFERENSI
- Alderson, J.C., Clapham, C. & Wall, D, (1995), Language Test Construction and Evaluation, Cambridge University Press.
- Allen, Mary J. & Yan, Wendy M. (1979). Introduction to measurement theory. Monterey, California: Brooks/Cole Publishing Company.
- Boodoo. (2001). Bayesian procedures and generalizability theory. Gwynpres.mislevyclass.doc.
- Brennan, Generalizability Theory, Statistic for Science and Public Policy,
Springer-Verlag Berlin Heidelberg, New York,
- Brennan, R.L., (1982), Elememnts of Generalizability Theory,
- Kumar, P.G.R., (1991), Measurement and Education in Education and Psychology, Wadsworth/Thomson Learning, Belmont CA, USA.
- Mardapi, D., (2012), Pengukuran penilaian dan Evaluasi Pendidikan,
Nuha Medika, Yogyakarta.
- Matt, George E. (2002). Generalizabilitytheory.htm.gmatt@s ciences.sdsu.edu.
- McNamara, T., (1997), Measuring Second Language Performance,
Longman, London and New York.
