Tahap VI Uji coba produk terbatas
E. Teknik Analisis Data
Teknik analisis data yang digunakan disesuaikan dengan jenis data dikumpulkan. Teknik analisis data yang digunakan terdiri dari berbagai teknik sesuai dengan tujuan untuk menguji kualitas butir soal tes karakter yang diujicobakan dan kuesioner validasi efektivitas model. Teknik analisis
data dalam penelitian ini menjawab semua rumusan masalah pada penelitian ini, yaitu:
1. Menjawab rumusan masalah pertama, peneliti menyusun instrumen soal tes berdasarkan variabel dan indikator. Setelah itu, peneliti mencari potongan film karakter yang mengandung dilema moral dan berkaitan dengan indikator, berdurasi satu sampai dua menit. Tayangan film dan soal yang diberikan berjumlah 40 soal (20 soal karakter demokratis dan 20 soal karakter kepemimpinan diri) berbentuk pilihan ganda dengan jawaban bergradasi. Pilihan jawaban yang disediakan mengandung kebenaran, namun ada yang paling benar diantara pilihan jawaban tersebut. Diawali dari tayangan film setelahnya akan muncul pertanyaan dari film karakter. Prototipe soal tes asesmen ini perlu divalidasi dengan meminta penilaian ahli yang berpengalaman, yaitu Dr. Gendon Barus, M. Si., sebagai dosen pembimbing, ahli bahasa, dan ahli di bidang penelitian.
2. Menjawab rumusan masalah yang kedua, perlu dilakukan uji kualitas yaitu: uji reliabilitas, validitas, tingkat kesukaran dan daya beda pada soal tes karakter demokratis dan soal tes karakter kepemimpinan diri berbasis film. Tujuannya adalah mengetahui kualitas soal karakter demokratis dan soal karakter kepemimpinan diri berbasis film karakter yang diujicobakan dalam penelitian pada siswa kelas VII A dan VIII A di SMP Negeri 7 Cirebon.
a. Reliabilitas
Menurut Consuello (Prijowuntato, 2016: 143) reliabilitas adalah ketepatan atau ketelitian suatu alat evaluasi. Suatu tes dikatakan andal apabila alat tes tersebut dapat dipercaya, konsisten atau stabil dan produktif. Metode yang digunakan dalam penelitian ini adalah konsistensi internal (internal consistency) dan teknik yang digunakan yaitu koefisien alpha.
Pengujian reliabilitas intrumen penelitian ini dihitung dengan model Rasch, menggunakan program Winstep. Winstep adalah perangkat lunak berbasis windows yang membantu komuptasi model Rasch, terutama dibidang evaluasi pendidikan, survei sikap, dan analisis skala. Kemampuan pengolahan data untuk Winstep adalah 25 item dan 75 responden, baik dalam bentuk data dikotomi maupun data politomi.
Pengujian reliabilitas instrumen pada penelitian ini dihitung menggunakan model Rasch. Sumintono & Widhiarso, (2013:109) untuk melihat nilai reliabilitas person dan soal tes menurut model Rasch, menggunakan kategori dengan norma kriteria skor sebagai berikut:
Tabel 3.5
Norma Kategori Nilai Reliabilitas Person dan Soal Tes Model Rasch Kriteria Skor Tingkat Reliabel
> 0,94 Istimewa 0,91 s.d 0,94 Bagus sekali 0,81 s.d 0,90 Bagus 0,67 s.d 0,80 Cukup < 0,67 Lemah b. Validitas
Menurut Arikunto (Prijowuntato, 2016: 130) validitas adalah tingkat sesuatu tes mampu mengukur apa yang hendak diukur. Tes memiliki validitas yang tinggi jika hasilnya sesuai dengan kriteria. Pengujian validitas intrumen penelitian ini dihitung dengan model Rasch, menggunakan program Quest.
Quest merupakan salah satu software yang dapat digunakan untuk mengalisis item ataupun tes. Elemen sentral program Quest adalah Rasch Model satu parameter (1-PL). Tujuan utama program Quest adalah parameter peserta (kemampuan peserta = θ) dan parameter item (utamanya adalah tingkat kesulitan item b). Program ini dapat menganalisis data respons yang diskor secara dikotomi (1-0) (Adan & Khoo, 1996).
Menurut Sumintono & Widhiarso (2013: 50) menyatakan bahwa model Rasch dikembangkan oleh Georg Rasch. Georg Rasch mengembangkan satu model analisis dari teori respon butir (atau Item Response Theory, IRT) pada tahun 1960-an biasa disebut 1PL
(satu parameter logistic) (Olsen, 2003). Model matematika ini kemudian dipopulerkan oleh Ben Wright (Linacre, 2011). Dengan data mentah berupa data dikotomi (berbentuk benar dan salah) yang mengindikasikan kemampuan siswa, model Rasch memformulasikan hal ini menjadi satu model yang menghubungan antara siswa dan item.
Analisis dengan model Rasch menghasilkan analisis statistik kesesuaian (fit statistics) yang memberikan informasi pada peneliti apakah data yang didapatkan memang secara ideal menggambarkan bahwa orang yang mempunyai abilitas tinggi memberikan pola jawaban terhadap item sesuai dengan tingkat kesulitannya. Parameter yang digunakan adalah infit dan fit dari kuadrat tengah (mean square) dan nilai terstandarkan (standardized values). Menurut Sumintono dan Widhiarsono (2013), infit (inlier sensitive atau information weighted fit) adalah kesensitifan pola respon terhadap item dengan tingkat kesulitan tertentu pada responden atau sebaliknya.
Dalam model Rasch, dengan bantuan program Quest, validitas suatu instrumen dapat diketahui dengan melihat analisa-analisa seperti item polarity, unidimensial, pemetaan item-individu/responden, dan beberapa bentuk analisa yang lainnya. Penelitian ini dilakukan untuk mendapatkan bukti secara empirik tentang validitas soal tes karakter demokratis dan karakter
kepemimpinan diri berupa data politimus, menggunakan pengukuran model Rasch. Berikut rumus yang digunakan untuk validitas konstruk, daya beda, dan tingkat kesukaran soal tes dalam model Rasch:
Keterangan :
Pni1 = probabilitas dari responden n, memilih jawaban item i dengan benar
e = sebesar 2,7183
β = konstanta dengan nilai 1,7
F = tingkat kesulitan item, nilai f berkisar antara -2,0 sampai dengan +2,0. Apabila nilai F mendekati -2 maka dapat dikatakan bahwa item tersebut mudah sementara apabila nilai bi mendekati +2 maka dapat dikatakan bahwa item tersebut sulit.
Penelitian ini menggunakan jenis validitas isi dan validitas konstruk.
1) Validitas Isi
Arikunto (2013) menjelaskan bahwa sebuah tes dikatakan memiliki validitas isi apabila mengukur tujuan khusus tertentu yang sejajar dengan isi yang diberikan. Validitas isi diuji melalui tahap pengujian terhadap isi alat ukur dengan
(
)
kesepakatan penilaian dari ahli yang berkompeten dalam bidangnya atau expert judgement. Instrumen yang telah dibuat akan dikonsultasikan kepada beberapa ahli antara lain : Tim Dosen Penelitian Sosial, Humaniora dan Pendidikan (PSHP) dan dosen pendamping yaitu Dr. Gendon Barus, M.Si dan Juster Donal Sinaga, M.Pd. Instrumen yang telah dikonsultasikan dan dianggap layak dipakai, akan diaplikasikan kepada subjek peneliti.
2) Validitas Konstruk
Arikunto (2013) menjelaskan bahwa sebuah tes dikatakan memiliki validitas konstruk apabila butir-butir soal yang membangun tes tersebut mengukur setiap aspek. Uji validitas item dalam penelitian ini dilakukan dengan bantuan program QUEST, yaitu dengan melihat hasil hitung. Penetapan fit tiap butir soal menggunakan pengujian berdasarkan besarnya nilai INFIT MNSQ atau nilai INFIT t item yang bersangkutan. Besarnya kuadrat tengah yang tertimbang (Wighted Mean Square) dalam program QUEST disingkat INFIT MNSQ. INFIT MNSQ adalah dengan ekspektasi sebesar 1 dan varians sebesar 0. Sementara besarnya kuadrat tengah tertimbang terstandar (Standardized Weighted Mean Square) atau ti dengan ekspektasi sebesar 0 dan varians sebesar 1. Dalam hal ini menggunakan kisaran nilai 0,77 s.d 1,30.
Teknik uji validasi efektivitas model menggunakan bantuan aplikasi QUEST model Rasch, dengan menggunakan rumus 1 PL untuk data dikotomus sebagai berikut:
Keterangan:
Pi( : probabilitas bahwa examince denggan tingkat kemampuan menjawab item dengan benar
e : sebesar 2,7183
D : konstanta dengan nilai 1,7
bi : tingkat kesulitan item. Nilai bi berkisar antara -0,2 sampai dengan +2,0. Apabila nilai bi mendekati -0,2 maka dapat dikatakan bahwa soal tersebut mudah, sementara apabila nilai bi mendekati +2,0 maka dapat dikatakan bahwa soal tersebut sulit.
c. Tingkat Kesukaran
Subali (2011) mengatakan taraf kesukaran adalah kemampuan tes dalam menjaring banyaknya subjek peserta tes yang dapat mengerjakan dengan benar. Jika banyak subjek peserta tes yang tidak dapat menjawab dengan benar, maka taraf kesukaran tes tersebut tinggi, sebaliknya jika hanya sedikit dari subjek yang tidak dapat menjawab dengan benar maka taraf kesukarannya rendah. Taraf kesukaran tes dinyatakan dalam indeks kesukaran.
Tingkat kesukaran tes dari soal tes yang telah dibuat maka dapat dilihat pada Item Estimates (Thresholds) dengan kriteria nilai 2,0 s.d 2,0 apabila jarak/ sebaran item maupun responden dibawah -2,0 maka item dapat dikatakan memiliki tingkat kesukaran yang mudah. Sedangkan bila jarak/sebaran item maupun responden diatas 2,0 maka item dapat dikatakan sangat sulit dan responden memiliki kemampuan untuk menjawab. Sebaran yang diharapkan dari item dan responden ialah antara -2,0 s.d 2,0.
Tabel 3.6
Kategori Tingkat Kesukaran Soal Tes
Kriteria Kategori
> 2,0 Sulit
-2,0 s.d 2,0 Sedang
< -2,0 Mudah
Agar mempermudah cara melihat tingkat kesukaran, berikut ditampilkan contoh:
Grafik 3.1 Contoh Nilai Threshold
Grafik diatas menunjukkan nilai Threshold. Khusus skala dikotomus sama besarnya dengan tingkat kesukaran soal tes dalam pengertian sebagai difficulties index. Istilah threshold dipakai untuk skala sikap. Istilah delta atau threshold pada skala dikotomus yang dimaksud adalah estimasi tingkat kesukaran menurut IRT. Step labels hanya ditulis dengan kode 1, artinya tingkat kesukaran untuk
testi menjawab dengan benar (skor 1). Pada sajian menurut program QUEST dengan kode Q ditulis step labels 01 artinya untuk meningkat dari skor 0 (dari kategori-1) ke skor 1 (kategori-2)diperlukan kemampuan sebesar delta.
Dari grafik di atas dapat diperoleh informasi bahwa yang paling sukar adalah soal tes nomor 38 dan 39, dan yang paling mudah soal tes nomor 50. Setiap tanda X mewakili 85 testi/person. d. Daya Beda
Taraf daya beda suatu soal merupakan kemampuan butir soal untuk membedakan siswa yang termasuk kelompok tinggi dengan siswa yang termasuk kelompok rendah. Untuk mengetahui daya beda dari soal tes yang dikembangkan, peneliti menggunakan model Rasch dengan bantuan aplikasi QUEST, maka dapat di lihat pada tampilan notpet input itanal, dan PT-Biserial. Agar mempermudah cara melihat daya beda, berikut ditampilkan contoh tabel sebagai berikut:
Tabel 3.7
Norma Kategorisasi Taraf Diskriminasi Soal Tes Menggunakan Model Rasch dengan Bantuan Aplikasi QUEST
---
Item Analysis Results for Observed Responses 24/11/17 13:21
all on all (N = 66 L = 20 Probability Level= .50) ---
Item 1: item 1 Infit MNSQ = 1.00 Disc = .28 Categories 1 2 3 4 missing Count 15 10 30 11 0 Percent (%) 22.7 15.2 45.5 16.7 Pt-Biserial -.10 -.38 .23 .16 p-value .221 .001 .031 .100 Mean Ability .43 .22 .55 .57 NA Step Labels 1 2 3 4 Thresholds -.23 .18 1.62 Error 42 .42 .46 ...
Menurut Adam & Khoo (Subali, 2011) dengan melihat nilai point biserial (indeks daya beda) untuk skor 1 yang negatif, yakni sebesar -0,10, berarti testi yang memperoleh skor 1, testi yang berkarakter baik < testi yang tidak memiliki karakter baik. Hal yang sama berlaku untuk skor 2, karena hasilnya juga negatif. Untuk skor 3, hasilnya positif, yakni +0,23, sehingga yang memperoleh skor 3, testi yang berkarakter baik lebih banyak dibanding testi yang tidak berkarakter baik, hal yang sama berlaku untuk skor 4 yakni +0, 16.
3. Menjawab rumusan masalah ketiga, melihat gambaran capaian hasil pendidikan karakter demokratis dan karakter kepemimpinan diri berdasarkan penggunaan prototipe soal tes karakter demokratis dan karakter kepemimpinan diri berbasis media film pada siswa kelas VII A dan VIII A SMP Negeri 7 Cirebon, maka dilakukan kategorisasi. menurut Azwar (2014: 149-150). Menurut Azwar (2014: 147) menyatakan bahwa kategori bertujuan untuk menempatkan individu dalam kelompok terpisah secara berjenjang menurut suatu kontinum berdasarkan atribut yang diukur kontinum jenjang pada penelitian ini yakni tinggi sampai dengan rendah. Kategori ditentukan berdasarkan formula yang digambarkan pada tabel berikut:
Tabel 3.8
Norma Kategorisasi Capaian Skor Norma/Kategori Skor Kategori
µ+ 1. x Sangat Tinggi µ + 0, X µ + 1,8 Tinggi
µ - 0 X µ + 1,8 Sedang µ - 0, X µ -1,8 Rendah
Sangat Rendah
Skor maksimum : Skor tinggi yang diperoleh subjek penelitian berdasarkan perhitungan skala
Skor minimum : Skor terendah yang diperoleh subjek peneliti menurut perhitungan skala
Standar deviasi( ) : Luas jarak rentangan yang dibagi dalam enam satuan deviasi sebaran
µ (mean teoritik) : Rata-rata teoritik skor maksimum dan minimum
Kategori di atas kemudian diterapkan sebagai patokan dalam pengelompokan tinggi rendahnya tingkat karakter demokratis dan karakter kepemimpinan diri siswa berdasarkan tes dengan jumlah 20 soal pada masing-masing karakter diperoleh unsur perhitungan capaian skor subjek sebagai berikut:
Skor maksimum : 4 x 20 = 80 Skor minimum : 1 x 20 = 20 Luas jarak : 80 – 20 = 60 Standar deviasi ( ) : 60 : 6 =10
µ (mean teoritik) : (80 + 20) : 2 = 50
Hasil perhitungan analisis skor karakter demokratis dan karakter kepemimpinan diri yang diperoleh dari soal tes yang disajikan dalam norma kategorisasi gambaran tes karakter demokratis dan karakter kepemimpinan diri pada siswa kelas VII A dan VIII A SMP Negeri 7 Cirebon dapat dilihat pada tabel dibawah ini:
Tabel 3.9
Norma Kategorisasi Capaian Skor Karakter Demokratis dan Karakter Kepemimpinan Diri Siswa Kelas VII A dan VIII A
SMP Negeri 7 Cirebon
Norma/Kategori Skor Rentang Skor Kategori µ+ 1. x 68< µ Sangat Tinggi µ + 0, X µ + 1,8 58< µ Tinggi
µ - 0 X µ + 1,8 42< µ Sedang µ - 0, X µ -1,8 32< µ Rendah
4. Menjawab rumusan masalah keempat, peneliti menggunakan deskriptif dengan presentase, dengan kriteria penilaian acuan patokan (PAP) tipe 1. Menurut Masidjo (1995: 153) menjelaskan kriteria PAP dengan nilai 90%-100% sangat efektif, 80%-89% efektif, 65%-79% cukup efektif, 55%-64% kurang efektif, dan <55% tidak efektif. Hal ini dilakukan peneliti karena bentuk jawaban yang disajikan dalam kuesioner validasi efektivitas model pengembangan soal tes menurut siswa sebagai penilaian menuntut jawaban tegas yakni ya, tidak, tidak tahu, dengan siswa sebagai penilai dengan rumus sebagai berikut:
Keterangan:
Pem : Persentase efektivitas model pengembangan soal tes karakter demokratis dan karakter kepemimpinan diri
∑f : Jumlah jawaban setiap soal N : Jumlah responden
Tabel 3.7
Kategorisasi Efektivitas Penilaian Soal Tes Pendidikan Karakter PAP Tipe I Presentase Skor Kategorisasi
90%-100% Sangat Efektif
80%-89% Efektif
65%-79% Cukup Efektif
55%-64% Kurang Efektif Di bawah 55% Tidak Efektif
BAB IV