A. Hasil Penelitian dan Pengembangan 1. Pengembangan spesifikasi tes
Spesifikasi tes yang dimaksud ialah:
a. Menentukan wilayah yang akan digunakan untuk penelitian, wilayah disini ialah mata pelajaran dan jenjang peserta didik, yaitu Akuntansi Kelas X SMK Semester Genap Tahun Ajaran 2017/2018.
b. Subjek yang akan di tes
Peserta Didik SMK Kelas X Akuntansi. c. Tujuan Testing
Untuk mengembangkan soal tes berbasis HOTS yang dikemukakan oleh Bloom revisi, yaitu C4 (menganalisis), C5 (mengevaluasi), C6 (mencipta). Serta sebagai evaluasi penilaian hasil belajar. Materi yang terangkum dalam Silabus dan RPP masing-masing sekolah terdiri atas:
a) SMK Negeri 1 Godean
Rencana Pelaksanaan Pembelajaran (RPP) yang dibuat oleh Guru SMK Negeri 1 Godean pada Kompetensi Dasar memahami transaksi bisnis perusahaan jasa, dagang, dan manufaktur dilaksanakan dalam tiga kali pertemuan dengan waktu dua jam pelajaran sebanyak dua pertemuan dan tiga jam pelajaran sebanyak satu pertemuan, dari 20 jam pelajaran yang tercantum
dari Silabus. Ini dilaksanakan berdasarkan waktu yang tersedia dengan materi yang ada.
b) SMK Negeri 1 Depok
Kegiatan pembelajaran pada kompetensi dasar memahami transaksi bisnis perusahaan jasa, dagang, dan manufaktur dilaksanakan empat kali pertemuan dengan 10 jam pelajaran dan empat kali pertemuan. Indikator Pencapaian Kompetensi pada KI 3 masih dalam ranah menerangkan, yaitu 1) menerangkan tentang pengertian perusahaan jasa dan ruang lingkupnya 2) menerangkan tentang pengertian perusahaan dagang dan ruang lingkupnya, 3) menerangkan tentang pengertian perusahaan manufaktur dan ruang lingkupnya. Indikator Pencapaian Kompetensi pada KI 4, yaitu: 1) memilah atau mengelompokkan transaksi apa saja yang terjadi dalam perusahaan jasa, dagang, ataupun manufaktur, 2) mengidentifikasikan karakteristik dari perusahaan jasa, dagang, dan manufaktur.
Berdasarkan RPP yang dibuat oleh dua sekolah tersebut masih terdapat beberapa perbedaan, salah satunya alokasi waktu yang digunakan untuk mengajarkan materi transaksi bisnis perusahaan jasa, dagang, dan manufaktur ini. Maka dengan ini, peneliti membuat RPP sendiri yang terdapat dalam lampiran.
d. Materi tes
e. Tipe soal yang digunakan
Tipe soal yang digunakan yaitu Pilihan Ganda. f. Jumlah Soal
Jumlah soal yang diberikan yaitu 40 butir soal dengan 5 pilihan jawaban.
g. Taraf kesukaran soal dan distribusinya
Rentang dan distribusi kesukaran soal akan dipengaruhi oleh tujuan testing. Tes yang dimaksud sebagai tes dagnostik perlu mempunyai rentang taraf kesukaran p adalah 0,5.
h. Kisi-kisi tes
Tabel 4.1 Kisi-Kisi Soal Jenis Soal Pilihan Ganda
Kompetensi Dasar
Materi Indikator Soal Bentuk
Soal / Level Kognitif No. Soal 3.7. Memahami transaksi bisnis perusahaan baik perusahaan jasa, dagang dan manufaktur 1. Pengertian transaksi bisnis 1. Mengidentifikasi transaksi bisnis perusahaan jasa, dagang dan manufaktur PG / C4 1, 2, 3, 4 2. Jenis-jenis transaksi bisnis 2. Mengidentifikasi jenis-jenis transaksi bisnis 3. Menganalisis jenis-jenis transaksi bisnis PG / C4 PG / C4 5 6 3. Pengaruh transaksi bisnis pada proses pencatatan 4. Menganalisis pengaruh transaksi bisnis terhadap persaman akuntansi 5. Menganalisis bukti transaksi
PG / C4 7, 8, 9, 10, 11, 35, 36, 37, 38 39,40 4. Macam-macam bukti Transaksi
6. Menganalisis bukti transaksi (kuitansi)
7. Memilih bukti transaksi (kuitansi) yang tepat 8. Menganalisis bukti transaksi
(nota kontan)
9. Memilih bukti transaksi (faktur) yang tepat 10. Menganalisis bukti transaksi
(faktur)
11. Menganalisis bukti transaksi (nota kredit)
12. Memilih bukti transaksi (nota kredit) yang tepat
PG / C4 PG / C4 PG / C4 PG / C4 PG / C4 PG / C4 PG / C4 14, 16 17, 18 15 13, 19 20,21 22, 23, 25 24
Kompetensi Dasar
Materi Indikator Soal Bentuk
Soal / Level Kognitif
No. Soal
13. Menganalisis bukti transaksi (nota debit)
14. Memilih bukti transaksi (nota debit) yang tepat
15. Memilih bukti transaksi (cek) yang tapat
16. Menganalisis bukti transaksi (cek)
17. Menganalisis bukti transaksi (bilyet giro)
18. Memilih bukti transaksi (bilyet giro) yang tepat 19. Menganalisis bukti transaksi
(memo)
20. Mengidentifikasi bukti transaksi (bukti pencatatan) 21. Menganalisis bukti transaksi
(bukti pencatatan)
22. Membedakan antara cek dan bilyet giro PG / C4 PG / C4 PG / C4 PG / C4 PG / C4 PG / C4 PG / C4 PG / C4 PG / C4 PG / C4 26 27 12 28 29 30 31 32 33 34 2. Penulisan soal
Penulisan soal pada dasarnya adalah mencipta/mengkreasi. Penulisan soal yang baik harus mencakup: penguasaan akan mata pelajaran yang akan dites, kesadaran akan penilaian yang mendasari pendidikan, pemahaman akan karakteristik individu-individu yang dites, kemampuan membahasakan gagasan, dan penguasaan akan teknik penulisan soal, serta kesadaran akan kekuatan dan kelemahan dalam menulis soal. Jumlah soal yang dibuat sebanyak 40 butir, pada setiap butir soal terdapat 5 pilihan jawaban, waktu pengerjaan soal 120 menit. Soal ini ditujukkan untuk mata pelajaran Akuntansi Dasar.
3. Penelaahan soal
Penelaahan soal ialah menguji kualitas soal secara teoritis atau evaluasi soal berdasarkan pendapat profesional. Pada penelitian ini pengujian akan dilakukan dua kali yaitu:
a. Pengujian kesesuaian soal dengan spesifikasi tes (Ahli Materi) Pengujian ini akan dilakukan oleh guru dari SMK 17 Seyegan yaitu Ibu Khusnawati Hidayah, S.Pd. Pengujian ini terkait dengan kesesuaian antara soal dengan spesifikasi tes yang telah disusun, khususnya materi pelajaran. Produk divalidasi sebanyak satu kali pada tanggal 28 Februari 2018. Penilaian instrumen tersebut berdasarkan 19 kriteria penilaian sebagai berikut:
Tabel 4.2 Kriteria penilain oleh Guru Mata Pelajaran Akuntansi Dasar
No Kriteria Penilaian
1 Soal sesuai dengan kompetensi dasar yang terdapat dalam kurikulum 2 Isi materi benar mengenai transaksi bisnis perusahaan jasa, dagang, dan
manufaktur
3 Soal menggunakan stimulus yang menarik (baru, mendorong peserta didik untuk membaca)
4 Soal menggunakan stimulus yang kontekstual (gambar, teks, visualisasi, dll, sesuai dengan dunia nyata)
5 Soal mengukur kognitif penalaran (menganalisis, mengevaluasi, dan mencipta)
6 Jawaban tersirat pada stimulus
7 Rumusan setiap indikator soal sudah menggunakan kata kerja operasional 8 Butir-butir soal sesuai dengan indikator
9 Butir-butir pengecoh berfungsi dengan baik 10 Soal dirumuskan dengan jelas
11 Pokok soal tidak mengarah ke jawaban benar 12 Pilihan jawaban dirumuskan dengan jelas 13 Antar butir soal tidak bergantung sama lain
14 Pilihan jawaban berbentuk waktu harus disusun berdasarkan kronologis waktunya.
15 Waktu yang digunakan untuk mengerjakan sesuai dengan jumlah soal yang diberikan
16 Pilihan jawaban jangan mengandung pernyataan “Semua pilihan jawaban di atas salah” atau “Semua pilihan jawaban diatas benar”
17 Menggunakan bahasa yang komunikatif, sederhana, dan mudah dipahami 18 Kalimat tidak bermakna gand
Hasil penilaian guru mata pelajaran akuntansi dapat dilihat pada tabel 4.3 Tabel 4. 3 Hasil Penilaian Guru Mata Pelajaran Akuntansi Dasar
No. Soal Jumlah Skor/Aspek Skor No. Soal Jumlah Skor/Aspek Skor 1 63/19 3,315 (Baik) 21 65/19 3,421(Baik) 2 64/19 3,368(Baik) 22 65/19 3,421(Baik) 3 69/19 3,631(Baik) 23 69/19 3,631(Baik) 4 74/19 3,894(Baik) 24 69/19 3,631(Baik) 5 67/19 3,526(Baik) 25 65/19 3,421(Baik) 6 71/19 3,736(Baik) 26 66/19 3,473(Baik) 7 73/19 3,842(Baik) 27 68/19 3,578(Baik) 8 72/19 3,789(Baik) 28 68/19 3,578(Baik) 9 72/19 3,789(Baik) 29 69/19 3,631(Baik) 10 65/19 3,421(Baik) 30 73/19 3,842(Baik) 11 68/19 3,578(Baik) 31 74/19 3,894(Baik) 12 73/19 3,842(Baik) 32 73/19 3,842(Baik) 13 71/19 3,736(Baik) 33 71/19 3,736(Baik) 14 66/19 3,473(Baik) 34 69/19 3.631(Baik) 15 66/19 3,473(Baik) 35 69/19 3,368(Baik) 16 70/19 3,684(Baik) 36 69/19 3,421(Baik) 17 69/19 3,631(Baik) 37 64/19 3,315(Baik) 18 67/19 3,526(Baik) 38 65/19 3,421(Baik) 19 68/19 3,578(Baik) 39 63/19 3,315(Baik) 20 68/19 3,578(Baik) 40 63/19 3,315(Baik) ∑ / 40 = 143,8/40 = 3,595
Dari hasil penilaian tersebut, dapat digambarkan ke dalam grafik 4.3 dan 4.4.
Grafik 4.1 Validasi Instrumen Penilaian Berbasis HOTS oleh Guru Ahli Materi(Soal Nomor 1-20)
0 1 2 3 4 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Aspek 1 Aspek 2 Aspek 3 Aspek 4 Aspek 5 Aspek 6 Aspek 7 Aspek 8 Aspek 9 Aspek 10 Aspek 11 Aspek 12 Aspek 13 Aspek 14 Aspek 15 Aspek 16 Aspek 17 Aspek 18 Aspek 19
Grafik 4.2 Validasi Instrumen Penilaian Berbasis HOTS oleh Guru Ahli Materi (Soal Nomor 21-40)
Grafik 4.1 dan 4.2 merupakan hasil skor yang diperoleh dari guru mata pelajaran akuntansi dasar. Berdasarkan penilaian di atas, dapat ditarik kesimpulan jumlah rata-rata yang diperoleh dari penilaian guru yaitu 3.595 dengan kriteria Baik. Perolehan skor yang diberikan oleh guru berkisar angka 4 yang menunjukkan bahwa produk yang dihasilkan tergolong Sangat Baik. Namun, produk yang dihasilkan masih perlu direvisi dari pilihan jawaban ada yang sama, perhitungan dalam soal,dll. Revisi dilakukan supaya produk yang dihasilkan oleh peneliti menjadi semakin baik.
b. Pengujian pembahasaan gagasan (Ahli Bahasa)
Pembahasaan gagasan atau menerjemahkan gagasan-gagasan ke dalam bahasa yang jelas dan mudah dipahami. Dalam penyusunan soal ini kemungkinan masih ada arti ganda, kalimat rangkap yang digunakan. Pengujian ini akan dilakukan oleh Dosen
0 1 2 3 4 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 Aspek 1 Aspek 2 Aspek 3 Aspek 4 Aspek 5 Aspek 6 Aspek 7 Aspek 8 Aspek 9 Aspek 10 Aspek 11 Aspek 12 Aspek 13 Aspek 14 Aspek 15 Aspek 16 Aspek 17 Aspek 18 Aspek 19
Ahli dari Universitas Sanata Dharma, yaitu Bapak Apri Damai Sagita Krissandi, S.S., M.Pd. Produk divalidasi sebanyak satu kali pada tanggal 28 Februari 2018. Penilaian instrumen tersebut berdasarkan aspek kontruksi dengan 14 kriteria penilaian sebagai berikut:
Tabel 4.4 Kriteria Penilaian oleh Dosen Ahli Pengajaran Bahasa
Hasil Penilaian dari Dosen Ahli Pengajaran Bahasa dapat dilihat pada tabel 4.5
Tabel 4.5 Hasil Penilaian Oleh Dosen Ahli Pengajaran Bahasa
No. Soal Jumlah Skor/Aspek Rata-Rata Skor No. Soal Jumlah Skor/Aspek Rata-Rata Skor 1 56/14 4 (Sangat Baik) 21 54/14 3,857 (Baik) 2 54/14 3,857 (Baik) 22 54/14 3,857 (Baik) 3 56/14 4 (Sangat Baik) 23 54/14 3,857 (Baik) 4 54/14 3,857 (Baik) 24 53/14 3,785 (Baik) 5 54/14 3,857 (Baik) 25 54/14 3,857 (Baik) No. Kriteria Penilaian
1 Setiap soal menggunakan bahasa yang sesuai dengan kaidah Bahasa Indonesia
2 Menggunakan bahasa yang komunikatif, sederhana, dan mudah dimengerti oleh peserta didik
3 Setiap soal dan pilihan jawaban tidak mengandung kalimat bermakna ganda
4 Setiap soal dan pilihan jawaban menggunakan kosakata baku
5 Bahasa yang digunakan dalam petunjuk soal dirumuskan dengan bahasa yang jelas dan mudah dimengerti oleh peserta didik
6 Rumusan setiap indikator soal menggunakan kata kerja operasional
7 Tidak menggunakan bahasa yang berlaku setempat atau tabu
8 Setiap soal harus mempunyai satu jawaban benar atau paling benar
9 Pokok soal harus dirumuskan secara tegas dan jelas
10 Pokok soal jangan memberi petunjuk kearah jawaban benar
11 Panjang rumusan pilihan jawaban harus relatif sama
12 Pilihan jawaban jangan mengandung pernyataan “Semua pilihan jawaban di atas salah” atau “Semua pilihan jawaban diatas benar”
13 Pilihan jawaban berbentuk waktu harus disusun berdasarkan kronologis waktunya.
14 Waktu yang digunakan untuk mengerjakan sesuai dengan jumlah soal yang diberikan
No. Soal Jumlah Skor/Aspek Rata-Rata Skor No. Soal Jumlah Skor/Aspek Rata-Rata Skor 6 54/14 3,857 (Baik) 26 54/14 3,857 (Baik) 7 54/14 3,857 (Baik) 27 54/14 3,857 (Baik) 8 54/14 3,857 (Baik) 28 54/14 3,857 (Baik) 9 54/14 3,857 (Baik) 29 54/14 3,857 (Baik) 10 54/14 3,857 (Baik) 30 54/14 3,857 (Baik) 11 54/14 3,857 (Baik) 31 54/14 3,857 (Baik) 12 56/14 4 (Sangat Baik) 32 54/14 3,857 (Baik) 13 56/14 4 (Sangat Baik) 33 54/14 3,857 (Baik) 14 56/14 4 (Sangat Baik) 34 54/14 3,857 (Baik) 15 56/14 4 (Sangat Baik) 35 54/14 3,857 (Baik) 16 54/14 3,857 (Baik) 36 54/14 3,857 (Baik) 17 54/14 3,857 (Baik) 37 54/14 3,857 (Baik) 18 54/14 3,857 (Baik) 38 54/14 3,857 (Baik) 19 54/14 3,857 (Baik) 39 54/14 3,857 (Baik) 20 54/14 3,857 (Baik) 40 54/14 3,857 (Baik) ∑/40 = 151,209/40 = 3,780 (Baik)
Dari hasil penilaian tersebut, dapat digambarkan ke dalam grafik-grafik di halaman berikutnya ini:
1 2 3
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Aspek 1 Aspek 2 Aspek 3 Aspek 4 Aspek 5 Aspek 6 Aspek 7 Aspek 8 Aspek 9 Aspek 10 Aspek 11 Aspek 12 Aspek 13 Aspek 14
Grafik 4.3 Validasi Instrumen Penilaian Berbasis HOTS oleh Dosen Ahli Bahasa (Soal Nomor 1-20)
Grafik 4.4 Validasi Instrumen Penilaian Berbasis HOTS oleh Dosen Ahli Bahasa (Soal Nomor 21-40)
Grafik 4.3 dan 4.4 merupakan hasil skor yang diperoleh dari penilaian dosen. Berdasarkan penilaian di atas, dapat ditarik kesimpulan
1 2 3 4
21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 Aspek 1 Aspek 2 Aspek 3 Aspek 4 Aspek 5 Aspek 6 Aspek 7 Aspek 8 Aspek 9 Aspek 10 Aspek 11 Aspek 12 Aspek 13 Aspek 14
jumlah rata-rata yang diperoleh dari penilaian dosen yaitu 3.780 dengan kriteria Baik.
Perolehan skor yang diberikan oleh dosen berkisar angka 4 yang menunjukkan bahwa produk yang dihasilkan tergolong Baik. Namun, produk yang dihasilkan masih perlu direvisi sesuai saran dari dosen baik dari segi format penulisan dan format huruf kapital atau tidak kapital dan penulisan di-kata depan dan di-imbuhan. Revisi dilakukan supaya produk yang dihasilkan oleh peneliti menjadi semakin baik.
4. Perakitan soal
Dalam tahap penelaahan soal, akan terlihat soal yang baik, jelas tidak baik dan kurang baik. Untuk soal yang dianggap baik maka bisa langsung diterima. Untuk soal yang jelas tidak baik dan kurang baik maka perlu direvisi dan bisa diterima. Tahap perakitan ini, tahap merakit soal yang baik dan soal yang diterima dengan revisi menjadi kumpulan soal yang nantinya akan dujikan ke peserta didik.
Tabel 4.6 Perbaikan Soal Hasil Validasi oleh Dosen Ahli Pengajaran Bahasa
Sebelum Diperbaiki Sesudah Diperbaiki 1. Berikut ini yang termasuk
dalam transasksi internal adalah ...
a. UD. Sejahtera melakukan pemesanan barang kepada PT. Makmur
b. PT. Makmur menerima pemesanan barang dari UD. Sejahtera
c. Bagian penjualan PT. Makmur meminta bagian
1 Berikut ini yang termasuk dalam transaksi internal adalah ....
a. UD. Sejahtera melakukan pemesanan barang kepada PT. Makmur
b. PT. Makmur menerima pemesanan barang dari UD. Sejahtera
c. bagian penjualan PT. Makmur meminta bagian
Sebelum Diperbaiki Sesudah Diperbaiki gudang untuk pengeluaran
barang
d. Bagian pengiriman PT. Makmur mengirim barang kepada UD. Sejahtera
e. UD. Sejahtera
mengembalikan sebagian barang dagang karena tidak sesuai pesanan
gudang untuk pengeluaran barang
d. bagian pengiriman PT. Makmur mengirim barang kepada UD. Sejahtera e. UD. Sejahtera
mengembalikan sebagian barang dagang karena tidak sesuai pesanan
Tabel 4.7 Perbaikan Soal Hasil Validasi oleh Guru Mata Pelajaran
Sebelum Diperbaiki Sesudah Diperbaiki 1 Berdasarkan transaksi tanggal 17
Desember 2017, pengaruh transaksinya ialah Utang Peusahaan berkurang. Mengapa Utang berkurang? Alasan yang tepat adalah ....
a. PT. Astra menerima pembayaran atas utang CV. Honda Motor
b. CV. Honda Motor menerima pembayaran atas Utang PT. Astra
c. PT. Astra mengeluarkan uang untuk membayar utang kepada CV. Honda Motor d. CV. Honda Motor menerima
uang untuk pembayaran e. Pengeluaran sejumlah uang
kepada PT. Astra dari CV. Honda Motor
1 Berdasarkan transaksi tanggal 17 Desember 2017, pengaruh transaksinya ialah Utang Peusahaan berkurang. Mengapa Utang berkurang? Alasan yang tepat adalah .... a. PT. Astra menerima
pembayaran atas utang CV. Honda Motor
b. CV. Honda Motor menerima pembayaran atas Utang PT. Astra c. PT. Astra mengeluarkan
uang untuk membayar utang kepada CV. Honda Motor
d. CV. Honda Motor menerima uang untuk pembayaran pembelian motor
e. CV. Honda Motor menerima uang atas penjualan motor
5. Uji coba soal
Uji coba soal dilaksanakan di tiga sekolah, yaitu: Tabel 4.8 Jumlah Peserta Uji Coba
No. Nama Sekolah Jumlah Peserta Didik
1 SMK Negeri 1 Godean 85
2 SMK Negeri 1 Depok 90
3 SMK Negeri 1 Tempel 75
Jumlah 250
6. Analisis butir soal
Uji coba produk pengembangan intrumen penilaian berbasis HOTS pada kompetensi dasar memahami transaksi bisnis perusahaan jasa, dagang, dan manufaktur SMK kelas X Akuntansi memperoleh hasil yang beragam. Hasil uji coba diperoleh dari hasil analisis lembar kerja peserta didik. Berikut ini disajikan hasil analisis data menggunakan program QUEST. Untuk memudahkan mengingat penamaan file output, file hotssh.out (sh dari singkatan show) untuk menampilkan hasil dalam bentuk informasi secara keseluruhan beserta grafiknya. File hotsit.out (it singkatan dari item) untuk menampilkan file item secara menyeluruh atau singkat. File hotstn.out (tn singkatan dari item analisis), file outca.out (ca singkatan case) untuk menampilkan informasi case/testi/person.
Hasil Uji Coba Soal HOTS ---
Current System Settings 23/11/18 16:40
all on all (N = 250 L = 40 Probability Level= .50)
--- Data File = DATA.txt
Data Format = id 1-4 items 5-40 items 41-44
Log file = LOG not on Page Width = 107 Page Length = 65 Screen Width = 78 Screen Length = 24 Probability level = .50
Maximum number of cases set at 60000
VALID DATA CODES 0 A B C D E 9
GROUPS
1 all ( 250 cases ) : All cases
SCALES
1 all ( 40 items ) : All items
DELETED AND ANCHORED CASES:
No case deletes or anchors
DELETED AND ANCHORED ITEMS:
No item deletes or anchors RECODES SCORING KEYS Score = 1 BCDBCACDCACBDEBDDACCEACAAEABDEDBBDEDEDEA ======================================================================
Gambar 4.1 Hasil Current System Settings Program QUEST
Hasil di atas menunjukkan informasi secara keseluruhan, bahwa ada sebanyak 250 testi yang dianalisis dengan 40 item dan peluang sebesar 0.5 sesuai dengan prinsip Likelihood Maximum. Semua item, testi maupun anchor dapat digunakan atau disertakan dalam analisis dan tidak ada yang dihapus.
Hasil Uji Coba Soal HOTS ---
Item Estimates (Thresholds) 23/11/18 16:40
all on all (N = 250 L = 40 Probability Level= .50) ---
Summary of item Estimates ========================= Mean .00 SD 1.90 SD (adjusted) 1.88 Reliability of estimate .99 Fit Statistics ===============
Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.04 SD .06 SD .25 Infit t Outfit t Mean .04 Mean .08 SD .88 SD .98
0 items with zero scores 0 items with perfect scores
=========================================================================
Gambar 4.2 Hasil Item Estimate (Thresholds) Program QUEST
Reliabilitas sampel ialah nilai reliabilitas tes berdasarkan item (menurut Wrigh & Master, 1982 dalam (Subali, 2010, p. 50)). menghasilkan data dengan mean INFIT MNSQ 1.00 dan SD 0.6 artinya secara keseluruhan item sesuai dengan model Rasch, reliabilitas sampel sebesar 0,99. Data ini berupa data dengan skala dikotomi. Jika sampel uji coba sesuai dengan item yang diujikan maka semakin tinggi nilai reliabilitas sampelnya dan jika sampel uji coba tidak memberikan informasi sesuai dengan yang diharapkan (tidak mengerjakan atau mengerjakan dengan sembarangan) maka nilai reliabilitasnya semakin rendah.
Hasil Uji Coba Soal HOTS ---
Case Estimates 23/11/18 16:40
all on all (N = 250 L = 40 Probability Level= .50) ---
Summary of case Estimates ========================= Mean .77 SD .69 SD (adjusted) .54 Reliability of estimate .61 Fit Statistics ===============
Infit Mean Square Outfit Mean Square Mean .98 Mean 1.04 SD .23 SD .67 Infit t Outfit t Mean .02 Mean .11 SD 1.01 SD .92
0 cases with zero scores 0 cases with perfect scores
========================================================================
Gambar 4.3 Hasil Case Estimate Program QUEST
Reliabilitas tes ialah nilai reliabilitas berdasarkan estimasi case atau testi (menurut Wright & Master, 1982 dalam (Subali, 2010, p. 50)). Dengan hasil mean INFIT MNSQ 0,98 dan SD 0,23 artinya secara keseluruhan testi sesuai dengan model Rasch, reliabilitas tes sebesar 0,61. Data tersebut berupa skala dikotomi. Semakin tinggi nilai reliabilitas tes maka semakin meyakinkan bahwa pengukuran memberikan hasil yang konsisten. Semakin rendah nilai reliabilitas tes maka semakin banyak sempel yang tidak memberikan informasi yang diharapkan.
Hasil Uji Coba Soal HOTS Item Estimates (Thresholds) 23/11/18 16:40
all on all (N = 250 L = 40 Probability Level= .50) --- 5.0 | | | 17 33 | | | 4.0 | | | | 16 34 | | 37 3.0 X | | XX | | X | | 2.0 XXXX | 26 | XXXXX | 21 25 XXXXX | XXXXXXXXXXXXXX | | 1.0 XXXXXXXXXXXX | XXXXXXXXXXXXX | XXXXXXXXXXXXXX | XXXXXXXXXXXXXXXX | 14 XXXXXXXXXX | 9 11 XXXXXXXX | 23 36 XXXXXXXX | 28 29 .0 XXX | 6 18 30 40 XXXXX | 12 20 24 38 XXXXXX | XX | 13 22 X | 15 19 39 X | 31 -1.0 | | 2 32 | 5 27 | | 3 35 | 4 -2.0 | | | 1 | | 10 | -3.0 | 7 | 8 | | | | -4.0 | --- Each X represents 2 students
=========================================================================
QUEST juga menyajikan peta item dan person. Bagian sebelah kanan merupakan nomor item dan bagian sebelah kiri adalah persebaran person dimana setiap tanda silang (X) mewakili 1 person. Persebaran item dan person disusun dengan skala yang sama sehingga secara umum dapat diketahui bahwa item yang ada memiliki tingkat kesukaran yang lebih tinggi daripada kemampuan person/subjek. Item yang paling sukar yaitu nomor 16, 17, 26, 33, 34, dan 37 sedangkan yang paling mudah yaitu nomor 1, 7, 8, dan 10.
Hasil Uji Coba Soal HOTS ---
Item Fit 23/11/18 16:40
all on all (N = 250 L = 40 Probability Level= .50) --- INFIT MNSQ .56 .63 .71 .83 1.00 1.20 1.40 1.60 ---+---+---+---+---+---+---+---+-- 1 item 1 . * . 2 item 2 . |* . 3 item 3 . * | . 4 item 4 . | . 5 item 5 . * | . 6 item 6 . |* . 7 item 7 . |* . 8 item 8 . * . 9 item 9 . *| . 10 item 10 . * . 11 item 1 . | * . 12 item 12 . *| . 13 item 13 . * | . 14 item 14 . | * . 15 item 15 . * . 16 item 16 . | * . 17 item 17 . |* . 18 item 18 . *| . 19 item 19 . *| . 20 item 20 . |* . 21 item 21 . | * . 22 item 22 . * . 23 item 23 . * | . 24 item 24 . * | . 25 item 25 . * . 26 item 26 . |* . 27 item 27 . * | . 28 item 28 . *| . 29 item 29 . * | . 30 item 30 . | * . 31 item 31 . * | . 32 item 32 . * . 33 item 33 . | * . 34 item 34 . | * . 35 item 35 . |* . 36 item 36 . |* . 37 item 37 . *| . 38 item 38 . |* . 39 item 39 . * | . 40 item 40 . * | . ========================================================================
Tampilan di atas merupakan distribusi item berdasarkan kecocokannya dengan Model Rasch. Parameter yang digunakan adalah INFIT MNSQ. Garis putus-putus secara vertikal menandakan rentang nilai INFIT MNSQ yang diterima, yaitu 0,77 – 1,30. Dari gambar diatas semua item fit atau cocok dengan model Rasch dengan batas penerimaaan ≥-0,83 sampai ≤1,20.
Hasil Uji Coba Soal HOTS ---
Item Estimates (Thresholds) In input Order 23/11/18 16:40
all on all (N = 250 L = 40 Probability Level= .50) ---
ITEM NAME |SCORE MAXSCR| THRSH | INFT OUTFT INFT OUTFT | | 1 | MNSQ MNSQ t t --- 1 item 1 | 238 250 | -2.36 | 1.00 1.02 .1 .2 | | .30| | | | 2 item 2 | 218 250 | -1.28 | 1.01 .96 .2 -.1 | | .19| | | | 3 item 3 | 227 250 | -1.66 | .93 .75 -.4 -1.1 | | .22| | | | 4 item 4 | 232 250 | -1.93 | 1.04 1.11 .3 .5 | | .25| | | | 5 item 5 | 222 250 | -1.43 | .96 .99 -.2 .0 | | .21| | | | 6 item 6 | 168 250 | -.02 | 1.03 1.09 .5 .9 | | .14| | | | 7 item 7 | 244 250 | -3.07 | 1.02 .94 .2 .1 | | .42| | | | 8 item 8 | 245 250 | -3.26 | .99 .96 .1 .1 | | .45| | | | 9 item 9 | 140 250 | .49 | .99 .97 -.3 -.3 | | .13| | | | 10 item 10 | 241 250 | -2.66 | 1.00 .79 .1 -.4 | | .34| 37 item 37 | 22 250 | 3.23 | .98 1.17 -.1 .7 | | .23| | | | 38 item 38 | 178 250 | -.22 | 1.03 .99 .4 -.1 | | .15| | | | 39 item 39 | 200 250 | -.73 | .93 .84 -.7 -1.1 | | .16| | | | 40 item 40 | 170 250 | -.06 | .89 .83 -2.0 -1.8 | | .14| | | | --- Mean | | .00 | 1.00 1.04 .0 .1 SD | | 1.90 | .06 .25 .9 1.0 =========================================================================
Berdasarkan data di atas untuk SCORE merupakan skor yang didapat pada item tersebut dan MAXSRC merupakan skor maksimal pada item tersebut. Untuk item 1 mendapat skor sebanyak 238 dari skor maksimum 250, artinya ada 238 testi yang menjawab benar dari 250 testi yang mengerjakan, begitu seterusnya hingga item ke 40.
Rincian tingkat kesukaran item menurut (Sudaryono, 2013) semakin mudah item maka nilai (b) semakin kecil (<-2) dan semakin sukar item maka nilai (b) semakin besar (>2). Tingkat kesukaran item dianalisis menggunakan program QUEST. Berikut ini hasil perhitungan tingkat kesukaran item pada butir soal pilihan ganda sesuai pendapat ahli.
Tabel 4.9 Tingkat Kesukaran Item Soal Pilihan Ganda
No. Item Taraf Kesukaran Item (b) Keterangan No. Item Taraf Kesukaran Item (b) Keterangan 1 -2,36 Mudah 21 1,81 Sedang 2 -1,28 Sedang 22 -0,53 Sedang 3 -1,66 Sedang 23 0,33 Sedang 4 -1,93 Sedang 24 -0,26 Sedang 5 -1,43 Sedang 25 1,68 Sedang 6 -0,02 Sedang 26 2,13 Sukar 7 -3,07 Mudah 27 -1,39 Sedang 8 -3,26 Mudah 28 0,04 Sedang 9 0,49 Sedang 29 0,04 Sedang 10 -2,66 Mudah 30 -0,04 Sedang 11 0,47 Sedang 31 -0,84 Sedang 12 -0,24 Sedang 32 -1,17 Sedang 13 -0,51 Sedang 33 4,60 Sukar 14 0,54 Sedang 34 3,45 Sukar 15 -0,70 Sedang 35 -1,76 Sedang 16 3,45 Sukar 36 0,33 Sedang 17 4,60 Sukar 37 3,23 Sukar 18 -0,12 Sedang 38 -0,22 Sedang 19 -0,70 Sedang 39 -0,73 Sedang 20 -0,22 Sedang 40 -0,06 Sedang
Tabel 4.9. Menunjukkan hasil perhitungan taraf kesukaran item pilihan ganda. Hasil perhitungan membuktikan bahwa sebanyak 4 butir (10%) tergolong mudah yaitu item nomor 1, 7, 8, 10 dan sebanyak 6 butir (15%) tergolong sukar yaitu item nomor 16, 17, 26, 33, 34, 37 sedangkan sebanyak 30 butir (75%) tergolong sedang. Dengan demikian dapat dikatakan bahwa soal/instrumen berbasis HOTS mempunyai tingkat kesukaran “Sedang”.
7. Seleksi dan perakitan soal
Berdasarkan hasil quest maka semua soal dapat dicetak menjadi kumpulan soal berbasis HOTS mata pelajaran akuntansi dasar, dengan beberapa revisi sesuai dengan komentar dan saran dari peserta didik. Peserta didik melakukan penilaian terhadap instrumen setelah uji coba soal. Penilaian instrumen tersebut berdasarkan 11 kriteria penilaian sebagai berikut:
Tabel 4.10 Kriteria Penilaian oleh Peserta Didik Kelas X
No Aspek yang dinilai
1 Setiap soal menggunakan bahasa yang mudah dipahami 2 Setiap soal membantu peserta didik untuk memahami materi 3 Setiap soal dirumuskan dengan tegas dan jelas
4 Pernyataan sebagai pengantar soal ditulis dengan jelas 5 Petunjuk dalam mengerjakan setiap soal mudah dipahami 6 Ukuran dan jenis huruf dalam setiap soal mudah dibaca oleh
peserta didik
7 Ukuran dan tulisan pada gambar mudah dibaca oleh peserta didik
8 Waktu yang diberikan untuk mengerjakan soal cukup 9 Panjang pendeknya pilihan jawaban relatif sama
10 Setiap soal mempunyai satu jawaban benar atau paling benar 11 Pilihan jawaban jelas dan tidak membingungkan
Hasil penilaian peserta didik kelas X dapat dilihat pada tabel 4.11 Tabel 4.11 Hasil Penilaian Oleh Peserta Didik Kelas X
Dari hasil penilaian tersebut, dapat digambarkan ke dalam grafik dibawah ini:
Grafik 4.5 Validasi Instrumen Penilaian Berbasis HOTS oleh Peserta Didik Kelas X
Grafik di atas merupakan hasil skor yang diperoleh dari penilaian peserta didik. Berdasarkan penilaian di atas, dapat ditarik kesimpulan
0 1 2 3 4 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 Aspek 1 Aspek 2 Aspek 3 Aspek 4 Aspek 5 Aspek 6 Aspek 7 Aspek 8 Aspek 9 Aspek 10 Aspek 11
No. Jumlah Skor/Aspek Skor
1 109/44 2,477 2 120/44 2,727 3 120/44 2,727 4 130/44 2,955 5 142/44 3,227 6 144/44 3,273 7 130/44 2,955 8 134/44 3,045 9 115/44 2,61 10 129/44 2,932 11 119/44 2,705 ∑/40 = 13,6364/11 = 2,876
bahwa jumlah rata-rata setiap aspek yang diperoleh dari penilaian peserta didik yaitu 2,876. Namun produk yang dihasilkan masih perlu direvisi sesuai saran dari peserta didik baik dari segi kejelasan dan ukuran bukti-bukti transaksi. Revisi dilakukan supaya produk yang dihasilkan oleh peneliti menjadi semakin baik.
8. Percetakan tes
Produk pengembangan instrumen penilaian berbasis HOTS telah sampai pada bagian akhir, yaitu percetakan soal.Untuk kompetensi dasar memahami transaksi bisnis perusahaan jasa, dagang dan manufaktur tidak ada soal yang dibuang karena semua soal tergolong fit berdasarkan model Rasch dan sudah direvisi terakhir berdasarkan komentar dan saran perbaikan dari peserta didik. Maka dari itu, soal bisa dicetak dan diterbitkan menjadi Soal Berbasis HOTS pada Mata Pelajaran Akuntansi