Kegunaan Pengujian Sistem E-Learning : Studi Kasus
Pada Sistem E-Learning Perguruan Tinggi TARUC,
Kampus Cabang Johor
Muhammad Shodiq, MustaqimMagister Sistem Informasi
Fakultas Sekolah Pascasarjana, Universitas Diponegoro Semarang, Indonesia
shodiqmuhammad13@gmail.com, dimasthan@gmail.com
Abstrak — Sistem e-learning adalah sistem pembelajaran secara online yang sudah banyak diterapkan dalam pendidikan. Keberadaan e-learning akan memberikan keuntungan strategis yang signifikan bagi institusi pendidikan. Keuntungan yang paling umum adalah sistem e-learning memberikan kemudahan pada peserta didik dan pendidik yang tidak dapat bertemu secara langsung. Dengan e-learning maka pembelajaran dapat terlaksana karena jangkauan internet yang dapat diakses dimanapun. Banyak faktor yang mempengaruhi keberhasilan dan kegagalan e-learning, diantaranya adalah perilaku pengguna, penilaian mereka terhadap sistem dan manfaat yang mereka peroleh setelah sekian lama berinteraksi dengan sistem. Untuk menguji keberhasilan sistem e-learning maka dibutuhkan usability testing terhadap sistem e-learning. Pengujian yang baik adalah pengujian yang memenuhi aspek learnability, efficiency, memorability, errors dan satisfaction. Pada penelitian ini kategori yang diujikan terletak pada domain sistem mudah digunakan, desain antarmuka, navigasi, serta pendapat pengguna dan saran. Hasil yang didapatkan dari pengujian adalah mayoritas peserta pengujian mengatakan sistem mudah digunakan tetapi desain antarmuka sistem kurang menarik. Sedangkan dari segi nagivasi, responden kesulitan menggunakan navigasi karena merasa bingung atau belum familiar dengan bahasa yang digunakan sistem. Sedangkan dari sisi opini dan saran pengguna, pengguna mengatakan bahwa sistem masih banyak kekurangan terbukti saat pengguna gagal men-download file sistem karena kesalahan sistem.
Kata kunci — e-learning ; usability testing
I. PENDAHULUAN
E-learning adalah salah satu metode pembelajaran yang banyak ditawarkan oleh berbagai universitas dan lembaga pelatihan, terutama yang memiliki banyak pengguna dari luar daerah. Melalui sistem e-learning ini, diharapkan lembaga bisa menjangkau sekaligus memberikan layanan pendidikan yang terbaik bagi penggunanya. Banyak faktor yang mempengaruhi keberhasilan dan kegagalan e-learning,
diantaranya adalah perilaku pengguna, penilaian mereka terhadap sistem dan manfaat yang mereka peroleh setelah sekian lama berinteraksi dengan sistem.
Salah satu institusi pendidikan yang menggunakan sistem
e-learning sebagai media pembelajaran adalah universitas Tunku Abdul Rahman Malaysia. Sistem e-learning pada universitas ini sering disebut dengan college e-learning system
(CEL). Salah satu permasalahan yang ada pada sistem CEL adalah diuji kegunaannya (usability testing) dari segi kemudahan penggunaan antarmuka sistem melalui wawancara untuk mengidentifikasi permasalahan mengenai kemudahan dalam penggunaan antarmuka yang ada pada CEL (college e-learning system). Namun pada sesi wawancara didapatkan bahwa antarmuka CEL (college e-learning system) ini belum mencapai tujuan yang diinginkan.
Untuk mencapai tujuan yang diinginkan, peneliti mencoba untuk menguji sistem dari sudut kemudahan penggunaan antarmuka sistem menggunakan metode usability testing dari Neilsen. Yang mana Neilsen mendefinisikan aspek atau elemen penting dalam evaluasi antarmuka sistem terdiri dari
learnability, efficiency, memorability, errors dan satisfaction. Tujuan dari evaluasi ini adalah diharapkan dapat memperbaiki kesalahan pada sistem sehingga sistem dapat digunakan dengan mudah oleh pengguna.
II. TINJAUAN PUSTAKA
A. E-Learning
E-learning (Elektronic Learning), merupakan sistem yang baru dalam proses pembelajaran menggunakan media elektronik khususnya internet sebagai media sistem pembelajarannya. Tujuan e-learning adalah efektivitas dan efisiensi dalam proses pembelajaran. E-learning memberikan kemudahan pada peserta didik dan pendidik yang tidak dapat bertemu secara langsung. Dengan e-learning maka pembelajaran dapat terlaksana karena jangkauan internet yang dapat diakses dimanapun sehingga biaya pembelajaran menjadi berkurang.
proses pembelajaran dan lingkungan. Para pendidik dapat mengubah metode pembelajaran kapanpun dan dimanapun jika diperlukan. Tetapi, pada sistem e-learning, pendidik dan peserta didik dipisahkan oleh sistem e-learning melalui internet. Pemisahan tersebut menghalangi kontrol yang di miliki pendidik untuk mengubah proses pembelajaran dan lingkungan. Sistem e-learning ini di desain untuk memudahkan pembelajaran karena informasi yang e-learning
berikan pada peserta didik atau pengguna e-learning sangat komunikatif.
B. Implementasi E-Learning
Dalam konteks pendidikan tinggi, e-learning banyak digunakan. Kebanyakan lembaga pendidikan tinggi memiliki sistem e-learning ini untuk menunjang kegiatan belajar mengajar. Penerapan e-learning dalam pendidikan mengikutsertakan beberapa komponen. Komponen utamanya adalah infrastruktur e-learning. Infrastuktur tersebut berupa personal komputer, jaringan komputer, internet dan perlengkapan multimedia lainnya. Keberhasilan dan kegagalan dari sistem e-learning terletak pada desain dan teknologi yang digunakan. Implementasi e-learning yang luas menunjukkan bahwa e-learning memiliki kontribusi besar dalam proses kegiatan belajar mengajar.
C. Usability Testing
Usability testing adalah tingkat kualitas dari sistem (perangkat lunak) yang mudah dipelajari, mudah digunakan dan mendorong pengguna untuk menggunakan sistem dalam menyelesaikan tugas. Definisi lain dari usability testing adalah alat yang sangat berharga untuk menilai keefektifan dan kemudahan penggunaan antarmuka. Ini bisa dilakukan sepanjang perjalanan pengembangan sistem sampai selesai. Untuk mengetahui tingkat usability sebuah sistem perlu dilakukan evaluasi terhadap sistem tersebut.
Menurut Nielsen, ada 5 komponen yang harus dipenuhi agar suatu sistem mencapai tigkat usability yang ideal, yaitu :
Learnability (Mudah dipelajari) Efficiency (Efisien)
Memorability (Kemudahan dalam mengingat) Errors (Pencegahan kesalahan)
Satisfaction (Kepuasan pengguna) III. METODOLOGI
Pada penelitian ini, usability testing sistem e-learning
dilakukan dengan tiga tahap yang berbeda yang melibatkan lima responden. Untuk setiap tahap pengujian, dibutuhkan instrumen yang berbeda. Adapun tahap-tahap usability testing
sebagai berikut : A. Pre-test
Tahap ini bermaksud untuk mengumpulkan informasi atau latar belakang mengenai pengalaman dalam menggunakan sistem e-learning dari peserta pengujian/responden.
B. Test
Tahap ini peserta akan diberikan tugas sebanyak 6 skenario yang harus dikerjakan tanpa bantuan penguji. Dalam hal ini tugas telah dirancang untuk mengumpulkan data yang relevan berdasarkan tiga kategori yang diujikan antara lain : antarmuka pengguna, navigasi dan informasi.
C. Post-test
Tahap ini merupakan tahap terakhir dari sesi pengujian sistem e-learning. Tahap ini peserta diberikan kuesioner sebanyak 17 pertanyaan. Hasil kuesioner ini sangat penting karena dapat digunakan untuk menganalisa dan memperbaiki kesalahan pada penggunaan sistem e-learning.
IV. HASILDAN PEMBAHASAN
A. Hasil Pra-Tes
Wawancara pra-tes bermaksud untuk mengumpulkan informasi demografis peserta tes dan mengidentifikasikan apakah mereka memiliki pengalaman dalam menggunakan CeL. Tahap ini juga bertujuan untuk mengidentifikasi aktivitas atau memperoleh informasi yang peserta harapkan saat mengunjungi CeL. Dalam analisis ini, para peserta diberi nama sebagai P01, P02, P03, P04 dan P05. Informasi demografi para peserta beserta pengalamannya dalam menggunakan CeL diilustrasikan pada Tabel II.
Seperti pada Tabel III, semua peserta diharapkan mendownload catatan kuliah dan tiga dari mereka diharapkan untuk melihat pengumuman di CeL. Sejalan dengan pengalaman mereka menggunakan CeL, P01 dan P02 mengetahui mereka bisa mengumpulkan tugas via SafeAssign tersedia di CeL.
B. Hasil Uji
1) Skenario Tugas 1: Memasuki CeL
Tugas pertama peserta adalah memasuki CeL dengan mengetik di alamat https://elearning4.tarc.edu.my di alamat web browser. Tabel IV memberikan status pencapaian tugas setiap peserta
Hasil:
Dari hasil pengamatan, semua peserta berhasil menyelesaikan dengan mudah. Ini menunjukkan bahwa tugas 1 mudah karena para peserta hanya mengetik alamat di address bar untuk melihat halaman utama CeL.
2) Skenario tugas ke-2: Login ke CeL
Tugas kedua peserta untuk memasukkan username dan password untuk login ke sistem. Gambar 2 menunjukkan halaman login dari CeL.
Hasil:
Tugas ini, peserta P01, P02 dan P03 berhasil masuk ke CeL dengan mudah. Mereka telah dipersiapkan surat pernyataan yang dibutuhkan untuk login ke CeL. P01 menginformasikan bahwa username dan kata sandi telah diberikan kepada mereka melalui email siswa selama minggu orientasi. Namun, peserta P04 dan P05 membutuhkan bantuan dalam mengingat kembali kredensial yang dibutuhkan
Fig. 1 Login page of CeL
3) Skenario Tugas 3: Penelusuran Kursus
Tugas ketiga peserta mencari kursus bernama "Mengelola Sistem Informasi". tugas ini, peserta harus pergi ke My
Courses dan klik tombol drop down untuk melihat daftar kursus yang telah mereka daftarkan untuk semester ini.
Hasil:
Berdasarkan hasil tersebut, peserta P01 dan P03 berhasil melaksanakan tugas. Ini karena mereka memiliki pengalaman dalam menggunakan CeL sebelum pengujian dilakukan. Peserta P02, P04 dan P05 memerlukan bantuan dalam menyelesaikan tugas yang sama
4) Tugas-Skenario 4: Pengumuman
Tugas ini, peserta diminta untuk menemukan pengumuman yang dibuat oleh dosen ‘Managing Information Systems '.
Hasil:
Peserta P01, P03 dan P04 mampu menyelesaikan tugasnya dengan sedikit bantuan dari peneliti. Mereka menemukan pengumuman setelah mencarinya di bawah bagian What's New. Di sisi lain, peserta P02 dan P05 panik karena mereka tidak menemukan adanya pengumuman yang tercantum di bagian bawah Pengumuman Saya. Bahkan dengan bantuan dari peneliti, peserta P02 dan P05 gagal menemukan pengumuman.
5) Skenario Tugas 5: SafeAssign
Dalam skenario tugas 5, peserta diminta untuk memeriksa pekerjaan mereka menggunakan pengecekan plagiasi SafeAssign untuk mengidentifikasi wilayah tumpang tindih antara pekerjaan yang diajukan dan sumber yang ada.
Dari Tabel V, bisa dikatakan bahwa tugas 5 itu sebuah tugas yang bermasalah dan rumit untuk P02, P04 dan P05 karena mereka tidak berpengalaman dalam menggunakan CeL. Secara kompleksitas, peserta P01 dan P03 berhasil menyelesaikan tugasnya tanpa bantuan apapun. Untuk alasan ini bisa disesuaikan dengan pengalaman mereka dalam menggunakan CeL untuk pengiriman tugas sesuai dengan yang dinyatakan dalam hasil pre-test.
6) Skenario Tugas 6: Catatan Kuliah
Fig. 2 Course Documents section
Hasil:
Peserta P01 dan P02 berhasil menyelesaikan tugas. Sayangnya, semua peserta lainnya gagal mendownload catatan kuliah seperti yang diinstruksikan. Hal ini disebabkan karena kesalahan sistem, di mana sekali mereka mengklik bab yang ditentukan, file gagal untuk dibuka dan tampilan browser menunjukan kesalahan, file tidak ditemukan.
C. Hasil Post Tes
Hasil Post-test didapat melalui wawancara. Ada 17 pertanyaan dijawab oleh peserta dalam sesi Post Tes. Pertanyaan wawancara didasarkan pada empat domain yang mudah digunakan, desain penghubung, navigasi, serta opini pengguna dan saran.
1) Kemudahan Penggunaan
Semua peserta setuju halaman utama CeL menyediakan informasi yang berguna bagi siswa. Namun, CeL terlalu rumit digunakan, terutama bagi pengguna yang belum berpengalaman. P03 dan P04 menyatakan bahwa CeL begitu membingungkan mereka. P01 menyatakan bahwa dia bisa menyelesaikan tugas tertentu karena dia sudah menggunakan CeL sebelumnya. Ia merasakan hal yang sama saat ia menggunakan CeL untuk pertama kalinya. Baik P02 maupun P05 merasa stres setiap kali gagal menyelesaikan tugas yang diberikan.
2) Desain penghubung a) Layout
Berdasarkan wawancara yang dilakukan, semua peserta menyepakati layout CeL konsisten. Mereka tidak punya masalah dengan penempatan link yang memungkinkan mereka navigasikan dengan mudah. Salah satu peserta (P02) mengatakan, linknya mudah dilihat tapi sulit untuk memperkirakan tujuannya. Dia juga menambahkan, teks link harus bermakna dan tepat mewakili tempat tujuan. Para peserta secara keseluruhan menunjukkan sebuah kesepakatan pada kenyataanya bahwa desain penghubung tidak menarik. P01 berkomentar bahwa penghubung tampak begitu membosankan, tidak terlihat segar dan bersemangat. Sementara, P02 menyatakan CeL itu terlihat kusam dan tidak menarik perhatian.
b) Warna
Semua peserta tidak setuju dengan warna yang digunakan dalam CeL. P03 dan P04 keduanya tidak setuju tanpa komentar lebih lanjut. P01 disebutkan, warna yang digunakan membuat CeL terlihat tidak menarik. Sementara, P02 dan P05 menyatakan pendapat mereka bahwa CeL terlihat begitu 'abu' dan tidak sesuai dengan anak muda.
c) Huruf
Sebagai tanggapan kesesuaian huruf, semua peserta setuju dengan huruf yang digunakan. Beda halnya dengan P03 dan P05 mengatakan bahwa huruf yang digunakan cukup kecil untuk mereka, terutama daftar alat yang berada di sisi kiri CeL.
3) Navigasi
Semua peserta percaya, CeL tidak mudah dinavigasi menggunakan link yang disediakan. P03 berpendapat bahwa dia tidak mengerti istilah yang digunakan di CeL, seperti Halaman Kursus, Dokumen Kursus, Grup dan Alat. Menanggapi pengakuan dan kegunaan hyperlink, ikon dan tombol dalam CeL, hanya satu peserta (P03) yang setuju bahwa, semua elemen dapat dengan mudah dikenali. P01 mengatakan, teks yang dipilih untuk link gagal untuk menyampaikan isinya dan benar-benar membingungkan bagi pengguna yang tidak berpengalaman. P02 dapat dengan mudah menemukan home dan tombol log out, namun membutuhkan lebih banyak waktu untuk belajar dan memahami semua item navigasi lainnya. P04 mengatakan tombol drop down terlalu kecil dan akibatnya mudah membuat kesalahan dengan mengklik teks dan bukan tombolnya.
4) Opini dan Saran Pengguna
a) Frekuensi penggunaan CeL di masa depan
Mayoritas peserta menyatakan dengan jelas bahwa mereka tidak akan menggunakan CeL lebih sering. Empat dari lima peserta hanya akan masuk ke CeL saat mereka disuruh untuk mengumpulkan tugas mereka melalui pemeriksa plagiarisme SafeAssign. Anehnya, P02 adalah satu-satunya peserta yang tertarik untuk sering mengunjungi CeL untuk mendownload catatan kuliah untuk kursus yang terdaftar. P02, P03, P04 dan P05 menyatakan bahwa satu-satunya hal yang mereka sukai dari CeL adalah akses untuk catatan kuliah untuk kursus mereka yang terdaftar. Sebaliknya, hanya P01 yang tertarik dengan alat SafeAssign yang disediakan di CeL.
b) Masalah yang dihadapi saat menggunakan CeL
pengujian. Untuk P03, CeL memiliki terlalu banyak link, sehingga membuatnya lebih bingung.
c) Sistem e-Learning
P03 mengutarakan kekecewaannya tentang Tugas 6 dimana dia gagal mendownload catatan kuliah karena kesalahan sistem. Dari pandangannya, sebuah sistem e-learning harus bisa memberikan informasi dan materi tanpa kegagalan. Secara keseluruhan, Peserta percaya bahwa e-learning harus menarik, bermanfaat dan menarik. P02 menambahkan, bahwa sistem e-learning harus disediakan untuk semua informasi yang relevan yang dibutuhkan oleh mahasiswa seperti jadwal dosen dan tidak hanya terbatas pada masalah pelajaran dan materi. P04 dan P05 mengatakan, sistem e-learning harus lebih terlihat energik melalui penerapan warna yang hidup. Yang terpenting, semua peserta sepakat bahwa CeL yang menarik dan berguna tentunya membantu siswa TARUC dalam proses belajar mereka.
d) Saran dan Perbaikan
P01, P02 dan P03 menyarankan untuk mengubah tema warna CeL untuk membuat sistem lebih menarik. Apalagi P02 dan P05 menyarankan untuk modifikasi tata letak hanya untuk menunjukan informasi penting di halaman utama. P04 menambahkan, Perancang CeL sebaiknya menggunakan lebih banyak grafis dan ikon, bukan teks polos dengan warna kusam. Dia percaya, mengganti teks pada link ke tombol grafis akan menghasilkan pengalaman pengguna yang lebih baik.
Masalah kegunaan CeL dapat dikelompokkan menjadi tiga aspek yang dihubungkan desain, navigasi dan informasi seperti yang dirangkum dalam Tabel VI.
Dari temuan tersebut, saran untuk perbaikan CeL untuk masa yang akan datang adalah sebagai berikut:
Hanya menunjukkan informasi penting di halaman utama.
Tambahkan warna cerah seperti hijau, merah dan oranye.
Hindari warna abu-abu dari CeL yang mendominasi. Gunakan ukuran huruf yang lebih besar, terutama
untuk daftar alat yang terletak di sisi kiri CeL. Gunakan tombol drop down yang lebih besar untuk
daftar kursus.
Gunakan link teks yang cocok untuk menyampaikan isinya.
Informasi dan bahan harus dapat diakses setiap kali siswa masuk ke CeL.
Berikan semua informasi yang relevan yang dibutuhkan oleh siswa seperti jadwal dosen dan jadwal bus.
V. PENUTUP
Penelitian ini dilakukan untuk mengidentifikasi kegunaan masalah yang dihadapi siswa dengan CeL menggunakan uji kegunaan. Masalah kegunaan yang diidentifikasi dapat dikelompokkan menjadi tiga kategori yang merupakan desain penghubung, navigasi dan informasi. Penelitian ini juga bertujuan untuk memberikan rekomendasi dalam perbaikan kegunaan CeL. Tujuan ini dicapai melalui pertanyaan post-test yang mengharuskan pengguna memberikan pendapat dan saran untuk meningkatkan kegunaan CeL.
Pengujian kegunaan yang dilakukan akan memberikan bantuan yang besar dalam meningkatkan pengalaman pengguna terhadap CeL. Hasil dari penelitian ini memberikan informasi yang berguna mengenai masalah kegunaan yang terjadi pada CeL.
Pekerjaan masa depan melibatkan perpanjangan uji kegunaan untuk cabang kampus lainnya, sehingga bisa diadakan studi banding. Penelitian ini juga dapat memusatkan pada pengujian penggunaan CeL di kalangan dosen untuk melihat kegunaan CeL dari perspektif yang berbeda.
REFERENCES
[1] Fernandez, Adrian,.Emilio Insfran,. and Silvia Abrahao. 2011. Usability Evaluation Methods For The Web : A Systematic Mapping Study. Elsevier : Information and Software Technology, 53 (2011) 789-817.
[2] Guo, Yuqing., dkk. 2009, “A Case Study of Usability Testing on An Asynchronous E-Learning Platform”. IEEE
[3] Masrom, Maslin. 2008. Critical Success in E-Learning : An Examination of Technological and Institutional Support Factors. International Journal of Cyber Society and Education. Vol. 1, 131-142, Maret 2008
[4] Satam, Noriza., dkk. 2016, “Usability Testing of E-Learning System : A Case Study on Cel in TARUC, Johor Branch Campus”. IEEE
