Evaluasi Usability dan User Experience Pada E-Learning Universitas Sriwijaya Menggunakan Metode TUXEL 2.0

(1)

Evaluasi Usability dan User Experience Pada E-Learning Universitas Sriwijaya Menggunakan Metode TUXEL 2.0

A Salman Alfarizi, Dwi Rosa Indah^*, Mgs Afriyan Firdaus

Fakultas Ilmu Komputer, Program Studi Sistem Informasi, Universitas Sriwijaya, Palembang, Indonesia Email: ¹Salman72alfarizi@gmail.com, ^2,*indah812@unsri.ac.id, ³afriyan_firdaus@unsri.ac.id

Email Penulis Korespondensi: indah812@unsri.ac.id Submitted 08-03-2023; Accepted 15-04-2023; Published 30-04-2023

Abstrak

Perkembangan teknologi berimbas pada dunia pendidikan yang berinovasi menciptakan gaya pembelajaran yang bisa melakukan pembelajaran kapanpun dan dimanapun tanpa batasan tempat dan waktu dengan bantuan teknologi yang disebut dengan istilah E- Learning. Sebuah situs web yang berfungsi sebagai pendukung E-Learning disebut dengan Learning Management System (LMS).

Universitas Sriwijaya sudah mempunyai LMS yang disebut sebagai E-Learning Universitas Sriwijaya. Berdasarkan hasil pra survei, terdapat beberapa permasalahan dan kesulitan yang ditemui dalam menggunakan E-Learning Universitas Sriwijaya. Rata-rata hasil jawaban menyatakan sangat setuju bahwa E-Learning Universitas Sriwijaya perlu dievaluasi terkait usability dan user experience.

Selanjutnya dari hasil wawancara dengan Koordinator Pusat Pengembangan Pembelajaran (LP3MP UNSRI) didapatkan informasi bahwa perlunya masukan dari pengguna untuk membuat E-Learning semakin bagus dan mengetahui tingkat kebergunaannya agar dapat terus digunakan. Metode yang digunakan dalam penelitian ini adalah TUXEL 2.0 yang terdiri dari tiga tahapan yaitu Usability Inspection, General LMS/Pedagogical Usability Inspection, User Experience Evaluation. Sample yang digunakan dalam penelitian ini sebanyak 150 mahasiswa yang terdiri dari masing-masing 15 orang perfakultas. Hasil usability inspection ditemukan 50 permasalahan yang dilaporkan. Sedangkan Pada General LMS/Pedagogical Usability Inspection ada total 33 permasalahan yang ditemukan dan pada tahap User Experience Evaluation diketahui semua skala aspek berada > 0,8. Hal ini menunjukkan bahwa seluruh aspek berlevel positif yang menandakan E-Learning Universitas Sriwjaya sudah baik atau bagus.

Kata Kunci: E-Learning; LMS; User Experience; Usability; TUXEL 2.0 Abstract

The era of technology that continues to grow makes all work in life easier and more efficient. These developments have an impact on the world of education which innovates to create a learning style that can do learning whenever and wherever we want without the limitations of place and time with the help of technology called E-Learning. A website that functions as an E-Learning supporter is called a Learning Management System (LMS). Sriwijaya University already has an LMS called Sriwijaya University E-Learning.

There are some problems and difficulties encountered in using E-Learning of Sriwijaya University. This is proven after the researcher conducted a pre-survey. The average answer stated strongly agree that Sriwijaya University E-Learning needs to be evaluated for usability and user experience. Furthermore, from the interview with the Coordinator of Learning Development Center (LP3MP UNSRI), the information was obtained that the need for input from users to make E-Learning better and to know the level of usability of E-Learning itself to continue to be used. The method used in this research is TUXEL 2.0 which consists of three stages namely Usability Inspection, General LMS/Pedagogical Usability Inspection, User Experience Evaluation. The sample used in this study was 150 students consisting of 15 people each per faculty. The result of usability inspection found 50 problems reported. while in General LMS/Pedagogical Usability Inspection there are total 33 problems found and in User Experience Evaluation stage, it is known that all aspect scales are > 0.8 means all aspects have positive level which indicates Sriwjaya University E-Learning is very good.

Keywords: E-Learning; LMS; User Experience; Usability; TUXEL 2.0

1. PENDAHULUAN

Dengan adanya teknologi yang terus berkembang seperti yang terjadi saat ini, kebutuhan akan informasi akan meningkat secara signifikan yang membuat kehidupan kerja setiap orang menjadi lebih mudah dan efisien [1], perkembangan tersebut berimbas kedalam dunia pendidikan yang berinovasi menciptakan gaya pembelajaran yang bisa melakukan pembelajaran kapanpun dan dimanapun yang kita mau tanpa batasan tempat dan waktu dengan bantuan teknologi berupa computer maupun smartphone yang disebut dengan istilah E-Learning [2]. Sebuah situs web yang berfungsi sebagai pendukung E-Learning dikenal sebagai isitilah Learning Management System (LMS). LMS secara pengertian merupakan sebuah sistem pembelajaran yang didalamnya melibatkan pengguna secara keseluruhan dan tujuan dari LMS ini adalah mempermudah komunikasi dan secara rinci pengguna bisa mendapatkan feedback dari tugas-tugas yang dikerjakan [3].

Universitas Sriwijaya sudah mempunyai Learning Management System (LMS), isitilah yang dipakai untuk LMS tersebut didalam Universitas Sriwijaya yaitu E-Learning Universitas Sriwijaya yang memiliki beberapa fitur utama yang bisa menunjang mahasiswa untuk dapat melakukan aktifitas layaknya perkuliahan secara langsung contohnya absensi, mengumpul tugas, mengecek hasil nila dan hal lain yang berkaitan terhadap proses akademik. Namun dengan adanya pandemic covid-19 E-Learning Universitas Sriwijaya menjadi media utama pembelajaran jarak jauh sampai dengan sekarang. Terdapat beberapa permasalahan dan kesulitan yang ditemui dalam menggunakan E-Learning Universitas Sriwijaya, hal tersebut dibuktikan setelah peneliti melakukan pra-survei dengan memberikan pertanyaan yang pastinya berkaitan dengan evaluasi usability dan user experience. Rata-rata hasil jawaban mengatakan sangat setuju bahwa E- Learning Universitas Sriwijaya perlu dievaluasi usability dan user experience nya.

Kemudian dikuatkan dengan jawaban dari beberapa mahasiswa yang mengatakan bahwa dengan tampilan baru dari E-Learning Universitas Sriwijaya saat ini cukup sulit untuk menemukan course yang ingin diakses, lalu kadangkala

(2)

ada course mata kuliah yang tidak bisa melakukan absensi dan saat pengumpulan tugas terkendala dengan user interface yang sulit dipahami, dan yang terakhir ditemukan kendala untuk pencarian mata kuliah tidak adanya filter sesuai jurusan dan semester sehingga mempersulit mahasiswa untuk mencarinya. Selanjutnya dari hasil wawancara dengan Koordinator Pusat Pengembangan Pembelajaran (LP3MP UNSRI) didapatkan informasi bahwa E-Learning Universitas Sriwijaya tetap akan digunakan di Universitas Sriwijaya karena E-Learning merupakan salah satu ciri dari pembelajaran modern beliau juga mengatakan bahwa perlunya masukan dari pengguna untuk membuat E-Learning semakin bagus dan mengetahui tingkat usability dan user experience dari E-Learning itu sendiri untuk bisa terus digunakan. Karena usability dan user experience wajib untuk dijadikan pedoman, sebuah LMS baru bisa disebut baik apabila dapat memberikan user experience yang positif dan usability yang baik [4] [5].

Penelitian ini menggunakan metode TUXEL 2.0, yang digunakan untuk mengevaluasi pengalaman pengguna dan kegunaan suatu LMS tertentu secara efektif. Metode ini juga mencakup evaluasi beberapa LMS yang digunakan secara luas dengan mempertimbangkan prinsip-prinsip Interaksi Manusia dan Komputer (IMK).[6]. Metode TUXEL 2.0 terdiri dari 3 tahapan proses evaluasi berbentuk kuisioner yaitu Usability Inspection, User Experience Evaluation dan General LMS/Pedagogical Usability Inspection,

Adapun penelitian terdahulu yang peneliti jadikan referensi dalam penelitian ini yaitu pada penelitian evaluasi user experience dan usability situs belajar zenius.net dengan menggunakan metode TUXEL 2.0 yang memakai 3 tahapan evaluasi inspeksi. Hasil evaluasi yang didapatkan pada penelitian ini yaitu ada total 14 permasalahan dari problem reporting table di tahapan inspeksi pertama, 18 permasalahan dari General LMS Evaluation Checklist pada tahapan inspeksi keduan dan mendapatkan nilai mean yang positif pada User Experience Evaluation sebagai tahapan inspeksi ketiga[7]. Selanjutnya hasil penelitian evaluasi Pengalaman dan persepsi pengguna dalam menggunakan E-Learning Website SMK N 2 Malang Malang dengan metode TUXEL 2.0 yang menggabungkan dengan metode Human Centered Design didapatkan temuan 50 permasalahan di evaluasi awal, dan 13 permasalahan ditemukan pada evaluasi desain solusi dan 8 permasalahan di tahapan evaluasi user experience [8].Kemudian pada penelitian yang mengevaluasi pengalaman pengguna E-Learning Universitas Bayangkhara Jakarta menggunakan metode TUXEL 2.0 dengan memakai 3 tahapan ditemukan 33 permasalahan pada tahapan usability inspection, 17 permasalahan pada General LMS dan pada tahapan UX evaluation nilai skala keseluruhan bernilai positif [9].Pada penelitian yang mengevaluasi tiga aspek yaitu pedagogical, usability, dan user experience My Brilian yang merupakan E-Learning berbasis moodle pada Universitas Dinamika dilaporkan temuan 26 permasalahan pada tahapan usability inspection, 26 permasalahan di tahapan pedagogical inspection dan hasil yang positif di tahap UX evaluation [10]. Pada penelitian yang mengevaluasi CeLOE LMS menggunakan metode TUXEL 2.0 dengan menggunakan tiga tahapan dari metode TUXEL 2.0. Hasil penelitian yang didapatkan yaitu temuan 4 masalah di General Usability, 8 temuan masalah di Pedagogical Usability, dan keseluruhan hasil rata-rata cenderung bernilai positif [11].

Metode TUXEL 2.0 dipilih karena mendetail fokus terhadap usability dan user experience pada sebuah LMS [12]

[13]. Metode TUXEL 2.0 juga secara khusus mengandalkan perspektif mahasiswa sebagai pengguna LMS untuk mendapatkan hasil penelitian yang terarah dan sesusai dengan kebutuhan pembelajaran yang sangat relevan dengan penelitian ini yang bertujuan untuk mengevaluasi usability dan mengukur pengalaman pengguna mahasiswa saat menggunakan E-Learning Universitas Sriwijaya.. Dengan mengetahui evaluasi usability dan pengalaman pengguna pada E-Learning Universitas Sriwijaya, maka dapat menyusun rekomendasi yang relevan untuk memecahkan masalah yang muncul. Rekomendasi tersebut dapat memberikan masukan bagi pengelola E-Learning Universitas Sriwijaya untuk meningkatkan kualitas usability dan pengalaman pengguna.

2. METODOLOGI PENELITIAN

2.1 Tahapan Penelitian

Dalam penelitian ini ada beberapa tahapan yang dipakai untuk melakukan penelitian mulai dari awal sampai dengan selesai. Alur penelitian sendiri berumber dari tahapan TUXEL 2.0 hasil terjemahan dari walter dan untuk lebih detailnya tahapan penelitian dijelaskan pada gambar 1 dibawah ini :

Gambar 1. Tahapan Penelitian

(3)

Diawali dengan melakukan pra-survei dan melakukan observasi dan juga wawancara dengan pengelola E- Learning Universitas Sriwijaya bagian pemanfaatan bidang civitas akademika unsri. Prosesnya digunakan agar peneliti mengetahui dan mendapatkan beragam keperluan data yang berhubungan dengan user experience dan usability dalam sistem pembelajaran yang ada di E-Learning Universitas Sriwijaya.

b. Studi Literatur

Tahap ini dilakukan untuk menghimpun landasan teori yang relevan guna mendukung permasalahan yang dihadapi dalam penelitian. yang didapatkan dari jurnal, paper, penelitian yang berkaitan dan tentunya match dan relevan. Pada penelitian ini menggunakan beberapa bahan bacaan antara usability, E-Learning, User Experience, LMS, TUXEL 2.0.

c. Persiapan Awal

Tahapan kedua yang dilakukan adalah perencanaan awal yang merupakan Langkah pertama untuk memulai menggunakan metode TUXEL 2.0. ada beberapa langkah pada tahapan persiapan awal.

1. Penyusunan Kuisioner

Pada tahapan penyusunan kuisioner akan dimulai atau dilakukan tetap akan berpedoman dengan tahapa yang ada pada TUXEL 2.0 yaitu Usability Inspection, General LMS/Pedagogical Usability Inspection dan User Experience Evaluation.

2. Validasi Kuisioner

Kuisioner yang disebarkan diambil referensi dari penelitian walter yang menggunakan metode TUXEL 2.0 dan kuisioner hasil terjemahan mengambil referensi dari penelitian (Mareta Siregar 2019). Untuk Langkah berikutnya disebarkan ke expert yang dalam penelitian ini dibantu oleh 3 dosen jurusan sistem informasi untuk dicek atau diperiksa ejaannya dan kemudian dilakukan revisi.

3. Populasi dan Sampel

Pada penelitian ini populasi yang digunakan adalah pengguna E-Learning Universitas Sriwijaya digunakan dalam penelitian ini [14]. Berdasarkan Rumus Slovin dan jumlah populasi mahasiswa Universitas Sriwijaya, maka responden untuk penelitian ini berjumlah 100 orang dan peneliti mengambil 150 yang terdiri masing-masing 15 orang perfakultas untuk mengevaluasi dimensi user experience evaluation. Sedangkan jumlah responden yang optimal untuk usability study berjumlah 12 orang [15]. Maka penelitian ini memakai 12 orang responden untuk mengevaluasi dimensi General LMS/Pedagogical Usability Inspection, Usability Inspection.

d. Evaluasi Menggunakan TUXEL 2.0

Dalam menggunakan metode TUXEL 2.0 untuk melakukan evaluasi LMS. Terdiri dari tiga tahapan evaluasi dan nantinya responden akan mengisi 3 jenis kuisioner berupa Usability Inspection, User experience Evaluation dan General LMS/Pedagogical Usability Inspection,

1. Usability Inspection

Responden akan diminta untuk mencari permasalahan yang mereka alami dalam dimensi TUXEL 2.0 dan mencocokkannya dengan ID Item yang sesuai. Dimensi tersebut mencakup lokasi dan tugas, deskripsi masalah, dan apakah masalah tersebut terjadi berulang atau tidak.

2. General LMS/Pedagogical Usability Inspection

Responden akan diminta untuk memberikan tanda ID item LMS yang sekiranya cocok dengan masalah yang ditemukan oleh responden dan selanjutnya masalah tersebut akan dijelaskan pada kolom komentar yang telah disediakan dengan berdasarkan keempat variabel pada tabel 1 dibawah.

Tabel 1. Variabel Usability Inspection

Variabel Keterangan

Help and Documentation

Untuk melihat apakah LMS dapat membantu pengguna dalam memecahkan masalah

LMS Learnability Untuk melihat apakah LMS mudah untuk dipelajari oleh pengguna Learning Through

LMS

Untuk melihat apakah mahasiswa dapat berinteraksi dengan fasilitas atau pengguna di dalam LMS

LMS Flexibility Untuk melihat apakah pengguna memiliki kendali terhadap LMS 3. User Experience Evaluation

Kuisioner nantinya berisi 12 pernyataan dan ada 6 skala. Penilaian dan penyampaian pendapat akan dilakukan responden nantinya yang berkaitan dengan pengalamannya dalam mengakses E-Learning Universitas Sriwijaya.

Prosedur melibatkan seleksi pernyataan skala differential semantik yang paling sesuai dengan persepsi responden terhadap aspek UX pada TUXEL 2.0. Tabel 2 di bawah ini menjelaskan aspek UX tersebut.

Tabel 2. Aspek User Experience TUXEL 2.0

Skala (Aspek) Penjelasan

Daya Tarik Disukai atau tidak / Nyaman digunakan atau tidak Ketepatan Sesuai ekspektasi atau tidak / Mendukung atau tidak

(4)

Efisiensi Efisien atau tidak / Praktis atau tidak Kebaruan Inovatif atau tidak / Kreatif atau tidak

Kejelasan Mudah atau tidak / Membingungkan atau idak Stimulasi Menarik atau tidak / Memotivasi atau tidak e. Pengolahan dan Analisis Data

Pada tahapan ini, data kualitatif berupa jawaban yang telah didapatkan dari hasil kuisioner diolah dan dianalisis berdasarkan dimensi kuisioner tersebut untuk dimensi Usability Inspection dan General LMS/Pedagogical Usability Inspection data diolah dengan cara menghitung total dan mengkategorikan permasalahan yang dijumpai dan menjelaskan detail tabel Usability Inspection yang telah diisi. Kemudian untuk data kuantitatif yang didapatkan dari hasi pengukuran dimensi kuisioner User Experience Evaluation dihitung dengan berpedoman pada teknik standar deviasi dan rata-rata (mean) dari 12 pertanyaan dan 6 aspek variabel yang diambil dari metode UEQ yang diadaptasi kedalam metode TUXEL 2.0.

f. Rekomendasi

Rekomendasi berisi data-data hasil penarikan kesimpulan dari temuan-temuan yang ada, dan dapat menjadi panduan untuk memperbaiki situs web E-Learning Universitas Sriwijaya agar ekspektasi pengguna dapat terpenuhi sesuai dengan analisis yang diterima.

3. HASIL DAN PEMBAHASAN

3.1 Usability Inspection

Pada tahapan ini memiliki total 4 variabel dengan jumlah kode item yang tidak sama didapatkan dari responden. Diketahui ada 4 kode item permasalahan yang dijumpai pada variabel login yang dapat dengan detail dilihat pada tabel 3 dibawah.

Tabel 3. Rincian Responden yang melaporkan di variabel login Login

Kode Item Total Responden

LF2 4

LF4 2

LF3 1

LF1 3

Implementasi Aplikasi (bila Kemudian permasalahan dari variabel Login dijelaskan yaitu : (LF2) LMS tidak memberikan informasi yang jelas tentang kolom yang harus diisi, seperti dengan tidak adanya tanda (*) yang membedakan kolom wajib dan tidak wajib.; (LF4) LMS tidak memberikan informasi yang cukup tentang cara mengisi suatu item dengan benar, sehingga pengguna menjadi bingung.; (LF3) LMS tidak memberikan indikasi yang jelas tentang kolom atau bagian yang belum diisi pada pengguna.; (LF1) LMS tidak memberikan respons atau umpan balik setelah pengguna melakukan suatu tindakan.

Untuk analisisnya ID LF1 dan LF2 merupakan ID item yang paling banyak dilaporkan para responden mengeluhkan ketika tidak adanya umpan balik maka mereka tidak tahu field mana yang salah dan field tidak diberi tanda khusus sehingga responden tidak mengetahui kolom mana yang harus diisikan.

Pada variabel General Interface diketahui ada 5 kode item permasalahan yang dijumpai, yang dapat dilihat pada tabel 4 dibawah.

Tabel 4. Rincian Responden yang melaporkan di variabel General Interface General Interface

C1 1

L4 2

VD3 4

N4 3

N5 4

Penjelesan variebel general interface yang dipilih reponden yaitu : (C1) Desain antarmuka (font, warna, tema, dan tombol) tidak konsisten; (L4) Ikon, tombol, label, atau tautan yang fungsi atau maksudnya tidak begitu jelas; (VD3) Informasi penting tersedia di tempat yang kurang menarik perhatian atau tidak mudah terlihat; (N4) Konten atau informasi yang disajikan tidak tertata rapi atau tidak dikelompokkan secara sistematis; (N5) Tidak terdapat perbedaan yang jelas antara tautan yang sudah diklik dan yang belum diklik pada halaman tersebut.

Kemudian hasil analisis didapatkan bahwa ID VD3 dan N5 merupakan ID item yang paling banyak dipilih oleh responden, karena banyaknya informasi penting yang terletak di posisi yang tidak terlihat oleh si pengguna yang

(5)

Pada variabel Asignment diketahui ada 6 kode item permasalahan yang dijumpai, yang dapat dilihat pada tabel 5 dibawah.

Tabel 5. Rincian Responden Yang Melaporkan Di Variabel Assignment Assignment

L2 1

LF4 3

LC2 1

LF6 4

LF5 1

LF1 3

Penjelasan variabel Assignment yang dipilih reponden yaitu : (L2) Ketidakcukupan instruksi atau instruksi yang ambigu dan tidak cukup objektif; (LF4) Tidak disampaikannya informasi tentang cara mengisi jawaban yang benar; (LC2) Saya tidak dapat membatalkan tindakan pada saat yang diinginkan.; (LF6) LMS tidak menunjukkan kepada saya perkembangan suatun Tindakan; (LF5) LMS tidak meminta persetujuan sebelum melakukan tindakan penting.; (LF1) LMS tidak memberikan umpan balik saat melakukan suatu tindakan.

Berdasarkan hasil analisis didapatkan bahwa ID LF6 merupakan kode item yang paling banyak dipilih oleh para responden, para responden mengeluhkan ketika mengupload suatu file mereka tidak bisa mengetahui sudah berapa persen file terupload agar tidak menunggu dan memakan banyak waktu untuk memastikan file sudah 100 persen selesai di upload kedalam LMS.

Pada variabel Assesment terdapat 3 kode item permasalahan yang dijumpai, yang dapat dilihat pada tabel 6 dibawah.

Tabel 6. Rincian Responden Yang Melaporkan Di Variabel Assesment Assesment

001 9

IF1 2

IF2 2

Penjelasan variabel assessment yang dipilih responden yaitu : (001) LMS LMS tidak memberikan penilaian atau nilai ketika saya melakukan aktivitas untuk memantau kemajuan saya; (IF1) LMS Tidak memberikan respons segera, kapan pun memungkinkan, tentang kebenaran atau kesalahan jawaban saat menjawab suatu aktivitas.; (IF2) Terdapat ketidaksesuaian antara umpan balik yang diberikan oleh LMS dengan masalah atau pertanyaan yang sedang dijawab..

Terakhir di variabel Assesment, ID 001 merupakan kode item yang paling banyak ditandai oleh para responden.

Umpan balik harus digunakan di dalam sebuah website dengan begitu mahsiswa dapat menemukan jawabannya langsung, karena umpan balik bekerja sebagai alat untuk mengukur keberhasilan pembelajaran [16].

3.2 General LMS/Pedagogical Usability Inspection

Pada tahapan ini memiliki total 4 variabel dengan jumlah kode item yang tidak sama didapatkan dari responden. Diketahui ada 4 kode item permasalahan yang dijumpai pada variabel help and documentation yang dilihat pada tabel 7 dibawah.

Tabel 7. Rincian responden yang melaporkan di variabel Help And Documentation Help And Documentation

HD1 3

HD2 3

HD3 6

Penejelasan variabel help and documentation yang dipilih responden yaitu : (HD1) LMS Tidak ada panduan manual atau bantuan offline yang tersedia; (HD2) Saya kesulitan dalam menemukan informasi yang dibutuhkan di bantuan manual maupun online; (HD3) Bantuan manual/online tidak menyediakan instruksi yang sederhana dan efektif untuk memecahkan masalah atau kesulitan.

Kode item HD3 merupakan yang paling banyak dilaporkan dimana responden banyak mengeluhkan permsalahan bantuan yang tidak sederhana dan tidak dapat membantu permasalahan yang spesifik dikarenakan hanya berupa instruksi atau panduan umum terkait dengan alur atau penggunaan dari LMS Universitas Sriwijaya. Dimana harusnya sebuah website haruslah menampilkan informasi yang mudah ditemukan dan melampirkan tahapan spesifik yang harus diambil yang sesuai dengan prinsip usability point kesepuluh yaitu Help and Documentation [17].

(6)

Pada variabel LMS Learnability diketahui ada 4 kode item permasalah yang dipilih oleh reponden yang dijelasakan pada tabel 8 dibawah.

Tabel 8. Rincian Responden Yang Melaporkan Di Variabel LMS Learnability LMS Learnability

L1 1

L3 1

L6 4

L7 3

Penjelasan variabel LMS Learnability yang dipilih responden yaitu : (L1) LMS Sistem tidak memudahkan pengguna sehingga saya mengalami kesulitan dalam menjalankan aktivitas; (L3) Jika tidak ada bantuan dari orang di sekitarnya, saya tidak dapat menyelesaikan suatu tugas atau kegiatan; (L6) Setelah tidak menggunakannya dalam waktu yang lama, saya akan kehilangan pengetahuan tentang cara menggunakan kembali LMS; (L7) Saya tidak mampu melakukan tugas di LMS dengan cara yang cepat atau dengan langkah-langkah yang sederhana.

Hasil Analisis menunjukkan L6 merupakan kode item yang paling banyak dilaporkan dimana responden mengeluhkan perlu melakukan adaptasi Kembali setelah lama tidak mengakses LMS terutama LMS Universitas Sriwijaya memiliki portal yang berbeda tiap tahunnya. Jika usability tidak diberikan oleh sebuah platform maka si pengguna akan banyak mengabiskan waktunya untuk memahami cara menggunakan platform tersebut dibandingkan mempelajari isi materi atau konten perkuliahan yang ada di dalam LMS [18].

Pada variabel learning through the LMS diketahui ada 5 kode item permasalahan yang dipilih oleh responden yang dapat dilihat pada tabel 9 dibawah.

Tabel 9. Rincian Responden Yang Melaporkan Di Variabel Learning Through The LMS Learning Through The LMS

CL2 1

CL3 4

002 2

CL5 2

CL4 4

Penjelasan varibel Learning Through The LMS yang dipilih oleh responden yaitu : (002) LMS tidak memberikan hasil skor saat selesai mengerjakan tugas.; (CL2) LMS membuat saya sulit untuk terhubung dan berkomunikasi dengan mudah dengan rekan atau guru lainnya.; (CL3) Di dalam LMS Saya tidak bisa melihat riwayat aktivitas rekan saya, seperti konten yang paling banyak dibaca atau tugas yang paling populer, karena LMS tidak mengizinkannya.; (CL4) LMS Saya tidak bisa membagikan file, foto, video, atau materi pendidikan karena tidak diizinkan; (CL5) LMS Tidak menyediakan akses untuk mengajukan keluhan dan menjawab pertanyaan dari pengguna lainnya.

Kode item CL3 dan CL4 yang paling banyak dilaporkan oleh para responden dimana responden tidak dapat melihat aktifitas rekan lain dikelas dan tidak diizinkan untuk mengupload suatu file ataupun video. Pengguna menyarankan untuk menggunakan LMS untuk kolaborasi serta untuk mendapatkan materi akademik, keterampilan praktis, dan ujian. Tujuan pembelajaran kolaboratif online bukan untuk menggantikan peran dosen, melainkan untuk meningkatkan komunikasi antar mahasiswa dan dosen [19].

Pada variabel LMS Flexibility diketahui ada 5 kode item permasalahan yang dipilih oleh responden yang dapat dilihat pada tabel 10 dibawah.

Tabel 10. Rincian Responden Yang Melaporkan Di Variabel LMS Flexibility LMS Flexibility

FL1 1

FL2 4

P2 1

P1 2

AI1 1

Penjelasan variabel LMS Flexibility yang dipilih oleh responden yaitu : (FL1) Saya tidak bisa memilih bagian materi pelajaran mana saja yang bisa diakses sesuai dengan kemampuan belajar saya karena LMS tidak mengizinkannya.;

(FL2) Saya tidak dapat meminta bantuan tentang materi pembelajaran sebelumnya ketika saya masih merasa bingung atau ragu.; (P1) Tidak diizinkan bagi saya untuk mengubah antarmuka pada LMS, seperti menambahkan atau menghapus elemen, atau mengganti posisi LMS.; (P2) LMS tidak menawarkan opsi tombol pintas yang dapat meningkatkan produktivitas saya.; (AI1) user belum bisa mengevaluasi atau menilai sendiri hasil pembelajaran karena kurangnya transparansi nilai dari dosen pada LMS tersebut.

(7)

Copyright © 2023 A Salman Alfarizi, Page 373 Terakhir pada variabel LMS Flexibility FL2 merupakan kode item yang paling banyak dilaporkan oleh para responden yaitu mereka tidak dapat memilih materi sesuai dengan kemampuan masing-masing, karena harusnya LMS bisa menyediakan materi yang bisa dipilih sesuai dengan kemampuan masing-masing pengguna untuk menambah tingkat retensi pengetahuan .

3.3 User Experience Evaluation

Hasil perhitungan data nilai median menggunakan Teknik semantic differential scale yang mengadaptasi dari pernyataan UEQ dijelaskan pada gambar 2 dibawah ini.

Gambar 2. Hasil Perhitungan Nilai Median

Kemudian dalam tahapan ini perhitungan nila mean yang didapatkan dari keenam skala dapat dilihat pada tabel 11 dibawah dimana aspek yang dipakai ada 6 skala yang didapatkan dari hasil analisis data tahapan ketiga.

Tabel 11. Nilai Mean Keseluruhan Skala No Skala UEQ Nilai Mean

1 Daya Tarik 1,63 2 Ketepatan 1,49 3 Efisiensi 1,36 4 Kebaruan 1,35 5 Kejelasan 1,08 6 Stimulasi 0,99

Berdasarkan hasil nilai mean keseluruhan skala berupa 6 dimensi maka diketahui nilai mean tertinggi terdapat pada skala daya Tarik, kemudian diikuti skala ketepatan, skala efisiensi, skala kebaruan, skala kejelasan dan yang terendah terdapat pada skala stimulasi. Keseluruhan skala berada pada level positif (Good).

Pada tabel 9 bisa diketahui bahwa daya tarik merupakan aspek yang mempunyai nilai mean tertinggi dengan nilai 1,63. Dapat dikatakan bahwa para responden menilai LMS Universitas Sriwijaya menarik karena merupakan sesuatu yang baru. Selain itu kondisi pandemi kemarin mengharuskan mahasiswa untuk belajar secara daring, LMS sangat bermanfaat untuk menarik perhatian yang masih dipakai sampai dengan sekarang.

Kemudian diikuti skala ketepatan (1,49) yang berada di level positif yang menandakan bahwa fitur yang disediakan LMS sudah baik untuk menunjang penyelesaian tugas, namun ditambah dari hasil kritik dan saran kendala bagian teknis contohnya server yang tiba-tiba error dan sering timed out di jam absensi dan jam-jam malam menjadi kritikan untuk LMS yang seharusnya aspek tersebut menjadi paling penting [20].

Pada skala efisiensi (1,36) berada pada level positif yang menandakan bahwa LMS sudah membantu untuk membuat perkuliahan efisien namun kendala akses komunikasi di dalam LMS dan akses upload file tidak diberikan menjadi kritikan untuk LMS.

Pada skala kebaruan (1,35) berada pada level positif menandakan jika LMS sudah banyak sekali fitur-fitur untuk menunjang proses perkulihan namun fitur tersebut tergantung juga kepada dosen yang memegang suatu courses apakah fitur tersebut dijalankan atau tidak dijalankan seperti contohnya fitur forum diskusi.

Pada skala kejelasan (1,08) masih berada di kategori level yang positf hal tersebut menandakan bahwa LMS sudah bisa dengan jelas dipahami tapi masih ditemui fitur helpdesk tidak aktif sehingga jika ada kesulitan sulit untuk memecahkan masalah

(8)

Terakhir yang terendah terdapat pada skala stimulasi (0,99) yang juga berada di level positif mengindikasikan LMS dapat meningkatkan minat mahasiswa untuk mengakses pembelajaran walaupun tidak secara keseluruan mahasiswa yang ada di Universitas Sriwijaya. Berdasarkan hasil analisis tersebut maka website E-Learning Universitas Sriwijaya berada pada penilaian yang positif (Good) yang berada diatas nilai 0,8.

3.4 Rekomendasi

Berikut ini merupakan Rekomendasi yang didapatkan berdasarkan hasil evaluasi melalui metode TUXEL 2.0 dengan 3 tahapan yaitu Usability Inspection, User Experience Evaluation dan General LMS/Pedagogical Usability Inspection : a. E-Learning Universitas Sriwijaya harusnya menyediakan fungsi toggle visibility yang memungkinkan mahasiswa

untuk dapat melihat karakter pada kolom password yang mereka isi sehingga meminimalisir kesalahan password.

b. E-Learning Universitas Sriwijaya harusnya menyediakan fitur notifikasi absensi untuk meminimalisir banyaknya mahasiswa yang lupa absen.

c. E-Learning Universitas Sriwijaya harusnya menambah jumlah server untuk menghindari server error dan time out dikarenakan mahasiswa yang mengakses server secara bersamaan yang terjadi berulang kali.

d. E-Learning Universitas Sriwijaya harus mengaktifkan fitur Helpdesk dan menyediakan FAQ dikarenakan banyak dari responden yang kebingungan saat terjadi suatu permalahan didalam LMS Universitas Sriwijaya.

4. KESIMPULAN

Berdasarkan hasil penelitian yang telah dilakukan tentang evaluasi user experience dan usability E-Learning universitas sriwijaya dengan metode TUXEL 2.0 maka peneliti memberikan kesimpulan sebagai berikut : Tahapan evaluasi dengan usability inspection diketahui ada 50 total permasalahan yang dilaporkan dengan rincian 12 item pada variabel Login, 12 item pada variabel General Interface, 13 item pada variabel Assignment dan 13 item pada variabel Assesment. Tahapan evaluasi dengan General LMS/Pedagogical Usability Inspection diketahui ada 33 total permasalahan yang dipilih dengan rincian 13 item pada variabel Help and Documentation, 9 item pada variabel LMS Learnability, 12 item pada variabel Learning Through The LMS, dan 9 item pada variabel LMS Flexibility. Tahapan evaluasi dengan User Experience Evaluation diketahui semua skala aspek berada pada level positif dikarenakan nilai mean > 0,8 dengan rincian nilai mean tertinggi ada pada skala daya tarik, kemudian diikuti skala ketepatan, skala efisiensi, skala kebaruan, skala kejelasan dan yang terendah terdapat pada skala stimulasi yang menandakan E-Learning Universitas Sriwijaya berada di level positif atau bisa dikatakan baik.

REFERENCES

[1] S. Andayani and N. A. Larasati, “Implementasi E-Learning Berbasis Learning Management System Pada Program Studi Sistem Informasi UKMC,” JuSiTik J. Sist. dan Teknol. Inf. Komun., vol. 2, no. 2, 2019, doi: 10.32524/jusitik.v2i2.551.

[2] S. - and H. B. Santoso, “Analisis Kualitas E-Learning dalam Pemanfaatan Web Conference sebagai Media Belajar Mahasiswa,”

SAINTEKBU, vol. 9, no. 2, 2017, doi: 10.32764/saintekbu.v9i2.114.

[3] N. M. Y. Suranti, G. Gunawan, A. Harjono, and A. Ramdani, “The Validation of Learning Management System in Mechanics Instruction for Prospective Physics Teachers,” J. Pendidik. Fis. dan Teknol., vol. 6, no. 1, 2020, doi: 10.29303/jpft.v6i1.1745.

[4] J. Van Der Linden and C. Van De Leemput, “Observatory of studentsg uses of computer-based tools,” Psychol. Fr., vol. 60, no.

2, pp. 145–157, 2015, doi: 10.1016/j.psfr.2015.02.002.

[5] E. Sutadji, W. N. Hidayat, S. Patmanthara, S. Sulton, N. A. M. Jabari, and M. Irsyad, “Measuring user experience on SIPEJAR as e-learning of Universitas Negeri Malang,” in IOP Conference Series: Materials Science and Engineering, 2020, vol. 732, no.

1. doi: 10.1088/1757-899X/732/1/012116.

[6] W. Nakamura, E. Oliveira, and T. Conte, “TUXEL: A Technique for User eXperience Evaluation in e-Learning,” in Anais dos Workshops do VII Congresso Brasileiro de Informática na Educação (CBIE 2018), 2018, vol. 1. doi:

10.5753/cbie.wcbie.2018.52.

[7] M. Siregar, R. I. Rokhmawati, and H. M. Az-zahra, “Evaluasi Usability dan Pengalaman Pengguna Website Zenius . net Menggunakan Metode TUXEL : A Technique for User Experience Evaluation in e-Learning,” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 3, no. 5, pp. 5058–5067, 2019.

[8] R. Bagaskara, B. T. Hanggara, and A. D. Herlambang, “Evaluasi dan Perbaikan User Experience Website E-Learning SMK Negeri 2 Malang menggunakan Teknik TUXEL 2 . 0 dan Pendekatan Human-,” vol. 5, no. 7, 2021.

[9] H. M. Fauzan, Alwan, Rokhmawati, Retno Indah, Az-Zahra, “Evaluasi User Experience e-Learning Universitas Bhayangkara Jakarta menggunakan Metode TUXEL: Technique for User eXperience Evaluation in E-Learning 2.0,” J. Pengemb. Teknol. Inf.

dan Ilmu Komput., vol. 5, no. 9, pp. 4111–4120, 2020.

[10] A. Nirwana, A. Supriyanto, and A. Wardhanie, “Evaluasi Usability, Pedagogical dan User Experience My Brilian Menggunakan Metode Tuxel,” J. Technol. Informatics, vol. 4, no. 1, pp. 7–12, 2022, doi: 10.37802/joti.v4i1.244.

[11] A. Hanif, “Evaluasi CeLOE Learning Management System ( LMS ) Universitas Telkom dengan Technique for User Experience Evaluation In E-Learning,” vol. 8, no. 1, pp. 180–187, 2022.

[12] I. P. A. Purnawan, I. K. G. Darma Putra, and N. K. D. Rusjayanthi, “Evaluasi Usability dan User Experience LMS OASE Universitas Udayana Menggunakan Metode Tuxel 2.0,” J. Nas. Pendidik. Tek. Inform., vol. 10, no. 3, p. 177, 2021, doi:

10.23887/janapati.v10i3.40670.

[13] D. Nurhayati, H. M. Az-zahra, and A. D. Herlambang, “Evaluasi User Experience Pada Edmodo Dan Google Classroom Menggunakan Technique for User Experience Evaluation in E-Learning ( TUXEL ) ( Studi Pada SMKN 5 Malang ),” J. Pengemb.

Teknol. Inf. dan Ilmu Komput., vol. 3, no. 4, 2019.

(9)

[15] R. Alroobaea and P. J. Mayhew, “How many participants are really enough for usability studies?,” 2014. doi:

10.1109/SAI.2014.6918171.

[16] Munir, Pembelajaran Jarak Jauh berbasis Teknologi Informasi dan Komunikasi (TIK) [Distance Learning based on Information and Communication Technology (ICT)]. 2009.

[17] B. A. Kumar and M. S. Goundar, “Usability heuristics for mobile learning applications,” Educ. Inf. Technol., vol. 24, no. 2, 2019, doi: 10.1007/s10639-019-09860-z.

[18] C. Ardito, M. F. Costabile, A. De Angeli, and R. Lanzilotti, “Systematic evaluation of e-learning systems: An experimental validation,” in ACM International Conference Proceeding Series, 2006, vol. 189. doi: 10.1145/1182475.1182496.

[19] A. W. T. Bates, “Teaching in a Digital Age: Second Edition (2019) | teachonline.ca,” Tony Bates Assoc. LTD., 2019, [Online].

Available: https://teachonline.ca/teaching-in-a-digital-age/teaching-in-a-digital-age-second-edition

[20] L. Bender, A. Renkl, and A. Eitel, “When and how seductive details harm learning. A study using cued retrospective reporting,”

Appl. Cogn. Psychol., vol. 35, no. 4, 2021, doi: 10.1002/acp.3822.