Fakultas Ilmu Komputer
Universitas Brawijaya 3462
Evaluasi Pengalaman Pengguna dan Perbaikan Rancangan Antarmuka Pengguna Sistem Informasi Akademik Mahasiswa Universitas Brawijaya
Renaldi Sidiq Wibowo1, Ismiarta Aknuranda2, Suprapto3
Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1renaldiwibowo@student.ub.ac.id, 2i.aknuranda@ub.ac.id, 3spttif@ub.ac.id
Abstrak
Sistem Informasi Akademik Mahasiswa Universitas Brawijaya (SIAM UB) merupakan salah satu layanan sistem informasi yang berguna untuk mengelola data akademik mahasiswa. Selama siklus hidup pengembangan sistem, diperlukan adanya evaluasi terhadap sistem. Namun, hingga saat ini, belum ada penelitian yang melakukan evaluasi ataupun perbaikan rancangan pada situs web SIAM UB ketika diakses melalui komputer desktop. Pada penelitian ini dilakukan evaluasi menggunakan User Experience Questionnaire (UEQ) untuk mengetahui tingkat pengalaman pengguna dan pengujian usability untuk memahami permasalahan secara lebih dalam. Evaluasi awal menghasilkan simpulan bahwa SIAM UB dapat memenuhi kebutuhan pengguna dalam mendapatkan informasi akademik.
Namun, masih terdapat beberapa permasalahan. Hasil evaluasi digunakan sebagai dasar dari perbaikan rancangan antarmuka pengguna SIAM UB. User Centered Design (UCD) digunakan sebagai pendekatan dalam melakukan perbaikan rancangan dan evaluasi. UCD memiliki empat tahapan, yaitu memahami dan menentukan konteks penggunaan, menentukan persyaratan pengguna, membuat solusi desain, dan evaluasi desain. Siklus UCD ini berjalan selama tiga iterasi hingga menghasilkan solusi desain berupa prototipe berfidelitas tinggi. Kemudian prototipe berfidelitas tinggi dievaluasi menggunakan pengujian usability dan UEQ. Secara umum, hasil evaluasi pengujian usability dan UEQ terhadap prototipe berfidelitas tinggi menunjukkan nilai yang positif dan lebih baik dibanding hasil evaluasi terhadap SIAM UB saat ini.
Kata kunci: antarmuka pengguna, pengalaman pengguna, pengujian usability, user centered design, user experience questionnaire
Abstract
Sistem Informasi Akademik Mahasiswa Universitas Brawijaya (SIAM UB) is one of the information system services that is useful for managing student academic data. During the system development life cycle, it is necessary to evaluate the system. However, until now, there has been no research that evaluates or improves the design of the SIAM UB website when accessed via a desktop computer. In this study, an evaluation was carried out using the User Experience Questionnaire (UEQ) to determine the level of user experience and usability testing to understand the problem more deeply. The initial evaluation resulted in the conclusion that SIAM UB can meet the needs of users in obtaining academic information. However, there are still some problems. The evaluation results are used as the basis for improving the user interface design of SIAM UB. User Centered Design (UCD) is used as an approach in making design improvements and evaluations. UCD has four stages, namely understanding and determining the context of use, determining user requirements, creating design solutions, and evaluating designs. This UCD cycle runs for three iterations to produce a design solution in the form of a high- fidelity prototype. Then the high-fidelity prototype was evaluated using usability testing and UEQ. In general, the evaluation results of usability and UEQ testing on high-fidelity prototypes show a positive value and are better than the results of the current evaluation of SIAM UB.
Keywords: usability testing, user centered design, user experience, user experience questionnaire, user interface
1. PENDAHULUAN
Seiring berkembangnya teknologi, sistem informasi menjadi kebutuhan untuk menunjang proses pendidikan di perguruan tinggi.
Perguruan tinggi memanfaatkan sistem informasi untuk meningkatkan produktivitas dan efisiensi bagi manajemen pendidikan (Subchan, 2012). Universitas Brawijaya merupakan salah satu perguruan tinggi yang memanfaatkan sistem informasi (Fadhil, 2019). Saat ini terdapat beberapa sistem informasi yang digunakan oleh Universitas Brawijaya dan salah satunya adalah SIAM UB. SIAM UB adalah layanan sistem informasi daring untuk mengelola data akademik mahasiswa. SIAM UB menyediakan layanan mahasiswa berkaitan dengan akademik, registrasi, biodata, aplikasi, dan kemahasiswaan.
Evaluasi adalah proses memeriksa sistem secara kritis (Patton, 1987). Evaluasi melibatkan pengumpulan dan analisis informasi tentang aktivitas, karakteristik, dan hasil sistem.
Evaluasi bertujuan untuk membuat penilaian tentang suatu sistem, meningkatkan efektivitasnya, dan / atau menginformasikan kepada para pemangku kepentingan yang terlibat. Idealnya, evaluasi perlu dilakukan selama siklus hidup desain, dengan hasil evaluasi dimasukkan kembali ke dalam perbaikan desain (Dix, et al., 2004). Evaluasi sepanjang siklus hidup desain memiliki keuntungan bahwa masalah dapat diselesaikan sebelum banyak upaya dan sumber daya dikeluarkan untuk implementasi. Hal ini berarti jauh lebih mudah untuk mengubah desain pada tahap awal pengembangan daripada di tahap selanjutnya.
Fadhil (2019) pernah melakukan evaluasi terhadap SIAM UB ketika diakses melalui peramban web pada perangkat bergerak dan berhasil menemukan berbagai masalah, keterbatasan, dan kekurangan. Beberapa masalah yang ditemukan antara lain akses dan masukan data yang sulit, serta permasalahan ukuran elemen yang ada pada sistem, navigasi sistem yang susah dimengerti serta susahnya mendapatkan informasi. Menu dan submenu yang susah diakses karena ukuran yang kecil.
Penyajian data yang kurang efisien dan masukan data yang menyulitkan juga menjadi permasalahan yang banyak dialami oleh pengguna.
Antarmuka pengguna yang tidak baik dapat berdampak pada usability dan pengalaman
pengguna. Usability adalah sejauh mana sistem, produk, atau layanan dapat digunakan oleh pengguna tertentu untuk mencapai tujuan (ISO, 2018). Usability merupakan salah satu elemen dari pengalaman pengguna (Guo, 2012).
Pengalaman pengguna adalah persepsi dan tanggapan pengguna yang dihasilkan dari penggunaan sistem, produk, atau layanan (ISO, 2018). Menurut Norman dan Nielsen (n.d), keindahan dan kesederhanaan pada sistem adalah syarat kedua dalam pengalaman pengguna yang baik. Oleh karena itu, antarmuka yang buruk dapat berdampak kepada pengalaman pengguna yang buruk pula. Hal ini tidak sesuai dengan visi UB yang ingin menjadi universitas unggul berstandar internasional.
Mengingat jumlah mahasiswa UB yang banyak, 69.799 mahasiswa UB (PDDIKTI, 2019/2020), sudah selayaknya pengalaman mahasiswa sebagai pengguna SIAM UB diperhatikan.
Hingga saat ini, belum ada penelitian yang melakukan evaluasi ataupun perbaikan rancangan pada situs web SIAM UB ketika diakses melalui komputer desktop. Sedangkan, selama siklus hidup pengembangan sistem, diperlukan adanya evaluasi terhadap sistem, demikian pula bagi SIAM UB. Tujuannya adalah untuk membuat penilaian tentang SIAM UB, mengetahui tingkat efektivitas dari SIAM UB, mengetahui sejauh mana SIAM UB dapat berguna bagi mahasiswa UB, dan menemukan permasalahan pada antarmuka pengguna SIAM UB.
Penelitian ini bertujuan untuk melakukan evaluasi pengalaman pengguna menggunakan User Experience Questionnaire (UEQ) untuk mengetahui tingkat pengalaman pengguna dan secara umum mengidentifikasi area-area yang mungkin membutuhkan perbaikan. Selain itu, pengujian usability juga digunakan untuk memahami permasalahan lebih dalam ketika SIAM UB diakses melalui peramban web pada komputer desktop. Hasil evaluasi usability akan digunakan sebagai dasar perbaikan rancangan antarmuka pengguna SIAM UB berbasis situs web. User Centered Design (UCD) digunakan sebagai pendekatan dalam melakukan perbaikan rancangan dan evaluasi. UCD dipilih karena proses ini berfokus pada pengguna akhir dari sistem yang akan dirancang sehingga diharapkan dapat menghasilkan solusi yang sesuai dengan kebutuhan pengguna. Hasil dari penelitian ini diharapkan dapat menjadi bahan evaluasi dan saran perbaikan rancangan antarmuka pengguna bagi Universitas Brawijaya untuk meningkatkan
pengalaman pengguna dari SIAM UB.
2. LANDASAN KEPUSTAKAAN 2.1 Kajian Pustaka
Terdapat beberapa penelitian terdahulu yang dijadikan sebagai acuan dalam melakukan penelitian ini. Masalah pada SIAM UB yang ditemukan pada penelitian Fadhil (2019) dijadikan dasar dilakukannya penelitian ini.
Perbedaanya, penelitian ini difokuskan pada SIAM UB yang diakses melalui peramban di komputer dan luaran penelitian ini adalah rancangan (prototipe) SIAM UB dengan ukuran situs web yang diakses melalui komputer. UCD digunakan dalam melakukan perancangan karena terbukti pada penelitian Pratiwi (2017) berhasil menyelesaikan masalah yang dirasakan oleh pengguna dan meningkatkan nilai usability dari sistem. Kemudian pengujian usability digunakan dalam mengevaluasi SIAM UB saat ini dan hasil rancangan karena terbukti pada penelitian Fadhil (2019) dapat mengidentifikasi permasalahan secara mendalam dari sudut pandang pengguna. Selain itu, UEQ juga digunakan dalam mengevaluasi SIAM UB saat ini dan hasil rancangan karena terbukti pada penelitian Wijaya (2018) dapat mengukur pengalaman pengguna secara mudah dan andal.
2.2 UCD
UCD adalah pendekatan pengembangan produk yang berfokus pada pengguna akhir suatu produk (Courage dan Baxter, 2005).
Menurut Interaction Design Foundation (n.d), UCD adalah sebuah siklus desain yang berfokus pada pengguna dan kebutuhannya pada setiap fase proses desain. Gambar 1 menunjukkan proses user centred design.
Berikut ini adalah fase umum dari proses UCD menurut usability.gov (n.d.b):
1. Memahami dan menentukan konteks penggunaan
Memahami orang-orang yang akan menggunakan produk, untuk apa mereka akan menggunakannya, dan dalam kondisi apa mereka akan menggunakannya.
2. Menentukan persyaratan pengguna Identifikasi persyaratan bisnis atau sasaran pengguna yang harus dipenuhi agar produk tersebut berhasil.
3. Menghasilkan solusi desain
Bagian dari proses ini dapat dilakukan
secara bertahap, mulai dari konsep kasar hingga desain lengkap.
4. Mengevaluasi desain
Evaluasi idealnya menggunakan pengujian usability dan pengujian kualitas agar dapat mengembangankan perangkat lunak dengan baik
Gambar 1. Proses user centred design Sumber: Interaction Design Foundation (n.d)
2.3 Pengujian Usability
Pengujian usability mengacu pada evaluasi produk atau layanan dengan melakukan pengujian kepada perwakilan pengguna (usability.gov, n.d.a). Pengujian usability dilakukan dengan mengamati pengguna saat melakukan tugas dengan sistem perangkat keras atau perangkat lunak. Tujuan pengujian usability adalah untuk mengidentifikasi masalah usability, mengumpulkan data kualitatif dan kuantitatif, dan menentukan kepuasan partisipan dengan produk.
Elemen dari pengujian usability adalah fasilitator, skenario tugas, dan partisipan.
Fasilitator bertugas untuk memandu partisipan selama proses pengujian usability. Skenario tugas adalah aktivitas nyata yang mungkin partisipan lakukan sehari-hari. Partisipan adalah perwakilan pengguna dari produk atau layanan yang yang diujikan.
2.4 User Experience Questionnaire (UEQ) User Experience Questionnaire (UEQ) adalah kuesioner yang mudah dan andal untuk mengukur pengalaman pengguna dari produk interaktif (Laugwitz, Schrepp, & Held, 2008).
UEQ memiliki enam skala dan beberapa butir penilaian yang mewakili tiap skala. Setiap butir penilaian diwakili oleh dua suku kata dengan makna yang berlawanan. Urutan suku kata diacak tiap butir penilaian, yaitu setengah dari butir penilaian skala dimulai dengan istilah positif dan setengah lainnya dimulai dengan istilah negatif. UEQ menggunakan tujuh skala jawaban untuk mengurangi bias.
Tiap butir penilaian diskalakan dari -3 hingga +3. Jadi, -3 mewakili jawaban paling
negatif, 0 jawaban netral, dan +3 jawaban paling positif. UEQ berisi 6 skala dengan 26 butir penilaian:
- Attractiveness: Kesan keseluruhan dari produk. Apakah pengguna menyukai atau tidak menyukai produk?
Butir penilaian: menyusahkan / menyenangkan, baik / buruk, tidak disukai / menggembirakan, tidak nyaman / nyaman, atraktif / tidak atraktif, ramah pengguna / tidak ramah pengguna.
- Perspicuity: Apakah mudah untuk mengenal produk? Apakah mudah mempelajari cara menggunakan produk?
Butir penilaian: tidak dapat dipahami / dapat dipahami, mudah dipelajari / sulit dipelajari, rumit / sederhana, jelas / membingungkan.
- Efficiency: Dapatkah pengguna menyelesaikan tugas mereka tanpa usaha yang tidak perlu?
Butir penilaian: cepat / lambat, tidak efisien / efisien, tidak praktis / praktis, terorganisasi / berantakan.
- Dependability: Apakah pengguna merasa mengontrol interaksi?
Butir penilaian: tidak dapat diprediksi / dapat diprediksi, menghalangi / mendukung, aman / tidak aman, memenuhi ekspektasi / tidak memenuhi ekspektasi.
- Stimulation: Apakah menyenangkan dan memotivasi untuk menggunakan produk?
Butir penilaian: bermanfaat / kurang bermanfaat, membosankan / mengasyikkan, tidak menarik / menarik, memotivasi / tidak memotivasi.
- Novelty: Apakah produknya inovatif dan kreatif? Apakah produk menarik minat pengguna?
Butir penilaian: kreatif / monoton, berdaya cipta / konvensional, lazim / terdepan, konservatif / inovatif.
Attractiveness adalah dimensi valensi murni. Perspicuity, Efficiency, dan Dependability adalah aspek pragmatic quality (mengarah pada tujuan), sedangkan Stimulation dan Novelty adalah aspek hedonic quality (bukan tujuan yang diarahkan).
3. METODOLOGI
Tahapan pada penelitian ini dimulai dengan studi literatur. Kemudian masuk ke proses UCD, yaitu memahami dan menentukan konteks
penggunaan, menentukan persyaratan pengguna, membuat solusi desain, dan evaluasi desain.
Kemudian dilakukan analisis dan perbandingan terhadap hasil evaluasi SIAM UB saat ini dan solusi desain. Terakhir adalah penarikan kesimpulan dari penelitian ini. Gambar 2 menunjukkan tahapan pada penelitian ini.
Gambar 2. Tahapan penelitian
4. KONTEKS PENGGUNAAN
4.1 Pengguna dan Pemangku Keputusan Dari hasil wawancara Fadhil dengan Ratno Wahyu Widyanto selaku koordinator bidang informasi TIK UB (2018), didapat bahwa pengguna dan pemangku keputusan SIAM UB ada dua, yaitu mahasiswa dan orang tua.
Mahasiswa adalah mahasiswa UB yang akan menggunakan sistem untuk mencari informasi akademik. Sedangkan orang tua adalah orang tua mahasiswa yang akan menggunakan sistem sebagai alat pelaporan hasil akademik mahasiswa.
4.2 Karakteristik Pengguna
Penelitian ini berfokus pada mahasiswa sebagai pengguna SIAM UB. Karakteristik umum mahasiswa sebagai pengguna SIAM UB, antara lain mahasiswa Universitas Brawijaya, laki-laki atau perempuan, usia 16 – 26 tahun, berbahasa Indonesia, dapat menggunakan gawai, akses SIAM UB setidaknya sebulan sekali, akses SIAM UB untuk mencari informasi akademik
4.3 Tujuan dan Tugas Pengguna
Mulai
Studi literatur
Memahami dan menentukan konteks penggunaan
Menentukan persyaratan pengguna
Membuat solusi desain
Evaluasi desain
Analisis dan perbandingan
Kesimpulan
Selesai
Tujuan pengguna adalah mendapatkan informasi akademik sebagai mahasiswa UB.
Sedangkan tujuan sistem adalah menyediakan informasi akademik kepada mahasiswa UB.
4.4 Lingkungan Sistem
Berikut ini adalah identifikasi tentang lingkungan sistem yang akan diimplementasikan. Lingkungan sistem berupa lingkungan teknis, lingkungan fisik, dan lingkungan sosial dan kultur. Tabel 1 berisi lingkungan SIAM UB.
Tabel 1. Lingkungan SIAM UB Jenis Lingkungan Deskripsi
Lingkungan teknis Sistem berupa situs web yang dapat diakses melalui peramban yang terkoneksi internet
Lingkungan fisik Dapat diakses di mana saja melalui komputer atau ponsel dengan sistem operasi apa pun
Lingkungan sosial dan kultur
Akses masuk menggunakan Nomor Induk Mahasiswa Universitas Brawijaya dan kata sandi
5. PERSYARATAN PENGGUNA
Persyaratan pengguna ditentukan melalui evaluasi awal yang dilakukan pada SIAM UB saat ini. Evaluasi dilakukan menggunakan UEQ dan pengujian usability.
5.1 User Experience Questionnaire (UEQ) Kuesioner UEQ dibagikan kepada 23 orang responden. Pemilihan responden dilakukan menggunakan teknik nonprobability sampling, khususnya convenience sampling. Alhasil, SIAM UB saat ini mendapat nilai di atas rata- rata untuk skala perspicuity dan efficiency.
Kemudian pada skala attractiveness, dependability, dan stimulation mendapat nilai di bawah rata-rata. Sedangkan pada skala novelty mendapat nilai buruk. Gambar 3 menunjukkan SIAM UB jika dibandingkan dengan data dari 452 studi tentang berbagai produk yang menggunakan UEQ.
Gambar 3. Benchmark SIAM UB
5.2 Pengujian Usability
Pengujian usability melibatkan lima orang partisipan. Terdapat sepuluh tugas yang diujikan selama pengujian usability. Selama pengujian berlangsung partisipan diminta untuk menggunakan sistem sambil mengungkapkan apa yang ada dalam pikiran mereka (thinking aloud). Pada setiap tugas akan dicatat tanggapan partisipan terhadap sistem yang diujikan. Tabel 2 berisi Skenario tugas yang diujikan selama pengujian usability.
Tabel 2. Skenario tugas Kode Skenario tugas
TS- 01
Anda adalah mahasiswa UB. Anda ingin mengakses SIAM UB melalui desktop TS-
02
Anda ingin mengakses informasi akademik pada SIAM UB
TS- 03
Hari ini adalah hari senin. Anda ingin memastikan apakah Anda memiliki kuliah di hari ini
TS- 04
Syarat untuk mengikuti UAS adalah kehadiran lebih dari 80%. Anda ingin memastikan bahwa anda memenuhi syarat tersebut
TS- 05
Anda memiliki sahabat bernama Adit. Anda ingin mengetahui apakah dia mengambil kelas yang sama dengan Anda
TS- 06
Anda sudah menempuh perkuliahan selama beberapa semester di UB. Anda ingin mengetahui rincian nilai yang diperoleh dari salah satu mata kuliah yang pernah diambil TS-
07
Di setiap awal semester, Anda perlu mengisi kartu rencana studi. Kemudian Anda perlu mencetak dokumen kartu rencana studi untuk diverifikasi oleh dosen pembimbing akademik TS-
08
Setiap jenjang pendidikan di UB memiliki minimal sks yang perlu diambil sebagai syarat kelulusan. Anda ingin mencari tahu berapa jumlah kekurangan sks yang perlu diambil untuk memenuhi syarat minimum kelulusan TS-
09
Sebagai mahasiswa yang sudah menempuh perkuliahan selama beberapa semester di UB.
Anda ingin mengetahui performa Anda selama kuliah dengan cara membandingkan indeks prestasi yang diperoleh pada tiap semester TS-
10
Anda telah selesai menggunakan SIAM UB dan tidak ingin orang lain mengakses akun anda
Setiap masalah yang ditemukan selama pengujian usability diidentifikasi tingkat keparahannya berdasarkan dampak permasalahan dan banyaknya partisipan yang mengalami permasalahan tersebut.
Pengujian usability pada SIAM UB saat ini berhasil menemukan hal-hal yang disuka dan tidak disuka partisipan dari penggunaan SIAM UB. Hal-hal yang disukai partisipan dari penggunaan SIAM UB, antara lain SIAM UB menyediakan informasi akademik yang lengkap, akses yang cepat, dan dapat memenuhi kebutuhan. Sedangkan hal-hal yang tidak
-1,00 -0,500,000,501,001,502,00 2,50
Good Above Average Below Average Bad Lower Border Mean
disukai partisipan dari penggunaan SIAM UB, antara lain tampilan yang kaku, kuno, dan tidak menarik, terdapat beberapa icon, tombol, dan fitur yang tidak dipahami, desain tata letak dan hierarki informasi yang kurang terorganisasi, dan kesulitan ketika diminta untuk memprediksi lokasi dari suatu informasi pada SIAM UB.
6. SOLUSI DAN EVALUASI DESAIN Solusi desain dan evaluasi desain yang berjalan selama tiga iterasi.
6.1 Prototipe Berfidelitas Rendah
Solusi desain awal dibuat dalam bentuk prototipe berfidelitas rendah atau Low-Fidelity Prototype (Lo-Fi). Lo-Fi sendiri berfungsi sebagai alat eksplorasi ide dari solusi awal perancangan. Lo-Fi lebih berfokus kepada tata letak dan informasi yang akan disajikan di setiap halaman. Lo-Fi ini dibuat menggunakan aplikasi figma. Terdapat beberapa halaman yang akan dibuat dalam Lo-Fi, antara lain halaman login, beranda, presensi, jadwal kuliah, jadwal ujian, kartu rencana studi, kartu hasil studi, dan rekap hasil studi. Gambar 4 menunjukkan halaman beranda pada Lo-Fi
Gambar 4. Halaman beranda pada Lo-Fi Selanjutnya desain Lo-Fi dievaluasi menggunakan pengujian usability sama seperti pada evaluasi awal. Skenario tugas dan pertanyaan yang diajukan pada pengujian usability ini sama seperti pengujian usability pada evaluasi awal. Pengujian usability ini bertujuan untuk mendapat umpan balik dari solusi desain yang telah dibuat. Pengujian usability pada Lo-Fi dilakukan dengan 5 orang partisipan.
Pengujian usability pada Lo-Fi berhasil menemukan hal-hal yang disuka dan tidak disuka partisipan dari penggunaan Lo-Fi.
Berikut ini adalah hal-hal yang disukai partisipan dari penggunaan Lo-Fi, secara keseluruhan sudah bagus dan sesuai harapan, tampilannya lebih jelas, tertata, dan minimalis
sehingga lebih menarik untuk dilihat, informatif dan lebih rinci, mudah untuk dinavigasi, informasi yang berkaitan berada di halaman yang sama sehingga tidak perlu membuka halaman lain. Sedangkan hal-hal yang tidak disukai partisipan dari penggunaan Lo-Fi, antara lain terdapat beberapa detail kecil yang belum sesuai, tidak tahu cara kembali ke halaman login ketika berada di halaman pengumuman, dan beberapa judul pada tombol kurang spesifik dengan informasi yang ditampilkan.
6.2 Prototipe Berfidelitas Tinggi
Berdasarkan rekomendasi dari permasalahan yang ditemukan pada evaluasi desain Lo-Fi, dibuatlah prototipe berfidelitas tinggi atau High-Fidelity Prototype (Hi-Fi). Hi- Fi merupakan bentuk solusi desain yang mendekati sistem akhir yang akan diimplementasikan. Pada proses Hi-Fi semua elemen desain dibuat, mulai dari tipografi, warna, tata letak, hingga interaksinya. Hi-Fi ini dibuat menggunakan aplikasi figma. Terdapat beberapa halaman yang akan dibuat dalam Hi-Fi, antara lain halaman login, beranda, presensi, jadwal kuliah, jadwal ujian, kartu rencana studi, kartu hasil studi, rekap hasil studi, dan transkrip nilai. Gambar 5 menunjukkan halaman beranda pada Hi-Fi.
Gambar 5. Halaman beranda pada Hi-Fi Selanjutnya, Hi-Fi yang sudah dibuat dievaluasi menggunakan pengujian usability sama seperti pada evaluasi sebelumnya untuk mendapat umpan balik dari solusi desain yang telah dibuat. Pengujian usability pada Hi-Fi dilakukan dengan 5 orang partisipan. Pengujian usability pada Hi-Fi berhasil menemukan hal-hal yang disuka dan tidak disuka partisipan dari penggunaan Hi-Fi.
Hal-hal yang disukai partisipan dari penggunaan Hi-Fi, antara lain desain tampilan yang lebih bagus, modern, dan menarik dibanding SIAM saat ini, tata letak lebih rapi dan terstruktur, terdapat rekap hasil studi yang disajikan dalam bentuk grafik sehingga mudah
untuk dipahami, desain sistem dapat digunakan dan mudah dipahami, desainnya rinci dan informasi dapat diterima dengan baik, dapat mencapai tujuan dan melebihi ekspektasi, atraktif, banyak pembaruan, halaman beranda lebih tertata rapi dan mudah dibaca, terdapat foto mahasiswa dan dosen yang membuat lebih menarik dan memudahkan dalam mengenali, dan terdapat fitur filter berdasarkan hari pada halaman jadwal kuliah sehingga lebih memudahkan dalam membaca jadwal.
Sedangkan hal-hal yang tidak disukai partisipan dari penggunaan Hi-Fi, antara lain bingung karena baru pertama kali menggunakan dan perlu dipelajari terlebih dahulu, warna tema terlalu gelap, dan warna antara teks dengan background yang kurang kontras.
6.3 Revisi Prototipe Berfidelitas Tinggi Berdasarkan rekomendasi dari permasalahan yang ditemukan pada evaluasi desain Hi-Fi sebelumnya, dibuatlah Revisi Hi-Fi ini sebagai revisi dari desain sebelumnya.
Gambar 6 menunjukkan halaman beranda pada Revisi Hi-Fi.
Gambar 6. Halaman beranda pada Revisi Hi-Fi Selanjutnya revisi Hi-Fi dievaluasi menggunakan UEQ sama seperti pada evaluasi awal terhadap SIAM UB saat ini. Kuesioner UEQ dibagikan kepada 82 orang responden.
Hasil perbaikan rancangan prototipe SIAM UB ini mendapat nilai yang unggul pada skala stimulation. Kemudian pada skala attractiveness, efficiency, dependability, dan novelty mendapat nilai yang bagus. Sedangkan pada skala perspicuity mendapat nilai di atas rata-rata. Gambar 7 menunjukkan nilai yang diperoleh prototipe SIAM UB jika dibandingkan dengan data dari 452 studi tentang berbagai produk yang menggunakan UEQ.
Gambar 7. Benchmark prototipe SIAM UB
7. ANALISIS DAN PERBANDINGAN 7.1 Hubungan Hasil UEQ dengan Pengujian Usability
Evaluasi awal dilakukan menggunakan UEQ dan pengujian usability terhadap SIAM saat ini. Aspek attractiveness pada UEQ mendapat evaluasi positif dengan skala attractiveness di bawah rata-rata. Aspek pragmatic quality pada UEQ yang terdiri dari skala perspicuity, efficiency, dan dependability mendapat evaluasi positif. Skala perspicuity mendapat nilai di atas rata-rata. Namun, ketika digali lebih dalam menggunakan pengujian usability, terdapat beberapa icon, tombol, dan fitur yang tidak dipahami oleh pengguna. Skala efficiency mendapat nilai di atas rata-rata. Ketika digali lebih dalam menggunakan pengujian usability, pengguna menyukai akses yang cepat dan data yang mutakhir pada SIAM UB. Namun terdapat beberapa hal yang tidak disukai oleh pengguna, yaitu desain tata letak dan hierarki informasi yang kurang terorganisasi. Skala dependability mendapat nilai di bawah rata-rata.
Ketika digali lebih dalam menggunakan pengujian usability, SIAM UB dapat memenuhi kebutuhan pengguna. Namun, pengguna masih kesulitan ketika diminta untuk memprediksi lokasi dari suatu informasi pada SIAM UB.
Aspek hedonic quality pada UEQ yang terdiri dari skala stimulation dan novelty mendapat evaluasi kurang lebih netral. Skala stimulation mendapat nilai di bawah rata-rata. Sedangkan, skala novelty mendapat nilai yang buruk. Ketika digali lebih dalam menggunakan pengujian usability, SIAM UB memiliki tampilan yang kaku, kuno, dan tidak menarik.
Setelah dilakukan perbaikan rancangan antarmuka pengguna SIAM UB, dilakukan evaluasi akhir menggunakan UEQ dan pengujian usability terhadap solusi desain dalam bentuk Hi-Fi. Aspek attractiveness pada UEQ mendapat evaluasi positif dengan skala attractiveness yang
-1,00 -0,500,000,501,00 1,50 2,00 2,50
Excellent Good Above Average Below Average Bad Mean
bagus. Ketika digali lebih dalam menggunakan pengujian usability, Hi-Fi memiliki desain tampilan yang lebih baik dan atraktif dibanding SIAM UB saat ini. Aspek pragmatic quality pada UEQ yang terdiri dari skala perspicuity, efficiency, dan dependability mendapat evaluasi positif. Skala perspicuity mendapat nilai di atas rata-rata. Ketika digali lebih dalam menggunakan pengujian usability, Hi-Fi memiliki desain yang dapat digunakan dan mudah dipahami. Skala efficiency mendapat nilai yang bagus. Ketika digali lebih dalam menggunakan pengujian usability, Hi-Fi memiliki tata letak yang lebih rapi dan terstruktur. Skala dependability mendapat nilai yang bagus. Ketika digali lebih dalam menggunakan pengujian usability, Hi-Fi dapat membantu pengguna dalam mencapai tujuan dan bahkan melebihi ekspektasi pengguna. Aspek hedonic quality pada UEQ yang terdiri dari skala stimulation dan novelty mendapat evaluasi positif. Skala stimulation mendapat nilai yang unggul. Skala novelty mendapat nilai yang bagus. Ketika digali lebih dalam menggunakan pengujian usability, Hi-Fi memiliki desain tampilan yang lebih menarik dan modern dibanding SIAM UB saat ini.
7.2 Hasil Pengujian Usability
Pengujian usability dilakukan selama tiga kali. Pengujian usability pertama dilakukan terhadap SIAM UB saat ini, kedua terhadap Lo- Fi, dan ketiga terhadap Hi-Fi. Tiap pengujian usability melibatkan 5 orang partisipan. Tiap pengujian usability melibatkan partisipan baru.
Tingkat keberhasilan penyelesaian tugas pada pengujian usability awal terhadap SIAM UB saat ini adalah 92%. Kemudian mengalami peningkatan menjadi 100% pada pengujian usability terhadap Lo-Fi. Namun, menurun pada pengujian usability terhadap Hi-Fi menjadi 94%.
Hal ini dikarenakan beberapa partisipan baru belum pernah mengerjakan tugas yang diberikan pada SIAM UB sebelumnya. Namun, secara keseluruhan jika dibandingkan dengan pengujian usability awal terhadap SIAM UB saat ini, pengujian usability terhadap Hi-Fi mengalami peningkatan tingkat keberhasilan penyelesaian tugas sebesar 2% dari 92% menjadi 94%. Gambar 8 menunjukkan perbandingan tingkat keberhasilan penyelesaian tugas pada tiap pengujian usability.
Gambar 8. Perbandingan tingkat keberhasilan penyelesaian tugas pada tiap pengujian usability
Pengujian usability awal terhadap SIAM UB saat ini berhasil menemukan 41 temuan dengan jumlah temuan masalah pada tingkat keparahan 4, 3, 2, dan 1 adalah 2, 15, 4, dan 20 temuan. Kemudian pada pengujian usability terhadap Lo-Fi mengalami penurunan menjadi 30 temuan dengan jumlah temuan masalah pada tingkat keparahan 4, 3, 2, dan 1 adalah 0, 10, 12, dan 13 temuan. Kemudian pada pengujian usability terhadap Hi-Fi mengalami penurunan lagi menjadi 9 temuan dengan jumlah temuan masalah pada tingkat keparahan 4, 3, 2, dan 1 adalah 1, 1, 3, dan 4 temuan. Hal ini berarti temuan masalah pada pengujian usability sebelumnya sudah berhasil diperbaiki dan jumlah temuan masalah pada pengujian usability selanjutnya semakin sedikit. Gambar 9 menunjukkan perbandingan jumlah temuan masalah pada tiap pengujian usability.
Gambar 9. Perbandingan jumlah temuan masalah pada tiap pengujian usability
7.3 Hasil User Experience Questionnaire Berdasarkan evaluasi UEQ awal yang melibatkan 23 orang responden dan evaluasi UEQ akhir yang melibatkan 82 orang responden, didapatkan perbandingan nilai UEQ awal dan akhir pada tiap skala. Secara umum, nilai tiap skala pada UEQ mengalami peningkatan dari evaluasi awal ke evaluasi akhir. Skala attractiveness mengalami peningkatan signifikan sebesar 110%, yaitu dari 0.88 menjadi
85%
90%
95%
100%
105%
Awal Lo-Fi Hi-Fi
0 20 40 60
Awal Lo-Fi Hi-Fi
Keparahan 1 Keparahan 2 Keparahan 3 Keparahan 4
1.84. Skala perspicuity mengalami peningkatan sebesar 32%, yaitu dari 1.34 menjadi 1.76. Skala efficiency mengalami peningkatan signifikan sebesar 38%, yaitu dari 1.20 menjadi 1.66. Skala dependability mengalami peningkatan signifikan sebesar 50%, yaitu dari 1.02 menjadi 1.54. Skala stimulation mengalami peningkatan signifikan sebesar 185%, yaitu dari 0.60 menjadi 1.70. Skala novelty mengalami peningkatan signifikan sebesar 451%, yaitu dari -0.35 menjadi 1.22. Signifikansi telah diuji menggunakan Uji T sederhana dengan tingkat alfa 0.05. Gambar 10 menunjukkan perbandingan nilai tiap skala pada UEQ awal dan akhir.
Gambar 10. Perbandingan nilai tiap skala pada UEQ awal dan akhir
8. KESIMPULAN
Evaluasi pengalaman pengguna pada SIAM UB dengan menggunakan pengujian usability dan UEQ menghasilkan simpulan bahwa SIAM UB dapat memenuhi kebutuhan pengguna dalam mendapatkan informasi akademik. Namun, masih terdapat beberapa beberapa permasalahan pada SIAM UB. Pengujian usability berhasil menemukan beberapa permasalahan pada SIAM UB, antara lain pengguna masih kesulitan ketika diminta untuk memprediksi lokasi dari suatu informasi pada SIAM UB, SIAM UB tidak menyediakan grafik indeks prestasi sehingga menyulitkan pengguna dalam mengevaluasi hasil studinya. Selain itu, dari segi tampilan, SIAM UB memiliki tampilan yang kaku, kuno, dan tidak menarik, tata letak dan hierarki informasi kurang terorganisasi, informasi keberadaan pengguna kurang ditampilkan secara jelas, kurang jelas bagian mana yang dapat ditekan dan tidak, kurang memaksimalkan latar belakang yang kosong di sisi kanan dan kiri halaman, terdapat beberapa informasi yang selalu ditampilkan berulang kali di setiap halaman, padahal informasi tersebut tidak selalu dibutuhkan, hal ini membuat halaman terasa
penuh. Sedangkan UEQ menghasilkan penilaian tiap aspek pada SIAM UB. Aspek attractiveness dan pragmatic quality terdiri dari skala perspicuity, efficiency, dan dependability mendapatkan evaluasi yang positif. Sedangkan aspek hedonic quality yang terdiri dari stimulation dan novelty mendapatkan evaluasi yang kurang lebih netral. Jika dibandingkan dengan data dari 452 studi tentang berbagai produk yang dievaluasi menggunakan UEQ, SIAM UB saat ini mendapat nilai di atas rata- rata untuk skala perspicuity dan efficiency.
Kemudian pada skala attractiveness, dependability, dan stimulation mendapat nilai di bawah rata-rata. Sedangkan pada skala novelty mendapat nilai buruk.
UCD digunakan sebagai pendekatan dalam melakukan perbaikan rancangan dan evaluasi.
UCD memiliki empat tahapan, yaitu memahami dan menentukan konteks penggunaan, menentukan persyaratan pengguna, membuat solusi desain, dan evaluasi desain. Siklus UCD ini berjalan selama tiga iterasi hingga menghasilkan solusi desain berupa Hi-Fi.
Kemudian Hi-Fi dievaluasi menggunakan pengujian usability dan UEQ untuk mendapat umpan balik dari pengguna dan mengukur pengalaman pengguna pada solusi desain yang telah dibuat. Tingkat keberhasilan penyelesaian tugas meningkat sebesar 2% dari pengujian usability awal terhadap SIAM UB saat ini dengan nilai 94% menjadi 96% pada Hi-Fi.
Jumlah kesalahan yang ditemukan pun menurun 87% dari sebelumnya 71 kesalahan menjadi 9 kesalahan. Menurut pengguna, Hi-Fi SIAM UB memiliki desain tampilan yang lebih bagus, modern, dan menarik dibanding SIAM UB saat ini, tata letak lebih rapi dan terstruktur, terdapat rekap hasil studi yang disajikan dalam bentuk grafik, desain sistem dapat digunakan dan mudah dipahami. Secara umum, evaluasi UEQ akhir mendapat nilai yang positif dan mengalami peningkatan pada tiap skala dibanding evaluasi awal. Skala attractiveness mengalami peningkatan sebesar 110%. Skala perspicuity mengalami peningkatan sebesar 32%. Skala efficiency mengalami peningkatan sebesar 38%.
Skala dependability mengalami peningkatan sebesar 50%. Skala stimulation mengalami peningkatan sebesar 185%. Skala novelty mengalami peningkatan sebesar 451%. Jika dibandingkan dengan data dari 452 studi tentang berbagai produk yang menggunakan UEQ, prototipe SIAM UB mendapat nilai yang unggul pada skala stimulation. Kemudian pada skala
-1,00 -0,50 0,00 0,50 1,00 1,50 2,00 2,50
attractiveness, efficiency, dependability, dan novelty mendapat nilai yang bagus. Sedangkan pada skala perspicuity mendapat nilai di atas rata-rata.
9. DAFTAR PUSTAKA
Courage, C. dan Baxter, K., 2005.
Understanding Your Users: A Practical Guide to User Requirements Methods, Tools, and Techniques. San Francisco:
Morgan Kaufmann Publishers.
Dix, A., Finlay, J., Abowd, G. D., & Beale, R., 2004. Human-Computer Interaction (3rd Edition). Harlow: Prentice-Hall.
Fadhil, M., Aknuranda, I., & Rokhmawati, R. I., 2019. Perancangan Antarmuka Sistem Informasi Akademik Mahasiswa Berbasis Perangkat Bergerak. S1. Universitas Brawijaya.
Guo, F., 2012. More Than Usability: The Four Elements of User Experience, Part I.
[online] Tersedia di:
<https://www.uxmatters.com/mt/archives /2012/04/more-than-usability-the-four- elements-of-user-experience-part-i.php>
[Diakses 30 Juli 2020]
Interaction Design Foundation, n.d. User Centered Design. [online] Tersedia di:
<https://www.interaction-
design.org/literature/topics/user-centered- design#:~:text=User%2Dcentered%20de sign%20(UCD),and%20Accessible%20p roducts%20for%20them.> [Diakses 11 November 2020]
International Organization for Standardization, 2018. ISO 9241-11:2018(en) Ergonomics of human-system interaction — Part 11:
usability: Definitions and concepts.
[online] Tersedia di:
<https://www.iso.org/obp/ui/#iso:std:iso:
9241:-11:ed-2:v1:en> [Diakses 25 Juli 2020]
Laugwitz, B., Schrepp, M. & Held, T. 2008.
Construction and evaluation of a user experience questionnaire. Springer
[online] Tersedia di:
<https://www.researchgate.net/publicatio n/221217803_Construction_and_Evaluati on_of_a_User_Experience_Questionnair e > [Diakses 25 Juni 2021]
Patton, M.Q., 1987. Qualitative Research
Evaluation Methods. Thousand Oaks:
Sage Publishers.
Pratiwi, D., Saputra, M. C., & Wardani, N. H., 2017. Penggunaan Metode User Centered Design (UCD) Dalam Perancangan Ulang Web Portal Jurusan Psikologi Fisip Universitas Brawijaya. S1.
Universitas Brawijaya.
Subchan, N., Astuti, E. S., & Kertahadi, 2012. Mengukur Efektivitas Sistem Informasi dan Mengetahui Kesuksesan Portal Akademik (SIAM) On-Line (Studi Kasus Terhadap Pengguna di Program Pendidikan Vokasi Universitas Brawijaya). [online] Tersedia di
<https://profit.ub.ac.id/index.php/profit/a rticle/download/247/554> [Diakses 30 Juli 2020]
Usability.gov, n.d.a. Usability Testing. [online]
Tersedia di: <https://www.
usability.gov/how-to-and-
tools/methods/usability-testing.html>
[Diakses 30 Juli 2020]
Usability.gov, n.d.b. User-Centered Design Basics. [online] Tersedia di:
<https://www. usability.gov/what-and- why/user-centered-design.html> [Diakses 11 November 2020]
Widyanto, R. W., 2018. Penggalian Informasi secara umum mengenai SIAM.
Diwawancara oleh Muhammad Fadhil, 12 Oktober 2018, 14:20.
Wijaya, R., Tolle, H., & Az-Zahra, H., 2018.
Perancangan User Experience Aplikasi Pemesanan Katering Sekolah Dengan Menggunakan Metode Human-Centered Design. S1. Universitas Brawijaya.
