Fakultas Ilmu Komputer
7192
Evaluasi dan Rekomendasi Tampilan Website E-Complaint Universitas
Brawijaya Pada Perangkat Bergerak Menggunakan Metode Heuristic
Evaluation
Wahyu Satriyo Wibowo1, Hanifah Muslimah Az-zahra2,
Fitra Abdurrachman Bachtiar
3Program Studi Sistem informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1w.satriyo.wibowo@gmail.com, 2hanifah.azzahra@ub.ac.id, 3fitra.bachtiar@ub.ac.id
Abstrak
Terdapat permasalahan usability pada website E-Complaint UB khususnya yang dialami pengguna perangkat mobile dikarenakan desain tampilan tidak responsive menjadi perhatian penting karena mempengaruhi persepsi pengguna terhadap website. Dilakukan evaluasi usability untuk memperbaiki kendala yang rasakan oleh pengguna website E-Complaint UB dengan metode heuristic evaluation.
Expert berpegang pada 13 heuristic mobile checklist yang telah disediakan. Dari sisi pengguna juga dilakukan penilaian usability menggunakan kuesioner System Usability Scale (SUS) disertai wawancara oleh 8 responden yang dibagi 2 kelompok yaitu civitas UB dan masyarakat umum. Hasil
heuristic evaluation ditemukan total 66 permasalahan yang kemudian dirangkum menjadi 27 permasalahan termasuk permasalahan yang didapat ketika melakukan wawancara responden yang dijadikan bahan perbaikan. Perbaikan tampilan terhadap website E-Complaint UB berpegang pada
guidelines, solusi dari expert dan saran dari pengguna. Hasilnya adalah menurunnya temuan permasalahan oleh expert dari 66 menjadi 29 permasalahan dengan rata-rata severityrating 1,80 yang sebelumnya 2,84 dan naiknya tingkat kepuasan pengguna dari skor awal SUS 44,38 menjadi 72,5 yang didukung dengan respon positif pengguna dari hasil wawancara. Skor SUS juga menyatakan membaiknya adjective ratings dari “Ok” menjadi “Good”, grade scale dari “F” menjadi “C” dan acceptabilitydari “notacceptable” menjadi “acceptable”.
Kata kunci: Usability, Heuristic Evaluation, Heuristic Mobile Checklist, E-Complaint, System UsabilityScale, Wawancara
Abstract
Usability issues of Brawijaya University’s E-Complaint website, particularly any of those issues faced by mobile device users due to less responsive display, receive considerable attention because they affect user’s perspective on the website. Thus, a usability evaluation was done by applying heuristic evaluation method to fix the issue faced by the users. These experts relied on provided 13 heuristic mobile checklists to conduct the evaluation. Usability assessment was also conducted on the user’s side by utilizing System Usability Scale (SUS) and it was complemented with interview with 8 respondents who were categorized into 2 groups: Brawijaya’s scholars and general public. The heuristic evaluation highlighted 66 issues in total which were then summarized into 27 issues including issues found during interview with the respondents. Those results were then used for revision. UB’s E-Complaint website display improvement was based on the collected guidelines, expert solutions, and user feedback. This improvement lowered the number of issues found by the experts, from 66 into 29 issues with average severity rating of 1,80 (it was previously 2,84). User satisfaction was also improved from SUS score of 44.38 into 72.5 and was supported by positive responses received from the interviews. SUS score indicated that there were some improvements in adjective rating from “OK” to “Good”, in grade scale from “F” to “C”, and in acceptability from “not acceptable” into “acceptable”.
1. PENDAHULUAN
Universitas Brawijaya sebagai salah satu universitas terbaik di Indonesia telah menyiapkan wadah pengaduan bagi civitas Universitas Brawijaya hingga masyarakat umum. Hal tersebut diimplementasikan dalam sebuah websiteE-Complaint yang dikelola oleh PIDK (Pusat Informasi, Dokumentasi dan Keluhan) Universitas Brawijaya yang dapat diakses oleh siapapun, kapanpun, dan dimanapun selama perangkat yang dimiliki tersambung dengan internet. Tujuan Universitas Brawijaya dengan adanya website E-Complaint
tersebut adalah menghadirkan sarana penjaminan mutu (quality assurance) pendidikan tinggi sebagai proses penetapan dan pemenuhan standar mutu pendidikan secara konsisten dan berkelanjutan yang dimaksudkan agar pelanggan memperoleh kepuasan serta menghasilkan pengembangan berkelanjutan (continous improvement) di perguruan tinggi. Hal ini sangat diperlukan untuk mencapai standar World Class University. Berdasarkan laporan dari pihak PIDK dan survey yang telah dilakukan menggunakan kuesioner dengan jawaban kualitatif dari pengguna website E-Complaint UB, yaitu civitas UB dan masyarakat umum, didapatkan indikasi permasalahan
usability pada website E-Complaint UB yang dialami oleh pengguna. Ada pun masalah yang dirasakan terkait tampilan website E-Complaint
UB yang menurut pengguna masih dirasa menyulitkan, khususnya pada pengguna
smartphone. Pengguna smartphone
mengeluhkan tampilan website E-Complaint UB pada layar mereka yang masih belum responsif dan mengharuskan melakukan
zooming ketika hendak membaca tulisan ataupun kesulitan menekan link yang tersedia karena menu navigasi yang terlampau kecil. Pengguna juga mengeluhkan sulitnya mengisi
form pengaduan akibat terlalu kecilnya form
ketika menggunakan perangkat smartphone
dimana pengisian form keluhan merupakan aktifitas utama ketika menggunakan website E-Complaint UB.
Heuristic evaluation adalah metode
usability untuk menemukan permasalahan antarmuka pengguna untuk menemukan permasalahan usability pengguna yang dilakukan oleh expert (Nielsen, 1994). Seiring berkembangnya teknologi telekomunikasi maka dikembangkan heuristic baru yang lebih sesuai
untuk keperluan evaluasi dan pencarian permasalahan pada tampilan mobile. Gomez et al. (2014) memperkenalkan 13 heuristic evaluation checklist yang didapat dari bibliografi namun diadaptasi ulang untuk antarmuka mobile.
Selain keterlibatan expert dalam melakukan evaluasi usability, melakukan percobaan website pada pengguna yang sebenarnya sangat diharuskan (Halabi, 2007). Kuesioner System Usability Scale (SUS) dapat digunakan oleh pengguna sebagai penilaian subjektif usability sederhana dari sebuah sistem yang memiliki sepuluh item skala yang memberikan sebuah gambaran menyeluruh
usability sebuah sistem (Brooke, 1996). SUS terdiri dari sepuluh pertanyaan dengan menggunakan skala Likert 5 poin, dari sangat tidak setuju hingga sangat setuju (Bangor, 2009). Menggabungkannya dengan teknik wawancara juga dapat membantu menjabarkan pendapat pengguna dan mendapatkan feedback
dari sisi pengguna mengenai website yang sedang diteliti untuk dilakukan perbaikan
Penelitian lain yang dapat dijadikan kajian pustaka antara lain penelitian yang dilakukan oleh Akrimi & Khemakhem (2014) yang
berjudul “An Analysis of Perceived Usability, Perceived Interactivity and Website Personality and their effects on Consumer Satisfaction”
menyatakan bahwa website harus menyediakan sebuah tampilan yang memiliki nilai fungsional tinggi untuk membangkitkan emosi positif dan bahkan membuat perilaku yang positif kedepannya. Desain harus menarik secara
visual dan mudah digunakan untuk
meningkatkan kepuasan pengguna.
2. METODOLOGI PENELITIAN
Pada tahap studi pengetahuan, dilakukan pengumpulan informasi-informasi terkait cara penyelesaian permasalahan yang telah didapatkan sebelumnya. Keluaran dari tahap ini adalah teori dan penelitian terdahulu yang mendukung penelitian.
Pada evaluasi awal dilakukan survey terlebih dahulu terhadap pengguna website E-Complaint untuk mengetahui indikasi permasalahan yang dirasakan. Selanjutnya melakukan evaluasi awal dengan menggunakan
heuristic evaluation dalam menemukan permasalahan menggunakan observasi pendapat oleh ahli IT (expert) atau yang memiliki kemampuan dalam bidang antarmuka aplikasi. Evaluator yang dipilih berdasarkan kondisi dan kemampuan untuk mendapatkan evaluator yang sesuai dengan pertimbangan biaya dan usaha. Sesuai dengan pendapat Nielsen (1995) maka dipilih 4 evaluator untuk hasil terbaik dengan juga mempertimbangkan biaya dan usaha yang dapat dilihat dalam Gambar 2.
Gambar 2 Jumlah evaluator berdasarkan biaya dan usaha
Tahap selanjutnya adalah menyiapkan
checklist untuk memberikan pengarahan yang jelas kepada evaluator ketika melakukan evaluasi pada suatu aplikasi. Heuristic checklist
miliki Gomez et al. (2014) digunakan sebagai pedoman evaluator dalam melakukan evaluasi dikarenakan telah disesuaikan dengan perangkat
mobile. Mobileheuristicchecklist berjumlah 13 yang dapat dilihat dalam Tabel 1.
Tabel 1 Mobile heuristic checklist
ID Checklist
MA01 Visibility of system status
MA02 Match between system and the real world
MA03 User control and freedom
MA04 Consistency and standards
MA05 Error prevention
Tabel 2 Mobile heuristic checklist (lanjutan)
ID Checklist
MA06 Recognition rather than recall
MA07 Flexibility and efficiency of use
MA08 Aesthetic and minimalist design
MA09 Help users recognise diagnose, and recover from error
MA10 Help and documentation
MA11 Skills
MA12 Pleasurable and respectful interaction with the user
MA13 Privacy
Tahap selanjutnya adalah mengumpulkan hasil heuristic evaluation yang telah dilakukan oleh seluruh evaluator yang akan dijadikan bahan perbaikan. Namun sebelum dilakukan perbaikan, dilakukan pengisian kuesioner
System Usability Scale (SUS) oleh responden yang memenuhi kriteria, yaitu memiliki hubungan dengan UB, memiliki keluhan mengenai UB dan bersedia melakukan pengisian formulir keluhan pada website E-Complaint UB. Jumlah responden yang dibutuhkan berdasarkan penelitian Nielsen (2012) yang sesuai dengan kondisi website E-Complaint UB dimana memiliki 2 kelompok pengguna yaitu masing-masing 3-4 responden di setiap kelompok. Pertanyaan yang terdapat pada kuesioner SUS dapat dilihat pada Tabel 2.
Tabel 3 Pertanyaan kuesioner SUS
No. Pertanyaan
1 Saya akan sering menggunakan website ini
2 Saya menemukan bahwa website ini tidak seharusnya serumit ini
3 Saya pikir website ini mudah digunakan 4 Saya memerlukan bantuan untuk
mengakses website ini
5 Saya menemukan berbagai fungsi pada website ini yang terintegrasi dengan baik
6 Saya pikir terlalu banyak ketidak konsistenan pada website ini 7 Saya akan membayangkan bahwa
kebanyakan orang akan mempelajari website ini dengan sangat cepat 8 Website ini sangat rumit untuk
digunakan
9 Saya merasa percaya diri menggunakan website ini
Setelah selesai melakukan pengisian kuesioner SUS, responden diwawancarai dengan beberapa pertanyaan untuk mengetahui pendapat responden mengenai desain website. Pertanyaan wawancara yang diajukan meliputi pendapat responden mengenai tampilan website
E-Complaint UB secara umum beserta kendalanya bila ada.
Tahap selanjutnya adalah melakukan perbaikan dari permasalahan yang telah ditemukan oleh expert dan responden. Solusi untuk melakukan perbaikan didapat dari salah satunya guidelines dari Shitkova et al. (2015) yang diperuntukan untuk website dan aplikasi
mobile.
3. HASIL DAN PERBAIKAN
Data penelitian ini dihasilkan dari pengujian heuristic evaluation oleh expert dan kuesioner SUS yang disertai wawancara terhadap responden terhadap antarmuka website
E-Complaint UB lama.
3.1. Heuristic evaluation
Setelah dilakukan heuristicevaluation oleh 4 evaluator pada website E-Complaint Universitas Brawijaya, dapat dilihat total
permasalahan yang ditemukan dan
perbandingan jumlah permasalahan yang ditemukan oleh evaluator pada setiap poin prinsip heuristik yang ada pada Tabel 3.
Tabel 4 Jumlah permasalahan pada desain lama
ID Heuristik Jumlah Permasalahan
MA01
0
MA02
1
MA03
4
MA04
32
MA05
4
MA06
5
MA07
5
MA08
12
MA09
1
MA10
0
MA11
0
MA12
2
MA13
0
TOTAL
66
3.2. Severity Rating
Severity rating dapat digunakan untuk alokasi sebagian besar sumberdaya untuk dapat memprioritaskan penyelesaian masalah dari yang paling serius hingga yang bukan masalah penting (Nielsen, 1995). Untuk severity rating
pada setiap prinsip heuristik dapat dilihat pada Tabel 4.
Tabel 5 Rata-rata severityrating desain lama
Severity
Rating
Permasalahan
Not Problem
0
Cosmetic Problem
1
Minor Problem
16
Mayor Problem
34
Catastrophic Problem
15
Rata-rata
severity
rating
yaitu 1,97.
Permasalahan paling banyak ditemukan
pada
mayor
problem
dengan jumlah 34
permasalahan. Masalah yang paling banyak
selanjutnya ditemukan pada
minor
problem
dengan jumlah 16 permasalahan dan
dilanjutkan
dengan
ditemukannya
15
permasalahan pada
catastrophic
. Dari
permasalahan yang banyak ditemukan pada
tingkat
catastrophic
dan
mayor
problem
menandakan bahwa
website
memiliki
prioritas tinggi untuk dilakukan perbaikan.
3.3. SystemUsabilityScale (SUS)
Hasil penilaian seluruh responden kuesioner System Usability Scale digunakan untuk melihat bagaimana penilaian usability
pengguna pada desain website E-Complaint Universitas Brawijaya yang ada sebelum dilakukan perbaikan tampilan. Skor hasil kuesioner dapat dilihat pada Tabel 5.
Tabel 6 Skor kuesioner SUS desain lama
Kode Responden Skor
RU01 40
RU02 60
RU03 52.5
RU04 40
RC01 42.5
RC02 40
RC03 42.5
RC04 37.5
Dapat dilihat skor kuesioner System
Usability Scale pada tampilan website E-Complaint Universitas Brawijaya memiliki rata-rata 44,38 dari penilaian 8 responden yang sebelumnya telah ditentukan.
Gambar 3 Skor SUS desain lama
Pada Gambar 3 menjelaskan bahwa hasil skor desain lama website E-Complaint UB memiliki adjective ratings “Ok”, grade scale website memiliki nilai “F” dan acceptability website oleh pengguna dirasakan “Not Acceptable” atau tidak dapat diterima.
3.4. Wawancara
Pengguna website E-Complaint
Universitas Brawijaya banyak mengeluhkan mengenai tampilan website yang dinilai masih menyusahkan dan banyak kekurangan yang menimbulkan permasalahan yang dialami oleh pengguna dari hasil wawancara yang telah dilakukan. Permasalahan yang dialami pengguna diantaranya adalah sulitnya keterbacaan teks yang ada pada website, keharusan pengguna untuk melakukan zoom-in
untuk mempermudah penggunaan website, dan masih adanya error pada website E-Complaint Universitas Brawijaya.
3.5. Permasalahan Usability
Evaluator melakukan pengelompokan halaman pada website E-Complaint Universitas Brawijaya, dimana tiga bagian pada website
yang akan dinilai oleh evaluator, yaitu : Beranda, Formulir, dan Statistik. Pada bagian Beranda meliputi halaman Beranda dan halaman Detail Status Keluhan. Pada bagian Form meliputi halaman Login Civitas UB, halaman Form Keluhan Civitas UB, halaman Form Keluhan Masyarakat Umum dan halaman Status Formulir Keluhan. Pada bagian Statistik terdapat halaman Statistik Keluhan E-Complaint Universitas Brawijaya.Seluruh permasalahan usability yang ada adalah hasil rekap dari evaluator dan responden sebagai pengguna website yang dapat dilihat pada Tabel 6.
Tabel 7 Permasalahan usability
No. Permasalahan Usability
Bagian Beranda
MS01 Ukuran teks pada halaman terlampau kecil untuk dapat dibaca
MS02 Tidak konsistennya penggunaan kata
“Civitas” dan “Sivitas” didalam web
MS03 Teks terlalu banyak pada Beranda
MS04 Deskripsi Keluhan Sivitas
Akademika hilang sebelum dibaca ketika di tab
MS05 Deskripsi Keluhan Masyarakat Umum hilang sebelum dibaca ketika di tab
MS06 Form cek status keluhan sebelumnya dapat menghilang ketika melihat deskripsi menu lainnya
MS07 Hover pada menu tampilan desktop tidak akan berfungsi pada perangkat mobile
MS08 Tidak ada pencegahan field yang belum diisi ketika menggunakan fitur Cek Status Keluhan Sebelumnya MS09 Penggunaan submenu untuk menu
form keluhan tidak efisien
MS10 Pemilihan warna saat menu utama aktif, merah untuk keluhan civitas akademika dan hijau untuk umum tidak disarankan
MS11 Warna background fitur Cek Status Keluhan Sebelumnya tidak sama dengan background textfield yang akan diisi ketika di tab
MS12 Background gambar pada halaman tidak penuh
MS13 Ukuran navbar sangat kecil hingga perlunya tindakan zoom-in untuk berpindah menu
MS14 Tidak ada penggunaan icon pada menu navbar
Bagian Formulir
MS15 Form berukuran kecil dan banyak space kosong
MS16 Pemilihan warna merah pada judul dan text info sangat tidak disarankan MS17 Text info dan Text error validasi
meiliki warna yg sama
Tabel 8 Permasalahan usability
No. Permasalahan Usability
MS19 Button Kembali tidak bisa digunakan jika belum mengisi data form
MS20 Kode keamanan pada form tidak berfungsi dan menampilkan peringatan
MS21 Tidak ada kontrol input karakter pada beberapa field
MS22 Tidak dianjurkan menggunakan table untuk form pada perangkat mobile MS23 Input dropdown dengan opsi banyak
belum menggunakan filter MS24 Tombol kembali justru berfungsi
untuk mengirim form saat telah diisi Bagian Statistik
MS25 Pemilihan warna pada Pie Chart kurang memiliki contrast MS26 Ukuran font legend yg terlampau
kecil
MS27 Background gambar pada halaman tidak penuh
3.6. Perbaikan Tampilan
Selain menggunakan guidelines, penelitian ini juga menggunakan solusi atau saran yang diberikan oleh evaluator dan juga responden selaku pengguna website E-Complaint Universitas Brawijaya. Detail solusi atau saran tersebut dapat dilihat pada Tabel 7.
Tabel 9 Solusi dari expert dan responden
Kode
Solusi Masalahan Solusi
SL01 Teks terlalu banyak pada
SL03 Fungsi tombol yang tidak
masing-masing halaman memiliki
permasalahan usability yang berbeda dan juga solusi yang berbeda satu sama lain.
Gambar 4 Perbandingan desain halaman Beranda
Gambar 4 adalah salah satu contoh perbandingan dari desain lama dan desain baru pada halaman Beranda E-Complaint UB. Perbaikan mulai dari navbar yang sebelumnya masih memiliki tampilan desktop pada perangkat mobile yang mengakibatkan terlalu kecilnya navbar, sekarang disesuaikan dengan navbar untuk perangkat mobile. Lalu ukuran
font yang terlalu kecil pada desain lama, telah diperbaiki pada desain rekomendasi. Selanjutnya Fitur Cek Status Keluhan Sebelumnya yang akan hilang ketika menekan fitur Keluhan Civitas Akademika dan Keluhan Masyarakat Umum yang pada desain lama telah diperbaiki dan akan selalu ditampilkan. Tidak adanya pencegahan field yang tidak diisi pada fitur Cek Status Keluhan Sebelumnya juga telah diperbaiki pada desain rekomendasi. Permasalahan teks yang terlalu banyak pada halaman Beranda diperbaiki dengan cara membuatkan halaman Tentang E-Complaint UB.
Gambar 5 Perbandingan desain halaman Detail Keluhan
Permasalahan yang telah diperbaiki antara lain mengenai ukuran font yang terlalu kecil pada desain lama yang telah selanjutnya telah diperbaiki pada desain rekomendasi E-Complaint Universitas Brawijaya.
Gambar 6 Perbandingan desain halaman Autentifikasi Civitas UB
Gambar 6 adalah perbaikan antarmuka pada halaman Autentifikasi Civitas UB E-Complaint UB. Halaman Autentifikasi Civitas UB adalah halaman yang dapat diakses ketika pengguna menekan tombol formulir pada fitur Keluhan Civitas Akademika pada halaman Beranda atau dapat dengan memilih menu Formulir Keluhan Civitas pada navbar. Permasalahan utama yang dibenahi pada halaman tersebut adalah ukuran form yang terlalu kecil sehingga menyulitkan pengguna untuk melakukan login. Permasalahan pada
desain lama tersebut telah diperbaiki pada rekomendasi desain baru pada tampilan sebelah kanan.
Gambar 7 Perbandingan desain halaman Formulir Keluhan Civitas UB
Gambar 7 merupakan perbandingan hasil rekomendasi desain baru dengan desain lama pada halaman Formulir Keluhan Civitas E-Complaint UB. Halaman Formulir Keluhan Civitas UB merupakan halaman yang dapat diakses ketika berhasil login pada halaman Autentifikasi Civitas UB.
Gambar 8 Perbandingan desain halaman Formulir Keluhan Masyarakat Umum
Gambar 9 Perbandingan desain halaman Status Formulir Keluhan
Gambar 9 merupakan perbandingan desain lama dan desain baru halaman Status Formulir Keluhan pada website E-Complaint UB. Permasalahan utama yang dibenahi pada halaman tersebut adalah ukuran font yang terlalu kecil sehingga menyulitkan keterbacaan. Permasalahan pada desain lama tersebut telah diperbaiki pada rekomendasi desain baru pada tampilan sebelah kanan.
Gambar 10 Perbandingan desain halaman Statistik
Gambar 10 merupakan perbandingan desain tampilan halaman Statistik dari desain lama dan desain baru website E-Complaint UB.
4. EVALUASI
Berdasarkan evaluasi dari pengujian awal yang telah dilakukan pada desain lama E-Complaint UB, dilakukan perbaikan pada setiap
permasalahan yang ditemukan pada desain lama. Untuk mengetahui perbedaan usability
pada desain lama dan desain baru, maka dilakukan evaluasi dengan tahap yang sama pada desain baru. Perbedaannya, pada tahap ini menguji hasil desain baru dan juga membahas perbandingan hasil pengujian desain lama dan desain baru yang direkomendasikan.
Gambar 11 Perbandingan temuan permasalahan desain lama dan desain baru
Pada Gambar 11 dapat dilihat
perbandingan temuan masalah yang dilakukan oleh empat evaluator ketika melakukan heuristic evaluation pada desain lama dan juga desain rekomendasi website E-Complaint Universitas Brawijaya. Dari gambar yang telah disajika, terdapat penurunan temuan permasalahan dari desain rekomendasi website E-Complaint Universitas Brawijaya.
Gambar 12 Perbandingan severity rating desain lama dan desain baru
Pada Gambar 12 dapat dilihat
perbandingan severity rating pada desain lama dan rekomendasi desain baru website E-Complaint UB. Pada desain lama, permasalahan terbanyak ditemukan pada nilai 3 (Mayor Usability Problem), kemudian dilanjutkan pada nilai 2 (Minor Usability Problem), dan juga memiliki permasalahan pada nilai 4 (Usability Catashtrope) yang merupakan kesalahan fatal
yang ada pada website E-Complaint UB. Setelah dilakukannya perbaikan dapat dilihat bahwa jumlah permasalahan yang ditemukan pada nilai 3 (Usability Catashtrope), 3 (Mayor Usability Problem) dan 2 (Minor Usability Problem) memiliki penurunan. Rata-rata
severityrating desain baru 0,69.
Gambar 13 Perbandingan skor kuesioner SUS desain lama dan desain baru
Pada Gambar 13 dapat dilihat
perbandingan hasil kuesioner desain lama
website E-Complaint Universitas Brawijaya dengan desain rekomendasi website E-Complaint Universitas Brawijaya. Pada gamabar tersebut keseluruhan responden memberikan nilai usability lebih baik pada desain rekomendasi website E-Complaint Universitas Brawijaya, dimana hal tersebut dapat berarti kepuasan pengguna meningkat dengan ada desain rekomendasi E-Complaint Universitas Brawijaya.
Gambar 14 Skor SUS desain baru
Pada Gambar 14 menjelaskan bahwa hasil skor desain baru website E-Complaint UB memiliki adjective ratings“Good”, gradescale website memiliki nilai “C” dan acceptability website oleh pengguna dirasakan “Acceptable”
atau dapat diterima.
Dari hasil wawancara pada dapat diketahui bahwa keseluruhan responden memiliki pendapat positif mengenai desain rekomendasi
website E-Complaint Universitas Brawijaya dibanding desain sebelumnya. Pada desain rekomendasi website E-Complaint Universitas Brawijaya, mayoritas pengguna berpendapat bahwa permasalahan sebelumnya ada saat
menggunakan desain lama sudah teratasi.
5. KESIMPULAN
Dari
pengujian
usability
dengan
menggunakan metode heuristic evaluation,
didapatkan permasalahan yang ditemukan
oleh expert pada website E-Complaint
Universitas
Brawijaya
berjumlah
66
permasalahan yang dikerucutkan menjadi
27 permasalahan. Saverity rating pada level
cosmetic ditemukan 1 permasalahan, minor
problem ditemukan 16 permasalahan,
mayor problem ditemukan 34 permasalahan
dan
catastrophic
ditemukan
15
permasalahan.
Permasalahan
yang
ditemukan antara lain mengenai ukuran font
yang terlampau kecil, ketidak konsistenan
bahasa, fungsi-fungsi yang ada pada versi
desktop tidak
dapatdiaplikasikan pada versi
mobile, ketidak konsistenan pemilihan
warna, pada tampilan mobile namun navbar
masih menggunakan versi desktop, kurang
efisiennya penggunaan submenu pada
navbar, formulir menggunakan table yang
sangat tidak disarankan pada versi mobile,
ukuran formulir yang terlampau kecil, tidak
ada pembeda input form yang dapat diisi
dan yang tidak dapat diisi, adanya error
pada kode keamanan formulir, adanya error
pad
a tombol “kembali” pada formulir, dan
belum tersedianya fitur pencarian pada
dropdown yang memiliki pilihan banyak.
Dari hasil heuristic evaluation dapat
dilakukan
rekomendasi
perbaikan,
rekomendasi
yang
dilakukan
adalah
memperbesar
ukuran
font
web,
menyeragamkan
bahasa
yang
belum
konsisten, menggunakan fungsi-fungsi yang
dapat dijalankan pada versi desktop dan
mobile, membuat menu navbar khusus
untuk mobile, menghilangkan penggunaan
submenu yang kurang efisien, tidak
digunakannya
table
pada
form,
membedakan input yang dapat diisi dan
yang tidak dapat diisi, memperbaiki error
pada fungsi-fungsi yang belum berjalan
dengan
baik,
dan
memberikan
fitur
pencarian pada input dropdown formulir.
Dari hasil perbandingan tampilan
website
E-Complaint
UB
lama
dan
0 20 40 60 80 100
rekomendasi tampilan website E-Complaint
UB baru didapatkan tingkat
kepuasanpengguna yang meningkat dari rata-rata
penilaian usability menggunakan kuesioner
System Usability Scale, yaitu dari 44,38
menjadi 72,5 yang didukung pula dengan
hasil wawancara kepada 8 responden yang
kesemuanya memberikan feedback positif
pada rekomendasi desain baru website
E-Complaint Universitas Brawijaya. Skor
SUS
juga
menyatakan
membaiknya
adjective ratings dari “Ok” menjadi
“Good”, grade scale dari “F” menjadi “C”
dan acceptabili
ty dari “not acceptable”
menjadi “acceptable”.
SUMBER PUSTAKA/RUJUKAN
Akrimi, Y. & Khemakhem, P R. 2014. An Analysis of Perceived Usability, Perceived Interactivity and Website Personality and their effects on Consumer Satisfaction. International Journal of Management Excellence. Arakawa, M. 2016. But is it useful? Website
Usability Testing of the UH STEM Education Website. The 21st Annual Technology, Colleges and Community Worldwide Online Conference.
Bangor, A., Kortum, P., & Miller J. 2009.
Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale. Journal of Usability
Studies, Vol. 4, Issue 3, pp. 114-123. Bargas-Avila et Al. 2010. Simple but Crucial
User Interfaces in the World Wide Web: Introducing 20 Guidelines for Usable Web Form Design. Switzerland: InTechOpen.
Hertzum, M., Jacobsen, N. E. 2001. The Evaluator Effect: A Chilling Fact about
Usability Evaluation Methods.
International Jurnal of Human-Computer Interaction, Vol 13, No 4,
PP. 421-443
Jenny, A., Eric, D., Ashley, E., Junyoup, K. (2007). Usability Testing vs. Heuristic Evaluation. Project 3. Usability project.
Leavitt Michael & Ben Shneiderman. 2006.
Research – Based Web Design & Usability Guidelines. Tersedia di <https://www.usability.gov/sites/default /files/documents/guidelines_book.pdf> [diakses pada 16 Februari 2018 ]
Nielsen, J. 1995. 10 Usability Heuristics for User Interface Design. Tersedia di
<https://www.nngroup.com/articles/ten-usability-heuristics/> [diakses pada 14 Februari 2018]
Nielsen, J. 1995. How to Conduct a Heuristic Evaluation. Tersedia di https://www.nngroup.com/articles/how-to-conduct-a-heuristic-evaluation/ [diakses pada 14 Februari 2018]
Nielsen, J. 2000. Why You Only Need to Test with 5 Users. Tersedia di <https://www.nngroup.com/articles/wh y-you-only-need-to-test-with-5-users/> [diakses pada 14 Februari 2018]
Nielsen, J. 2012. How Many Test Users in a Usability Study. Tersedia di https://www.nngroup.com/articles/how-many-test-users/ [diakses pada 14 Februari 2018]
Nielsen, J. 2012. Usability 101 : Introduction to Usability. Tersedia di https://www.nngroup.com/articles/usab ility-101-introduction-to-usability/ [diakses pada 14 Februari 2018]
Rubin, J. Chisnell, D. 2008. Handbook of Usability Testing, Second Edition: How to Plan, Desisgn, and Conduct Effective Tests. Wiley Publishing, Inc. Indianapolis.
Rusady, Ruslan. 2004. Public Relation. Edisi Revisi ke-2. Jakarta: PT Raja Grafindo Persada.
Shitkova, M., Holler, J., Heide, T., Clever, N. & Becker, J. 2015. Towards Usability Guidelines for Mobile Websites and Application. Jerman: International Conference on Wirtschaftsinformatik. Universitas Brawijaya. 2018. E-Complaint
