Fakultas Ilmu Komputer
Universitas Brawijaya 2710
Evaluasi Usability Dan Perbaikan Antarmuka Pengguna Pada Aplikasi E- Suket Kota Kediri Menggunakan Metode Usability Testing
Ihsa Almasyah Pahlevi1, Retno Indah Rokhmawati2, Lutfi Fanani3
Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1[email protected], 2[email protected], 3[email protected]
Abstrak
E-Suket Kota Kediri merupakan aplikasi berbasis android pelayanan surat mandiri bagi warga Kota Kediri. Berdasarkan hasil studi terhadap ulasan pengguna pada Google Playstore terdapat beberapa masalah yang dirasakan pengguna saat menggunakan aplikasi diantaranya gagal mengajuan surat, dan eror. Maka sebab itu, evaluasi dan perbaikan aplikasi E-Suket Kota Kediri perlu dilakukan untuk meningkatkan nilai usability aplikasi. Metode evaluasi yang digunakan adalah usability testing yang dalam proses pengujiannya melibatkan pengguna untuk menilai sejauh mana aplikasi telah memenuhi kriteria yang diujikan. Evaluasi dilakukan dengan pengujian tugas, pengisian kuesioner, dan wawancara. Pada proses evaluasi aplikasi, aspek yang diukur berdasarkan ISO 9421-11 yaitu aspek efektivitas, efisiensi, dan kepuasan pengguna. Dilakukan dua kali pengujian yaitu pengujian pada desain awal aplikasi dan pengujian pada rekomendasi desain perbaikan yang dibuat berdasarkan hasil analisis evaluasi desain awal. Berdasarkan hasil wawancara pada responden uji diperoleh 27 temuan masalah pada aplikasi. Terdapat 28 guidelines untuk menyusun rekomendasi perbaikan aplikasi.
Pengujian pada aspek efektivitas menunjukkan nilai pada desain awal 55,5% dan pada desain perbaikan 100%, pengujian pada aspek efektifitas menunjukkan nilai pada desain awal 54,42% dan pada rekomendasi perbaikan 100%, serta pada tingkat kepuasan pengguna dengan media kuesioner nilai pada desain semula adalah sebesar 43,75 dan pada desain perbaikan 66,5.
Kata kunci: usability, usability testing, system usability scale, aplikasi e-suket Abstract
E-Suket of Kediri City is an android-based application for independent official letter services for resident of Kediri City. Based on the result of a study of user reviews on the Google Play Store, there are several problems that users found while using the application, including failing to submit letter request and errors. Therefore, important to evaluate and improving the E-Suket application so it can increase it usability value. The evaluation method used is usability testing, which in the testing process involves the users to assess the extent to which the application has met the criteria being tested.
Evaluation is done by testing assignments, filling out questionnaires, and interviews. In the evaluation process, the aspects being measured is based on ISO 9421-11 which are effectiveness, efficiency, and user satisfaction. Testing was done twice, namely testing on the initial design of application and testing on the recommendations for design improvement made based on the results of the initial design evaluation analysis. Based on the results of interviews with test respondents, there were 27 problems found in the application. There are 28 guidelines for developing recommendations for application design improvements. The test results on effectiveness aspect shows 55,5% for the initial design and 100% for the design recommendation, the test results on the effectiveness aspect shows 54,42% for the initial design and 100% for the design recommendation, and the test results on users satisfaction aspect using the SUS questionnaires shows 43,75 for initial design and 66,5 for design recommendation.
Keywords: usability, usability testing, system usability scale, e-suket application
1. PENDAHULUAN
Pengembangan e-goevernment pada lingkungan instansi pemerintahan di Indonesia saat ini terus ditingkatkan untuk memberikan
pelayanan yang terbaik untuk masyarakat. Hal ini dibuktikan dengan diterapkannya pemanfaatan dari sistem eletronik sebagai alat pembantu pemerintah dalam memberikan pelayanan kepada masyarakat. Salah satu contoh penerapan e-government dilingkungan pemerintahan Kota Kediri adalah dibuatnya aplikasi E-Suket Kota Kediri oleh Dinas Komunikasi dan Informatika Kota Kediri.
Aplikasi E-Suket adalah sebuah aplikasi sistem informasi yang dapat dipakai masyarakat Kota Kediri yaitu untuk mengajukan pembuatan surat keterangan dengan mandiri. Berdasarkan hasil wawancara yang telah dilakukan dengan pengguna aplikasi tersebut diketahui adanya permasalahan usability yang dikeluhkan oleh pengguna ketika menggunakan aplikasi seperti gagal dalam pengajuan surat keterangan, tidak ada notifikasi dari mengajukan surat keterangan yang telah dilakukan, fitur yang tidak diketahui fungsinya karena tidak ada keterangan penjelas.
Hal tersebut tentunya akan mengurangi produktivitas pengguna saat menggunakan aplikasi.
Usability merupakan atribut kualitas yang digunakan untuk mengukur pemahaman pengguna dalam memanfaatkan kegunaan dari produk dan layanan untuk memenuhi tujuan yang ingin mereka capai dan tingkat kepuasan yang pengguna daaptkan saat menggunakan produk atau layanan (International Organization For Standardization, 1998). Faktor tersebut menunjukkan pentingnya aspek usability yang terdapat dalam suatu produk. Salah satu metode yang dapat dipakai untuk mengukur nilai aspek usability suatu produk adalah usability testing.
Usability testing merupakan sebuah metode evaluasi usability yang melibatkan pengguna dari suatu produk dalam proses penilaian usability produk tersebut (Quovantis, 2017).
Selain itu metode usability testing adalah salah satu metode yang paling murah dan mudah untuk dipakai dalam memperoleh nilai usability dari suatu produk (Nielsen, 2012b).
Metode usability testing digunakan oleh peneliti untuk melakukam penilaian aspek usability pada ISO 9241-11 yaitu aspek efisiensi, efektivitas serta kepuasan pengguna.
Metode tersebut dipilih untuk evaluasi usability aplikasi E-Suket Kota Kediri karena evaluasi langsung dilakukan pada pengguna yaitu pada proses penilaian dan pencarian permasalahan usability pada aplikasi. Hal tersebut menunjukkan bahwa metode usability testing sangat sesuai digunakan untuk mengetahui nilai
usability dan untuk menggali permasalahan usability pada aplikasi E-Suket Kota Kediri langsung dari penggunanya.
2. METODOLOGI
Metodologi digunakan sebagai pedoman supaya penelitian yang dilakukan berjalan secara terarah dan sistematis. Rangkaian dari seluruh proses metodologi penelitian ini terdapat pada Gambar 1.
Gambar 1. Alur metodologi penelitian
Tahapan pertama dari penelitian yaitu dengan melakukan kajian literatur untuk menemukan teori pendukung yang akan membantu proses penelitian. Studi literatur dilakukan dengan pencarian teori pendukung melalui berbagai macam sumber seperti buku dan jurnal ilmiah.
Pada tahap persiapan evaluasi usability dilakukan identifikasi pengguna aplikasi E- Suket Kota Kediri yang bertujuan untuk menentukan responden uji usability testing.
Selanjutnya dilakukan penyusunan instrumen pengujian usability yang terdiri dari skenario pengujian usability, daftar pertanyaan
wawancara, dan kuesioner SUS.
Evaluasi aplikasi E-Suket Kota Kediri dilaksanakan melalui 3 tahapan yaitu pengujian tugas, wawancara, dan pengisian kuesioner SUS. Proses pengujian tugas dan wawancara dilakukan terhadap 5 responden uji. Sedangkan untuk pengisian kuesioner SUS dibutuhkan 20 responden. Dari 20 responden untuk pengisian kuesioner SUS, 5 diantaranya merupakan responden uji usability dan 15 adalah responden yang tidak melaksanakan uji usability. Untuk melakukan studi kuantitaif, penentuan jumlah responden tersebut merupakan jumlah respoden uji usability yang optimal (Nielsen, 2012a).
Skenario untuk pengujian tugas usability dibuat sesuai dengan fitur yang ada pada aplikasi E-Suket. Terdapat 9 tugas uji untuk mendapatkan data kuantitatif berupa efektivitas dan efisiensi pengguna pada saat menggunakan aplikasi. Tugas uji dapat dilihat pada Tabel 1.
Tabel 1. Daftar Pengujian Usability Kode
Tugas Uji
Tugas Uji Usability
TPU1 Mencoba menu pengajuan SKTM Sekolah TPU2 Mencoba menu pengajuan Surat Keterangan
Boro Kerja
TPU3 Mencoba menu pengajuan Surat Keterangan TPU4 Mencoba menu pengajuan Surat Keterangan
Belum Menikah
TPU5 Mencoba menu pengajuan Surat Keterangan Usaha
TPU6 Mencoba menu pengajuan Surat Keterangan Domisili
TPU7 Mencoba menu pengajuan Surat Keterangan Penghasilan
TPU8 Mencoba melakukan update data nomor hp TPU9 Mencoba mengurutkan histori pengajuan
surat berdasarkan nama surat
Pelaksanaan evaluasi usability bertujuan untuk mengetahui nilai usability pada aplikasi E-Suket Kota Kediri berdasarkan tiga aspek usability ISO 9241-11 antara lain aspek efektivitas, aspek efisiensi, serta aspek kepuasan pengguna. Aspek efektivitas pada aplikasi dihitung dengan menggunukan rumus completion rate terhadap tingkat keberhasilan yang diperoleh oleh responden pada saat melakukan tugas uji yang diberikan (Sergeev, 2010a). Pengukuran aspek efektivitas dihitung menggunakan persamaan (1) (Mifsud, 2015).
100%(1) Aspek efisiensi pada aplikasi dihitung
dengan rumus overall relative efficiency terhadap data waktu uji yang dibutuhkan para responden untuk melaksanakan pengujian usability (Sergeev, 2010b). Pengukuran aspek efisiensi dihitung menggunakan persamaan (2) (Mifsud, 2015).
∑ ∑ ∑∑
(2)
Aspek kepuasan pengguna diukur dengan memakai media kuesioner System Usability Scale (SUS). Pada standar kuesioner SUS sudah disediakan 10 pernyataan terkait usability aplikasi sekaligus skala likert untuk menghitung nilai SUS. Skala likert pada kuesioner SUS menyediakan 5 pilihan jawaban, antara lain nilai 1 untuk sangat tidak setuju, 2 untuk tidak setuju, 3 untuk netral, 4 untuk setuju, dan 5 untuk sangat setuju. Daftar pernyataan pada kuesioner SUS dengan Bahasa Indonesia terdapat pada Tabel 2.
Tabel 2. Daftar Pernyataan Kuesioner SUS dalam Bahasa Indonesia
No Pernyataan Kuesioner SUS 1 Saya berpikir akan menggunakan sistem
tersebut terus
2 Saya merasa sistem tersebut rumit digunakan 3 Saya merasa sistem tersebut mudah digunakan 4 Saya membutuhkan bantuan dari orang lain
atau ahli dalam menggunakan sistem tersebut 5 Saya merasa fitur-fitur pada aplikasi berjalan
sebagaimana mestinya
6 Saya merasa ada banyak hal yang tidak konsiten (tidak serasi) pada sistem tersebut 7 Saya merasa orang lain akan memahami cara
menggunakan sistem tersebut
8 Saya merasa sistem tersebut membingungkan 9 Saya merasa tidak ada hambatan pada saat
menggunakan sistem tersebut
10 Saya perlu mebiasakan diri terlebih dahulu sebelum menggunakan sistem tersebut
Untuk menghitung nilai jawaban untuk setiap pernyataan kuesioner SUS dengan memakai persamaan (3) (Sauro, 2011)
R= ((P1-1)+(5-P2)+(P3-1)+(5-P4)+(P5- 1)+(5-P6)+(P7-1)+(5-P8)+(P9-1)+(5-P10))
x 2,5 (3)
Tahapan akhir proses evaluasi adalah wawancara kepada responden uji yang telah melaksanakan pengujian tugas. Wawancara merupakan teknik untuk mengumpulkan informasi atau data untuk keperluan penelitian serta untuk mendapatkan infromasi yang lebih
mendalam dari narasumber (Sugiyono, 2012).
Wawancara pada penelitian bertujuan untuk menggali temuan masalah yang dialami responden selama menggunakan aplikasi serta untuk mendapat saran dari responden terhadap aplikasi. Daftar pertanyaan untuk pengambilan data kualitatif terdapat pada Tabel 3.
Tabel 3. Daftar Pertanyaan No Pertanyaan Wawancara
1 Bagaimanakah pengalaman selama memakai aplikasi E-Suket?
2 Hal apa saja yang disukai pada aplikasi E- Suket?
3 Hal apa saja yang tidak disukai pada aplikasi E-Suket Kota Kediri?
4 Aplikasi lain yang serupa dengan E-Suket apa yang pernah digunakan?
5
Pada saat memakai aplikasi E-Suket, permasalahan dan kendala apa saja yang dirasakan?
6 Saran atau harapan apa yang diharapkan dari aplikasi E-Suket selanjutnya?
Data yang didapatkan selama proses pengujian tugas akan digunakan untuk menghitung aspek usability pada aplikasi yaitu aspek efesiensi, efektivitas serta kepuasan pengguna. Data yang didapat dari wawancara dianlisis untuk menyusun temuan permasalahan yang dialami oleh para responden pada saat menggunakan aplikasi E-Suket Kota Kediri.
Setelah proses analisis data hasil evaluasi aplikasi selesai dilakukan, maka tahapan selanjutnya yaitu membuat rancangan desain perbaikan aplikasi. Rancangan desain perbaikan dibuat sabagai bentuk rekomendasi atas permasalahan usability pada aplikasi.
Rancangan desain perbaikan berupa wireframe dan high-fidelity prototype. Untuk memastikan bahwa hasil dari perancangan desain perbaikan telah memenuhi harapan dari pengguna, maka akan dilakukan evaluasi terhadap desain tersebut. Metode evaluasi usability yang digunakan untuk mengevaluasi desain perbaikan sama dengan merode evaluasi desain awal yaitu usability testing. Penggunaan metode evaluasi yang sama bertujuan untuk mempermudah proses perbandingan nilai aspek usability desain awal aplikasi dengan desain perbaikan aplikasi. Setelah seluruh proses penelitian selesai dilakukan, tahapan untuk menutup penelitian adalah ditarik kesimpulan berdasarkan penelitian yang telah dilakukan serta saran untuk pembaca maupun penelilitian selanjutnnya.
3. ANALISIS HASIL EVALUASI USABILITY
Analisis hasil evaluasi usability bertujuan untuk mengetahui nilai aspek usability yang dicapai oleh aplikasi E-Suket Kota Kediri. Data hasil evaluasi yang digunakan untuk menghitung aspek usability aplikasi yaitu efektivitas, efisiensi, dan kepuasan pengguna diperoleh dari pengujian tugas, kuesioner SUS, dan wawancara. Nilai aspek efektivitas dari desain awal yang dihitung dengan rumus completion rate terdapat pada Tabel 4.
Tabel 4. Hasil Perhitungan Aspek Efektivitas Kode
Responden Perhitungan Hasil Kategori
RU1 × 100% 66,6% Bad
RU2 × 100% 66,6% Bad
RU3 × 100% 55,5% Bad
RU4 × 100% 44,4% Bad
RU5 × 100% 44,4% Bad
Rata-rata 55,5% Bad
Berdasarkan data perhitungan pada Tabel 4 nilai rata-rata completion rate yang diperoleh aplikasi E-Suket Kota Kediri adalah sebesar 55,5%. Nilai tersebut menunjukkan bahwa desain awal aplikasi tergolong dalam tingkat - bad untuk aspek efektivitas. Nilai aspek efisiensi dari desain awal yang dihitung dengan rumus overall relative eficiency terdapat pada Tabel 5.
Tabel 5. Hasil Perhitungan Aspek Efisiensi Kode
Uji Perhitungan Hasil
TPU01 ( ) ) ) ) ))
) )× 100% 25,87%
TPU02 ( ) ) ) ) ))
) )× 100% 0%
TPU03 ( ) ) ) ) ))
) )× 100% 96,96%
TPU04 ( ) ) ) ) ))
) )× 100% 100%
TPU05 ( ) ) ) ) ))
) )× 100% 0%
TPU06 ( ) ) ) ) ))
) )× 100% 66,98%
TPU07 ( ) ) ) ) ))
) )× 100% 0%
TPU08 ( ) ) ) ) ))
) )× 100% 100%
TPU9 ( ) ) ) ) ))
) )× 100% 100%
Rata-rata 54,42%
Berdasarkan data perhitungan pada Tabel 4 nilai rata-rata overall relative eficiency yang diperoleh aplikasi E-Suket Kota Kediri adalah sebesar 54,42%. Nilai aspek kepuasan pengguna dari desain awal aplikasi yang diukur
dengan media kuesioner SUS yang dibagikan kepada 20 orang responden. Pengisian kuesioner SUS dilakukan setelah responden melakukan eksplorasi bebas terhadap aplikasi E-Suket Kota Kediri. Hasil dari perhitungan seluruh kuesioner yang didapatkan menghasilkan nilai rata-rata kepuasan pengguna 43,75. Nilai kepuassan pengguna tersebut tergolong dalam tingkat OK pada skala adjektif, tingkat F pada scale grade, dan masuk tingkatan non acceptable pada acceptability ranges (Kortum & Bangor, 2013). Analisis terhadap hasil wawancara kepada responden uji dilakukan untuk menemukan permasalahan usability yang dirasakan oleh responden pada saat menggunakan aplikasi E-Suket Kota Kediri. Analisis permasalahan disusun menjadi sebuah daftar temuan permasalahan yang kemudian dijadikan sebagai panduan dalam merancang desain rekomendasi perbaikan.
Contoh daftar beberapa temuan permasalahan aplikasi E-Suket Kota Kediri yang dirasakan oleh kelima responden terdapat pada Tabel 6.
Tabel 6. Daftar Temuan Permasalahan Usability Kode
Masalah
Deskripsi Masalah Usability
Kode Responden UP03
Kurang jelas serta tidak representatifnya ikon menu surat pengajuan
RU1, RU2, RU3, RU4,
RU5 UP08
Tidak tersedia fitur petunjuk pada pengajuan Surat Boro Kerja.
RU1, RU2, RU3, RU4,
RU5
UP18
Tidak sesuainya kolom masukan data tempat lahir pada pengajuan SKTM Sekolah
RU1, RU2, RU3, RU4,
RU5
UP19
Tidak sesuainya kolom masukan data tanggal lahir pada pengajuan SKTM Sekolah
RU1, RU2, RU3, RU4,
RU5
UP23
Fitur scroll down pada profil tidak diperlukan karena tidak ada informasi tambahan yang
ditampilkan
RU1, RU2, RU3, RU4,
RU5
UP24
Tidak diberikan fitur untuk membatalkan pengajuan surat
RU1, RU2, RU3, RU4,
RU5 UP26
Terjadi kegagal saat melakukan pengajuan surat.
RU1, RU2, RU3, RU4,
RU5
4. PERANCANGAN DAN EVALUASI DESAIN PERBAIKAN
Perancangan rekomendasi perbaikan membutuhkan guidelines yang sesuia terhadap temuan masalah pada aplikasi E-Suket Kota
Kediri. Daftar guidelines perbaikan dibuat dari berbagai macam sumber guidelines perbaikan yang dinilai paling sesuai untuk solusi dari temuan masalah. Perancangan rekomendasi desain perbaikan penelitian ini memiliki 20 guidelines perbaikan yang dipakai. Tahap perancangan rekomendasi desain perbaikan dimulai dengan pembuatan wireframe dan dilanjutkan dengan prototype dari aplikasi.
Salah satu contoh permasalahan dengan kode UP18 dan UP19 yaitu kolom input dapat diberikan masukan yang seharusnya kolom tersebut tidak bisa diberikan masukan karena merupakan kolom yang menampilkan data hasil pencarian NIK. Permasalahan untuk kode UP18 dan UP19 dapat dilihat pada Gambar 2.
Perbaikan untuk permaslahan UP18 dan UP19 yaitu dengan membuat disable masukan kolom masukan. Desain wireframe dan perbaikan dapat dilihat pada Gambar 3.
Gambar 2. Letak permasalahan UP18 dan UP19
Gambar 3. Desain Perbaikan Permasalahan UP18 dan UP19
Evaluasi usability terhadap rancangan desain perbaikan dilakukan untuk mengetahui nilai aspek usability yang dicapai dari desain tersebut. Metode dan proses evaluasi terhadap desain perbaikan sama dengan dengan evaluasi awal yaitu usability testing dengan pengujian tugas, kuesioner, dan wawancara. Nilai aspek efektivitas dari rekomendasi desain solusi yang diukur dengan rumus completion rate terdapat pada Tabel 7.
Tabel 7. Hasil Perhitungan Aspek Efektivitas Kode
Responden Perhitungan Hasil Kategori
RU1 × 100% 100% Good
RU2 × 100% 100% Good
RU3 × 100% 100% Good
RU4 × 100% 100% Good
RU5 × 100% 100% Good
Rata-rata 100% Good
Berdasarkan data perhitungan pada Tabel 7 nilai efektivitas yang diperoleh desain solusi aplikasi E-Suket Kota Kediri adalah sebesar 100%. Nilai tersebut menunjukkan bahwa desain solusi aplikasi E-Suket Kota Kediri tergolong kedalam kategori good untuk aspek efektivitas dan menunjukkan adanya peningkatan dari desain awal aplikasi yang memiliki rata-rata nilai aspek efetivitas sebesar
55,5%. Nilai aspek efisiensi dari rekomendasi desain solusi yang diukur dengan rumus overall relative eficiency terdapat pada Tabel 8.
Tabel 8. Hasil Perhitungan Aspek Efisiensi Kode
Uji Perhitungan Hasil
TPU01 ( ) ) ) ) ))
) )× 100% 100%
TPU02 ( ) ) ) ) ))
) )× 100% 100%
TPU03 ( ) ) ) ) ))
) )× 100% 100%
TPU04 ( ) ) ) ) ))
) )× 100% 100%
TPU05 ( ) ) ) ) ))
) )× 100% 100%
TPU06 ( ) ) ) ) ))
) )× 100% 100%
TPU07 ( ) ) ) ) ))
) )× 100% 100%
TPU08 ( ) ) ) ) ))
) )× 100% 100%
TPU9 ( ) ) ) ) ))
) )× 100% 100%
Rata-rata 100%
Berdasarkan data perhitungan pada Tabel 4 nilai rata-rata overall relative eficiency yang diperoleh rekomendasi desain perbaikan aplikasi E-Suket Kota Kediri adalah sebesar 100%. Nilai tersebut membuktikan adanya kenaikan nilai aspek efisiensi dari desain awal aplikasi yang mencapai rata-rata sebesar 54,42%. Aspek kepuasan pengguna dari desain solusi diukur dengan media kuesioner SUS yang dibagikan kepada 20 orang responden didapatkan nilai kepuasan pengguna 66,5. Nilai kepuasan pengguna tersebut tergolong dalam kategori good pada skala adjektif, tingkat D dalam grade scale, dan masuk tingkatan marginal(high) pada acceptability ranges (Kortum & Bangor, 2013). Nilai tersebut membuktikan adanya kenaikan nilai aspek kepuasan pengguna dari desain awal aplikasi yang memiliki nilai rata-rata sebesar 43,75.
Evaluasi usability juga dilakukan terhadap fitur baru atau fitur tambahan yang belum terdapat dalam desain awal aplikasi.
Rekomendasi desain fitur tambahan ini dirancang berdasarkan temuan masalah dan saran yang diberikan responden uji yang didapatkan pada saat evaluasi desain awal aplikasi E-Suket Kota Kediri. Evaluasi ini dilakukan untuk memvalidasi rekomendasi desain fitur baru tersebut akan tetapi hasil dari evaluasi tidak dimasukkan kedalam perbandingan hasil evaluasi awal dan evaluasi rekomendasi desain perbaikan. Tugas uji untuk menguji rekomendasi desain fitur tambahan terdapat pada Tabel 9.
Tabel 9. Daftar Tugas Uji Fitur Baru Kode Tugas Uji Usability
Tugas Uji
UT01 Mencoba membatalkan pengajuan surat yang sudah dibuat.
UT02 Mencoba pemberitahuan status dari pengajuan surat yang sudah dibuat.
Nilai aspek efektivitas dari rekomendasi desain fitur baru yang dihitung menggunakan completion rate memperoleh nilai rata-rata sebesar 100%. Nilai aspek efisiensi dari rekomendasi desain fitur baru yang dihitung menggunakan overall relative eficiency memperoleh nilai rata-rata sebesar 100%.
Analisis hasil wawancara kepada 5 responden uji terhadap rekomendasi perbaikan didapatkan 6 temuan permasalahan yang dirasakan responden pada saat menggunakan desain solusi perbaikan. Temuan masalah dari rekomendasi desain solusi terdapat pada Tabel 12.
Tabel 12. Daftar Temuan Masalah Usability Rekomendasi Desain Solusi
Kode Masalah
Deskripsi Masalah Usability
Kode Responden RP01
Button edit pada fitur edit nomor hp sulit ditekan karena memiliki ukuran yang sangat kecil.
RU4
RP02
Fitur unggah dokumen surat pengantar pada menu pengajuan surat tidak disediakan fitur untuk membuka kamera.
RU1, RU2
RP03
Desain menu histori pengajuan terasa kaku dan membingungkan untuk dibaca karena terlalu padat tulisan.
RU3
RP04
Alur untuk membatalkan pengajuan surat masih belum jelas.
RU3
RP05
Tidak tersedia fitur untuk melakukan perubahan data pengajuan surat.
RU4
RP06
Tidak tersedia fitur untuk melakukan review pengajuan surat sebelum mengunggah.
RU2
Peningkatan nilai usability desain awal aplikasi serta nilai usability desain solusi aplikasi E-Suket Kota Kediri menurut aspek usability pada ISO 9241-11 terdapat pada Tabel 13.
Tabel 13. Perbandingan Hasil Evaluasi
No Perhitungan
Hasil Evaluasi Usability Desain Desain
Awal Perbaikan 1 Aspek Efektivitas 55,5% 100%
(Good) 2 Aspek Efisiensi 54,42% 100%
3 Aspek Kepuasan Pengguna
43,75 (Ok)
66,5 (Good)
Dari hasil perbandingan pada Tabel 13 menunjukkan bahwa rekomendasi desain perbaikan mampu memberikan peningkatan nilai aspek usability pada aplikasi E-Suket Kota Kediri.
5. PENUTUP
Pelaksanaan evaluasi awal bertujuan untuk mengetahui capaian nilai aspek usability pada aplikasi E-Suket Kota Kediri. Selain itu evaluasi juga bertujuan untuk menemukan permasalahan usability yang dialami oleh responden ketika memakai aplikasi E-Suket Kota Kediri. Aspek usability yang diukur berdasarkan aspek-aspek usability pada ISO 9241-11 yang terdiri dari efisiensi, efektivitas, serta kepuasan pengguna. Berdasarkan analisis pengukuran desain awal memiliki nilai efektivitas sebesar 55,5%, nilai efisiensi sebesar 54,42%, dan nilai kepusan pengguna sebesar 43,75. Berdasarkan hasil analisis wawancara dengan 5 responden uji ditemukan 27 temuan permasalahan pada aplikasi E-Suket Kota Kediri. Temuan masalah paling dominan yang dialami oleh semua reponden uji adalah tidak ada fitur bantuan atau penjelasan tentang bagaimana alur dari pengajuan surat menggunakan aplikasi E-Suket tersebut.
Kesulitan yang dirasakan oleh peneliti pada saat proses pengujian yaitu kelima responden tidak bisa dikumpulkan pada satu tempat serta waktu uji yang sama, hal tersebut dikarenakan adanya pandemi, sehingga pengambilan data evaluasi lama dan kurang optimal.
Ada 20 panduan perbaikan desain yang dipakai untuk membantu perancangan desain perbaikan dari permasalahn usability yang ditemukan. Rekomendasi perbaikan berupa high-fidelity prototype yang dibuat pada media adobe xd. Selain memberikan rekomendasi perbaikan untuk permasalahan usability pada desain aplikasi, dibuat juga desain fitur baru yang belum ada sebelumnya pada aplikasi untuk memberikan rekomendasi desain solusi dari temuan permasalahan aplikasi E-Suket Kota Kediri.
Hasil pengujian desain perbaikan mendapatkan nilai 100% pada aspek efektivitas,
nilai 100% pada aspek efisiensi, dan 66,5 pada aspek kepuasan pengguna. Hal tersebut menunjukkan bahwa desain rekomendasi perbaikan yang telah dibuat mampu memeberikan peningkatan nilai usability pada aplikasi E-Suket Kota Kediri. Salain dilakukan evaluasi terhadap desain rekomendasi desain awal aplikasi, dilaksanakan juga pengujian terhadap rekomendasi fitur tambahan untuk memvalidasi desain tersebut, akan tetapi hasil pengujian desain fitur tambahan tidak akan diikutsertakan pada perbandingan hasil pengujian desain awal dan desain solusi. Hasil pengujian rekomendasi desain fitur baru mendapatkan nilai 100% untuk aspek efektivitas dan nilai 100% aspek efisiensi.
Saran dari penelitian ini adalah untuk penelitian evaluasi usability selanjutnya dapat menggunakan segmentasi umur dari responden yang jelas dan spesifik guna mendapatkan hasil pengujian yang lebih spesifik. Penelitian selanjutnya dapat menggunkan aspek usability yang lebih sesuai dengan permaslahan penelitian dan fleksibel untuk digunkan dalam kondisi yang tidak terduga, seperti contohnya pandemic.
6. DAFTAR PUSTAKA
International Organization For Standardization.
(1998). ISO 9241-11. In International Organization.
Kortum, P. T., & Bangor, A. (2013). Usability Ratings for Everyday Products Measured With the System Usability Scale.
International Journal of Human-
Computer Interaction. [daring] Tersedia di:<https://doi.org/10.1080/10447318.201 2.681221> [Diakses 12 September 2020]
Mifsud, J. (2015). Usability Metrics – A Guide To Quantify The Usability Of Any System.
[daring] Tersedia di:
<https://usabilitygeek.com/usability- metrics-a-guide-to-quantify-system- usability/> [Diakses 15 September 2020]
Nielsen, J. (2012a). How Many Test Users in a Usability Study? Nielsen Norman Group.
Nielsen, J. (2012b). Usability 101: Introduction to Usability. All Usability.
Quovantis. (2017). Why is it important to do usability testing. [daring] Tersedia di:
<https://uxplanet.org/why-is-it-important- to-do-usability-testing-5080a5640df3>
[Diakses 27 Agustus 2020]
Sauro, J. (2011). Measuring Usability With The System Usability Scale (SUS). Measuring Usability.
Sergeev, A. (2010a). Effectiveness. [daring]
Tersedia di:<http://ui-
designer.net/usability/effectiveness.htm>
[Diakses 15 September 2020]
Sergeev, A. (2010b). Efficiency. [daring]
Tersedia di:<http://ui-
designer.net/usability/efficiency.htm>
[Diakses 15 September 2020]
Sugiyono. (2012). Metode Penelitian Kuantitatif, Kualitatif dan R &
D.Bandung:Alfabeta. Metode Penelitian Kuantitatif, Kualitatif Dan R &
D.Bandung:Alfabeta.[daring] Tersedia di:
<https://doi.org/10.1017/CBO9781107415 324.004> [Diakses 20 Agustus 2020]
