Fakultas Ilmu Komputer
Universitas Brawijaya
4373
Evaluasi dan Perancangan Perbaikan Antarmuka Pengguna Aplikasi KER dengan Pendekatan Human Centered Design
Teophilus Hans Juliher1, Ismiarta Aknuranda2, Aditya Rachmadi3 Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1[email protected], 2[email protected], 3[email protected]
Abstrak
Salah satu upaya Pemerintah Kota Malang dalam menerapkan layanan e-government adalah meluncurkan aplikasi KER melalui Dinas Komunikasi Dan Informatika Kota Malang. Aplikasi KER merupakan integrasi dari berbagai aplikasi layanan publik untuk mewujudkan layanan dalam sebuah genggaman. Namun dalam penggunaannya, aplikasi KER memiliki beberapa permasalahan yang dialami oleh pengguna. Berdasarkan permasalahan tersebut, peneliti melakukan evaluasi dan perancangan perbaikan antarmuka pengguna aplikasi KER. Evaluasi dilakukan dengan menghitung success rate dan time-based efficiency kepada 5 orang responden dengan task scenario lalu menghitung nilai usability yang diperoleh melalui kuesioner USE (Usefulness, Satisfaction, dan Ease of Use) yang diisi oleh 20 orang responden setelah menggunakan sistem. Pendekatan yang digunakan pada perancangan adalah Human Centered Design. Hasil rancangan pada penelitian ini adalah wireframe dan prototipe berfidelitas tinggi. Evaluasi awal mendapatkan nilai success rate sebesar 86,6%, time-based efficiency 0,05 goals/sec dan nilai usability 65%. Setelah dilakukan perbaikan desain antarmuka pengguna, maka evaluasi Kembali dilakukan dan menghasilkan nilai success rate 100%, time-based efficiency 0,01 goals/sec dan nilai usability 82%. Berdasarkan hasil dari evaluasi perbaikan antarmuka pengguna maka perbaikan meningkatkan nilai usability dari sistem.
Kata kunci: perancangan, antarmuka pengguna, Human Centered Design, kuesioner USE, usability, Abstract
KER is an e-government service for the Malang City government through the Malang City Information and Communication Office. KER is an integration of various public service applications to realize services in one hand. However, in its use, KER has several problems experienced by its users. Based on the problems found, researchers evaluated and designed user interface improvements to KER.
Evaluation was carried out by measuring the success rate and time-based efficiency of 5 respondents using a task scenario then measuring the usability value obtained through the USE questionnaire (Usefulness, Satisfaction, and Ease of Use) filled out by 20 respondents after using the system. The approach used in the design is Human Centered Design. The designs produced in this study are a wireframe and a hi-fidelity prototype. In the initial evaluation, it was found that the success rate was 86.6%, the time-based efficiency was 0.05 goals / sec and the usability value was 65%. After improving the user interface design, a re-evaluation is carried out and it produces a success rate of 100%, a time- based efficiency of 0.01 goals / sec and a usability value of 82%. After the design improvement of the user interface design is carried out, an evaluation of the design improvement is carried out and results in a success rate of 100%, a time-based efficiency of 0.01 goals / sec and a usability value of 82%. Based on the results of the evaluation of user interface improvements, the improvements increase the usability value of the system.
Keywords: design, user interface, Human Centered Design, USE questionnaire, usability
1. PENDAHULUAN
Penggunaan teknologi dalam kehidupan sehari-hari digunakan untuk memudahkan
pekerjaan manusia dan membantu manusia dalam berbagai hal, termasuk pemanfaatan teknologi pada lingkup pemerintahan yang disebut dengan e-Government. Menurut definisi dari World Bank, e-Government merupakan
upaya pemanfaatan dan pemanfaatan telematika untuk meningkatkan efisiensi dan efektivitas pemerintahan, memberikan pelayanan yang lebih baik kepada masyarakat, memberikan akses informasi kepada publik secara lebih luas, menjadikan pemerintahan yang lebih akuntabel dan transparan kepada masyarakat. Dalam pengembangan dan implementasi sistem e- Government pemerintah Kota Malang meluncurkan aplikasi “KER”. Aplikasi KER merupakan integrasi dari berbagai aplikasi layanan publik untuk mewujudkan layanan dalam sebuah genggaman.
Meskipun aplikasi ini merupakan bentuk upaya yang dilakukan pemerintah Kota Malang untuk memberikan kemudahan bagi masyarakat, namun, dalam peluncurannya aplikasi ini masih memiliki beberapa gangguan dalam penggunaannya. Beberapa kendala yang dialami saat penggunaan aplikasi ini yaitu mengalami gangguan keterlambatan saat scrolling, terdapatnya menu yang tidak bekerja dan penempatan berita yang tidak pas, pemilihan warna yang tidak sesuai sehingga tampilan kurang menarik, ukuran ikon yang terlalu besar sehingga terlalu banyak memakan space mengakibatkan white space yang sedikit. Hal tersebut beberapa dari permasalahan yang ada saat penggunaan aplikasi. Dalam ulasan yang tertulis pada laman Google Play Store, terdapat beberapa keluhan dari pengguna seperti
“halaman CCTV error page not found”, “force close terus”, “untuk layanan ker, beberapa tidak bisa diakses”. Aplikasi KER juga mendapat nilai rating sebesar 3,5/5 pada layanan Play Store.
Oleh karena itu, diperlukan evaluasi dan perancangan perbaikan pada User Interface aplikasi ini. Evaluasi dilakukan dengan memberikan task scenario kepada pengguna dan diberikan kuesioner USE untuk mengukur dan menilai usability dari KER.
Pendekatan Human Centered Design (HCD) digunakan untuk mengatasi permasalahan yang telah disebutkan diatas, yang nantinya akan melibatkan perspektif manusia pada tiap prosesnya dengan perhatian pusat pada pengguna dan menghasilkan rekomendasi perbaikan pada rancangan antarmuka pengguna yang dihasilkan. Pada implementasinya, HCD juga meningkatkan usability untuk orang dengan jangkauan kemampuan yang lebih luas dan dengan demikian meningkatkan aksesibilitas (ISO, 2010). Menggunakan HCD juga dapat membantu mengurangi resiko dalam pengembangan produk agar tidak gagal dalam
menampung semua kebutuhan dari stakeholder untuk produk atau produk yang dihasilkan tidak diterima oleh pengguna.
2. LANDASAN KEPUSTAKAAN 2.1. Human Centered Design
Human Centered Design adalah pendekatan untuk desain dan pengembangan sistem yang bertujuan untuk meningkatkan kegunaan, aksesibilitas dan pengalaman pengguna serta menghindari bahaya penggunaan, dengan berfokus pada penggunaan sistem (ISO 9241- 220, 2019). Human Centered Design memiliki empat aktivitas utama yaitu, understanding and specifying the context of use, specifying the user requirements, kemudian producing design solutions, dan evaluating the design.
Gambar 1. Siklus Aktivitas Human Centered Design
2.2. Pengujian Usability
Pengujian Usability mengacu pada evaluasi pada sebuah produk atau layanan dengan mengujinya dengan perwakilan dari pengguna.
Pengujian usability dapat mengidentifikasi dan menemukan masalah di awal yang ada pada sebuah sistem untuk membantu tim pengembangan dalam mengembangkan sebuah sistem. Tujuan dari pengujian usability adalah untuk mengidentifikasi masalah kegunaan, mengumpulkan data kualitatif dan kuantitatif dan menentukan kepuasan peserta dengan produk (Usability.gov, 2013).
2.3. Kuesioner USE
USE merupakan akronim dari Usefulnes, Satisfaction, dan Ease of Use (Lund, 2001).
Kuesioner USE merupakan kuesioner yang dikembangkan oleh Arnold M. Lund. Kuesioner dibuat dengan skala Likert dengan nilai tujuh poin dimulai dari sangat sulit dengan poin 1 sampai sangat mudah dengan poin 7. Pengguna
diminta..untuk menilai..persetujuan dengan pernyataan, mulai dari..sangat tidak setuju dengan sangat setuju (Lund, 2001). Kuesioner terdiri dari 30 pernyataan dan terbagi kedalam 4 parameter yaitu Usefulness, Ease of Use, Ease of Learning, dan Satisfaction
3. METODOLOGI
Gambar 2. Metodologi Penelitian
Langkah pada penelitian..ini..dimulai pada tahap studi..literatur..untuk mengumpulkan dan mempelajari informasi mengenai penelitian ini.
Selanjutnya dilakukan analisis konteks penggunaan untuk mengumpulkan data terkait indetifikasi pengguna dan karakteristik pengguna berdasarkan kebutuhan. Selanjutnya mengidentifikasi kebutuhan pengguna yang dilakukan dengan menganalisis dan mengevaluasi hasil evaluasi awal dengan menggunakan metode think aloud dan menggunakan..kuesioner USE. Kemudian dilakukan perancangan perbaikan antarmuka pengguna…menggunakan…pendekatan Human Centered Design dan dengan guidelines Google Material Design. Lalu pengujian akhir dilakukan evaluasi hasil perancangan untuk mengetahui hasil dari perancangan perbaikan antarmuka
pengguna yang telah dilakukan dan melakukan penarikan kesimpulan dan saran sebagai acuan dalam penelitian selanjutnya.
4. KONTEKS PENGGUNAAN
Konteks penggunaan ditentukan berdasarkan wawancara dengan stakeholder, hasil evaluasi awal dan hasil kuesioner USE yang diisi oleh responden.
4.1. Menentukan Konteks Penggunaan
Identifikasi konteks penggunaan dilakukan berdasarkan wawancara dan pengumpulan informasi melalui stakeholder terkait identifikasi dan karakteristik pengguna.
Tabel 1. Identifikasi Pengguna Pengguna Tujuan Penggunaan Warga Kota Malang Mengakses informasi terkait
sarana, prasarana, layanan pemerintahan di Kota Malang yang tersedia di aplikasi
Warga luar Kota malang yang berada di Kota
Malang
Mengakses informasi terkait sarana, prasarana, layanan pemerintahan di Kota Malang yang tersedia di aplikasi
Tabel 2. Karakteristik Pengguna
Pengguna Karakteristik
Warga Kota Malang
- Pria/Wanita - Usia 17-30 Tahun - Berdomisili Kota Malang Warga Luar Kota
Malang
- Pria/Wanita - Usia 17-30 Tahun
- Sedang berada/tinggal di Kota Malang
4.2. Evaluasi Awal
Evaluasi...awal…..dilakukan untuk mengetahui permasalahan yang terdapat pada aplikasi KER. Evaluasi..dilakukan…dengan memberikan task kepada…responden untuk dilakukan pengujian terhadap aplikasi dan menggunakan metode think aloud dimana responden diminta untuk memberikan pernyataan verbal saat proses pengerjaan task.
Evaluasi dilakukan dengan melibatkan 5 orang pengguna untuk menemukan permasalahan mengacu pada pernyataan Nielsen. Menurut Nielsen (2000), dengan 5 orang partisipan dalam
pengujian telah menemukan 85% permasalahan usability yang dapat diperbaiki dengan menggunakan perbaikan ulang desain. Tabel 3 merupakan salah satu task scenario dari 12 task yang diberikan kepada responden.
Tabel 3. Task scenario Kode
Tugas
TK-03
Scenario Anda seorang mahasiswa yang ingin melakukan cek medis pada gigi secara rutin dan anda ingin mencari lokasi dan informasi
terkait dokter gigi di Kota Malang Task Mencari list informasi Dokter Gigi yang
tersedia di Kota Malang
Dalam pengerjaan task, digunakan metode think aloud melalui komentar saat responden diminta untuk memberikan pernyataan verbal dan melalui perilaku mereka saat pengerjaan task. Kemudian permasalahan dapat diidentifikasi melalui berbagai respon yang diberikan oleh responden, Tabel 4 merupakan contoh beberapa permasalahan yang ditemukan.
Tabel 4. Daftar Masalah Kode
Masalah
Deskripsi Masalah
M03 Menu direktori tulisannya tidak jelas dan sulit dibaca karena tertutup gambar pada cover tombol
M05 Jadwal Sholat tidak menampilkan jadwal waktu secara rinci
M10 Menu informasi dokter gigi tidak dapat ditampilkan
Setelah responden selesai mengerjakan task maka responden mengisi kuesioner USE agar mendapatkan hasil nilai usability aplikasi KER.
Pengisian kuesioner dilakukan oleh 20 orang responden setelah mereka menggunakan sistem.
Menurut Nielsen (2006), data kuantitatif dengan menggunakan pengujian dengan 20 orang pengguna maka interval kepercayaan berkisar +/- 19% cukup untuk sebagian besar tujuan, terutama untuk membandingkan dua desain untuk melihat mana yang lebih baik.
5. HASIL DAN PEMBAHASAN 5.1. Hasil Evaluasi Awal
5.1.1 Success Rate
Success Rate adalah sebuah persentase dari tugas yang dikerjakan pengguna/responden dengan baik dan benar seutuhnya. Persamaan yang digunakan adalah sebagai berikut.
𝑆𝑢𝑐𝑐𝑒𝑠𝑠 𝑅𝑎𝑡𝑒
= 𝑆𝑢𝑐𝑐𝑒𝑠𝑠 𝑇𝑎𝑠𝑘 + (𝑃𝑎𝑟𝑡𝑖𝑎𝑙 𝑆𝑢𝑐𝑐𝑒𝑠𝑠 𝑥 𝑃𝑒𝑟𝑠𝑒𝑛𝑡𝑎𝑠𝑒)
𝑇𝑜𝑡𝑎𝑙 𝑡𝑎𝑠𝑘 × 𝑇𝑜𝑡𝑎𝑙 𝑈𝑠𝑒𝑟𝑠 𝑥 100% (1)
Tabel 5. Hasil Pengerjaan Task Responden TK-
01 TK- 02
TK- 03
TK- 04
TK- 05
TK- 06
TK- 07
TK- 08
TK- 09
TK- 10
TK- 11
TK- 12
R1 S P P S S S P S S S S S
R2 S F P S S F F S S S S S
R3 S S P S S S P S S S S S
R4 S S P S S S P S S S S S
R5 S S P S S S P S S S S S
Keterangan : S : Success P : Partial F : Failure
Dengan menggunakan persamaan diatas, maka Success rate dari evaluasi dapat dihitung sebagai berikut.
Success rate = ((47 + (10 × 0.5)) ÷ (12 × 5)) × 100 %
= 86,6%
Berdasarkan perhitungan maka diperoleh
success rate pada evaluasi awal sebesar86,5%
5.1.2 Time Based Efficiency
Perhitungan…waktu…dilakukan saat responden mulai mengerjakan task scenario hingga responden menyelesaikan task atau responden menyerah. Pengukuran waktu menggunakan persamaan (2).
𝑇𝑖𝑚𝑒 𝐵𝑎𝑠𝑒𝑑 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 =
𝛴𝑗=1𝑅 𝛴𝑡=1𝑁 𝑛𝑖𝑗 𝑡𝑖𝑗
𝑁𝑅 (2)
Gambar 3. Waktu Pengerjaan Task
Resp ond en
TK- 01/
Det ik
TK- 02/
Det ik
TK- 03/
Det ik
TK- 04/
Det ik
TK- 05/
Det ik
TK- 06/
Det ik
TK- 07/
Det ik
TK- 08/
Det ik
TK- 09/
Det ik
TK- 10/
Det ik
TK- 11/
Det ik
TK- 12/
Det ik
R1 14 41 19 5 18 21 12 27 15 14 10 6
R2 11 78 20 7 23 73 65 26 28 15 13 47
R3 53 163 20 4 37 162 33 36 25 32 14 10
R4 18 42 24 8 47 90 49 110 27 17 12 7
R5 17 30 17 29 10 74 25 28 34 40 14 3
Perhitungan dengan menggunakan persamaan (2) dilakukan untuk mengetahui time- based efficiency.
𝑇𝑖𝑚𝑒 𝐵𝑎𝑠𝑒𝑑 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 = 3,214 60
= 0,05 goals/sec
Berdasarkan perhitungan dengan menggunakan persamaan 4.2 maka diperoleh nilai dari time- based efficiency sebesar 0,05 goals/sec.
5.1.3 Hasil Kuesioner USE
Hasil pengukuran yang akan dilakukan menggunakan kuesioner USE dengan menggunakan skala likert, data yang diperoleh akan diolah untuk mendapatkan persentase.
Persentase tersebut kemudian diinterpretasikan menjadi nilai usability yang akan dikonversikan kedalam skala kualitatif. Persentase tersebut diperoleh melalui pembagian persentase keseluruhan yaitu 100% terhadap skala dengan 5 rentang nilai. Menurut Guritno et al. (2011) interpretasi persentase penilaian digunakan untuk menilai apakah usability sebuah produk termasuk baik atau buruk.
Pengukuran nilai Usability yang ada di setiap parameter dapat diukur dengan
perhitungan berikut.
((𝑆𝑈𝑀 ÷(𝐶𝑜𝑢𝑛𝑡 × 𝑆𝑘𝑎𝑙𝑎 𝐿𝑖𝑘𝑒𝑟𝑡)) × 100) (3)
Keterangan :
SUM = Total jumlah poin pada kuesioner Count = (Jumlah Responden * Banyak Pernyataan)
Skala Likert = 7 Poin
Untuk menghitung nilai rata-rata usability pada kuesioner USE dilakukan menggan menggunakan persamaan (4).
𝑅𝑎𝑡𝑎 − 𝑟𝑎𝑡𝑎 =𝑛𝑖𝑙𝑎𝑖 𝑢𝑠𝑎𝑏𝑖𝑙𝑖𝑡𝑦
100 × 𝑆𝑘𝑎𝑙𝑎 𝐿𝑖𝑘𝑒𝑟𝑡 (4) Tabel 6. Nilai Rata-rata Usability
Parameter Rata-rata
Usefulness 4,4
Ease of Use 4,6
Ease of Learning 4,7
Satisfaction 4,3
Total nilai seluruh parameter dihitung untuk mendapatkan nilai usability aplikasi dengan menggunakan persamaan (5).
𝑆𝑘𝑜𝑟 = ((𝑈𝑠𝑒𝑓𝑢𝑙𝑛𝑒𝑠𝑠 + 𝐸𝑎𝑠𝑒 𝑜𝑓 𝑈𝑠𝑒 + 𝐸𝑎𝑠𝑒 𝑜𝑓 𝐿𝑒𝑎𝑟𝑛𝑖𝑛𝑔 + 𝑆𝑎𝑡𝑖𝑠𝑓𝑎𝑐𝑡𝑖𝑜𝑛) ÷ 4) % = ((63,8 + 66,9 + 68 + 61,6) ÷ 4)
= 65 % (5)
Dengan melihat hasil dari nilai usability aplikasi ini yaitu sebesar 65% maka berdasarkan tabel 4.9 nilai tersebut mendapat predikat “baik”
namun masih terdapat beberapa permasalahan yang dikemukakan oleh responden. Beberapa hasil tersebut menjadi salah satu dasar dalam membuat perbaikan antarmuka pengguna untuk meningkatkan nilai usability pada aplikasi KER.
5.2. Perancangan Perbaikan Antarmuka Pengguna
Perancangan perbaikan dilakukan berdasarkan daftar permasalahan yang telah diidentifikasi pada evaluasi awal. Perancangan menggunakan acuan Google material design guidelines dalam proses pembuatan rancangan.
Tabel 7. Implementasi Perbaikan Masalah No Halaman Antarmuka
Pengguna
Kode Masalah
1 Halaman Home M01,M05
2 Halaman Direktori M03,M06
3 Halaman Berita M02
4 Halaman Dokter Gigi M10
5 Halaman Informasi M07,M08,M09,M11,M12
Perancangan dilakukan dengan membuat wireframe sebagai kerangka desain antarmuka pengguna aplikasi yang akan memberikan gambaran mengenai tata letak perbaikan desain yang akan dibangun. Gambar 4 merupakan salah satu rancangan wireframe yang dibuat.
Gambar 4. Wireframe Antarmuka Pengguna
Selanjutnya dilakukan tahap perancangan prototipe berfidelitas tinggi sebagai solusi desain yang dibuat untuk aplikasi KER. Gambar 5 merupakan implementasi rancangan prototipe berfidelitas tinggi dari Gambar 4.
Gambar 5. Prototipe berfidelitas tinggi
5.3. Evaluasi Hasil Rancangan Perbaikan Antarmuka Pengguna
Evaluasi hasil perancangan perbaikan antarmuka pengguna dilakukan sama dengan evaluasi awal dengan menghitung success rate dan time-based efficiency dan nilai usability melalui Kuesioner USE.
5.3.1 Success Rate Perbaikan Desain
Success rate dihitung dengan menggunakan persamaan (1) seperti pada evaluasi awal.
Gambar 6. Hasil Pengerjaan Task Evaluasi Perbaikan Desain
Success rate = ((60 + (0)) ÷ (12 × 5)) × 100 %
= 100%
Berdasarkan gambar 6, maka perhitungan menggunakan persamaan (1) mendapatkan nilai success rate sebesar 100%.
5.3.2 Time Based Efficiency Perbaikan Desain
Time-based efficiency perbaikan desain dihitung dengan menggunakan persamaan (2).
Gambar 7. Waktu Pengerjaan Task Perbaikan Desain
Berdasarkan nilai pada gambar 7 dilakukan dengan menggunakan persamaan (2).
𝑇𝑖𝑚𝑒 𝐵𝑎𝑠𝑒𝑑 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 = 10,6795 60
= 0,01 goals/sec
Maka hasil perhitungan ditas mendapatkan nilai time-based efficiency 0,01 goals/sec.
5.3.3 Masukan Perbaikan Desain
Masukan perbaikan desain diberikan oleh responden setelah responden menyelesaikan setiap task scenario pada saat menggunakan prototipe perbaikan desain. Masukan perbaikan terdapat pada tabel 8.
Responden TK- 01
TK- 02
TK- 03
TK- 04
TK- 05
TK- 06
TK- 07
TK- 08
TK- 09
TK- 10
TK- 11
TK- 12
R1 S S S S S S S S S S S S
R2 S S S S S S S S S S S S
R3 S S S S S S S S S S S S
R4 S S S S S S S S S S S S
R5 S S S S S S S S S S S S
Resp ond en
TK- 01/
Det ik
TK- 02/
Det ik
TK- 03/
Det ik
TK- 04/
Det ik
TK- 05/
Det ik
TK- 06/
Det ik
TK- 07/
Det ik
TK- 08/
Det ik
TK- 09/
Det ik
TK- 10/
Det ik
TK- 11/
Det ik
TK- 12/
Det ik
R1 12 34 77 7 16 8 7 28 14 13 10 3
R2 9 31 7 4 4 3 5 32 6 14 11 4
R3 5 8 7 2 3 8 4 42 8 6 7 3
R4 5 31 5 2 4 10 4 31 5 7 8 1
R5 33 43 27 4 3 8 5 54 3 9 14 2
Tabel 8. Masukan Perbaikan Desain
Kode Masukan Masukan Kode Responden M-01 Tulisan di atas Slide
Berita pada Halaman Home
sebaiknya dihilangkan
R1
M-02 Tulisan Tombol pada Layanan KER
di perkecil
R2
M-03 Warna Tombol Layanan KER diubah agar tidak
terlalu kontras
R2
M-04 Menambahkan
tombol “close”
pada Pop up Jadwal Sholat
R4
M-05 Ukuran Pop up Jadwal Sholat
diperbesar
R3
M-06 Mencantumkan
sumber waktu jadwal sholat
R5
Setelah itu dilakukan implementasi masukan perbaikan desain pada prototipe berfidelitas tinggi. Gambar 8 merupakan salah satu contoh implementasi masukan perbaikan desain yang dilakukan.
Gambar 8. Implementasi Masukan Perbaikan Desain
5.3.4 Hasil Kuesioner USE Perbaikan Desain Kuesioner diberikan kepada 20 orang yang telah menggunakan prototipe berfidelitas tinggi perbaikan desain antarmuka pengguna aplikasi KER untuk mengukur parameter usability yang ada pada kuesioner.
Pengukuran nilai usability melalui kuesioner USE pada perbaikan desain dilakukan sama dengan evaluasi awal menggunakan persamaan (3). Kemudian nilai rata-rata usability dihitung dengan menggunakan persamaan (4)
.
Tabel 9. Nilai Rata-Rata Usability Perbaikan Desain
Parameter Rata-rata
Usefulness 5,7
Ease of Use 5,8
Ease of Learning 6
Satisfaction 5,6
Dengan total nilai seluruh parameter dihitung menggunakan persamaan (5) untuk mengetahui nilai usability pada perbaikan desain sebagai berikut.
𝑆𝑘𝑜𝑟 = ((𝑈𝑠𝑒𝑓𝑢𝑙𝑛𝑒𝑠𝑠 + 𝐸𝑎𝑠𝑒 𝑜𝑓 𝑈𝑠𝑒 + 𝐸𝑎𝑠𝑒 𝑜𝑓 𝐿𝑒𝑎𝑟𝑛𝑖𝑛𝑔 + 𝑆𝑎𝑡𝑖𝑠𝑓𝑎𝑐𝑡𝑖𝑜𝑛) ÷ 4) % = ((82,3 + 83,5 + 85,8 + 80) ÷ 4) = 82 %
Hasil dari perhitungan nilai usability perbaikan desain aplikasi KER mendapat nilai sebesar 82
%.
5.4. Perbandingan Hasil Evaluasi Awal dan Evaluasi Akhir
Pada gambar 9 dan tabel 10 menjelaskan tentang perbandingan nilai setiap parameter usability pada evaluasi awal dan akhir serta peningkatan nilai yang diperoleh. Berdasarkan grafik maka terlihat bahwa perbaikan desain yang dilakukan meningkatkan nilai usability pada aplikasi KER
.
Gambar 9. Grafik Perbandingan Nilai Parameter Usability Tabel 10. Nilai Parameter Usability Evaluasi Awal dan
Akhir Parameter
Usability
Evaluasi Awal
Evaluasi Akhir
Peningkatan
Usefulness 63,8 82,3 18,5
Ease of Use 66,9 83,5 16,6
Ease of Learning
68 85,8 17,8
Satisfaction 61,6 80 18,4
Tabel 11 menunjukkan hasil dari
perbandingan nilai success rate, time-based efficiency, usability dari evaluasi awal dan evaluasi akhir dari aplikasi KER.
Parameter Evaluasi Awal
Evaluasi Akhir
Peningkatan Success
Rate
86,6% 100% 13,4%
Time Based Efficiency
0,05 goals/sec
0.01 goals/sec
0,04 goals/sec
Usability 65%% 82% 17%
Berdasarkan nilai yang diperoleh pada tabel 11, nilai success rate setelah perbaikan desain mendapat nilai menjadi 100% dengan mengalami peningkatan keberhasilan sebanyak 13,4%. Berdasarkan hasil tersebut dapat disimpulkan bahwa perbaikan desain yang dilakukan pada antarmuka pengguna aplikasi KER menjadi lebih mudah digunakan.
Perbandingan selanjutnya terdapat pada Time-based Efficiency yang mendapat nilai 0.01 goals/sec setelah perbaikan desain dengan mengalami peningkatan sebanyak 0.04 goals/sec dari hasil evaluasi awal. Hal ini menunjukkan bahwa setelah perbaikan desain antarmuka pengguna aplikasi KER dilakukan, responden lebih mudah dalam menggunakan dan memahami aplikasi oleh karena adanya perubahan desain dan navigasi.
Hasil perbandingan nilai usability yang terdapat pada tabel 11 mendapat nilai 82%
pada evaluasi akhir dengan peningkatan sebanyak 17% dari evaluasi awal dengan hasil akhir dikategorikan dengan “Sangat Baik”. Hal ini menunjukkan bahwa rancangan perbaikan antarmuka pengguna aplikasi KER yang dilakukan berhasil meningkatkan nilai usability pada desain antarmuka pengguna aplikasi KER.
6. PENUTUP 6.1. Kesimpulan
Berdasarkan penelitian yang dilakukan terhadap Aplikasi KER, kesimpulan yang dapat diambil adalah:
1. Evaluasi awal dilakukan dengan 5 orang responden untuk
, pertama, mendapatkan tingkat usability aplikasi KER,
dengan menghitung success rate dan time-based efficiency dengan hasil success rate sebesar 86,5% dan time-based efficiency sebesar 0,05 goals/sec. Selanjutnya evaluasidilakukan untuk mendapatkan nilai usability dengan menggunakan kuesioner USE yang diberikan kepada 20 orang dan mendapatkan hasil nilai usability sebesar 65% dengan mendapat predikat “Baik” pada nilai 61% - 80% dari interpretasi persentase.
2. Evaluasi awal dilakukan juga untuk mencari permasalahan yang terdapat pada aplikasi KER, lalu terdapat 12 permasalahan pada evaluasi awal aplikasi KER yang dilakukan kepada 5 orang responden. Permasalahan diidentifikasi dengan menggunakan metode think aloud melalui feedback dan perilaku pengguna saat mengerjakan task scenario yang diberikan. Beberapa permasalahan diantaranya adalah menu Direktori tersembunyi, jadwal Sholat tidak menampilkan jadwal waktu secara rinci dan menu Direktori tulisannya tidak jelas dan sulit dibaca karena tertutup gambar pada cover tombol.
3. Perancangan perbaikan antarmuka pengguna aplikasi KER dilakukan dengan menggunakan guidelines dari google material design. Perancangan menghasilkan rancangan desain antarmuka pengguna berupa wireframe dan prototipe berfidelitas tinggi. Hasil dari rancangan perbaikan antarmuka pengguna aplikasi KER mendapatkan nilai success rate sebesar 100%, time-based efficiency sebesar 0,01 goals/sec dan nilai usability sebesar 82%
dengan predikat “Sangat Baik” pada rentang nilai 81% - 100% dari interpretasi persentase.
6.2. Saran
1. Saran yang dapat diberikan adalah dengan melakukan pengujian kembali terhadap aplikasi KER dengan pendekatan lain seperti Heuristic Evaluation untuk menggali permasalahan dan kebutuhan pengguna dari sisi expert terhadap rancangan aplikasi dan dengan melakukan perbaikan desain antarmuka pengguna aplikasi KER berdasarkan hasil pengujian yang dilakukan.
2. melakukan penelitian dengan menggunakan metode lain dan instrumen kuesioner selain kuesioner USE untuk mendapatkan perbandingan hasil penelitian untuk melihat hasil yang terbaik.
7. DAFTAR PUSTAKA
Dameri, R & Ricciardi, F., 2015. Smart citiy intellectual capital: an emerging view of territorial systems innovation management.
Guritno, S., Sudaryono & Rahardja, U., 2011.
Theory and Application of IT Research:
Metodologi Penelitian Teknologi Informasi. Yogyakarta: ANDI.
ISO 9241-11, 2018. Ergonomics of human- system interaction – part 11: Usability:
Definitions and concepts.
ISO 9241-11, 2018. Human-centred design processes for interactive systems.
Kusano, K. et al., 2013. Scenario-Based Interactive UI Design. Tersedia di <
https://www.scribd.com/document/31313 2052/Measuring-Usability-with-the- USE-Questionnaire-pdf>
Lund, A., 2001. Measuring Usability with the USE Questionnaire. Tersedia di <
www.stcsig.org/usability/newsletter/01 10measuring_with_use.html >
Mifsun, J. Usability Metrics – A Guide To Quantify The Usability Of Any System.
[Online] Tersedia di
<https://usabilitygeek.com/usability- metrics-a-guide-to-quantify-system- usability/>
Nielsen, J., 2012. Usability 101: Introduction to Usability. [Online] Tersedia di<
https://www.nngroup.com/articles/usabili ty-101introductionto-usability/>
Nielsen, J., 2012. Why You Only Need to Test with 5 Users. [Online] Tersedia di
<https://www.nngroup.com/articles/why- you-only-need-to-test-with-5-users/>
Ningrum, S.W. et al., 2019. Evaluasi dan Perbaikan Usability Aplikasi Mobile Ojesy Menggunakan Metode Usability Testing dan Use Questionnaire. S1.
Universitas Brawijaya. Tersedia di <
https://j-ptiik.ub.ac.id/index.php/j-
ptiik/article/view/5350 > [Diakses 8 September 2020]
Usability.gov, 2013. Improving the User Experience. [Online] Tersedia di
<https://www.usability.gov/how-to-and- tools/methods/wireframing.html>
Washburn, D & Sindhu, U., 2010. Helping CIOs Understand “Smart City” Initiative.
Tersedia di <https://s3-us-west- 2.amazonaws.com/itworldcanada/archive /Themes/Hubs/Brainstorm/forrester_help _cios_smart_city.pdf >
