Analisis dan Perbaikan Usability Pada Aplikasi Ker Menggunakan Metode Usability Testing dan System Usability Scale (SUS)

(1)

Fakultas Ilmu Komputer

Universitas Brawijaya 2261

Analisis dan Perbaikan Usability Pada Aplikasi Ker Menggunakan Metode Usability Testing dan System Usability Scale (SUS)

Fatkhur Rosyad¹, Djoko Pramono², Komang Candra Brata³

Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: ¹fatkhurrosyad0@gmail.com, ²djoko.jalin@ub.ac.id, ³k.candra.brata@ub.ac.id

Abstrak

Ker adalah aplikasi berbasis mobile dengan sistem operasi android yang diresmikan oleh pemerintah kota Malang guna menyelaraskan dengan peraturan Presiden Republik Indonesia terkait sistem pemerintahan berbasis elektronik (SPBE) serta untuk menuju smart city. Aplikasi Ker dibuat dengan tujuan utama untuk mendukung dan mempermudah pelayanan publik bagi masyarakat yang berada di kota Malang. Berdasarkan hasil wawancara dan observasi terhadap 20 responden, terdapat permasalahan pada aplikasi Ker yang terkait dengan masalah usability. Masalah tersebut adalah adanya suatu fungsi tombol dan proses yang tidak sesuai dengan apa yang pengguna harapkan dari aplikasi. Oleh karena itu, dilakukan penelitian untuk mengetahui tingkat usability aplikasi Ker. Usability testing digunakan untuk mengukur tingkat kegunaan dari aspek efektivitas dan efisiensi, sedangkan kuesioner system usability scale (SUS) digunakan untuk mengetahui tingkat kegunaan dari aspek kepuasan. Hasil penelitian menunjukkan bahwa tingkat kegunaan dari aspek efektivitas meningkat 5,13%, aspek efisiensi 35,91%, dan kepuasan sebesar 16,42. Jika didasarkan pada SUS skor Sauro (2018), maka range acceptable yang sebelumnya berada pada kategori “Marginal” meningkat satu level diatas-Nya menjadi “Acceptable”, untuk adjective rating yang sebelumnya termasuk kategori “Ok” naik satu level menjadi “Good”, serta untuk grade scale yang sebelumnya mendapat nilai “C” meningkat dua level menjadi “A”.

Kata kunci: usability testing, system usability scale (SUS), effectiveness, efficiency, satisfaction Abstract

Ker is a mobile-based application with an Android operating system that was inaugurated by the Malang city government in order to harmonize with the President of the Republic of Indonesia's regulations related to electronic-based government systems (SPBE) as well as towards smart city. The Ker application was made with the primary purpose of supporting and facilitating public services for people in the city of Malang. Based on the results of interviews and observations of 20 respondents, there are problems in the application of Ker related to usability problems. The problem is the existence of a function key and process that is not in accordance with what users expect from the application.

Therefore, a study was conducted to determine the usability level of the Ker application. Usability testing is used to measure the level of usefulness of the aspects of effectiveness and efficiency, while the usability scale (SUS) questionnaire is used to determine the level of usefulness of the satisfaction aspect.

The results showed that the level of usefulness from the aspect of effectiveness increased 5.13%, the aspect of efficiency 35.91%, and satisfaction by 16.42. If based on Sauro's SUS score (2018), the acceptable range that was previously in the "Marginal" category increased by one level above

"Acceptable", for adjective rating that was previously included in the "Ok" category, rose one level to

"Good", as well as for the grade scale that previously received the value "C" increased two levels to

"A".

Keywords: usability testing, system usability scale (SUS), effectiveness, efficiency, satisfaction

1. PENDAHULUAN

Sistem Pemerintahan Berbasis Elektronik atau yang biasa disingkat SPBE adalah suatu

penyelenggaraan pemerintahan yang memanfaatkan teknologi informasi dan komunikasi untuk memberikan layanan publik kepada masyarakat. Menurut Peraturan Presiden

(2)

Fakultas Ilmu Komputer, Universitas Brawijaya

Republik Indonesia Nomor 95 tahun 2018 tentang SPBE, menimbang bahwa untuk mewujudkan tata kelola pemerintahan yang bersih, efektif, transparan, dan akun tabel serta pelayanan publik yang berkualitas dan terpercaya diperlukan sistem pemerintahan berbasis elektronik. SPBE merupakan kebijakan pemerintah pusat dalam mewujudkan Smart City. Smart City adalah integrasi efektif sistem fisik, digital dan manusia dalam suatu lingkungan yang dibangun untuk memberikan masa depan yang sejahtera dan berkelanjutan bagi warganya (The British Standards Institute, 2014).

Dalam upaya untuk menyelaraskan dengan Peraturan Presiden Republik Indonesia terkait SPBE tersebut, serta untuk menuju Smart City, Pemerintah Kota Malang melalui Dinas Komunikasi dan Informatika meluncurkan aplikasi Ker (Pemerintah Kota Malang, 2019).

Ker adalah suatu aplikasi berbasis mobile dengan penggunaan sistem operasi android yang diresmikan oleh Pemerintah Kota Malang dan dirilis pada tanggal 4 Desember 2019 dan dapat diunduh pada layanan Google Play Store (Google Play Store, 2019). Aplikasi Ker dibangun dan dikelola Pemerintah Kota Malang guna untuk mendukung dan mempermudah pelayanan pemerintah dengan menyediakan data dan informasi bagi masyarakat.

Berdasarkan wawancara dan observasi yang dilakukan terhadap 20 responden, yakni pengguna baru aplikasi Ker, masih ditemukan kendala atau masalah yang menjadikan responden merasa kesulitan dan bingung dalam menjalankan aplikasi Ker. Dari permasalahan yang ditemukan, penulis tertarik untuk melakukan penelitian mendalam untuk menggali permasalahan pada aspek usability dengan judul Analisis dan Perbaikan Usability Pada Aplikasi Ker Menggunakan Metode Usability Testing dan System Usability Scale (SUS). Adapun hasil yang akan didapatkan dari penelitian ini adalah analisis nilai tingkat usability pada tahap pengujian awal, deskripsi permasalahan yang ditemukan disertai dengan rekomendasi perbaikannya, dan nilai perbandingan usability setelah dilakukan perbaikan.

2. LANDASAN KEPUSTAKAAN 2.1. Usability

Usability atau kegunaan adalah tingkat

kemudahan pengguna dalam menjalankan tugas dari suatu sistem, produk atau aplikasi. Menurut Buie (2012) usability bisa dilihat berdasarkan dari segi efektivitas, efisiensi, dan kepuasan pengguna, dengan kata lain, sejauh mana pengguna dapat melakukan tugas yang dimaksud, seberapa cepat mereka dapat menyelesaikan tugas, dan bagaimana kepuasan pengguna setelah menggunakan sistem secara keseluruhan. Definisi lain dari usability adalah seberapa maksimal tingkat penggunaan suatu layanan, produk, atau sistem yang dapat dimanfaatkan oleh seorang atau kelompok pengguna dalam mencapai tujuan yang didasarkan pada aspek efektivitas, efisiensi, dan kepuasan pada konteks penggunaan tertentu (ISO, 2018). Bevan (2016) mengadaptasi dari ISO 9241-11 seperti pada Gambar 2.11, menggambarkan tingkat kualitas usability dapat diukur dengan menggunakan 3 komponen, yakni:

1. Effectiveness (Efektivitas):

Pengujian komponen efektivitas dilakukan untuk mengukur terselesaikannya tugas serta digunakan untuk mengetahui intensitas kesalahan pengguna dalam mengerjakan suatu tugas.

2. Efficiency (Efisiensi):

Di dalam komponen efisiensi dilakukan pengujian untuk mengukur efisiensi penggunaan sumber daya waktu, biaya dan tenaga dalam pengerjaan tugas sehingga dapat menghilangkan tindakan yang tidak diperlukan.

3. Satisfaction (Kepuasan)

Pengujian pada komponen kepuasan dilakukan untuk menilai tingkat kepuasan pengguna setelah menggunakan aplikasi Ker.

2.2. Usability Testing

Usability testing adalah sebuah metode pengujian guna mengukur tingkat kemudahan pengguna dalam menggunakan aplikasi Ker.

sedangkan penguji akan mengobservasi perilaku, pendapat serta harapan pengguna terhadap suatu aplikasi secara langsung. Nielsen (2000), berpendapat bahwa dalam pengujian yang melibatkan dua kelompok pengguna berbeda, maka menggunakan 3 sampai 4 pengguna dari masing-masing kelompok. Jika terdapat 3 atau lebih kelompok pengguna yang berbeda, maka melibatkan 3 pengguna dari tiap- tiap kelompok.

(3)

2.2.1 Effectiveness

Efektivitas produk didefinisikan sebagai ketepatan serta keutuhan terccapainya tujuan penggunaan aplikasi. Efektivitas dapat dinilai dengan menghitung persentase pengguna yang berhasil mencapai tujuan dibandingkan dengan jumlah total keseluruhan pengguna: biasanya, sebagai hasil dari skenario pengguna, pengguna mencapai tujuan mereka atau gagal mencapainya (ISO, 1998).

Pada komponen efektivitas akan diukur tingkat kemampuan pengguna dalam menyelesaikan tugas dengan 3 parameter, yakni berhasil, sebagian berhasil, dan gagal dan dihitung dengan rumus berikut:

Success rate

= (𝐵 + (𝑆𝐵 𝑥 0,5))

𝑗𝑢𝑚𝑙𝑎ℎ 𝑡𝑎𝑠𝑘 𝑥 𝑗𝑢𝑚𝑙𝑎ℎ 𝑟𝑒𝑠𝑝𝑜𝑛𝑑𝑒𝑛𝑥 100%

Keterangan:

B = Berhasil

SB = Sebagian Berhasil G = Gagal

2.2.2 Efficiency

Efisiensi produk didefinisikan sebagai sumber daya yang digunakan oleh pengguna untuk memastikan pencapaian tujuan yang tepat dan utuh. Berkenaan dengan produk perangkat lunak dan sistem informasi, sumber daya utama yang diukur biasanya adalah waktu yang dihabiskan oleh pengguna untuk mencapai tujuan (ISO, 1998). Efisiensi dapat dihitung dengan menggunakan persamaan keseluruhan efisiensi relatif (overall relative efficiency) dengan menggunakan rumus sebagai berikut:

Overall relative efficiency =

∑^𝑅_𝑗=1∑^𝑁_𝑖=1𝑛_𝑖𝑗_𝑡𝑖𝑗

∑^𝑅_𝑗=1∑^𝑁_𝑖=1𝑡_𝑖𝑗 𝑥 100%

Keterangan:

N = Jumlah keseluruhan tugas R = Jumlah pengguna

nij = Hasil dari skenario tugas i oleh pengguna j; jika pengguna berhasil menyelesaikan tugas, maka nilai nij=1, jika tidak, maka nilai nij=0

tij = waktu yang digunakan oleh pengguna j untuk menyelesaikan tugas i, jika tugas tidak

berhasil diselesaikan, maka waktu diukur hingga saat pengguna berhenti dari pengerjaan tugas.

2.2.3 Satisfaction

Standar ISO-9241 mendefinisikan kepuasan sebagai kenyamanan pengguna terhadap suatu produk atau aplikasi, serta relevansinya terhadap kebutuhan pengguna. Kepuasan bertujuan untuk menilai pengukuran yang bersifat subjektif yang berasal dari pemikiran pengguna terhadap aplikasi atau produk (ISO, 1998). Thomas (2015), mengatakan bahwa kuesioner yang dapat dimanfaatkan untuk menilai tingkat kepuasan pengguna adalah dengan menggunakan kuesioner system usability scale (SUS). Rummel (2015), berpendapat bahwa jumlah responden yang cukup akurat dalam penilaian kuesioner SUS berjumlah 30 orang.

Aturan untuk menghitung hasil kuesioner SUS , yakni pernyataan pada nomor 1,3,5,7,9 dari skala yang diberikan oleh pengguna akan dikurangi angka 1. Selanjutnya pada pernyataan nomor genap 2,4,6,8,10 dihitung dengan cara angka 5 dikurangi dengan skala yang telah diberikan pengguna. Hasil dari perhitungan tersebut nantinya dijumlah dan dikalikan angka 2,5. Skor SUS memiliki skala dari angka 0 sampai 100 (Brooke, 1996).

2.3. Usability Heuristic

Usability heuristic adalah aturan usability praktis yang luas dan bukan hanya suatu pedoman usability khusus yang berguna dalam desain antarmuka. Usability heuristic ini nantinya akan dijadikan sebagai pedoman dalam memberikan rekomendasi perbaikan. Nielsen (1994), menyebutkan ada 10 usability heuristic, di antara lain; Visibility of system status; Match between system and the real world; User control and freedom; Consistency and standards; Error prevention; Recognition rather than recall;

Flexibility and efficiency of use; Aesthetic and minimalist design; Help users recognize, diagnose, and recover from errors; Help and documentation.

(4)

3. METODOLOGI PENELITIAN

Pada metodologi penelitian dipaparkan terkait langkah peneliti dalam melakukan penelitian. Adapun alur penelitian bisa dilihat pada Gambar 1.

Gambar 1. Alur Penelitian

Alur penelitian diawali dengan studi literatur dengan mempelajari penelitian yang masih berkaitan guna memperkuat teori-teori dasar yang digunakan dalam penelitian.

Kemudian peneliti akan melakukan persiapan pengujian, yaitu mengidentifikasi pengguna, mempersiapkan alat atau instrumen yang dibutuhkan dalam penelitian, membuat skenario pengujian dan poin pertanyaan wawancara.

Pengujian awal dilaksanakan dengan melakukan pengujian usability pada aplikasi Ker yang ada saat ini. Adapun pengujian dilakukan terhadap 6 responden, dari total 6 responden yang ada terdiri dari 2 kelompok pengguna, yaitu 3 responden yang berasal dari Malang, 3 responden yang berasal dari luar daerah Malang.

Sedangkan untuk pengisian kuesioner SUS akan melibatkan 30 responden. 6 responden adalah responden yang sebelumnya telah mengikuti pengujian usability, sedangkan 24 responden lainnya adalah responden baru yang belum

pernah mengikuti pengujian usability. Hasil dari pengujian awal akan diolah untuk mendapatkan daftar permasalahan yang dirasakan responden.

Selanjutnya data tersebut akan dianalisis guna dijadikan sebagai acuan dalam pemberian rekomendasi perbaikan yang akan diimplementasikan pada prototipe aplikasi Ker.

Tahap selanjutnya adalah pelaksanaan pengujian usability lanjut pada prototipe aplikasi yang telah dibuat dan tentunya dengan melibatkan responden yang sama pada pengujian awal. Setelah pengujian lanjut tersebut selesai dilaksanakan, hasilnya kemudian akan dibandingkan dengan hasil pada pengujian usability awal guna mengetahui apakah ada peningkatan tingkat usability dari aspek efektivitas, efisiensi, dan kepuasan setelah diberikannya rekomendasi perbaikan.

3.1. Identifikasi Pengguna

Berdasarkan informasi yang diperoleh dari pihak pengembang aplikasi, bahwa target pengguna dari aplikasi Ker adalah masyarakat kota Malang ataupun masyarakat yang berasal dari luar kota Malang, namun juga membutuhkan informasi dan layanan yang disediakan oleh aplikasi Ker. Oleh karena itu dalam pemilihan responden pada penelitian ini menggunakan 6 orang, 3 orang yang memang berasal dari Malang dan 3 orang sisanya yang berasal dari luar kota Malang. Rentan usia responden yang akan melakukan pengujian usability didasarkan pada pengguna internet terbanyak di Indonesia yang terbaru (2018) menurut APJII, yakni di antara umur 15-29 tahun. Adapun daftar responden yang akan melakukan pengujian usability dan melalui sesi wawancara dapat dilihat pada tabel 1.

Tabel 1. Daftar Responden

Kode Usia Pekerjaan Asal

R1 25 Wiraswasta Malang

R2 24 Pegawai Swasta Magetan

R3 20 Mahasiswi Malang

R4 22 Mahasiswa Madiun

R5 18 Pelajar Malang

R6 17 Pelajar Pasuruan

(5)

4. HASIL PENGUJIAN AWAL 4.1. Efektivitas

Success rate

= (𝐵 + (𝑆𝐵 𝑥 0,5))

=(145 + (5 𝑥 0,5))

26 𝑥 6 𝑥 100%

Success rate = 94.55%.

Berdasarkan hasil pengujian yang telah dilakukan oleh 6 responden, tingkat keberhasilan atau success rate untuk aspek efektivitas dari aplikasi Ker mencapai angka 94.55%. Dari 156 total tugas keseluruhan, tugas yang berhasil dikerjakan berjumlah 145. Sedangkan 5 tugas dinyatakan sebagian berhasil dikerjakan dan 6 sisanya adalah tugas yang tidak dapat diselesaikan oleh responden atau bisa diartikan gagal.

4.2. Efisiensi

Overall relative efficiency

=

∑^𝑅_𝑗=1∑^𝑁_𝑖=1𝑡_𝑖𝑗 𝑥 100%

=609

988𝑥 100%

Overall relative efficiency = 61,64%

Total waktu pengerjaan seluruh tugas untuk semua responden berjumlah 988 (detik) dan total waktu yang dibutuhkan oleh semua responden untuk dapat mengerjakan seluruh tugas dengan berhasil adalah 609 (detik). Sehingga perhitungan aspek efisiensi dengan menggunakan rumus overall relative efficiency menghasilkan angka 61,64%.

4.3. Kepuasan

Gambar 2. SUS Skor Pengujian Awal Skor dari pengisian kuesioner yang didapatkan dari 30 responden pada pengujian awal adalah 63,16. Jika didasarkan pada SUS skor Sauro (2018), maka aplikasi Ker yang ada saat ini pada aspek kepuasan pengguna mendapat nilai “C” untuk grade scale, “Ok”

untuk adjective rating, serta berada pada level

“Marginal” untuk range acceptable.

4.4. Daftar Permasalahan

Tabel 2. Daftar Permasalahan Kode Deskripsi Permasalahan

P01

Responden bingung pada respons aplikasi yang hanya menampilkan halaman kosong ketika proses memasuki layanan CCTV

P02 Panduan penggunaan CCTV yang kurang bisa terlihat oleh pengguna

P03 Sulitnya menemukan nama jalan yang dimaksud karena daftar nama jalan yang ada masih acak P04 Proses/tombol untuk menampilkan CCTV tidak

sesuai dengan apa yang pengguna harapkan P05

Tombol yang pada umumnya digunakan untuk memperbesar tampilan tidak sesuai pada layanan CCTV

P06 Tidak adanya kejelasan fitur antrean karena tidak bisa dibuka

P07 Tidak adanya kejelasan pada menu URBN karena tidak bisa dibuka

P08

Pada pencarian makanan pada menu kuliner diharuskan melakukan pencarian manual, yakni scroll up down sehingga pengguna merasa terbebani

P09 Tidak adanya tombol kembali (back) dan tombol ke menu utama (home)

Setelah dilakukan pengujian awal, maka didapatkan deskripsi daftar permasalahan seperti yang dapat dilihat pada tabel 2. Daftar permasalahan yang ada nantinya akan dijadikan sebagai bahan referensi dalam pemberian rekomendasi perbaikan pada prototipe aplikasi Ker..

5. HASIL PENGUJIAN LANJUT 5.1. Rekomendasi Perbaikan

Tabel 3. Rekomendasi Perbaikan Kode Deskripsi Perbaikan

PB01 Menampilkan keterangan loading saat pengguna mencoba mengakses menu CCTV

PB02 Mengubah kontras pada tulisan panduan penggunaan CCTV

PB03 Mengategorikan nama jalan pada menu CCTV berdasarkan nama dari daerah jalan tersebut.

PB04 Mengubah cara menampilkan pantauan CCTV

(6)

Fakultas Ilmu Komputer, Universitas Brawijaya dengan hanya menekan nama jalan yang dimaksud (tanpa harus menekan ikon “mata”)

PB05

Mempermudah cara memperbesar tampilan CCTV hanya dengan menekan tombol “maximize” (tanpa harus menekan tombol side bar)

PB06

Menampilkan pesan maintanance atau error jika pada fitur antrean tidak bisa digunakan atau masih dalam tahap pengembangan

PB07

Menampilkan pesan maintanance atau error jika pada menu URBN tidak bisa digunakan atau masih dalam tahap pengembangan

PB08 Menambahkan sebuah fitur pencarian pada menu informasi kuliner

PB09

Menambahkan tombol kembali (back) dan tombol untuk kembali ke menu utama (home) pada setiap submenu

Rekomendasi perbaikan pada tabel 3 dideskripsikan berdasarkan daftar permasalahan yang dialami oleh responden serta saran atau masukan yang diberikan responden ketika melakukan sesi wawancara.

5.2. Efektivitas Success rate

= (𝐵 + (𝑆𝐵 𝑥 0,5))

=(155 + (1 𝑥 0,5))

26 𝑥 6 𝑥 100%

Success rate = 99.68%.

Berdasarkan hasil pengujian lanjut yang telah dilakukan oleh 6 responden terhadap prototipe aplikasi Ker, tingkat keberhasilan untuk tingkat usability pada aspek efektivitas mencapai angka 99,68%. Dari 156 jumlah tugas keseluruhan yang ada, tugas yang berhasil dikerjakan berjumlah 155, tidak ada tugas yang dinyatakan gagal dikerjakan, dan hanya 1 tugas saja yang dinyatakan sebagian berhasil dikerjakan oleh responden ke 4 (R4), yaitu pada pengerjaan tugas ketika responden diminta untuk memperbesar tampilan CCTV (T9).

5.3. Efisiensi

Overall relative efficiency

=

∑^𝑅_𝑗=1∑^𝑁_𝑖=1𝑡_𝑖𝑗 𝑥 100%

=531

518𝑥 100%

Overall relative efficiency = 97,55%

Total waktu pengerjaan seluruh tugas untuk semua responden berjumlah 531 (detik) dan total waktu yang dibutuhkan oleh semua responden untuk dapat mengerjakan seluruh tugas dengan berhasil adalah 518 (detik). Sehingga perhitungan aspek efisiensi dengan menggunakan rumus overall relative efficiency menghasilkan angka 97,55%.

5.4. Kepuasan

Gambar 3. SUS Skor Pengujian Lanjut Skor dari pengisian kuesioner yang didapatkan dari 30 responden pada pengujian lanjut adalah 79,58. Dan jika didasarkan pada SUS skor Sauro (2018), maka aplikasi Ker yang sudah diberikan rekomendasi perbaikan pada aspek kepuasan pengguna mendapat nilai “A” untuk grade scale,

“Good” untuk adjective rating, serta berada pada level “Acceptable” untuk range acceptable.

5.5. Perbandingan Hasil Pengujian 5.5.1 Efektivitas

Tabel 4. Perbandingan Hasil Pengujian Usability Aspek Efektivitas

Jenis Pengujian Hasil

Pengujian Awal 94,55%

Pengujian Lanjut 99,68%

Peningkatan 5,13%

Pada tabel 4 memperlihatkan hasil tingkat usability dari aspek efektivitas, pada pengujian awal menghasilkan tingkat keberhasilan sebesar 94,55%, sedangkan pada pengujian lanjut tingkat keberhasilan mencapai angka 99,68%.

Dari kedua hasil pengujian tersebut terdapat peningkatan sebesar 5,13%.

(7)

5.5.2 Efisiensi

Tabel 5. Perbandingan Total Waktu Pengerjaan Tugas

Responden

Pengujian

Awal Lanjut

R1 175 82

R2 150 84

R3 145 83

R4 175 101

R5 178 87

R6 165 94

Tabel 6. Perbandingan Hasil Pengujian Usability Aspek Efisiensi

Pengujian Awal 61,64%

Pengujian Lanjut 97,55%

Peningkatan 35,91%

Tabel 5 merupakan perbandingan total waktu seluruh pengerjaan tugas oleh 6 responden pada aspek efisiensi antara pengujian awal dan pengujian lanjut. Dari tabel tersebut dapat dijelaskan bahwa rata-rata semua responden dalam menyelesaikan seluruh tugas pada pengujian awal membutuhkan waktu lebih dari 160 detik, sedangkan rata-rata waktu yang dibutuhkan oleh semua responden untuk menyelesaikan seluruh tugas pada pengujian lanjut hanya membutuhkan waktu kurang dari 90 detik.

Sedangkan tabel 6 adalah hasil penilaian aspek efisiensi dengan menggunakan rumus efisiensi relatif keseluruhan. Pada pengujian awal menghasilkan nilai sebesar 61,64%, sedangkan pada pengujian lanjut menghasilkan nilai sebesar 97,55%. Dari data tersebut terdapat peningkatan untuk tingkat usability pada aspek

efisiensi sebesar 35,91%.

5.5.3 Kepuasan

Tabel 7. Perbandingan Hasil Pengujian Usability Aspek Kepuasan

Pengujian Awal 63,16

Pengujian Lanjut 79,58

Peningkatan 16,42

Pada tabel 7 menunjukkan bahwa hasil pengujian awal pada aspek kepuasan dengan menggunakan kuesioner SUS menghasilkan skor 63,16, sedangkan penilaian yang dilakukan terhadap prototipe aplikasi Ker yang dilakukan pada pengujian lanjut menghasilkan SUS skor 79,58. Apabila dilihat berdasarkan SUS skor terdapat peningkatan sebesar 16,42, sedangkan jika dilihat berdasarkan SUS skor Sauro (2018), maka range acceptable yang sebelumnya berada pada kategori “Marginal” meningkat satu level diatas-Nya menjadi “Acceptable”, untuk adjective rating yang sebelumnya termasuk kategori “Ok” naik satu level menjadi “Good”, serta untuk grade scale yang sebelumnya mendapat nilai “C” meningkat dua level menjadi

“A”.

6. KESIMPULAN DAN SARAN

Dari hasil penelitian yang telah dilaksanakan dapat ditarik kesimpulan bahwa permasalahan yang ada pada aplikasi Ker adalah permasalahan yang terkait dengan masalah usability. Adapun masalah banyak terjadi pada menu CCTV dan sedikit permasalahan yang juga dialami responden pada menu URBN, antre, dan pada menu yang menyediakan mengenai info kuliner.

Setelah diberikan rekomendasi perbaikan terjadi peningkatan tingkat usability dari masing-masing aspek. Aspek efektivitas meningkat 5,13%, aspek efisiensi 35,91%, dan kepuasan sebesar 16,42. Jika didasarkan pada SUS skor Sauro (2018), maka range acceptable yang sebelumnya berada pada kategori

“Marginal” meningkat satu level diatas-Nya menjadi “Acceptable”, untuk adjective rating yang sebelumnya termasuk kategori “Ok” naik satu level menjadi “Good”, serta untuk grade

(8)

scale yang sebelumnya mendapat nilai “C”

meningkat dua level menjadi “A”.

Saran yang diberikan guna keperluan penelitian selanjutnya adalah aplikasi yang ada saat ini perlu dikembangkan dan diberikan sosialisasi lebih lanjut agar masyarakat tahu tentang adanya aplikasi ini dan dapat menjadi aplikasi yang dapat diterima dengan baik oleh masyarakat. Selanjutnya jika dilakukan penelitian yang serupa pada aplikasi Ker, diharapkan untuk menggunakan metode lain agar dapat dijadikan sebagai referensi pelengkap sebagai bahan acuan perbaikan aplikasi Ker untuk ke depannya.

7. DAFTAR REFERENSI

APJII. 2018. Hasil Survey Penetrasi dan Perilaku Pengguna Internet Indonesia 2018 [Online] Tersedia di : <

https://apjii.or.id/content/read/39/410/H asil-Survei-Penetrasi-dan-Perilaku- Pengguna-Internet-Indonesia-2018 >

[Diakses 5 Mei 2020]

Bevan, Nigel & Carter, Jim & Earthy, Jonathan

& Geis, Thomas & Harker, Susan.

(2016). New ISO Standards for Usability, Usability Reports and Usability Measures. 9731. 268-278.

10.1007/978-3-319-39510-4_25.

Brooke, J. 1996. SUS - A quick and dirty usability scale. [online] Tersedia di:

<https://www.usability.gov/how-to- and-tools/methods/system-usability- scale.html> [Diakses 5 Februari 2020]

Buie, Elizabeth & Murray, Dianne. (2012).

Usablity in Government Systems User Experience Design for Citizens and Public Servants. 10.1016/C2011-0- 04122-4.

ISO 9241-11. 1998. Ergonomic requirements for office work with visual display terminals (VDTs) - Part 11: Guidance on usability, 1998

ISO. 2018. Ergonomics of human-system interaction — Part 11: Usability Definitions and concepts [Online]

Tersedia di : <

https://www.iso.org/obp/ui/#iso:std:iso:

9241:-11:ed-2:v1:en > [Diakses 30 Januari 2020]

Nielsen, J., 1994. 10 Usability Heuristics for User Interface Design. [Online]

Tersedia di: <

https://www.nngroup.com/articles/ten- usability-heuristics/> [Diakses 16 Juli 2020]

Nielsen, J., 2000. Why You Only Need to Test with 5 Users. [Online] Tersedia di:

<https://www.nngroup.com/articles/wh y-you-only-need-to-test-with-5-users/>

[Diakses 3 Februari 2020]

Pemerintah Kota Malang. 2019. SAMBAT Rene KER Mantapkan Percepatan Malang Smart City [online] Tersedia di : <

https://malangkota.go.id/2019/12/08/sa mbat-rene-ker-mantapkan percepatan- malang-smart-city/ > [Diakses 30 Januari 2020]

Peraturan Presiden Nomor 95 Tahun 2018 tentang Sistem Pemerintahan Berbasis Elektronik

Rummel, B. 2015. Quick UX Assessment? Start with the System Usability Scale.

[online] Tersedia di: <

https://experience.sap.com/skillup/quic k-ux-assessment-start-with-the-system- usability-scale/> [Diakses 15 April 2020]

Sauro, J. 2018. 5 Ways to Interpret a SUS Score.

[online] Tersedia di: <

https://measuringu.com/interpret-sus- score/> [Diakses 3 Februari 2020]

The British Standards Institute. 2014. Smart Cities. [Online] Tersedia di : <

https://www.centreforcities.org/reader/s mart-cities/what-is-a-Smart City/1- smart-cities-definitions/ > [Diakses 1 Februari 2020]

Thomas, N. 2015. How To Use The System Usability Scale (SUS) To Evaluate The Usability Of Your Website. [Online]

Tersedia di : <

https://usabilitygeek.com/how-to-use- the-system-usability-scale-sus-to- evaluate-the-usability-of-your-website/

> [Diakses 17 Juli 2020]