Fakultas Ilmu Komputer
Universitas Brawijaya 4349
Evaluasi Usability Pada Aplikasi m-KantorPos dengan Menggunakan Metode Usability Testing
Theresia Karina Situmorang1, Hanifah Muslimah Az-Zahra2, Admaja Dwi Herlambang3 Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1[email protected], 2[email protected], 3[email protected]
Abstrak
m-KantorPos adalah layanan berbasis aplikasi mobile produk milik PT. Pos Indonesia (Persero).
Aplikasi ini perlu dievaluasi dengan mengukur tingkat usability dan menggali permasalahan untuk menghasilkan rekomendasi perbaikan aplikasi. Metode yang digunakan dalam penelitian ini yaitu, usability testing untuk mengukur komponen learnability, efficiency dan errors. Wawancara digunakan untuk menggali permasalahan usability pada aplikasi m-KantorPos. Kuesioner System Usability Scale (SUS) digunakan untuk mengukur komponen satisfaction. Pengujian usability dan wawancara dilakukan pada 6 pengguna baru aplikasi m-KantorPos yang dipilih berdasarkan rentang usia 19-34 tahun dan 35-54 tahun. Kuesioner diisi oleh 30 respoden pengguna aktif aplikasi m-KantorPos.
Berdasarkan hasil pengujian didapatkan tingkat kemudahan sebesar 75,00%, tingkat kecepatan sebesar 0,04 goals/sec, tingkat kesalahan sebesar 0,11 dan tingkat kepuasan sebesar 50,00% - 60,00%.
Terdapat 9 permasalahan usability seperti menu tidak terlihat, judul menu yang terlalu panjang, warna tombol yang samar, waktu loading lambat, layout antarmuka aplikasi tidak fleksibel dan responsif, tombol kurang responsif. Dari permasalahan tersebut dirumuskan rekomendasi perbaikan menurut usability guidelines yang sesuai dengan fungsi, fitur, dan konten aplikasi m-KantorPos.
Kata kunci: usability, usability testing, aplikasi m-KantorPos, system usability scale, usability guidelines Abstract
m-KantorPos is a mobile application-based service by PT. Pos Indonesia (Persero). This application needs to be evaluated by measuring the level of usability and exploring problems to produce recommendations for application improvements. The method used in this study is usability testing to measure the components of learnability, efficiency and errors. The interview was used to explore the usability issues of the m-KantorPos application. The System Usability Scale (SUS) questionnaire is used to measure component satisfaction. Usability testing and interviews were conducted on 6 new users of the m-KantorPos application selected based on a range of 19-34 years old and 35-54 years old. The questionnaire was filled by 30 respondents of active users of m-KantorPos application. Based on the test results obtained an ease rate of 75.00%, the speed level of 0.04 goals / sec, an error rate of 0.11 and a satisfaction rate of 50.00%-60.00%. There are 9 usability issues such as invisible menus, menu titles that are too long, vague button colors, slow loading times, application interface layout not flexible and non-responsive, less responsive buttons,. From these problems, recommendations for improvement are formulated according to the usability guidelines that are in accordance with the functions, features and content of m-KantorPos applications.
Keywords: usability, usability testing, m-KantorPos application, system usability scale, usability guidelines
1. PENDAHULUAN
m-KantorPos adalah layanan berbasis aplikasi mobile yang merupakan produk dari PT. Pos Indonesia (Persero). Saat ini aplikasi m-KantorPos berfokus dua layanan utama antara lain, fitur umum seperti Lacak Kiriman, Cek Tarif Surat dan Paket, Cari Kodepos dan
Informasi Kantorpos terdekat. Sedangkan layanan lainnya yaitu layanan jasa keuangan yang disebut MPOSPAY (Mobile Post Payment) (m-KantorPos, 2018).
Pada tahun 2013, aplikasi m-KantorPos sempat diluncurkan oleh PT. Pos Indonesia (Persero). Namun aplikasi ini belum tersedia untuk diunduh oleh masyarakat luas dan hanya
dipergunakan oleh pegawai Kantorpos saja hingga saat ini. Hal tersebut berbeda dengan rencana awal PT. Pos Indonesia (Persero), berkeinginan agar aplikasi ini dapat digunakan oleh masyarakat. Berdasarkan wawancara dengan Manajer Pengendalian Mutu dan Audit Kantor Pos Surabaya 60000, masih terdapat beberapa masalah dan kekurangan pada aplikasi, seperti menu yang kurang terlihat pada aplikasi m-KantorPos, tombol yang kurang responsif sehingga pengguna perlu menekan tombol berulang-ulang. Nielsen (2012) mengungkapkan, mengevaluasi seberapa mudah interface digunakan pengguna dengan atribut kualitas disebut sebagai usability. Pada penelitian ini aspek kemudahan, kecepatan, kesalahan dan kepuasan akan diuji. Melalui evaluasi usability pada aplikasi ini, diharapkan dapat mengetahui tingkat usability aplikasi, menggali permasalahan yang ada pada aplikasi dan menghasilkan rekomendasi perbaikan.
Sehingga membantu PT. Pos Indonesia (Persero) pada keinginan awalnya yaitu aplikasi m-KantorPos dapat diluncurkan dan digunakan secara luas oleh masyarakat. Selain itu, jika dibandingkan dengan perusahaan lain yang bergerak di bidang yang sama yaitu pengiriman logistik, perusahaan-perusahaan tersebut telah memiliki aplikasi dengan fitur sejenis yang dapat memudahkan pelanggan saat bertransaksi.
Dengan visi PT. Pos Indonesia (Persero) yaitu menjadi pilihan utama logistik dan jasa keuangan, maka diperlukan inovasi pelayanan agar untuk dapat bersaing dengan perusahaan logistik lain.
Penelitian ini menggunakan metode pengujian pengguna yaitu usability testing.
Dibandingkan dengan metode pengujian lain, usability testing adalah cara terbaik untuk mengetahui pengalaman pengguna secara nyata dengan melihat proses yang dilakukan pengguna ketika mereka menggunakan website atau aplikasi (Babich, 2017). Oleh sebab itu, penggalian masalah lebih dalam harus dilakukan untuk dapat mengetahui permasalahan yang ada agar selanjutnya dapat dirumuskan rekomendasi perbaikan. Selain metode usability testing, pengumpulan data juga dilakukan dengan wawancara dan penyebaran kuesioner System Usability Scale (SUS).
Penelitian yang dilakukan oleh Rahayu (2015) membahas tentang perlunya website yang dikembangkan memiliki tingkat usability yang baik sebab sistem tersebut harus dapat
mempermudah menyelesaikan kegiatan pengadaan barang/jasa. Dalam penelitian yang dilakukan oleh Baharrudin (2018) dilakukan pengukuran tingkat usability dan penggalian masalah yang muncul dengan metode usability testing untuk kemudian membuat rekomendasi perbaikan. Penelitan lain juga dilakukan oleh Permana (2018) mengenai evaluasi usability pada aplikasi Grab. Penelitian tersebut menghasilkan permasalahan usability pada aplikasi.
2. METODOLOGI PENELITIAN Tabel 1. Metodologi penelitian
TAHAP PROSES HASIL
- -
Mempelajari teori- teori yang berhubungan dengan penelitian untuk dijadikan landasan teori dalam penelitian.
- Teori aplikasi mobile - Flowchart - Usabilility - Pengujian
usability - Analisis data Mempersiapkan
instrumen yang dibutuhkan saat melakukan evaluasi.
- Pertanyaan - Peralatan - Partisipan - Skenario
Evaluasi dengan tahapan:
1. Uji usability pengguna baru.
2. Wawancara pengguna baru.
3. Penyebaran kuesioner kepada pengguna aktif.
- Data permasalahan - Rekaman
aktivitas layar pengguna - Data kuesioner
Menghitung tingkat usability, mengolah hasil wawancara dan menghitung skor kuesioner.
- Tingkat kepuasan, tingkat kecepatan, tingkat kesalahan dan tingkat kepuasan - Daftar
permasalahan Merumuskan
rekomendasi perbaikan sesuai dengan
permasalahan yang ada pada aplikasi.
- Daftar rekomendasi perbaikan
Membuat kesimpulan penelitian dan saran bagi penelitian selanjutnya.
- Kesimpulan - Saran
- -
Mulai
Studi Literatur
Perencanaan Evaluasi
Pelaksanaan Evaluasi
Analisis Hasil
Rekomendasi Perbaikan
Kesimpulan dan Saran
Selesai
Tahapan penelitian dimulai dengan studi literatur yaitu dengan mempelajari teori- yang memiliki keterkaitan dengan penelitian dibutuhkan sebagai landasan kepustakaan dalam penelitian. Selanjutnya merencanakan evaluasi dengan mempersiapkan instrumen yang dibutuhkan saat melakukan evaluasi.
Fitur yang diujikan pada aplikasi m- KantorPos kepada peserta uji yaitu menu Cari Kode Pos dan menu Cek Tarif Kiriman.
Pelaksanakan evaluasi dilakukan diawali dengan uji usability. Pengujian dilakukan pada 6 peserta uji yang dibagi dalam 2 kelompok, masing-masing terdiri dari 3 orang (Nielsen, 2000). Kelompok pertama merupakan pengguna baru dengan rentang usia 19-34 tahun. Sedangkan kelompok kedua dengan rentang usia 35-54 tahun. Kedua kelompok usia tersebut merupakan kelompok usia pengguna internet terbesar di Indonesia (APJII, 2017).
Selama pengujian berlangsung aktivitas peserta uji direkam dengan aplikasi screen recorder. Berikut adalah skenario tugas yan diberikan kepada peserta uji, “Anda ingin mengirim sebuah paket. Namun sebelum mengirimnya, anda ingin mengecek berapa tarif kiriman surat dan paket dari tempat asal menuju tempat tujuan melalui aplikasi m-KantorPos.
Anda tidak mengetahui kodepos daerah asal dan daerah tujuan, sehingga anda perlu mencari tahu kodepos tersebut menggunakan aplikasi m- KantorPos.”
Pengukuran tingkat kemudahan dilihat dari keberhasilan peserta uji saat melakukan tugas. Pengukuran tingkat kecepatan dilihat dari waktu yang dibutuhkan peserta uji untuk menyelesaikan tugas. Sedangkan pengukuran tingkat kesalahan dilihat dari jumlah kesalahan yang dilakukan peserta uji selama mengerjakan tugas. Pengukuran tingkat kepuasan dilakukan dengan menyebarkan kuesioner kepada 30 responden pengguna aktif aplikasi.
Setelah menyelesaikan tugas yang diberikan, dilakukan wawancara kepada peserta uji. Tujuan wawancara adalah untuk penggalian masalah yang dialami peserta uji selama mengerjakan tugas. Kuesioner yang digunakan adalah kuesioner System Usability Scale (SUS).
Kuesioner ini terdiri dari 10 pernyataan dengan penilaian skala likert 1-5 untuk tiap pernyataan, nilai (1) sangat tidak setuju, (2) tidak setuju, (3) netral, (4) setuju, dan (5) sangat setuju. Tabel 2 merupakan kuesioner yang diberikan kepada responden.
Tabel 2. Kuesioner SUS
No Pernyataan
1 Saya pikir bahwa saya ingin lebih sering menggunakan aplikasi ini
2 Saya menemukan bahwa aplikasi ini tidak harus dibuat serumit ini
3 Saya pikir aplikasi ini mudah untuk digunakan 4 Saya pikir bahwa saya akan membutuhkan
bantuan dari orang teknis untuk dapat menggunakan aplikasi ini
5 Saya menemukan beberapa fungsi di aplikasi ini terintegrasikan dengan baik
6 Saya pikir ada terlalu banyak ketidaksesuaian dalam aplikasi ini
7 Saya bayangkan bahwa kebanyakan orang akan dapat mempelajari aplikasi ini dengan sangat cepat
8 Saya menemukan aplikasi ini sangat sulit untuk digunakan
9 Saya merasa sangat percaya diri untuk menggunakan aplikasi ini
10 Saya perlu belajar banyak hal sebelum saya bisa memulai
Sumber: Brooke (1996)
Setelah mendapat data dari pengujian usability, wawancara dan kuesioner, selanjutnya data tersebut diolah dan dianalisis untuk mendapatkan hasil evaluasi. Data yang diperoleh selanjutnya dianalisis secara kualitatif dan kuantitatif. Data kualitatif terdiri data pengujian usability dan wawancara. Data tersebut dianalisis sehingga menghasilkan deskipsi permasalahan usability. Data kuantitatif diperoleh dari pengujian usability dan kuesioner. Data dari pengujian usability digunakan untuk perhitungan komponen learnability, efficiency dan errors. Sedangkan data kuesioner digunakan untuk perhitungan komponen saticfaction.
Komponen learnability dihitung menggunakan success rate yaitu besaran persentase tugas yang diselesaikan oleh pengguna dengan benar (Nielsen, 2001).
Persamaan 1 adalah persamaan yang digunakan untuk menghitung tingkat kemudahan, membutuhkan jumlah kesuksesan penuh (S), kesuksesan parsial (P), dan total tugas yang diberikan (total task).
Success Rate =(𝑆 +𝑇𝑜𝑡𝑎𝑙 𝑇𝑎𝑠𝑘(𝑃 𝑥 0.5)) 𝑥 100% (1) Komponen efficiency dihitung menggunakan time based efficiency yaitu waktu yang dibutuhkan pengguna untuk menyelesaikan tugas (Mifsud, 2015).
Persamaan 2 adalah persamaan yang digunakan untuk menghitung waktu yang dibutuhkan untuk menyelesaikan tugas.
Task time = end time - start time (2)
Efisiensi dihitung dengan efisiensi relatif keseluruhan menggunakan rasio dari waktu yang dibutuhkan pengguna berhasil menyelesaikan tugas dan berhubungan dengan waktu yang dihabiskan seluruh pengguna (Sergeev, 2010). Persamaan 3 merupakan persamaan untung menghitung efisiensi relatif keseluruhan, membutuhkan jumlah tugas yang berhasil dikerjakan (N), waktu yang dihabiskan untuk mengerjakan tugas (t) dan jumlah peserta uji (R).
𝑇𝑖𝑚𝑒 𝐵𝑎𝑠𝑒𝑑 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 =
∑𝑗=1𝑅 ∑𝑖=1𝑁 𝑛𝑖𝑗 𝑡𝑖𝑗
𝑁𝑅 (3) Komponen errors dihitung menggunakan error rate. Error diartikan sebagai sebuah tindakan yang tidak diinginkan atau tidak disengaja, slip, kesalahan atau kelalaian yang dilakukan pengguna saat menyelesaikan tugas (Mifsud, 2015). Persamaan 4 adalah persamaan yang digunakan untuk menghitung tingkat kesalahan.
𝐸𝑟𝑟𝑜𝑟 𝑅𝑎𝑡𝑒 = 𝑇𝑜𝑡𝑎𝑙 𝐷𝑒𝑓𝑒𝑐𝑡𝑠
𝑇𝑜𝑡𝑎𝑙 𝑂𝑝𝑝𝑜𝑟𝑡𝑢𝑛𝑖𝑡𝑖𝑒𝑠 (4) Komponen satisfaction dihitung dengan menggunakan skor kuesioner SUS. Persamaan 5 adalah persamaan yang digunakan untuk menghitung tingkat kepuasan.
𝑆𝑘𝑜𝑟 = (𝑄1 − 1) + (5 − 𝑄2) + ⋯ 𝑥 2,5 (5) Setelah selesai melakukan tahapan analisis hasil evaluasi dan menemukan permasalahan usability, maka selanjutnya dirumuskan rekomendasi perbaikan untuk aplikasi m- KantorPos sesuai dengan usability guidelines yang sesuai dengan fungsi, fitur dan konten aplikasi.
3. HASIL DAN ANALISIS
Data yang diperoleh dari pengujian usability, wawancara dan kuesioner diolah dan dianalisis sehingga menghasilkan tingkat usability yang terdiri dari komponen learnability, efficiency, errors dan satisfaction dan permasalahan usability
3.1. Tingkat usability 1. Komponen learnability
Data yang digunakan dalam mengukur komponen ini yaitu banyaknya tugas yang dapat diselesaikan dengan benar oleh peserta uji
selama pengujian usability. Tabel 3 merupakan tingkat keberhasilan tugas tiap peserta uji.
Tabel 3. Tingkat keberhasilan peserta uji
Peserta Uji
Tugas Success
Rate
T1 T2
P1 P P 50,00%
P2 P S 75,00%
P3 S S 100,00%
P4 P S 75,00%
P5 P S 75,00%
P6 P S 75,00%
Rata-rata 75,00%
Keterangan: S = tugas sukses, P = tugas sukses parsial
Perhitungan success rate menggunakan Persamaan 1. Success rate peserta P1 sebesar 50,00% berarti sangat buruk. Success rate peserta P1 sebesar 50,00% berarti sangat buruk.
Success rate peserta P2 sebesar 75,00% berarti buruk. Success rate peserta P3 sebesar 100,00%
berarti baik. Success rate peserta P4, P5 dan P6 sebesar 75,00% berarti buruk. Hasil rata-rata success rate dari seluruh peserta uji yaitu sebesar 75,00%.
Jika dibandingkan dengan hasil rata-rata success rate yaitu 78,00% (Sauro, 2013), maka tingkat keberhasilan peserta uji dengan rata-rata sebesar 75,00% termasuk pada kategori buruk.
2. Komponen Efficiency
Data yang digunakan untuk mengukur komponen ini adalah waktu yang dibutuhkan peserta uji untuk menyelesaikan tugas. Waktu mulai dihitung saat peserta uji mulai melakukan aktivitas pada aplikasi hingga menyelesaikan tugas atau gagal menyelesaikan tugas.
Persamaan 2 digunakan untuk mendapatkan hasil waktu tiap peserta uji dalam menyelesaikan tugas.
Peserta uji P1 dan P2 membutuhkan waktu cukup lama untuk mengeksplorasi aplikasi, sebagian besar waktu dihabiskan untuk mencari menu “Cari Kode Pos” karena tidak memahami tampilan aplikasi dan kebingungan dalam memasukkan nama daerah pencarian.
Sedangkan peserta uji P4 membutuhkan waktu cukup lama pada bagian memasukkan nama daerah untuk pencarian kode pos karena peserta uji memasukkan nama jalan. Tabel 4 merupakan waktu yang digunakan peserta uji untuk menyelesaikan tugas.
Tabel 4. Waktu menyelesaikan tugas
Peserta Uji
Waktu Tugas (detik)
T1 T2
P1 95 77
P2 91 19
P3 40 34
P4 84 48
P5 65 44
P6 71 54
Rata-rata 74,33 46,00
Perhitungan time based efficiency menggunakan Persamaan 3. Hasil dari perhitungan time based effiecieny yaitu sebesar 0,02 goals/sec yang berarti peserta uji menyelesaikan 1 tugas dalam 50 detik.
Sedangkan jika dibandingkan dengan expert yang dapat menyelesaikan 1 tugas dalam 25 detik. Rasio rata-rata waktu peserta uji menyelesaikan tugas yaitu 60,15 detik sedangkan expert 27,50 detik. Sehingga rasio keduanya sebesar 2,10 yang berarti peserta uji 2 kali lebih lambat dibanding expert. Rata-rata rasio menurut Sauro (2005) adalah 3,20 atau 3 kali lebih lama dibanding expert. Sehingga disimpulkan bahwa pengguna baru m- KantorPos dalam kategori wajar atau normal.
3. Komponen Errors
Data yang digunakan untuk mengukur komponen ini adalah jumlah kesalahan peserta uji selama melakukan tugas pengujian.
Kesempatan kesalahan diberikan pada tugas yang memiliki kesempatan bahwa peserta uji akan melakukan kesalahan selama melakukan tugas. Tabel 5 merupakan jumlah kesalahan yang dilakukan peserta uji.
Tabel 5 Jumlah kesalahan tugas peserta uji
Peserta Uji
Jumlah Kesalahan Tiap Tugas
T1 T2
P1 2 1
P2 1 0
P3 0 0
P4 1 0
P5 1 0
P6 1 0
Total
Kesalahan 7
Peserta uji melakukan melakukan 6 kesalahan pada tugas T1 dan 1 kesalahan pada
tugas T2. Sehingga total kesalahan adalah 7.
Persamaan 4 digunakan untuk mendapatkan nilai error rate. Berdasarkan perhitungan yang telah dilakukan error rate pada aplikasi m- KantorPos adalah 0,11. Jika dibandingkan besaran jumlah rata-rata kesalahan per tugas adalah 0,70 (Sauro, 2012), maka error rate peserta uji dalam menggunakan aplikasi m- KantorPos termasuk dalam kategori kecil atau wajar.
4. Komponen Satisfaction
Data yang digunakan untuk mengukur komponen ini adalah kuesioner yang disebarkan pada 30 responden pengguna aktif m- KantorPos. Nilai skor tiap pernyataan dari responden dihitung menggunakan persamaan 4.
Hasil yang didapatkan dari 30 responden adalah sebesar 71,16. Gambar 1 merupakan hasil skor kuesioner SUS tiap responden.
Gambar 1. Hasil SUS responden
Setelah mengetahui hasil SUS, maka selanjutnya melakukan normalisasi untuk diubah ke dalam bentuk persentase. Untuk nilai 71,16 maka presentase yang dihasilkan adalah sekitar 50,00%-60,00%. Hal ini berarti aplikasi m-KantorPos berada pada nilai C (Sauro, 2012) yang artinya perlunya peningkatan pada aplikasi m-KantorPos.
3.2. Permasalahan usability
Terdapat 9 masalah usability pada aplikasi m-KantorPos sesuai dengan yang dialami peserta uji saat pengujian berlangsung dan wawancara yang dilakukan setelah pengujian.
Masalah usability pertama (MA1) yaitu, peserta uji merasa kebingungan saat mencari kode pos berdasarkan nama daerah/kode pos. Masalah usability kedua (MA2) yaitu, peserta uji merasa judul sub menu umum terlalu panjang. Masalah usability ketiga (MA3) yaitu, warna tombol Cek pada menu Cari Kode Pos dan Cek Tarif Kiriman kurang jelas sehingga pengguna ragu- ragu pada saat menekan tombol. Masalah usability keempat (MA4) yaitu, waktu loading
aplikasi lambat. Masalah usability kelima (MA5) yaitu, desain antarmuka aplikasi yang tidak responsif menyesuaikan resolusi layar smartphone. Masalah usability keenam (MA6) yaitu, peserta uji kesulitan menemukan tombol menu umum. Masalah usability ketujuh (MA7) yaitu, peserta uji kesulitan menemukan menu Cari Kode Pos dan Cek Tarif Kiriman. Masalah usability kedelapan (MA8) yaitu, peserta uji merasa tombol pada aplikasi tidak responsif.
Masalah usability kesembilan (MA9) yaitu, terdapat fitur yang belum berfungsi atau tidak dapat dijalankan.
4. REKOMENDASI
Berdasarkan permasalahan usability yang telah ditemukan, maka dirumuskan rekomendasi perbaikan untuk aplikasi m- KantorPos yang mengacu pada usability guidelines. Selain itu rekomendasi memperhatikan identifikasi dari aplikasi dengan fitur sejenis dan saran pengguna. Rekomendasi perbaikan diberikan kepada 2 fitur yang diuji yaitu menu Cari Kode Pos dan menu Cek Tarif Kiriman. Rekomendasi juga diberikan untuk keseluruhan aplikasi.
4.1. Fitur Cari Kode Pos
Rekomendasi perbaikan masalah MA1 yaitu, kolom untuk mencari kode pos berdasarkan daerah dan kode pos dijadikan satu kolom tanpa perlu dipisah karena kolom inputan yang berbeda pada tiap kategori dapat membuat pengguna kebingungan. Rekomendasi ini berdasarkan usability guidelines yaitu
membedakan elemen navigasi,
mengelompokkan dan meletakkannya pada tempat yang konsisten dan mudah ditemukan pada setiap halaman (US Dept. of HSS, 2006) dan mengelompokkan options serupa dalam satu judul yang menunjukkan fungsi kelompok tersebut (Material, 2018). Ide rekomendasi juga didapat dari identifikasi aplikasi sejenis yaitu aplikasi Kode Pos Indonesia Lengkap.
Terdapat dua rekomendasi perbaikan masalah MA2. Rekomendasi pertama yaitu deskripsi kolom “Kodepos Berdasarkan Daerah” dan “Daerah Berdasarkan Kodepos”
dapat dipersingkat sehingga pengguna tidak perlu waktu lama untuk memahami fungsi kolom tersebut. Rekomendasi ini berdasarkan usability guidelines yaitu memberikan judul berbeda yang deskripsif, unik, ringkas dan memiliki arti pada tiap halaman (US Dept. of
HSS, 2006), mempersingkat teks, langsung pada intinya dan menjaga konten. Pengguna dapat semakin cepat menavigasi jika semakin pendek teks dan semakin cepat membaca layar (Material, 2018). Sedangkan rekomendasi kedua yaitu judul kolom “Alamat” diubah sesuai fungsinya yang hanya dapat mencari sesuai kota, kelurahan dan kecamatan.
Penggunaan kata “Alamat” membuat pengguna salah mengerti dengan memberikan masukan berupa alamat lengkap. Sementara sistem tidak dapat membaca alamat tersebut. Rekomendasi ini berdasarkan usability guidelines yaitu menghindari kata-kata yang membingungkan pengguna. Komunikasi yang jelas selalu menjadi prioritas utama dalam aplikasi (Babich, 2018).
Rekomendasi perbaikan masalah MA3 yaitu warna tombol Cek sebaiknya menggunakan warna yang berbeda agar tombol tersebut lebih terlihat dan tidak membuat pengguna menekan area yang tidak seharusnya di tekan.
Rekomendasi ini berdasarkan usability guidelines yaitu menggunakan warna yang dapat membantu pengguna memahami konten dan fungsinya sehingga pengguna dengan penglihatan rendah dapat melihat dan menggunakan aplikasi (Material, 2018).
4.2. Fitur Cek Tarif Kiriman
Rekomendasi perbaikan masalah MA2 yaitu memberikan judul menu yang konsisten pada title bar yang mendeskripsikan fitur Cek Tarif Kiriman. Rekomendasi ini berdasarkan usability guidelines yaitu memberikan judul berbeda yang deskripsif, unik, ringkas dan memiliki arti pada tiap halaman (US Dept. of HSS, 2006). Rekomendasi juga didapat dari identifikasi aplikasi sejenis yaitu aplikasi myJNE yang sesuai dengan usability guidelines.
Rekomendasi perbaikan masalah MA3 yaitu warna tombol Cek Tarif sebaiknya menggunakan warna yang berbeda agar tombol tersebut lebih terlihat dan tidak membuat pengguna menekan area yang tidak seharusnya di pilih. Rekomendasi ini berdasarkan usability guidelines yaitu menggunakan warna yang dapat membantu pengguna memahami konten dan fungsinya sehingga pengguna dengan penglihatan rendah dapat melihat dan menggunakan aplikasi (Material, 2018).
4.3. Keseluruhan Aplikasi
Rekomendasi perbaikan masalah MA4 yaitu waktu loading aplikasi yang lambat dapat diminimalisir dengan menyederhanakan konten dan hanya menampilkan konten yang dibutuhkan pengguna. Rekomendasi ini berdasarkan usability guidelines yaitu memberikan konten yang berguna (US Dept. of HSS, 2006a), meminimalkan waktu loading (Galetta, 2006) dan membuat waktu loading aplikasi lebih cepat (Babich, 2018).
Rekomendasi perbaikan masalah MA5 yaitu membuat layout antarmuka pengguna menjadi fleksibel dan responsif sehingga konten dapat langsung menyesuaikan dengan ukuran layar.
Rekomendasi ini berdasarkan usability guidelines yaitu layout yang fleksibel dan responsif membantu konten menyesuaikan dengan ukuran layar. Konten seharusnya tidak boleh terpotong karena jenis perangkat atau resolusi (Material, 2018).
Rekomendasi perbaikan masalah MA7 dan masalah MA8 yaitu semua fitur pada menu umum yang terletak pada sidebar seperti menu Lacak Kiriman, Cek Tarif Kiriman, Cek Kode Pos ditampilkan pada beranda aplikasi dan diurutkan berdasarkan fitur yang paling sering digunakan pengguna. Rekomendasi ini berdasarkan usability guidelines yaitu menampilkan semua menu utama di beranda, menjadikan beranda sebagai kunci yang memastikan kualitas sistem, memastikan beranda mempunyai karateristik utama untuk dapat dikenali sebagai halaman beranda (US Dept. of HSS, 2006).
Terdapat dua rekomendasi perbaikan masalah MA8. Rekomendasi pertama yaitu pengguna hanya perlu menekan satu kali tombol kembali dan tombol dengan responsif memenuhi perintah tersebut. Rekomendasi ini berdasarkan usability guidelines yaitu memastikan bahwa saat pengguna klik 2 kali pada link tidak menyebabkan masalah atau hasil yang membingungkan (US Dept. of HSS, 2006a), tombol kembali harus bekerja dengan baik, menghindari situasi pengguna menekan tombol kembali di tengah proses dan membawa pengguna ke beranda (Babich, 2018).
Rekomendasi kedua yaitu mendesain tombol sesuai dengan ukuran yang rata-rata jari yaitu 10mm yang merupakan ukuran target sentuh minimum yang baik. Rekomendasi ini berdasarkan usability guidelines yaitu mendesain tombol untuk jari pengguna bukan untuk kursor. Kesalahan menekan sering disebabkan karena tombol sentuh yang terlalu
kecil (Babich, 2018).
Rekomendasi perbaikan masalah MA9 yaitu sebaiknya fitur-fitur yang tidak atau belum berfungsi segera diperbaiki atau tidak perlu ditampilkan ke pengguna (ditiadakan).
Rekomendasi ini berdasarkan usability guidelines yaitu memberikan konten yang berguna (US Dept. of HSS, 2006).
5. KESIMPULAN
Berdasarkan evaluasi usability yang dilakukan pada aplikasi m-KantorPos dengan menggunakan metode usability testing, diperoleh tingkat usability. Tingkat kemudahan pengguna menggunakan aplikasi sebesar 75,00% yang berarti hasil tersebut dalam kategori di bawah rata-rata atau buruk. Tingkat kecepatan pengguna sebesar 0,02 goals/sec, waktu efisiensi tersebut 2 kali lebih lama dibanding expert dan termasuk dalam kategori wajar atau normal. Tingkat kesalahan pengguna sebesar 0,11 yang jika dibandingkan dengan rata-rata kesalahan 0,70 berarti masuk dalam kategori kecil. Sedangkan tingkat kepuasan pengguna terhadap aplikasi sebesar 50,00%- 60,00% yaitu berada pada nilai C. Hal ini menunjukkan perlunya peningkatan terhadap aplikasi.
Terdapat 9 permasalahan usability pada aplikasi m-KantorPos, antara lain (1) peserta uji merasa kebingungan saat mencari kode pos berdasarkan nama daerah/kode pos, (2) judul sub menu umum terlalu panjang, (3) warna tombol Cek pada menu Cari Kode Pos dan Cek Tarif Kiriman kurang jelas, (4) waktu loading aplikasi lambat, (5) desain antarmuka aplikasi yang tidak responsif menyesuaikan resolusi layar smartphone, (6) kesulitan menemukan tombol menu umum, (7) kesulitan menemukan menu Cari Kode Pos dan Cek Tarif Kiriman, (8) tombol pada aplikasi tidak responsif, (9) terdapat fitur yang belum berfungsi atau tidak dapat dijalankan.
Rekomendasi perbaikan yang dibuat untuk menyelesaikan permasalahan usability dibagi menjadi 3 bagian, yaitu untuk pada fitur Cari Kode Pos, fitur Cari Kode Pos dan untuk keseluruhan aplikasi.
Saran yang dapat diberikan untuk pengembangan lebih lanjut terhadap penelitian antara lain, rekomendasi perbaikan penelitian ini dapat dijadikan bahan dipertimbangkan perbaikan aplikasi, penelitian selanjutnya dapat memperluas batasan masalah, dan penelitian
dapat dilakukan dengan menggunakan metode evaluasi lain yang bertujuan untuk menyempurnakan aplikasi.
6. DAFTAR PUSTAKA
APJII, 2017. Infografis Penetrasi & Perilaku Pengguna Internet Indonesia. Jakarta:
Teknopreneur.
Babich, N., 2018. A Comprehensive Guide To Mobile App Design. [online] Smashing
Magazine. Tersedia di:
<https://www.smashingmagazine.com/20 18/02/comprehensive-guide-to-mobile- app-design/> [Diakses 1 Desember 2018]
Babich, N., 2017. The Top 5 User Testing Methods. [online] Adobe Blog. Tersedia di: <https://theblog.adobe.com/the-top-5- user-testing-methods/> [Diakses 28 Agustus 2018]
Brooke, J., 1996. SUS - A Quick And Dirty Usability Scale. Usability evaluation in industry, pp. 4-7.
Department of Health and Human Services, US., 2006. Research-Based Web Design &
Usability Guidelines. Washington: U.S.
Government Printing Office.
Galletta, D. N., Henry, R. M., McCoy, S. and Polak, P. 2006. When the Wait Isn’t So Bad: The Interacting Effects of Website Delay, Familiarity, and Breadth.
Information Systems Research, pp. 20- 37.
Material, 2018. Material Guidelines.
[online] Material Design. Tersedia di:
<https://material.io/design/usability/
> [Diakses 1 Desember 2018]
Mifsud, J., 2015. Usability Metrics - A Guide To Quantity The Usability Of Any System. [online] UsabilityGeek. Tersedia di: <https://usabilitygeek.com/usability- metrics-a-guide-to-quantify-system- usability/> [Diakses 31 Agustus 2018]
Nielsen, J., 2001. Success Rate: The Simplest Usability Metric. [online] Nielsen Norman Group. Tersedia di:
<https://www.nngroup.com/articles/succ ess-rate-the-simplest-usability-metric/>
[Diakses 2 September 2018]
Nielsen, J., 2012. Usability 101: Introduction to Usability. [online] Nielsen Norman
Group. Tersedia di:
<https://www.nngroup.com/articles/usab
ility-101-introduction-to-usability/>
[Diakses 28 Agustus 2018]
Nielsen, J., 2000. Why You Only Need to test with 5 Users. [online] Nielsen Norman
Group. Tersedia di:
<https://www.nngroup.com/articles/why- you-only-need-to-test-with-5-users/>
[Diakses 1 September 2018]
PT. Pos Indonesia (Persero), 2013. m- KantorPos (2.0.0). [program komputer].
Tersedia di: < PT. Pos Indonesia (Persero)> [Diakses 13 September 2018]
Sauro, J., 2013. How To Measure Learnability.
[online] MeasuringU. Tersedia di:
<https://measuringu.com/measure- learnability/> [Diakses 2 September 2018]
Sauro, J.,2012. Measuring Errors In The User Experience. [online] MeasuringU.
Tersedia di:
<https://measuringu.com/errors-ux/>
[Diakses 11 November 2018]
Sauro, J., dan Kindlund E., 2005. How Long Should a Task Take? Identifying Specification Limits for Task Times in Usability Tests. Proceeding of the Human Computer Interaction International Conference, pp.1-5.
Sergeev, A., 2015. Efficiency metrics - Theory of usability. [online] UI- Designer. Tersedia di: <http://ui- designer.net/usability/efficiency.htm>
[Diakses 24 November 2018]
