Fakultas Ilmu Komputer
3150
Evaluasi Usability pada
Aplikasi
Grab
dengan
Menggunakan
Metode
Pengujian Usability
Nabilla Ridha Permana1, Ismiarta Aknuranda2, Retno Indah Rokhmawati3
Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1ridhanabilla@gmail.com, 2i.aknuranda@ub.ac.id, 3retnoindahr@ub.ac.id
Abstrak
Grab merupakan aplikasi penyedia transportasi yang menawarkan beberapa layanan. Layanan tersebut yaitu layanan transportasi, layanan kurir, dan layanan antar makanan. Aplikasi Grab telah berkembang pesat dengan melihat aplikasi Grab yang telah diunduh sebanyak lebih dari 10 juta kali. Namun, pengguna merasa bahwa aplikasi Grab masih memiliki kekurangan, diantaranya akurasi dari peta ketika menentukan lokasi masih kurang dan lokasi tujuan yang dimasukkan pengguna tidak terdeteksi oleh aplikasi. Dari umpan balik yang diberikan oleh pengguna, aplikasi Grab masih memiliki beberapa permasalahan yang terjadi. Oleh karena itu, aplikasi Grab membutuhkan penggalian masalah dan pengukuran tingkat usability. Metode yang digunakan dalam penelitian ini adalah metode pengujian usability yang digunakan untuk menggali permasalahan pada aplikasi Grab dan untuk mengukur tingkat usability dari aplikasi Grab dengan menggunakan skenario tugas dan kuesioner. Pengujian dilakukan pada 5 responden dari pengguna baru aplikasi Grab dan pengisian kuesioner dilakukan oleh 100 responden pengguna aktif dari aplikasi Grab. Hasil dari evaluasi menunjukkan permasalahan dan tingkat usability dari aplikasi Grab. Permasalahan pada aplikasi Grab adalah peserta kesulitan ketika akan melakukan pembayaran, peserta mengalami kesulitan mencari alamat rumah atau lokasi keberadaan
peserta pada kolom “pick-up”, dan peserta kebingungan ketika lokasi keberadaan peserta tidak sesuai dengan peta. Hasil tingkat usability diantaranya pada tingkat kemudahan pengguna sebesar 100%, tingkat kecepatan pengguna 0,013 goals/sec, tingkat kesalahan pengguna 0,13, dan tingkat kepuasan pengguna sebesar 40%-50% pada aplikasi Grab.
Kata kunci: usability, pengujian usability, aplikasi Grab.
Abstract
Grab is application of transport provider that offers several services. The service is transport service, courier service, and food service. Grab application has grown rapidly by seeing the application has been downloaded more than 10 million times. However, users from Grab application feel that application still has flaws, including the accuracy of the map when determine the location is still lack and when users entered the destination location is not detected by the application. From some user feedback, Grab application still have problems. Therefore, Grab application need problems digging and measurement of usability level. Usability testing method was used to problems digging in Grab application and to measure usability level of Grab application by using the task scenario and a questionnaire. Testing were conducted to five respondents from new user of Grab application and the questionnaire were filled by 100 respondents from active user of Grab application. The evaluation result show the problems and usability levels Grab application. The problems of Grab application is the participant feel difficulty to make a payment, participant feel difficulty to search the home address or
location of participant on the “pick-up” column, and participant feel confused when the location doesn’t
match with map of application. The usability level results are 100% of level ease of the user, 0,013 of
level speed of the user, 0,13 of user’s error rate, and level of user satisfaction is 40%-50% of Grab
application.
1. PENDAHULUAN
Aplikasi mobile merupakan perangkat lunak/sekumpulan program yang berjalan pada perangkat mobile dan melakukan tugas tertentu untuk pengguna (Islam.,et al, 2010). Salah satu aplikasi mobile yang saat ini sedang popular di kalangan masyarakat adalah aplikasi pemesanan jasa ojek online yang dapat mempermudah dalam kegiatan sehari-hari. Pemesanan layanan ini dilakukan melalui aplikasi mobile secara online dengan mengunduh aplikasi terlebih dahulu agar pengguna dapat melakukan pemesanan, lalu pesanan tersebut akan direspon oleh pengendara. Penggunaan dari layanan ojek online ini praktis dan mudah digunakan. Dengan adanya aplikasi ojek online, masyarakat merasa terbantu karena tidak perlu lagi melakukan pencarian transportasi umum secara manual.
Salah satu aplikasi pemesanan jasa ojek online tersebut adalah aplikasi Grab. Grab merupakan sebuah perusahaan asal dari Singapura yang memberikan layanan aplikasi penyedia transportasi. Aplikasi Grab memberikan penawaran layanan berupa layanan transportasi, layanan kurir, dan layanan antar makanan. Aplikasi Grab telah berkembang pesat dengan melihat dari banyaknya unduhan yang dilakukan sebanyak sepuluh juta kali (Google, 2017). Meskipun aplikasi ini telah diunduh sebanyak 10 juta kali aplikasi Grab masih memiliki kekurangan yang dirasakan dari sisi pengguna, seperti akurasi dari peta ketika menentukan lokasi masih kurang, lokasi tujuan yang dimasukkan pengguna tidak terdeteksi oleh aplikasi (Google, 2017).
Dari permasalahan yang telah disebutkan merupakan permasalahan usability yang terdapat pada aplikasi Grab. Nielsen (2012) mengungkapkan usability merupakan ukuran kualitas untuk menilai bagaimana kemudahan antarmuka pengguna untuk digunakan. Maka dari itu, aplikasi Grab perlu dilakukan penggalian masalah lebih lanjut agar dapat mengetahui permasalahan-permasalahan yang terdapat pada aplikasi Grab.
Selain itu, perludiketahui tingkat usability dari aplikasi Grab untuk menjelaskan aplikasi Grab berada pada tingkatan mana dari sisi pengguna. Tingkat usability diketahui dengan mengukur sejauh mana tingkat kemudahan pengguna dalam menyelesaikan tugas saat menggunakan aplikasi Grab, tingkat kecepatan pengguna dalam mencari informasi yang
dibutuhkan, tingkat kesalahan yang dilakukan pengguna, dan tingkat kepuasan pengguna menggunakan aplikasiGrab.
Metode yang digunakan adalah dengan menggunakan pengujian usability. Pengujian usability mengacu pada evaluasi produk atau layanan dengan menguji pada pengguna yang representatif. Selama pengujian, peserta akan mencoba menyelesaikan tugas sementara penguji akan mengamati, mendengarkan dan mencatat. Tujuan dari pengujian usability adalah untuk mengidentifikasi permasalahan usability, mengumpulkan data kualitatif dan kuantitatif, serta menentukan kepuasan pengguna terhadap suatuproduk (U.S. Dept. of Health and Human Services, 2006).
Penelitian ini bertujuan untuk menggali permasalahan usability dari aplikasi Grab dan mengevaluasi tingkat usability pada aplikasi Grab yang mencakup mengukur sejauh mana
tingkat kemudahan pengguna dalam
menyelesaikan tugassaat menggunakan aplikasi Grab, tingkat kecepatan pengguna dalam mencari informasi yang dibutuhkan, tingkat kesalahanyang dilakukan pengguna, dantingkat kepuasan pengguna menggunakan aplikasi Grab.
2. METODOLOGI PENELITIAN
Gambar 1. Metodologi Penelitian
terkait dengan penelitian. Selanjutnya melakukan evaluasi yang dibagi menjadi tiga bagian, diantaranya melakukan uji usability, melakukan wawancara, dan penyebaran kuesioner.
Pengujian usability digunakan untuk mengetahui permasalahan usability pada aplikasi Grab, mengukur tingkat kemudahan dalam menyelesaikan tugas, tingkat kecepatan yangdibutuhkan dalam mencari informasi yang dibutuhkan, tingkatkesalahan saat menjalankan aplikasi. Karakteristik peserta uji yang digunakan adalah pengguna baru yang memiliki usia produktif antara 15 tahun sampai 64 tahun dari aplikasi Grab dan memiliki pengetahuan mengenai penggunaan smartphone. Selain itu, pengujian dilakukan di sekitar kota Surabaya. Nielsen (2000) menyatakan untuk jumlah
responden yang digunakan untuk
mengidentifikasi masalah pada desain dari sebuah sistem menggunakan lima orang. Dengan melakukan pengujian pada lima orang dapat menemukan 85% masalah usability. Selain itu, pengidentifikasian yang dilakukan dengan menggunakan lebih dari lima orang akan mengulang permasalahan yang sama. Pada pelaksanaan pengujian dibutuhkan skenario tugas. Tabel 1 merupakan skenario tugas yang digunakan dalam pengujian.
Tabel 1. Skenario Tugas
Skenario Tugas
Hari ini kamu ingin pergi ke suatu tempat dan kamu membutuhkan transportasi dari lokasi kamu berada ke tempat tujuan. Kemudian kamu melakukan pemesanan layanan ojek pada aplikasi Grab untuk sampai ke tempat tujuan dengan melakukan pembayaran secara cash.
Layanan yang diuji pada aplikasi Grab adalah layanan GrabBike. Pada layanan GrabBike akan dilakukan identifikasi permasalahan dan mengukur tingkat usability. Pengukuran tersebut dilihat dari keberhasilan pengguna saat melakukan tugas, lama waktu yangdihabiskan untuk menyelesaikantugas, dan jumlah kesalahan yang dilakukan ketika mengerjakan tugas. Ketika pengujian berlangsung aktivitas dari peserta akan direkam dengan menggunakan aplikasi screen recorder. Setelah peserta uji menyelesaikan tugas yang diberikan, maka selanjutnya peneliti akan melakukan wawancara. Tujuan dari wawancara adalah untuk mendapatkan data terkait permasalahan yang dialami oleh peserta ketika menjalankan tugas yang diberikan. Wawancara
akan diberikan pada lima peserta yang telah melakukan pengujian.
Selanjutnya, peneliti melakukan penyebaran kuesioner pada 100 pengguna aktif dari aplikasi Grab dan disebarkan secara online. Kuesioner terdiri dari pertanyaan dasar dan utama. Pertanyaanddasar yang berisi identitas diri dari responden seperti alamat email, jenis kelamin, usia, dan frekuensi pemakaian aplikasi dalam sebulan. Pertanyaan utama terdiri dari 10 pertanyaan. Penyebaran kuesioner ini dilakukan guna mengetahui tingkat kepuasan yang dialami pengguna terhadap aplikasi Grab. Kuesioner yang digunakan adalah kuesioner System Usability Scale (SUS) yang memiliki sepuluh pernyataan. Dalam kuesioner ini menggunkan penilaian skala likert dengan nilai 1-5 untuk tiap pernyataan, yaitu (1) sangat tidak setuju, (2) tidak setuju, (3) netral, (4) setuju, dan (5) sangat setuju. Tabel 2 merupakan kuesioner yang diberikan pada responden.
Tabel 2. Kuesioner SUS
No Pernyataan
1 Sayapikir bahwa sayaakan ingin lebih sering menggunakan aplikasiini
2 Saya menemukan bahwa aplikasi ini, tidak harus dibuat serumitini.
3 Saya pikir aplikasi ini mudah untuk digunakan.
4
Saya pikir bahwa saya akan membutuhkan bantuan dari orang teknis untuk dapat menggunakanaplikasiini.
5 Sayamenemukan beberapa fungsi di aplikasi inidiintegrasikan denganbaik.
6 Sayapikir ada terlalu banyak ketidaksesuaian dalam aplikasiini
7
Saya bayangkan bahwa kebanyakan orang akan mudah untuk mempelakari aplikasi ini dengansangatcepat
8 Saya menemukan aplikasi ini sangat rumit untukdigunakan.
9 Saya merasa sangat percaya diri untuk menggunakanaplikasiini.
10 Saya perlu belajar banyakhal sebelum saya bisa memulai menggunakanaplikasi.
Sumber : Brooke (1996)
permasalahan pada aplikasi. Data tersebut akan dianalisis dengan membuat deskripsi permasalahan.
Data kuantiatif diperoleh dari pengujian usabilitydan kuesioner. Pada data dari pengujian akan dilakukan perhitungan pada komponen learnability, efficiency, dan error. Sedangkan padasdata kuesionerakan dilakukan perhitungan terhadap komponen satisfaction.
Dari hasil analisis evaluasi akan disimpulkan dengan menyesuaikan rumusan masalah dengan hasil yang didapatkan. Selanjutnya, memberikan saran untuk memperbaiki kekurangan dari penelitian dan memberi pertimbangan apabila akan dilakukan penelitianselanjutnya.
3. HASILPENELITIAN
Datayang dihasilkanberupa permasalahan usability padaiaplikasi Grab dan tingkat usability aplikasi Grab.
3.1 Permasalahan usability
Tabel 3 merupakan permasalahan usability pada aplikasi Grab sesuai dengan yang dialami oleh peserta selama pengujian berlangsung. Data ini didapatkan dari wawancara yang dilakukan kepada peserta setelah melakukan pengujian.
Tabel 3. Permasalahan Usability
No Deskripsi Permaslahan
1 Peserta merasa kesulitan ketika akan melakukan pembayaran
2
Peserta mengalami kesulitan saat mencari alamat rumah atau lokasi keberadaan peserta pada kolom “pick-up”
3 Peserta merasa kebingungan ketika lokasi keberadaan peserta tidak sesuai dengan peta.
Permasalahan pertama terjadi karena peserta tidak mengetahui tombol mana yang harus ditekan ketika akan melakukan pembayaran secara cash. Hal tersebut menyebabkan peserta memerlukan waktu yang cukup lama hanya untuk memilih pembayaran cash. Selain itu, peserta juga menanyakan berulang kali kepada peneliti bagaimana cara yang harus dilakukan ketika melakukan pembayaran agar dapat memesan layanan GrabBike.
Permasalahan kedua terjadi ketika peserta memasukkan alamat penjemputan pada kolom yang tersedia, tetapi pada peta tidak dapat menemukan alamat yang dimaksud oleh peserta. Hal tersebut mengakibatkan peserta melakukan
dan mencoba memasukkan alamat tersebut berulang-ulang kali. Namun, setelah percobaan berulang kali peserta menyadari terhadap kolom
“note” yang berfungsi untuk memberikan detail mengenai informasi pengguna yang ingin diberikan kepada pengendara.
Permasalahan terakhir terjadi saat lokasi penjemputan tidak sesuai dengan lokasi keberadaan peserta. Peserta merasa bahwa lokasi penjemputan akan secara otomatis disesuaikan dengan lokasi dimana pengguna berada, sehingga peserta tidak memasukkan lokasi penjemputan karena pada kolom pick up sudah terisi. Hal ini menyebabkan kesalahpahaman antara pengendara dan pengguna. Namun, permasalahan ini dapat diselesaikan dengan pengendara menghubungi peserta untuk menanyakan lokasi dari peserta yang sebenarnya.
3.2 Tingkat usability
3.3.1 Pengukuran komponen learnability
Data yang digunakan dalam mengukur komponen ini adalah tugas yang dapat diselesaikan oleh peserta dengan benar. Tabel 4 merupakan keberhasilan tugas masing-masing peserta
Tabel 4. Tingkat keberhasilan peserta
Peserta
P = peserta uji ke-, S = keberhasilan tugas yang diselesaikan peserta
Pada tabel 4 menunjukkan bahwa keseluruhan peserta telah berhasil menjalankan tugas. Komponen learnability dihitung dengan menggunakan perhitungan success rate. Success rate adalah presentase tugas yang diselesaikan oleh pengguna dengan benar (Nielsen, 2001). Success rate merepresentasikan tingkat kemudahan pengguna dalam menyelesaikan tugas. Pernyataan tersebut sesuai dengan penjelasan Sauro (2013) bahwa learnability dapat diukur dari kemampuan pengguna ketika menyelesaikan tugas. Perhitungan success rate menggunakan persamaan 1.
S𝑢𝑐𝑐𝑒𝑠𝑠 𝑡𝑎𝑠𝑘+(𝑃𝑎𝑟𝑡𝑖𝑎𝑙 𝑠𝑢𝑐𝑐𝑒𝑠𝑠 𝑡𝑎𝑠𝑘 𝑥 0.5)
= 5+(0 𝑥 0.5)
1 𝑥 100% = 100%
Hasil success rate yang didapatkan adalah sebesar 100%. Maka dari itu, tingkat kemudahan pengguna dalam menyelesaikan tugas adalah 100%. Hasil tersebut menunjukkan bahwa keseluruhan pemahaman dari peserta uji dalam menggunakan aplikasi sudah baik dan aplikasi Grab mudah dalam penggunaannya.
3.3.2 Pengukuran komponen efficiency
Data yang digunakan untuk mengukur komponen ini adalah waktu yang dibutuhkan peserta mulai dari awal melakukan tugas sampai tugas diselesaikan atau gagal diselesaikan. Tabel 5 merupakan waktu yang dihabiskan peserta saat menjalankan tugas.
Tabel 5. Waktu penyelesain tugas dari peserta
Peserta
Komponen efficiency dihitung dengan menggunakan time based efficiency (Mifsud, 2015). Time based efficiency mereprsentasikan tingkat kecepatan pengguna dalam mencari informasi yang dibutuhkan pada aplikasi. pernyataan tersebut sesuai dengan penjelasan dari Hornbaek (2006) bahwa untuk melakukan pengukuran efficiency dapat melakukan dengan beberapa cara yaitu waktu yang diperlukan ketika mengerjakan tugas (time), waktu yang diperlukan dalam menyelesaikan satu aktivitas (time completion rate). Perhitungan time based efficiency menggunakan persamaan 2.
𝑇𝑖𝑚𝑒 𝑏𝑎𝑠𝑒𝑑 𝑒𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 =∑ 1𝑅𝑗 ∑ 1
Hasil time based efficiency yangxdiperoleh adalah 0,013. Oleh karena itu, tingkatkecepatan pengguna dalam mencari informasi yang dibutuhkan pada aplikasi Grab sebesars0,013 tiap detiknya berdasarkan dari keseluruhan waktu yang dibutuhkan oleh keseluruhan peserta
untuk menyelesaikan tugas.
3.3.3 Pengukuran komponen error
Dalam mengukur komponen ini
membutuhkan data berupa jumlah kesalahan atau percobaan yang dilakukan lebih dari satu kali oleh peserta. Hal yang dilakukan sebelum melakukan pengukuran pada komponen ini adalah membuat kesempatan kesalahan pada tugas yang memiliki kesempatan bahwa peserta akan melakukan kesalahan selama melakukan tugas. Tabel 6 merupakan kesempatan pada tugas. Setelah mendefinisikan kesempatan, selanjutnya dilakukan perhitungan jumlah kesalahan yang dilakukan peserta dan menjumlahkan keseluruhan kesalahan dari keseluruhan peserta. Tabel 7 merupakan jumlah kesalahan dari peserta.
Tabel 6. Kesempatan tugas
No Kesempatan Total
kesempatan
1 Membuka aplikasi Grab
6 2 Memilih layanan GrabBike
3 Memasukkan lokasi penjemputan
4 Memasukkan lokasi tujuan
5 Memilih metode pembayaran secara tunai
6 Memilih button “BOOK”
Tabel 7. Jumlah kesalahan peserta
Peserta
Komponen error dihitung dengan menggunakan perhitungan error rate yang merepresentasikan tingkat kesalahan pengguna terhadap aplikasi. Hal tersebut sesuai dengan pernyataan Hornbaek (2006) bahwa untuk menghitung error dapat dilakukan dengan menggunakan jumlahkesalahan yang dilakukan oleh penggunaketika melakukan satu aktivitas,
jumlah kesalahan selama menjalankan
keseluruhan tugas, dan jumlah aktivitas yang dapat dilakukan dengan benar. Perhitungan error rate menggunakan persamaan 3.
=6 𝑥 5 = 0,134
Hasil dari error rate adalah sebesar 0,13. Maka dari itu, tingkat kesalahan yang dilakukan pengguna adalah 0,13. Sauro (2012) menungkapkan bahwa rata-rata jumlah kesalahan tiap tugas adalah 0,7. Melihat dari hasil tingkat kesalahan yang dilakukan oleh 5 peserta terhadap tugas yang diberikan tidak melebihi 0,7, maka tingkat kesalahan masih disebut wajar.
3.3.4 Pengukuran komponen satisfaction
Data yang diperlukan untuk mengukur komponen ini adalah kuesioner yang disebarkan pada 100 pengguna aktif aplikasi Grab. Hal yang terlebih dahulu dilakukan adalah menghitung nilai skor untuk masing-masing pernyataan dari tiap responden. Perhitungan tersebut menggunakan persamaan 4.
𝑆𝑘𝑜𝑟 = (𝑄1 − 1) + (5 − 𝑄2) + ⋯ 𝑥 2.5 (4)
Pada gambar 2 menunjukkan hasil skor SUS dari tiap responden.
Gambar 2. Hasil SUS tiap responden
Setelah mengetahui nilai dari masing-masing responden, menghitung rata-rata dari nilai keseluruhan responden. Hasil yang didapatkan adalah 66,8. Nilai 66,8 dinormalisasikan untuk dirubah kedalam bentuk persentase. Gambar 2 merupakan bagaimana persentase dikaitkan dengan nilai SUS dan nilai huruf.
Gambar 2. Presentase nilai SUS dan huruf
Berdasarkan pada gambar 2 nilai 66,8
memiliki nilai persentase berkisar 40%-50%. Hasil tersebut menunjukkan bahwa tingkat kepuasan dari pengguna terhadap aplikasi Grab mendapatkan nilai C. Nilai C menunjukkan bahwa aplikasi Grab masih memerlukan peningkatan. Selain itu, aplikasi Grab juga masih dibawah rata-rata dan memiliki kemungkinan terdapat masalah dalam aplikasi.
4 KESIMPULAN
Dari hasil evaluasi pada aplikasi Grab dengan menggunakan metode pengujian usability adalah permasalahan usability yang didapatkan dari aplikasi Grab diantaranya (1) peserta kesulitan ketika akan melakukan pembayaran, (2) peserta mengalami kesulitan saat mencari alamat rumah atau lokasi
keberadaan peserta pada kolom “pick-up”, dan (3) peserta kebingungan ketika lokasi keberadaan peserta tidak sesuai dengan peta. Sedangkan, untuk tingkat usability dari aplikasi Grab adalah pada (1) tingkat kemudahan pengguna dalam menggunakan aplikasi Grab adalah sebesar 100% sesuai dengan hasil perhitungan success rate. Hasil tersebut menunjukkan bahwaaplikasi Grab mudah dalam penggunaannya, (2) tingkatkecepatan pengguna dalammencari informasiyang dibutuhkanpada aplikasi Grab adalah sebesar 0,013 sesuai dengan hasil timed based efficiency. Hasil ini
memiliki makna bahwa peserta dapat
menyelesaikan tugas sebanyak 0,013 tiap detiknya berdasarkan keseluruhan waktu yang dibutuhkan oleh seluruh peserta untuk menyelesaikantugas, (3) tingkat kesalahan yang dilakukan pengguna terhadap aplikasi Grab adalah sebesar 0,13 sesuaiJ hasil perhitungan error rate yang didapatkan dari analisis kuantitatif. Hasil tersebut menunjukkan bahwa kesalahan yang terjadi pada aplikasi Grab masih disebut wajar, (4) tingkat kepuasan yang dirasakanpengguna aplikasi Grab adalah antara 40%-50% sesuai dengan hasil yang didapatkan dari analisis kuantitatif. Hasil ini menunjukkan bahwa tingkatkepuasan dari pengguna aplikasi Grab memiliki nilai C dimana aplikasi Grab masih dibawah rata-rata dan memiliki kemungkinan terdapat masalah dalam aplikasi tersebut.
5 DAFTAR PUSTAKA
:<https://www.usability.gov/how-to- and-tools/methods/system-usability-scale.html>
Google, 2017. Google Play. [Online] Tersedia di :<https://play.google.com/store/apps /details?id=com.grabtaxi.passenger&hl =en>
Hornbaek, K., 2006. Current Practice in Measuring Usability : Chalenges to usability studies and research. Int. J. Human-Computer, 79-102.
U.S. Dept. of Health and Human Services(HHS), 2006. Scenarios [Online] Tersedia di :< https://www.usability.gov/how-to-and-tools/methods/scenarios.html>
U.S. Dept. of Health and Human Services(HHS), 2006. Usability Testing [Online] Tersedia di : <https://www.usability .gov/how-to-and-tools/methods/usabil ity-testing.html>
Islam, R. Md, Islam, R. Md., & Mazumder, T. A.
2010. Mobile Application and It’s
Global Impact. International Journal of Engineering & Technology, 72-78. Mifsud, J., 2015. Usability Metrics-A Guide to
Quantify The Usability Of Any System
[Online] Tersedia di :< https://usability geek.com/usability-metrics-a-guide-to-quantify-system-usability/ >
Nielsen, J., 2000. Why You Only Need to Test 5 Users. [Online] Tersedia di: <https:/ /www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/> Nielsen, J., 2012. Usability 101: Introduction to
Usability. [Online] Tersedia di: <http://www.nngroup.com/articles/usab ility-101-introduction-to-usability> Sauro, J., 2011. Measuring Usability With The
System Usability Scale (SUS) [Online]
Tersedia di: <https://
https://measuringu.com/sus/ />
Sauro, J., 2012. 10 Benchmarks For User Experience Metrics
