Analisis Dan Perbaikan Aplikasi UB Bookstore Berdasarkan Aspek
Usability
(ISO 9241-11)
HarunChristianBentro1,Retno IndahRokhmawati2, KomangCandraBrata3
ProgramiStudiiSistemiInformasi, FakultasiIlmuiKomputer, UniversitasiBrawijaya Email: 1145150401111004@mail.ub.ac.id, 2retnoindahr@ub.ac.id, 3k.candra.brata@ub.ac.id
Abstrak
Untuk mencapai visi menjadi Penerbit Elektronik terbesar di Indonesia, UB Press merilis Aplikasi UB Bookstore. Terdapat 5 proses yang diamati yakni proses sign up dan sign in, proses edit profil, proses pencarian kategori dan buku, serta detail buku. Permasalah didalam aplikasi yang muncul pada observasi awal diantaranya navigasi tidak responsif, kurangnya informasi detail buku, perpaduan warna pada aplikasi yang kontras, serta pencarian buku dan navigasi menu yang kurang efektif. Sebab itu dilakukan perbaikan antarmuka dengan tiga dasar guideline. Selanjutnya dilakukan usability testing untuk desain aplikasi awal dan usulan. Menggunaan standar ISO 9241-11 dalam mengukur metrik usability diantarnya metrik effectivennes, efficiency dan satisfaction. Hasil di metrik effectivennes terbagi di 3 aspek, yakni Ketuntasan yang mengalami kenaikan sebesar 40%, Non Critical error serta Critical error yang mengalami penurunan sampai 0%. Didalam metrik efficiency didapatkan peningkatan sebesar 40% setelah pelaksanaan perbaikan antarmuka. Selanjutnya di aspek satisfaction, antarmuka rancangan desain usulan berada dalam grade C dan kategori “Acceptable”. Peneliti juga menggunakan kuesioner USE yang memiliki empat barometer. Setiap barometer memiliki pernyataan yang diberikan kepada pengguna untuk mendapatkan nilai tingkat usability aplikasi. Hasil dari nilai usability dari kuisioner ini sebelum perbaikan tampilan ialah sebesar 60,38% dan setelah rekomendasi rancangan desain usulan sebesar 79,70%.
Kata kunci: usability, aplikasi mobile, ISO 9241-11, usability testing
Abstract
To achieve the vision of becoming the largest Electronic Publisher in Indonesia, UB Press released UB Bookstore Application. There are 5 processes observed: sign up and sign in process, profile editing process, category and book search process, and book details. Problems in applications that appear on the initial observation include unresponsive navigation, lack of detailed book information, lack of interest in application color, and difficult to finding book and menu navigation. Therefore, there are three basic guidelines used for repairing the application interface. Further, usability testing is done for initial and new design. ISO 9241-11 is used as a standard to measure usability metrics, including Effectiveness, efficiency and satisfaction metrics. The results of the Effectiveness metrics are divided into 3 aspects: Success with 40% improvement, Non Critical Error , and Critical Error which is decreased to 0%. After repairing the application interface, efficiency metric increased to 40% after the interface repair. In the aspect of satisfaction, the new interface design is in grade C and in the "Acceptable" category. The researcher also used a USE questionnaire that included four criterions. Each criterion has several statements given to the user to assess the usability level of the application. The result of usability score of this questionnaire before recommendation is 60,38% and after recommendation of new design is 79,70%.
Keywords: usability, mobile application, ISO 9241-11, usability testing
1. PENDAHULUAN
E-book ialah salah satu inovasi dari teknologi untuk memberikan kemudahan membaca, mendapatkan buku dari berbagai sumber. E-book merupakan representasi
komputerissi dari buku cetak, mereka dapat disalin dari gambar, atau hasil reflowable yang direkonstruksi oleh piranti lunak yang menyerupai halaman pada perangkat membaca (Carden:2008)
pendidikan, UB Press mendeklarasikan visi dan misi dengan menjadi Penerbit elektronik pertama dan terbesar di indonesia. (UB Press:2014). Oleh karena UB Press itu meluncurkan aplikasi UB Bookstore. Dari hasil observasi awal kepada 5 responden acak di Universitas Brawijaya, ditemukan beberapa permasalahan dalam penggunaan aplikasi seperti navigasi tidak responsif, kurangnya informasi detail buku, perpaduan warna pada aplikasi yang kontras, serta pencarian buku dan navigasi menu yang kurang efektif.
Oleh karena itu peneliti mencari nilai usability aplikasi ini Berdasarkan standar ISO 9241-11 Usability ialah sejauh mana suatu produk dapat digunakan oleh pengguna untuk mencapai tujuan tertentu secara efektif, efisien dan memuaskan pada konteks penggunaan. Berikut merupakan Pembahasan per kriteria:
1. Effectiveness ialah ketepatan pengguna didalam mencapai tujuan dan didalam lingkungan tertentu
2. Efficiency ialah sumber daya yang dihabiskan pengguna untuk mencapai tujuan
3. Satisfaction ialah kepuasan dan perilaku positif ketika menggunakan aplikasi.
Penelitian terdahulu ialah “Pengujian Usability Untuk Meningkatkan Antarmuka Aplikasi Mobile” oleh Yani Nurhadryani. Didalam jurnal ini sebuah aplikasi mobile yang berrnama M-Breakfast Nutrition di uji usability untuk mendapatkan info seberapa mudah suatu interface dapat digunakan oleh pengguna saat berinteraksi di aplikasi. Pengujian usability dilaksanakan dengan melakukan usability testing kepada pengguna berdasarkan pengamatan terhadap tiga aspek usability yaitu Effectiveness, efficiency, dan satisfaction untuk menilai usability dari aplikasi mobile yang bernama m-breakfast nutrition . Dari penelitian diatas didapatkan beberapa hal yang cocok dengan penelitian ini yakni 3 indikator usability yang digunakan dalam penelitian tersebut dan metode usability testing yang digunakan
Melakukan evaluasi aplikasi mobile itu perlu untuk dilakukan untuk meningkatkan kualitas dari dari aplikasi ini.Terlebih bagi aplikasi UB Bookstore yang harus dapat memberikan layanan pembelian dan penyewaan buku dan e-book dengan kualitas aplikasi yang mumpuni dengan memperhatikan spesifikasi kebutuhan pengguna.
Dalam melaksanakan analisis perbalikan aplikasi ini menggunakan metode usability testing untuk mengukur Effectiveness dan
Efficiency, SUS Questionnaire untuk mengukur Satisfaction dan USE Questionnaire untuk mendapatkan hasil Usability secara keseluruhan..
Usability testing dilaksanakan dengan memberikan berbagai tugas yang harus dituntaskan pengguna. Tujuannya yakni untuk menilai ketercapaian tugas, mengamati perilaku pengguna, dan menggali permasalahan usability ketika proses pengerjaan tugas. Evaluasi ini Usability testing dilaksanakan dua kali yakni untuk mengamati desain lama dan prototipe desain usulan aplikasi.
Hasil yang diperoleh di Usability testing pada desain lama selanjutnya dijadikan acuan dalam pelaksanaan perancangan desain usulan aplikasi mobile UB Bookstore.
SUS (System Usability Scale) dirilis oleh John Brooke pada tahun 1986, ialah sebuah kuesioner simpel dengan 10 poin pernyataan yang memberikan pandangan secara luas mengenai usability terutama mengenai satisfaction pengguna. SUS yang memiliki 5 skala likert tetapi nilai dari poin ini tidak menunjukkan penilaian persetujuan yang rigid, tetapi membiarkan pengguna memilih sendiri tingkat persetujuan (Brooke, 1996).
Untuk mendapatkan hasil keseluruhan, digunakan kuesioner USE untuk alat pengukuran untuk mendapatkan nilai usability. Kuesioner USE memiliki 30 pernyataan yang dibagi dari 4 kriteria. Setiap pernyataan memiliki penilaian disaat pengguna menggunakan aplikasi ini. Menurut Lund (2001) Banyak kriteria yang dapat diamati tetapi. tetapi kriteria di USE ialah barometer yang mudah untuk diamati dan dibandingkan hasilnya.
Dalam pelaksanaan perbaikan desain usulan sendiri menggunakan tiga guidelines yakni BBC Mobile Accessibility Guidelines, Usability Guidelines for Mobile Websites and Applications serta Google Material Design.
BBC Mobile Accessibility Guidelines adalah serangkaian panduan praktik terbaik untuk konten mobile web, hybrid dan native apps yang diluncurkan pada tahun 2017.
Usability Guidelines for Mobile Websites and Applications adalah pedoman usability yang dikhususkan untuk aplikasi mobile yang dibuat oleh Maria Shitkova, et al. dari University Of Muenster-Ercis, Muenster, Jerman. Penelitian ini didasarkan minimnya pedoman yang membahas mengenai pedoman usability antarmuka dari aplikasi piranti bergerak. Penelitian ini merujuk penelitian sebelumnya dari usability.gov dan norman Nielsen group. Terdapat 39 guideline yang dibagi menjadi 5 aspek yakni Layout, Navigation, Design, Content, Dan Performance. (Shitkova:2015).
Selain itu juga menggunakan Google Material Desain sebagai dasar ketentuan dalam pelaksanaan perbaikan desain antarmuka dari aplikasi UB Bookstore.
2. METODOLOGI PENELITIANi
Dalam perencanaan penelitian ini diawali dengan observasi awal dan wawancara kepada pengguna dari aplikasi mobile UB Bookstore dan kepada pengelola aplikasi mobile UB Bookstore. Setelah itu melakukan usability testing kepada 5 responden yang dipilih berdasarkan persona fakultas yang berbeda. Selain itu juga menyebarkan 25 kuesioner SUS serta USE untuk mendapatkan hasil satisfaction dan hasil Usability secara keseluruhan.
Selanjutnya dilakukan analisis masalah usability yang ditemukan dengan berdasarkan hasil usability testing dan kedua kuesioner diatas. Tahap berikutnya ialah perancangan desain usulan untuk antarmuka aplikasi mobile UB Bookstore yang baru. Perancangan dilaksanakan dengan perbaiki sesuai masalah usability yang telah ditemukan pada tahap usability testing dan kuesioner yang ada. Dalam pelaksaan perbaikan antarmuka ini melakukan memiliki dasar panduan perbaikan dari tiga guideline yang dipilih peneliti yakni BBC Mobile Accessibility Guidelines, Usability Guidelines for Mobile Websites and Applications serta Google Material Design. Setelah desain usulan selesai, dilakukan evaluasi desain usulan dengan melaksanakan usability testing dengan lima pengguna yang sama seperti evaluasi desain awal dan melakukan penyebaran kuesioner SUS dan USE kepada 25 responden. Selanjutnya hasil ini dibandingkan dengan hasil dari desain awal untuk mengetahui peningkatan aspek usability. Untuk lebih jelasnya dapat amati tahap metodologi di Gambar 1
Gambar 1. Metodologi Penelitian
3. HASIL PEMBAHASAN
Proses penelitian sendiri dimulai dari tahap observasi dan wawancara awal yang memperoleh gambaran serta harapan pengguna, bagaimana pengguna berinteraksi dengan aplikasi ini dan mendapatkan tentang fitur yang sering diakses oleh pengguna pada aplikasi mobile UB Boosktore. Wawancara awal dilakukan terhadap 5 pengguna yang merupakan pengguna aplikasi mobile UB Bookstore. Berdasarkan hasil observasi diatas tersebut diperoleh gambaran permasalah seperti navigasi tidak responsif, kurangnya informasi detail buku, perpaduan warna pada aplikasi yang kontras, serta pencarian buku dan navigasi menu yang kurang efektif. Selain hal tersebut, diperoleh aktivitas yang sering dilakukan oleh pengguna, diantaranya melakukan sign up dan sign in, melakukan proses edit profil, melakukan proses pencarian kategori dan buku, serta mengetahui detail buku yang akan dipakai dan melakukan ulasannya. Didalam tahapan
Tahap Identifikasi Masalah
Tahap Pengumpulan dan Pengolahan Data Awal
Tahap Rancangan dan Interpretasi Hasi Akhir
Mulai
Obervasi awal Objek Penelitian
Studi Pustaka
Pengukuran dan Pelaksanaan Usability Testingdesain awal
Perancangan desain usulan
Pengukuran Usability Testing rancangan desain usulan
Membandingkan antara hasil desain aplikasi awal dan rancangan desain usulan
Kesimpulan dan saran
identifikasi konteks penggunaan, dilaksanaan identifikasi pengguna dengan karakteristik pengguna yang ialah mahasiswa Universitas Brawijaya, kelengkapan sistem meliputi hardware dan software yang mendukung didalam melakukan Usability testing berdasarkan lima user goal yang dibuat. Kelima user goal tersebut diantaranya (1) Melaksanakan proses sign up dan sign in akun UB Bookstore; (2) Dapat melaksanakan pengeditan akun UB Bookstore; (3) Dapat menemukan sebuah katalog/kategori buku yang ditentukan didalam aplikasi UB Bookstore; (4) Dapat menemukan sebuah buku yang ditentukan di dalam aplikasi UB Bookstore, serta (5) Dapat mengetahui informasi buku dan dapat melakukan review buku yang ditentukan didalam aplikasi UB Bookstore. Selanjutnya dilakukan evaluasi desain lama dengan merencanakan tes tugas dengan tipe Goal or Task Based Skenario yang berfokus pada keberhasilan pengguna didalam mencapai tujuan atau ketuntasan didalam pelaksanaan tugas (Usability.gov, 2013). Tugas tipe ini tidak mengatur alur yang dilewati oleh responden untuk tujuannya. Perancangan tes tugas ini berjumlah lima, yakni (1) Melakukan sign up up dan sign in akun UB Bookstore; (2) Melakukan pengeditan akun UB Bookstore; (3) Mencari sebuah katalog/kategori buku yang ditentukan didalam aplikasi UB Bookstore; (4) Mencari sebuah buku yang ditentukan didalam aplikasi UB Bookstore, serta (5) Melakukan review buku yang ditentukan didalam aplikasi UB Bookstore. Selanjutnya kelima tes tugas ini digunakan didalam proses Usability testing. Proses Usability testing membutuhkan lima pengguna yang memiliki persona yang berbeda-beda. Untuk responden 1-4 sendiri pemilihan latar belakang fakultas responden didasarkan pada jumlah populer buku dari UB Press. Untuk responden ke 5 sendiri dipilih untuk memberikan persona sebagai persona yang sudah memahami teknologi informasi. Usability testing dilaksanakan untuk mengevaluasi masalah usability di aplikasi mobile (Nielsen, 2012). Berdasarkan ISO-9241-11:1998, terdapat 3 metrik usability yang dapat digunakan, diantaranya metrik Effectiveness, efficiency dan satisfaction.
Metrik Effectiveness ialah metrik yang digunakan untuk pengukuran keakuratan pengerjaan tugas (ISO, 1998) dan dikelompokan ke tiga aspek, yakni Ketuntasan, Non Critical Error (Tuntas tetapi kesulitan) dan Critical
Error (Gagal) (Usability.gov,2013). Selanjutnya di Tabel 1 ialah hasil persentase keseluruhan metrik Effectiveness pada desain awal.
Tabel 1. Metrik Effectiveness Desain Awal
T NCE CE
R1 60% 40% 0%
R2 60% 40% 0%
R3 60% 20% 20%
R4 60% 40% 0%
R5 60% 20% 20%
Rata-Rata 60% 32% 8%
R= Responden, T= Indikator Ketuntasan, NCE = NonCritical Error , CE = Critical Error
Didalam Tabel 1 dijelaskan hasil pencapaian setiap responden berlandaskan tiga indikator, yaitu Ketuntasan, Non Critical Error dan Critical Error . Didapatkan rata-rata faktor ketuntasan sebanyak 60%, faktor Non Critical Error sebanyak 32% serta faktor Critical Error sebanyak 8%. Berdasarkan persentase ketiga faktor metrik Effectiveness tini, peneliti memiliki target peningkatan ketercapaian hingga 100% pada aspek ketuntasan dan target untuk menurunkan persentase faktor Non Critical Error serta Critical Error sampai 0%.
Metrik efficiency digunakan untuk menghitung waktu yang dibutuhkan user dalam melakukan setiap tujuan (ISO, 1998). Selanjutnya di Tabel 2 ialah hasil persentase pengukuran metrik efisiensi pada usability testing aplikasi UB Bookstore desain awal
Tabel 2. Metrik Effectiveness Desain Awal
No Tugas Rata
Waktu
1 Melakukan sign up up dan sign in akun UB Bookstore
110 detik
2 Melakukan pengeditan akun UB Bookstore 68,8 detik
3
Mencari sebuah
katalog/kategori buku yang ditentukan didalam aplikasi UB Bookstore
23 detik
4
Mencari sebuah buku yang ditentukan didalam aplikasi UB Bookstore
5
Melakukan review buku yang ditentukan didalam aplikasi UB Bookstore
34,4 detik
Peneliti memiliki target untuk kelima tugas ini dapat diselesaikan lebih cepat pada desain usulan perbaikan. Selanjutnya ialah mengukur metrik satisfaction yang diperoleh menyebarkan kuesioner SUS. Dalam menyebarkan kuesioner ini dilaksanakan setelah pengguna melaksanakan usability testing. Kuesioner ini bertujuan untuk mendapatkan tingkat kepuasan responden mengenai desain aplikasi bawaan UB Bookstore. Dari hasil penyebaran kuesioner sendiri nilai rata-rata yang diperoleh pada evaluasi desain awal, diklasifikasikan kedalam tiga indikator penilaian diantaranya (1) “Not
Acceptable” difaktor Acceptability Ranges; (2)
“Grade F” difaktor Grade Scale; serta (3) “OK” difaktor Adjective Ratings. Dari hasil ini, didapatkan perolehan skor SUS pada situs aplikasi mobile UB Bookstore ini masih dibawah rata-rata ideal dan desain aplikasi ini belum memuaskan pengguna. kebanyakan
Selain itu juga peneliti juga menggunakan kuesioner USE untuk melengkapi penilaian mengenai usability dari desain awal aplikasi UB Bookstore. Berikut di tabel 3 menunjukan persentase dari hasil kuesioner USE.
Tabel 3. Hasil Kuesioner USE Desain Awal Kriteria Rata-rata Persentase
Usefulness
3,9
56,00 %
Ease of Use
4,4
63,53 %
Ease of Learning
4,8
68,86 %
Satisfaction
3,7
53,14 %
PenilaianTotal
4,2
60,38 %
Selanjutnya setelah tahapan desain awal, ialah tahapan menentukan masalah usability. Ditahap ini ditemukan 5 permasalahan usability, diantaranya (1)Mengubah tata letak konten sign up dan sign in agar lebih terlihat dan menarik. (2) Membuat tampilan ikon profil dan edit profil agar lebih fokus dan mudah untuk dilihat oleh pengguna. (3) Mengatur latar belakang menu, navigasi dan tata letak konten agar mudah untuk dilihat oleh pengguna. (4) Warna pada menu navigasi utama agar dapat terlihat dan tidak kontras dengan warna tulisan. (5) Kolom pencarian yang disertai prediksi agar lebih mudah digunakan (6) Detail buku yang memuat
penjelasan dan informasi tambahhan disertakan fitur transaksi.
Permasalahan usability diatas akan dijadikan acuan dalam perancangan usulan desain baru. Setelah menemukan masalah, Perancangan desain usulan dilakukan berdasarkan Guideline yang sudah ditentukan. Berikut di Gambar 3 menampilkan tampilan desain usulan pada main boarddesain usulan aplikasi ini.
Gambar 2. Main board Desain Usulan Setelah selesai melakukan perancangan desain usulan aplikasi mobile UB Bookstore, tahapan berikutnya ialah evaluasi desain usulan. Proses melaksanakan evaluasi desain usulan sama dengan evaluasi desain awal yang telah dilaksanakan yakni dengan 3 metrik usability sebagai dasar penilaian usability testing serta menggunakan 5 responden yang sama.
Pertama, mengukur Metrik Effectiveness yang dikelompokkan di tiga indikator penilaian Selanjutnya di dalam Tabel 4 ialah hasil persentase pengukuran metrik Effectiveness desain usulan
Tabel 4. Metrik Effectiveness Desain Usulan
Responden T NCE CE
R1 100% 0% 0%
R2 100% 0% 0%
R3 100% 0% 0%
R4 100% 0% 0%
R5 100% 0% 0%
Rata-Rata 100% 0% 0%
NonCritical Error , CE = Critical Error .
Didalam Tabel 4 dijelaskan hasil ketercapaian setiap responden berdasarkan indikator yang ada. Didapatkan rata-rata indikator ketuntasan sebesar 100%, indikator NonCritical Error serta Critical Error sebanyak 0%.
Setelah itu di Tabel 4 merupakan hasil persentase pengukuran metrik efficiency pada usability testing aplikasi UB Bookstore desain usulan
Tabel 5. Metrik Efficiency Desain Usulan
No Tugas Rata
Waktu
1 Melakukan sign up up dan sign in akun UB Bookstore
70,4 detik
2 Melakukan pengeditan akun UB Bookstore 63,8 detik
3
Mencari sebuah
katalog/kategori buku yang ditentukan didalam aplikasi UB Bookstore
15,8 detik
4
Mencari sebuah buku yang ditentukan didalam aplikasi UB Bookstore
13 detik
5
Melakukan review buku yang ditentukan didalam aplikasi UB Bookstore
23,8 detik
Selanjutnya adalah Hasil dari Kuesioner SUS yang disebarkan kepada 25 responden yang pernah berinteraksi dengan aplikasi desain awal dan desain usulan. Dari hasil penyebaran kuesioner sendiri nilai rata-rata yang diperoleh pada evaluasi desain usulan, diklasifikasikan kedalam tiga indikator penilaian diantaranya diantaranya (1) “Acceptable” pada Acceptability
Ranges; (2) “Grade C” pada Grade Scale; dan (3) “Good” pada Adjective Ratings. Oleh sebab itu, dapat diperolehan nilai SUS pada desain usulan telah sesuai target dan desain dapat diterima pengguna.
Selain itu juga peneliti juga menggunakan kuesioner USE untuk melengkapi penilaian mengenai usability dari desain awal aplikasi UB Bookstore. Berikut pada tabel 6 menunjukan persentase dari hasil kuesioner USE.
Tabel 6. Hasil Kuesioner USE Desain Usulan
Kriteria Rata-rata Persentase
Usefulness 5,27 75,29%
Ease of Use 5,58 79,74%
Ease of
Learning 6,03 86,14%
Satisfaction 5,43 77,63%
Penilaian Total 5,27 75,29%
Dari hasil diatas sendiri menunjukkan bahwa usability sudah baik dengan nilai rata rata diatas 75%.
Selanjutnya ialah membandingkan hasil evaluasi usability aplikasi mobile UB Bookstore desain awal dan desain usulan. Perbandingan semua hasil ini memiliki tujuan untuk mengetahui kenaikan usability di aplikasi mobile UB Bookstore. Berikut di Tabel 7 ialah ikhtisar hasil dari metrik Effectiveness diaspek ketuntasan.
Tabel 7. Perbandingan Aspek Tuntas Responden Desain Awal Desain Usulan
R1 60% 100%
R2 60% 100%
R3 60% 100%
R4 60% 100%
R5 60% 100%
Rata-rata 60% 100%
Didalam Tabel 7 dapat diperhatikan bahwa terjadi kenaikan di aspek ketuntasan dari evaluasi desain awal aplikasi serta desain usulan. Sebelumnya desain awal mendapatkan nilai rata-rata ketuntasan sebanyak 60% dan mengalami kenaikan didesain usulan menjadi 100%. Hal ini berarti bahwa desain usulan aplikasi mobile UB Bookstore memiliki tampilan yang lebih mudah dipahami sehingga responden tidak memiliki kesulitan didalam mengerjakan usability testing
.
Tabel 8 ialah hasil dari metrik Effectiveness pada aspek NonCritical Error .
Tabel 8. Perbandingan NonCritical Error Responden
Desain Awal Desain Usulan
R1 40% 100%
R2 40% 100%
R3 20% 100%
R4 40% 100%
R5 20% 100%
Rata-rata 32% 100%
ini sebelum dengan evaluasi desain usulan. Didalam desain awal memiliki nilai sebanyak 32% serta mengalami penurunan didesain usulan menjadi 0%. Penurunan ini memiliki arti bahwa sudah tidak ada responden yang mengalami kendala didalam mengerjakan tes tugas pada desain usulan.
Selanjutnya di tabel 9 ialah hasil dari metric Effectiveness didalam indikator Critical Error
.
Tabel 9. Perbandingan Critical Error Responden
Pada tabel diatas menampilkan penurunan persentase di indikator Critical Error dari evaluasi desain awal serta desain usulan. Di desain mula-mula mendapatkan rata-rata Critical Error sebanyak 8% dan terdapat penurunan yang cukup signifikan di desain usulan menjadi 0%. Penurunan ini memiliki arti yakni responnden tidak mengalami kegagalan dalam pengerjaan tes tugas di desain usulan
Selanjutnya di Tabel 10 ialah perbandingan pada metrik efficiency dari desain aplikasi awal dengan desain usulan. Hasil tersebut selanjutnya dibandingkan serta dihitung menggunakan perhitungan rata-rata geometrik untuk mengetahui peningkatan persentase metrik efficiency. Nielsen (2001) mengemukakan perhitungan ini disarankan untuk mengukur perolehan waktu yang ialah data perbandingan.
Tabel 10. Perbandingan Metrik Efficiency Desain
Perkalianiseluruhitugas 6,23 detiki
Rata-rataigeometric 1,4 detiki
Persentasei (dikali 100%) 140 %
Peningkatanipersentasei
(-100%) 40 %
Didalam Tabel 10 didapatkan bahwa terjadi kenaikan persentase sebanyak 40% dari desain awal di desain usulan. Hal ini berarti bahwa terjadi penurunan waktu yang dibutuhkan pada desain usulan dibandinkan desain awal. Hal ini dapat dapatkan bahwa desain usulan berhasil mencapai target yang ditetapkan.
Selanjutnya didalam Tabel 11 ialah tampilan perbandingan pada metrik satisfaction dari desain antarmuka aplikasi sebelum dengan desain usulan antarmuka yang baru.
Tabel 11. Perbandingan Metrik Satisfaction Desaini
Dari hasil pengumpulan kuesioner USE didapatkan hasil pada tabel 5.29 berikut.
Tabel 12 Perbandingan Hasil Kuesioner USE
Kriteria Rata
Satisfaction 3,72 5,43 53,1
4%
77,63 % Total Nilai
Usability 4,23 5,58 60,38% 79,70%
Terjadi peningkatan signifikan nilai usability desain usulan dibandingkan dengan desain lama, Persentase baru sendiri mencapai 79,7 % naik 19,32% dari nilai persentase lama yang hanya 60,38. Ini mengindikasikan bahwa ketergunaan desain aplikasi ini naik seiring dengan perbaikan desain antarmuka aplikasi UB Bookstore.
4. KESIMPULANi
Ketuntasan yang mengalami kenaikian sebesar 40%, NonCritical Error dan Critical Error yang mengalami penurunan hingga 0%. Faktor terbesar kenaikan dari critical error ke indikator ketuntasan adalah adanya navigasi yang jelas dan kolom pencarian kategori yang memiliki kejelasan penggunaannya yakni dari 2 responden yang mengalami menjadi 0 responden yang mengalami. Faktor terbesar kenaikan dari non critical error ke indikator ketutasan ialah detail buku yang membantu untuk melakukan review buku dari 5 responden yang mengalami non critical error menjadi 0 responden. Pada metrik efficiency diketahui terjadi peningkatan rata-rata geometrik 40% pada setelah dilakukan perbaikan antarmuka. Faktor terbesar kenaikan metrik efficiency ialah karena fitur sign up dan sign in yang lebih mudah ditemukan dengn selisih perbandingan waktu berkisar 1,56 detik dan fungsi kolom pencarian yang memiliki fungsi prediksi sehingga dapat melakukan proses buku dengan cepat dengan selisih perbandingan waktu berkisar 1,54 detik. Selanjutnya didalam aspek satisfaction, antarmuka desain usulan naik dari grade F dan kategori “Not Acceptable” menjadi berada dalam grade C dan kategori
“Acceptable”. Faktor terbesar kenaikan metrik satisfaction adalah kepuasan pengguna terhadap desain tampilan saat ini dibandingan dengan desain awal. Peneliti juga menggunakan kuesioner USE yang meliputi empat kriteria yaitu usefulness, ease of use, ease of learning dan satisfaction. Setiap kriteria memiliki beberapa pernyataan yang akan diberikan kepada pengguna untuk menilai tingkat usability aplikasi. Hasil nilai kegunaan dari kuisioner ini sebelum rekomendasi perbaikan adalah sebesar 60,38% dan setelah rekomendasi desain usulan sebesar 79,70%. Didalam pelaksanaan tugas akhir ini perlu adanya guideline yang benar-benar dapat membantu dalam penelitian ini Sehingga menghasilkan desain usulan dari aplikasi mobile UB Bookstore yang mudah digunakan dan dipahami pengguna, serta menaikan produktivitas pengguna dan dapat menaikan usability sebuah aplikasi mobile
.
5. DAFTARIPUSTAKA
InternationaliOrganizationiforiStandardization, 1998. ISO 9241-11 Ergonomic requirementsiforiofficeiworkiwithivisua lidisplay terminalsi (VDTs) - Part 11 : Guidance oniusability.
Bangor, iA., Kortum, P., & Miller, J., 2009.
DeterminingiwhatiindividualiSUSiscore simean: Addingianiadjectiveirating scale, [ejournal] 4(3).Tersedia melalui: JournaliOfiUsabilityiStudiesi (JUS). <http://uxpajournal.org/determining- whatindividual-sus-scores-mean-adding-anadjective-rating-scale/> [Diakses 6 April 2018]
Brooke, J., 1986. System Usability Scale (SUS). [Online]iTersediaidii:
i<https://www.usability.gov/how-to- andtools/methods/system-usability -scale.html>
[Diakses 5 April 2018]
Sauro, J., 2010. Average Task Times in Usability Tests: What to Report?. [Online] Tersediaidi:i<https://measuringu.com/a verage- times/> [Diakses 19 September 2017].
Usability.gov, 2013b. Usability testing. [Online]iTersediaidi:
<https://www.usability .gov/how-to-and-tools/methods/usability
-testing.html> [Diakses 21 April 2018] Macefield, R., 2009. How To Specify the
Participant Group Size for Usability Studies: A Practitioner’s Guide. Journal of Usability Studies, 5(1), pp. 34-45.
Lund, A. M., 2001. Measuring Usability with the USE Questionnaire. Usability Interface, 8(2), 3-6
