Fakultas Ilmu Komputer
Universitas Brawijaya
1024
Analisis Perbandingan Metode Evaluasi Usability berbasis Pengguna pada
Web-Based GIS (Studi Kasus: petabencana.id)
Andito Wahyudi1, Fatwa Ramdani2, Aditya Rachmadi3Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1[email protected], 2[email protected], 3[email protected]
Abstrak
Penelitan ini berlandaskan atas pengembangan usability pada web-based GIS. Tujuan dari penelitan ini adalah membandingkan kemampuan dan kedalaman dari metode evaluasi usability berbasis pengguna dalam menggali permasalahan pada web-based GIS. Data dikumpulkan dari kelompok responden yang ditentukan peneliti menggunakan purposive sampling dengan menjalankan evaluasi usability dari tiap metode. Metode yang termasuk adalah usability testing (N=5), wawancara pengguna (N=10), dan survei (N=20). Total 61 permasalahan usability yang ditemukan menggunakan tiga metode. Usability testing menemukan 28 masalah (46%), wawancara menemukan 20 masalah (32%), dan metode survei menemukan 13 masalah (21%). Dari 28 kategori permasalahan menurut usability problem taxonomy (UPT), metode usability testing mencakup 21 kategori (75%), sedangkan metode wawancara mencakup 17 kategori (60%), dan metode survei mencakup 13 kategori (46%). Ketiga metode saling melengkapi karena tiap metode berhasil mencakup kategori permasalahan yang unik. Kombinasi dari usability
testing, wawancara, dan survei dapat menggali semua permasalahan dan mencakup semua kategori
permasalahan pada web-based GIS.
Kata kunci: usability testing, wawancara, survei, usability problem taxonomy, GIS, perbandingan Abstract
This research is based on the development of usability in a web-based GIS. The purpose of this research is to compare the ability and depth of the user-based usability evaluation method in exploring problems in a web-based GIS. The data were collected from a group of respondents who were determined by the researcher using purposive sampling by evaluating the usability of each method. The methods included were usability testing (N = 5), user interviews (N = 10), and surveys (N = 20). A total of 61 usability problems were found using three methods. Usability testing found 28 problems (46%), interviews found 20 problems (32%), and the survey method found 13 problems (21%). Of the 28 problem categories according to the usability problem taxonomy (UPT), the usability testing method covers 21 categories (75%), while the interview method covers 17 categories (60%), and the survey method covers 13 categories (46%). The three methods complement each other because each method successfully covers a unique problem category. The combination of usability testing, interviews, and surveys can explore all problems and cover all problem categories in a web-based GIS.
Keywords: usability testing, interview, survey, usability problem taxonomy, GIS, comparison
1. PENDAHULUAN
Petabencana.id merupakan sebuah platform
Geographic Information System (GIS) berbasis web untuk manajemen kebencanaan. Petabencana.id berkerja dengan cara mengubah kicauan di media sosial dan digital menjadi informasi penting bagi warga, komunitas, dan instansi pemerintah. Kerangka kerja ini diharapkan dapat menghasilkan data real-time
dan akurat untuk pengguna dan petugas darurat berwenang.
Penerapan Geographic Information System (GIS) berbasis web telah menjadi solusi GIS yang paling luas tersebar karena dianggap memiliki keunggulan seperti biaya relatif rendah dan memberikan lingkungan pengguna yang dikenal secara baik atau familiar. Web-based GIS ditujukan untuk pengguna dengan berbagai latar belakang (Komarkova et al., 2010).
GIS mempunyai elemen yang khas seperti kontrol layer dan ikon peta (Skarlatidou & Haklay, 2006). Elemen tersebut cukup khas, berbeda dengan sistem lain, bisa menjadi penyebab pengguna mengalami kesulitan dalam menggunakan. Oleh karena itu, pengembangan
usability dalam GIS memerlukan perhatian
khusus.
Pentingnya aspek usability dalam sebuah sistem mengarah pada pengembangan evaluasi
usability. Evaluasi usability terus ada pada
pengembangan sistem untuk menilai secara sistematis seberapa mudah sistem digunakan. Salah satu tujuan dari evaluasi usability adalah menemukan masalah usability yang nantinya hasil dari evaluasi tersebut akan digunakan sebagai landasan untuk pengembangan selanjutnya dalam sistem. Hasil evaluasi yang tidak tepat akan mengakibatkan kebutuhan tidak akan terpenuhi (Madan & Dubey, 2012). Oleh karena itu, evaluasi usability dalam pengembangan sistem adalah hal yang krusial.
Tantangan utama dalam melakukan evaluasi usability adalah pemilihan metode yang tepat untuk menilai usability secara efisien dan efektif (Walji et al., 2014). Namun, karena banyaknya pilihan metode dalam evaluasi
usability, memilih metode yang paling sesuai
dalam skenario tertentu menjadi hal yang sulit (Madan & Dubey, 2012). Tiap metode evaluasi
usability memiliki karakteristik yang
berbeda-beda dan kriteria dalam pelaksanaan evaluasi yang berbeda.
Metode evaluasi usability dapat dibagi menjadi tiga jenis: user testing, usability
inspection, dan usability inquiry. User testing, usability inspection, dan usability inquiry
memiliki beberapa perbedaan diantaranya (Unrau & Kray, 2018). User testing dan usability
inquiry meletakkan pengguna sebagai evaluator,
sedangkan usability inspection melibatkan
expert untuk menilai tingkat usability suatu
sistem (Komarkova et al., 2009). Perbedaan ini mengakibatkan hasil evaluasi akan berbeda.
Expert usability dapat menjadi solusi yang cepat
dengan biaya yang lebih rendah. Masalah yang ditemukan oleh expert cenderung merupakan masalah tingkat tinggi. Namun, expert usability mempunyai batasan yakni masalah yang ditemukan bukanlah masalah nyata yang dialami oleh pengguna. Sedangkan pengujian yang berbasis pengguna dapat menemukan masalah yang nyata karena mereka adalah pengguna sebenarnya walapun pengujian berbasis pengguna membutuhkan perencanaan yang lebih
rumit (Inviqa, 2007).
Metode yang akan digunakan pada penelitian ini adalah usability testing,
wawancara, dan survei. Ketiga metode ini mencakup jenis metode user testing dan usabiltiy inquiry. Pada usability testing, responden akan mencoba menyelesaikan task sementara fasilitator akan mengamati, mendengarkan dan mencatat interaksi dan komentar responden (usability.gov, n.d.-b). Wawancara dilakukan dengan melakukan tanya-jawab dengan satu responden mengenai suatu topik (Pernice, 2018; usability.gov, n.d.-a). Survei dilakukan dengan memberikan serangkai pertanyaan kepada responden (Brad Dalrymple, 2017). Ketiga metode yang digunakan mempunyai perbedaan dalam pelaksaannya dan keluarannya.
Perbedaan dari tiap metode ini yang mendorong peneliti untuk menganalisis hasil dari evaluasi dari tiap metode saat digunakan pada objek yang sama. Tujuan dari penelitian ini adalah untuk menganalisis perbandingan metode evaluasi usability berbasis pengguna pada objek
web-based GIS mengenai efektivitas dalam hal
mendeteksi masalah.
2. LANDASAN KEPUSTAKAAN 2.1. Usability Testing
Usability testing adalah salah satu metode
untuk mengukur tingkat usability suatu aplikasi. Proses evaluasi produk melibatkan pengujian langsung pada sampel pengguna. Selama pengujian, peserta akan mencoba menyelesaikan tugas sementara fasilitator akan mengamati, mendengarkan dan mencatat. Tujuan dari
usability testing adalah untuk mengidentifikasi
permasalahan usability, mengumpulkan data kualitatif dan kuantitatif, serta menentukan kepuasan pengguna terhadap suatu produk (Moran, 2019).
2.2. Wawancara
Wawancara pengguna adalah metode penelitian dimana seorang peneliti mengajukan pertanyaan kepada satu pengguna mengenai sebuah topik (misalnya, penggunaan sistem, perilaku, dan kebiasaan) dengan tujuan mempelajari topik itu (Pernice, 2018).
2.3. Survei
Survei adalah sekumpulan pertanyaan yang digunakan untuk mengumpulkan informasi topik
tertentu dari responden (Sauro & Lewis, 2012). Butir pertanyaan dalam survei dapat berupa pertanyaan skala dan atau pilihan ganda (kuantitatif) dan atau pertanyaan open-ended (Brad Dalrymple, 2017; Sauro, 2015).
2.4. Usability Problem Taxonomy
Usability problem taxonomy (UPT) adalah
sebuah model klasifikasi masalah usability yang terdeteksi pada sebuah antarmuka dengan data tekstual berdasarkan prespektif komponen
artifact dan task (Keenan et al., 1999). Dari dua
komponen tersebut akan dibagi menjadi lima kategori utama sebagai berikut:
Gambar 1. UPT
3. METODOLOGI PENELITIAN
Gambar 2. Metodologi
3.1. Perancangan Evaluasi
Dalam pelaksanaan metode usability
testing, wawancara, dan survei, ada cara
pelaksanaan yang berbeda. Cara pelaksanaan ini mengatur pelaksanaan tiap metode, namun esensi dari tiap metode tidak berubah.
Dalam pelaksaaan usability testing, peneliti memilih menggunakan Moderated Remote
Testing karena keterbatasan kondisi (pandemi)
yang terjadi saat penelitian menyebabkan pelaksaaan usability testing dalam tempat yang sama tidak mungkin dilakukan. Usability testing dilaksanakan secara moderated agar fasilitator bisa mempunyai kesempatan untuk memberikan pertanyaan lanjut atau memperjelas pernyataan responden.
Wawancara dilakukan secara individu, dimana tiap responden melakukan tanya jawab dengan pewawancara secara satu per satu. Cara ini dipilih agar pewawancara mempunyai waktu untuk membahas topik secara detail.
Susunan survei yang digunakan adalah
system usability scale (SUS) dan kuesioner open-ended. SUS dipilih karena dapat menilai
tingkat usability dari GIS dengan murah dan mudah. Isi dari pernyataan dalam SUS juga cukup singkat sehingga tidak terlalu membebani pengguna dan memungkinkan pengguna agar lebih fokus dalam menjawab pertanyaan
open-ended. Pertanyaan open-ended berguna untuk
menggali permasalahan yang dimana merupakan inti dari penelitian.
Evaluasi usability dirancang berdasarkan referensi yang didapat pada tahap studi literatur.
3.2. Menentukan Responden
Menentukan responden dilakukan untuk menjelaskan bagaimana karakteristik peserta dan jumlah peserta yang dibutuhkan dalam evaluasi usability. Penentuan responden pada penelitian ini berdasarkan purposive sampling. Peneliti menentukan karakteristik responden tiga metode sama dengan harapan memimalisir variabel yang berbeda dari tiga metode saat analisis perbandingan.
Dalam menentukan karakeristik responden, peneliti mengusahakan responden yang dipilih cukup representatif. Situs petabencana.id sendiri ditujukan untuk masyarakat umum karena informasi bencana dibutuhkan seluruh elemen masyarakat atau tidak eksklusif untuk masyarakat tertentu.
Karakteristik responden yang dipilih adalah penduduk indonesia dengan rentang usia 20-30 tahun yang berpengalaman dalam menggunakan
karakteristik responden yaitu pada usability
testing dipilih pengguna yang belum pernah
menggunakan petabencana.id sedangkan pada metode wawancara dan survei dipilih pengguna yang sudah pernah menggunakan usability
testing.
Untuk menghindari redundansi data, setiap responden hanya terlibat dalam salah satu dari ketiga metode yang digunakan.
3.3. Pengumpulan Data
Data yang dikumpulkan merupakan hasil evaluasi usability menggunakan metode
usability testing, wawancara, dan survei. Usability testing mengumpulkan data observasi,
komentar pengguna, tingkat keberhasilan. Wawancara mengumpulkan data jawaban pengguna. Survei mengumpulkan data penilaian SUS dan jawaban empat pertanyaan open-ended. Semua metode mengumpulkan item data responden yang sama yaitu nama, umur, domisili, dan pengalaman menggunakan dekstop dan pengalaman menggunakan GIS.
3.4. Identifikasi Permasalahan
Permasalahan usability diidentifikasi oleh peneliti dan didampingi pembimbing peneliti. Proses identifikasi dilakukan tiga kali sampai mendapatkan hasil yang konsisten.
3.5. Klasifikasi Permasalahan
Permasalahan yang diidentifikasi dari tiap metode diklasifikasikan menggunakan UPT.
4. PEMBAHASAN 4.1. Demografi Responden
Tabel 1. beriktu menjelaskan demografi responden dari hasil evaluasi usability
menggunakan tiga metode. Tabel 1. Responden
Demografi
Metode Usability
testing Wawancara Survei
Jumlah (N) 5 10 20 Umur (Rata-rata) 21.4 21.5 21.4 Pengalaman menggunakan dekstop (%) 100% 100% 100% Pengalaman menggunakan web-based GIS (%) 100% 80% 75%
Dari tabel 1. dapat disimpulkan bahwa responden yang berpartisipasi pada penelitian ini
sudah memenuhi kriteria yang ditentukan sebelumnya dengan sedikit variasi pada pengalaman menggunakan GIS.
4.2. Perbandingan Penemuan Masalah dengan Jumlah Responden
Gambar 3.
Gambar 3. menjelaskan hubungan penemuan masalah dengan jumlah responden.
Usability testing menemukan permasalahan
terbanyak (28) dengan jumlah responden paling sedikit. Wawancara menemukan 20 permasalahan dengan 10 responden. Survei menemukan permasalahan dengan jumlah paling sedikit (13) dengan 20 responden.
4.3. Perbandingan Hasil Klasifikasi Masalah
Total 61 permasalahan usability yang ditemukan menggunakan tiga metode. Usability
testing menemukan 28 masalah (46%), wawancara menemukan 20 masalah (32%), dan metode survei menemukan 13 masalah (21%).
Dari 28 kategori permasalahan menurut UPT, metode usability testing mencakup 21 kategori (75%), sedangkan metode wawancara mencakup 17 kategori (60%), dan metode survei mencakup 13 kategori (46%).
Perbandingan cakupan kategori antar metode dijelaskan pada tabel 2. berikut:
Tabel 2. Perbandingan kategori antar metode
UPT
Metode
Usability
testing Wawancara Survei
Masalah Usability N = 61 46% 32% 21% Kategori N= 24 75% 60% 46% S ub -Ka te gor i Visualness (5) 80% 40% 60% Language (7) 57% 42% 42% Manipulation (4) 75% 50% 0% Task Mapping (3) 100% 100% 33% Task Fascilitation (4) 50% 50% 50%
Dari tabel 2. dapat disimpulkan bahwa metode usability testing dapat mencakup lebih
banyak permasalahan usability testing dibanding dengan metode wawancara ataupun survei. Hasil kedalaman dari metode usability testing juga cukup porposional, mengungguli metode lainnya.
Gambar 4. Cakupan tiap metode
Menurut gambar 4. menggambarkan diagram irisan cakupan kategori dari ketiga metode. Dari ketiga metode dapat ditemukan irisan yang menarik, karena tidak ada metode yang mampu mencakup semua kategori yang ditemukan. Tiap metode dapat menemukan kategori unik.
5. KESIMPULAN
Mengingat karakteristik umum dari metode ini, dapat diasumsikan bahwa hasil ini akan berlaku untuk setiap web-based GIS. Metode
usability testing dan survei memberikan data
kualitatif dan kuantitatif, sedangkan wawancara memberikan data kualitatif yang terperinci.
Total 61 permasalahan usability yang ditemukan menggunakan tiga metode. Usability
testing menemukan 28 masalah (46%), wawancara menemukan 20 masalah (32%), dan metode survei menemukan 13 masalah (21%). Dari 28 kategori permasalahan menurut UPT, metode usability testing mencakup 21 kategori (75%), sedangkan metode wawancara mencakup 17 kategori (60%), dan metode survei mencakup 13 kategori (46%).
Metode usability testing mendapatkan hasil paling baik dalam mendeteksi masalah karena saat pengguna mengalami kesulitan atau memberikan komentar, fasilitator bisa langsung memahami permasalahan pengguna. Tidak seperti metode usability testing¸ peneliti perlu memahami maksud dari jawaban pengguna pada metode wawancara dan survei. Batasan komunikasi atau bahasa ini lah yang menjadi salah satu penyebab permasalahan yang ditemukan lebih sedikit.
Metode wawancara dan survei dapat mencakup masing-masing satu sub-kategori masalah unik yang tidak ditemukan pada
klasifikasi permasalahan usability testing. Sub-kategori yang dimaksud adalah: pada wawancara adalah task facilitation – user action reversal, dan pada survei adalah task facilitation –
alternative. Hal ini terjadi karena sumber dari
kedua kategori tersebut tidak ada pada task dan skenario pada pelaksanaan usability testing. Kejadian ini menandakan batasan dari usability
testing yaitu ranah evaluasi hanya pada task dan
skenario yang ditentukan.
Meskipun usability testing dapat mendeteksi paling banyak permasalahan dan mencakup paling banyak tema permasalahan, metode usability testing tidak dapat mengindentifikasi semua permasalahan. Mengkombinasikan usability testing dengan wawancara dan survei memungkinkan untuk mendapatkan cakupan masalah tambahan. Oleh karena itu, kombinasi usability testing,
wawancara dan survei melengkapi satu sama lain dalam menemukan permasalahan pada situs petabencana dan juga suatu web-based GIS.
6. SARAN
Berikut ini adalah saran yang dapat dijadikan pertimbangan untuk penelitian selanjutnya:
1. System usability scale (SUS) bisa dijadikan sebagai alat untuk menggali permasalahan jika ditambahkan kolom “alasan” tiap pertanyaan. Sehingga pengguna bisa memberi alasan mengapa memilih suatu nilai tertentu.
2. Dalam merancang evaluasi usability, perlu membuat rancangan atau protokol sejelas-jelasnya agar proses evaluasi bisa lebih konsisten.
3. Jumlah responden yang lebih banyak bisa menjaga validitas dan reabilitas permasalahan yang ditemukan. Dengan jumlah responden yang lebih banyak dapat mendapatkan jumlah permasalahan yang lebih banyak. Dalam penelitian ini, peneliti sulit untuk menentukan mana permasalahan
usability yang valid dan tidak. Beberapa
permasalahan yang ditemukan hanya pada satu responden, sehingga dipertanyakan validitasnya.
4. Dalam identifikasi masalah, untuk menjaga validitas dan reabilitas, peneliti menyarakan agar melibatkan expert. Sementara dalam penelitian ini, proses identifikasi hanya dilakukan oleh peneliti. Oleh karena itu, menurut peneliti, hasil dari identifikasi
permasalahan usability dalam penelitian ini dirasa kurang.
7. DAFTAR PUSTAKA
Brad Dalrymple. (2017). Surveys.
https://medium.com/user-research/user-
research-resources-10-surveys-587ee73ca1f2
Inviqa. (2007). Expert usability review vs.
usability testing.
https://inviqa.com/blog/expert-usability-review-vs-usability-testing
Keenan, S. L., Hartson, H. R., Kafura, D. G., & Schulman, R. S. (1999). Usability
problem taxonomy: A framework for
classification and analysis. Empirical
Software Engineering, 4(1), 71–104.
https://doi.org/10.1023/A:100985523153 0
Komarkova, J., Jakoubek, K., & Hub, M. (2009).
Usability evaluation of web-based GIS -
Case study. IiWAS2009 - The 11th
International Conference on Information Integration and Web-Based Applications
and Services, 557–561.
https://doi.org/10.1145/1806338.1806443 Komarkova, J., Sedlak, P., Novak, M., Slavikova, V., & Musilova, A. (2010). Problems in usability of web-based GIS.
International Conference on Applied Computer Science - Proceedings, 419–
425.
Madan, A., & Dubey, S. K. (2012). Usability Evaluation Methods: a Literature Review.
International Journal of Engineering Science and Technology, 4(02), 590–599.
Moran, K. (2019). Usability testing 101. https://www.nngroup.com/articles/usabili
ty-testing-101/
Pernice, K. (2018). User Interviews: How,
When, and Why to Conduct Them.
https://www.nngroup.com/articles/user-interviews/
Sauro, J. (2015). Using Surveys to Measure the
User Experience.
https://measuringu.com/survey-ux/ Sauro, J., & Lewis, J. R. (2012). Quantifying the
User Experience. In Quantifying the User
Experience. Elsevier Inc.
https://doi.org/10.1016/C2010-0-65192-3
Skarlatidou, A., & Haklay, M. (2006). Public
Web Mapping: preliminary usability
evaluation. Sites The Journal Of 20Th
Century Contemporary French Studies,
November 2017, 5–7.
http://discovery.ucl.ac.uk/16228/
Unrau, R., & Kray, C. (2018). Usability evaluation for geographic information systems: a systematic literature review.
International Journal of Geographical Information Science, 33(4), 645–665.
https://doi.org/10.1080/13658816.2018.1 554813
usability.gov. (n.d.-a). Individual Interviews.
https://www.usability.gov/how-to-and-tools/methods/individual-interviews.html
usability.gov. (n.d.-b). Usability testing.
https://www.usability.gov/how-to-and-tools/methods/usability-testing.html Walji, M. F., Kalenderian, E., Piotrowski, M.,
Tran, D., Kookal, K. K., Tokede, O., White, J. M., Vaderhobli, R., Ramoni, R., Stark, P. C., Kimmes, N. S., Lagerweij, M., & Patel, V. L. (2014). Are three methods better than one? A comparative assessment of usability evaluation methods in an EHR. International Journal
of Medical Informatics, 83(5), 361–367.
https://doi.org/10.1016/j.ijmedinf.2014.0 1.010
