Fakultas Ilmu Komputer
Universitas Brawijaya 2080
Evaluasi Usability pada Aplikasi Among Kota dengan Metode Think Aloud dan Heuristic Evaluation
Yan Giska Pranandita1, Hanifah Muslimah Az-Zahra2, Diah Priharsari3 Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1yan.giska@student.ub.ac.id, 2hanifah.azzahra@ub.ac.id, 3diah.priharsari@ub.ac.id
Abstrak
Among Kota merupakan salah satu aplikasi hasil dari implementasi Smart City Kota Batu, yang berperan sebagai media untuk membantu masyarakat Kota Batu dan para wisatawan agar dapat mengetahui informasi seputar Kota Batu dengan lebih mudah. Aplikasi yang dirilis di Google Play Store pada 14 Desember 2017 ini telah meraih rating 4,1 dari skala 5. Namun dibalik rating tersebut, berbagai ulasan negatif dari para pengguna terkait usability aplikasi turut bermunculan. Berdasarkan permasalahan tersebut, mendorong peneliti untuk melakukan evaluasi usability dengan menggunakan metode Think Aloud dan Heuristic Evaluation. Evaluasi dilakukan untuk menggali permasalahan usability aplikasi secara lebih mendalam dari prespektif pengguna dan ahli, sehingga mampu memberikan rekomendasi perbaikan desain interface yang tepat atas permasalahan tersebut. Evaluasi dengan metode Think Aloud yang melibatkan 8 responden (pengguna), menghasilkan sebanyak 31 permasalahan. Kemudian, pada evaluasi dengan metode Heuristic Evaluation yang melibatkan 4 evaluator (ahli), sebanyak 26 permasalahan usability berhasil teridentifikasi dan telah divalidasi oleh seluruh evaluator. Berdasarkan hasil evaluasi dengan dua metode diatas, selanjutnya dihimpun menjadi satu dan dihasilkan sebanyak 46 permasalahan. Selanjutnya, dilakukan filterisasi dan kategorisasi untuk menentukan permasalahan yang diberikan rekomendasi perbaikan. Hanya permasalahan yang masuk ke dalam cakupan penelitian dan juga berkategori Catastrophe dan Mayor, yang akan diberikan rekomendasi perbaikan. Hasilnya sebanyak 25 permasalahan yang diberikan rekomendasi perbaikan desain interface baru, yang disajikan peneliti dalam bentuk prototype.
Kata kunci: usability, think aloud, heuristic evaluation, severity rating, heuristic number, prototype Abstract
Among Kota is an application resulting from the implementation of the Smart City of Batu City, which acts as a medium to help the people of Batu City and tourists to find information about Batu City easier.
The application, which was released on the Google Play Store on December 14, 2017, has received a rating of 4.1 out of a scale of 5. But behind this rating, various negative reviews from users regarding the application’s usability have also emerged. Based on these problems, encouraging researchers to evaluate usability using the Think Aloud and Heuristic Evaluation methods. Evaluation is carried out to explore usability problems in the application in more depth from the perspective of users and experts, to be able to provide recommendations for proper interface design improvements to these problems.
The evaluation using the Think Aloud method involving 8 respondents (users) resulted in 31 problems.
Then, in the Heuristic Evaluation method that involved 4 evaluators (experts), 26 usability problems were identified and validated by all evaluators. Based on the evaluation results using the Think Aloud and Heuristic Evaluation methods above, then compiled into one and generated as many as 46 problems.
Each problem is accompanied by a category of problem severity based on the severity rating it has.
Furthermore, filtering and categorization are carried out to determine the problems given recommendations for improvement. Only issues that fall into the research scope categorized as Catastrophe and Major will be given suggestions for improvement. The result is 25 issues given suggestions for improving the new interface design, which the researcher presented in the form of a prototype.
Keywords: usability, think aloud, heuristic evaluation, severity rating, heuristic number, prototype
1. PENDAHULUAN
Kota Batu merupakan salah satu kota di Jawa Timur yang dikenal memiliki berbagai tempat wisata dengan keindahan alam yang luar biasa serta udara yang sejuk. Hal tersebut berhasil menjadikan Kota Batu sebagai salah satu destinasi wisata favorit dan terkenal di Indonesia. Berdasarkan data Dinas Pariwisata dan Kebudayaan Kota Batu (2018), tercatat sebanyak 25 objek wisata di Kota Batu dengan jumlah pengunjung lebih dari 5,6 juta wisawatan selama tahun 2018. Dengan banyaknya kunjungan para wisatawan tersebut, membuat Kota Batu berhasil meraih 65% Pendapatan Asli Daerah (PAD) dari sektor pariwisata. Melihat besarnya presentase pendapatan tersebut, mendorong pemerintah Kota Batu untuk terus berinovasi demi mempertahankan kejayaan pariwisata Kota Batu agar pendapatan daerah tetap stabil.
Salah satu bentuk inovasi tersebut telah diwujudkan pemerintah Kota Batu dalam bentuk penyediaan sebuah aplikasi mobile bernama
“Among Kota”. Among Kota merupakan salah satu aplikasi hasil dari implementasi Smart City Kota Batu, yang berperan sebagai media untuk membantu masyarakat Kota Batu dan para wisatawan agar dapat mengetahui informasi- informasi seputar Kota Batu dengan lebih mudah.
Dalam wawancara yang telah dilakukan peneliti dengan Kepala Dinas Komunikasi dan Informatika Kota Batu, proses pengembangan aplikasi Among Kota dilakukan dari awal 2017 dan dipegang oleh pihak ketiga bernama Lintasarta. Proses pengembangan aplikasi tersebut selesai dan aplikasi berhasil dirilis pada 14 Desember 2017. Sejak tanggal perilisannya tersebut, aplikasi Among Kota berhasil meraih rating 4,1 dari skala 5. Namun dibalik rating yang dapat dikatakan cukup itu, berbagai ulasan negatif yang diunggah di Google Play Store terkait usability aplikasi turut bermunculan.
Terdapat ketidakpuasan pengguna yang mengeluhkan tampilan aplikasi yang kurang menarik, tampilan yang tidak ramah pembaca, dan kesulitan dalam melakukan login. Selain itu, berdasarkan wawancara yang telah dilakukan kepada beberapa warga, menunjukkan bahwa konten di dalam aplikasi tidak nyaman dilihat, gambar di dalam aplikasi yang tidak sesuai dengan konten yang ditulis, serta tampilan keseluruhan dari aplikasi yang tidak menarik,
sehingga membuat pengguna tidak ingin mengeksplorasi aplikasi lebih jauh. Berdasarkan permasalahan tersebut, perlu dilakukan suatu penelitian untuk mengevaluasi dan menggali permasalahan usability dari aplikasi Among Kota secara lebih mendalam, agar aplikasi Among Kota mampu memiliki usability yang lebih baik. Penelitian ini dilakukan dengan metode Think Aloud dan Heuristic Evaluation.
Penelitian ini juga menyajikan rekomendasi perbaikan desain interface aplikasi Among Kota.
Diharapkan hasil dari penelitian ini dapat membantu pemerintah Kota Batu dalam memperbaiki desain interface aplikasi Among Kota, agar tingkat usability yang dimiliki dapat meningkat, sehingga mampu memberikan kemudahan yang lebih bagi penggunanya.
Usability merupakan sebuah atribut untuk mengukur seberapa mudah suatu antarmuka sistem digunakan oleh pengguna untuk mencapai tujuannya (Nielsen, 2012b). Usability mengacu kepada bagaimana pengguna yang menggunakan produk tersebut dapat menyelesaikan tugasnya dengan cepat dan mudah (Dumas & Redish, 1999).
Think Aloud merupakan sebuah metode pengujian sistem yang melibatkan pengguna dengan memperhatikan sikap dan ucapan yang ditunjukkan pengguna selama menggunakan sistem (Nielsen, 2012a).
Sedangkan menurut Nielsen (1994a), Heuristic Evaluation adalah metode pengujian sistem yang melibatkan beberapa ahli untuk meneliti suatu interface dan mengevaluasi kesesuaian setiap elemen interface dengan prinsip heuristik.
Melalui dua metode tesebut, diharapkan dapat diperoleh data pengujian dari 2 sisi, yaitu dari sisi pengguna (orang yang menggunakan sistem untuk mencapai suatu tujuan) serta dari sisi expert (yang telah memiliki dasar ilmu tentang desain dan usability). Hal tersebut dikarenakan, apabila hanya dilihat dari sisi ahli, terdapat kemungkinan permasalahan yang ditemukan bukanlah permasalahan yang memang benar-benar dirasakan oleh pengguna.
Sehingga peneliti memutuskan untuk melibatkan keduanya, dengan harapan hasil evaluasi dapat diperoleh dengan lebih maksimal serta mampu memberikan rekomendasi perbaikan desain interface yang baik dan berkualitas.
2. LANDASAN KEPUSTAKAAN
User interface merupakan sebuah media untuk menghubungkan antara pengguna dengan sistem, yang juga memungkinkan pengguna untuk berinteraksi dengan sistem secara efisien (Saha & Mandal, 2015). Dalam mendesain sebuah desain interface tentunya perlu mempertimbangkan banyak aspek agar memiliki usability yang baik. Usability didefinisikan sebagai atribut untuk menganalisa secara kualitatif dengan tujuan mengukur tingkat kemudahan penggunaan antarmuka aplikasi (Nielsen, 2012b).
Untuk mengetahui apakah suatu desain interface sebuah aplikasi telah memiliki usability yang baik, perlu dilakukan evaluasi.
Salah satu metodenya adalah dengan menggunakan metode Think Aloud. Think Aloud merupakan metode pengujian sistem yang melibatkan pengguna, dengan memperhatikan sikap dan ucapan yang ditunjukkan pengguna selama menggunakan sistem (Nielsen, 2012a).
Menurut Ericsson dan Simon (1993) jumlah pengguna yang dilibatkan dalam proses pengujian dengan metode Think Aloud sebanyak 8 – 10 pengguna, jumlah tersebut telah cukup baik untuk menggali dan memahami bagaimana perilaku pengguna. Di dalam menerapkan metode Think Aloud, dibutuhkan task scenario untuk membantu prosesnya. Task scenario merupakan serangkaian tugas yang disusun oleh peneliti, yang akan dijadikan pedoman oleh pengguna dalam menggunakan sistem ketika proses pengujian.
Selain Think Aloud, juga terdapat metode Heuristic Evaluation. Metode ini merupakan metode pengujian sistem yang melibatkan beberapa ahli untuk meneliti suatu interface dan mengevaluasi kesesuaian setiap elemen interface dengan prinsip heuristic (Nielsen, 1994a). Menurut Nielsen (1994a) jumlah yang tepat untuk ahli yang dilibatkan dalam metode ini sebanyak 3 sampai 5 ahli. Terdapat 10 prinsip umum yang digunakan dalam proses evaluasi dengan metode ini. Prinsip ini disebut dengan prinsip “Heuristic”, yang mana merupakan serangkaian aturan umum yang digunakan dalam proses analisa suatu produk agar dapat memberikan kemudahan bagi pengguna. 10 prinsip heuristic menurut Nielsen, yaitu : Visibility of System Status (H1), Match Between System and The Real World (H2), User Control and Freedom (H3), Consistency and Standards (H4), Error Prevention (H5), Recognition Rather Than Recall (H6), Flexibility and
Efficiency of Use (H7), Aesthetic and Minimalist Design (H8), Help User Recognize, Diagnose, and Recover from Errors (H9), dan Help and Documentation (H10).
Dari permasalahan yang telah ditemukan pada setiap proses evaluasi dengan kedua metode tersebut, selanjutnya adalah pemberian severity rating. Severity rating merupakan skala untuk mengukur tingkat keparahan suatu permalasahan usability yang ditemukan dalam proses evaluasi heuristic. Permasalahan dengan tingkat keparahan tertinggi memiliki prioritas untuk segera diperbaiki. Tabel 1 memuat nilai severity rating (Nielsen, 1994b).
Tabel 1. Severity Rating
Skala Istilah Keterangan
0 I don’t agree Bukan suatu permasalahan
1 Cosmetic
problem only
Permasalahan tidak memerlukan perbaikan.
2 Minor usability problem
Permasalahan mendapatkan prioritas rendah untuk
diperbaiki
3 Major usability problem
Permasalahan penting diperbaiki, sehingga mendapatkan prioritas
tinggi.
4 Usability catastrophe
Permasalahan sangat penting sehingga harus diperbaiki sebelum produk
dirilis
Dalam menghitung severity rating dari temuan permasalahan yang sama, caranya adalah dengan menghitung nilai rata-rata severity rating yang telah diberikan oleh masing- masing evaluator. Menurut Zhang, et al. (2003) dari nilai rata-rata yang didapat, hal yang dilakukan selanjutnya adalah menentukan prioritas permasalahan yang harus diperbaiki dengan mengkategorikan nilai tersebut, seperti yang disajikan pada tabel 2.
Tabel 2. Kategori Nilai Rata-Rata Severity Rating Nilai Rata-
Rata SR Kategori Keterangan n ≥ 3,5 Catastrophe
Permasalahan harus diperbaiki sebelum
produk dirilis
2,5 ≤ n ˂ 3,5 Mayor
Permasalahan memiliki prioritas
tinggi untuk diperbaiki
1,5 ≤ n ˂ 2,5 Minor
Permasalahan memiliki prioritas
rendah untuk diperbaiki n ˂ 1,5 Cosmetic
Permasalahan tidak memerlukan
perbaikan
Setiap permasalahan yang memiliki tingkat keparahan tinggi, selanjutnya akan diberikan perbaikan. Perbaikan desain interface dibuat dengan menggunakan Material Design Guidelines, yang merupakan panduan dalam melakukan desain antarmuka sistem agar dapat memiliki usability yang baik dan mampu memberikan kepuasan bagi pengguna.
Visualisasi dari perbaikan desain interface disajikan dalam bentuk prototype. Prototype merupakan versi awal dari sistem yang potensial dalam menyampaikan ide dari pengembang kepada pengguna, sehingga dapat diketahui bagaimana gambaran akhir sistem akan berfungsi (Darmawan & Fauzi, 2013).
3. METODOLOGI
Gambar 1. Metodologi Penelitian
Tahap awal merupakan proses penggalian permasalahan yang dilakukan peneliti dengan mengamati setiap ulasan atau komentar yang diberikan pengguna terhadap aplikasi Among Kota di Google Play Store. Selain itu, peneliti juga melakukan pretest kepada sejumlah pengguna awal secara langsung. Kemudian peneliti melakukan pengumpulan dan
pemahaman terhadap teori-teori pendukung yang relevan dengan proses penelitian yang dilakukan. Peneliti juga melakukan pencarian mengenai penelitian-penelitian sebelumnya yang serupa sebagai panduan dan referensi untuk memperkuat dan mendukung proses evaluasi mulai dari tahap perencanaan hingga tahap pelaksanaan.
Langkah selanjutnya adalah melakukan evaluasi terhadap usability sistem dengan menggunakan metode Think Aloud, yang dilaksanakan dengan melibatkan 8 pengguna.
Dari 8 responden yang terlibat dalam proses pengujian, seluruhnya telah memenuhi kriteria yang ditentukan. Penentuan kriteria ini juga didasarkan pada segmentasi pengguna yang disesuaikan dengan target pengguna dari aplikasi Among Kota. Sehingga segmentasi pengguna dibagi menjadi dua jenis, yaitu : warga Kota Batu dan Warga luar Kota Batu yang gemar berwisata ke Kota Batu.
Setelah dilakukan pertimbangan yang didasarkan atas kebutuhan data yang diambil serta segmentasi pengguna yang ada, ditentukanlah kriteria responden yang dilibatkan, yaitu : seseorang yang mudah menyampaikan (memverbalkan) apa yang dirasakan, pengguna baru aplikasi Among Kota, terbiasa menggunakan smartphone, memiliki pemahaman bagaimana menggunakan aplikasi mobile, serta warga Kota Batu atau bukan warga Kota Batu namun gemar berwisata ke Kota Batu.
Di dalam proses evaluasi menggunakan metode Think Aloud ini, terdapat 5 tahap yang perlu dilakukan, yaitu : melakukan pengarahan kepada responden, melakukan pengujian task scenario, melakukan observasi, melakukan verifikasi sikap, dan penentuan severity rating.
Pada tahap pengarahan responden, peneliti akan memberikan pengarahan (briefing) mengenai mekanisme pengujian kepada responden. Selanjutnya pada tahap pengujian task scenario, task Scenario yang digunakan pada proses pengujian terdiri atas 11 tugas dengan detail seperti pada tabel 3.
Tabel 3. Task Scenario
Kode Skenario Tugas
T1
Anda ingin dapat menggunakan seluruh layanan yang ditawarkan aplikasi Among Kota, apa yang anda lakukan?
T2
Anda ingin dapat menggunakan seluruh layanan yang ditawarkan aplikasi Among Kota, apa yang anda lakukan?
T3
Setelah anda selesai membaca berita, anda menjadi tertarik untuk menghadiri event yang ada di Kota Batu. Sehingga anda mencari informasi mengenai event yang akan anda hadiri pada waktu mendatang.
T4
Setelah itu, terbesit keinginan untuk berlibur di Kota Batu. Anda berkeinginan untuk mengunjungi salah satu tempat wisata alam, sehingga anda mencari informasi mengenai tempat- tempat wisata alam di Kota Batu.
T5
Anda telah menemukan informasi mengenai tempat wisata alam yang ingin anda kunjungi, namun anda tidak mengetahui bagaimana rute perjalanan menuju kesana. Hal tersebut membuat anda tertarik untuk melihat rute perjalanan menuju lokasi wisata alam yang anda pilih.
T6
Anda sangat tertarik dan menyukai tempat wisata alam yang anda pilih, sehingga anda ingin memberikan apresiasi untuk menunjukkan rasa suka anda terhadap informasi tersebut melalui aplikasi.
T7
Anda ingin mendorong orang lain untuk mengunjungi tempat wisata alam yang anda pilih. Sehingga anda tertarik untuk menuliskan review atas tempat wisata alam tersebut.
T8
Anda menginginkan seluruh kerabat anda mengetahui informasi mengenai tempat wisata alam yang anda pilih, sehingga anda membagikan informasi tempat wisata alam tersebut melalui salah satu media sosial.
T9
Anda tertarik untuk mengunjungi tempat wisata alam yang anda pilih dengan menggunakan angkot. Sehingga anda melihat informasi rute dan tarif dari angkot yang terdapat di Kota Batu.
T10
Anda membutuhkan informasi mengenai lokasi dan kontak rumah sakit yang dapat dengan mudah anda hubungi dalam kondisi darurat. Sehingga anda melihat informasi kontak darurat yang terdapat di Kota Batu.
T11
Kini anda telah selesai mengeksplorasi aplikasi Among Kota, anda dapat keluar dari aplikasi.
Kemudian dalam tahap observasi, dilakukan pengamatan secara langsung terhadap segala perilaku dan ucapan pengguna ketika menggunakan aplikasi Among Kota (mengerjakan task scenario). Segala informasi yang didapatkan akan diamati dan direkam dalam bentuk video menggunakan smartphone.
Selain melakukan pengamatan terhadap aktivitas pengguna, peneliti juga melakukan pencatatan terhadap setiap feedback dan sikap yang diperlihatkan responden selama menggunakan aplikasi Among Kota.
Langkah selanjutnya adalah melakukan
verifikasi sikap. Hasil rekaman video yang berhasil didapatkan serta catatan sikap yang berhasil dikumpulkan peneliti, seluruhnya akan ditunjukkan kepada responden yang bersangkutan. Kemudian, peneliti akan menanyakan kepada responden mengenai maksud dari perilaku mereka (seperti yang ditunjukkan di dalam video) sekaligus menanyakan kepada responden apakah makna dari setiap sikap tersebut telah dicatat dan diartikan oleh peneliti dengan benar.
Setelah itu, masing-masing dari responden diminta oleh peneliti untuk menentukan severity rating dari setiap feedback negatif yang sebelumnya telah diutarakan oleh responden yang bersangkutan. Setiap severity rating tersebut akan dicatat oleh peneliti.
Proses evaluasi tidak hanya dilakukan dengan menggunakan metode Think Aloud, namun juga dengan metode Heuristic Evaluation. Pada tahap evaluasi dengan metode Heuristic Evaluation, peneliti melibatkan 4 ahli sebagai evaluator. Ahli yang dilibatkan harus memenuhi kriteria seperti : memiliki pemahaman mengenai usability, telah memiliki pengalaman terkait dengan perancangan sistem atau pengembangan sistem atau evaluasi sistem, serta minimal telah menyelesaikan pendidikan S1 di bidang ilmu komputer atau telah memiliki sertifikat khusus di bidang ilmu komputer.
Terdapat 3 tahapan kegiatan yang harus dilakukan dalam proses evaluasi, yaitu : pengarahan evaluator, penemuan permasalahan, dan konsolidasi.
Pada tahap pertama, peneliti akan memberikan arahan mengenai mekanisme evaluasi kepada setiap evaluator. Selanjutnya adalah tahap penemuan permasalahan. Evaluator akan menguji dan mengevaluasi aplikasi Among Kota secara mandiri, tanpa ada intervensi dari peneliti. Kemudian, evaluator diminta untuk mencatat setiap temuan permasalahan, prinsip heuristic terkait, severity rating, dan saran perbaikan dari setiap permasalahan yang ditemukan. Tugas peneliti adalah merangkum hasil evaluasi sesuai dengan apa yang dicatat evaluator.
Kemudian dilakukannya tahap konsolidasi, yang merupakan tahapan untuk melakukan validasi atas keseluruhan hasil evaluasi, yang mana setiap evaluator dapat menilai temuan masalah dari evaluator lain.
Selanjutnya, dari seluruh permasalahan yang ditemukan pada saat proses evaluasi dengan metode Think Aloud, akan dilakukan analisis lebih lanjut. Dari tanggapan pengguna yang berhasil dikumpulkan, akan dikelompokkan menjadi 2 jenis yaitu tanggapan positif dan negatif berdasarkan task. Dari tanggapan negatif tersebut, akan dihasilkan daftar permasalahan yang dimiliki aplikasi Among Kota beserta severity rating, yang telah ditentukan oleh setiap responden penemu permasalahan. Apabila pengguna menemukan permasalahan yang sama, maka permasalahan akan dikelompokkan dan dihitung nilai rata-rata dari severity rating untuk permasalahan tersebut. Kemudian, hasil dari verifikasi sikap juga akan dianalisis untuk mengetahui bagaimana persentase perasaan responden terhadap aplikasi Among Kota.
Analisis dan pembahasan juga dilakukan pada hasil evaluasi dengan metode Heuristic Evaluation. Peneliti melakukan analisis terhadap hasil yang didapatkan dari tahap konsolidasi bersama seluruh evaluator, yang terdiri atas : daftar seluruh permasalahan disertai dengan prinsip heuristic yang disetujui dan nilai severity rating yang dimiliki. Dari nilai severity rating yang diberikan oleh masing-masing evaluator, akan dihitung nilai rata-rata severity rating untuk tiap permasalahan. Hasil dari tahap konsolidasi juga akan dianalisis untuk mengetahui permasalahan dengan prinsip heuristic mana saja yang paling banyak ditemukan.
Setelah didapatkan hasil analisis dan pembahasan dari kedua metode, hasil dari keduanya akan dihimpun menjadi satu. Hasilnya adalah daftar permasalahan beserta rata-rata severity rating dan kategori tingkat keparahan permasalahan. Seluruh permasalahan tersebut akan difilter untuk menentukan permasalahan mana yang sesuai dengan cakupan penelitian.
Permasalahan yang berkaitan dengan desain user interface yang dapat mempengaruhi usability dari sistem akan menjadi fokus penelitian.
Kemudian permasalahan yang telah lolos proses filter akan dikelompokkan kembali untuk menentukan permasalahan yang akan diberikan rekomendasi perbaikan. Permasalahan dengan kategori Catasthrope dan Mayor yang akan diberikan rekomendasi perbaikan, karena permasalahan dengan dua kategori tersebut merupakan permasalahan penting dan memiliki prioritas tinggi untuk diperbaiki.
Tahap selanjutnya adalah pembuatan
rekomendasi perbaikan desain interface aplikasi Among Kota berdasarkan analisis hasil evaluasi.
Dalam melakukan perbaikan desain interface aplikasi, peneliti akan menggunakan 10 Usability Heuristic Nielsen (1994c) dan Material Design Guidelines sebagai pedoman.
Rekomendasi perbaikan desain interface aplikasi akan disajikan peneliti dalam bentuk prototype dengan memanfaatkan tool bernama Figma.
Tahap terakhir adalah pembuatan kesimpulan atas hasil penelitian yang telah dilakukan dengan merujuk pada rumusan masalah. Pada tahap ini juga diberikan saran yang berguna untuk penelitian selanjutnya.
4. PENGAMBILAN DATA
4.1 Evaluasi dengan Metode Think Aloud Pada poin ini akan dipaparkan mengenai hasil dari proses evaluasi dengan metode Think Aloud. Hasil evaluasi terdiri atas : hasil pengujian task scenario, feedback responden terhadap setiap task, perbandingan feedback responden berdasarkan segmentasi pengguna, hasil verifikasi sikap, dan daftar permasalahan temuan responden.
4.1.1 Hasil Pengujian Task Scenario
Gambar 2. Hasil Pengujian Task Scenario Pada gambar 2 menunjukkan bahwa pada task dengan kode T7, seluruh responden gagal melaksanakan task dikarenakan fitur tidak dapat berjalan. Kemudian terdapat seorang responden dengan kode R6 gagal dalam melakukan task T8.
Selanjutnya pada task dengan kode T11, sebanyak 4 responden (R2, R5, R7, dan R8) berhasil melakukan task dengan baik. Namun 4 responden lainnya (R1, R3, R4, dan R6) gagal melaksanakan task, karena sistem yang tidak dapat melakukan logout. Sedangkan pada task dengan kode T2, T3, T4, T5, T6, T8, T9, dan
T10, seluruhnya dapat dilakukan dengan sukses oleh seluruh responden.
4.1.2 Feedback Responden Terhadap Setiap Task
Ketika responden melakukan pengujian terhadap aplikasi Among Kota, setiap perilaku dan ucapan direkam oleh peneliti dalam bentuk video. Dari hasil rekaman tersebut didapatkan sejumlah feedback yang dikelompokkan berdasarkan task scenario yang diberikan. Dari 11 task, terdapat 18 feedback positif dan 24 feedback negatif.
4.1.3 Perbandingan Feedback Responden Berdasarkan Segmentasi Pengguna
Setelah proses evaluasi dilakukan, teridentifikasi pula perbedaan hasil yang menunjukkan adanya perbedaan pendapat antara dua jenis segmentasi pengguna yang dilibatkan.
Pengguna yang merupakan warga Kota Batu cenderung lebih mengkritisi kesesuaian dari isi konten yang ditampilkan oleh aplikasi Among Kota. Sedangkan bagi pengguna warga luar Kota Batu yang gemar berwisata ke Kota Batu cenderung lebih mengkritisi perihal estetika dan efektifitas dari tampilan aplikasi.
4.1.4 Hasil Verifikasi Sikap
Dalam melakukan verifikasi sikap, peneliti akan menunjukkan hasil rekaman video ketika responden yang bersangkutan sedang menggunakan aplikasi, kemudian peneliti akan mempertanyakan maksud dari setiap sikap responden yang terlihat. Hasilnya terdapat total 24 sikap yang teridentifikasi dengan persentase rasa kesal paling besar, yaitu sebesar 42% dari total keseluruhan perasaan responden yang terverifikasi.
4.1.5 Daftar Permasalahan Temuan Responden
Setelah melakukan proses pengujian terhadap aplikasi Among Kota, sebanyak 60 permasalahan berhasil ditemukan oleh seluruh responden. Dari seluruh permasalahan tersebut, dirangkum menjadi 31 permasalahan karena terdapat beberapa permasalahan yang sama, yang diutarakan oleh beberapa responden.
Seluruh permasalahan tersebut terbagi menjadi 2 jenis, yaitu :
a. Permasalahan temuan responden berdasarkan feedback negatif terhadap masing-masing task.
b. Permasalahan temuan responden diluar
task yang diberikan, yang merupakan permasalahan aplikasi secara umum dan keseluruhan.
Dari total 31 permasalahan tersebut, seluruhnya disertai dengan severity rating dari tiap permasalahan. Severity rating yang tercatat, berasal dari pendapat masing-masing responden penemu permasalahan.
4.2 Evaluasi dengan Metode Heuristic Evaluation
Pada poin ini akan dipaparkan mengenai hasil dari proses evaluasi dengan Heuristic Evaluation. Hasil evaluasi terdiri atas : temuan permasalahan setiap evaluator, penghimpunan hasil evaluasi seluruh evaluator, dan hasil konsolidasi setiap evaluator.
4.2.1 Temuan Permasalahan Setiap Evaluator
Seluruh evaluator yang terlibat dalam proses evaluasi heuristic, telah berhasil menemukan sebanyak total 28 permasalahan usability. Dari hasil tersebut dapat dibuat sebuah grafik untuk menunjukkan perbandingan jumlah temuan permasalahan usability pada setiap prinsip heuristic. Grafik seperti yang ditunjukkan pada gambar 3.
Gambar 3. Diagram Perbandingan Jumlah Temuan Permasalahan Usability Spada Setiap Prinsip
Heuristic
Berdasarkan gambar 3, dapat dilihat bahwa permasalahan usability dengan prinsip heuristic H-7 paling banyak ditemukan oleh evaluator.
Prinsip heuristic tersebut berbunyi Flexibility and Efficiency of Use dengan jumlah temuan sebanyak 8 permasalahan.
4.2.2 Penghimpunan Hasil Evaluasi Seluruh Evaluator
Sebelum melakukan tahap konsolidasi, seluruh data permasalahan yang ditemukan seluruh evaluator akan dihimpun menjadi satu.
Apabila evaluator menemukan permasalahan
yang serupa, maka akan dijadikan sebagai satu kesatuan permasalahan. Hasil penghimpunan permasalahan usability ini adalah sebanyak 26 permasalahan.
4.2.3 Hasil Konsolidasi Seluruh Evaluator Berdasarkan konsolidasi yang telah dilakukan seluruh evaluator, menghasilkan sebanyak 26 total permasalahan. Seluruh permasalahan tersebut juga disertai dengan severity rating dan heuristic number yang disetujui. Heuristic number yang disetujui ini, didapat dari prinsip heuristic yang paling banyak disetujui oleh seluruh evaluator.
5. ANALISIS HASIL DAN
REKOMENDASI PERBAIKAN
5.1 Hasil Penghimpunan Data Evaluasi Metode Think Aloud dengan Data Hasil Evaluasi Metode Heuristic Evalution
Dari data permasalahan yang ditemukan seluruh responden dan data hasil konsolidasi yang dilakukan oleh seluruh evaluator, akan dilakukan penghimpunan data. Seluruh data permasalahan tersebut akan dijadikan satu dan dihasilkan sebanyak 46 permasalahan. Data setiap permasalahan tersebut disertai dengan penemu permasalahan, rata-rata severity rating, dan kategori tingkat keparahan permasalahan.
5.2 Filterisasi Permasalahan yang Diberikan Perbaikan
Langkah selanjutnya adalah melakukan filterisasi untuk mengelompokkan permasalahan mana saja yang sesuai dengan cakupan penelitian. Permasalahan tersebut adalah permasalahan yang berkaitan dengan desain user interface yang mana dapat mempengaruhi usability dari sistem. Dari dilakukannya filterisasi tersebut, sebanyak 34 permasalahan berhasil diidentifikasi.
Dari seluruh permasalahan tersebut, akan ditentukan permasalahan mana saja yang akan diberikan rekomendasi perbaikan. Permasalahan dengan kategori Catastrophe dan Mayor yang akan diberikan perbaikan, karena permasalahan tersebut merupakan permasalahan penting dan memiliki prioritas tinggi untuk diperbaiki.
Seluruh data permasalahan yang akan diberikan perbaikan, disajikan pada tabel 4.
Tabel 4. Data Permasalahan yang Diberikan Perbaikan
No Permasalahan Kategori
1
Posisi fitur login yang membingungkan dan dinilai terlalu kecil.
Catastrophe
2
Berita yang ditampilkan terkesan tidak update dan ditulis dengan tidak rapi. Fungsi carousel pada bagian depan tidak jelas untuk apa.
Mayor
3
Tampilan dari fitur city news yang standar dan peletakan komponennya monoton.
Mayor
4 Font yang digunakan terlalu kecil,
tidak sesuai standard. Mayor 5 Halaman event tidak menarik,
terlihat membosankan. Mayor
6
Beberapa event tidak memiliki gambar pendukung dan deskripsi, membuat bingung pengguna.
Mayor
7 Tidak terdapat gambar pendukung
mengenai tempat wisata. Catastrophe
8
Kesulitan mencari kategori wisata alam, karena menu filter yang membingungkan. Disitu digambarkan dengan panah kebawah dengan field. User akan secara otomatis terbayang dengan fitur dropdown. Namun ketika di klik, yang muncul malah modal filter dengan radio button action.
Mayor
9 Beberapa tempat wisata tidak
memiliki deskripsi. Mayor
10 Komentar (review) dari orang lain
tidak ditampilkan. Catastrophe 11 Gambar angkot yang ditampilkan
ada yang tidak sesuai. Mayor
12
Tarif angkot yang ditampilkan kurang sesuai, seharusnya tarif angkot ditampilkan dalam bentuk tabel dengan tarif menyesuaikan jarak.
Catastrophe
13
Rute angkot yang diberikan hanya sebatas tulisan, seharusnya dalam bentuk map.
Catastrophe
14
Tampilan home aplikasi yang basic, fitur kurang ditonjolkan dengan baik.
Mayor
15
Gambar yang ditampilkan aplikasi banyak yang sama (hanya logo
dari “Shining Batu”). Mayor
16
Aplikasi memiliki tampilan dengan background polos berwana putih, menu kurang menarik.
Catastrophe
17
Tata letak elemen aplikasi yang standar, perlu dibenahi agar mudah dipahami. Terkesan tempel-tempel.
Mayor
18
Navigation bar dalam bentuk burger jangkauannya terlalu jauh untuk tangan.
Mayor
19
Kurang memahami fitur search karena setiap kontennya sudah dikelompokkan.
Mayor
20
Design style pada navigation bar masih sangat basic, dan kontennya redundan dengan apa yang ada pada bagian home.
Mayor
21
Home yang ada kurang personalisasi untuk user yang sudah login. Dan tidak ada perbedaan signifikan antara user yang sudah login dan tidak.
Catastrophe
22
Menu profile tidak memiliki fungsi yang jelas terhadap aplikasi selain menyimpan favorite places.
Mayor
23
Pada menu Dispenduk Batu, ketika di klik, halaman secara otomatis redirect ke link Dispenduk. Hal ini membuat user harus mengalami sesuatu diluar pengetahuannya.
Mayor
24
Minimnya obyek control aplikasi yang secara visual mudah dipahami.
Mayor
25
Aplikasi secara sepintas lebih nampak seperti portal berita ketimbang aplikasi guide bagi pengunjung kota.
Mayor
Berdasarkan tabel 4, terlihat bahwa sebanyak 25 permasalahan akan diberikan rekomendasi perbaikan.
5.3 Analisis Saran Perbaikan Permasalahan Berdasarkan Guidelines
Sebelum rancangan prototype dibuat, masing-masing dari 25 permasalahan yang akan diperbaiki, diberikan saran perbaikan. Saran tersebut didapatkan dari pengguna ataupun evaluator, serta berasal dari panduan yang didapatkan dari 10 Usability Heuristic Nielsen (1994c) dan Material Design Guidelines. Saran perbaikan dan guidelines yang sesuai untuk menyelesaikan masing-masing permasalahan tersebut digunakan sebagai acuan dalam membuat prototype perbaikan desain interface aplikasi Among Kota.
5.4 Rekomendasi Perbaikan Permasalahan Berdasarkan saran perbaikan dari setiap permasalahan berdasarkan guidelines.
dirancanglah desain interface baru dari aplikasi Among Kota yang disajikan dalam bentuk prototype. Gambar 4 merupakan contoh desain interface baru dari halaman utama aplikasi
Among Kota.
Gambar 4. Tampilan Halaman Home
6. KESIMPULAN DAN SARAN
Kesimpulan yang dapat dibuat dari penelitian kali ini antara lain :
1. Evaluasi usability dengan metode Think Aloud menghasilkan sebanyak 60 permasalahan, yang dirangkum menjadi 31 permasalahan, karena terdapat beberapa permasalahan serupa yang diutarakan oleh beberapa responden.
2. Hasil akhir dari evaluasi dengan metode Heuristic Evaluation adalah sebanyak 26 permasalahan dengan 24 permasalahan yang disetujui oleh seluruh evaluator dan 2 permasalahan hanya disetujui oleh 3 evaluator. Seluruh permasalahan tersebut merupakan hasil dari tahap konsolidasi.
3. Rekomendasi perbaikan desain interface aplikasi Among Kota yang baru, diberikan dengan didasarkan pada himpunan permasalahan hasil temuan dari evaluasi dengan metode Think Aloud dan evaluasi dengan metode Heuristic Evaluation. Hasil himpunan tersebut menunjukkan terdapat sebanyak 46 permasalahan, namun tidak seluruhnya diberikan perbaikan.
Permasalahan yang sesuai dengan cakupan penelitian dan permasalahan yang masuk ke dalam kategori Catastrophe dan Mayor yang akan diberikan perbaikan. Setelah dilakukan filterasi dan pengelompokkan, sebanyak 25 permasalahan yang akan diberikan rekomendasi perbaikan.
Perbaikan desain interface yang baru dibuat oleh peneliti dalam bentuk prototype dengan menggunakan tool bernama Figma.
Saran yang diberikan untuk penelitian selanjutnya pada aplikasi Among Kota yaitu :
a. Dilakukan uji prototype pada hasil perbaikan desain interface aplikasi Among Kota.
b. Perbaikan permasalahan tidak diberikan hanya pada permasalahan yang berkaitan dengan user interface yang dapat mempengaruhi usability dari sistem saja, namun perbaikan dapat diberikan pada permasalahan yang berkaitan dengan fungsionalitas sistem.
7. DAFTAR PUSTAKA
Darmawan, D., Fauzi, N., 2013. Sistem Informasi Manajemen. Bandung : PT Remaja Rosdakarya
Devi, C., 2020. Evaluasi Usability Aplikasi Mobile Cicil.co.id dengan Menggunakan Metode Heuristic. S1. Skripsi. Universitas
Brawijaya. Tersedia di
<http://repository.ub.ac.id/view/divisions/ko m=5Fsi/2018.html> [Diakses 23 Agustus 2020]
Dinas Komunikasi dan Informatika, 2020. Smart City Kota Batu. [online]. Tersedia di
<https://batukota.go.id/Portal/aplikasi>
[Diakses 11 September 2020]
Dinas Pariwisata dan Kebudayaan Kota Batu, 2018. Jumlah Pengunjung Objek Wisata Dirinci Menurut Bulan dan Tempat Wisata di Kota Batu. [online] Batu: Badan Pusat Statistik (Diterbitkan 2016). Tersedia di:
<https://batukota.bps.go.id/statictable/2018/
04/05/142/jumlah-pengunjung-objek-wisata- dirinci-menurut-bulan-dan-tempat-wisata-di- kota-batu-2016.html> [Diakses 23 Agustus 2020]
Dumas, J. S. dan Redish, J. C., 1999. A Practical Guide to Usability Testing. [e-book] Portland OR, USA: Intellect tm. Tersedia di:
<https://books.google.co.id/books?id=4lge5 k_F9EwC&pg=PA3&hl=id&source=gbs_t oc_r&cad=3#v=onepage&q&f=false>
[Diakses 24 Agustus 2020]
Ericsson, K. A,. dan Simon, H. A. 1993.
Protocol Analysis: Verbal Reports as Data.
Massachusetts: Cambridge
Material Design, 2020. Design Guidance and Code. [online] Tersedia di:
<https://material.io/> [Diakses 17 September 2020]
Nielsen, J., 1994a. How to Conduct a Heuristic
Evaluation. [online] Tersedia di:
<https://www.nngroup.com/articles/how-to- conduct-a-heuristic-evaluation/> [Diakses 24 Agustus 2020]
Nielsen, J., 1994b. Severity Ratings for Usability Problems. [online] Tersedia di:
<https://www.nngroup.com/articles/how-to- rate-the-severity-of-usability-problems/>
[Diakses 16 September 2020]
Nielsen, J., 1994c. 10 Usability Heuristics for User Interface Design. [online] Tersedia di:
<https://www.nngroup.com/articles/ten- usability-heuristics/> [Diakses 16 September 2020]
Nielsen, J., 2012a. Thinking Aloud: The #1 Usability Tool. [online] Tersedia di:
<https://www.nngroup.com/articles/thinking -aloud-the-1-usability-tool/> [Diakses 24 Agustus 2020]
Nielsen, J., 2012b. Usability 101: Introduction to Usability. [online] Tersedia di:
<https://www.nngroup.com/articles/usability -101-introduction-to-usability/> [Diakses 16 September 2020]
Pratama, M. I. F., Az-Zahra, H. M. & Setiawan, N. Y., 2019. Evaluasi Usability Menggunakan Metode Think Aloud dan Heuristic Evaluation pada Aplikasi Mobile Padiciti. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 3(9), pp.
8390–8399.
Saha, D. & Mandal, A., 2015. User Interface Design Issues for Easy and Efficient Human Computer Interaction : An Explanatory Approach. International Journal of Computer Sciences and Engineering, 2(2), pp. 127-135.
Zhang, J. et al., 2003. Using usability heuristics to evaluate patient safety of medical devices.
Journal of Biomedical Informatics, 36(1–2), pp. 23–30.
