Fakultas Ilmu Komputer
Evaluasi Usability Situs Web Resmi Pemerintah Kabupaten Sidoarjo Menggunakan Metode Usability Testing dan Evaluasi Heuristic
Rizal Halim Adirasyid1, Hanifah Muslimah Az-Zahra2, Nanang Yudi Setiawan3
Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1rhalimrasyid@gmail.com, 2hanifah.azzahara@ub.ac.id, 3nanang@ub.ac.id
Abstrak
Situs web yang dikembangkan oleh Pemerintahan Daerah bertujuan untuk mendorong terwujudnya e-government yang bersifat good governance yang sesuai dengan Instruksi Presiden No. 3 Tahun 2003.
Keterbukaan informasi publik merupakan hal penting untuk terciptanya Pemerintahan yang baik. Hal tersebut sesuai dengan Undang-undang No. 14 tahun 2008. Dengan adanya portal situs web Kabupaten Sidoarjo yang beralamat sidoarjo.go.id diharapkan dapat memudahan masyarakat dalam mengakses informasi. Pada perkembangannya, situs web Kabupaten Sidoarjo memiliki beberapa kekurangan, sehingga diperlukan evaluasi untuk meningkatkan kualitasnya. Penelitian ini menggunakan dua metode yaitu usability testing dan evaluasi heuristic. Diharapkan dengan kedua metode tersebut dapat menemukan permasalahan dari dua sudut pandang pengguna yang berbeda. Dari hasil pengujian usability testing didapatkan hasil efektivitas sebesar 100%, efisiensi rata-rata waktu yang digunakan sebesar 40detik, dan rata-rata jumlah klik sebanyak 6 klik untuk menyelesaikan tugas, serta kepuasan pengguna dari nilai kuesioner sus sebesar 62 yang termasuk Grade D atau “Good”. Permasalahan yang berhasil ditemukan pada pengujian usability testing berjumlah 33 masalah dari seluruh temuan evaluator. Mayoritas permasalahan tersebut terkait dengan tampilan penataan letak aplikasi pada halaman Home dan ikon aplikasi sosial media pada bagian header. Sedangkan dari hasil pengujian evaluasi heuristic menemukan total 49 permasalahan, dimana terdapat 9 permasalahan bersifat cosmetic, 18 permasalahan minor, 14 permasalahan major, dan 8 permasalahan catasthrope.
Kata kunci: evaluasi, usability, situs web pemerintah, usability testing, evaluasi heuristic.
Abstract
The website developed by the Regional Government aims to encourage the realization of e-government that is good governance, in accordance with Presidential Instruction No. 3 of 2003. Public information disclosure is important to build good governance, in accordance with Law No. 14 of 2008. The Website of Sidoarjo in sidoarjo.go.id is hoped that the community can access the information of it. In its development, the website still has several shortcomings, so an evaluation is needed to improve its quality. This study uses two methods, namely usability testing, and heuristic evaluation. It is expected that both methods can find out the problems from two different user points of view. The literature that is used in this study is a theory by Jakob Nielsen (1994) which stated that there are 10 general principles in interaction design called heuristic because as a general rule it is not a special rule. The results of usability testing, the effectiveness are 100%, the efficiency of the average time used is 40 seconds, and the average number of clicks is 6 times to complete the task, and user satisfaction from the questionnaire value of 62 includes Grade D or High Marginal which has the quality of "Good". The problems were found in the usability testing test amounted to 33 problems from all evaluator findings. The majority of these problems are related to the layout of the application on the Home page and the social media application icon in the header section. While the results of the heuristic evaluation test found 49 problems which there were 9 cosmetic problems, 18 minor problems, 14 major problems, and 8 catastrophe problems.
Keywords: evaluation, usability, government website, usability testing, heuristic evaluation.
1. PENDAHULUAN
Dalam upaya menerapkan e-government yang bersifat good governance, pemerintah menerapkan undang-undang tentang pemanfaatan teknologi komunikasi dan informasi (internet) yang diatur dalam Instruksi Presiden No. 3 Tahun 2003, instruksi tersebut bertujuan untuk meningkatkan efisiensi, efektifitas, dan akuntabilitas penyelenggaraan e- government di Indonesia.
Dalam pemerintahan, sebuah situs web dimanfaatkan untuk publikasi informasi tentang potensi daerah, pariwisata, dan berbagai informasi lainnya yang dapat diakses oleh semua pihak. Keterbukaan akan informasi publik merupakan sebuah hal yang penting bagi terciptanya pemerintahan yang baik. Hal tersebut sesuai dengan Undang-undang No. 14 tahun 2008 tentang Keterbukaan informasi publik. Pada pemerintahan Kabupaten Sidoarjo, telah disediakan portal situs web yang beralamat sidoarjo.go.id yang bertujuan untuk memudahkan masyarakat dalam mengakses informasi agar mendapatkan pengetahuan tentang berita dan kejadian terkini yang sedang terjadi di Kabupaten Sidoarjo. Portal situs web Kabupaten Sidoarjo dikelolah langsung oleh bidang pengembangan Informatika Dinas Komunikasi dan Informatika Kabupaten Sidoarjo. Pada perkembangannya, situs web Kabupaten Sidoarjo memiliki beberapa kekurangan, dan beberapa faktor lain yang harus lebih diperhatikan untuk meningkatkan kualitasnya.
Berdasarkan hasil pengamatan peneliti pada situs web Kabupaten Sidoarjo terdapat beberapa kekurangan diantaranya penataan konten yang kurang rapi sehingga terlihat tumpang-tindih dengan konten lainnya pada bagian pengumuman, tidak adanya informasi penjelasan gambar media pada tampilan halaman Home situs web, belum tersedia konten pada halaman media, penomoran halaman yang kurang menarik, serta tidak dicantumkannya nomor telepon pada halaman kontak. Dari hasil permasalahan yang telah ditemukan tersebut dan belum pernah dilakukannya evaluasi terhadap situs web Kabupaten Sidoarjo, maka diperlukan proses evaluasi terhadap situs web Kabupaten Sidoarjo. Salah satunya evaluasi usability yang bertujuan untuk menemukan permasalahan terkait usability situs web dan memberikan rekomendasi perbaikan dari hasil temuan
permasalahan tersebut untuk meningkatkan kualitas pengalaman pengguna.
Pada penelitian ini, mengggunakan metode usability testing untuk mendapatkan data temuan permasalahan secara langsung dari perspektif pengguna situs web Kabupaten Sidoarjo dan metode Heuristic Evaluation untuk menemukan permasalahan dari perspektif evaluator ahli di bidang evaluasi usability sehingga diharapkan mendapat hasil evaluasi yang lebih lengkap dari kedua metode tersebut baik penemuan masalah dari sudut pandang pengguna maupun sudut pandang ahli usability yang masing-masing metode memiliki kelebihan dan kelamahan dalam menemukan permasalahan. Dengan menggunakan beberapa ahli usability sebagai evaluator diharapkan dapat menemukan permasalahan yang mungkin tidak dapat ditemukan oleh pengguna sistem, begitu pun sebaliknya. Selain itu alasan menggunakan metode Heuristic Evaluation karena metode ini memiliki tingkat keparahan (severity ratings) yang digunakan untuk mengidentifikasi masalah dan menentukan prioritas pada perbaikan masalah tersebut.
2. KAJIAN PUSTAKA 2.1. Penelitian Sebelumnya
Peneliti melakukan penelitian terhadap situs web Kabupaten Sidoarjo, mengacu pada penelitian yang telah dilakukan sebelumnya yang menggunakan metode yang sama namun dengan objek penelitian yang berbeda. Terdapat banyak penelitian yang terkait evaluasi situs web pemerintah daerah menggunakan metode evaluasi heuristic. Salah satunya penelitian yang telah dilakukan oleh Fiki Hafiz Alfarisi (2016).
Penelitian yang dilakukan oleh Fiki Hafiz Alfarisi (2016) pada laporan skripsi yang berjudul “Evaluasi Website Resmi Pemerintah Kabupaten Situbondo Menggunakan Metode Heuristic Evaluation” bertujuan untuk menganalisa permasalahan usability dari sisi tampilan situs web pemerintah Kabupaten Situbondo terhadap kenyamanan pengguna.
Dengan metode heuristic evaluation, penilitian tersebut menggunakan 2 evaluator untuk mengevaluasi situs web resmi Kabupaten Situbondo. Alasan digunakannya metode evaluasi heuristic adalah karena metode ini lebih cepat dalam memberikan hasil penelitian dibandingkan metode lainnya, selain itu metode ini juga dapat menemukan permasalahan kecil yang mungkin tidak dapat ditemukan oleh
pengguna. Alasan lain digunakannya evaluasi heuristic sebagai metode dalam penelitian ini karena terdapat nilai severity rating yang dapat digunakan untuk menentukan prioritas pemberian rekomendasi saran.
2.2. Evaluasi
Menurut Kamus Besar Bahasa Indonesia evaluasi adalah pengumpulan dan pengamatan dari berbagai macam objek alat bukti atau kegiatan untuk mengukur dampak dan efektivitas dari suatu objek, program, atau proses yang berkaitan dengan spesifikasi dan kebutuhan pengguna yang telah ditetapkan sebelumnya.
Sedangkan menurut Sudijono (1996) pengertian evaluasi adalah sebuah penafsiran atau interpretasi yang berasal dari data kuantitatif, sedangkan data kuantitatif merupakan hasil dari pengukuran.
2.3. Usability
Menurut International Standards Organizations ISO 9241-11:2018 usability adalah sejauh mana suatu sistem, produk atau layanan dapat digunakan oleh pengguna untuk mencapai tujuan tertentu dengan hasil efisiensi, efektivitas, dan kepuasan pengguna dalam situasi tertentu. Ketiga aspek tersebut memiliki definisi sebagai berikut:
Efektivitas adalah tingkat kesesuaian dan kelengkapan sistem yang dirasakan pengguna dalam mencapai tujuan tertentu.
Efisiensi adalah penggunaan sumber daya yang diperlukan sehubungan dengan tujuan yang ingin dicapai.
Kepuasan adalah sejauh mana tanggapan pengguna setelah menggunakan sistem, produk, atau layanan untuk memenuhi kebutuhan dan harapan pengguna.
2.4. Usability Testing
Usability testing merupakan salah satu metode pengujian untuk menilai apakah pengguna dapat menggunakan aplikasi dengan mudah, seberapa efektif dan efisien sebuah aplikasi dalam membantu pengguna mencapai tujuan, dan apakah pengguna puas dengan aplikasi yang telah digunakan.
2.5. Evaluasi Heuristic
Heuristic Evaluation adalah metode evaluasi yang menggunakan para ahli usability sebagai evaluator untuk menemukan permasalahan yang terdapat pada sistem. Setiap hasil temuan permasalahan dianalisis sesuai tingkat keparahan (severity rating) untuk menentukan
prioritas rekomendasi perbaikan permasalahan tersebut. Menurut Nielsen (1994b), terdapat 10 prinsip desain interaksi yang digunakan sebagai referensi dalam melakukan.
Selama proses evaluasi, evaluator mengamati antarmuka beberapa kali dan memeriksa berbagai elemen isi dari antarmuka tersebut dan membandingkannya dengan prinsip-prinsip desain interaksi yang telah ditentukan (heuristic). Evaluator bertanggung jawab untuk menganalisis antarmuka pengguna dalam sesi evaluasi heuristic. Evaluator harus menganalisis antarmuka setidaknya dua kali.
Analisis pertama akan dimaksudkan untuk merasakan aliran interaksi dan ruang lingkup sistem. Analisis kedua untuk memungkinkan evaluator fokus pada elemen antarmuka tertentu (Nielsen, 1994a).
2.6. Severity Ratings
Tingkat keparahan dapat digunakan untuk menentukan prioritas masalah mana yang harus diperbaiki terlebih dahulu. Masalah yang paling serius dan memberikan dampak yang besar terhadap kegunaan sistem menjadi prioritas utama untuk diperbaiki. Menurut Nielsen (1994c), skala peringkat 0 hingga 4 berikut dapat digunakan untuk menilai tingkat keparahan masalah usability:
0 : Don't Agree. Hal ini bukan termasuk masalah usability.
1 : Cosmetic Problem. Tidak perlu ada perbaikan kecuali ada waktu tambahan.
2 ; Minor Usability Problem. Perbaikan masalah dengan prioritas rendah.
3 : Major Usability Problem. Merupakan permasalahan prioritas tinggi yang harus segera diperbaiki.
4 : Usability Catasthrope. Sebelum produk dirilis, permasalahan ini harus diperbaiki dahulu.
2.7. Evaluator
Evaluator adalah individu atau kelompok yang bertugas memberikan penilaian terhadap kualitas, ketercapaian tujuan, atau nilai sesuatu dari proses evaluasi yang dilakukan. Macefield (2009) berpendapat bahwa untuk sebagian besar studi yang terkait dengan penemuan masalah usability memiliki jumlah kelompok yang terdiri dari 3-20 peserta valid, dengan 5-10 peserta sebagai rentang dasar jumlah peserta yang direkomendasikan.
2.8. Kuesioner SUS
System Usability Scale (SUS) menyediakan alat yang cepat dan dapat diandalkan untuk mengukur usability. Kuesioner SUS terdiri dari 10 pertanyaan dengan lima pilihan jawaban, mulai dari yang sangat setuju hingga sangat tidak setuju. Nantinya dari hasil jawab tersebut akan menghasilkan skor yang mewakili tingkat kepuasan pengguna. Kuesioner SUS memiliki tahapan untuk menghitung skor kuesioner SUS (Brooke, 1996):
1. Setiap nomor pernyataan memiliki nilai kontribusi dari 0 sampai 4.
2. Penilaian nomor ganjil skor adalah posisi skala dikurangi 1.
3. Penilaian nomor genap skor adalah 5 dikurangi posisi skala.
4. Kemudian, hasil jumlah skor dikalikan 2,5 agar menjadi hasil skor akhir nilai kuesioner SUS.
Skor akhir kuesioner SUS yang didapat akan merepresentasikan tingkat kepuasan pengguna setelah menggunakan aplikasi. Berikut merupakan nilai skor Kuesioner SUS pada gambar 1.
Gambar 1. Nilai kuesioner SUS
3. METODOLOGI
Penelitian ini menggunakan pendekatan deskriptif untuk mendeskripsikan kekurangan atau permasalahan yang ditemukan pada situs web Kabupaten Sidoarjo. Gambar 2 merupakan tahapan langkah-langkah dalam penelitian ini.
Gambar 2. Tahapan penelitian
3.1. Identifikasi Masalah
Sebelum melakukan penelitian, peneliti melakukan evaluasi awal dan menemukan beberapa permasalahan terkait tampilan antarmuka situs web Kabupaten Sidoarjo yang dijadikan sebagai latar belakang penelitian. Dari indikasi permasalah tersebut, maka perlu dilakukan evaluasi usability untuk meningkatkan kualitas pelayanan publik melalui pemberian rekomendasi perbaikan terhadap tampilan situs web.
3.2. Studi Literatur
Studi literatur mempelajari dasar teori yang digunakan dalam penelitian untuk menunjang penulisan skripsi tentang evaluasi usability situs web resmi pemerintah kabupaten sidoarjo menggunakan metode usability testing dan evaluasi heuristic. Teori pendukung dalam penulisan skripsi diperoleh dari buku, jurnal penelitian sebelumnya dab refrensi dari situs internet yang berkaitan dengan topik skripsi ini.
3.3. Persiapan Pengumpulan Data
Persiapan pengumpulan data dilakukan dengan merancang skenario tugas untuk pengujian dan menyusun pertanyaan yang akan diajukan kepada evaluator baik dengan menyebarkan kuesioner SUS maupun melakukan wawancara secara langsung. Agar mendapatkan informasi sesuai dengan yang diharapkan, maka pertanyaan yang diajukan harus relevan dengan tujuan penelitian. Dalam merancang skenario tugas, peneliti melakukan analisis untuk mengetahui tujuan dan latar belakang pengguna mengunjungi situs web Kabupaten Sidoarjo dan menentukan task scenario goal.
3.4. Pengumpulan Data
Teknik pengumpulan data yang digunakan pada penelitian adalah metode usability testing dan evaluasi heuristic. Usability testing digunakan untuk menilai aspek usability sistem berdasarkan sudut pandang pengguna yang representatif. Tujuannya adalah untuk mengidentifikasi masalah usability, mengumpulkan data kualitatif dan kuantitatif, dan menentukan kepuasan pengguna terhadap sistem. Sedangkan evaluasi heuristic digunakan untuk meneliti apakah antarmuka sistem sesuai dengan 10 prinsip heuristic yang di kemukakan oleh Nielsen (1994b) dengan menggunakan evaluator ahli. Data yang didapatkan akan dianalisis sesuai tingkat keparahan masalah usability tersebut. Pada penelitian ini penilaian kualitas usability lebih difokuskan pada aspek efficiency, effectiveness, dan satisfaction.
3.5. Analisis Data
Analisis data dilakukan dengan menghitung hasil pengumpulan data setelah melakukan pengujian usability testing untuk mengetahui adanya indikator masalah yang memengaruhi pengguna ketika menggunakan situs web.
Selanjutnya hasil temuan permasalahan evaluator usability testing akan dikonsultasikan dengan evaluator ahli pada evaluasi heuristic untuk dianalisis penyebab terjadinya, tingkat keparahan, dan meminta saran perbaikan dari evaluator ahli terkait permasalahan yang ditemukan. Diharapkan dengan melakukan konsultasi permasalahan, didapatkan saran perbaikan yang sesuai menurut evaluator ahli karena saran dari evaluator pengguna dianggap kurang valid.
Selanjutnya hasil temuan permasalahan dari masing-masing evaluator baik temuan
menggunakan metode usability testing maupun evaluasi heuristic dikonsolidasikan untuk mengurangi redundansi permasalahan yang sama. Setelah dianalisis, hasil temuan permasalahan kemudian dikelompokan berdasarkan jenis permasalahannya dan diurutkan sesuai tingkat severity ratings.
Pengelompokan data ini juga terkait dengan pemberian solusi terhadap masalah yang ditemukan dan untuk memberikan masukan kepada pengembang agar segera memperbaiki permasalahan pada situs web Kabupaten Sidoarjo sesuai dengan tingkat severity rating permasalahan tersebut.
3.6. Hasil Rekomendasi
Pemberian rekomendasi perbaikan didapatkan dari hasil analisis data dan saran yang diberikan oleh evaluator ahli. Rekomendasi perbaikan berupa kalimat deskriptif disertai pemberian prototype gambar perbaikan untuk situs web Kabupaten Sidoarjo. Penyusunan rekomendasi perbaikan dilakukan sesuai dengan nilai severity rating untuk menentukan prioritas perbaikan terhadap permasalahan yang ditemukan.
3.7. Kesimpulan
Pada akhir proses penelitian pasti terdapat kesimpulan berdasarkan hasil penelitian yang telah dilakukan. Kesimpulan dapat berupa jawaban dari permasalahan yang melatarbelakangi penelitian tersebut. Pada penelitian ini kesimpulan yang dihasilkan akan berkaitan tentang hasil seberapa banyak permasalahan yang ditemukan dan tingkatan usability situs web Kabupaten Sidoarjo.
4. ANALISIS DAN PENGUMPULAN DATA
4.1. Identifikasi Pengguna
Penelitian ini melibatkan 10 evaluator usability testing dan 4 evaluator expert untuk mengevaluasi situs web menggunakan metode evaluasi heuristic. Pemilihan evaluator untuk pengujian usability testing menggunakan metode nonprobability sampling dengan teknik purposive sampling terhadap beberapa masyarakat Sidoarjo. Evaluator dipilih berdasarkan alamat domisili, latar belakang pekerjaan, dan usia. Sedangkan pemilihan evaluator pada dalam evaluasi heuristic didasarkan pada kriteria latar belakang pendidikan dan pengalaman yang dimiliki. Latar
bergelar sarjana komputer atau sarjana lain yang masih berkaitan dengan bidang komputer dan memiliki pengalaman terlibat dalam pengembangan situs web, smartcity, atau pada penelitian usability sebelumnya.
4.2. Pengumpulan Data
Pengumpulan data menggunakan metode usability testing dilakukan dengan memberikan task scenario yang harus diselesaikan oleh setiap evaluator dengan menjalankan situs web Kabupaten Sidoarjo dan didampingi oleh penguji tanpa memberikan arahan atau petunjuk untuk mengerjakannya. Kemudian data hasil dari pengujian tersebut akan dimasukan kedalam tabel penilaian sesuai instrumen pengujian.
Setelah evaluator menyelesaikan skenario tugas yang diberikan, peneliti melakukan wawancara dengan memberikan pertanyaan terkait penilaian pengguna terhadap kualitas usability situs web Kabupaten Sidoarjo.
Wawancara dilakukan untuk mengetahui keluhan dari permasalahan yang dialami oleh pengguna ketika menggunakan sistem.
Evaluator juga diminta memberikan saran serta nilai tingkat keparahan dari permasalahan yang disampaikan. Di akhir pengujian, peneliti memberikan kuesioner SUS untuk mengetahui tingkat kepuasan pengguna setelah menggunakan situs web Kabupaten Sidoarjo.
Dari analisis hasil pengujian evaluator dalam menyelesaikan skenario tugas, didapatkan data-data untuk menilai kualitas usability situs web Kabupaten Sidoarjo berdasarkan aspek efficiency dan effectiveness. Sedangkan aspek satisfaction didapatkan dari hasil penilaian pengguna pada kuesioner SUS.
1. Effectivity
Completion rate merupakan salah satu performance metric yang digunakan untuk mengetahui berapa banyak jumlah tugas yang dapat diselesaikan oleh evaluator. Tabel 1 menampilkan keberhasilan evaluator dalam menyelesaikan setiap skenario tugas yang diberikan.
Tabel 1. Keberhasilan evaluator situs web Kabupaten Sidoarjo
Evaluator Keberhasilan
Evaluator 1 100%
Evaluator 2 100%
Evaluator 3 100%
Evaluator 4 100%
Evaluator 5 100%
Evaluator 6 100%
Evaluator 7 100%
Evaluator 8 100%
Evaluator 9 100%
Evaluator 10 100%
Rata-rata 100%
2. Efficiency
Efficiency merupakan aspek penilaian yang digunakan untuk mengukur kemampuan pengguna dalam menjalankan sistem dengan baik dan tepat. Terdapat dua aspek pada penilaian efisiensi situs web Kabupaten Sidoarjo yaitu menghitung waktu yang digunakan evaluator untuk menyelesaikan setiap tugas dan jumlah klik ketika evaluator menyelesaikan tugas. Tabel 2 menunjukkan waktu yang digunakan evaluator untuk menyelesaikan setiap tugas yang diberikandengan satuan detik.
Tabel 2. Waktu penyelesaian skenario tugas situs web Kabupaten Sidoarjo
Skenario Tugas Rata-rata waktu (detik)
Tugas 1 69,3
Tugas 2 84
Tugas 3 45,2
Tugas 4 34,4
Tugas 5 18,3
Tugas 6 16
Tugas 7 12,2
Tugas 8 15,8
Tugas 9 79,8
Tugas 10 24,2
Rata-rata 39,9
Dari hasil yang ditunjukkan pada Tabel 2, total rata-rata jumlah waktu evaluator untuk menyelesaikan skenario tugas adalah sebesar 39,9 detik atau 40 detik jika dibulatkan. Tabel 3 berisi jumlah klik yang dilakukan evaluator untuk menyelesaikan setiap skenario tugas yang diberikan.
Tabel 3. Jumlah klik evaluator situs web Kabupaten Sidoarjo
Skenario Tugas Rata-rata jumlah klik
Tugas 1 12,7
Tugas 2 9,8
Tugas 3 5,6
Tugas 4 5
Tugas 5 4,9
Tugas 6 3,8
Tugas 7 3,9
Tugas 8 4,3
Tugas 9 9,9
Tugas 10 3,5
Rata-rata 6,34
Pada Tabel 3, jumlah total rata-rata klik yang dilakukan pengguna adalah sebesar 6,34 atau 6 klik jika dibulatkan.
3. Satisfaction
Kepuasan (satisfaction) menjelaskan tentang sejauh mana pengguna merasa puas dengan sistem yang digunakan. Tabel 4, menampilkan data hasil penilaian kepuasan pengguna terhadap situs web Kabupaten Sidoarjo berdasarkan kuesioner SUS yang telah diberikan. Hasil kepuasan pengguna dihitung dengan perhitungan skor kuesioner SUS yang dikemukakan oleh Brooke (2016).
Tabel 4. Hasil kuesioner SUS situs web Kabupaten Sidoarjo
Evaluator Skor SUS
Evaluator 1 62,5
Evaluator 2 50
Evaluator 3 37,5
Evaluator 4 60
Evaluator 5 60
Evaluator 6 72,5
Evaluator 7 62,5
Evaluator 8 75
Evaluator 9 52,5
Evaluator 10 87,5
Rata-rata 62
Berdasarkan hasil perhitungan data yang terdapat pada Tabel 4, diketahui kualitas kepuasan pengguna berdasarkan skala penilaian skor SUS pada gambar 1, situs web Kabupaten Sidoarjo termasuk Grade D atau High Marginal yang memiliki kualitas “Good”.
4.3. Temuan Permasalahan
Tabel 5 menampilkan hasil konsolidasi temuan permasalahan menggunakan metode usability testing.
Tabel 5. Tabel temuan permasalahan usability testing
Evalu ator
Keluhan /
permasalahan Saran Perbaikan SR E1,
E6, E7, E10
Aplikasi yang ditampilkan pada halaman Home terlalu banyak dan penataannya kurang rapi.
Perbaikan tata letak aplikasi di halaman Home yang kurang tertapa rapi.
2,25
E1 Halaman Home tidak
menampilkan pop up terkait berita yang sedang viral
Harusnya diberi pop-up berisi pengumuman atau berita penting yang sedang berlangsung saat ini.
2
atau barusaja terjadi.
E1, E5, E8
Evaluator merasa kurang terbiasa ketika mencari informasi pada website.
Evaluator merasa kebingungan memilih menu untuk mencari informasi tertentu karena kurang terbiasa.
1
E2, E5, E9
Evaluator merasa kurang tertarik terhadap isi konten berita dan agenda pada website.
Tampilan situs web terkesan monoton dengan dominasi warna hijau, seharusnya lebih berwarna lagi.
1,3
E2 Nama aplikasi pada halaman Home tidak dapat di klik
Seharusnya nama aplikasi juga dapat diklik, jangan hanya ikon aplikasinya saja.
3
Tabel 6 menampilkan hasil konsolidasi temuan permasalahan menggunakan metode evaluasi heuristic.
Tabel 6. Tabel temuan permasalahan evaluasi heuristic
Evalu
ator Permasalahan Saran Perbaikan
Prinsip Heuristic SR E1,
E2, E3, E4
Penataan layout ikon aplikasi pada halaman Home belum tertata rapi.
Seharusnya ditata sejajar agar terlihat rapi dan tidak menyisahkan ruang kosong.
H1, H4, H8
2, 25
E1, E2, E3, E4
Belum adanya informasi keterangan untuk setiap gambar pada halaman situs web.
Seharusnya setiap gambar diberi keterangan agar pengguna mengetahui informasi dan tujuan dari gambar tersebut.
H1, H5, H8, H10
1, 75
E1, E2
Gambar ikon sosial media terlalu kecil sehingga tidak eye catching bagi pengguna.
Seharusnya ikon sosial media diperbesar atau diletakkan pada bagian footer situs web dan diberi keterangan
“Temukan Kami Disini” agar lebih mudah terlihat oleh pengguna.
H1, H8 2
E2, E3, E4
Fitur halaman Media tidak menampilkan gambar apapun setelah pengguna
Seharusnya pada halaman Media menampilkan arsip foto dokumentasi
H1, H3, H8, H10
3, 6
mengklik foto pada Sidoarjo Gallery.
Kabupaten Sidoarjo.
E3 Fitur menampilkan dokumen PDF tidak
berfungsi dengan baik.
Seharusnya fitur menampilkan dokumen PDF diperbaiki agar pengguna mengetahui isi dari dokumen tersebut.
H1, H7, H8
4
5. PEMBAHASAN
Berdasarkan analisis data yang telah dilakukan, selanjutnya setiap hasil temuan permasalahan dikelompokkan berdasarkan kategori jenis masalah tersebut. Pembahasan permasalahan berupa pemberian rekomendasi perbaikan sesuai dengan urutan tingkat severity rating.
5.1. Permasalahan Fungsional
Hasil temuan masalah fungsional yaitu fitur menampilkan dokumen PDF tidak berfungsi dengan baik seperti yang ditunjukkan pada gambar 3.
Gambar 3. Gambar permasalahan fungsional Evaluator 3 menemukan permasalahan fitur menampilkan dokumen PDF pada halaman Pengadaan Barang Jasa tidak berfungsi dengan baik. Fitur tersebut tidak dapat menampilkan isi dari dokumen informasi sehingga mengharuskan pengguna mengunduh dokumen tersebut terlebih dahulu jika ingin mengetahui isi dokumen tersebut. Nilai severity rating untuk permasalahan ini adalah 4. Solusi dari masalah ini adalah seharusnya fitur menampilkan dokumen PDF diperbaiki agar pengguna
mengetahui isi dari dokumen tersebut. Gambar 4 merupakan gambar hasil perbaikan untuk permasalahan fitur menampilkan dokumen PDF yang tidak berfungsi dengan baik.
Gambar 4. Gambar solusi perbaikan permasalahan fungsional 5.2. Permasalahan Tampilan
Hasil temuan masalah tampilan yaitu fitur halaman Media tidak menampilkan gambar apapun setelah pengguna mengklik foto pada Sidoarjo Gallery seperti yang ditunjukkan pada gambar 5.
Gambar 5. Gambar permasalahan tampilan Evaluator 2, 3, dan 4 menemukan permasalahan yang sama yaitu fitur halaman Media tidak menampilkan gambar apapun setelah pengguna mengklik foto pada Sidoarjo Gallery. Dari hasil perhitungan rata-rata nilai severity rating untuk permasalahan ini adalah 3,6. Solusi dari masalah ini adalah seharusnya pada halaman Media menampilkan arsip foto dokumentasi Kabupaten Sidoarjo. Gambar 6.
merupakan gambar hasil perbaikan untuk permasalahan fitur halaman Media yang tidak menampilkan gambar apapun.
Gambar 6. Gambar solusi perbaikan permasalahan tampilan
6. KESIMPULAN
Berdasarkan hasil evaluasi yang telah dilakukan, maka dihasilkan kesimpulan sebagai berikut:
1. Dari hasil pengujian skenario tugas kepada evaluator pengguna situs web Kabupaten Sidoarjo, didapatkan nilai efektivitas sebesar 100% karena seluruh evaluator dapat menyelesaikan semua tugas yang diberikan dengan benar. Jumlah rata-rata waktu yang dibutuhkan evaluator untuk menyelesaikan setiap tugas yaitu 40 detik, sedangkan jumlah rata-rata klik yang dilakukan oleh evaluator sebanyak 6 klik.
Hasil pengukuran kepuasan pengguna yang didapatkan dari pengisian kuesioner SUS oleh evaluator menghasilkan skor sebesar 62 yang termasuk Grade D atau High Marginal yang memiliki kualitas “Good”.
2. Hasil dari pengujian usability testing kepada evaluator pengguna situs web Kabupaten Sidoarjo menemukan total 33 permasalahan usability terkait situs web Kabupaten Sidoarjo, namun beberapa diantaranya merupakan permasalahan yang sama. Dari 33 permasalahan tersebut, terdapat 18 permasalahan yang berbeda satu-sama lain. Dari total 33 permasalahan tersebut, terdapat 7 permasalahan bersifat cosmetic, 11 permasalahan minor, dan 15 permasalahan major.
3. Dari hasil pengujian evaluasi heuristic menemukan total 49 permasalahan, namun dengan jumlah 33 permasalahan yang berbeda sisanya merupakan permasalahan yang sama. Dari total 49 permasalahan tersebut, terdapat 9 permasalahan bersifat cosmetic, 18 permasalahan minor, 14 permasalahan major, dan 8 permasalahan catasthrope.
4. Dari hasil permasalahan yang ditemukan, didapatkan saran rekomendasi untuk perbaikan situs web Kabupaten Sidoarjo diantaranya yaitu seharusnya penataan ikon aplikasi pada halaman Home situs web ditata rapi menggunakan layout berbasis grid untuk mengatur konten agar sejajar dan tidak menyisahkan ruang kosong, menambahkan keterangan pada setiap gambar yang terdapat pada situs web agar memudahkan pengguna mengetahui informasi dari gambar tersebut, menambahkan gambar dan video sebagai arsip dokumentasi pada bagian Sidoarjo Gallery agar tidak kosong, dan memperbaiki fungsi dari beberapa tombol dan kolom komentar agar berfungsi dengan baik.
DAFTAR PUSTAKA
Arifin, Y. 2018. Kenal Dekat dengan Usability Testing [Online] Tersedia di:
<http://socs.binus.ac.id/2018/08/09/kenal- dekat-dengan-usability-testing/> [Diakses 20 Januari 2019]
Alfarisi, F. H. 2016. Evaluasi Situs Web Resmi Pemerintah Kabupaten Situbondo Menggunakan Metode Heuristic Evaluation. S1. Universitas Brawijaya.
Tersedia di:
<http://repository.ub.ac.id/146862/>
[Diakses 20 Januari 2019]
Instruksi Presiden Republik Indonesia, 2003.
Kebijakan Dan Strategi Nasional Pengembangan E-Government. Presiden Republik Indonesia. [Online] Tersedia di:
<https://jdih.kominfo.go.id/produk_huku m/view/id/326/t/instruksi+presiden+nomo r+3+tahun+2003+tanggal+9+juni+2003>
[Diakses 13 Februari 2019]
International Standards Office, 2018. ISO 9241–
11:2018 Ergonomics of human -system interaction [Online] Tersedia di:
<https://www.iso.org/obp/ui/#iso:std:iso:9 241:-11:ed-2:v1:en/> [Diakses 13 Februari 2019]
Kementerian Komunikasi dan Informatika RI, 2008. Keterbukaan Informasi Publik.
Kementerian Komunikasi dan Informatika RI. [Online] Tersedia di:
<https://jdih.kominfo.go.id/produk_huku m/view/id/172/t/undangundang+nomor+1
4+tahun++2008+tanggal+30+april+2008
> [Diakses 13 Februari 2019]
Nielsen, J. 1994a. How to Conduct a Heuristic Evaluation [Online] Tersedia di:
<https://www.nngroup.com/articles/how- to-conduct-a-heuristic-evaluation/>
[Diakses 20 Januari 2019]
Nielsen, J. 1994b. 10 Usability Heuristics for User Interface Design [Online] Tersedia di:
<https://www.nngroup.com/articles/ten- usability-heuristics/> [Diakses 20 Januari 2019]
Nielsen, J. 1994c. Severity Ratings for Usability Problems [Online] Tersedia di:
<https://www.nngroup.com/articles/how- to-rate-the-severity-of-usability-
problems/> [Diakses 20 Januari 2019]
U.S. Department of Health & Human Services.
Usability Testing [Online] Tersedia di:
<https://www.usability.gov/how-to-and- tools/methods/usability-testing.html>
[Diakses 20 Januari 2019]
U.S. Department of Health & Human Services.
System Usability Scale [Online] Tersedia di: <https://www.usability.gov/how-to- and-tools/methods/system-usability- scale.html> [Diakses 20 Januari 2019]
