Pada saat penelitian dilaksanakan, Pemerintah Republik Indonesia memiliki 33 provinsi dari Nanggroe Aceh Darussalam hingga Papua Barat. Namun demikian, sejak diterbitkannya Instruksi Presiden Nomor 3 Tahun 2003 yang mewajibkan setiap pemerintah daerah (Provinsi, Kota atau Kabupaten) membangun situs web, ternyata dari 33 provinsi tersebut hanya 31 provinsi yang memiliki situs web dan berstatus aktif yang diakses bulan Februari – Juni 2012. Provinsi tidak memiliki situs web adalah Sulawesi Utara dan Sulawesi Tenggara. Penentuan situs web provinsi aktif dan tidak aktif didasarkan atas penelusuran situs web resmi menggunakan mesin pencari (search engine) Google dengan mengetikkan query berupa nama masing-masing provinsi.
Pengembangan Framework Evaluasi Usability
Framework yang dihasilkan pada penelitian ini berupa enam parameter untuk analisis rekaman responden dan lima parameter untuk menghasilkan skor evaluasi usability. Enam parameter yang dapat digunakan untuk menganalisis hasil evaluasi usability situs-situs web provinsi di Indonesia dengan metode observasi langsung menggunakan rekaman responden. Namun demikian, parameter-parameter tersebut memiliki tujuan penggunaan yang berlainan. Keenam parameter tersebut antara lain:
1. Jumlah Waktu 2. Jumlah Langkah 3. Kesuksesan Tugas 4. Waktu Respon Balik 5. Pihak Pemberi Respon 6. Kepuasan Responden
Parameter jumlah waktu, jumlah langkah dan kesuksesan tugas berkaitan erat dengan analisis rekaman responden dikarenakan hasil ketiganya diperoleh dengan mengolah data rekaman responden yang direkam oleh perangkat lunak screen capture (Camtasia 7.1). Parameter jumlah waktu dan jumlah langkah
bertujuan untuk mengukur efisiensi atau banyaknya sumberdaya waktu dan tenaga yang digunakan oleh responden untuk menyelesaikan skenario yang diberikan.
Parameter waktu respon balik dan pihak pemberi respon diukur setelah jangka waktu 21 hari berdasarkan atas keterangan dari setiap responden, untuk melihat apakah terdapat tanggapan dari situs web yang dievaluasi. Kedua parameter tersebut bertujuan untuk menilai responsivitas pemerintah provinsi dalam menghargai masukan dari responden sebagai perwakilan dari anggota masyarakat sesuai dengan tingkat pengembangan e-Government kedua yaitu Tingkat Pematangan (Pembuatan situs web informasi publik yang bersifat interaktif; dan Pembuatan antarmuka keterhubungan dengan lembaga lain). Hal ini dikarenakan suatu situs web tidak dapat dikatakan bersifat interaktif jika tidak ada tanggapan terhadap masukan dalam bentuk apapun yang disampaikan kepada situs web tersebut melalui seluruh fasilitas yang telah disediakan.
Parameter terakhir adalah kepuasan responden yang memiliki tujuan untuk mengukur seberapa besar responden memberikan penilaian terhadap beberapa komponen yang tercantum dalam QUIS (Questionnaire for User Interface Satisfaction) sebagi media pengukuran. Komponen tersebut antara lain reaksi keseluruhan terhadap situs web, halaman web, istilah dan informasi situs web, dan kemampuan situs web.
Selain parameter penilaian rekaman responden, penelitian ini juga mengembangkan parameter pemberian skor evaluasi usability untuk setiap situs web provinsi. Parameter tersebut berjumlah lima, di antaranya:
1. Jumlah Waktu 2. Jumlah Langkah 3. Kesuksesan Tugas 4. Kelengkapan Konten 5. Kepuasan Responden
Kelima parameter tersebut sesuai dengan ISO 9241:11 yang menyatakan bahwa usability memiliki tiga komponen yaitu efisiensi, efektifitas dan kepuasan penggunaan. Parameter jumlah waktu dan jumlah langkah mewakili komponen efisiensi, parameter kesuksesan tugas dan kelengkapan konten mewakili komponen efektivitas, sedangkan parameter kepuasan responden mewakili
109
komponen kepuasan penggunaan. Parameter waktu respon balik dan pihak pemberi respon yang telah disebutkan sebelumnya tidak digunakan dalam pemberian skor evaluasi usability dikarenakan hanya 5 – 6 situs web saja yang memberikan respon balik kepada responden, sehingga diduga skor yang dihasilkan tidak mencerminkan usability seluruh situs web yang dievaluasi.
Hasil Evaluasi Usability Situs-situs Web E-Government Provinsi di Indonesia Parameter Jumlah Waktu dan Jumlah Langkah
Parameter jumlah waktu diukur berdasarkan jumlah detik yang diperlukan oleh responden untuk melaksanakan tugas pada setiap skenario dimulai dari halaman mesin pencari untuk Skenario 1 dan halaman utama untuk Skenario 2 sampai 9. Untuk kecepatan waktu memuat informasi (loading time), telah dilakukan pemotongan loadingtime agar penghitungan waktu tidak menjadi bias. Oleh karena itu, jumlah waktu yang dihitung adalah waktu responden membuka halaman-halaman situs web, waktu responden membaca informasi dan waktu responden berpikir serta memutuskan apakah informasi yang dicari telah ditemukan atau tidak. Berikut ini adalah hasil perbandingan antara parameter jumlah waktu dan langkah untuk setiap skenario pada seluruh situs web provinsi. a. Skenario 1A (Sejarah Provinsi)
Pada skenario 1A, responden diminta untuk mencari informasi sejarah berdirinya provinsi, baik yang terletak pada submenu khusus atau tercantum dalam submenu lainnya. Informasi sejarah berdirinya provinsi pada situs web tidak selalu diberi judul Sejarah, namun ada yang diberi judul Tentang Provinsi, Sekilas Provinsi, Profil Provinsi, Gambaran Umum, bahkan diletakkan pada ucapan Selamat Datang seperti yang tercantum pada situs web Maluku Utara. b. Skenario 1B (Motto Provinsi)
Pada skenario 1B, responden diminta untuk mencari informasi motto, slogan atau semboyan provinsi. Informasi ini umumnya termasuk ke dalam bagian dari profil provinsi. Motto yang dicantumkan pada situs web dapat menggunakan Bahasa Indonesia, Bahasa Daerah, maupun Bahasa Inggris. Motto Provinsi sebagian besar terletak pada banner utama, sehingga tidak terlalu disadari oleh sebagian responden. Adapun letak motto pada provinsi yang lainnya dicantumkan
pada lambang daerah dan dibahas maknanya pada submenu lambang daerah dan artinya. Sedangkan ada pula provinsi yang secara khusus menampilkan motto yang diletakkan pada submenu lambang daerah dan artinya, submenu visi dan misi, serta submenu motto seperti yang dimiliki situs web Provinsi Jawa Timur. c. Skenario 1C (Visi dan Misi)
Informasi mengenai Visi dan Misi dimiliki oleh hampir seluruh situs web, dengan penempatan yang strategis seperti di menu Profil atau Tentang Provinsi dengan submenu tersendiri. Namun pada situs web Provinsi Jawa Timur, visi dan misi tidak memiliki submenu tersendiri melainkan berada pada submenu Rencana Pembangunan Jangka Panjang Daerah (RPJPD) Provinsi Jawa Timur, sehingga responden kesulitan untuk menemukan informasi tersebut.
d. Skenario 1D (Lambang Daerah dan Artinya)
Setiap provinsi memiliki lambang atau logo daerahnya masing-masing yang memuat ciri khas dari daerah tersebut. Pemilihan bentuk dasar, warna, tulisan, dan lain-lain memiliki filosofi tersendiri, sehingga perlu disebutkan arti lambang tersebut agar dapat mensosialisasikan ciri khas masing-masing provinsi. e. Skenario 1E (Peta Provinsi)
Peta provinsi dapat diletakan pada menu atau submenu tersendiri, diberikan tautan, atau dicantumkan pada menu atau submenu Letak/Kondisi Geografis, Wilayah, Letak Administratif, dan lain-lain. Peta provinsi yang ditemukan pada situs web bervariasi dari mulai Peta Kontur, Peta Administratif, Peta Pariwisata, Peta Potensi Daerah, dan lain-lain.
f. Skenario 2 (Struktur Organisasi Provinsi)
Tugas yang diberikan kepada responden pada Skenario 2 ialah mencari struktur organisasi pemerintah provinsi yang terdiri dari Gubernur beserta jajarannya. Struktur organisasi yang ideal adalah berbentuk gambar dengan struktur hirarki dan aliran tanggung jawab yang jelas. Namun, struktur organisasi provinsi yang diakui pada penelitian ini dapat berupa gambar hirarkis, tabel, atau berbentuk poin-poin dimulai dari tingkat tertinggi, yaitu Gubernur, hingga dinas, biro atau badan di bawahnya.
111
g. Skenario 3 (Informasi Demografi atau Kependudukan)
Informasi demografi merupakan salah satu bagian dari informasi geografi yang khusus membahas tentang kependudukan. Keberadaan informasi ini mencerminkan bahwa pemerintah provinsi memiliki kepedulian terhadap para penduduknya, di mana informasi tersebut dapat digunakan guna menanggulangi masalah seperti kemiskinan atau kurangnya pendidikan. Informasi demografi meliputi informasi keberagaman penduduk yang mendiami provinsi setempat, seperi data penduduk berdasarkan kategori jenis kelamin, usia, agama, pendidikan, pekerjaan, dan lain-lain. Pada penelitian ini, data minimal yang dapat disebut sebagai informasi demografi adalah jumlah penduduk dalam suatu waktu. h. Skenario 4 (Potensi Sumberdaya Alam)
Kekayaan alam di setiap daerah sangat beragam dan belum tentu diketahui oleh masyarakat domestik ataupun mancanegara. Salah satu cara untuk dapat menarik investor untuk mengelola kekayaan alam tersebut adalah dengan mempromosikannya di situs web provinsi dalam bentuk menu Potensi Sumberdaya Alam. Selain menu Potensi Sumberdaya Alam, menu lain yang juga digunakan adalah menu Investasi atau Perekonomian.
i. Skenario 5 (Peraturan Daerah)
Keberadaan peraturan daerah di situs web provinsi penting bagi masyarakat untuk mengetahui performa pemerintahnya dalam mengambil kebijakan. Peraturan daerah juga dapat menjadi sarana bagi pemerintah provinsi untuk mensosialisasikan proses-proses perizinan yang menjadi tanggung jawab pemerintah provinsi. Letak penempatan peraturan daerah, ada yang diserahkan kepada situs web biro atau badan hukum yang ada di bawah provinsi, bukan pada situs web provinsi. Sebagian besar peraturan daerah yang dicantumkan dapat diunduh dalam format PDF, Doc atau Winrar.
j. Skenario 6 (APBD)
Skenario ini berisi tugas responden untuk mencari informasi tentang Anggaran Pendapatan dan Belanja Daerah (APBD) yang terakhir dipublikasikan oleh pemerintah provinsi di dalam situs webnya. Melalui pengamatan ini
diperoleh informasi mengenai keaktifan dan transparansi provinsi dalam menginformasikan APBD kepada masyarakat.
Pencantuman APBD juga berfungsi sebagai indikator transparansi pemerintah provinsi dalam mempublikasikan performanya pada saat mengelola pendapatan dan belanja daerah yang sebagian juga bersumber dari pajak yang dibayarkan oleh masyarakat. APBD yang dicantumkan sebagian besar dapat diunduh dalam format PDF dan Doc, yakni dapat berupa peraturan daerah yang menetapkan mengenai APBD atau memang khusus file yang memuat APBD dalam bentuk Winrar.
k. Skenario 7 (Pengiriman pesan ke Alamat E-mail)
Alamat e-mail merupakan salah satu item minimal yang harus ada pada halaman utama (homepage) menurut Panduan Penyelenggaraan Situs Web Pemerintah Daerah yang diterbitkan oleh Kemkominfo (2003). Untuk kontak e-mail, hanya alamat e-mailyang mempunyai domain “.go.id” yang bisa digunakan sebagai alamat e-mail resmi. Pemakaian alamat generik (seperti ‘manajer situs’, ‘sekda’) lebih diutamakan daripada alamat atau nama pribadi, hal tersebut dikaitkan dengan kemungkinan terjadinya perubahan personil pada manajemen situs web pemerintah daerah. Penanggung jawab situs web harus memastikan bahwa semua e-mail ke alamat-alamat yang dituju dijawab dengan segera, seperti halnya komunikasi fisik atau komunikasi elektronik lainnya dengan instansi Pemerintah Daerah setempat (Kemkominfo 2003).
l. Skenario 8 (Pengiriman pesan ke Buku Tamu)
Skenario ini memuat tugas responden untuk mencari fasilitas Buku Tamu atau fasilitas sejenis seperti Kontak, Hubungi Kami, Pesan Anda, Suara Masyarakat dan lain-lain, dan mengirimkan pesan berupa pertanyaan yang disediakan peneliti. Buku tamu yang dimaksud dalam penelitian ini adalah berupa form yang dapat diisikan oleh responden tanpa melalui proses mendaftar, login atau sign up untuk dapat mengirimkan pesan kepada pemerintah provinsi. Isi pesan tersebut dapat ditampilkan pada situs web dan diharapkan dapat memperoleh tanggapan berupa jawaban terhadap pertanyaan yang sekaligus ditampilkan pada situs web atau jawaban tersebut dikirimkan ke alamat e-mail
113
pengirim dikarenakan setiap mengirimkan pesan ke buku tamu, pengirim harus mengisi kolom alamat e-mail yang dimiliki.
m. Skenario 9 (Berita atau artikel yang terakhir dipublikasikan)
Berita seputar provinsi yang pada umumnya disajikan pada halaman utama merupakan salah satu indikator yang menyatakan bahwa situs web yang bersangkutan tergolong uptodate atau tidak. Penyajian berita terkini pada halaman utama, biasanya disajikan dengan dokumentasi gambar. Sebagian situs web mengkategorikan berita terkininya, sehingga menyulitkan responden untuk mengetahui letak berita yang paling uptodate.
Berdasarkan hasil analisis setiap situs web dengan menggunakan 9 skenario tugas yang dilaksanakan oleh responden, secara umum diperoleh hasil rata-rata jumlah waktu dan jumlah langkah yang disajikan pada Tabel 16.
Tabel 16 Hasil rata-rata jumlah waktu dan jumlah langkah untuk seluruh skenario
No. Skenario/ Konten Rata-rata Jumlah Waktu (detik) Rata-rata Jumlah Langkah 1. Sejarah 58 5 2. Motto 61 6
3. Visi & Misi 40 4
4. Lambang Daerah & Artinya 32 4
5. Peta Provinsi 54 6 6. Struktur Organisasi 67 6 7. Demografi 50 6 8. Potensi SDA 60 6 9. Peraturan Daerah 90 9 10. APBD 74 8
11. Pesan ke alamat e-mail 157 11
12. Pesan ke Buku Tamu 116 9
13. Berita 29 2
Pada tabel di atas dapat dilihat bahwa rata-rata jumlah langkah dan waktu terbanyak dimiliki oleh skenario pengiriman pesan ke e-mail dikarenakan terdapat cukup banyak langkah yang perlu dilakukan untuk dapat mengirimkan pesan menggunakan akun e-mail pribadi. Rata-rata jumlah langkah dan waktu terendah dimiliki oleh skenario pencarian berita karena konten berita selalu diletakkan pada halaman muka situs web provinsi.
Parameter Kesuksesan Tugas
Evaluasi usability pada penelitian ini menggunakan skenario dengan melibatkan 13 konten yang sebagian besar ditetapkan sebagai konten minimal oleh Kemkominfo (2003). Untuk mengetahui berapa jumlah konten yang dimiliki oleh setiap provinsi yang diteliti, telah dilakukan proses observasi dengan mencari setiap konten tersebut dalam situs web provinsi. Jumlah konten yang terdapat pada masing-masing situs web beragam dari yang memiliki ketiga belas konten seperti Provinsi Jawa Barat, hingga provinsi yang hanya memiliki enam konten seperti Provinsi Sumatera Selatan, Bengkulu, Nusa Tenggara Barat, dan Sulawesi Selatan.
Dalam melaksanakan tugas yang diberikan, tidak semua responden berhasil menemukan konten yang dimiliki oleh situs web. Pada setiap situs web provinsi yang dievaluasi, terdapat tiga, dua, atau satu rekaman responden yang sukses. Oleh karena itu, untuk menghitung skor parameter kesuksesan tugas, dilakukan perbandingan antara jumlah rekaman responden yang sukses melaksanakan skenario dengan jumlah rekaman responden yang tidak sukses kemudian dihasilkan persentase kesuksesan tugas. Provinsi-provinsi yang memiliki persentase kesuksesan tugas tertinggi, yaitu 100%, adalah Riau, Kepulauan Riau dan Sulawesi Tengah. Berdasarkan hasil analisis menggunakan 9 skenario tugas yang dilaksanakan oleh responden, diperoleh hasil berupa jumlah situs dan persentase kesuksesan tugas yang ditampilkan pada Tabel 17.
Tabel 17 Daftar jumlah situs dan kesuksesan tugas untuk seluruh skenario
No. Skenario/
Konten Jumlah Situs
Kesuksesan Tugas (%)
1. Sejarah 28 98
2. Motto 17 57
3. Visi & Misi 27 94
4. Lambang Daerah & Artinya 25 100
5. Peta Provinsi 22 95 6. Struktur Organisasi 17 92 7. Demografi 22 89 8. Potensi SDA 25 88 9. Peraturan Daerah 16 87 10. APBD 14 71
11. Pesan ke alamat e-mail 27 82
12. Pesan ke Buku Tamu 21 84
115
Pada tabel di atas dapat dilihat bahwa konten yang paling banyak dimiliki oleh situs-situs web provinsi di Indonesia adalah konten berita, yaitu sebanyak 31 atau seluruh situs web provinsi, sedangkan konten yang paling sedikit adalah informasi APBD. Persentase kesuksesan tugas tertinggi (100%) dimiliki oleh pencarian lambang daerah dan artinya serta berita, sedangkan yang terendah adalah pencarian motto. Parameter jumlah situs atau kelengkapan konten, kesuksesan tugas, jumlah langkah dan jumlah waktu, bersama dengan parameter kepuasan responden menghasilkan peringkat setiap situs web provinsi dalam hal usability, secara lengkap dapat dilihat pada Lampiran 24 yang diurutkan berdasarkan peringkat skor usability.
Parameter Waktu Respon
Pesan yang disampaikan kepada situs web provinsi merupakan pertanyaan-pertanyaan yang cukup beragam dari mulai kegiatan sehari-hari hingga tugas, pokok, dan fungsi (tupoksi) dari pemerintah provinsi. Apapun bentuk pertanyaan yang diajukan, diharapkan mendapat respon balik dari pemerintah provinsi karena setiap pertanyaan merupakan bentuk kepedulian masyarakat terhadap provinsi yang bersangkutan. Lamanya waktu respon mengindikasikan seberapa besar perhatian dan keaktifan pemerintah provinsi dalam melayani masyarakat yang memerlukan informasi.
Parameter ini diukur dalam satuan hari sebagai tindak lanjut dari pelaksanaan Skenario 7 dan 8 oleh responden. Hasil yang diperoleh adalah waktu pengiriman respon balik untuk skenario pengiriman pesan ke alamat e-mail berkisar antara kurang dari 1 (satu) hari hingga 19 hari, sedangkan untuk skenario pengiriman pesan ke buku tamu berkisar antara kurang dari 1 (satu) hari hingga 5 hari.
ParameterPihak Pemberi Respon
Pemberi respon balik pada suatu situs web bertugas untuk menjawab pertanyaan yang ditujukan kepada pemerintah provinsi, baik pertanyaan yang dapat dijawab secara langsung sesaat setelah pertanyaan tersebut diterima, ataupun pertanyaan yang perlu dikonsultasikan ke bagian lain sehingga membutuhkan sedikit waktu untuk menjawabnya. Pengelola situs web provinsi
dapat terdiri dari bagian Humas, Komunikasi, dan lain sebagainya. Selain pejabat, pertanyaan yang diajukan dapat dijawab oleh administrator situs web, web master, atau sistem penjawab otomatis (autoresponder). Adapun administrator situs web dapat berasal dari staf dinas/biro pemerintah provinsi bidang Humas atau Komunikasi.
Sistem penjawab otomatis atau autoresponder adalah suatu program komputer yang dapat merekam nama dan alamat e-mail yang berada pada situs web yang dipasangi dengan autoresponder. Autoresponder tersebut selanjutnya dapat digunakan untuk melakukan kontak dengan pengunjung menggunakan pesan e-mail balasan yang biasanya berupa ucapan terima kasih karena telah mengirimkan e-mail kepada provinsi setempat.
Analisis Kepuasan Responden
Questionnaire for User Interface Satisfaction (QUIS) digunakan untuk mengukur tingkat kepuasan responden pada penelitian ini. QUIS diterbitkan oleh University of Maryland pada tahun 1988 untuk mengukur kepuasan pengguna terhadap suatu sistem atau situs web. Kuesioner ini berisi 27 pertanyaan, namun yang digunakan pada penelitian ini hanya sebanyak 16 pertanyaan yang dianggap relevan dan dirasa tidak membingungkan bagi responden. Pertanyaan-pertanyaan tersebut terbagi ke dalam beberapa bagian, yaitu pertanyaan mengenai reaksi keseluruhan terhadap situs web, halaman web, istilah dan informasi dalam situs web, serta kemampuan situs web.
Pembagian kelompok situs web provinsi menjadi lima level berdasarkan Nielsen (1993), yaitu Tidak Memiliki Masalah Usability sama sekali (Level 0), Hanya Masalah Penampilan Luar (Level 1), Masalah Usability Minor (Level 2), Masalah Usability Mayor (Level 3), dan Bencana Usability (Level 4) berdasarkan penilaian responden menggunakan kuesioner. Kelima level tersebut disesuaikan untuk mempermudah pemahaman responden dengan penyesuaian sebagai berikut: 1. Level 1: Tidak memiliki masalah usability sama sekali.
2. Level 2: Masalah usability Ringan atau hanya masalah penampilan luar, sehingga masalah dapat diperbaiki hanya jika pengembang situs web memiliki waktu luang.
117
3. Level 3: Masalah usability Sedang/Minor/Kurang Penting, sehingga perbaikan masalah hanya memerlukan prioritas yang rendah saja.
4. Level 4: Masalah usability Berat/Mayor/Penting, sehingga penting untuk diperbaiki, sehingga memerlukan prioritas tinggi.
5. Level 5: Masalah usability Sangat Berat, sehingga penting untuk diperbaiki sebelum situs web diluncurkan.
Metode Think Out Loud
Metode Think Out Loud atau juga ada yang menyebutnya sebagai metode Think Aloud merupakan metode yang didasarkan pada sikap tubuh dan ucapan yang ditunjukkan oleh seorang responden pada saat melaksanakan evaluasi usability. Sebelum melaksanakan evaluasi, responden diberi pengarahan untuk mengemukakan apa yang ada dalam pikirannya pada saat mengevaluasi situs web dalam bentuk ucapan. Ucapan responden tersebut direkam menggunakan mikrofon pada headset yang digunakan, sedangkan perilaku atau ekspresi tubuh yang ditunjukkan oleh responden direkam menggunakan web camera yang ada pada komputer jinjing. Seluruhnya tersimpan dan terintegrasi dalam Camtasia versi 7.1 sebagai screen capture software, sehingga menghasilkan video yang berisi gambar, suara dan aktivitas responden pada layar monitor.
Video rekaman setiap responden selanjutnya diobservasi untuk membagi ucapan dan perilakunya menjadi ucapan atau ekspresi positif dan ucapan atau ekspresi negatif. Kata atau frase yang berada di luar kurung merupakan perkataan atau ucapan responden, sedangkan kata atau frase yang berada dalam tanda kurung merupakan ekspresi atau sikap tubuh responden.
Pengembangan Framework untuk Evaluasi Accessibility
Framework yang diterapkan pada evaluasi accessibility situs web provinsi lebih ditekankan terhadap analisis laporan hasil evaluasi menggunakan alat pengukur accessibility berdasarkan standar internasional. Sasaran dari peningkatan kinerja accessibility situs web adalah masyarakat dengan keterbatasan fisik atau different abilities (diffable). Namun, penelitian ini mengambil objek situs web pemerintah provinsi yang setelah dilakukan proses
observasi sejak bulan Agustus 2011 hingga Februari 2012 belum seluruhnya memiliki fasilitas untuk masyarakat dengan keterbatasan fisik.
Alat pengukur accessibility lebih dipilih daripada mengobservasi para pengguna dengan keterbatasan fisik (misalkan tuna netra, mata rabun, orang lanjut usia, dan lain-lain) dikarenakan standar internasional yang digunakan, yaitu WCAG 2.0, memiliki banyak kriteria kesuksesan yang perlu diujikan. Dikarenakan standar yang digunakan adalah standar internasional, maka diprediksi terdapat beberapa kriteria penilaian yang tidak diaplikasikan oleh situs web provinsi. Oleh karena itu, perlu ditampilkan kriteria mana yang diaplikasikan pada sebagian besar situs web, baik secara sukses ataupun tidak. Kriteria yang sukses diberi skor 0 sedangkan yang tidak sukses diberikan skor angka. Hal ini dikarenakan standar WCAG 2.0 memiliki tingkat permasalahan yang berbeda-beda, sehingga pemberian skor angka dimaksudkan untuk membedakan tingkatan tersebut. Selain menampilkan kriteria penilaian accessibility, pada penelitian ini juga ditampilkan jumlah permasalahan yang dialami oleh setiap situs web provinsi untuk kemudian dibandingkan.
Hasil Evaluasi Accessibility Situs-situs Web E-Government Provinsi di Indonesia
Salah satu tool yang digunakan pada penelitian ini adalah AChecker yang dapat diakses secara online dan open source, serta menghasilkan laporan dalam bentuk PDF. Laporan tersebut berisi baris dan kolom source code situs web yang memiliki masalah pada kriteria kesuksesan (success criteria) Level A, AA dan AAA pada Web Content Accessibility Guideline (WCAG) 2.0. Laporan tersebut selanjutnya dianalisis untuk memperoleh skor yang dapat dijadikan sebagai pembanding dalam melakukan pengelompokan situs web provinsi.
Pemberian skor untuk masing-masing provinsi didasarkan pada level success criteria yang dipenuhi oleh situs web. Situs web yang memenuhi success criteria level A diberi skor 1, level AA diberi skor 3, level AAA diberi skor 5. Skor yang diperoleh dari penjumlahan skor level A – AAA, kemudian diurutkan dengan skor terkecil berada di peringkat teratas dan skor terbesar berada di peringkat terbawah.
119
Uji Korelasi Hasil Evaluasi Usability dan Evaluasi Accessibility
Pada penelitian evaluasi usability terdapat beberapa jenis skor yang