PENGEMBANGAN FRAMEWORK DAN EVALUASI USABILITY PADA SITUS-SITUS WEB E-GOVERNMENT PROVINSI DI INDONESIA

PENGEMBANGAN FRAMEWORK DAN EVALUASI

USABILITY PADA SITUS-SITUS WEB E-GOVERNMENT

PROVINSI DI INDONESIA

Abstract

Every website includes government websites (province, city/county) should be user friendly or easy to use by their users. Therefore, ease of use factor on website for common user (known as usability) is important related to the purpose of government websites development, which is to improve public services quality effectively and efficiently. This paper conducted usability evaluation to 31 Indonesian provinces active websites. The usability evaluation method of provinces websites is direct user observation method with 31 respondents and uses several parameters such as total time in seconds, total steps, success level, respond time, and type of responder. The final score is obtained from the processing of score from five parameters, including total time in seconds, total steps, task success, completeness of content, and respondent’s satisfaction. The result showed that in term of usability, Jambi Province has the highest rank and Nusa Tenggara Barat Province has the lowest rank. In term of think out loud result, all provinces websites have negative respond dominantly.

Key Words: usability, usability severity level, respondent, video, think out loud

Pendahuluan

Definisi usability menurut Tullis dan Albert (2008) adalah kemampuan pengguna untuk menggunakan sesuatu agar melaksanakan tugas dengan sukses. Suatu sistem atau situs web memerlukan proses pengujian usability karena terdapat penelitian yang melaporkan bahwa suatu sistem yang dirancang dengan mengikutsertakan pengujian usability, dapat mengurangi waktu yang dibutuhkan pengguna untuk melakukan pembelajaran menjadi sekitar 25% (Landauer 1995).

Dari beberapa metode pengujian atau evaluasi usability, menurut Mayhew (1999), metode observasi langsung terhadap beberapa orang responden dianggap lebih objektif dan efektif daripada hanya melakukan suatu demonstrasi situs web atau sistem dan meminta umpan balik dari pengguna secara subjektif. Tujuan

diadakannya penelitian ini ialah untuk melakukan analisis hasil evaluasi usability dengan metode observasi terhadap responden secara langsung pada situs web pemerintah provinsi di Indonesia.

Metode Penelitian

Pengembangan Framework Evaluasi Usability

Pada tahap ini, dilakukan pengembangan framework evaluasi usability yang digunakan pada penelitian selanjutnya, yaitu evaluasi usability situs web e-Government provinsi di Indonesia menggunakan metode observasi responden secara langsung. Pelaksanaan evaluasi usability terhadap situs web belum memiliki kerangka kerja (framework) yang baku terlebih lagi apabila menggunakan metode observasi responden secara langsung. Hal tersebut dikarenakan penggunaan perangkat perekam seperti video dan audio. Kerangka kerja usability yang telah dikembangkan ialah yang dikemukakan oleh ISO 9241 -11 mengenai panduan usability, dimana terdapat dua kerangka utama yang memiliki beberapa faktor penyusun, yaitu pengukuran usability (usability measure) dan konteks penggunaan (context of use) (Gambar 4).

Beberapa faktor yang mempengaruhi pengukuran usability, yaitu efektifitas, efisiensi, dan kepuasan pengguna. Ketiga faktor tersebut dijadikan acuan pada pengembangan framework pada paper ini. Adapun faktor-faktor yang mempengaruhi konteks penggunaan adalah pengguna, tugas, perlengkapan dan lingkungan.

Terdapat tiga cara potensial untuk mengukur usability suatu produk, antara lain (Bevan 1998):

1. Dengan menganalisis produk dalam konteks penggunaan: Usability dapat diukur dengan menilai fitur-fitur produk yang dibutuhkan untuk usability dalam konteks tertentu.

2. Dengan menganalisis proses interaksi: Usability dapat diukur dengan memodelkan interaksi antara seorang pengguna yang melaksanakan tugas dengan suatu produk.

3. Dengan menganalisis efektivitas dan efisiensi yang dihasilkan dari penggunaan produk dalam konteks tertentu dan mengukur kepuasan pengguna produk. Dikarenakan ini adalah pengukuran langsung terhadap usability, hal tersebut merupakan ujian akhir dari usability. Jika suatu produk lebih usable dalam suatu konteks tertentu, maka pengukuran usability akan lebih baik.

Diagram alir yang memaparkan proses pengembangan framework untuk evaluasi usability situs web provinsi secara umum disajikan pada Gambar 5.

Mulai

Perancangan skenario penyelesaian tugas

Perancangan instrumen evaluasi

Pelaksanaan Pilot Test

Selesai TIDAK

Instrumen Sesuai Harapan?

YA

Tahapan awal pelaksanaan evaluasi usability dijelaskan di bawah ini: 1. Penentuan jenis dan jumlah pengguna yang bertindak sebagai responden

evaluasi usability.

Responden yang diobservasi pada penelitian ini terdiri atas para mahasiswa yang tergolong mahir dalam mengoperasikan Internet dan mencari informasi dalam situs web, serta memiliki alamat e-mail dan menggunakan e-mail sebagai alat komunikasi di dunia maya. Responden yang diobservasi 31 orang, dimana seorang responden diminta mengevaluasi 2 (dua) dari 31 situs web pemerintah provinsi yang berstatus aktif dan situs-situs web tersebut selanjutnya juga dievaluasi oleh peneliti, sehingga masing-masing situs web memiliki 3 (tiga) data hasil evaluasi atau rekaman responden.

2. Perancangan skenario penyelesaian tugas.

Skenario yang digunakan pada evaluasi usability berjumlah 9 (sembilan) skenario, dimana enam di antaranya didasarkan atas konten minimal yang harus ada pada setiap situs web pemerintah daerah, yang diterbitkan oleh Kementerian Komunikasi dan Informatika (2003) dalam Panduan Penyelenggaraan Situs Web Pemerintah Daerah, yaitu Selayang Pandang, Pemerintahan Daerah, Geografi, Peta Wilayah dan Sumberdaya, Peraturan/Kebijakan Daerah, dan Buku Tamu. Keenam konten tersebut digunakan dalam perancangan skenario pada penelitian ini agar mempermudah pelaksanaan evaluasi usability bersama dengan tiga konten lainnya yaitu APBD, alamat e-mail dan berita atau artikel. Tugas dikatakan sukses jika seluruh informasi tersebut telah berhasil ditampilkan di layar atau responden memberikan tanda cek pada kuesioner.

a. Skenario 1: Responden diminta untuk mencari informasi sejarah provinsi (Skenario 1A), motto provinsi (Skenario 1B), visi dan misi (Skenario 1C), lambang daerah dan artinya (Skenario 1D), serta peta provinsi (Skenario 1E) yang seluruhnya termasuk ke dalam informasi selayang pandang atau profil provinsi. Skenario 1A dimulai dari halaman mesin pencari (Google) untuk menemukan situs web resmi provinsi, kemudian mulai untuk mencari informasi sejarah provinsi.

Informasi Sejarah provinsi merupakan informasi mengenai latar belakang berdirinya suatu provinsi. Motto provinsi atau yang biasa disebut slogan atau semboyan daerah merupakan frase atau kalimat dalam bahasa Indonesia, bahasa daerah ataupun bahasa Inggris, yang mencerminkan motivasi dan semangat provinsi dalam bentuk singkat. Visi merupakan pandangan ke depan yang akan diwujudkan oleh setiap provinsi, sedangkan misi adalah langkah dan upaya untuk mewujudkan visi provinsi. Lambang daerah dan artinya merupakan logo khas dari setiap provinsi yang disertai dengan penjelasan mengenai logo tersebut. Peta provinsi merupakan gambar wilayah provinsi, baik berupa peta administratif, peta potensi, atau peta wisata. b. Skenario 2: Responden diminta untuk mencari struktur organisasi

pemerintah provinsi yang mewakili informasi pemerintahan daerah, dimulai dari halaman utama situs web. Struktur organisasi yang dicari oleh responden dapat berupa gambar, tabel atau tulisan yang memuat susunan pengelola pemerintahan provinsi.

c. Skenario 3: Responden diminta untuk mencari informasi demografi atau kependudukan yang mewakili konten geografi, dimulai dari halaman utama situs web. Informasi demografi yang dicari dapat berupa statistik jumlah penduduk atau keadaan penduduk (jenis kelamin, pekerjaan, dan lain-lain) di suatu provinsi pada tahun tertentu. d. Skenario 4: Responden diminta untuk mencari informasi potensi

sumberdaya alam provinsi yang mewakili konten peta wilayah dan sumberdaya, dimulai dari halaman utama situs web.

e. Skenario 5: Menurut Dephumham dan UNDP (2008), Perda mempunyai fungsi yang salah satunya adalah sebagai penampung kekhususan dan keragaman daerah serta penyalur aspirasi masyarakat di daerah. Oleh karena itu, keberadaan Perda pada situs web provinsi adalah penting karena dapat digunakan sebagai acuan bagi masyarakat untuk mengetahui apakah aspirasi mereka telah disalurkan melalui keberadaan Perda yang seyogyanya diperbarui secara konsisten pada situs web provinsi. Responden melaksanakan skenario yang diberikan

dimulai dari halaman utama untuk mengakses Peraturan Daerah (Perda) Provinsi yang terakhir dipublikasikan oleh pemerintah provinsi di situs webnya. Tugas dikatakan sukses jika Perda terbaru tersebut berhasil ditampilkan di layar baik dalam bentuk tulisan ataupun tautan untuk mengunduh file berbentuk PDF.

f. Skenario 6: Responden diminta untuk mencari informasi mengenai Anggaran Pendapatan dan Belanja Daerah (APBD). Tugas dikatakan selesai jika APBD provinsi berhasil ditampilkan di layar monitor, baik dalam bentuk tabel langsung ataupun dalam bentuk tautan yang dapat diunduh dan disimpan. Penyusunan arah dan kebijakan umum APBD bersumber dari Rencana dan Strategi Daerah (Renstrada), laporan performa historis, pokok-pokok pikiran DPRD, kebijakan keuangan pemerintah, dan yang tidak kalah pentingnya adalah hasil penjaringan aspirasi masyarakat. Arah dan kebijakan umum tersebut selanjutnya dapat menjadi dasar untuk penilaian performa keuangan daerah selama satu tahun anggaran (Kartiwa 2004). Konten APBD tergolong penting karena salah satu komponen penyusunannya adalah hasil dari penjaringan aspirasi masyarakat, sehingga masyarakat juga memiliki kepentingan untuk mengkonfirmasi aspirasi yang telah disalurkannya. g. Skenario 7: Responden diminta untuk mencari alamat e-mail

pemerintah provinsi, selanjutnya responden diminta untuk mengirimkan pesan berupa pertanyaan ke alamat e-mail tersebut dengan cara mengirimkan pesan lewat akun e-mail pribadi responden atau mengakses tautan Microsoft Outlook yang telah disediakan oleh situs web pemerintah provinsi. Adapun pertanyaan yang dikirimkan telah disediakan oleh peneliti sebagai contoh: Selamat Pagi/Siang/Sore. Saya mau bertanya siapa yang bisa dihubungi untuk meminta izin melaksanakan penelitian di kantor pemprov? Terima kasih (secara lengkap ditampilkan pada Lampiran 2). Setelah itu respon balik yang diberikan oleh pemerintah provinsi dievaluasi, apakah maksimal dalam jangka waktu 14 hari terdapat balasan e-mail berupa jawaban dari pemerintah provinsi atau tidak ada balasan sama

sekali. Respon balik tersebut dianalisa dalam hal lamanya pengiriman tanggapan segera setelah pesan terkirim (responden dihubungi pada dalam jangka waktu beberapa hari setelah kegiatan evaluasi oleh peneliti untuk mengetahui apakah pemerintah provinsi telah mengirimkan respon ke alamat e-mail pribadi responden), siapa pihak yang mengirimkan tanggapan (sistem otomatis, web master, administrator web atau kepala seksi bidang komunikasi dan informasi). Skenario tersebut dirancang dengan tujuan untuk mengevaluasi media komunikasi pemerintah dan warga negaranya menggunakan pesan tertutup melalui e-mail. Keberadaan e-mail dinilai cukup penting karena selain dapat menyampaikan aspirasi warga negara yang bersifat umum ataupun rahasia, e-mail juga dapat digunakan untuk melakukan pertukaran dokumen seperti formulir pendaftaran kepada pemerintah provinsi.

h. Skenario 8: Responden diminta untuk menuliskan pertanyaan yang disediakan oleh peneliti pada Buku Tamu situs web provinsi yang dimulai dari halaman utama situs web. Adapun pertanyaan yang dikirimkan telah disediakan oleh peneliti seperti pada Skenario 7. Buku Tamu yang dimiliki oleh situs web pemerintah daerah biasanya memiliki beberapa nama lain yang berfungsi serupa, yaitu mengirimkan pesan kepada pemerintah daerah tanpa melalui akun e-mail pengunjung, seperti Hubungi Kami, Kontak, Suara Masyarakat, Pesan Anda, Kritik dan Saran, dan lain-lain.

Respon balik yang diberikan oleh pemerintah provinsi dievaluasi, yakni apakah dalam jangka waktu 14 hari pesan tersebut ditampilkan dalam situs web provinsi dan terdapat tanggapan dari pemerintah provinsi atau tidak ditampilkan pada situs web provinsi dan tidak ada tanggapan sama sekali. Skenario ini dirancang dengan tujuan untuk mengevaluasi media komunikasi pemerintah dan warga negaranya, baik dengan menggunakan pesan terbuka melalui Buku Tamu. Keberadaan Buku Tamu tergolong penting karena dapat menjadi media penyaluran aspirasi singkat dari warga negara kepada

pemerintah yang isinya dapat dipantau dan ditanggapi oleh pengunjung lain atau pemerintah provinsi yang bersangkutan.

i. Skenario 9: Pada skenario ini responden diminta untuk mencari berita atau artikel terakhir yang dipulikasikan pada situs web. Responden juga diminta untuk menuliskan tanggal berita atau artikel tersebut guna dianalisis tingkat ke-uptodate-an beritanya.

3. Perancangan kuesioner evaluasi

Kuesioner evaluasi usability yang dikembangkan adalah seperangkat kuesioner yang terdiri dari kata pengantar (prakata), formulir kesediaan responden untuk direkam pada saat evaluasi berlangsung, formulir data diri responden, skenario dan kuesioner evaluasi usability, serta formulir pendapat responden mengenai situs web yang dievaluasi yang didasarkan pada penilaian Questionnaire for User Interface Satisfaction (QUIS) yang diterbitkan oleh University of Maryland dan berisi 30 pertanyaan, namun pada penelitian ini digunakan hanya sebanyak 16 pertanyaan yang dianggap relevan dan tidak membingungkan bagi responden.

4. Pelaksanaan pilot test

Pilot test merupakan evaluasi permulaan yang menguji apakah skenario, kuesioner, dan peralatan pendukung berjalan dengan baik dan menghasilkan data yang diharapkan. Responden yang diminta untuk melaksanakan pilot test berjumlah 5 (lima) orang dengan karakteristik sesuai dengan responden evaluasi utama. Hasil pengujian pada pilot test berguna untuk meminimalisir kesalahan pada saat evaluasi utama dilaksanakan.

5. Revisi prosedur dan materi evaluasi

Tahap ini dilaksanakan jika terdapat prosedur atau materi evaluasi yang perlu diperbaiki berdasarkan hasil yang diperoleh dari pilot test. Apabila telah dihasilkan perbaikan dari pilot test pertama, maka dilakukan pilot test berikutnya untuk memperoleh hasil perbaikan yang optimal. Seperangkat kuesioner final yang digunakan pada penelitian ini ditampilkan pada Lampiran 3 sampai 7.

6. Persiapan ruangan dan peralatan observasi

Penelitian ini mengambil lokasi di ruang laboratorium SEIns dan perpustakaan Departemen Ilmu Komputer, Institut Pertanian Bogor dengan menggunakan seperangkat komputer jinjing yang terhubung pada modem Internet dengan kecepatan download hingga 512 kbps. Proses observasi terhadap responden direkam web camera dan mikrofon pada headset dengan sepengetahuan responden dan dibantu oleh screen capture software (Camtasia versi 7.1 for Windows) yang menghasilkan video pergerakan pointer dan kegiatan yang dilakukan oleh responden pada saat menjalankan evaluasi usability.

7. Perekrutan responden dan penjadwalan evaluasi usability utama.

Responden yang diperlukan untuk mengevaluasi situs web provinsi adalah sebanyak 31 orang responden yang direkrut secara bertahap. Selanjutnya disusun jadwal evaluasi usability utama untuk pengambilan data 31 situs web provinsi yang berstatus aktif.

Pelaksanaan Evaluasi Usability

Proses evaluasi usability yang dilaksanakan didasarkan pada metode yang dikemukakan oleh Mayhew (1999), yaitu observasi responden. Observasi yang dilakukan mencakup tiga hal, yaitu menghitung jumlah langkah yang diperlukan untuk menyelesaikan tugas, menghitung jumlah waktu yang dibutuhkan untuk menyelesaikan tugas, dan mengukur sukses atau tidaknya tugas dilaksanakan.

Tahapan pelaksanaan evaluasi usability terhadap situs web provinsi di Indonesia antara lain:

a. Pengujian usability situs web provinsi dan pengambilan data.

a) Responden ditempatkan pada suatu tempat observasi yang dilengkapi dengan komputer jinjing yang tersambung dengan jaringan Internet menggunakan modem dengan kapasitas download maksimal 512 KB dan telah diinstal perangkat lunak screen capture, disertai dengan web camera, headset dan seperangkat kuesioner. Web camera yang terpasang pada komputer jinjing digunakan untuk menangkap reaksi wajah dan kegiatan yang dilakukan responden. Responden diminta untuk menggunakan

headset dan diminta mengucapkan tindakan yang sedang dikerjakan, pikiran yang terlintas, perasaan yang dialami pada saat evaluasi secara terus menerus agar dapat direkam oleh mikrofon pada headset, kemudian transkrip pembicaraan yang dihasilkan dianalisis apakah dominan reaksi positif atau reaksi negatif. Metode ini disebut sebagai Think Out Loud (Mayhew 1999). Adapun lingkungan pelaksanaan evaluasi usability ditampilkan pada Gambar 6 di bawah ini.

Gambar 6 Lingkungan pelaksanaan evaluasi usability.

b) Responden diminta untuk menandatangani formulir kesediaan direkam selama observasi berlangsung dan mengisi formulir data diri yang tertera pada Lampiran 4 dan 5. Hal ini diperlukan responden merasa yakin bahwa hasil rekaman tersebut hanya digunakan untuk kepentingan penelitian. c) Skenario dan prosedur penilaian evaluasi usability yang disajikan pada

Lampiran 6 dibaca oleh responden dengan disertai penjelasan singkat dari peneliti, dan dipersilahkan untuk mengajukan pertanyaan jika diperlukan. d) Pelaksanaan Skenario 1 - 9. Pada Skenario 1A, yaitu pencarian informasi

Sejarah Provinsi dilaksanakan oleh responden dimulai dari halaman Mesin Pencari (Search Engine) Google sampai responden menemukan informasi Sejarah Provinsi. Untuk Skenario 2 - 9 dimulai dari halaman utama situs web sampai tugas-tugas yang diberikan selesai dilaksanakan.

Kegiatan evaluasi diobservasi oleh peneliti yang berada di luar area penglihatan responden, tanpa banyak berinteraksi dengan responden. Dengan demikian, responden tidak terlalu merasa terbebani atau terganggu dengan kehadiran peneliti di sekelilingnya agar dapat menjalankan skenario sesuai dengan kondisi sebenarnya, yaitu pada saat mencari informasi di luar kegiatan evaluasi.

e) Responden mengisi formulir data diri dan pendapat subjektif mereka mengenai evaluasi yang telah dijalankan terhadap situs web pemerintah provinsi menggunakan formulir QUIS atau Questionnaire for User Interface Satisfaction (Lampiran 7).

2. Perangkuman data hasil evaluasi berdasarkan beberapa parameter penilaian. Seluruh situs web provinsi yang berjumlah 31, dievaluasi oleh tiga orang sehingga menghasilkan 93 rekaman responden. Seluruh rekaman responden dianalisis menggunakan beberapa parameter, yaitu jumlah langkah, jumlah waktu, kesuksesan tugas, waktu respon, pihak pemberi respon balik dan kepuasan responden. Adapun penjelasannya adalah sebagai berikut:

a. Parameter 1: Jumlah langkah yang diperlukan untuk menyelesaikan tugas. Parameter ini diukur dalam satuan langkah yang dianalisis dari video rekaman hasil screen capture menggunakan perangkat lunak Camtasia versi 7.1. Adapun kategori langkah yang digunakan dalam penelitian ini antara lain:

a) Menyorot menu atau submenu untuk mencari informasi b) Mengklik menu atau submenu untuk membuka halaman baru

c) Menggulung (scroll) layar monitor ke atas atau ke bawah untuk mencari informasi

d) Melakukan klik kanan untuk menyalin (copy) informasi atau melekatkan informasi (paste)

e) Mengetik karakter, kata atau kalimat dalam satu formulir pengisian f) Membuka dan menutup tab atau window baru

g) Menekan tombol Enter h) Klik tombol kembali (back) i) Melakukan reload halaman web

Tahapan-tahapan yang dilaksanakan dalam menghitung parameter jumlah langkah, antara lain:

a) Video rekaman dijalankan pada perangkat lunak Camtasia versi 7.1. b) Dilakukan pemeriksaan apakah terdapat waktu loading dalam

rekaman tersebut. Jika ada, maka dilakukan pemotongan waktu loading dengan cara menggeser tab yang ada pada bagian bawah tampilan perangkat lunak untuk menentukan durasi video yang akan dipotong. Selanjutnya ditekan tombol cut sampai durasi waktu tersebut terpotong.

c) Dilakukan penghitungan langkah responden dalam mengakses situs web dimulai dari responden menatap halaman utama untuk pertama kali dan mencari informasi pada masing-masing skenario.

d) Hasil penghitungan langkah dimasukkan ke dalam Microsoft Excel. e) Dilakukan rekapitulasi dan pengambilan rata-rata jumlah langkah

untuk setiap situs web provinsi.

b. Parameter 2: Jumlah waktu yang dibutuhkan untuk menyelesaikan tugas. Parameter ini diukur dalam satuan detik. Video dan hasil rekaman screen capture dianalisis mengenai jumlah detik yang dibutuhkan responden dalam menyelesaikan tugas, dimulai dari responden menatap layar monitor dan atau menggerakkan mouse untuk mencari informasi, sampai responden tidak menatap layar dan atau mouse tidak bergerak untuk mencari informasi. Tahapan-tahapan yang dilaksanakan dalam menghitung parameter jumlah waktu, antara lain:

a) Video rekaman dijalankan pada perangkat lunak Camtasia versi 7.1. b) Dilakukan pemeriksaan apakah terdapat waktu loading dalam

rekaman tersebut. Jika ada, maka dilakukan pemotongan waktu loading dengan cara menggeser tab yang ada pada bagian bawah tampilan perangkat lunak untuk menentukan durasi video yang akan dipotong. Selanjutnya ditekan tombol cut sampai durasi waktu tersebut terpotong.

c) Dilakukan penghitungan waktu responden dalam mengakses situs web dimulai dari responden menatap layar monitor dan pointer pada

mouse bergerak mencari informasi pada masing-masing skenario. Waktu yang dihitung adalah waktu yang tertera pada perangkat lunak Camtasia versi 7.1.

d) Penghitungan waktu responden dihentikan pada saat responden tidak menatap ke arah layar monitor dan mouse berhenti mencari informasi. e) Hasil penghitungan waktu dimasukkan ke dalam Microsoft Excel. f) Dilakukan rekapitulasi dan pengambilan rata-rata jumlah waktu untuk

setiap situs web provinsi.

c. Parameter 3: Kesuksesan penyelesaian tugas yang diberikan.

Sebuah tugas dikatakan sukses apabila informasi yang dicari telah berhasil ditampilkan di layar atau responden memberikan tanda cek pada kuesioner. Peneliti kemudian memeriksa video rekaman untuk memastikan bahwa responden yang memberikan tanda cek benar-benar menyelesaikan tugas yang diberikan. Dari setiap skenario yang dilaksanakan, terdapat tiga rekaman responden, sehingga persentase kesuksesan tugas ditentukan oleh perbandingan kesuksesan penemuan konten dengan ketidaksuksesan penemuan konten.

d. Parameter 4: Waktu respon balik oleh pihak pemerintah daerah provinsi. Parameter waktu respon balik diukur dalam satuan hari. Parameter ini hanya diberlakukan pada Skenario 7 dan 8. Pada Skenario 7, respon balik dikirimkan dalam bentuk e-mail balasan ke alamat e-mail pengirim, sedangkan pada Skenario 8 respon balik ditunjukkan dalam bentuk jawaban yang ditampilkan dalam Buku Tamu ataupun pesan ke alamat e-mail responden.

e. Parameter 5: Pihak yang mengirim respon balik.

Seperti pada parameter waktu respon balik, parameter ini juga hanya diberlakukan pada Skenario 7 dan 8. Pihak yang mengirimkan respon dianalisis apakah berasal dari kepala seksi bidang komunikasi dan informasi, administrator situs web (staf dinas komunikasi dan informasi), web master, atau sistem penjawab otomatis (autoresponder).

f. Parameter 6: Kepuasan Responden

Parameter ini dirangkum dan diinterpretasikan pendapat responden mengenai situs web provinsi yang dievaluasi menggunakan kuesioner yang didasarkan

pada Questionnaire for User Interface Satisfaction (QUIS) versi 5.0 yang pertama kali dikembangkan oleh University of Maryland pada tahun 1988. 3. Menetapkan skor evaluasi usability untuk setiap situs web provinsi berdasarkan

akumulasi dari parameter jumlah langkah, jumlah waktu, kesuksesan tugas, kelengkapan tugas, dan kepuasan responden. Setiap parameter dihitung skor normalisasinya dengan rumus berikut (Al Shahabi, Shaaban & Kasasbeh 2006):

v’= (v – mina) * (new_maxa – new_mina) + new_mina (maxa – mina)

Dimana:

v’ = Data hasil normalisasi

v = Data sebelum dinormalisasi

maxa = Nilai maksimum

mina = Nilai minimum

new_maxa = Nilai batas atas yang baru, dalam penelitian ini batas atasnya adalah 10

new_mina = Nilai batas bawah yang baru, dalam penelitian ini batas

bawahnya adalah 1

Batas bawah baru bernilai 1 dan batas atas baru bernilai 10 ditetapkan berdasarkan perbandingan yang telah dilaksanakan sebelumnya menggunakan batas bawah 0 dan batas atas 1 seperti yang telah diterapkan pada penghitungan normalisasi data pada umumnya. Penggunaan batas bawah 0 dan batas atas 1 dengan menggunakan rumus di atas menghasilkan angka bernilai negatif, dimana hal tersebut tidak sesuai dengan penetapan batas bawah bernilai 0 dan batas atas bernilai 1.

4. Perangkuman data hasil evaluasi menggunakan metode Think Out Loud. Data yang diperoleh melalui metode Think Out Loud ialah berupa komentar dan perilaku responden yang dapat dievaluasi dari rekaman audio dan video mengenai hal-hal yang mereka rasakan dan temui pada saat mengevaluasi situs web provinsi. Komentar dan perilaku tersebut berupa tanggapan positif atau negatif yang mencerminkan kepuasan responden terhadap situs web yang dievaluasinya (Tabel 2). Tanggapan positif berisi kata, frase, kalimat, atau sikap dan ekspresi tubuh yang mengungkapkan perasaan puas, kagum, senang dan sebagainya pada saat mengakses situs web. Adapun tanggapan negatif

merupakan kata atau kalimat yang mengungkapkan perasaan kecewa, tidak sedang, menyerah dan sebagainya.

Menurut Preece et al. (2002), tanggapan responden yang termasuk ke dalam insiden kritis (critical incidents) adalah pada saat responden mengalami kebuntuan atau stuck yang biasanya ditandai dengan komentar, sikap diam, pandangan kebingungan, dan lain-lain. Seluruh tanggapan tersebut dievaluasi untuk mengetahui tingkat kepuasan responden terhadap situs web yang mereka evaluasi, apakah termasuk ke dalam kategori dominan respon positif atau kategori dominan respon negatif.

Tabel 2 Contoh jenis tanggapan responden evaluasi usability untuk metode think out loud

No. Jenis

Tanggapan

Contoh Tanggapan

Positif Contoh Tanggapan Negatif

1. Kata atau Frase 1. Wow 2. Wah Keren 3. Cepat juga 4. Keren banget 5. Gampang banget 6. Bagus juga 7. Lengkap 1. Kok begini? 2. Kok aneh? 3. Susah amat 4. Ribet amat 5. Ngebingungin deh 6. Standar banget 7. Biasa aja 8. Lumayan deh 9. Apaan nih? 2. Kalimat 1. Saya suka situs ini

2. Saya puas

memakai situs ini 3. Situs ini mudah

digunakan

1. Saya bingung dengan situs ini

2. Saya nggak suka situs ini

3. Situs ini susah

digunakan 3. Sikap Tubuh 1. Tersenyum senang

2. Bersenandung kecil

3. Sikap rileks

1. Menghela nafas panjang 2. Mendengus kesal 3. Diam

4. Mengerutkan dahi 5. Pandangan bingung 6. Cemberut

Rekaman responden yang direkam dalam evaluasi usability biasanya diberikan keterangan pada saat observasi berlangsung. Responden diamati oleh peneliti atau evaluator, namun tanpa sepengetahuan peneliti. Apabila terdapat kesalahan atau tindakan yang tidak biasa, maka video tersebut ditandai oleh peneliti. Pada saat evaluasi selesai dilaksanakan, peneliti dapat menggunakan

rekaman yang ditandai tersebut untuk menghitung waktu performa, sehingga dapat dibandingkan performa penggunanya dengan situs-situs web lainnya. Aliran data dari log atau catatan interaksi digunakan dengan cara yang serupa untuk menghitung waktu performa (Preece et al. 2002).

5. Menampilkan hasil data karakteristik responden yang melakukan evaluasi, seperti jenis kelamin, usia, asal daerah, pekerjaan, pendidikan terakhir, penggunaan kacamata atau lensa kontak, kondisi buta warna atau normal, dan keahlian komputer yang dimiliki, penggunaan Internet, fasilitas komputer di rumah dan di tempat kerja, dan lain-lain.

Tempat dan Waktu Penelitian

Keseluruhan penelitian ini dilaksanakan pada bulan Februari 2012 sampai dengan bulan Juni 2012. Penelitian mengambil lokasi di Laboratorium SEIns dan Ruang Perpustakaan Departemen Ilmu Komputer, Institut Pertanian Bogor.

Bahan dan Alat

Perangkat lunak dan tool yang digunakan pada penelitian ini ialah Camtasia versi 7.1 for Windows sebagai perangkat lunak screen capture, Google Chrome sebagai Internet Browser, SPSS 18 for Windows sebagai alat penguji korelasi dan Microsoft Office 2007 untuk mengolah data dan mempresentasikan hasil. Adapun perangkat keras yang digunakan antara lain komputer jinjing yang dilengkapi modem sebagai penyedia jaringan Internet, web camera, headset, dan formulir kuesioner untuk pengumpulan data.

Hasil dan Pembahasan

Pada saat penelitian dilaksanakan di bulan Februari – Juni 2012, Pemerintah Republik Indonesia memiliki 33 provinsi dari Nanggroe Aceh Darussalam hingga Papua Barat. Namun demikian, dari 33 provinsi tersebut hanya 31 provinsi yang memiliki situs web dan berstatus aktif. Provinsi tidak memiliki situs web adalah Sulawesi Utara dan Sulawesi Tenggara. Penentuan situs web provinsi aktif dan tidak aktif didasarkan atas penelusuran situs web

resmi menggunakan mesin pencari (search engine) Google dengan mengetikkan query berupa nama provinsi.

Pelaksanaan Pilot Test

Pilot test merupakan suatu pengujian yang dilaksanakan untuk memperbaiki framework, metode dan kuesioner agar menghasilkan data yang sesuai dengan harapan. Pilot test telah dilaksanakan sebanyak dua kali dengan melibatkan masing-masing lima dan enam responden untuk menguji coba skenario evaluasi usability dan kuesioner QUIS (Questionnaire for User Interface Satisfaction). Pilot test 1 dilaksanakan menggunakan dua skenario dan setiap responden diminta mengevaluasi 31 situs web, sedangkan pilot test 2 dilaksanakan menggunakan delapan skenario dan responden diminta mengevaluasi lima situs web provinsi. Hasil dari pelaksanaan Pilot Test ialah perbaikan skenario dan kuesioner agar lebih dimengerti oleh responden, serta perbaikan metode agar kegiatan evaluasi usability berjalan efektif dan efisien.

Karakteristik Responden

Responden yang telah menjalankan evaluasi usability adalah mahasiswa jenjang perkuliahan sarjana dan pascasarjana pada Institut Pertanian Bogor yang berjumlah 31 orang. Berikut ini adalah Tabel 3 yang berisi karakteristik responden yang dihimpun dari formulir data diri yang telah diisi oleh para responden. Daftar karakteristik responden secara lengkap disajikan pada Lampiran 8 dan 9.

Tabel 3 Hasil rekapitulasi karakteristik responden

No. Profil Uraian Jumlah Persentase

(%)

1. Jenis Kelamin Perempuan 23 74

Laki-laki 8 26 Total 31 100 2. Usia < 17 tahun 0 0 17 – 25 tahun 24 77 26 – 35 tahun 7 23 > 35 tahun 0 0 Total 31 100

3. Jenjang Perkuliahan SMA 0 0

D3 0 0

S1 12 39

No. Profil Uraian Jumlah Persentase (%)

Total 31 100

4. Jurusan Ilmu komputer 22 71

Selain ilmu komputer 9 29 Total 31 100 5. Penggunaan Kacamata Ya 5 39 Tidak 26 61 Total 31 100

6. Mengalami Buta Warna Ya 0 0

Tidak 31 100

Total 31 100

7. Frekuensi Penggunaan Internet

Setiap Hari 28 81

3 kali per minggu 2 6

1 kali per minggu 1 3

1 kali per bulan 0 0

Total 31 100

Evaluasi Usability

Evaluasi usability merupakan salah satu kegiatan yang dilaksanakan untuk mengetahui performa situs web. Pengambilan data pada penelitian ini dilakukan sejak tanggal 23 Mei 2012 hingga 25 Juni 2012. Data yang telah dihasilkan pada evaluasi usability adalah sebagai berikut.

Parameter Jumlah Waktu dan Jumlah Langkah

Parameter ini diukur berdasarkan jumlah detik yang diperlukan oleh responden untuk melaksanakan tugas pada setiap skenario dimulai dari halaman

mesin pencari untuk Skenario 1 dan halaman utama untuk Skenario 2 sampai 9. Untuk pertanyaan yang telah disediakan peneliti agar dikirimkan ke alamat e-mail

atau buku tamu, telah dilakukan usaha penyeragaman banyaknya kata yakni kurang lebih 2 – 3 baris untuk setiap pertanyaan. Untuk kecepatan waktu memuat informasi, telah dilakukan pemotongan loading time agar penghitungan jumlah waktu tidak menjadi bias. Oleh karena itu, jumlah waktu yang dihitung adalah waktu responden membuka halaman-halaman situs web, waktu responden membaca informasi dan waktu responden berpikir serta memutuskan apakah informasi yang dicari telah ditemukan atau tidak.

Setiap pengunjung situs web memiliki tujuan untuk mencari informasi yang mereka butuhkan atau hanya sekedar melihat-lihat. Apabila pengunjung

memerlukan suatu informasi, maka mereka memerlukan petunjuk yang jelas agar dapat menemukan informasi tersebut dengan efisien dan efektif. Petunjuk yang diperlukan dapat berupa judul yang jelas pada menu, submenu, tautan dan lain-lain. Faktor lainnya adalah letak informasi yang mudah atau sulit untuk ditemukan oleh pengunjung. Namun, pada penelitian ini faktor efisiensi yang dibahas ditentukan oleh faktor seberapa banyak langkah yang harus dilaksanakan oleh pengunjung untuk memperoleh informasi yang dibutuhkan. Tindakan responden pada layar monitor yang dihitung sebagai langkah pada penelitian ini antara lain:

a. Menyorot menu atau submenu untuk mencari informasi, b. Mengklik menu atau submenu untuk membuka halaman baru,

c. Menggulung (scroll) layar monitor ke atas atau ke bawah untuk mencari informasi,

d. Melakukan klik kanan untuk menyalin (copy) informasi atau melekatkan informasi (paste),

e. Mengetik karakter, kata atau kalimat dalam satu formulir pengisian, f. Membuka dan menutup tab atau window baru,

g. Menekan tombol Enter,

h. Mengklik tombol kembali/back, dan i. Melakukan reload halaman web.

Berikut ini adalah hasil perbandingan antara parameter jumlah waktu dan jumlah langkah untuk setiap skenario pada seluruh situs web provinsi.

a. Skenario 1A (Sejarah Provinsi)

Pada skenario 1A, responden diminta untuk mencari informasi sejarah berdirinya provinsi, baik yang terletak pada submenu khusus atau tercantum di dalam submenu lainnya. Informasi ini umumnya termasuk ke dalam bagian dari profil provinsi. Informasi sejarah berdirinya provinsi pada situs web tidak selalu diberi judul Sejarah, namun ada pula yang diberi judul dengan kata Tentang Provinsi, Sekilas Provinsi, Profil Provinsi, Gambaran Umum, bahkan diletakan pada ucapan Selamat Datang seperti yang tercantum pada situs web Provinsi Maluku Utara.

Dari 31 situs web yang diteliti, terdapat 29 situs web yang memiliki informasi Sejarah Provinsi, sedangkan dua situs web (Kepulauan Riau dan

Sulawesi Selatan) tidak memiliki informasi tersebut. Sebanyak 87 rekaman responden dihasilkan dari tiga orang respoden untuk setiap situs web. Adapun dari data tersebut, sebanyak 85 rekaman responden berhasil menemukan informasi Sejarah Provinsi dan dua rekaman responden pada Provinsi Maluku Utara tidak berhasil menemukan informasi tersebut.

Pada Gambar 7 dan 8 dapat dilihat bahwa Provinsi Maluku Utara memiliki rata-rata jumlah langkah dan jumlah waktu yang paling tinggi, yaitu 11 langkah dan 154 detik. Adapun nama provinsi pada grafik-grafik tersebut diurutkan berdasarkan nomor identitas provinsi dari wilayah Indonesia bagian barat, tengah dan timur. Informasi mengenai sejarah berdirinya Provinsi Maluku Utara ditemukan pada ucapan Selamat Datang yang dapat dibaca pada tautan di halaman utama, bukan disimpan pada menu Profil.

Pada saat mencari informasi sejarah pada situs web Provinsi Maluku Utara, responden lebih cenderung mengakses halaman menu Profil yang memuat beberapa informasi mengenai Maluku Utara dan memerlukan waktu cukup lama untuk membacanya. Panjangnya waktu yang diperlukan untuk membaca informasi menu Profil diduga menjadi penyebab lamanya waktu melaksanakan Skenario 1A pada Provinsi Maluku Utara. Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada skenario pencarian informasi sejarah provinsi untuk seluruh provinsi adalah 5 langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 58 detik.

Gambar 7 Rata-rata jumlah langkah pencarian sejarah provinsi. 5 2 8 3 2 3 2 5 4 10 6 4 4 4 6 5 5 5 3 3 4 3 4 6 3 10 11 8 3 0 2 4 6 8 10 12 A CEH SUM UT SUM BA R R IA U JA MBI SUM SE L LA MPUN G BE N G KUL U KE P BA BE L BA N TE N JA KA R TA JA BA R JA TE N G YO GY A JA TIM BA LI N TB N TT KA LBA R KAL TI M KA LT EN G KA LS EL SUL TE N G SUL BA R G O R O N TA LO MA LUKU MA LUT PAPUA PAPUA BA R A T Ju m lah Lan gkah Nama Provinsi

Gambar 8 Rata-rata jumlah waktu pencarian sejarah provinsi.

b. Skenario 1B (Motto Provinsi)

Pada skenario 1B, responden diminta untuk mencari informasi motto, slogan atau semboyan provinsi. Informasi ini umumnya termasuk ke dalam bagian dari profil provinsi. Motto atau yang juga biasa disebut sebagai semboyan atau slogan dapat berbentuk kalimat atau frase yang mencerminkan visi dan misi provinsi setempat dalam bentuk singkat. Motto yang dicantumkan pada situs web dapat menggunakan Bahasa Indonesia, Bahasa Daerah, maupun Bahasa Inggris (seperti pada Provinsi Bali). Motto Provinsi sebagian besar terletak pada banner utama, sehingga tidak terlalu disadari oleh sebagian responden. Adapun letak motto pada provinsi yang lainnya dicantumkan pada lambang daerah dan dibahas maknanya pada submenu lambang daerah dan artinya. Sedangkan ada pula provinsi yang secara khusus menampilkan motto yang diletakkan pada submenu lambang daerah dan artinya, submenu visi dan misi, serta submenu motto seperti yang dimiliki oleh situs web Provinsi Jawa Timur.

Dari 31 situs web yang telah diteliti, hanya 17 situs web yang mencantumkan mottonya, sedangkan 14 situs web tidak memiliki atau mencantumkan motto provinsi. Sebanyak 51 rekaman responden dihasilkan dari tiga orang respoden untuk masing-masing situs web. Adapun dari data tersebut, sebanyak 29 rekaman responden berhasil menemukan informasi Motto Provinsi dan 22 rekaman responden tidak berhasil menemukan informasi tersebut. Kendala

65 27 110 24 20 53 11 82 60 76 84 61 44 ₃₆ 80 57 56 61 16 31 100 65 39 61 34 67 154 44 21 0 20 40 60 80 100 120 140 160 180 A CE H SUM UT SUM BA R R IA U JA MBI SUM SE L LA MPUN G BE N G KUL U KE P BA BE L BA N TE N JA KA R TA JA B A R JA TE N G YO G YA JA TIM _BALI NTB NTT KA LBA R KA LT IM KA LT EN G KA LS EL SUL TE N G SUL BA R G OR ON TA LO MA LUKU M A LU T PAPUA PAPUA BA R A T Ju m lah Waktu Nama Provinsi

responden dalam menemukan letak motto provinsi diduga karena sembilan motto dari 16 situs web dicantumkan pada banner utama, sehingga tidak terlalu disadari dan menarik perhatian responden.

Pada Gambar 9 dan 10 di bawah ini dapat dilihat bahwa Provinsi DKI Jakarta memiliki rata-rata jumlah langkah dan waktu yang paling tinggi, yaitu 10 langkah dan 151 detik. Provinsi DKI Jakarta memiliki motto atau slogan yang berbeda-beda dan dipublikasikan setiap masa kepemimpinan Gubernur. Untuk menemukan motto tersebut, responden harus menggunakan fasilitas mesin pencari yang tersedia dikarenakan motto Provinsi DKI Jakarta berada pada fasilitas Ensiklopedi Jakarta, dimana jika menggunakan langkah pencarian biasa, diduga kecil kemungkinan untuk menemukan motto tersebut. Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada skenario pencarian motto provinsi untuk seluruh provinsi adalah 6 langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 61 detik.

Gambar 9 Rata-rata jumlah langkah pencarian motto provinsi. 6 4 2 2 6 10 2 3 5 4 9 8 9 10 8 5 5 0 2 4 6 8 10 12 Ju m lah La n gkah Nama Provinsi

Gambar 10 Rata-rata jumlah waktu pencarian motto provinsi.

c. Skenario 1C (Visi dan Misi)

Informasi mengenai visi dan misi dimiliki oleh hampir seluruh situs web, dengan penempatan yang strategis seperti di menu Profil atau Tentang Provinsi dengan submenu tersendiri. Namun pada situs web Provinsi Jawa Timur, visi dan misi tidak memiliki submenu tersendiri melainkan berada pada submenu Rencana Pembangunan Jangka Panjang Daerah (RPJPD) Provinsi Jawa Timur, sehingga responden kesulitan untuk menemukan informasi tersebut.

Dari 31 situs web yang diteliti, terdapat 27 situs web yang mencantumkan informasi visi dan misinya, sedangkan empat situs web tidak memiliki atau mencantumkan visi dan misi provinsi. Sebanyak 81 rekaman responden dihasilkan dari tiga orang respoden untuk masing-masing situs web. Adapun dari data tersebut, sebanyak 76 rekaman responden berhasil menemukan informasi visi dan misi dan lima rekaman responden tidak berhasil menemukan informasi tersebut.

Pada Gambar 11 dan 12 di bawah ini dapat dilihat bahwa Provinsi Jawa Timur memiliki rata-rata jumlah langkah tertinggi, yaitu 12 langkah, sedangkan Provinsi Sumatera Barat memiliki rata-rata jumlah waktu tertinggi, yaitu 155 detik. Pada situs web Provinsi Jawa Timur, konten visi dan misi tidak memiliki submenu tersendiri melainkan berada pada submenu Rencana Pembangunan Jangka Panjang Daerah (RPJPD) Provinsi Jawa Timur, sehingga responden kesulitan untuk menemukan informasi tersebut. Penamaan konten visi dan misi

59 85 25 16 38 151 14 70 39 56 50 84 92 130 73 41 25 0 20 40 60 80 100 120 140 160 Ju m lah Wak tu ( De tik) Nama Provinsi

yang kurang sesuai juga terdapat pada situs web Provinsi DKI Jakarta, dimana konten visi dan misi berada pada submenu Pesan Gubernur yang terletak dalam menu Pemerintahan Provinsi.

Pada Provinsi Sumatera Barat, konten visi dan misi berada pada menu Profile Daerah, submenu Visi dan Misi, namun submenu tersebut digabungkan visi dan misi dari Satuan Kerja Perangkat Daerah (SKPD) seperti badan dan dinas Provinsi Sumatera Barat, sehingga memiliki 38 tautan (link) yang terdiri atas dua halaman. Untuk visi dan misi Provinsi Sumatera Barat dapat ditemukan pada halaman kedua submenu Visi dan Misi. Untuk rata-rata jumlah langkah dengan waktu tercepat dimiliki oleh situs web Provinsi Jambi (2 langkah dan 11 detik) yang memiliki menu tersendiri untuk Visi dan Misi, yaitu pada bagian atas situs web sehingga mudah untuk ditemukan oleh responden dengan relatif cepat. Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada skenario pencarian visi dan misi provinsi untuk seluruh provinsi adalah 4 langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 40 detik.

Gambar 11 Rata-rata jumlah langkah pencarian visi dan misi provinsi. 2 10 2 2 2 2 2 7 4 6 3 3 3 12 3 4 3 2 8 3 4 4 3 3 3 3 3 0 2 4 6 8 10 12 14 SU MU T SU

MBAR RIAU JAMBI

SU MSE L LAMPUN G KE PRI KE P BAB EL BANTEN _JAKA RT A JABA R JAT EN G YOG YA JAT IM BALI NTT KALBA R KALT IM KALT EN G KALSE L SU LSE L SU LT EN G GORO N TAL O MALUK U MALUT PAPUA PAPUA BAR AT Ju m lah Lan gkah Nama Provinsi

Gambar 12 Rata-rata jumlah waktu pencarian visi dan misi provinsi. d. Skenario 1D (Lambang Daerah dan Artinya)

Setiap provinsi memiliki lambang atau logo daerahnya masing-masing yang memuat ciri khas dari daerah tersebut. Pemilihan bentuk dasar, warna, tulisan, dan lain-lain memiliki filosofi tersendiri, sehingga perlu disebutkan arti lambang tersebut agar dapat mensosialisasikan ciri khas masing-masing provinsi. Dari 31 situs web provinsi yang diteliti, terdapat 25 situs web yang mencantumkan informasi lambang daerah dan artinya, sedangkan enam situs web tidak memiliki atau mencantumkan lambang daerah dan artinya. Sebanyak 75 data rekaman responden dihasilkan dari tiga orang respoden untuk masing-masing situs web. Dari data tersebut, seluruh rekaman responden berhasil menemukan informasi lambang daerah dan artinya.

Pada Gambar 13 dan 14 di bawah ini dapat dilihat bahwa Provinsi Kalimantan Tengah memiliki rata-rata jumlah waktu yang paling tinggi, yaitu 66 detik. Untuk rata-rata jumlah langkah dengan waktu tercepat dimiliki oleh Provinsi Jambi (1 langkah dan 8 detik) yang meletakkan informasi lambang daerah dan artinya pada submenu Sejarah yang ditampilkan di bagian kiri situs web, sehingga apabila pada Skenario 1A responden telah menemukan informasi Sejarah Provinsi pada submenu yang sama, maka untuk menemukan informasi lambang daerah dan artinya akan mudah bagi responden. Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada skenario pencarian informasi lambang

28 155 15 11 32 13 20 47 34 72 16 52 32 70 16 33 _{13 11} 86 22 27 33 21 46 11 16 15 0 20 40 60 80 100 120 140 160 180 SU MU T SU

MBAR RIAU JAMBI

SU MSE L LAMPUN G KE PRI KE P BAB EL BANTEN _JAKA RT A JABA R JATE N G YOG YA JAT IM BALI NTT KALBA R KALT IM KALT EN G KALSE L SU LSE L SUL TE N G G ORON TALO MALUK U MALUT PAPU A PAPUA BAR AT Ju m lah Waktu ( D e tik) Nama Provinsi

daerah dan artinya untuk seluruh provinsi adalah 4 langkah, sedangkan jumlah waktu rata-ratanya adalah 32 detik.

Gambar 13 Rata-rata jumlah langkah pencarian lambang daerah dan artinya.

Gambar 14 Rata-rata jumlah waktu pencarian lambang daerah dan artinya.

e. Skenario 1E (Peta Provinsi)

Peta provinsi dapat diletakan pada menu atau submenu tersendiri, diberikan tautan, atau dicantumkan pada menu atau submenu Letak atau Kondisi

3 4 2 1 2 3 3 2 5 4 3 4 3 4 3 2 4 3 5 3 2 4 4 3 0 1 2 3 4 5 6 SU MU T SU

MBAR RIAU JAMBI

SU MSE L LAM PU N G KE PRI KE P BAB EL BANTEN _JAKA RT A JABA R YOG YA JATIM N TB _NTT KALT IM KALT EN G KALSE L SU LSE L SU LT EN G G ORON TALO MALUK U PAPUA PAPUA BAR AT Ju m lah Lan gkah Nama Provinsi 21 57 20 8 21 20 18 28 32 53 23 15 24 23 13 16 66 34 26 32 ₂₃ 29 26 12 0 10 20 30 40 50 60 70 SU MU T SU

MBAR RIAU JAM

BI SU MSE L LAMPUN G KE PRI KE P BAB EL BANTEN _JAKA RT A JABA R YOG YA JAT IM _NTB N TT KALT IM KALT EN G KALSE L SU LSE L SU LT EN G G ORON TALO MALUK U P AP UA PAPUA BAR AT Ju m lah Waktu ( D e tik) Nama Provinsi

Geografis, Wilayah, Letak Administratif, dan lain-lain. Peta provinsi yang ditemukan pada situs web bervariasi dari mulai Peta Kontur, Peta Administratif, Peta Pariwisata, Peta Potensi Daerah, dan lain-lain.

Dari 31 situs web yang dievaluasi, terdapat 22 situs web yang mencantumkan informasi peta provinsi. Sebanyak 66 rekaman responden dihasilkan dari tiga orang respoden untuk masing-masing situs web. Dari data tersebut, 63 rekaman responden berhasil menemukan informasi peta provinsi, sedangkan tiga rekaman responden tidak berhasil menemukan informasi tersebut.

Pada Gambar 15 dan 16 di bawah ini dapat dilihat bahwa Provinsi Sumatera Utara memiliki rata-rata jumlah langkah tertinggi, yaitu 10 langkah, sedangkan Provinsi Riau memiliki rata-rata jumlah waktu tertinggi, yaitu 88 detik. Pada Provinsi Riau, peta wilayahnya memiliki submenu tersendiri yang dapat ditemukan pada menu Profil. Namun pada saat mengakses submenu tersebut, dua orang responden melihat pesan yang menyatakan bahwa peta sedang dimuat (loading) sebanyak 33%, sedangkan seorang responden pada saat mengakses submenu tersebut, berhasil menemukan gambar peta secara keseluruhan.

Peta Provinsi Riau dinyatakan ada dan dapat diakses dikarenakan terdapat minimal satu orang responden yang dapat mengaksesnya. Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada skenario pencarian peta provinsi untuk seluruh provinsi adalah 6 langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 54 detik.

Gambar 15 Rata-rata jumlah langkah pencarian peta provinsi. 10 4 2 6 4 3 8 3 2 3 5 5 3 4 4 3 2 4 2 3 5 3 0 2 4 6 8 10 12 SU MU T RIAU _JAM BI SU MSE L BE N G KU LU KE PRI KE P BAB EL JAKA RTA JAB AR JAT IM _NTT K ALB AR KALT IM KALT EN G K ALS EL SU LSE L SU LT EN G G OR ONT ALO MALUK U MALUT PAPUA PAPUA BAR AT Ju m lah Lan gkah Nama Provinsi

Gambar 16 Rata-rata jumlah waktu pencarian peta provinsi.

f. Skenario 2 (Struktur Organisasi Provinsi)

Tugas yang diberikan kepada responden pada Skenario 2 ialah mencari struktur organisasi pemerintah provinsi yang terdiri dari Gubernur beserta jajarannya. Struktur organisasi yang ideal adalah berbentuk gambar dengan struktur hirarki dan aliran tanggung jawab yang jelas. Namun, struktur organisasi provinsi yang diakui pada penelitian ini dapat berupa gambar hirarkis, tabel, atau berbentuk poin-poin dimulai dari tingkat tertinggi, yaitu Gubernur, hingga dinas, biro atau badan di bawahnya.

Dari 31 situs web provinsi yang dievaluasi, terdapat 17 situs web yang mencantumkan informasi struktur organisasi, sedangkan 14 situs web tidak memiliki atau mencantumkan struktur organisasi. Sebanyak 51 rekaman responden dihasilkan dari tiga orang respoden untuk masing-masing situs web. Dari data tersebut, sebanyak 47 rekaman responden berhasil menemukan informasi struktur organisasi, sedangkan empat rekaman responden tidak berhasil menemukan struktur organisasi.

Pada Gambar 17 dan 18 di bawah ini dapat dilihat bahwa Provinsi Sumatera Barat memiliki rata-rata jumlah langkah dan jumlah waktu tertinggi, yaitu 11 langkah dan 154 detik. Provinsi Sumatera Barat memiliki struktur organisasi di situs webnya. Namun dikarenakan penempatan informasinya yang

48 88 17 42 35 60 57 ₅₃ 11 17 36 42 26 73 40 39 27 33 20 69 46 11 0 10 20 30 40 50 60 70 80 90 100 SU MU T RIAU _JAMBI SU MSE L BE N G KU LU KE PRI KE P BAB EL JAKA RT A JABA R JAT IM _NTT KALBA R KALT IM KALT EN G KAL SE L SU LSE L SU LT EN G G ORON TALO MALUK U MA LUT PAPUA PAPUA BAR AT Ju m lah Waktu ( D e tik) Nama Provinsi

berada pada menu “Struktur Organisasi” dan dalamnya terdapat 33 submenu dengan terdiri dari dua halaman, serta tidak berfungsinya mesin pencari, maka hal tersebut diduga mengakibatkan responden membutuhkan waktu yang cukup lama untuk memastikan bahwa peta tersebut tidak dapat ditemukan.

Struktur organisasi yang dimiliki oleh Provinsi Sumatera Barat berupa tabel dengan judul SOTK Pemerintah Provinsi Sumatera Barat yang berada di halaman kedua dari menu “Struktur Organisasi”, namun nama Gubernur yang tertera bukanlah Gubernur yang tengah menjabat saat ini. Nama Gubernur dan Wakil Gubernur yang tertera adalah Gubernur yang menjabat sebelumnya. Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada skenario pencarian struktur organisasi provinsi untuk seluruh provinsi adalah 6 langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 67 detik.

Gambar 17 Rata-rata jumlah langkah pencarian struktur organisasi. 3 11 3 2 2 6 9 3 6 6 4 7 3 3 5 5 4 0 2 4 6 8 10 12 Ju m lah Lan gkah Nama Provinsi

Gambar 18 Rata-rata jumlah waktu pencarian struktur organisasi.

g. Skenario 3 (Informasi Demografi atau Kependudukan)

Informasi demografi merupakan salah satu bagian dari informasi geografi yang khusus membahas tentang kependudukan. Keberadaan informasi ini mencerminkan bahwa pemerintah provinsi memiliki kepedulian terhadap para penduduknya, dimana informasi tersebut dapat digunakan guna menanggulangi masalah seperti kemiskinan atau kurangnya pendidikan. Tugas yang diberikan kepada responden pada Skenario 3 adalah mencari informasi demografi atau data kependudukan yang termasuk ke dalam kategori konten Geografi sesuai dengan panduan dari Kemkominfo (2003). Informasi demografi meliputi informasi keberagaman penduduk yang mendiami provinsi setempat, seperi data penduduk berdasarkan kategori jenis kelamin, usia, agama, pendidikan, pekerjaan, dan lain-lain. Pada penelitian ini, data minimal yang dapat disebut sebagai informasi demografi adalah data jumlah penduduk dalam suatu waktu.

Dari 31 situs web yang dievaluasi, terdapat 22 situs web yang mencantumkan informasi demografi, sedangkan sembilan situs web tidak memiliki atau mencantumkan informasi demografi. Sebanyak 66 rekaman responden dihasilkan dari tiga orang respoden untuk masing-masing situs web. Dari data tersebut, sebanyak 59 rekaman responden berhasil menemukan informasi demografi, sedangkan 10 rekaman responden tidak berhasil menemukan informasi demografi. 25 154 34 16 12 39 129 20 40 47 31 39 18 21 53 35 39 0 20 40 60 80 100 120 140 160 180 Ju m lah Waktu ( D e tik) Nama Provinsi

Pada Gambar 19 dan 20 dapat dilihat bahwa Provinsi Sumatera Selatan memiliki rata-rata jumlah langkah tertinggi, yaitu 9 langkah, sedangkan Provinsi Kalimantan Tengah memiliki rata-rata jumlah waktu tertinggi, yaitu 77 detik. Berdasarkan hasil pengamatan, situs web Provinsi Kalimantan Tengah memiliki mesin pencari yang berada di setiap halaman situs web, namun mesin pencari tersebut hanya akan berfungsi pada halaman yang dibuka saja. Dengan kata lain, apabila responden ingin mencari suatu informasi pada keseluruhan isi situs web, maka responden harus kembali ke halaman utama agar mesin pencari bekerja pada keseluruhan isi situs web. Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada skenario pencarian informasi demografi untuk seluruh provinsi adalah 6 langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 50 detik.

Gambar 19 Rata-rata jumlah langkah pencarian informasi demografi. 4 6 5 7 9 4 3 4 5 3 3 4 6 5 4 4 3 2 2 4 8 3 0 1 2 3 4 5 6 7 8 9 10 ACE H SU

MBAR RIAU JAMBI

SU MSE L LAMPUN G BE N G KU LU KE P BAB EL BANTEN _JAKA RT A JABA R YOG YA JAT IM _NTT KALBA R KALT EN G SU LT EN G SU LBAR G ORON TALO MALUK U MA LU T P AP UA BAR AT Ju m lah Lan gkah Nama Provinsi

Gambar 20 Rata-rata jumlah waktu pencarian informasi demografi.

h. Skenario 4 (Potensi Sumberdaya Alam)

Kekayaan alam di setiap daerah sangat beragam dan belum tentu diketahui oleh masyarakat domestik ataupun mancanegara. Salah satu cara untuk dapat menarik investor untuk mengelola kekayaan alam tersebut adalah dengan mempromosikannya di situs web provinsi dalam bentuk menu Potensi Sumberdaya Alam.

Selain menu Potensi Sumberdaya Alam, menu lain yang juga digunakan adalah menu Investasi atau Perekonomian. Pada Skenario 4 responden diminta untuk mencari informasi potensi sumberdaya alam (SDA) di provinsi setempat. Informasi ini termasuk ke dalam kategori konten Peta Wilayah dan Sumberdaya yang termasuk konten minimal pada situs web pemerintah daerah.

Dari 31 situs web provinsi yang diteliti, terdapat 25 situs web yang mencantumkan informasi potensi sumberdaya alam, sedangkan enam situs web tidak memiliki atau mencantumkan informasi potensi sumberdaya alam. Sebanyak 75 rekaman responden dihasilkan dari tiga orang respoden untuk masing-masing situs web. Dari data tersebut, sebanyak 66 rekaman responden berhasil menemukan informasi potensi sumberdaya alam, sedangkan sembilan rekaman responden tidak berhasil menemukan informasi potensi sumberdaya alam.

Pada Gambar 21 dan 22 di bawah ini dapat dilihat bahwa Provinsi Nanggroe Aceh Darussalam memiliki rata-rata jumlah langkah tertinggi, yaitu 12

60 54 49 70 52 23 23 31 30 31 ₂₀ 28 70 45 23 77 17 22 28 56 64 19 0 10 20 30 40 50 60 70 80 90 AC EH SU

MBAR RIAU JAMBI

SU MS EL LAMPUN G BE N G KU LU KE P BAB EL BANTEN _JAKA RT A JABA R YOG YA JAT IM _NTT KALBA R KALT EN G SU LT EN G SU LBAR G ORON TALO MA LU K U MALUT PAPUA BAR AT Ju m lah Waktu ( D e tik) Nama Provinsi

langkah, sedangkan Provinsi Sumatera Barat memiliki rata-rata jumlah waktu tertinggi, yaitu 112 detik. Informasi potensi sumberdaya alam Provinsi Sumatera Barat dapat ditemukan pada menu Peluang Investasi dan Produk Unggulan. Namun, terdapat informasi potensi sumberdaya alam, seperti potensi kehutanan yang menggunakan bentuk gambar dan tidak dapat ditampilkan atau corrupt. Selanjutnya responden perlu mencari potensi sumberdaya lain yang tidak corrupt. Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada skenario pencarian informasi potensi sumberdaya alam untuk seluruh provinsi adalah 6 langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 60 detik.

Gambar 21 Rata-rata jumlah langkah pencarian informasi potensi sumberdaya alam.

Gambar 22 Rata-rata jumlah waktu pencarian informasi potensi sumberdaya alam. 12 7 6 4 5 5 4 3 11 5 5 8 3 4 5 2 6 7 3 2 5 9 3 2 4 0 2 4 6 8 10 12 14 AC EH SU MBAR JAMBI LAMPUN G BE N G KU LU KE P BAB EL BANTEN _JAKA RT A JABA R JAT EN G JAT IM BALI NTB NTT KALBA R KALT IM K ALT EN G KALSE L SU LT EN G SU LBAR G ORON TALO MALUK U MALUT PAPUA PAPUA BAR AT Ju m lah La n gka h Nama Provinsi 103 112 80 19 72 27 44 20 89 72 40 71 17 32 23 20 53 57 19 20 55 84 32 31 67 0 20 40 60 80 100 120 ACE H SU MBAR JAMBI LAMPUN G BE N G KU LU KE P BAB EL BANTEN _JAKA RT A JABA R JAT EN G JAT IM BALI NTB NTT KALBA R KALT IM KALT EN G KALSE L SU LT EN G SU LBAR G ORON TALO MALUK U MALUT PAPUA PAPUA BAR AT Ju m lah Waktu ( D e tik) Nama Provinsi

i. Skenario 5 (Peraturan Daerah)

Keberadaan peraturan daerah di situs web provinsi penting bagi masyarakat untuk mengetahui performa pemerintahnya dalam mengambil kebijakan. Peraturan daerah juga dapat menjadi sarana bagi pemerintah provinsi untuk mensosialisasikan proses-proses perizinan yang menjadi tanggung jawab pemerintah provinsi. Letak penempatan peraturan daerah, ada yang diserahkan kepada situs web biro atau badan hukum yang ada di bawah provinsi, bukan pada situs web provinsi. Sebagian besar peraturan daerah yang dicantumkan dapat diunduh dalam format PDF, Doc atau Winrar.

Dari 31 situs web yang telah diteliti, hanya 16 situs web yang mencantumkan peraturan daerah, sedangkan enam situs web tidak memiliki atau mencantumkan peraturan daerah. Sebanyak 48 rekaman responden dihasilkan dari tiga orang respoden untuk masing-masing situs web. Dari data tersebut, sebanyak 42 rekaman responden berhasil menemukan peraturan daerah, sedangkan enam rekaman responden tidak berhasil menemukan peraturan daerah.

Pada Gambar 23 dan 24 di bawah ini dapat dilihat bahwa Provinsi Nanggroe Aceh Darussalam memiliki rata-rata jumlah langkah tertinggi, yaitu 12 langkah, sedangkan Provinsi Sulawesi Selatan memiliki rata-rata jumlah waktu tertinggi, yaitu 119 detik. Pada Provinsi Nanggroe Aceh Darussalam, peraturan daerah dapat disebut dengan Qanun. Peneliti telah memberi informasi kepada para responden mengenai hal tersebut di awal evaluasi. Namun dikarenakan penggunaan kata “Qanun” tidak umum dan situs web Provinsi Nanggroe Aceh Darussalam juga memiliki submenu Peraturan Daerah, maka responden tidak terlalu mengingat hal tersebut, sehingga cenderung mengabaikannya dan mengakses submenu Peraturan Daerah.

Hal-hal tersebut diduga menjadi penyebab Provinsi Nanggroe Aceh Darussalam memiliki rata-rata jumlah langkah tertinggi. Untuk Provinsi Sulawesi Selatan, peraturan daerah dapat ditemukan pada menu Mengunduh dimana hal tersebut diduga menjadi penyebab Provinsi Sulawesi Selatan memiliki rata-rata jumlah waktu tertinggi, karena nama menu yang kurang mencerminkan isinya, tidak seperti situs web lain yang memberikan nama menu Produk Hukum, Kebijakan, Peraturan, Regulasi, dan lain-lain. Berdasarkan hasil pengamatan,

rata-rata jumlah langkah pada skenario pencarian peraturan daerah untuk seluruh provinsi adalah 9 langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 90 detik.

Gambar 23 Rata-rata jumlah langkah pencarian peraturan daerah.

Gambar 24 Rata-rata jumlah waktu pencarian peraturan daerah.

Pada Skenario 5 responden diminta untuk mencari Peraturan Daerah (Perda) yang dipublikasikan oleh pemerintah provinsi. Pencantuman Perda dalam situs web resmi provinsi termasuk ke dalam menu Produk Hukum, Kebijakan, Regulasi atau Dokumentasi. Lampiran 10 memuat daftar peraturan daerah yang

12 7 6 4 3 11 5 ₅ 8 4 5 2 7 11 3 ₂ 0 2 4 6 8 10 12 14 Ju m lah Lan gkah Nama Provinsi 103 112 80 19 20 89 72 40 71 32 23 20 57 119 32 31 0 20 40 60 80 100 120 140 Ju m lah Waktu ( D e tik) Nama Provinsi

ditemukan oleh setiap responden. Terdapat perbedaan perda yang ditemukan antara masing-masing rekaman responden, hal ini diduga karena situs web tidak mencantumkan nomor perda secara berurutan, sehingga responden tidak berhasil menemukan perda dengan nomor terakhir yang dipublikasikan.

j. Skenario 6 (APBD)

Skenario ini berisi tugas responden untuk mencari informasi tentang Anggaran Pendapatan dan Belanja Daerah (APBD) yang terakhir dipublikasikan oleh pemerintah provinsi di dalam situs webnya. Melalui pengamatan ini diperoleh informasi mengenai keaktifan dan transparansi provinsi dalam menginformasikan APBD kepada masyarakat.

Pencantuman APBD juga berfungsi sebagai indikator transparansi pemerintah provinsi dalam mempublikasikan performanya pada saat mengelola pendapatan dan belanja daerah yang sebagian juga bersumber dari pajak yang dibayarkan oleh masyarakat. APBD yang dicantumkan sebagian besar dapat diunduh dalam format PDF dan Doc, yakni dapat berupa peraturan daerah yang menetapkan mengenai APBD atau memang khusus file yang memuat APBD dalam bentuk Winrar.

Dari 31 situs web yang telah dievaluasi, hanya 14 situs web yang mencantumkan informasi APBD, sedangkan enam situs web tidak memiliki atau mencantumkan informasi APBD. Sebanyak 42 rekaman responden dihasilkan dari tiga orang respoden untuk masing-masing situs web. Dari data tersebut, sebanyak 30 rekaman responden berhasil menemukan informasi potensi APBD, sedangkan 12 rekaman responden tidak berhasil menemukan informasi APBD.

Pada Gambar 25 dan 26 di bawah ini dapat dilihat bahwa Provinsi Sumatera Barat memiliki rata-rata jumlah langkah dan waktu tertinggi, yaitu 16 langkah dan 202 detik. Pada skenario ini, Provinsi Sumatera Barat memiliki jumlah langkah dan waktu terbanyak untuk menemukan APBD diduga karena informasi APBD Provinsi Sumatera Barat tidak terletak menu tersendiri atau diletakkan pada submenu Keuangan Daerah yang ada pada menu Profile Daerah, melainkan terletak pada Peraturan Daerah dalam submenu “Produk Hukum” yang nomornya tidak berurutan sehingga harus dibaca satu per satu. Berdasarkan hasil

pengamatan, rata-rata jumlah langkah pada skenario pencarian APBD provinsi untuk seluruh provinsi adalah 8 langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 74 detik.

Gambar 25 Rata-rata jumlah langkah pencarian APBD.

Gambar 26 Rata-rata jumlah waktu pencarian APBD.

Tabel 4 memuat daftar tahun anggaran APBD yang terakhir dipublikasikan di situs web provinsi. Tahun anggaran yang paling lama diunggah adalah tahun 2006 (situs web Provinsi Kalimantan Barat), sedangkan yang paling baru adalah tahun 2012 (situs web Provinsi DKI Jakarta, Bali dan Gorontalo).

8 14 16 4 2 11 6 6 6 10 8 9 5 ₅ 0 2 4 6 8 10 12 14 16 18 Ju m lah Lan gkah Nama Provinsi 50 91 202 19 ₁₄ 89 65 51 53 79 117 146 60 ₅₀ 0 50 100 150 200 250 Ju m lah Wak tu ( De tik) Nama Provinsi

Tabel 4 Informasi tahun anggaran APBD yang dipublikasikan sampai periode Juni 2012

No Nama Provinsi Tahun Anggaran

1. Kalimantan Barat 2006

2. Kalimantan Tengah 2007

3. Kalimantan Selatan 2008

4. Kalimantan Timur 2008

5. Nanggroe Aceh Darussalam 2009

6. Riau 2009 7. Sumatera Utara 2010 8. Jawa Barat 2010 9. Sulawesi Barat 2010 10. Sumatera Barat 2011 11. Jambi 2011 12. DKI Jakarta 2112 13. Bali 2012 14. Gorontalo 2012

Keterangan: Diakses bulan Mei – Juni 2012

k. Skenario 7 (Pengiriman pesan ke Alamat E-mail)

Alamat e-mail merupakan salah satu item minimal yang harus ada pada halaman utama (homepage) menurut Panduan Penyelenggaraan Situs Web Pemerintah Daerah yang diterbitkan oleh Kemkominfo (2003). Untuk kontak e-mail, hanya alamat e-mail yang mempunyai domain “.go.id” yang bisa digunakan sebagai alamat e-mail resmi. Pemakaian alamat generik (seperti ‘manajer situs’, ‘sekda’) lebih diutamakan daripada alamat atau nama pribadi, hal tersebut dikaitkan dengan kemungkinan terjadinya perubahan personil pada manajemen situs web pemerintah daerah. Penanggung jawab situs web harus memastikan bahwa semua e-mail ke alamat-alamat yang dituju dijawab dengan segera, seperti halnya komunikasi fisik atau komunikasi elektronik lainnya dengan instansi Pemerintah Daerah setempat (Kemkominfo 2003).

Skenario 7 berisi tugas kepada responden untuk mencari alamat e-mail dan mengirimkan pesan berupa pertanyaan yang disediakan peneliti kepada alamat tersebut melalui akun e-mail pribadi responden atau Microsoft Outlook. Kemungkinan yang dapat muncul sebagai hasil evaluasi pada skenario ini, antara lain: