UJI USABILITY DENGAN METODE COGNITIVE
WALKTHROUGH PADA SITUS WEB PERPUSTAKAAN
UNIVERSITAS MERCU BUANA JAKARTA
PRIYO RAHARJO
SEKOLAH PASCASARJANA INSTITUT PERTANIAN BOGOR
PERNYATAAN MENGENAI TESIS DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA
Dengan ini saya menyatakan bahwa tesis berjudul Uji Usability dengan Metode Cognitive Walkthrough pada Situs Web Perpustakaan Universitas Mercu Buana Jakarta adalah benar karya saya dengan arahan dari komisi pembimbing dan belum diajukan dalam bentuk apa pun kepada perguruan tinggi mana pun. Sumber informasi yang berasal atau dikutip dari karya yang diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks dan dicantumkan dalam Daftar Pustaka di bagian akhir disertasi ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut Pertanian Bogor.
RINGKASAN
PRIYO RAHARJO. Uji Usability dengan Metode Cognitive Walkthrough pada Situs Web Perpustakaan Universitas Mercu Buana Jakarta. Dibimbing oleh WISNU ANANTA KUSUMA dan HERU SUKOCO
Situs web perpustakaan menjadi media yang menghubungkan antara kebutuhan informasi pengguna dengan sumber-sumber informasi dan layanan yang ada di perpustakaan. Oleh karena itu keterlibatan pengguna secara aktif dalam pengembangan antarmuka situs web perpustakaan menjadi sangat penting. Hal ini perlu dilakukan agar situs web dapat dengan mudah digunakan dan dipelajari oleh penggunanya. Salah satu cara mengevaluasi antarmuka situs web dengan cara melakukan uji usability.
Uji usability menjadi salah satu faktor yang perlu diperhatikan agar, situs web dapat mencapai tujuan serta tidak ditinggalkan oleh penggunanya. Apabila fitur-fitur pada sebuah situs web dapat digunakan secara efektif, efisien dan memuaskan penggunanya maka situs web tersebut dapat disebut telah usable. Untuk menilai usable situs web perpustakaan diperlukan uji usability. Sejak diluncurkan pada tahun 2009, situs web perpustakaan Universitas Mercu Buana Buana (UMB) belum pernah dilakukan uji usability.
Penelitian ini bertujuan untuk mengidentifikasi dan menganalisis permasalahan-permasalahan yang dihadapi pengguna ketika menggunakan situs web perpustakaan UMB. Selain itu, penelitian ini dapat memberikan rekomendasi perbaikan antar muka situs web perpustakaan UMB agar menjadi lebih user friendly.
Sejumlah responden dipilih berdasarkan jenis profesi pengguna yang menjadi target situs web yaitu mahasiswa, dosen dan karyawan UMB. Pemilihan responden pada penelitian ini menggunakan teknik purposive sampling yaitu pemilihan sampel yang dilakukan menggunakan kriteria tertentu. Selain itu pertimbangan lain yang digunakan adalah pengetahuan, keterampilan dan frekuensi pengguna dalam menggunakan internet, web browser, situs web dan mesin telusur. Jumlah responden ditentukan sebanyak 10 orang. Komposisi responden ditentukan berdasar persentase pengunjung perpustakaan dari periode 2011 – 2014. Pengunjung perpustakaan kurang dari 10 persen maka ditentukan satu responden. Berdasarkan persentase jumlah pengunjung perpustakaan diperoleh delapan responden mahasiswa, satu responden dosen dan satu responden karyawan.
Uji usability terhadap situs web perpustakaan UMB untuk mengukur dua komponen usability yaitu efektivitas dan efisiensi. Efektivitas berhubungan tingkat penyelesaian tugas dan efisiensi berhubungan dengan jumlah waktu yang digunakan dalam menyelesaikan tugas dan jumlah kesalahan yang dilakukan responden dalam menyelesaikan tugas.
Hasil uji usability pada situs web perpustakaan UMB menunjukkan bahwa rata-rata skenario tugas yang berhasil diselesaikan oleh responden sebesar 90%. Responden yang berhasil menyelesaikan skenario tugas sebesar 50% dan sisanya tidak berhasil menyelesaikan seluruh skenario tugas yang diberikan. Sebanyak dua responden (20%) hanya berhasil menyelesaikan skenario tugas sebesar 71%. Kesalahan terjadi pada semua skenario tugas yaitu tidak ada satu skenario tugas yang dapat diselesaikan oleh seluruh responden tanpa melakukan kesalahan. Jumlah kesalahan tertinggi yaitu 32 kali yang terjadi pada skenario tugas mengunduh artikel dari basis data proquest (skenario tugas 5) dan mengunduh abstrak e-tesis (skenario tugas 4). Jumlah waktu yang digunakan menunjukkan bahwa mengunduh artikel dari basis data proquest (skenario tugas 5), mengunduh abstrak e-tesis (skenario tugas 4) dan mencari judul buku melalui katalog online (skenario tugas 1), merupakan tiga skenario tugas yang paling banyak membutuhkan waktu untuk menyelesaikannya.
Berdasarkan hasil analisis uji usability menemukan hal-hal yang menyebabkan rendahnya usabilitas antarmuka situs web perpustakaan UMB yaitu penggunaan icon yang tidak sesuai, penggunaan font yang kecil dan tidak sesuai sehingga perubahan warna pada fitur yang tidak jelas terlihat, tata letak fitur yang berada di beberapa lokasi, penggunaan istilah yang tidak sesuai dengan isi. Dari analisi tersebut dapat disimpulkan bahwa persepsi pengguna berbeda dengan persepsi sistem.
Rekomendasi perbaikan antarmuka situs web Perpustakaan UMB berdasarkan hasil analisis yaitu menampilkan pedoman atau petunjuk cara pencarian artikel dari masing-masing basis data, kotak pencarian koleksi (buku, artikel, jurnal, e-tugas akhir) berada pada bagian atas setiap halaman situs web, gambar tidak ditampilkan di setiap halaman, dan diberikan navigasi yang memberikan lokasi pengunjung situs web berada
SUMMARY
PRIYO RAHARJO . Usability Test with Cognitive Walkthrough Method on Mercu Buana University Library website. Supervised by WISNU ANANTA KUSUMA and HERU SUKOCO.
The website of the library becomes a media that connects the user's information needs with sources of information and services available in the library. Therefore, the active involvement of users in the interface development of the library website becomes crucial. This is necessary so that the website can be easily used and studied by users. One of the method to evaluate the website interface is by doing usability testing.
Usability is one of the factors that should be considered in order to achieve its goals and maintain its users. If the features on the website can be used effectively, efficiently and able to satisfy the users , the website can be called usable. To assess usable library web site usability test is required. Since its launch in 2009, the library's website of University Mercu Buana (UMB) usability test has never been done.
This study aims to identify and analyze the problems faced by users when using the UMB library's website. In addition, this study may provide recommendation for improving UMB’s library website interface to be more user friendly.
Some respondents selected based on the type of user profession, the target of the website are the student, lecturer, and employee of UMB. Selection of respondent in this study using purposive sampling technique, that is to say, the selection of the samples performed by using specific criteria.
In addition, other considerations that used are the knowledge, skills and frequency of users using the internet, web browser, websites and search engines. The number of respondents determined as many as 10 people. The
composition of respondents determined based on the percentage of library’s
visitor from the period 2011-2014. Library visitor less than 10 percent, it determined one respondent. The respondents consist of 8 students and each is for lectures and employees.
The collection of data obtained by asking the respondent to perform the task scenarios, related to the features of the library's website UMB as well as the observation in the field about what is the most frequent question and needs when they come to the library. Each task scenario recorded using Camtasia Studio 8.5 software. There were seven of task scenarios that should be completed by the respondents.
Usability test on the library's website UMB to measure two components of usability which is effectiveness and efficiency. Effectiveness related to the task completion rate and efficiency related to the amount of time spent in completing the work and the number of mistakes made by respondent in completing the task.
two respondents (20%) only manage to complete the task scenario by 71%. Errors occurred in all the task scenarios that no task scenario can be completed by the respondent without making a mistake. The highest number of errors is 32 times that occur in the task scenario download articles from the database ProQuest (scenario task 5) and download the e-thesis abstract (scenario task 4). The amount of time used shows that download articles from the database ProQuest (scenario task 5), download abstract e-thesis (scenario task 4) and search for the title of the book through the online catalog (scenario task 1), are the three task scenarios which required the most time to complete.
Based on the analysis of usability tests, discover few factors that cause a low level of interface usability of UMB library's website, the use of icon that not fit, the use of a small font and not suitable font so that the color changes in the feature are not clearly visible, the layout features in some locations, the use of a term that are not in accordance with the content. From this analysis, it can be concluded that the user perception is different with the perception of the system.
Recommendation interface improvement of UMB Library's website based on the results of analysis, that is featuring guideline or instructions on how to search articles from each database, a search box collection (books, articles, journals, e-thesis) are placed at the top of every page of the website, the image is not displayed on every page, and add navigation that gives the location of where the website visitors are.
© Hak Cipta Milik IPB, Tahun 2016
Hak Cipta Dilindungi Undang-Undang
Dilarang mengutip sebagian atau seluruh karya tulis ini tanpa mencantumkan atau menyebutkan sumbernya. Pengutipan hanya untuk kepentingan pendidikan, penelitian, penulisan karya ilmiah, penyusunan laporan, penulisan kritik, atau tinjauan suatu masalah; dan pengutipan tersebut tidak merugikan kepentingan IPB
Tesis
sebagai salah satu syarat untuk memperoleh gelar Magister Profesional
pada
Program Studi Teknologi Informasi untuk Perpustakaan
UJI USABILITY DENGAN METODE COGNITIVE WALKTHROUGH
PADA SITUS WEB PERPUSTAKAAN UNIVERSITAS MERCU
BUANA JAKARTA
SEKOLAH PASCASARJANA INSTITUT PERTANIAN BOGOR
BOGOR 2016
Judul Penelitian : Uji Usability dengan Metode Cognitive Walkthrough pada Situs Web Perpustakaan Universitas Mercu Buana Jakarta Nama : Priyo Raharjo
NIM : G652130015
Disetujui oleh Komisi Pembimbing
DrEng Wisnu Ananta Kusuma, ST MT Ketua
DrEng Heru Sukoco, SSi MT Anggota
Diketahui oleh
Ketua Program Studi
Magister Teknologi Informasi untuk Perpustakaan
Dr Yani Nurhadryani, SSi MT
Dekan Sekolah Pascasarjana
Dr Ir Dahrul Syah, MScAgr
PRAKATA
Puji dan syukur penulis panjatkan kepada Allah subhanahu wa ta’ala atas segala karunia-Nya sehingga karya ilmiah ini berhasil diselesaikan. Tema yang dipilih dalam penelitian yang dilaksanakan sejak bulan Mei 2015 ini ialah uji usability, dengan judul Uji Usability dengan Metode Cognitive Walkthrough pada Situs Web Perpustakaan Universitas Mercu Buana Jakarta.
Terima kasih penulis ucapkan kepada Bapak DrEng Wisnu Ananta Kusuma, ST MT dan Bapak DrEng Heru Sukoco, SSi MT selaku pembimbing, serta Bapak Irman Hermadi, SKom MS PhD yang telah banyak memberi saran. Di samping itu, penghargaan penulis sampaikan kepada Universitas Mercu Buana Jakarta yang telah memberikan beasiswa selama mengikuti program pascasarjana IPB, staf Perpustakaan Universitas Mercu Buana Buana Jakarta yang telah membantu selama pengumpulan data. Ungkapan terima kasih juga disampaikan kepada orang tua, istri dan putri tercinta seta rekan-rekan kampus, atas segala doa dan bantuannya.
Semoga Allah SWT terus memberikan ridho-Nya dan ditambahkan ilmu pengetahuan-Nya kepada penulis, agar terus dapat menghasilkan karya-karya ilmiah bermutu dan bermanfaat bagi perkembangan ilmu pengetahuan dan masyarakat pada umumnya. Amin.
DAFTAR ISI
DAFTAR TABEL ix
DAFTAR GAMBAR ix
DAFTAR LAMPIRAN ix
1 PENDAHULUAN 1
Latar Belakang 1
Perumusan Masalah 2
Tujuan penelitian 3
Manfaat penelitian 3
Ruang lingkup Penelitian 3
2 TINJAUAN PUSTAKA 3
Usability 3
Situs Web 5
Pemilihan Responden 5
Uji usability 6
Cognitive Walkthrough 6
Prosedur uji usability dengan cognitive walkthrough 8
Penelitian-penelitian tentang uji usability 8
3 METODE PENELITIAN 9
Objek penelitian 9
Metode penelitian 9
Bahan dan Alat 14
4 HASIL DAN PEMBAHASAN 14
Pelaksanaan uji coba skenario 14
Karakteristik Responden 14
Pengujian usability situs web Perpustakaan UMB 16
Analisis Hasil Pengujian Usability 22
Masalah-Masalah dan Rekomendasi Perbaikan Situs Web 25
5 SIMPULAN DAN SARAN 28
Simpulan 28
Saran 29
DAFTAR PUSTAKA 30
DAFTAR TABEL
1 Model usability menurut Nielsen dan Sheiderman 4
2 Skenario tugas (ST) uji usability yang harus dikerjakan oleh responden 12
3 Hasil rekapitulasi karakteristik responden 15
4 Rekapitulasi jumlah waktu penyelesaian skenario tugas (detik) 21 5 Masalah dan rekomendasi perbaikan antarmuka situs web 25
DAFTAR GAMBAR
1 Persentase jumlah permasalahan usability yang ditemukan berdasarkan
jumlah penguji menurut Nielsen (2000) 5
2 Tahapan pengujian cognitive walkthrough (Jacobsen dan John 2000) 7
3 Tampilan antarmuka situs web Perpustakaan UMB 10
4 Diagram alir penelitian 10
5 Persentase jumlah pengunjung 2011-2014 16
6 Persentase responden menyelesaikan skenario tugas 18
7 Tingkat responden menyelesaikan skenario tugas 18
8 Jumlah kesalahan yang dilakukan oleh responden 19
9 Jumlah kesalahan setiap skenario tugas 20
10 Jumlah waktu (detik) masing-masing responden 21
11 Persentase skenario tugas yang berhasil diselesaikan 22
12 Rata-rata jumlah waktu per skenario tugas 22
DAFTAR LAMPIRAN
1 Prakata dan peraturan pelaksanaan uji usability 33
2 Form pernyataan persetujuan kesediaan direkam 34
3 Data diri responden 35
4 Skenario tugas uji usability 37
5 Antarmuka situs web perpustakaan Universitas Mercu Buana 41 6 Jumlah pengunjung perpustakaan periode 2011-2014 41
7 Data responden 42
8 Penggunaan komputer responden 42
9 Penggunaan internet responden 43
10 Penggunaan perpustakaan UMB 45
11 Rekapitulasi penyelesaian skenario tugas 46
1
PENDAHULUAN
Latar Belakang
Perpustakaan perguruan tinggi sebagai salah satu unit pelaksana teknis diharuskan untuk selalu dapat memberikan layanan pengguna secara cepat dan tepat untuk mendukung tri darma perguruan tinggi. Perpustakaan Universitas Mercu Buana (UMB) berdiri pada 1985, sejalan dengan berdirinya perguruan tinggi. Sistem layanan yang digunakan pada waktu itu adalah sistem layanan tertutup atau closed access. Oleh karena itu untuk meningkatkan layanan terhadap pengguna, sistem layanan berpindah ke sistem layanan terbuka (open access) khususnya untuk layanan sirkulasi koleksi buku teks. Sementara untuk koleksi referensi dan koleksi e-tugas akhir (skripsi, tesis dan disertasi) masih menggunakan sistem layanan tertutup. Seiring dengan semakin bertambahnya jumlah pengguna tugas akhir yang terus meningkat maka sejak September 2008 digunakan sistem layanan terbuka.
Pada sistem layanan terbuka pengguna dapat mengakses secara langsung ke sumber informasi yang diinginkan. Salah satu kendala yang dihadapi petugas pelayanan adalah seringnya pengguna yang bertanya kepada petugas mengenai ada tidaknya informasi yang pengguna perlukan ada diperpustakaan atau tidak. Pengguna bertanya secara langsung kepada petugas atau melalui telepon jika memerlukan informasi yang terkait dengan perpustakaan. Demikian juga dengan para dosen yang memerlukan abstrak dan lembar pengesahan tugas akhir dari mahasiswa bimbingannya, para pengajar lebih memilih datang ke perpustakaan daripada mengakses dari ruang kerjanya, meskipun informasi yang diperlukan dapat diperoleh melalui situs web Perpustakaan UMB.
Pemanfaatan kemajuan teknologi informasi dan komunikasi (TIK) dalam menjalankan proses operasional perpustakaan menjadi suatu keharusan agar perpustakaan tidak ditinggalkan para penggunanya. Salah satunya dengan pembangunan situs web perpustakaan yang dapat memenuhi kebutuhan dari para penggunanya. Situs web perpustakaan UMB dibangun sejak 2009. Tujuan pembangunan situs web adalah memberikan layanan informasi kepada pengguna secara efektif dan efisien yang pada akhirnya kepuasan pengguna dapat tercapai. Dengan situs web diharapkan tingkat penggunaan sumber daya dan layanan perpustakaan meningkat.
Penggunaan situs web perpustakaan UMB dapat dilihat berdasarkan laporan jumlah hit situs web. Laporan jumlah hit situs web perpustakaan UMB berjumlah 2.539 hits per bulan pada tahun 2012, sejumlah 8.874 hits per bulan pada tahun 2013, dan sejumlah 13.050 hits per bulan pada tahun 2014 dan sejumlah 13.348 pada tahun 2015. Sementara itu jumlah civitas akademika UMB yang harus dilayani oleh perpustakaan sebesar 29.403 terdiri dari mahasiswa tahun 2014 sebanyak 10.760, mahasiswa tahun 2013 sebanyak 10.639 mahasiswa dan tahun 2012 sebanyak 6.835 mahasiswa. Jumlah dosen sebanyak 731 dan 438 karyawan.
2
situs web itu. Usability merupakan cerminan dari kebiasan yang umumnya dilakukan pengguna situs. Usability merupakan hal yang penting agar sebuah situs dapat bertahan. Situs yang memiliki usability tinggi memiliki peluang untuk lebih sering dikunjungi. Usability menurut Tullis dan Albert (2008) adalah kemampuan pengguna untuk menggunakan sesuatu agar menyelesaikan tugas dengan sukses. Usability adalah atribut kualitas yang menilai seberapa mudahnya antarmuka dapat digunakan (Nielsen 2012). Tingkat usability menentukan apakah sistem itu akan bermanfaat, diterima pengguna dan bertahan lama dalam penggunaannya. Sistem dengan usability tinggi akan membuat sistem itu populer dalam waktu lama dan luas penggunaannya karena banyak orang akan merasakan manfaatnya, begitu juga sebaliknya (Aelani dan Falalah 2012). Usability merupakan sebuah faktor penting dalam sebuah antarmuka perpustakaan digital. Pengguna berinteraksi dengan situs web perpustakaan yang berasal dari berbagai latar belakang, pengetahuan dan kebutuhan (Ali dan Aasim 2009).
Pengujian usability perlu dilakukan untuk mengetahui bagaimana pengguna menggunakan sistem dan mengidentifikasi masalah-masalah yang dihadapi ketika pengguna menggunakan situs web. Pengujian dengan melibatkan pengguna merupakan metode usability yang paling mendasar untuk dilakukan. Perpustakaan perguruan tinggi menawarkan layanan dan koleksi melalui situs web perpustakaan. Perancangan situs web yang dapat memenuhi kebutuhan penggunanya menjadi hal yang sangat penting. Alasan utama perancangan situs web berbasis pengguna adalah untuk memudahkan pengguna dalam mengakses informasi ilmiah, yang telah disediakan pada situs web perpustakaan. Usability situs web meningkat maka dapat disimpulkan bahwa akses pengguna terhadap situs web dan penggunaan informasi ilmiah juga akan meningkat (George 2008).
Sejak peluncuran situs web perpustakaan UMB tahun 2009 sampai dengan sekarang ini, uji usability situs web belum pernah dilakukan. Berdasarkan hal tersebut uji usability perlu dilakukan untuk mengidentifikasi dan menganalisis permasalahan-permasalahan yang dihadapi pengguna ketika menggunakan situs web perpustakaan UMB. Dengan demikian uji usability penting untuk dilakukan untuk mendapatkan antarmuka yang sesuai dengan kebutuhan dan kepuasan pengguna dalam menggunakan situs web. Metode yang digunakan adalah cognitive walkthrough. Metode cognitive walkthrough dapat membantu memastikan desain antarmuka situs web memenuhi pemetaan pemikiran pengguna, mengidentifikasi bagian desain antarmuka yang biasanya tidak dipahami oleh dosen dan mahasiswa (Wook et al. 2012).
Perumusan Masalah
Rumusan permasalahan pada penelitian ini adalah :
1) Mengapa tingkat kunjungan situs web perpustakaan UMB rendah dibanding dengan populasi Universitas Mercu Buana?
2) Permasalahan apa saja yang dihadapi oleh pengguna ketika menggunakan situs web Perpustakaan UMB?
3
Tujuan penelitian
Tujuan penelitian ini untuk mengidentifikasi dan menganalisis permasalahan apa saja yang dihadapi oleh pengguna ketika menggunakan situs web perpustakaan UMB. Selain itu, memberikan rekomendasi perbaikan antarmuka situs web Perpustakaan UMB kepada pengembang berbasis kebutuhan pengguna agar lebih user friendly.
Manfaat penelitian
Penelitian ini dilakukan untuk memperoleh masukan dari pengguna mengenai antarmuka situs web perpustakaan yang lebih layak (usable).
Ruang lingkup Penelitian
Ruang lingkup penelitian ini adalah :
1. Objek penelitian ini akan dilakukan pada lingkup situs web Perpustakaan UMB yang disimpan pada URL digilib.mercubuana.ac.id
2. Katalog online yang diuji adalah katalog Perpustakaan Kampus Meruya & Cibubur
3. Responden penelitian meliputi mahasiswa, dosen, dan karyawan UMB yang datang ke Perpustakaan UMB
4. Pengujian usability mencakup dua komponen yaitu efektivitas dan efisiensi. Efektivitas berkaitan dengan tingkat penyelesaian skenario tugas sedangkan efisiensi berhubungan dengan jumlah waktu yang diperlukan untuk menyelesaikan dan jumlah kesalahan yang dilakukan pada saat menyelesaikan skenario tugas.
2
TINJAUAN PUSTAKA
Usability
Menurut International Standards Organization ISO 9241-11 (1998) yang mendefinisikan usability sebagai sejauh mana suatu produk dapat digunakan oleh pengguna tertentu untuk memperoleh tujuan tertentu dengan efektivitas, efisiensi, dan kepuasan dalam konteks pengguna tertentu. Selanjutnya Usability Professionals Association (UPA), memberikan definisi usability yang lebih berfokus kepada proses pengembangan produk, yaitu suatu pendekatan terhadap pengembangan produk yang menggabungkan umpan balik pengguna melalui siklus pengembangan untuk mengurangi biaya dan menciptakan produk dan alat yang memenuhi kebutuhan pengguna. Menurut Krug dalam Tullis dan Albert (2008) usability berarti memastikan bahwa sesuatu bekerja dengan baik untuk tujuan tertentu tanpa membuat penggunanya menjadi putus asa.
Menurut Nielsen (2012) usability adalah atribut kualitas yang menilai seberapa mudahnya antarmuka dapat digunakan. Usability sebuah sistem memiliki lima komponen yaitu :
1. Learnability : mengukur kemudahan penggunaan aplikasi oleh pengguna aplikasi untuk pertama kali.
4
3. Memorability : pengguna dapat mengingat langkah-langkah atau proses yang dilakukan dalam mencapai tujuannya dengan mudah.
4. Errors : pengguna melakukan banyak error, pengaruh error, dan bagaimana pengguna mengatasi error tersebut.
5. Satisfaction : perasaan pengguna ketika menggunakan desain aplikasi atau tanggapan terhadap desain aplikasi secara keseluruhan.
Menurut Simarmata (2010) menjelaskan bahwa usability dapat diartikan sebagai batas sebuah produk yang dapat digunakan oleh pengguna tertentu di dalam konteks penggunaan tertentu untuk mencapai tujuan tertentu secara efektif, efisien dan memuaskan pengguna tertentu. Menurut Nielsen dan Sheiderman dan Plaisant dalam Simarmata (2010) menjelaskan dalam model usability seperti terlihat pada Tabel 1.
Tabel 1 Model usability menurut Nielsen dan Sheiderman ISO 9241-11
(1998) Nielsen (1994) Shneiderman dan Plaisant (2005) Efektivitas Efisiensi Kecepatan kinerja
Kemampuan mempelajari Waktu untuk mempelajari Kemampuan mengingat Ingatan melebihi waktu
Efisiensi Kesalahan / keamanan Rata-rata kesalahan oleh pengguna
Kepuasan Kepuasan Kepuasan subyektif
Menurut Rubin (2008) usability meliputi lima hal berikut yaitu 1) Usefulness, 2) Efficiency 3) Effectiveness 4) Satisfaction 5) Accessibility. Jika produk itu sebuah situs web perpustakaan, menurut McMullen dalam Zuntriana (2014) ada tujuh syarat yang harus dipenuhi yaitu 1) menyediakan akses katalog, 2) menyediakan akses indeks berkala dan pangkalan data 3) menyediakan materi referensi online 4) menyediakan akses pada sumber-sumber dalam web dan mesin pencari 5) melayankan informasi tentang perpustakaan, beserta dengan layanan dan peraturan yang dimiliki 6) menyediakan bantuan berupa tutorial, bantuan online dan e-mail 7) menggunakan antarmuka yang mudah digunakan sehingga membantu pengguna menemukan informasi yang mereka perlukan (Zuntriana 2014). Sebuah produk atau jasa disebut usable apabila produk atau jasa itu berguna, efisien, efektif, memuaskan, mudah dipelajari, dan mudah diakses (Rubbin dan Chisnell 2008).
Secara umum, pengukuran usability sebuah situs web bergantung pada bagaimana pengguna dapat menyelesaikan skenario tugas yang diberikan. Menurut Tullis dan Alert (2008) terdapat beberapa parameter usability yang dapat digunakan yaitu :
1) Task success yaitu keberhasilan responden dalam menyelesaikan skenario tugas yang diberikan
2) Time-on-task yaitu banyaknya waktu yang digunakan untuk menyelesaikan skenario tugas
5 4) Efficiency yang dapat dinilai dengan memeriksa jumlah usaha responden yang dikeluarkan untuk menyelesaikan tugas, seperti jumlah klik di situs web atau jumlah tekanan tombol pada ponsel
5) Learnability adalah cara untuk mengukur bagaimana kinerja perubahan dari waktu ke waktu
Situs Web
Menurut Simarmata (2010) situs web merupakan sebuah sistem dengan informasi yang disajikan dalam bentuk teks, suara dan lain-lain yang tersimpan dalam sebuah server web internet yang disajikan dalam bentuk hiperteks. Situs web memiliki sejumlah halaman web dengan topik yang saling terkait. Media untuk menampilkan diri di internet salah satunya dengan membangun situs web. Halaman utama situs web perpustakaan Universitas Mercu Buana dan katalog online kampus Meruya & Cibubur dapat dilihat pada Lampiran 5.
Pemilihan Responden
Menurut Nielsen (2000) jumlah penguji dapat mempengaruhi identifikasi masalah usability situs web. Satu penguji memungkinkan untuk dapat mengidentifikasi sekitar 25 persen masalah uji usability, sedangkan 15 penguji memungkinkan kita dapat mengidentifikasi 100 persen masalah. Di sisi lain Nielsen (2000) menunjukkan bahwa evaluasi usability dibuat dengan 15 penguji tetapi pada sisi lain juga ia menganggap bahwa pengujian dapat dipercaya dengan lima penguji. Menurutnya pengujian dengan lima penguji dapat mengidentifikasi sebagian besar masalah uji usability (sekitar 85 persen) tanpa melibatkan banyak sumber daya atau pengguna seperti terlihat pada Gambar 1.
Gambar 1 Persentase jumlah permasalahan usability yang ditemukan berdasarkan jumlah penguji menurut Nielsen (2000)
6
walkthrough sering termasuk tim pengembangan sebagai reviewer, pengembang, desainer, personil usability dan ahli konten. Beberapa cognitive walkthrough meliputi target end user sebagai peserta dan pembahas atau reviewer (George 2008).
Uji usability
Informasi langsung dari pengguna tentang bagaimana pengguna menggunakan sistem serta permasalahannya yang dihadapi akan diperoleh dari proses uji usability yang melibatkan pengguna. Dengan mengamati bagaimana pengguna berinteraksi dengan fitur-fitur situs web, akan mendapatkan pembelajaran usaha keras dan keberhasilan pengguna dalam mengakses situs web. Pada uji usability akan memperoleh sejumlah masalah-masalah usability yang tidak diketahui jalan keluarnya. Dalam beberapa menit uji usability akan mempelajari elemen pada situs web yang sulit digunakan atau dimengerti. Pada uji usability tidak hanya feasible (layak) tetapi praktik sustainable (berkelanjutan), memiliki potensi yang mengakibatkan perubahan atau perbaikan yang besar pada content (isi), design (desain) dan layout (tampilan) situs web. Hasil uji usability mengarahkan keputusan dan memungkinkan untuk mengambil lompatan besar menuju user experience (pengalaman pengguna) yang lebih baik (Blakiston 2015)
Cognitive Walkthrough
Cognitive walkthrough pertama kali dicetuskan oleh Polson & rekan dalam upaya memperkenalkan teori yang bersifat psikologi kepada teknik subyektif walkthrough dan informal. Pada cognitive walkthrough, urutan tindakan merujuk kepada langkah-langkah pada antarmuka yang diperlukan pengguna untuk mencapai tujuan tertentu. Menurut Lewis dalam Bligard dan Osvalder (2013) cognitive walkthrough adalah metode evaluasi usability di mana satu atau lebih evaluator bekerja melalui serangkaian skenario tugas dan meminta sejumlah pertanyaan dari perspektif pengguna. Menurut Hwang (2010) cognitive walkthrough merupakan metode berbasis teori, di mana evaluator mengevaluasi setiap langkah yang diperlukan untuk melakukan skenario tugas berbasis skenario, dan mencari masalah usability yang akan mengganggu belajar dengan eksplorasi. Cognitive walkthrough dapat dilakukan menggunakan deskripsi tekstual dari urutan aksi (tindakan), sketsa, kertas prototipe, dan produk yang sudah bekerja (Wilson 2014). Dalam cognitive walkthrough, ahli, atau kadang-kadang non ahli, mengoperasikan situs web dan menyelesaikan skenario tugas nyata untuk menemukan masalah usability (George 2008).
Tujuan utama cognitive walkthrough adalah menyatakan mudahnya sistem dipelajari. Beberapa hal yang harus diperhatikan pada waktu menggunakan metode cognitive walkthrough (Dix et al. 2004) adalah :
1. Sebuah spesifikasi atau prototipe sistem. Tidak harus lengkap, tetapi harus detail
2. Deskripsi mengenai skenario tugas yang harus dikerjakan penguji pada sistem. Skenario tugas yang diberikan hendaknya merupakan hal-hal yang mereka kerjakan
7 4. Indikasi mengenai siapa penguji, bagaimana pengalaman dan pengetahuan
mereka.
Pada metode cognitive walkthrough harus diupayakan untuk mencari jawaban atas pertanyaan berikut :
1) Apakah efek dari tindakan yang sama bagi tujuan pengguna pada saat itu? setiap tindakan pengguna akan memiliki efek tertentu dalam sistem. Apakah efek itu sama dengan apa yang pengguna yang ingin dicapai pada saat ini? Sebagai contoh, jika efek tindakan adalah untuk menyimpan dokumen, apakah 'menyimpan dokumen' yang pengguna ingin lakukan?
2) Apakah pengguna akan melihat bahwa tindakan tersebut ada? Pengguna akan melihat tombol atau item menu, misalnya, yang digunakan untuk menghasilkan tindakan? Ini tidak menanyakan apakah mereka akan menyadari bahwa tombol adalah salah satu yang mereka inginkan.
3) Setelah pengguna menemukan tindakan yang benar, apakah pengguna tahu bahwa itu salah satu yang pengguna butuhkan? Hal ini melengkapi pertanyaan sebelumnya. Ini satu hal untuk tombol atau menu yang akan terlihat, tetapi akankah pengguna menyadari bahwa itu adalah salah satu yang ia cari untuk menyelesaikan tugasnya? Dimana pertanyaan sebelumnya adalah tentang visibilitas tindakan, hal ini adalah tentang makna dan efek jelas.
4) Setelah tindakan dilakukan, apakan pengguna memahami feedback (umpan balik) yang akan pengguna dapatkan?
Sementara menurut Jacobsen dan John (2000) Cognitive walkthrough terdiri dari dua tahapan yaitu tahap persiapan (preparation) dan tahap eksekusi (execution). Tahapan persiapan meliputi studi literature, mempelajari sistem yang akan diuji, menentukan responden dan menyusun skenario tugas yang harus dikerjakan oleh responden. Tahapan eksekusi meliputi urutan aksi walkthrough dan perekaman masalah. Tahapan pengujian cognitive walkthrough dapat dilihat pada Gambar 2.
Gambar 2 Tahapan pengujian cognitive walkthrough (Jacobsen dan John 2000)
8
Prosedur uji usability dengan cognitive walkthrough
Menurut Wilson (2014) prosedur metode cognitive walkthrough meliputi : 1. Perencanaan metode cognitive walkthrough. Langkah-langkah mendasar pada
cognitive walkthrough sebagai berikut : a) Menentukan pengguna produk
b) Tentukan skenario tugas dan jenisnya (cara yang berbeda untuk melakukan skenario tugas yang sama) yang paling tepat untuk walkthrough.
c) Mengembangkan aturan-aturan dasar untuk walkthrough d) Menghasilkan urutan tindakan untuk setiap tugas
e) Memberikan representasi (gambaran) antarmuka
f) Menyusun sekelompok evaluator untuk cognitive walkthrough 2. Pelaksanaan cognitive walkthrough melalui langkah-langkah berikut :
a) Walkthrough melalui urutan tindakan untuk setiap skenario tugas dari perspektif yang "khas" pengguna produk.
b) Catat atau rekam keberhasilan, kegagalan, saran desain, masalah yang tidak keluar langsung dari walkthrough, asumsi pengguna, komentar tentang tugas-tugas, dan informasi lain yang mungkin berguna untuk desain. Gunakan form standar untuk proses ini sehingga dapat dengan mudah merekam dan melacak informasi.
3. Pasca cognitive walkthrough meliputi langkah-langkah berikut :
a) Mengumpulkan para pemangku kepentingan (stakeholders) untuk meninjau hasil cognitive walkthrough secara bersama-sama
b) Mendiskusikan solusi terbaik untuk masalah user interface yang ditemukan pada walkthrough
c) Menentukan solusi yang akan diterapkan
d) Mengevaluasi proses cognitive walkthrough dan menentukan perbaikan yang dapat dilakukan untuk walkthrough berikutnya.
Persiapan cognitive walkthrough dapat dijelaskan dengan mempertimbangkan pernyataan-pernyataan (George 2008) berikut :
1. Menentukan pengguna sistem
2. Menentukan skenario tugas yang akan dianalisis
3. Menentukan langkah-langkah aksi untuk masing-masing tugas 4. Menentukan definisi antarmuka
Penelitian-penelitian tentang uji usability
Pada tahun 2009 Ali melakukan evaluasi usability terhadap perpustakaan digital Blekinge Tekniska Hogoskolan (BTH) dengan melakukan uji usability dengan metode think aloud, kuesioner dan wawancara. Hasil dari penelitian ini merekomendasikan perbaikan perpustakaan digital BTH terkait dengan fungsi dan layanan. Rekomendasi utama terkait dengan usability adalah main library page (halaman utama perpustakaan) harus diperluas dari sisi fungsi dan layanan (Ali dan Aasim 2009).
9 membingungkan pengguna (Ebenezer 2003). Manzari dan Trinidad (2006) melakukan uji usability pada situs web perpustakaan LIS (Library and Information Science) dengan heuristic evaluation. Masalah-masalah pengguna terbesar adalah navigasi untuk kembali dari halaman utama situs web perpustakaan ke situs web LIS. Oleh sebab itu disarankan situs web LIS disorot (highlight) lebih menonjol di situs web utama perpustakaan (Manzari dan Trinidad-Christensen 2006).
Maryati (2014) menjelaskan bahwa pengujian antarmuka web perpustakaan digital (E-Library) pada Pusat dokumentasi dan Informasi Ilmiah-LIPI (PDII-Ilmiah-LIPI) menggunakan metode cognitive walkthrough menemukan bahwa kendala yang dihadapi pengguna pada umumnya yaitu menemukan web “E-Library”, menentukan fasilitas pencarian yang digunakan, dan melakukan pencarian judul artikel yang diinginkan. Nurhadryani et al. (2013) melakukan pengujian usability untuk meningkatkan antarmuka aplikasi mobile menggunakan metode observasi langsung dan kuesioner. Penelitian ini menunjukkan bahwa metode observasi langsung pada anak-anak dapat meningkatkan nilai usability M-Breakfast Nutrition dari 78.4% menjadi 91.1% sehingga diharapkan aplikasi dapat sesuai dengan tujuan agar dapat diterima oleh pengguna. Aelani melakukan penilaian usability sistem perwalian online di Stmik Amik Bandung menggunakan USE Questionnaire dengan tiga parameter utama yaitu Usefullness, Satisfaction dan Ease of Use (Aelani dan Falahah 2012). Hasil penelitiannya menyebutkan bahwa sistem perwalian online di Stmik Amik Bandung secara keseluruhan memiliki usability yang cukup baik, mudah dan membantu user menjalankan tugasnya dengan efisien.
3
METODE PENELITIAN
Objek penelitian
Objek yang akan dilakukan pengujian adalah situs web Perpustakaan Universitas Mercu Buana Jakarta yang disimpan pada URL http://digilib.mercubuana.ac.id. Situs web yang dibangun sejak tahun 2009 ini memiliki beberapa menu atau fasilitas yaitu Digital Library, Katalog, Daftar E-Book, Judul Buku Baru, E-Journal, Statistik, Useful Link, Link Perpustakaan Lain, Yahoo Messenger, Cek Pinjaman Buku, Pengumuman, Profil, Fasilitas, Layanan, Peraturan, Hubungi Kami seperti terlihat pada Gambar 3.
Metode penelitian
Metode pada penelitian ini terdiri dari beberapa tahapan yaitu pengujian cognitive walkthrough, analisis hasil pengujian, dan rekomendasi perbaikan antarmuka situs web seperti ditampilkan pada Gambar 4. Tahapan pelaksanaan uji usability dengan metode cognitive walkthrough dapat dijelaskan dibawah ini: 1. Pengujian cognitive walkthrough
10
Gambar 3 Tampilan antarmuka situs web Perpustakaan UMB
Gambar 4 Diagram alir penelitian
Analisis hasil pengujian Mulai
Penyusunan Rekomendasi
usable interface
Selesai
Tahapan-tahapan aksi walkthrough
dan mencatat masalah-masalah
Mempelajari sistem yang akan diuji
Mempelajari cognitive
walkthrough
Mentransformasi tugas menjadi tahapan-tahapan aksi
F
as
e
p
er
si
ap
an
F
as
e
ek
se
k
u
si
11 Tahapan eksekusi meliputi urutan aksi walkthrough dan perekaman masalah (Jacobsen dan John 2000). Pengujian cognitive walkthrough yang akan dilakukan pada penelitian ini mengadopsi metode tersebut.
A. Tahapan persiapan
a. Studi literatur mengenai cognitive walkthrough dan mempelajari sistem yang akan diuji.
Studi ini bertujuan untuk memberikan gambaran teori dan konsep yang berkaitan dengan cognitive walkthrough dan gambaran mengenai situs web Perpustakaan UMB pada saat ini yang terdiri dari beberapa menu dan sub menu yaitu :
1. Digital Library berisi koleksi digital yang dapat diakses oleh pengguna baik fullteks maupun hanya abstraknya saja. Menu ini yang terdiri buku, e-tugas akhir, jurnal, Jurnal UMB Jakarta, penelitian, penelitian, book, e-artikel.
2. Katalog yaitu menu pencarian koleksi perpustakaan yang terdiri atas koleksi Meruya Cibubur, Koleksi Menteng, Buku Baru Meruya, Buku Baru Menteng
3. Profil berisi informasi singkat perpustakaan
4. Fasilitas berisi tentang fasilitas yang ada di perpustakaan
5. Layanan berisi tentang layanan yang diberikan kepada pengguna 6. Peraturan berisi peraturan yang berlaku di perpustakaan
7. Hubungi Kami berisi alamat dan alamat perpustakaan
8. Login Mahasiswa yaitu menu yang dikhususkan kepada anggota perpustakaan untuk menggunakan koleksi tertentu
9. Judul Buku Baru berisi informasi judul-judul buku terbaru 10. Daftar e-book berisi koleksi e-book yang dimiliki perpustakaan
11. Pengumuman berisi informasi yang perlu disampaikan oleh perpustakaan 12. Link perpustakaan Lain berisi daftar alamat situs web dari perpustakaan lain
yang direkomendasikan
13. Useful Links berisi alamat situs web yang terkait dengan situs web Universitas Mercu Buana
b. Menentukan pengguna yang akan menjadi responden
Responden penelitian ini meliputi pengguna yang menjadi target utama dari Perpustakaan UMB yaitu mahasiswa, dosen, dan karyawan yang menjadi ruang lingkup pada penelitian ini. Pemilihan responden menggunakan teknik purposive sampling yaitu pemilihan sampel yang dilakukan menggunakan kriteria tertentu. Data pengunjung perpustakaan dikelompokkan berdasar profesi pengunjung perpustakaan yang telah ditentukan yaitu mahasiswa, dosen dan karyawan.
Responden yang dipilih adalah pengguna yang telah mahir dalam mengoperasikan komputer dan mencari informasi menggunakan situs web. Pertimbangan lain adalah pengetahuan, keterampilan dan frekuensi responden dalam menggunakan internet, web browser, website, dan search engine.
12
Skenario tugas yaitu kumpulan tugas-tugas yang harus dikerjakan oleh responden pada saat menggunakan situs web perpustakaan UMB. Setiap skenario tugas dibuatkan sebuah analisis skenario tugas yaitu tahapan-tahapan baku yang seharusnya dilakukan oleh responden pada saat melaksanakan skenario tugas yang diberikan. Skenario tugas dan tahapan-tahapan yang harus diselesaikan oleh responden dapat dijelaskan pada Lampiran 4. Menurut Tullis dan Albert (2008) jumlah skenario tugas sebaiknya antara 5 – 14 skenario tugas. Tabel 2 menjelaskan skenario tugas yang harus dikerjakan oleh responden. Skenario tugas ini ditentukan berdasarkan fitur-fitur yang tersedia di situs web perpustakaan UMB serta pengamatan di lapangan kebutuhan apa yang paling sering ditanyakan pengguna ketika datang ke perpustakaan.
Tabel 2 Skenario tugas (ST) uji usability yang harus dikerjakan oleh responden
ST Tujuan Tahapan
1 Mencari judul buku dan pengarang 9
2 Mencari judul jurnal 7
3 Mencari artikel 6
4 Mencari abstrak e-tesis 8
5 Mencari artikel dari basis data ProQuest 9
6 Melihat sejarah pinjaman buku 6
7 Mencari informasi jam layanan perpustakaan 3
Uji coba skenario tugas
Uji coba skenario tugas dilakukan untuk mengetahui bahwa skenario dan peralatan pendukung berjalan dengan baik dan dapat mendapatkan data yang diinginkan. Uji coba diberikan kepada 2 (dua) orang yang memiliki karakteristik yang sesuai dengan responden. Hasil dari uji coba ini bermanfaat untuk meminimalkan kesalahan-kesalahan pada saat pengujian dilaksanakan.
d. Urutan aksi (tindakan) walkthrough dan perekaman masalah
Perekaman dilakukan menggunakan perangkat lunak (software) penangkap aktivitas layar komputer. Software ini digunakan untuk merekam segala interaksi responden terhadap antarmuka situs web perpustakaan UMB. Beberapa contoh software yang dapat digunakan adalah CamStudio, SRecorder (screen Recording Software), Camtasia, Snagit dan Free Screen Recorder. Hasil dari perekaman data ini adalah video yang menggambarkan aktivitas responden pada waktu menyelesaikan tugas-skenario tugas uji usability. Pada penelitian ini parameter yang akan digunakan adalah kesuksesan tugas, jumlah waktu dan jumlah kesalahan yang dilakukan responden ketika menyelesaikan tugas. Urutan aksi pada pengujian usability ada pada lampiran. Deskripsi skenario tugas dapat dilihat pada Lampiran 4.
B. Tahapan eksekusi
13 1. Responden menggunakan ruangan dengan perlengkapan yang telah disiapkan 2. Responden mengisi dan menandatangani surat persetujuan seperti pada
Lampiran 2 serta mendapatkan penjelasan tentang tujuan dari uji usability. 3. Responden mendapatkan penjelasan tentang peraturan pelaksanaan uji
usability (Lampiran 1) dan lembar skenario tugas yang harus diselesaikan 4. Pengerjaan skenario tugas yang direkam menggunakan perangkat lunak
Camtasia Studio 8.5
2. Analisis hasil uji usability
Pada tahapan ini dilakukan analisis terhadap tingkat keberhasilan pengguna yaitu persentase skenario tugas yang berhasil diselesaikan dengan benar oleh responden, waktu penyelesaian tugas, dan jumlah kesalahan yang dilakukan oleh responden. Efektivitas berhubungan dengan tingkat penyelesaian skenario tugas oleh responden untuk mencapai tujuan dalam menggunakan situs web. Efisiensi berkaitan dengan jumlah waktu yang diperlukan responden dan jumlah kesalahan yang dilakukan oleh responden dalam mencapai tujuan. Tingkat kesalahan ini dapat digunakan untuk membantu memprioritaskan masalah-masalah dan untuk mengukur tingkat kesulitan skenario tugas dibandingkan dengan skenario tugas yang lainnya (George 2008). Hasilnya dapat menunjukkan kendala-kendala yang dihadapi oleh pengguna ketika berinteraksi dengan situs web perpustakaan UMB.
a. Tingkat penyelesaian skenario tugas
Tingkat penyelesaian skenario tugas adalah ukuran dari jumlah keberhasilan penyelesaian untuk setiap skenario tugas. Tingkat penyelesaian skenario tugas, sebuah ukuran tingkat kesulitan skenario tugas, dapat digunakan untuk mengidentifikasi masalah-masalah prioritas. Tingkat penyelesaian skenario tugas merupakan persentase skenario tugas yang dapat diselesaikan oleh pengguna dengan benar (George 2008). Sebuah skenario tugas disebut sukses apabila skenario tugas yang diberikan tampil pada layar monitor.
b. Jumlah kesalahan yang dilakukan
Merupakan sebuah ukuran jumlah kesalahan yang dilakukan oleh untuk setiap skenario tugas. Kesalahan yang terjadi pada antarmuka pengguna berpotensi menjadi salah satu bagian sumber informasi yang berguna. Kesalahan menunjukkan di mana ada masalah dan untuk menentukan seberapa parah kesalahan itu. Informasi ini berguna untuk mengukur apakah produk ini efektif dan efisien untuk skenario tugas tertentu. Untuk menghitung tingkat kesalahan harus terlebih dahulu ditentukan jumlah kesalahan untuk setiap skenario tugas. Tingkat kesalahan skenario tugas digunakan untuk membantu mengidentifikasi masalah-masalah prioritas (George 2008).
c. Jumlah waktu yang diperlukan untuk menyelesaikan skenario tugas
14
paling sedikit yang diperlukan oleh pengguna menyelesaikan skenario tugas. Waktu penyelesaian skenario tugas berguna sebagai acuan pada proses desain ulang.
Video rekaman penyelesaian skenario tugas dari masing-masing responden dilakukan analisis jumlah waktu yang diperlukan dari masing-masing skenario tugas. Perhitungan waktu dimulai dari responden melakukan langkah pertama dan dianggap selesai ketika responden sudah berpindah melakukan skenario tugas berikutnya atau sudah tidak menggerakkan pointer pada mouse.
3. Identifikasi Masalah dan Rekomendasi Perbaikan
Setelah menganalisis hasil uji usability maka dilakukan identifikasi masalah-masalah yang dihadapi responden ketika menggunakan situs web perpustakaan UMB. Masalah yang timbul pada masing-masing skenario tugas akan diberikan rekomendasi perbaikan yang menjadi prioritas untuk segera dilakukan.
Bahan dan Alat
Perangkat lunak dan alat yang digunakan pada penelitian ini adalah Camtasia Studio versi 8.5.0 for Windows sebagai perangkat lunak screen capture, Google Chrome, Mozilla firefox 40.0 dan Internet Explorer 9 versi sebagai Internet Browser, dan Microsoft Excel 2007 untuk mengolah data. Adapun perangkat keras yang digunakan antara lain laptop dengan sistem operasi Windows 7 yang dilengkapi dengan jaringan internet dan skenario tugas untuk pengujian usability. Responden yang dipilih adalah mahasiswa, karyawan dan dosen yang sedang mengunjungi Perpustakaan Universitas Mercu Buana.
4
HASIL DAN PEMBAHASAN
Pelaksanaan uji coba skenario
Uji coba skenario merupakan pengujian skenario tugas kepada responden agar menghasilkan data yang sesuai dengan harapan dan mengetahui hal-hal yang menjadi kendala responden dalam memahami skenario tugas yang akan harus dikerjakan. Hasil dari uji coba adalah menghasilkan skenario tugas yang lebih mudah dipahami oleh responden serta perkiraan waktu yang harus disiapkan oleh responden untuk mengerjakan skenario tugas.
Karakteristik Responden
15 pengunjung karyawan (0.4%) serta mayoritas pengunjung non UMB berstatus sebagai mahasiswa sehingga sudah terwakili dengan responden dari pengunjung mahasiswa UMB.
Menurut Nielsen (2000) pengujian dengan 5 penguji dapat mengidentifikasi sebagian besar masalah uji usability (sekitar 85%) tanpa melibatkan banyak sumber daya atau pengguna. Persentase besarnya jumlah pengunjung yang diperoleh dapat dilihat pada Gambar 5.
Responden yang telah menjalankan uji usability adalah mahasiswa, dosen, dan karyawan yang berkunjung ke perpustakaan UMB sejumlah 10 orang. Data responden dapat dijelaskan pada Lampiran 7. Rata-rata penggunaan komputer dari masing-masing responden adalah lebih 3 kali per minggu (Lampiran 8). Seluruh responden menggunakan internet setiap hari (Lampiran 9). Rata-rata responden telah menggunakan perpustakaan lebih dari 6 bulan (Lampiran 10). Hasil rekapitulasi penggunaan komputer dan internet dapat dilihat pada Tabel 3.
Tabel 3 Hasil rekapitulasi karakteristik responden
16
Penggunaan internet
No. Keterangan Uraian Jumlah (%)
1 Frekuensi penggunaan internet
Setiap hari 10 100
1 kali per minggu 0 0
3 kali per minggu 0 0
1 kali per bulan 0 0
Total 8 100
2 Browser yang sering digunakan
Google chrome 9 56
Mozilla firefox 3 19
Internet eksplorer (IE)
2 13
Opera 1 6
Safari 0 0
Netscape Navigator 0 0
Lainnya 1 6
Total 16 100
3 Mesin pencari yang sering digunakan
Google 9 90
yahoo 1 10
Bing 0 0
Msn 0 0
Ask 0 0
Library catalogues 0 0
Federated searches 0 0
Library databases 0 0
Lainnya 0 0
Total 10 100
Mahasiswa , 96.2% Dosen,
3.4%
Karyawan, 0.4%
Pengunjung Perpustakaan 2011 - 2014
17
Pengujian usability situs web Perpustakaan UMB
Responden ditempatkan pada salah satu ruangan yang telah disiapkan di Perpustakaan UMB. Ruang ini telah dilengkapi dengan laptop yang tersambung dengan jaringan internet. Untuk merekam segala aktivitas responden pada saat menyelesaikan skenario tugas yang diberikan, maka laptop dipasang perangkat lunak Camtasia studio 8.
Uji usability diawali dengan penjelasan kepada responden mengenai tujuan dari pengujian ini perlu dilakukan, pemahaman tentang usability dilakukan bukan terhadap responden, tetapi uji terhadap situs web perpustakaan UMB dan skenario tugas yang harus dilakukan oleh responden serta peraturan pelaksanaan selama uji usability berlangsung yang dapat dilihat pada Lampiran 1. Setelah responden memahami maka diberikan pernyataan persetujuan direkam seperti pada Lampiran 2. Data diri responden yang harus diisi dapat dilihat pada Lampiran 3. Setelah uji usability selesai, dilakukan penyimpanan data hasil perekaman dan diakhiri dengan ucapan terima kasih dan apabila masih diperlukan maka responden akan dihubungi kembali.
Tingkat Penyelesaian Skenario Tugas
Tingkat penyelesaian tugas adalah ukuran dari jumlah penyelesaian yang berhasil diselesaikan oleh responden untuk setiap tugasnya (George 2008). Tingkat penyelesaian skenario tugas diukur berdasar persentase skenario tugas yang diselesaikan secara benar oleh responden. Skenario tugas yang dapat diselesaikan oleh seluruh responden dengan benar sebanyak dua skenario tugas yaitu melihat sejarah pinjaman buku (skenario tugas 6) dan mencari jam layanan (skenario tugas 7). Sementara, skenario tugas yang tidak berhasil diselesaikan dengan benar oleh responden sebanyak lima skenario tugas yaitu mencari judul buku, mencari judul jurnal, mencari artikel, mencari abstrak e-tesis, dan mencari artikel dari basis data ProQuest. Hal ini menunjukkan bahwa rata-rata skenario tugas yang berhasil diselesaikan oleh responden sebesar 90%. Responden yang berhasil menyelesaikan skenario tugas sebesar 50% dan sisanya tidak berhasil menyelesaikan seluruh skenario tugas yang diberikan. Sebanyak dua responden (20%) hanya berhasil menyelesaikan skenario tugas sebesar 71%.
Rekapitulasi skenario tugas yang berhasil dan gagal diselesaikan oleh masing-masing responden dapat dijelaskan pada Lampiran 11. Hal ini menunjukkan bahwa masih ada kekurangan pada antarmuka situs web perpustakaan UMB mulai dari navigasi pada menu katalog online sampai dengan ketidakpahaman responden pada istilah e-tugas akhir dan e-thesis. Masalah ini sesuai dengan yang diungkapkan oleh Singley (2014) yaitu memahami perangkat penelusuran (pencarian) dan pengguna mengalami kesulitan dalam menemukan teks secara lengkap.
Hasil pengujian usability pada situs web Perpustakaan UMB menunjukkan tidak semua skenario tugas data diselesaikan dengan benar. Gambar 6 menunjukkan skenario tugas-skenario tugas yang dapat diselesaikan dan tidak dapat diselesaikan oleh responden.
18
perpustakaan (skenario tugas 7). Skenario tugas yang tidak berhasil diselesaikan oleh responden sebanyak 5 skenario tugas yaitu mencari judul dan pengarang buku (skenario tugas 1), mencari judul jurnal (skenario tugas 2), mencari artikel (skenario tugas 3), mencari abstrak e-tesis (skenario tugas 4), dan mencari artikel dari basis data ProQuest (skenario tugas 5). Hal ini menunjukkan bahwa sebanyak 50% responden tidak berhasil menyelesaikan skenario tugas secara lengkap (100%). Hasil tingkat kesuksesan responden menyelesaikan skenario tugas dapat dilihat pada Gambar 7.
Gambar 6 Persentase responden menyelesaikan skenario tugas
Gambar 7 Tingkat responden menyelesaikan skenario tugas
Pada Gambar 7 menunjukkan bahwa 50 persen responden yang berhasil menyelesaikan skenario tugas dan 50 persen responden tidak berhasil menyelesaikan seluruh skenario tugas yang diberikan. Sebanyak dua responden (20 persen) hanya berhasil menyelesaikan skenario tugas sebesar 71 persen.
Jumlah Kesalahan yang Dilakukan
19 Jumlah kesalahan adalah banyaknya kesalahan yang dilakukan oleh responden ketika menyelesaikan skenario tugas yang tidak sesuai dengan langkah-langkah yang telah ditentukan. Tingkat kesalahan ini dapat digunakan untuk membantu memprioritaskan masalah-masalah dan untuk mengukur tingkat kesulitan skenario tugas dibandingkan dengan skenario tugas yang lainnya. Sebanyak tujuh skenario tugas diberikan kepada responden untuk diselesaikan secara benar.
Hasil rekapitulasi jumlah kesalahan responden dalam mengerjakan skenario tugas-skenario tugas yang diberikan dapat dijelaskan pada Lampiran 12. Berdasarkan rekapitulasi jumlah kesalahan, tidak ada satu skenario tugas yang dapat diselesaikan oleh seluruh responden tanpa melakukan kesalahan. Jumlah kesalahan paling banyak dilakukan oleh responden adalah tiga belas kali kesalahan (responden 6) sedangkan kesalahan terkecil adalah tiga kali kesalahan (responden 2).
Skenario tugas 5 yaitu mengunduh artikel dari basis data ProQuest, dan skenario tugas 4 yaitu mengunduh asbtrak e-tesis, merupakan dua skenario tugas dengan jumlah kesalahan tertinggi. Responden melakukan klik pada menu yang salah yaitu e-thesis untuk menyelesaikan tugas mencari abstrak e-tesis (skenario tugas 4). Pada skenario tugas ini responden juga melakukan klik pada menu “Digital Library’ secara berulang-ulang untuk dapat mendapatkan e-tugas akhirnya. Ketika responden diharuskan mengunduh file dokumen yang ditugaskan, responden tidak melakukannya. Penggunaan istilah untuk penamaan sebuah menu yang tidak sesuai dengan apa yang diharapkan oleh responden menyebabkan responden melakukan banyak kesalahan. Hal ini sesuai dengan masalah yang diungkapkan oleh Singley (2014) yaitu maksud dari istilah-istilah perpustakaan dan kesulitan menemukan teks secara lengkap.
Banyaknya kesalahan yang dilakukan oleh responden dapat dilihat pada Gambar 8. Jumlah kesalahan paling banyak dilakukan oleh responden lima belas kali kesalahan sedangkan kesalahan terkecil adalah tiga kali kesalahan.
Gambar 8 Jumlah kesalahan yang dilakukan oleh responden
20
Gambar 9 Jumlah kesalahan setiap skenario tugas
Jumlah Waktu yang Diperlukan untuk Menyelesaikan Skenario Tugas
Waktu penyelesaian skenario tugas adalah jumlah waktu yang diperlukan responden untuk menyelesaikan skenario tugas. Waktu penyelesaian ini adalah waktu masing-masing skenario tugas yang dicatat atau direkam baik itu berhasil ataupun tidak berhasil (George 2008). Jumlah waktu dihitung berdasarkan jumlah detik yang diperlukan oleh responden untuk menyelesaikan skenario tugas - skenario tugas yang ada pada setiap skenario tugas. Waktu pada saat situs web loading tidak diperhitungkan agar perhitungan waktu tidak menjadi bias. Oleh sebab itu waktu loading dilakukan pemotongan. Jumlah waktu yang digunakan oleh responden untuk menyelesaikan seluruh skenario tugas dapat dilihat pada Tabel 4.
Hasil perhitungan menunjukkan jumlah waktu paling cepat yang digunakan oleh responden dalam menyelesaikan skenario tugas adalah 311 detik dengan skenario tugas yang berhasil diselesaikan sebesar 86 persen. Jumlah waktu paling lama yang digunakan oleh responden sebanyak 1.328 detik dengan skenario tugas yang dapat diselesaikan sebesar 71 persen. Rata-rata jumlah waktu yang digunakan responden untuk menyelesaikan seluruh skenario tugas adalah 680 detik.
21 Tabel 4 Rekapitulasi jumlah waktu penyelesaian skenario tugas (detik) Responden ST1 ST2 ST3 ST4 ST5 ST6 ST7 Total Rata-rata
R1 115 62 78 81 137 48 12 533 76
R2 159 59 37 221 120 58 12 666 95
R3 60 26 26 63 70 37 29 311 44
R4 134 165 36 153 301 43 8 840 120
R5 81 109 35 132 244 28 27 656 94
R6 269 121 79 254 467 101 37 1,328 190
R7 84 47 25 73 107 58 15 409 58
R8 278 118 97 101 233 107 37 971 139
R9 79 43 57 118 116 83 12 508 73
R10 121 68 35 160 135 46 10 575 82
Rata-rata 132 82 50 142 193 62 19 680 11
MIN 60 26 25 63 70 28 8 311
MAX 278 165 97 254 467 107 37 1,328 Keterangan :
ST = skenario tugas R = Responden
Gambar 10 Jumlah waktu (detik) masing-masing responden
22
jumlah waktu yang digunakan responden untuk menyelesaikan seluruh skenario tugas adalah 680 detik.
Gambar 11 Persentase skenario tugas yang berhasil diselesaikan
Gambar 12 Rata-rata jumlah waktu per skenario tugas
Rata-rata waktu yang digunakan oleh responden untuk menyelesaikan skenario tugas dapat dilihat pada Gambar 12. Skenario tugas 5 yaitu mencari artikel dari basis data ProQuest merupakan skenario tugas membutuhkan waktu terbanyak yaitu rata-rata 193 detik. Responden menyelesaikan skenario tugas dengan waktu terpendek yaitu skenario tugas 7.
Analisis Hasil Pengujian Usability
23 Tingkat Keberhasilan Skenario Tugas
Hasil pengujian menunjukkan bahwa tingkat keberhasilan pengguna dalam menyelesaikan skenario tugas rata-rata sebesar 90%. Hal ini menjelaskan bahwa responden masih mengalami kesulitan ketika responden menyelesaikan skenario tugas. Kesulitan tertinggi yang dialami responden dengan tingkat penyelesaian sebesar 80% ketika responden menyelesaikan skenario tugas mencari judul buku melalui katalog online (skenario tugas 1) dan mengunduhabstrak e-tesis (skenario tugas 4). Skenario tugas mencari judul jurnal (skenario tugas 2), skenario tugas mencari artikel (skenario tugas 3), dan skenario tugas mencari artikel dari basis data ProQuest (skenario tugas 5) merupakan skenario tugas dengan tingkat penyelesaian 90%.
Ketika responden mencari judul buku (skenario tugas 1), responden tidak memilih judul yang diinginkan dari hasil penelusuran sehingga responden tidak mengetahui secara detail status buku apakah tersedia atau sedang dipinjam dan tidak mengetahui lokasi buku yang dicari itu berada. Berdasarkan pengamatan hal ini terjadi karena responden merasa judul yang dicari telah ditemukan dengan ditampilkan dilayar monitor.
Pada tugas mencari abstrak tesis (skenario tugas 4) responden tidak melakukan klik pada menu “e-tugas akhir” tetapi melakukan klik pada menu “ e -thesis”. Hal ini terjadi karena menu “e-thesis” menjadi sub menu dari menu “e -tugas akhir”. Responden 3 merasa apa yang dicari berada pada menu “e-thesis”. Menu “e-thesis” berisi daftar alamat (hyperlink) yang jika dipilih akan membawa pengguna pada alamat URL lain yang berisi tentang tesis yang direkomendasikan. Padahal dari langkah-langkah yang diberikan telah disebutkan bahwa e-tesis berada pada sub menu “e-tugas akhir”. Responden 6 tidak melakukan klik pada “download” abstrak seperti yang diminta. Dengan demikian skenario tugas ini tidak dapat diselesaikan oleh responden 6. Hal ini menunjukkan bahwa masih ada kekurangan pada antarmuka situs web perpustakaan UMB mulai dari navigasi pada menu katalog online sampai dengan ketidakpahaman responden pada istilah e-tugas akhir dan e-thesis. Masalah ini sesuai dengan yang diungkapkan oleh Singley (2014) yaitu memahami perangkat penelusuran (pencarian) dan pengguna mengalami kesulitan dalam menemukan teks secara lengkap.
Pada tugas mencari judul jurnal (skenario tugas 2), responden 5 tidak melakukan klik pada ISSN dari hasil penelusuran. Hal ini berakibat pada tidak ditampilkannya daftar edisi jurnal yang tersedia yang berarti skenario ini tidak terselesaikan. Berdasarkan pengamatan responden mengarahkan kursor pada judul jurnal yang ditampilkan dari hasil penelusuran dan tidak mengarahkan kursor pada ISSN. Hal ini menunjukkan bahwa perhatian responden tertuju pada judul jurnal dari pada ISSN jurnal.
Pada skenario tugas mencari artikel (skenario tugas 3) responden 7 tidak dapat menyelesaikan skenario tugas yang diberikan. Dari pengamatan responden ini tidak mengisi kata kunci sesuai dengan yang ditugaskan sehingga artikel yang diperoleh juga berbeda.
24
responden berada pada sisi sebelah kiri layar karena data lengkap dari artikel yang diinginkan berada pada sisi sebelah kiri layar.
Pada skenario tugas melihat sejarah pinjaman buku (skenario tugas 6) dan skenario tugas melihat jam layanan perpustakaan (skenario tugas 7) responden dapat menyelesaikan skenario tugas dengan benar. Berdasar pengamatan hal ini karena penamaan tombol-tombol yang telah sesuai dengan isi.
Berdasar uji usability menunjukkan bahwa skenario tugas pencarian atau penelusuran buku dan pengarang melalui katalog online (skenario tugas1) dan skenario tugas mencari abstrak e-tesis (skenario tugas 4) merupakan skenario tugas yang paling sulit jika dibandingkan skenario tugas lainnya dan mencari informasi jam layanan perpustakaan (skenario tugas 7) menjadi skenario tugas paling mudah. Dengan demikian menu “Katalog” buku menjadi prioritas didalam mendesain ulang situs web perpustakaan UMB.
Jumlah Kesalahan
Rata-rata jumlah kesalahan yang dilakukan oleh responden dalam menyelesaikan seluruh skenario tugas sebanyak 8 kali.
25 Tingkat kesalahan pada skenario tugas mencari artikel (skenario tugas 3) merupakan skenario tugas dengan tingkat kesalahan paling rendah (3 kali kesalahan). Kesalahan ini dilakukan oleh responden 10 karena kesalahan pengetikan kata kunci pada kotak penelusuran yang berakibat pada tidak ditemukannya judul artikel yang diinginkan. Kemudian respoden 10 menyadari adanya kesalahan tersebut dan secara langsung membetulkannya sehingga judul artikel dapat ditampilkan di layar.
Jumlah Waktu Yang Diperlukan
Pengujian usability menunjukkan bahwa skenario tugas mengunduh artikel dari basis data ProQuest (skenario tugas 5), skenario tugas mencari e-tesis (skenario tugas 4) dan skenario tugas mencari judul buku dan pengarang (skenario tugas 1) melalui katalog online merupakan tiga skenario tugas yang paling banyak membutuhkan waktu untuk menyelesaikannya. Ketika responden menyelesaikan skenario tugas mengunduh artikel dari basis data ProQuest (skenario tugas 5), sebanyak lima responden (R3, R4, R6, R7, R10) memerlukan waktu paling banyak ketika responden melakukan pada tahapan ke-6 (klik menu “Teks lengkap-PDF”). Hal ini terjadi karena menu tersebut tidak mudah ditemukan sehingga memerlukan waktu lebih lama. Penempatan menu tersebut yang jauh (sebelah kanan layar) dari data lengkap yang berada disebelah kiri layar, memberikan mempengaruhi dalam kecepatan responden untuk menemukannya.
Penyelesaian skenario tugas mencari abstrak e-tesis (skenario tugas 4) menunjukkan bahwa tiga responden (R2, R3, R10) melakukan kesalahan pada tahapan ke-3 yaitu seharusnya responden memilih “e-tugas akhir” akan tetapi responden memilih “e-tesis” yang artinya responden menuju ke arah daftar alamat yang berisi tesis yang ada di situs web lain . Hal ini menunjukkan bahwa responden telah tersesat ketika menyelesaikan skenario tugas tersebut. Hal ini sesuai dengan masalah yang diungkapkan oleh Singley (2014) bahwa pengguna tidak mengetahui posisi pengguna berada (tersesat) pada saat melakukan penelusuran.
Masalah-Masalah dan Rekomendasi Perbaikan Situs Web
Berdasarkan penjelasan pada parameter tingkat penyelesaian skenario tugas dan kesalahan menunjukkan masalah-masalah yang dihadapi oleh pengguna ketika menggunakan situs web perpustakaan UMB. Dengan adanya berbagai masalah itu, maka perlu dilakukan adanya perbaikan-perbaikan. Permasalahan dan rekomendasi perbaikan dapat dijelaskan pada Tabel 5.
Tabel 5 Masalah dan rekomendasi perbaikan antarmuka situs web Skenario
tugas (ST)
Tujuan Permasalahan Rekomendasi perbaikan
26 Skenario
tugas (ST)
Tujuan Permasalahan Rekomendasi perbaikan
dengan cara
27 Skenario
tugas (ST)
Tujuan Permasalahan Rekomendasi perbaikan
