Analisis Usability pada Situs Perpustakaan UC dengan Menggunakan System Usability Scale
Indra Maryati*, Elisabeth Inez Nugroho, Zefanya Oktaviana Indrasanti Fakultas Teknologi Informasi, Sistem Informasi, Universitas Ciputra, Surabaya, Indonesia Email: 1,*[email protected], 2[email protected], 3[email protected]
Email Penulis Korespondensi: [email protected]
Abstrak−Selama pandemi Covid-19, perpustakaan sangat terdampak dengan mengalami penurunan pengunjung. Perpustakaan Universitas Ciputra (UC Library) memiliki situs tersendiri diluar situs utama universitas, namun pada halaman awal tidak banyak mencerminkan fungsi utama perpustakaan yang menyediakan koleksi yang tersedia dan dapat diakses oleh pengguna.
Untuk menghidupkan kembali fungsi situs UC Library menjadi berguna dan terberdaya bagi sivitas akademika UC, maka perlu dilakukan revitalisasi. Tingkat Usability sangat berpengaruh bagi keberlangsungan suatu sistem, dan dalam penelitian ini tentunya dapat berguna untuk data awal proses revitalisasi. Salah satu metode untuk mengukur Usability yang sering digunakan adalah System Usability Scale (SUS). SUS dikembangkan oleh John Brooke sejak 1986. SUS ini merupakan skala usability yang handal, populer, efektif dan murah. Pengguna situs UC Library diberikan 10 pertanyaan, dan menjawabnya dengan menggunakan skala Likert. Hasil perhitungan dari 46 responden didapatkan nilai skor SUS yang didapat adalah 57.12. Nilai tersebut masuk ke dalam kategori F, dan ini mengakibatkan tingkat usability situs UC Library rendah dan sangat perlu untuk dilakukan revitalisasi.
Kata Kunci: Usability; SUS; Website; Revitalization; User Evaluation;
Abstract−During the Covid-19 pandemic, libraries have been severely impacted by a decline in visitors. Universitas Ciputra’s Library (UC Library) has its own website outside the main university website, but the initial page does not reflect much on the main function of the library which provides collections that are available and accessible to users. To revive the function of the UC Library site to be useful and empowered for the UC academic community, it is necessary to revitalize it. The level of usability is very influential for the sustainability of a system, and in this study it can certainly be useful for initial data on the revitalization process. One method to measure usability that is often used is the System Usability Scale (SUS). SUS was developed by John Brooke since 1986. SUS is a usability scale that is reliable, popular, effective, and inexpensive. Users of the UC Library site were given 10 questions and answered them using a Likert scale. The results of the calculation of 46 respondents obtained the SUS score obtained is 57.12. This value falls into category F, and this results in a low usability level of the UC Library site and it is very necessary to revitalize it.
Keywords: Usability; SUS; Website; Revitalization; User Evaluation;
1. PENDAHULUAN
Selama pandemi Covid-19, perpustakaan sangat terdampak dengan mengalami penurunan pengunjung.
Perpustakaan dituntut untuk berinovasi agar tidak mati karena kehilangan pengunjungnya. Perpustakaan Universitas Ciputra (UC Library) memiliki situs atau website yang dapat diakses melalui alamat https://uc.ac.id/library/. Pada halaman awal tidak banyak mencerminkan fungsi utama perpustakaan yang menyediakan koleksi yang tersedia dan dapat diakses oleh pengguna. Untuk pencarian koleksi buku atau jurnal diarahkan ke website lainnya dengan alamat https://cis.uc.ac.id/index.php/library_catalog. Tampilan pencarian koleksi (online catalog) juga kurang menarik dan tidak memiliki desain yang sama dengan tampilan utama website UC Library. Untuk dapat mengetahui tingkat kebergunaan website UC Library perlu dilakukan pengujian langsung ke pengguna agar dapat meningkatkan penggunaan dan meningkatkan kunjungan ke website UC Library.
System Usability Scale (SUS) menjadi salah satu metode penilaian usability yang populer digunakan. SUS menggunakan skala Likert dan diberikan sepuluh item pernyataan sederhana yang memberikan pandangan global tentang penilaian subjektif terkait tingkat kegunaan[1]. Pada tahun 2018, Rachmi et al. melakukan pengujian usability untuk website Lokamedia[2]. Penelitian tersebut memiliki tujuan untuk mengukur tingkat usability situs Lokamedia. Terdapat 15 responden acak yang dilibatkan dengan hasil pengujian nilai SUS yang didapatkan berada pada skor 74,5 yang berarti situs Lokamedia memiliki kegunaan baik dan dapat diterima oleh masyarakat. Dengan demikian, situs Lokamedia dapat digunakan sebagai alat bantu dalam mencari informasi mengenai produk dan jasa.
Penelitian serupa juga dilakukan oleh Welda2020 pada web STIKI Indonesia. Tujuan penelitian adalah untuk menganalisis Usability Testing Website dengan Menggunakan Metode SUS[3]. Responden penelitian ini terdiri dari 30 orang, namun tidak dijelaskan demografi dari responden. Dijelaskan juga jika teknik analisis data yang digunakan adalah analisis deksriptif kualitatif. Hasil SUS pada web STIKI Indonesia sebesar 67,08 dengan tingkat Acceptability Range pengguna adalah Marginal High, tingkat Grade Scale adalah kategori D, dan tingkat Adjective Rating pengguna termasuk kategori OK. Hal ini menandakan bahwa web STIKI Indonesia perlu untuk dievaluasi dan dikembangkan lebih lanjut.
Sedikit berbeda dengan penelitian sebelumnya, penelitian yang dilakukan oleh Miftah et al. mengkaji sistem pembelajaran daring pada Universitas Indraprasta PGRI[4]. Pemilihan responden pada penelitian ini lebih spesifik, dimana dipilih mahasiswa yang telah mendapatkan pengalaman belajar melalui LMS Universitas
Indraprasta PGRI, dan didapatkan 60 mahasiswa Prodi Pendidikan Ekonomi sebagai responden. Hasil penilaian SUS sebesar 65,67 dan dapat diterima oleh pengguna sebagai media pembelajaran daring.
Handiwidjojo et al. melakukan pengukuran tingkat usability untuk Sistem Informasi Keuangan pada Duta Wacana Internal Transaction (DuWIT). Penelitian ini dilakukan untuk mendapatkan seberapa besar tingkatan pemahaman dan kesulitan user dalam menggunakan sistem transaksi melalui antarmuka DuWIT [5]. Tingkat Usability yang diukur melalui 5 kriteria Nielsen, yaitu learnability, efficiency, memorability, error, dan satisfaction. Teknik analisis data yang digunakan juga menggunakan analisis deskriptif sesuai dengan 5 kelompok kriteria. Learnability akan mengukur apakah sistem aplikasi DuWIT mudah dipelajari sehingga pengguna tidak mengalami kesulitan pada saat mengoperasikan, efficiency akan mengukur apakah pengguna sistem yang sama menunjukan sedikit upaya untuk mengoperasikan sistem tetapi memberi hasil yang diharapkan sehingga proses lebih cepat, memorability akan mengukur apakah fungsi dan fitur mudah diingat pada saat dioperasikan oleh pengguna sehingga tidak mengalami kesulitan setiap kali berinteraksi dengan antarmuka sistem, error akan mengukur apakah sistem menunjukan sejumlah kesalahan perhitungan atau operasi yang tidak dikehendaki serta sistem menyediakan pesan kesalahan sehingga pengguna menyadari ada yang tidak benar, satisfaction akan mengukur tingkat kepuasan pengguna dalam menggunakan sistem DuWIT. Terdapat 28 pertanyaan dalam kuesioner dan jumlah responden sebanyak 24 orang yang pernah menggunakan sistem DuWIT. Nilai usability yang didapatkan adalah tingkat learnability sebesar 4,21, efficiency sebesar 4,00, memorability sebesar 2,35, error sebesar 3,38, dan satisfaction sebesar 4,23. Dan kesimpulan yang bisa didapatkan adalah sistem DuWIT memiliki tingkat kebergunaan (usability) baik (diatas rata-rata sekitar 72%) sehingga dapat dikatakan sistem sudah cukup user friendly.
Penelitian untuk mengukur usability sebaiknya melibatkan pengguna yang pernah menggunakan sistem paling tidak 1 kali. Pada penelitian [2], [3], pengguna yang dilibatkan dalam proses penelitian merupakan pengguna acak dan tidak diketahui latar belakangnya. Penelitian [4], [5] telah sangat baik memiliki demografi atau latar belakang dari responden, namun pada penelitian [4] tidak dilakukan tindak lanjut dari hasil penelitian tersebut.
Penelitian yang dilakukan oleh Aprilia et al. menyebutkan jika hasil penelitiannya dapat tingkat usability website dari sudut pandang pengguna, selain itu pengukuran usability dapat menjadi langkah awal evaluasi website [6].
Penelitian yang dilakukan oleh Klug menyarankan beberapa metode lain untuk mengukur usability selain SUS seperti Single-Item Adjective Rating Scale, UMUX (Usability Metric for User Experience), UMUX-LITE, dan SUPR-Q (Standardized User Experience Percentile Rank Questionnaire) [7]. 4 metode tersebut bisa sebagai suplemen ataupun pengganti metode SUS, serta dapat dilakukan saat tahap awal maupun akhir.
Berdasarkan permasalahan tersebut, munculah gagasan penelitian untuk melakukan survei tahap awal (preliminary survey) terkait penggunaan website UC Library dalam lingkungan sivitas akademika UC sebelum revitalisasi website UC Library dilakukan. Tujuan utama dilakukan survey tahap awal ini adalah untuk mengetahui pengalaman pengguna dalam menggunakan fasilitas library khususnya website, sehingga hasil dari survei tahap awal yang berupa nilai SUS beserta saran dan kritik dapat menjadi pertimbangan dalam proses revitalisasi website UC Library yang tentunya dapat meningkatkan Usability.
2. METODOLOGI PENELITIAN
2.1 Tahapan Penelitian
Tahapan dalam penelitian ini dibagi menjadi 7 tahapan, dan dapat dilihat pada gambar 1. Berikut penjelasan dari masing-masing tahapan.
a. Identifikasi Permasalahan
Setelah mendapatkan latar belakang penelitian, dilakukan identifikasi yang lebih mendalam terkait latar belakang tersebut. Tahapan ini sangat menentukan studi literatur, metode penelitian, instrument penelitian yang akan digunakan.
b. Studi Literatur
Studi literatur dilakukan dengan mencari dan mempelajari literatur dari jurnal, penelitian sebelumnya, dan dari buku yang berkaitan dengan Usability.
c. Pengumpulan Data
Penelitian ini membutuhkan data pengguna situs UC Library dengan menggunakan kuesioner sebagai teknik pengumpulan data. Kuesioner dibuat dengan menggunakan Google Form, kemudian link form tersebut disebarkan secara digital melalui chat, media social, dan media poster.
d. Pembersihan dan Analisis Data
Agar data yang digunakan untuk analisis data valid, maka diperlukan proses pembersihan data terlebih dahulu.
Pembersihan data dilakukan dengan melihat latar belakang demografi responden yang mengisi kuesioner tersebut, dimana data yang dipilih adalah responden yang berasal dari UC. Penelitian ini menggunakan metode kuantitatif dengan teknik analisis data yang digunakan adalah analisis statistik deskriptif.
e. Proses Perhitungan
Proses perhitungan didasarkan pada metode SUS yang digunakan pada penelitian ini. Metode SUS merupakan salah satu metode penilaian usability yang sering digunakan untuk menilai kebergunaan suatu sistem, bisa digunakan untuk website, aplikasi mobile maupun aplikasi desktop.
f. Analisis Hasil
Setelah mengetahui hasil akhir dari proses perhitungan, analisis hasil perlu dilakukan untuk nantinya akan merumuskan kesimpulan. Dalam penelitian ini analisis hasil berperan penting untuk keberlanjutan penelitian ini.
g. Kesimpulan
Setelah memperoleh hasil analisis, peneliti akan menarik suatu kesimpulan terkait penelitian ini. Kesimpulan ini yang nantinya dapat digunakan dan dikembangkan untuk penelitian lainnya.
Gambar 1. Tahapan Penelitian Analisis Usability pada Situs Perpustakaan UC 2.2 Metode System Usability Scale (SUS)
System Usability Scale (SUS) menggunakan media kuesioner untuk mengukur usability sistem komputer menurut sudut pandang subyektif pengguna [8]. SUS dikembangkan oleh John Brooke sejak 1986. SUS ini merupakan skala usability yang handal, populer, efektif dan murah. SUS memiliki beberapa tujuan, yaitu: [8]
a. Untuk memberi ukuran persepsi subjektif pengguna tentang kegunaan suatu sistem, dan b. Untuk memungkinkan melakukan evaluasi dalam waktu yang sangat singkat.
Kuesioner SUS menggunakan 5 poin skala Likert. Responden diminta untuk memberikan penilaian “Sangat tidak setuju”. “Tidak setuju”, “Netral”, “Setuju”, dan “Sangat setuju” atas 10 item pernyataan SUS sesuai dengan penilaian subjektifnya [1]. Data yang telah dikumpulkan kemudian dilakukan perhitungan nilai SUS terhadap masing-masing jawaban responden dengan cara pada gambar 2.
Gambar 2. Perhitungan Nilai pada Metode SUS
Tentunya responden yang berpartisipasi tidak hanya 1, oleh sebab itu untuk mendapatkan nilai SUS akhir dari suatu sistem dilakukan rata-rata dengan menggunakan rumus mean. Penelitian yang dilakukan oleh Sauro [9]
menyimpulkan SUS dapat diandalkan, SUS itu valid, SUS tidak diagnostik, Skor SUS bukan persentase meskipun mengembalikan nilai antara 0 dan 100, SUS mengukur learnability dan usability, dan Skor SUS memiliki korelasi sederhana dengan kinerja tugas (task performance). Penelitian milik Peres et al. juga mengatakan jika SUS sebenarnya dapat mendukung definisi kegunaan (usability); dimana SUS itu efektif dan efisien [10] . Selain itu
SUS juga dapat berdampak pada tingkat kepuasan atau satisfaction level [11]. Lewis dan Sauro juga mengembangkan persamaan regresi yang menghitung tolok ukur untuk item SUS berdasarkan skor SUS keseluruhan [12], namun tidak akan dibahas dan digunakan dalam penelitian ini.
3. HASIL DAN PEMBAHASAN
Pada bagian ini berisi hasil dan pembahasan dari penelitian ini, dimana pembahasan akan dibagi berdasarkan tahapan penelitian yang dilakukan. Identifikasi permasalahan dan studi literatur tidak dibahas dalam bab ini, karena dua hal tersebut sudah dijelaskan pada bab 1 dan bab 2. Demikian pula dengan tahap kesimpulan yang akan dijelaskan pada bab tersendiri.
3.1 Pengumpulan Data
Tahapan pengumpulan data dalam penelitian [13], pengumpulan data kuantitatif dilakukan dengan usability testing teknik Performance Measurement dan menyebarkan kuesioner SUS ke responden. Dalam penelitian ini menggunakan teknik kuesioner saja dikarenakan sesuai dengan tujuan dari penelitian ini dan referensi metode SUS yang digunakan. Kuesioner dibuat dengan menggunakan Google Form, dan disebarkan secara online melalui pesan singkat, media sosial, dan lainnya. Tabel 1 menunjukan pertanyaan latar belakang, hasil translasi dan merupakan pertanyaan utama dalam penelitian ini.
Tabel 1. Daftar Pertanyaan Kuesioner
No Pertanyaan Tipe
Pertanyaan Sifat Latar Belakang
1 Nama Lengkap Open Wajib
2 Pekerjaan Close Wajib
3 Asal Institusi Open Wajib
4 Range Usia Close Wajib
5 Kota/ Kabupaten Domisili / Tempat Tinggal Saat ini
Open Wajib
Pertanyaan Inti 6 Saya rasa saya akan sering menggunakan website
UC Library.
Close Wajib 7 Saya rasa bahwa website UC Library seharusnya
tidak serumit ini.
Close Wajib 8 Saya pikir bahwa website UC Library mudah
digunakan.
Close Wajib 9 Saya rasa saya akan membutuhkan dukungan dari
orang teknis untuk dapat menggunakan website UC Library.
Close Wajib
10 Saya rasa bahwa berbagai fungsi di website UC Library terintegrasi dengan baik.
Close Wajib 11 Saya pikir bahwa ada terlalu banyak inkonsistensi /
ke-tidak-konsisten-an dalam website UC Library.
Close Wajib 12 Saya membayangkan bahwa kebanyakan orang
akan belajar dengan sangat cepat dalam menggunakan website UC Library.
Close Wajib
13 Saya rasa bahwa website UC Library sangat sulit / tidak praktis untuk digunakan.
Close Wajib 14 Saya merasa sangat percaya diri menggunakan
website UC Library.
Close Wajib 15 Saya perlu belajar banyak hal sebelum saya bisa
menggunakan website UC Library.
Close Wajib 16 Seberapa tingkat kepuasan Anda terhadap website
utama UC Library?
Open Opsional 17 Tuliskan KRITIK untuk website utama UC Library Open Opsional
Dalam kuesioner terdapat pertanyaan latar belakang, dimana pertanyaan ini nantinya digunakan untuk proses pembersihan data. Selanjutnya pertanyaan utama pada kuesioner yang dibuat didasarkan pada penelitian dari Brooke, 1996 [1]. Namun yang perlu diperhatikan adalah dari sisi perbedaan bahasa yang digunakan, peneliti perlu berhati-hati dalam melakukan proses translasi dari Bahasa Inggris ke Bahasa Indonesia. Karena proses kesalahan translasi dapat mengakibatkan perbedaan makna dari pernyataan untuk menilai SUS. Pada penelitian
yang dilakukan oleh Lewis dan Sauro [14] juga diketahui bahwa beberapa English speaker yang bukan native speaker atau dalam hal ini orang yang berbicara Bahasa Inggris bukan sejak lahir juga menanyakan terkait klarifikasi dari beberapa kata, seperti kata cumberstone.
3.2 Pembersihan dan Analisis Data
Setelah kuesioner dibuat dan disebarkan mulai tanggal 29 September 2021 sampai dengan 7 Oktober 2021, dilakukan dengan cepat karena seperti yang disampaikan oleh Brooke, 1996 bahwa metode SUS merupakan metode “quick and dirty” [1] dan dapat mewakili sekumpulan pengguna. Terdapat 48 responden yang berpartisipasi dalam pengisian kuesioner, namun karena tujuan utama dari penelitian ini ditargetkan untuk sivitas akademika UC, maka hanya 46 responden valid yang berasal dari UC. Dari sivitas akademika yang berpartisipasi dalam pre-survey ini, sebesar 58.7% merupakan mahasiswa, 30.4% merupakan dosen, dan sebesar 10,9%
merupakan tenaga kependidikan. Gambar 3 merupakan demografi pekerjaan yang disajikan dalam bentuk tabel dan diagram pie.
Gambar 3. Sebaran Pekerjaan Responden 3.3 Proses Perhitungan
Proses perhitungan data didasarkan pada aturan dari metode SUS yang telah dijelaskan pada bab 2. Dimana responden menjawab pertanyaan dalam skala likert, kemudian dilakukan perhitungan sesuai dengan aturan yang diberikan oleh Brooke, 1996. Tabel 2 merupakan rekap hasil penilaian SUS untuk setiap responden.
Tabel 2. Hasil Perhitungan Nilai SUS per Responden
No Pertanyaan Skor
SUS No Pertanyaan Skor
SUS
1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 10
R1 2 1 2 3 2 1 2 3 2 4 55 R24 1 1 1 3 1 2 3 1 2 3 45
R2 1 2 3 1 1 2 3 3 3 3 55 R25 2 1 3 4 3 3 2 3 3 3 67.5
R3 4 0 1 3 1 3 0 0 1 0 32.5 R26 3 2 2 3 3 2 3 3 3 2 65
R4 2 3 3 4 4 1 3 3 3 3 72.5 R27 2 4 4 4 4 4 4 2 4 4 90
R5 3 2 3 2 4 2 3 4 4 3 75 R28 2 3 3 3 3 3 3 1 3 1 62.5
R6 3 2 3 3 3 0 4 3 4 2 67.5 R29 3 3 3 3 1 1 3 4 3 3 67.5
R7 2 1 2 3 2 3 2 2 2 1 50 R30 2 1 2 2 3 1 2 1 2 1 42.5
R8 1 2 2 3 2 1 2 2 2 3 50 R31 3 0 3 3 3 1 3 1 3 1 52.5
R9 1 3 3 2 2 3 2 3 2 2 57.5 R32 3 1 2 4 3 3 3 3 4 3 72.5
R10 4 0 4 3 4 3 4 3 4 2 77.5 R33 3 1 3 4 3 3 3 4 3 4 77.5
R11 1 0 3 3 3 3 3 3 3 3 62.5 R34 3 1 3 3 2 1 3 3 3 3 62.5
R12 3 2 3 3 3 3 3 3 3 3 72.5 R35 4 1 3 3 3 3 3 3 4 3 75
R13 3 1 3 0 3 2 3 4 4 4 67.5 R36 3 2 2 1 2 2 2 3 2 2 52.5
R14 3 1 3 1 4 2 3 3 3 2 62.5 R37 2 1 4 2 3 3 3 4 4 2 70
R15 3 2 2 3 2 3 2 3 2 3 62.5 R38 1 3 3 1 3 3 2 3 2 4 62.5
R16 0 0 1 2 2 3 2 2 1 4 42.5 R39 1 2 3 3 3 2 3 3 3 3 65
R17 1 2 1 4 1 2 2 1 3 3 50 R40 3 2 2 3 3 2 2 3 2 1 57.5
R18 3 2 3 3 3 3 2 3 2 3 67.5 R41 3 1 2 1 3 3 1 2 2 1 47.5
No Pertanyaan Skor
SUS No Pertanyaan Skor
1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 10 SUS
R19 1 2 2 3 3 3 3 3 3 2 62.5 R42 1 2 1 4 2 0 3 1 2 3 47.5
R20 0 1 1 3 3 1 2 2 1 0 35 R43 1 0 1 0 1 0 1 1 0 0 12.5
R21 1 1 3 2 1 1 2 1 1 1 35 R44 3 0 1 0 1 0 2 0 0 0 17.5
R22 3 3 3 3 2 3 2 3 3 3 70 R45 2 0 1 0 2 2 4 0 2 2 37.5
R23 3 2 3 1 3 2 3 3 3 1 60 R46 1 0 1 3 1 0 1 0 3 4 35
Dari hasil penilaian SUS untuk setiap responden kemudian dilakukan rata-rata dengan menggunakan rumus mean. Jumlah skor SUS dari semua responden sebesar 2627.5, kemudian dibagi dengan 46 responden. Sehingga didapatkan rata-rata skor SUS sebesar 57.12.
3.4 Analisis Data
Penelitian oleh Bangor et al. [15] menambahkan skala penilaian sifat (adjective rating scale) terhadap nilai SUS yang didapat, dengan tujuan membantu praktisi dalam menginterpretasikan hasil SUS dan membantu menjelaskan hasilnya ke professional di luar HCI.
Gambar 4. Skala Penilaian SUS oleh Bangor et al. [15]
Jika dilihat dari gambar 4 dan juga dari hasil proses perhitungan, nilai SUS untuk situs UC Library berdasarkan tingkat Acceptability Range termasuk ke dalam kategori Marginal Low. Kemudian jika berdasarkan Grade Scale maka situs UC Library termasuk ke dalam kategori F. Dan yang terakhir berdasarkan Adjective Ratings maka termasuk kedalam kategori OK.
Sauro [9] juga melakukan representasi nilai SUS menjadi bentuk Precentile Rank dan grade huruf (letter grade). Proses ini serupa dengan penilaian pada kurva berdasarkan distribusi semua skor. Dilihat dari gambar 4, nilai SUS untuk situs UC Library mendapatkan grade huruf D dengan percentile rank sekitar 20%. Percentile rank bisa diibaratkan seperti promoter score atau nilai dimana pengguna akan mempromosikan suatu sistem ke orang lainnya, dimana jika mendapatkan percentile rank diatas 80% maka nilai promoter score adalah sangat baik.
Gambar 5. Grafik Precentile Rank Penilaian SUS oleh Sauro [9]
Pada referensi Sauro dan Lewis [16] juga memetakan secara pasti letter grade tersebut ke dalam range nilai, yang dapat dilihat pada tabel 3. Hasil rata-rata penilaian SUS untuk situs UC Library adalah sebesar 57.12, jika merujuk ke tabel 4 maka nilai usability yang diberikan untuk situs ini adalah grade huruf D. Hal ini tidak jauh berbeda dari hasil grade menggunakan gambar 5.
Tabel 3. Interpretasi SUS Score dalam Grading Scale [16]
Letter Grade Numerical Score Range
A+ 84.1 – 100
Letter Grade Numerical Score Range
A 80.8 – 84.0
A- 78.9 – 80.7
B+ 77.2 – 78.8
B 74.1 – 77.1
B- 72.6 – 74.0
C+ 71.1 – 72.5
C 65.0 – 71.0
C- 62.7 – 64.9
D 51.7 – 62.6
F 0 – 51.6
Pada kuesioner diberikan 2 pertanyaan bertipe open question, dimana responden data menulis saran dan kritik terhadap situs UC Library. Sebagian besar kritik yang didapatkan, yaitu mengatakan jika tampilan situs kurang menarik dan terkesan kaku, sulit menemukan akses untuk peminjaman buku, loading time situs terlalu lama, dan lainnya. Hal ini senada dengan pengujian situs dengan menggunakan situs GTmetrix (https://gtmetrix.com) yang dapat dilihat pada gambar 6 berikut.
Gambar 6. Hasil Pengujian Situs UC Library dengan Menggunakan GTmetrix [17]
4. KESIMPULAN
Dari hasil analisis data ditarik kesimpulan bahwa situs UC Library perlu dilakukan perbaikan. Hal ini didasari pada nilai SUS sebesar 57.12. Kemudian jika berdasarkan Grade Scale maka situs UC Library termasuk ke dalam kategori F. Dan yang terakhir berdasarkan Adjective Ratings maka termasuk kedalam kategori OK. Hal ini juga sejalan dengan saran dan kritik yang diperoleh dari kuesioner utama yang menginginkan perbaikan tampilan situs dan perlu kemudahan dalam pengaksesan koleksi. Dari hasil ini juga dapat disimpulkan bahwa proses revitalisasi situs UC Library sangat perlu untuk dilakukan dan mengembalikan fungsi Library sebagai tempat untuk dapat mencari informasi.
Hasil penelitian ini akan digunakan untuk melakukan pengembangan penelitian yang bertujuan untuk meningkatkan nilai usability dari situs UC Library. Proses pengembangan seperti melakukan perubahan total pada halaman awal situs UC Library, mempermudah proses mencari koleksi perpustakaan, dan memperbaharui informasi pada situs. Setelah proses perubahan dilakukan, maka akan dilakukan kembali proses survei penilaian usability dengan menggunakan metode SUS dan juga beberapa metode yang dikemukakan oleh Klug.
UCAPAN TERIMAKASIH
Artikel jurnal ini ditulis oleh Indra Maryati, Elisabeth Inez Nugroho dan Zefanya Oktaviana Indrasanti dari Program Studi Sistem Informasi berdasarkan hasil penelitian “Revitalisasi Website Perpustakaan UC (UC Library) dengan Meningkatkan Usability” yang dibiayai oleh Universitas Ciputra Surabaya melalui Program Hibah Penelitian Internal Universitas Ciputra tahun pendanaan 2021. Isi sepenuhnya menjadi tanggung jawab penulis.
REFERENCES
[1] J. Brooke, “SUS: a ‘quick and dirty’ usability scale,” Usability Eval. Ind., vol. 189, no. 194, pp. 4–7, 1996.
[2] Hilda Rachmi and Siti Nurwahyuni, “Pengujian Usability Lokamedia Website Menggunakan System Usability Scale,”
Al-Khidmah, vol. 1, no. 2, pp. 86–92, 2018, [Online]. Available: http://dx.doi.org/10.29406/al-khidmah.v1i2.1155.
[3] W. Welda, D. M. D. U. Putra, and A. M. Dirgayusari, “Usability Testing Website Dengan Menggunakan Metode System Usability Scale (Sus)s,” Int. J. Nat. Sci. Eng., vol. 4, no. 3, p. 152, 2020, doi: 10.23887/ijnse.v4i2.28864.
[4] Z. Miftah and I. P. Sari, “Analisis Sistem Pembelajaran Daring Menggunakan Metode Sus,” Res. Dev. J. Educ., vol. 1, no. 1, p. 40, 2020, doi: 10.30998/rdje.v1i1.7076.
[5] W. Handiwidjojo and L. Ernawati, “Pengukuran Tingkat Ketergunaan ( Usability ) Sistem Informasi Keuangan Studi Kasus : Duta Wacana Internal Transaction ( Duwit ),” J. Inform. dan Sist. Inf., vol. 02, no. 01, pp. 49–55, 2016, [Online].
Available: https://journal.uc.ac.id/index.php/JUISI/article/view/115.
[6] I. A. H.N, P. I. Nugroho, and R. Ferdiana, “Pengujian Usability Website Menggunakan System Usability Scale,” J.
IPTEKKOM J. Ilmu Pengetah. Teknol. Inf., vol. 17, no. 1, p. 31, 2015, doi: 10.33164/iptekkom.17.1.2015.31-38.
[7] B. Klug, “An Overview of the System Usability Scale in Library Website and System Usability Testing,” Weav. J. Libr.
User Exp., vol. 1, no. 6, Apr. 2017, doi: 10.3998/weave.12535642.0001.602.
[8] J. Brooke, “SUS : A Retrospective,” J. Usability Stud., vol. 8, no. 2, pp. 29–40, 2013.
[9] J. Sauro, “Measuring Usability with the System Usability Scale (SUS),” MeasuringU.com, 2011.
https://measuringu.com/sus/ (accessed Sep. 15, 2021).
[10] S. Peres, T. Pham, and R. Phillips, “Validation of the System Usability Scale (SUS),” Proc. Hum. Factors Ergon. Soc.
Annu. Meet., vol. 57, pp. 192–196, 2013, doi: 10.1177/1541931213571043.
[11] P. S. C., “The effect of experience on System Usability Scale ratings,” J. Usability Stud., vol. 7, p. 56, 2012.
[12] J. R. Lewis and J. Sauro, “Item Benchmarks for the System Usability Scale,” J. Usability Stud., vol. 13, no. 3, pp. 158–
167, 2018, [Online]. Available: https://uxpajournal.org/item-benchmarks-system-usability-scale-sus/.
[13] N. L. P. R. Indriyani, G. R. Dantes, and K. Y. E. Aryanto, “Analisis Kebermanfaatan Website Sekolah Tinggi Pariwisata (Stipar) Triatma Jaya Menggunakan Metode Usability Testing,” Int. J. Nat. Sci. Eng., vol. 1, no. 2, p. 56, 2017, doi:
10.23887/ijnse.v1i2.12469.
[14] J. R. Lewis and J. Sauro, “The Factor Structure of the System Usability Scale,” in Human Centered Design, First International Conference, HCD 2009, Held as Part of HCI International 2009, San Diego, CA, USA, 2009, pp. 94–103.
[15] A. Bangor, T. Staff, P. Kortum, J. Miller, and T. Staff, “Determining what individual SUS scores mean: adding an adjective rating scale,” J. usability Stud., vol. 4, no. 3, pp. 114–123, 2009.
[16] J. Sauro and J. R. Lewis, Quantifying the user experience: practical statistics for user research. Amsterdam: Waltham, MA: Elsevier/Morgan Kaufmann, 2016.
[17] “GTmetrix.” https://gtmetrix.com (accessed Dec. 01, 2021).
