Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322
Vol. 10, No. 2, Juni 2023, Hal. 215-227 E- ISSN 2503-2933 215
Analisis Usability Aplikasi Sambara Dengan Metode System Usability Scale Dan USE Questionnaire
Felicia1, Aini Suri Talita2, Naeli Umniati3
1,2.3
Universitas Gunadarma; Jl. Kenari No. 13 Jakarta Pusat 10430, Telp (021) 78881112
1Program Magister Manajemen Sistem Informasi, Universitas Gunadarma, Jakarta e-mail: *1[email protected], , 2[email protected],
Abstrak
Samsat Mobile Jawa Barat (Sambara) merupakan sebuah inovasi pelayanan dari pemerintah provinsi Jawa Barat berupa aplikasi smartphone berbasis Android untuk pengecekan pajak kendaraan bermotor di Jawa Barat. Penelitian ini bertujuan mengukur usability aplikasi Sambara dengan metode System Usability Scale (SUS) dan USE Questionnaire. Metode SUS dan USE Questionnaire merupakan metode berbasis kuesioner dengan 10 dan 30 pertanyaan. Penelitian melibatkan 42 orang responden. Hasil pengujian validitas menunjukkan semua data valid sehingga dapat digunakan untuk penelitian. Hasil pengolahan data dengan metode SUS menunjukkan nilai rata-rata 62,91. Nilai ini dikategorikan sebagai OK dengan Grade C-, Percentile Rank 35%, Acceptability Marginal, dan NPS Passive. Hal ini berarti aplikasi Sambara dapat diterima oleh masyarakat dalam kelompok marginal dengan pengguna yang bersifat pasif yaitu pengguna tidak merekomendasikan aplikasi pada orang lain. Hasil pengolahan data dengan metode USE Questionnaire memperoleh nilai rata-rata 76,1% yang berarti aplikasi Sambara dinilai Layak untuk digunakan. Nilai rata-rata dari hasil kuesioner adalah 5,32 dari nilai maksimal 7. Hal ini dapat diartikan usability Sambara dinilai baik.
Kata kunci—Sambara, Usability, SUS, USE Questionnaire
Abstract
Samsat Mobile Jawa Barat (Sambara) is an Android-based application developed by the West Java provincial government to check vehicle taxes in West Java. This study aims to measure the usability of the Sambara application using the System Usability Scale (SUS) and USE Questionnaire methods. The SUS and USE Questionnaire methods are questionnaire- based methods with 10 and 30 questions. The study involved 42 respondents. The results of the validity test show that all data are valid so that they can be used for the research. The results of data processing with the SUS method showed an average value of 62.91. This value is categorized as OK with Grade C-, Percentile Rank 35%, Marginal Acceptability, and Passive NPS. This means that the Sambara application can be accepted by the community in marginal groups with passive users; users do not recommend the application to others. The results of data processing using USE Questionnaire method obtained an average value of 76.1%, which means that the Sambara application is considered suitable for use. The average value of the questionnaire results is 5.32 out of 7. It means that usability of Sambara application is considered good.
Keywords— Sambara, Usability, SUS, USE Questionnaire
216 Jatisi ISSN 2407-4322 Vol. 10, No. 2, Juni 2023, Hal. 215-227 E-ISSN 2503-2933
1. PENDAHULUAN
erbagai inovasi dengan memanfaatkan teknologi informasi dan komunikasi telah dilakukan pemerintah untuk meningkatkan kesejahteraan masyarakat. Salah satu inovasi pelayanan publik di bidang teknologi informasi dan komunikasi yang diupayakan pemerintah provinsi Jawa Barat adalah aplikasi Samsat Mobile Jawa Barat (Sambara). Sambara merupakan sebuah inovasi pelayanan dari Badan Pendapatan Daerah (Bapenda) Jawa Barat berupa aplikasi smartphone berbasis Android yang berfungsi untuk pengecekan pajak kendaraan bermotor di wilayah Jawa Barat. Melalui aplikasi ini, masyarakat dapat mengetahui data kendaraan, besaran pajak yang harus dibayarkan serta melakukan pembayaran secara online.
Aplikasi Sambara memiliki potensi untuk menjangkau pengguna yang lebih besar jika dilihat dari manfaatnya. Jumlah kendaraan bermotor di Jawa Barat periode 2021 adalah 17.157.839 unit (sumber bps.go.id diakses pada 29 Juni 2022) sedangkan aplikasi ini telah diunduh sebanyak lima juta kali di Google Play Store. Oleh karena itu, perlu dilakukan pengujian kualitas terhadap aplikasi Sambara, khususnya pada aspek usability. Usability adalah atribut kualitas yang menilai seberapa mudah antarmuka pengguna digunakan [1].
Beberapa penelitian telah dilakukan terkait pengukuran usability. Salah satunya adalah Evaluasi Usability Menggunakan Metode System Usability Scale (SUS) dan Discovery Prototyping pada Aplikasi PLN Mobile (Studi Kasus PT. PLN) yang dilakukan oleh Ekklesioga Kaban, Komang Candra Brata, Adam Hendra Brata (2020). Penelitian ini bertujuan menguji usability dari aplikasi PLN Mobile dan membuat rancangan perbaikan dengan metode Discovery Prototyping. Berdasarkan penelitian ini, nilai usability aplikasi PLN Mobile adalah 13,33% untuk kriteria effectiveness, 8,33% untuk kriteria efficiency dan 46,66% untuk kategori satisfaction. Prototype yang telah dirancang kemudian diuji kembali dengan cara yang sama dengan sebelumnya. Hasil pengujian usability untuk prototype perbaikan yang dirancang adalah 100% untuk kriteria effectiveness, 85% untuk kriteria efficiency dan 70,78% untuk kategori satisfaction [2].
Kemudian, Dorie P Kesuma (2021) melakukan penelitian terkait usability dengan judul Penggunaan Metode System Usability Scale untuk Mengukur Aspek Usability pada Media Pembelajaran Daring di Universitas XYZ. Penelitian ini bertujuan mengukur tingkat usability pada layanan media pembelajaran online yang disediakan oleh Universitas XYZ dari sisi mahasiswa. Pengumpulan data dalam penelitian ini dilakukan menggunakan kuesioner pertanyaan dari Metode SUS dan Skala Likert. Sejumlah 50 orang mahasiswa Fakultas Ilmu Komputer Universitas XYZ dilibatkan dalam penelitian ini sebagai responden. Nilai usability yang diperoleh layanan media pembelajaran online Universitas XYZ dalam penelitian ini adalah 69,9. Nilai ini termasuk dalam grade C dalam kategori OK yang berarti layanan masih dapat diterima secara umum oleh mahasiswa [3].
Kemudian, penelitian lainnya terkait usability adalah Analisis dan Perbaikan Usability Aplikasi Mobile KAI Access dengan Metode Usability Testing dan USE Questionnaire yang dilakukan oleh Kevin Ryan Hadi, Hanifah Muslimah Az-Zahra dan Lutfi Fanani (2018).
Penelitian ini bertujuan mengukur tingkat usability dari aplikasi KAI Access dengan aplikasi sejenis yaitu Traveloka dan Tiket.com sebagai pembanding. Pengujian dalam penelitian ini dilakukan dengan teknik usability testing dan USE Questionnaire. Empat parameter yang dibandingkan adalah usefulness, ease of use, ease of learning dan satisfaction. Pengujian akan dilakukan sebanyak dua kali, yaitu pengujian awal, yaitu pengujian aplikasi yang sudah ada dan pengujian akhir, yaitu pengujian setelah dilakukan rekomendasi perbaikan. Hasil pengujian awal sebelum diberikan rekomendasi adalah sebesar 47,58% dengan predikat cukup. Nilai usability dari pengujian akhir setelah dilakukan perbaikan tampilan sesuai rekomendasi adalah 78,27%
dengan predikat baik [4].
B
Jatisi ISSN 2407-4322
Vol. 10, No. 2, Juni 2023, Hal. 215-227 E- ISSN 2503-2933 217
Sementara itu, belum ada penelitian terdahulu yang melakukan pengujian usability terhadap aplikasi Sambara. Oleh karena itu, peneliti tertarik untuk melakukan penelitian terkait pengukuran usability terhadap aplikasi Sambara. Metode yang digunakan dalam penelitian ini adalah System Usability Scale (SUS) dan USE Questionnaire. Penelitian ini menggunakan dua metode tersebut untuk saling melengkapi. Kedua metode ini berbasis pada kuesioner sehingga penelitian dapat dilakukan tanpa perlu bertatap muka secara langsung dengan responden.
Meskipun tidak bertatap muka secara langsung, melalui kedua metode ini diharapkan peneliti dapat memperoleh data murni berdasarkan pengalaman para pengguna aplikasi Sambara.
2. METODE PENELITIAN
2.1 Metodologi Penelitian
Tahapan yang digunakan dalam pelitian ini dapat dilihat pada Gambar 1. Tahapan pertama dalam penelitian ini adalah menentukan objek penelitian yaitu aplikasi Sambara.
Aplikasi Sambara adalah inovasi berbasis elektronik yang dibuat BAPENDA Jawa Barat yang fungsinya untuk melakukan pengecekan Pajak Kendaraan Bermotor di Wilayah Jawa Barat [5].
Gambar 1. Metodologi Penelitian
218 Jatisi ISSN 2407-4322 Vol. 10, No. 2, Juni 2023, Hal. 215-227 E-ISSN 2503-2933
Tahapan kedua adalah mengidentifikasi masalah yang akan diteliti. Penelitian ini membahas masalah pengukuran tingkat usability aplikasi Sambara dengan metode SUS dan USE Questionnaire. Tahap ketiga yaitu mempelajari sumber literatur terkait masalah yang akan dibahas. Studi literatur dilakukan untuk mempelajari objek penelitian yaitu aplikasi Sambara dan metode yang digunakan dalam penelitian yaitu metode SUS dan USE Questionnaire. Tahap keempat adalah proses mengumpulkan data menggunakan kuesioner Google Form yang disebar secara online. Kuesioner disusun berdasarkan literatur dari metode SUS dan USE Questionnaire. Daftar pernyataan pada kuesioner tercantum dalam Tabel 1 dan Tabel 2.
Data yang telah dikumpulkan kemudian diuji validitasnya. Pengumpulan data akan diulang jika data tidak valid. Data yang dinyatakan valid akan dilanjutkan ke dalam pengolahan data. Pengolahan data dilakukan menggunakan Microsoft Excel dengan aturan perhitungan sesuai rumus dalam metode SUS dan USE Questionnaire. Tahapan selanjutnya adalah menganalisis hasil pengolahan data. Analisis dilakukan berdasarkan sumber literatur yang telah dipelajari. Tahapan selanjutnya yaitu membuat kesimpulan berdasarkan analisis dan memberikan saran. Saran yang diberikan dapat berguna bagi penelitian selanjutnya.
2. 2 Metode System Usability Scale (SUS)
System Usability Scale (SUS) adalah salah satu kuesioner yang dapat digunakan untuk mengumpulkan data tentang seberapa puas partisipan terhadap produk yang mereka gunakan [6]. SUS adalah kuesioner berisi sepuluh item sederhana yang memberikan pandangan global tentang penilaian subjektif terhadap usability. Sepuluh pernyataan metode SUS yang digunakan dalam penelitian ini ditampilkan dalam Tabel 1.
Tabel 1. Pernyataan Metode SUS
No Pernyataan
1 Saya berfikir akan sering menggunakan aplikasi Sambara lagi.
2 Saya merasa aplikasi Sambara terlalu kompleks.
3 Saya merasa aplikasi Sambara mudah digunakan.
4 Saya membutuhkan bantuan dari orang lain atau teknisi dalam menggunakan aplikasi Sambara.
5. Saya merasa fitur-fitur dalam aplikasi Sambara berjalan dengan semestinya.
6 Saya merasa ada banyak hal yang tidak konsisten (tidak sesuai pada aplikasi Sambara).
7 Saya merasa orang lain akan memahami cara menggunakan aplikasi Sambara dengan cepat.
8 Saya merasa aplikasi Sambara sangat rumit untuk digunakan.
9 Saya merasa percaya diri dalam menggunakan aplikasi Sambara.
10 Saya perlu belajar banyak hal terlebih dahulu sebelum menggunakan aplikasi Sambara.
Metode SUS bekerja berdasarkan data yang diperoleh dari penyebaran kuesioner dengan skala Likert. Responden akan memberi penilaian untuk setiap pernyataan berdasarkan skala 1 sampai 5 berdasarkan seberapa setuju mereka terhadap pernyataan dalam kuesioner.
Skala 1 berarti sangat tidak setuju, sedangkan skala 5 berarti sangat setuju [3]. Pengolahan data dilakukan menggunakan Microsoft Excel. Beberapa aturan yang digunakan dalam perhitungan dengan metode SUS adalah sebagai berikut [3].
1. Setiap pernyataan bernomor ganjil, nilainya dikurangi angka 1.
[Skor pernyataan = Penilaian pengguna - 1]
Setiap pernyataan bernomor genap, kita harus mengurangi angka 5 dengan nilainya.
[Skor pernyataan = 5 - Penilaian pengguna]
2. Jumlahkan semua hasil skor dari setiap pernyataan per responden, kemudian hasilnya dikali
Jatisi ISSN 2407-4322
Vol. 10, No. 2, Juni 2023, Hal. 215-227 E- ISSN 2503-2933 219
2,5.
3. Jumlahkan hasil skor dari setiap responden kemudian hitung rata-ratanya.
Terdapat lima pendekatan yang dapat dilakukan untuk menginterpretasikan nilai SUS, yaitu peringkat persentil (Percentile Rank), peringkat (Grades), sifat (Adjectives), tingkat penerimaan (Acceptability), dan Net Promoter Score (NPS). Penggambaran dari pendekatan tersebut dapat dilihat dalam Gambar 2 dan Gambar 3 [8].
Gambar 2. Pendekatan Grades, Adjectives, Acceptability, dan NPS [8]
Gambar 3. Kurva Normalisasi Nilai SUS [8]
Nilai SUS dapat dikonversi menjadi peringkat persentil dengan alat bantu berupa kurva normalisasi yang ditampilkan pada Gambar 3. Kurva ini dikembangkan oleh J. Sauro yang telah menggunakan metode SUS selama 30 tahun dengan lebih dari 10.000 data respon dan ratusan produk. Peringkat persentil pada kurva dapat diartikan sebagai persentase terhadap keseluruhan nilai dalam database. Penggunaan kurva dilakukan dengan cara memasukkan nilai SUS ke
220 Jatisi ISSN 2407-4322 Vol. 10, No. 2, Juni 2023, Hal. 215-227 E-ISSN 2503-2933
dalam sumbu x kurva [8]. Grades terdiri atas peringkat A hingga F, dimana A berarti sangat baik sedangkan F berarti sangat buruk. Adjectives terbagi dalam 6 tingkatan yang menginterpretasikan nilai SUS dengan rentang tertentu. Nilai SUS 72 sampai 80 berada dalam kategori good (baik) sedangkan nilai 51 masuk dalam kategori OK. Acceptability menginterpretasikan nilai SUS ke dalam tiga kelompok, yaitu “dapat diterima” untuk nilai di atas 70, “tidak dapat diterima” untuk nilai di bawah 50 dan “dapat diterima secara marginal”
untuk nilai di antara 50 sampai 70. NPS menunjukkan ukuran kepuasan dan keloyalan pengguna terhadap sebuah produk dan seberapa besar kemungkinan mereka merekomendasikan produk tersebut kepada orang lain. NPS menetapkan tiga kelas pengguna berdasarkan tanggapan mereka yaitu promoter (pengguna yang akan merekomendasikan aplikasi ke orang lain), passive (pengguna yang menerima aplikasi namun tidak merekomendasikannya ke orang lain) dan detractors (pengguna yang memberi review buruk untuk aplikasi) [3]. Pengelompokkan skala interpretasi nilai SUS dengan kelima pendekatan dirangkum dalam Tabel 2.
Tabel 2. Skala Interpretasi Nilai SUS [8]
Grade SUS Percentil Range Adjectives Acceptability NPS A+ 84.1 – 100 96 – 100 Best Imaginable Acceptable Promoter
A 80.8 – 84.0 90 – 95 Excellent Acceptable Promoter A- 78.9 – 80.7 85 – 89 Excellent Acceptable Promoter B+ 77.2 – 78.8 80 – 84 Excellent Acceptable Passive
B 74.1 – 77.1 70 – 79 Excellent Acceptable Passive B- 72.6 – 74.0 65 – 69 Excellent Acceptable Passive C+ 71.1 – 72.5 60 – 64 Good Acceptable Passive
C 65.0 – 71.0 41 – 59 Good Marginal Passive
C- 62.7 – 64.9 35 – 40 Good Marginal Passive
D 51.7 – 62.6 15 – 34 OK Marginal Detractor
2. 2 Metode USE Questionnaire
USE Questionnaire adalah sebuah alat ukur usability berupa paket kuesioner yang diusulkan oleh Lund [10]. USE Questionnaire terdiri atas 30 pernyataan yang terbagi menjadi empat variabel yaitu usefulness (kebergunaan), ease of use (kemudahan penggunaan), ease of learning (kemudahan dipelajari), dan satisfaction (kepuasan) [9]. Pengukuran dengan USE Questionnaire menggunakan 7 poin skala Likert mulai dari nilai 1 untuk sangat tidak setuju hingga nilai 7 untuk Sangat Setuju [10]. Pernyataan metode USE Questionnaire yang digunakan dalam penelitian ini dijabarkan dalam Tabel 3.
Tabel 3. Daftar Pernyataan pada Kuesioner Metode USE Questionnaire
No Pernyataan
Usefulness
1 Aplikasi Sambara membantu kegiatan saya menjadi lebih efektif.
2 Aplikasi Sambara membantu saya menjadi lebih produktif.
3 Aplikasi Sambara sangat bermanfaat.
4 Aplikasi Sambara memberikan saya banyak kendali atas aktivitas saya.
5 Aplikasi Sambara membuat hal-hal yang ingin saya selesaikan menjadi lebih mudah untuk dilakukan
6 Aplikasi Sambara menghemat waktu saya ketika saya menggunakan aplikasi ini.
7 Aplikasi Sambara sesuai dengan kebutuhan saya.
8 Aplikasi Sambara mengerjakan sesuai yang saya harapkan.
Jatisi ISSN 2407-4322
Vol. 10, No. 2, Juni 2023, Hal. 215-227 E- ISSN 2503-2933 221
Ease of Use
9 Aplikasi Sambara mudah digunakan.
10 Aplikasi Sambara sederhana untuk digunakan
11 Aplikasi Sambara mudah dipahami oleh penggunanya.
12 Langkah-langkah penggunaan aplikasi Sambara sangat sederhana 13 Aplikasi Sambara fleksibel (dapat menyesuaikan kebutuhan) 14 Aplikasi Sambara dapat digunakan tanpa kesulitan
15 Saya dapat menggunakan aplikasi Sambara tanpa instruksi tertulis.
16 Saya tidak menemukan ketidakkonsistenan selama saya menggunakan aplikasi Sambara.
17 Pengguna sesekali maupun reguler akan menyukai aplikasi ini.
18 Kesalahan yang terjadi pada aplikasi Sambara dapat dipulihkan dengan cepat dan mudah 19 Saya selalu berhasil menggunakan aplikasi Sambara setiap saat.
Ease of Learning
20 Saya belajar menggunakan aplikasi Sambara dengan cepat 21 Saya mudah mengingat cara menggunakan aplikasi Sambara.
22 Penggunaan aplikasi Sambara mudah dipelajari.
23 Saya cepat terampil dalam menggunakan aplikasi Sambara.
Tabel 3. Daftar Pernyataan pada Kuesioner Metode USE Questionnaire (lanjutan)
No Pernyataan
Satisfaction
24 Saya puas dengan aplikasi Sambara.
25 Saya akan merekomendasikan aplikasi Sambara pada teman saya.
26 Aplikasi Sambara menyenangkan untuk digunakan.
27 Aplikasi Sambara bekerja sesuai dengan yang saya inginkan 28 Aplikasi Sambara mengagumkan.
29 Saya merasa perlu memiliki aplikasi Sambara.
30 Aplikasi Sambara nyaman untuk digunakan.
Perhitungan nilai usability dengan metode ini dilakukan dengan mengelompokkan jawaban responden ke dalam empat variabel kemudian dibandingkan dengan nilai yang diharapkan. Nilai yang diharapkan merupakan nilai maksimal untuk masing-masing variabel yang diperoleh dari perkalian jumlah responden dengan jumlah pernyataan valid dan skala maksimum. Nilai usability dari hasil perbandingan dinyatakan dalam satuan persentase (%) dan dikonversi menjadi kategori kelayakan yang dijabarkan dalam Tabel 4 [11].
Tabel 4. Kategori Kelayakan [11]
Persentase (%) Klasifikasi
< 21 Not Feasible
21 – 40 Less Feasible
40 – 60 Fairly Feasible
60 – 80 Feasible
80 – 100 Very Feasible
2.3 Uji Validitas
Uji validitas adalah suatu pengukuran untuk mengetahui seberapa akurat suatu alat ukur [12]. Penelitian ini melakukan pengujian validitas dengan rumus koefisien korelasi Pearson
222 Jatisi ISSN 2407-4322 Vol. 10, No. 2, Juni 2023, Hal. 215-227 E-ISSN 2503-2933
untuk mengukur validitas data yang telah diperoleh dari pengumpulan data dengan SUS dan USE Questionnaire. Salah satu metode untuk menghitung koefisien korelasi Pearson adalah Least Square Method (LSM). Koefisien korelasi Pearson dengan LSM dirumuskan dalam Rumus 1 [13].
r= ( ()( )())( ( )) (1) Keterangan
rxy = Nilai Koefisien Korelasi Pearson n = Jumlah responden
X = Nilai hasil pengumpulan data kuesioner Y = Total nilai dari masing-masing responden
∑ XY = Jumlah perkalian antara variabel X dan variabel Y
Nilai r dihitung untuk setiap butir pernyataan pada kuesioner kemudian dibandingkan dengan nilai r tabel. Nilai r tabel ditentukan dari jumlah responden dan nilai signifikansi.
Apabila nilai r hasil perhitungan kuesioner lebih besar atau sama dengan nilai r tabel maka kuesioner dianggap valid. Jika nilai r hasil perhitungan kuesioner lebih kecil daripada nilai r tabel maka kuesioner dianggap tidak valid [14].
3. HASIL DAN PEMBAHASAN
Uji validitas dalam penelitian ini dilakukan untuk mengetahui apakah data yang diperoleh dari kuesioner berhasil mengukur usability aplikasi Sambara. Uji ini dilakukan dengan menghitung nilai koefisien korelasi Pearson untuk setiap butir pernyataan SUS dan USE Questionnaire. Penelitian ini melibatkan 42 orang responden sehingga nilai r hasil perhitungan kuesioner harus lebih besar atau sama dengan 0,304 agar dianggap valid. Hasil uji validitas untuk kuesioner SUS dan USE Questionnaire dirangkum dalam Tabel 5 dan 6.
Tabel 5. Hasil Uji Validitas Untuk Kuesioner SUS Pernyataan Nilai r Hitung Hasil
P1 0,440 Valid
P2 0,386 Valid
P3 0,379 Valid
P4 0,332 Valid
P5 0,394 Valid
P6 0,330 Valid
P7 0,334 Valid
P8 0,455 Valid
P9 0,312 Valid
P10 0,557 Valid
Tabel 5 merangkum hasil uji validitas untuk kuesioner SUS. Berdasarkan perhitungan yang sudah dilakukan, nilai r hitung untuk sepuluh pernyataan metode SUS bernilai lebih besar dari 0,304 sehingga semua pernyataan kuesioner SUS dinyatakan valid. Hasil uji validitas kuesioner USE Questionnaire ditunjukkan dalam Tabel 6. Berdasarkan perhitungan yang sudah dilakukan, nilai r hitung untuk semua pernyataan dari metode USE Questionnaire bernilai lebih besar dari 0,304 sehingga pernyataan dinyatakan valid.
Jatisi ISSN 2407-4322
Vol. 10, No. 2, Juni 2023, Hal. 215-227 E- ISSN 2503-2933 223
Tabel 6. Hasil Uji Validitas Untuk Metode USE Questionnaire Pernyataan r hitung Hasil Pernyataan r hitung Hasil
P1 0,775 Valid P16 0,742 Valid
P2 0,773 Valid P17 0,835 Valid
P3 0,780 Valid P18 0,742 Valid
P4 0,712 Valid P19 0,821 Valid
P5 0,776 Valid P20 0,804 Valid
P6 0,817 Valid P21 0,789 Valid
P7 0,698 Valid P22 0,854 Valid
P8 0,840 Valid P23 0,840 Valid
P9 0,814 Valid P24 0,777 Valid
P10 0,833 Valid P25 0,845 Valid
P11 0,835 Valid P26 0,884 Valid
P12 0,813 Valid P27 0,798 Valid
P13 0,806 Valid P28 0,864 Valid
P14 0,808 Valid P29 0,707 Valid
P15 0,600 Valid P30 0,869 Valid
Karakterisitik responden yang terlibat dalam penelitian ini dapat dikelompokkan berdasarkan jenis kelamin, usia dan pekerjaan. Responden berdasarkan jenis kelamin terdiri dari 17 orang wanita dan 25 orang pria. Pengelompokan responden berdasarkan usia dirangkum dalam Gambar 4. Mayoritas responden berada dalam kelompok usia 26-35 tahun. Hal ini mungkin dipengaruhi oleh penyebaran kuesioner yang dilakukan di media sosial lebih dominan menjangkau kelompok usia tersebut. Pekerjaan responden terdiri dari 34 orang pegawai swasta, 4 orang wirausaha, 2 orang pelajar atau mahasiswa, 1 orang pengajar, dan 1 orang pencari kerja.
Mayoritas responden yang terlibat dalam penelitian berprofesi sebagai pegawai swasta. Hal ini mungkin disebabkan fungsi aplikasi Sambara dapat memenuhi kebutuhan pegawai swasta dengan jam kerja yang padat.
Gambar 4. Pengelompokan Responden Berdasarkan Kelompok Usia
224 Jatisi ISSN 2407-4322 Vol. 10, No. 2, Juni 2023, Hal. 215-227 E-ISSN 2503-2933
Kuesioner metode SUS dan USE Questionnaire memiliki pernyataan dan cara pengolahan data yang berbeda. Formula untuk menghitung nilai SUS adalah menjumlahkan kontribusi dari setiap pernyataan. Nilai kontribusi untuk pernyataan pertama, ke-3, ke-5, ke-7, dan ke-9 diperoleh dari posisi skala dikurangi 1. Nilai kontribusi untuk pernyataan ke-2, ke-4, ke-6, ke-8, dan ke-10 diperoleh dari 5 dikurangi posisi skala. Hasil penjumlahan kontribusi kemudian dikalikan dengan 2,5 untuk memperoleh nilai SUS secara keseluruhan [7]. Hasil pengolahan data dari kuesioner dengan metode SUS dirangkum dalam Tabel 8.
Tabel 8. Hasil Perhitungan Dengan Metode SUS
Responden Hasil Perhitungan Responden Hasil Perhitungan
R1 42,5 R22 42,5
R2 32,5 R23 42,5
R3 70 R24 90
R4 82,5 R25 62,5
R5 75 R26 72,5
R6 52,5 R27 50
R7 62,5 R28 52,5
R8 55 R29 60
R9 52,5 R30 57,5
R10 52,5 R31 65
R11 90 R32 50
R12 52,5 R33 32,5
R13 75 R34 82,5
R14 65 R35 52,5
R15 80 R36 55
R16 65 R37 72,5
R17 60 R38 92,5
R18 70 R39 70
R19 80 R40 75
R20 57,5 R41 70
R21 55 R42 67,5
Total Nilai Responden dengan Metode SUS 2.642,5
Rata-rata Nilai SUS 62,91
Nilai rata-rata hasil perhitungan kuesioner dengan metode SUS adalah 62,91. Nilai ini berada di tingkat persentil 35% dengan Grade C-. Hal ini berarti nilai usability aplikasi Sambara berada sedikit di bawah rata-rata namun lebih baik dari 35% nilai dalam database. Secara pendekatan Adjectives, aplikasi Sambara memperoleh predikat OK yang berarti pengguna menilai aplikasi ini cukup baik. Nilai usability aplikasi Sambara termasuk dalam kategori marginal dengan NPS Passive yang berarti aplikasi Sambara dapat diterima oleh pengguna namun hanya untuk sebagian kecil saja. Pengguna aplikasi Sambara berada dalam kondisi tidak menolak namun juga tidak mempromosikan aplikasi ini.
Pengolahan data kuesioner dengan metode USE Questionnaire dimulai dengan mengelompokkan nilai untuk keempat variabel usability yang diukur. Pernyataan dikelompokkan menjadi 4 variabel yaitu 8 pernyataan untuk variabel usefulness, 11 pernyataan untuk variabel ease of use, 4 pernyataan untuk variabel ease of learning, dan 7 pernyataan untuk variabel satisfaction. Nilai jawaban responden dijumlahkan untuk masing-masing dimensi.
Pengukuran usability dengan metode USE Questionnaire dilakukan dengan membandingkan
Jatisi ISSN 2407-4322
Vol. 10, No. 2, Juni 2023, Hal. 215-227 E- ISSN 2503-2933 225
total nilai jawaban responden dengan nilai yang diharapkan. Perbandingan antara nilai jawaban responden dengan nilai yang diharapkan dari keempat variabel dirangkum dalam Tabel 8.
Tabel 8. Pengukuran Usability Dengan Metode USE Questionnaire No Variabel nbv Nilai yang
Diharapkan
Nilai Jawaban
Responden % Rata-
rata
1 Usefulness 8 2.352 1.797 76,4 5,35
2 Ease of Use 11 3.234 2.415 74,7 5,23
3 Ease of Learning 4 1.176 928 78,9 5,52
4 Satisfaction 7 2.058 1.528 74,2 5,20
Total 30 8.820 6.668
Rata-rata 76,1 5,32
Tabel 8 menunjukkan hasil perhitungan nilai usability aplikasi Sambara dengan metode USE Questionnaire. Kolom nbv berisi jumlah pernyataan valid dari masing-masing dimensi.
Nilai yang diharapkan yaitu perkalian jumlah responden, nbv dan nilai maksimum [11]. Nilai jawaban responden menunjukkan total nilai yang diperoleh dari kuesioner untuk masing-masing variabel. Kolom keenam menunjukkan persentase perbandingan nilai jawaban responden terhadap nilai yang diharapkan. Berdasarkan hasil persentase dapat dilihat bahwa hasil penilaian untuk aplikasi Sambara dengan metode USE Questionnaire memperoleh nilai 76,4% untuk variabel usefulness, nilai 74,7% untuk variabel ease of use, nilai 78,9% untuk variabel ease of learning, dan nilai 74,2% untuk variabel satisfaction. Rata-rata dari keempat variabel adalah 76,1%. Hal ini dapat diartikan aplikasi Sambara dinilai layak untuk digunakan. Variabel satisfaction memiliki nilai terkecil di antara keempat variabel yang diukur namun berdasarkan Tabel Kategori Kelayakan (Tabel 4), nilai tersebut masih termasuk dalam kategori layak. Kolom terakhir menunjukkan rata-rata yang diperoleh dari data hasil kuesioner untuk masing-masing variabel. Nilai rata-rata dari data hasil kuesioner untuk variabel usefulness adalah 5,35, ease of use yaitu 5,23, ease of learning adalah 5,52, dan satisfaction sebesar 5,20. Rata-rata dari keempat variabel memperoleh nilai 5,32 dari nilai maksimal 7. Hal ini dapat diartikan usability aplikasi Sambara dinilai baik oleh responden yang berpartisipasi dalam kuesioner. Parameter dengan nilai terbesar adalah ease of learning sedangkan nilai terkecil diperoleh ease of use dan satisfaction. Hal ini dapat diartikan pengguna menilai aplikasi Sambara memiliki kemudahan untuk dipelajari, namun tidak terlalu merekomendasikannya pada orang lain karena terdapat beberapa hambatan dalam penggunaan aplikasi ini.
4. KESIMPULAN
Berdasarkan hasil pengolahan data terhadap 42 responden diperoleh tingkat usability aplikasi Sambara dengan metode SUS sebesar 62,91. Nilai ini dikategorikan sebagai OK dengan Grade C-, Percentile Rank bernilai 35%, Acceptability Marginal, dan NPS bersifat Passive. Hal ini dapat disimpulkan bahwa aplikasi Sambara dapat diterima oleh masyarakat dalam kelompok marginal dengan pengguna yang bersifat pasif yaitu pengguna tidak merekomendasikan aplikasi pada orang lain. Tingkat usability aplikasi Sambara dengan metode USE Questionnaire diperoleh sebesar 76,4% untuk dimensi usefulness, 74,7% untuk dimensi ease of use, 78,9%
untuk dimensi ease of learning, dan 74,2% untuk dimensi satisfaction. Rata-rata dari keempat dimensi yaitu 76,1% yang berarti aplikasi Sambara dinilai Layak. Nilai rata-rata dari hasil kuesioner adalah 5,35 untuk dimensi usefulness, 5,23 untuk dimensi ease of use, 5,52 untuk
226 Jatisi ISSN 2407-4322 Vol. 10, No. 2, Juni 2023, Hal. 215-227 E-ISSN 2503-2933
dimensi ease of learning, dan 5,20 untuk dimensi satisfaction. Rata-rata keseluruhan adalah 5,32 dari nilai maksimal 7. Hal ini dapat diartikan nilai usability aplikasi Sambara baik.
5. SARAN
Saran merupakan usulan yang diberikan agar dapat dilakukan perbaikan untuk penelitian selanjutnya maupun pengembangan aplikasi Sambara. Berikut saran yang dapat diusulkan terkait penelitian ini.
1. Penelitian selanjutnya dapat dilakukan dengan metode lainnya seperti Heuristic Evaluation, SUMI (Software Usability Measurement Inventory), User Experience Questionnaire Short (UEQ-S) dan sebagainya.
2. Penelitian selanjutnya dapat melibatkan responden yang lebih spesifik dengan menerapkan purposive sampling dan bekerja sama dengan kelompok terkait (misalnya komunitas pengendara motor di Tasikmalaya atau komunitas ojek online di Bekasi Barat).
DAFTAR PUSTAKA
[1] Nielsen, J., 2012, Usability 101: Introduction to Usability [Online], Available at https://www.nngroup.com/articles/usability-101-introduction-to-usability/ (diakses pada 29 Juni 2022).
[2] Kaban, E., Brata, K. C., dan Brata, A. H. 2020. Evaluasi Usability Menggunakan Metode System Usability Scale (SUS) dan Discovery Prototyping pada Aplikasi PLN Mobile (Studi Kasus PT. PLN). Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 4(10), 3281-3290.
[3] Kesuma, D. P. 2021. Penggunaan Metode System Usability Scale Untuk Mengukur Aspek Usability pada Media Pembelajaran Daring di Universitas XYZ. Jurnal Teknik Informatika dan Sistem Informasi, 8(3), 1615-1626.
[4] Hadi, K. R., Az-Zahra, H. M., dan Fanani, L. 2018. Analisis dan Perbaikan Usability Aplikasi Mobile KAI Access Dengan Metode Usability Testing dan USE Questionnaire.
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 2(9), 2742-2750.
[5] Ramdani, A. 2020. Analisis Deskriptif Terhadap Inovasi Layanan Aplikasi Sambara (Samsat Mobile Jawa Barat). Jurnal Academia Praja, 3(1), 37-43.
[6] Rubin, J., dan Chisnell, D., 2011, Handbook of Usability Testing Second Edition: How to Plan, Design, and Conduct Effective Tests, Wiley Publishing, Inc, Indianapolis.
[7] Brooke, J., 1995, SUS: A ‘Quick and Dirty’ Usability Scale, Jordan, P. W., et al. (ed):
Usability Evaluation in Industry (1st Ed.), CRC Press, London.
[8] Sauro, J., 2018, 5 Ways to Interpret a SUS Score [Online]. Available at https://measuringu.com/interpret-sus-score/ (diakses pada 20 Agustus 2022).
Jatisi ISSN 2407-4322
Vol. 10, No. 2, Juni 2023, Hal. 215-227 E- ISSN 2503-2933 227
[9] Putra, Y. S. M., dan Tanamal, R. 2020. Analisis Usability Menggunakan Metode USE Questionnaire pada Website Ciputra Enterprise System. Jurnal Teknologi Informasi dan Komunikasi (TEKNIKA), 9(1), 58-65.
[10] Lund, A. M., 2001, Measuring Usability with The USE Questionnaire, Dick, D. (ed) Usability Interface, 8(2), 3-6.
[11] Haq, M. S., Wagino, Rofiah, K., Setyowati, N. A. D. 2021. The Usability Measurement of E-Faculty of Education UNESA Service Using USE Questionnaire. Jurnal Manajemen dan Supervisi Pendidikan (JMSP), 5(3), 169-177.
[12] Purnomo, D. 2018. Uji Validitas dan Reliabilitas Step Test Sebagai Alat Ukur Keseimbangan pada Lansia. Jurnal Fisioterapi dan Rehabilitasi (JFR), 2(2), 53-70.
[13] Hasan, M. I., 2011, Pokok-pokok Materi Statistik 1 (Statistik Deskriptif), Ed.2, Bumi Aksara, Jakarta.
[14] Sasongko, A., Jayanti, W. E., Risdiansyah, D. 2020. USE Questionnaire untuk Mengukur Daya Guna Sistem Informasi E-Tadkzirah. Jurnal Khatulistiwa Informatika, 8(2), 80-87.
