Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-issn: X

(1)

Fakultas Ilmu Komputer

Universitas Brawijaya 793

Evaluasi Usability Aplikasi Bank Syariah Indonesia Mobile menggunakan Metode Usability Testing dan System Usability Scale (Studi Kasus : KCP

Trenggalek Sudirman 1)

Annisa Julia Santoso¹, Satrio Hadi Wijoyo², Andi Reza Perdanakusuma³ Program Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya

Email: ¹[email protected], ²[email protected], ³[email protected]

Abstrak

Bank Syariah Indonesia Mobile (BSI Mobile) merupakan salah satu saluran penyaluran yang dimiliki oleh Bank Syariah Indonesia untuk mengakses rekening nasabah dengan menggunakan teknologi 3G/4G dan wifi melalui smartphone. Aplikasi ini banyak mendapat ulasan negatif yang berkaitan dengan usability pada Play Store. Pada penelitian ini dilakukan evaluasi untuk mengetahui tingkat usability aplikasi BSI Mobile menggunakan metode usability testing dan system usability scale (SUS) sehingga menghasilkan rekomendasi perbaikan aplikasi. Responden pada penelitian ini adalah nasabah KCP Trenggalek Sudirman 1. Responden pengujian usability sebanyak 5 responden dan merupakan pengguna baru. Responden SUS sebanyak 30 orang pengguna aktif aplikasi BSI Mobile dan merupakan pengguna android. Pengukuran pada aspek learnability adalah 65% , aspek efficiency adalah 0,008 goals/sec, dan aspek error adalah 0,24 (tergolong kecil). Aspek satisfaction menggunakan metode SUS yang diisi oleh 30 responden dengan hasil 70,75 sehingga masuk ke dalam kategori acceptable dan mendapatkan peringkat C (good). Wawancara dilakukan untuk menggali lebih dalam permasalahan yang dialami oleh responden selama pengujian usability. Berdasarkan hasil dari pengujian usability dan wawancara, terdapat 6 temuan permasalahan usability. Oleh sebab itu responden memberikan saran dan guidelines yang bersumber dari google material design untuk membuat rekomendasi perbaikan.

Kata kunci: BSI mobile, evaluasi, usability testing, system usability scale Abstract

Bank Syariah Indonesia Mobile (BSI Mobile) is one of the distribution channels owned by Bank Syariah Indonesia to access customer accounts using 3G/4G technology and wifi via smartphones. This application receives a lot of negative reviews related to usability on the Play Store. In this research, an evaluation was carried out to determine the usability level of the BSI Mobile application using usability testing and system usability scale (SUS) methods to produce application improvement recommendations. Respondents in this study were customers of KCP Trenggalek Sudirman 1. Usability test respondents were 5 respondents and new users. SUS respondents are 30 active users of the BSI Mobile application and android users. The measurement on the learnability aspect is 65%, the efficiency aspect is 0.008 goals/sec, and the error aspect is 0.24 (relatively small). The satisfaction aspect uses the SUS method which is filled out by 30 respondents with a result of 70.75 so that is in the acceptable category and gets a C rating (good). Interviews were conducted to dig deeper into the problems experienced by respondents during usability testing. Based on the results of usability testing and interviews, there are 6 findings of usability problems. Therefore, respondents provide suggestions and guidelines sourced from google material design to make recommendations for improvement.

Keywords: BSI mobile, evaluation, usability testing, system usability scale

1. PENDAHULUAN

Teknologi berkembang semakin pesat dari tahun ke tahun sehingga dapat memberikan pengaruh terhadap gaya hidup masyarakat dimana sudah susah untuk lepas dari

smartphone. Indonesia menempati urutan keempat dengan pengguna smartphone terbanyak di dunia setelah negara China, India, dan Amerika Serikat (Millward, 2014). Hal ini memberi kesempatan bagi sektor-sektor yang

(2)

Fakultas Ilmu Komputer, Universitas Brawijaya

berada di Indonesia untuk berinovasi dengan menggunakan teknologi sebaik mungkin. Salah satu contoh bentuk inovasi dari sektor perbankan adalah mobile banking atau m-banking.

Mobile banking merupakan suatu layanan perbankan yang ditawarkan oleh pihak bank dengan menggunakan smartphone untuk memudahkan kegiatan perbankan (Sulistiyarini, 2013). Salah satu mobile banking yang tersedia di Indonesia adalah Bank Syariah Indonesia Mobile atau BSI Mobile. Bank Syariah Indonesia Mobile merupakan salah satu saluran penyaluran yang dimiliki oleh Bank Syariah Indonesia untuk mengakses rekening nasabah dengan menggunakan teknologi 3G/4G dan wifi melalui smartphone. Aplikasi ini memperoleh rating 3,7 dari skala 1 sampai 5 dan sebanyak 35.536 pengguna telah memberikan ulasan atau review. Namun tidak sedikit yang memberikan ulasan negatif pada aplikasi ini setelah melakukan update atau pembaruan. Oleh karena itu aplikasi Bank Syariah Indonesia Mobile masih sangat perlu untuk dilakukan perbaikan.

Terdapat salah satu komentar dari Fadzil Mochammad yang diunggah pada tanggal 06 April 2021 mengatakan aplikasi kurang simpel karena harus memasukkan pin berulang kali pada setiap fiturnya. Berdasarkan pemaparan masalah yang dirasakan oleh pengguna aplikasi BSI Mobile, masalah-masalah tersebut berhubungan dengan usability. Pengujian pada penelitian ini menggunakan empat aspek usability yaitu learnability (kemudahan), efficiency (kecepatan), errors (kesalahan), dan satisfaction (kepuasan) (Nielsen, 2012). Dilihat dari ulasan pengguna, aplikasi BSI Mobile masih perlu dilakukan evaluasi usability dimana evaluasi ini melibatkan pengguna sehingga dapat mengetahui dan mempelajari permasalahan- permasalahan yang dialami oleh pengguna.

Metode yang akan digunakan adalah Usability Testing dan System Usability Scale.

Metode usability testing digunakan untuk mengukur kemudahan dalam mempelajari suatu produk, kecepatan dalam menyelesaikan tugas dan kemampuan untuk mengingat bagaimana berinteraksi tanpa adanya kesulitan atau kesalahan (Badre, 2002). Sedangkan system usability scale (SUS) digunakan untuk mengukur tingkat kepuasan pengguna akhir (end user) terhadap usability sistem yang digunakan (John Brooke, 2013).

2. LANDASAN KEPUSTAKAAN

2.1 Usability

Usability merupakan atribut kualitas yang menjelaskan ataupun mengukur seberapa mudah pengguna dalam menggunakan suatu antar muka (Nielsen, 2012). Secara umum usability berfokus pada bagaimana pengguna bisa mempelajari serta menggunakan produk untuk mencapai tujuannya dan mengetahui seberapa puas pengguna menggunakan produk tersebut.

Usability memiliki lima aspek utama (Nielsen, 2012) yaitu learnability (seberapa mudah pengguna paham dalam mempelajari dan menggunakan sistem untuk mengerjakan tugas dasar ketika pertama kali menggunakan suatu sistem atau produk tersebut, efficiency (seberapa cepat pengguna dalam menyelesaikan tugas setelah mempelajari penggunaan sistem atau produk tersebut), memorability (seberapa mudah suatu sistem atau produk diingat setelah tidak menggunakan sistem atau produk tersebut dalam jangka waktu tertentu), errors (seberapa sering kesalahan yang dibuat oleh pengguna selama menggunakan suatu sistem atau produk), dan satisfaction (seberapa puas pengguna dalam menggunakan sistem atau produk).

2.2 Usability Testing

Usability testing merupakan pengujian yang digunakan untuk mengukur efisiensi, kemudahan dalam mempelajari sesuatu, dan kemampuan untuk mengingat bagaimana berinteraksi setelah tidak menggunakan produk dalam kurun waktu tertentu (Bauer, 2010).

Usability testing memiliki beberapa manfaat yaitu hasilnya lebih objektif daripada pendapat sendiri, dapat menemukan lebih banyak permasalahan usability, memberi gambaran penggunaan produk, dan dapat memberikan gambaran pada manajemen berdasarkan fakta (Tullis & Albert, 2008).

Dalam usability testing terdapat rumus untuk mengukur 4 aspek usability yaitu success rate, time based efficiency, error rate, dan system usability scale. Success rate merupakan besaran persentase tugas yang berhasil diselesaikan oleh pengguna dengan benar (Nielsen, 2001). Time based efficiency merupakan waktu yang diperlukan pengguna untuk menyelesaikan suatu task atau tugas (Mifsud, 2015). Error rate merupakan besaran persentase kesalahan yang tidak diinginkan dan disengaja yang dilakukan oleh pengguna ketika menyelesaikan task (Mifsud, 2015). System usability scale atau SUS

(3)

digunakan untuk mengukur seberapa puas pengguna dalam menggunakan suatu sistem.

Kuesioner SUS memiliki kelebihan yaitu dapat digunakan dengan mudah karena hasilnya berupa skor antara 0 sampai 100 (Brooke, 1996), tidak membutuhkan perhitungan yang rumit (Bangor 2t al., 2009), tersedia secara gratis dan tidak membutuhkan biaya tambahan (Garcia, 2013) serta sudah terbukti valid dan reliable walau dengan ukuran sampel yang kecil (Tullis and Stetson, 2004; Brook, 2013). Kuesioner SUS memiliki 10 pernyataan dengan 5 likert dari nilai 1 yang artinya sangat tidak setuju hingga nilai 5 yang artinya sangat setuju (Brooke, 1996).

2.3 Evaluasi

Evaluasi adalah proses yang teratur dan berkelanjutan untuk menggambarkan, mengumpulkan, menafsirkan serta menyediakan informasi mengenai suatu program agar bisa digunakan sebagai dasar dalam pembuatan keputusan, penyusunan kebijakan maupun penyusunan program selanjutnya (Widyoko, 2012). Evaluasi bertujuan untuk menilai apakah objek evaluasi berjalan sesuai dengan rencana, mengukur apakah pelaksanaan sesuai dengan standar, dapat mengidentifikasi serta menentukan kekurangan dari objek evaluasi, pengembangan pengguna dari objek evaluasi, pengambilan keputusan terkait dengan objek evaluasi, akuntabilitas, memberikan saran kepada pengguna, dan mengembangkan teori dan riset evaluasi (Wirawan, 2012).

3. METODOLOGI PENELITIAN

Metodologi penelitian berguna untuk menyelesaikan masalah dnegan beberapa tahapan. Tahapan metode usability testing yang dilakukan oleh peneliti berakhir pada rekomendasi perbaikan (Zurriyadi, 2008).

Gambar 1. Metodologi Penelitian

Studi literatur digunakan oleh peneliti untuk mencari teori dan memahami metode-metode yang akan digunakan dengan cara mencari referensi dari penelitian-penelitian sebelumnya dengan menggunakan metode yang sama.

Referensi-referensi tersebut dapat ditemukan pada jurnal, internet, dan lainnya.

Pengumpulan data dilakukan dengan usability testing, wawancara, dan penyebaran kuesioner SUS. Objek yang digunakan pada penelitian ini adalah aplikasi BSI Mobile.

Pengguna aplikasi ini masih mengalami masalah dalam hal usability sehingga dilakukan Usability testing berfungsi untuk mengukur seberapa mudah pengguna dalam menggunakan aplikasi, mengetahui kecepatan dan kesalahan pengguna serta mencari informasi tentang permasalahan yang ada pada aplikasi. Selanjutnya dilakukan wawancara penyebaran kuesioner kepada pengguna aplikasi dimana bertujuan untuk mengetahui tingkat kepuasan pengguna.

Pengujian usability akan dilakukan kepada 5 responden. Syarat untuk menjadi responden dalam pengujian ini adalah pengguna baru aplikasi BSI Mobile KCP Trenggalek Sudirman 1 dan pengguna dengan usia 15 sampai 64 tahun atau usia produktif.

Kemudian dilakukan analisis data yang didapatkan dari hasil usability testing, wawancara, dan penyebaran kuesioner system usability scale. Analisis data pada penelitian ini menggunakan 2 metode yaitu kualitatif dan kuantitatif. Pada metode kualitatif peneliti menggali permasalahan-permasalahan yang dialami oleh pengguna melalui wawancara. Pada metode kuantitatif peneliti melihat dari 4 aspek usability yaitu learnability dengan mengukur success rate, efficiency dengan mengukur time based efficiency, error dengan mengukur error rate, dan satisfaction dengan menggunakan system usability scale (SUS).

Setelah melakukan usability testing dan system usability scale, akan ditemukan permasalahan-permasalahan usability pada aplikasi BSI Mobile. Selanjutnya akan diberikan rekomendasi perbaikan dengan saran atau masukan berupa mockup aplikasi yang bertujuan untuk meningkatkan usability aplikasi BSI Mobile berdasarkan analisis yang telah dilakukan sebelumnya. Perbaikan tersebut dirancang sesuai dengan permasalahan usability yang ditemukan pada aplikasi BSI Mobile.

Selanjutnya akan dibuat kesimpulan dari hasil analisis data kualitatif dan kuantitatif terhadap aplikasi BSI Mobile. Selain itu juga

(4)

diberikan saran agar usability pada aplikasi BSI Mobile dapat mengalami peningkatan dan rekomendasi pada penelitian selanjutnya dengan objek atau metode yang sama dengan penelitian ini.

4. ANALISIS DAN HASIL

4.1 Aspek Usability Bagian Learnability

Pada aspek usability bagian learnability dapat diketahui tingkat usability pada aplikasi.

Terdapat 3 kategori perhitungan pada aspek ini yaitu success (S), partial success (P), dan fail (F).

Tabel 1. Data Success Rate

Responden T1 T2 T3 T4 T5 T6 R1 P S P S S P

R2 P P P F P F R3 S P S P P S R4 S P P P S S R5 S P P P P S

Langkah selanjutnya peneliti mulai menghitung success rate dengan rumus dibawah ini yaitu :

𝑆𝑢𝑐𝑐𝑒𝑠𝑠 𝑅𝑎𝑡𝑒 =(𝑆+(𝑃 𝑥 0.5)))

𝑡𝑜𝑡𝑎𝑙 𝑡𝑎𝑠𝑘 𝑥 100% (1)

= (11+(17 𝑥 0.5)))

30 𝑥 100%

= 65%

Setelah dilakukan perhitungan oleh rumus diatas, diperoleh nilai success rate dari aplikasi BSI Mobile adalah sebesar 65%. Berdasarkan 115 usability testing dengan 1.189 tugas dan 3472 pengguna maka rata-rata tingkat keberhasilan dalam menyelesaikan tugas adalah sebesar 78% (Sauro,2012). Sehingga kesimpulannya adalah tingkat learnability pada aplikasi BSI Mobile berada dibawah rata-rata.

4.2 Aspek Usability Bagian Efficiency

Pada aspek usability bagian efficiency dapat mengukur seberapa lama waktu yang dibutuhkan responden dalam menyelesaikan tugas yang diberikan oleh peneliti. Waktu yang dibutuhkan adalah dari awal responden mengerjakan tugas sampai selesai menyelesaikan tugas. Berikut adalah data pengerjaan responden :

Tabel 2. Data Pengerjaan Responden

Responden T1 T2 T3 T4 T5 T6 R1 0 1 0 1 1 0

R2 0 0 0 0 0 0 R3 1 0 1 0 0 1 R4 1 0 0 0 1 1 R5 1 0 0 0 0 1

Selanjutnya terdapat hasil waktu pengerjaan tugas seluruh responden dalam satuan detik. Berikut adalah waktu pengerjaan yang dibutuhkan responden selama pengujian usability yaitu :

Tabel 3. Data Time Based Efficiency

Responden Waktu (detik) T1 T2 T3 T4 T5 T6

R1 45 70 43 78 53 32 R2 42 68 56 71 62 51 R3 53 108 34 122 95 32 R4 44 101 95 143 76 31 R5 45 99 69 94 85 42

Kemudain peneliti menghitung time based efficiency dengan rumus dibawah ini:

𝑇𝑖𝑚𝑒 𝐵𝑎𝑠𝑒𝑑 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 =

∑ ∑ ^𝑛𝑖𝑗

𝑡𝑖𝑗 𝑁𝑖=1 𝑅𝑗=1

𝑁𝑅 (2)

=

0

45+₇₀¹+₄₃⁰+₇₈¹…+₄₂¹ 6𝑥5

= 0,008 𝑔𝑜𝑎𝑙𝑠/𝑠𝑒𝑐

Setelah dilakukan perhitungan oleh rumus diatas, diperoleh nilai time based efficiency adalah 0,008 goals/sec.

Perhitungan tersebut diperoleh dengan 5 responden. Hal ini menunjukkan bahwa responden menyelesaikan tugas sebanyak 0,8% per detik.

4.3 Aspek Usability Bagian Error

Pada aspek usability bagian error dapat diketahui seberapa banyak kesalahan ketika responden menyelesaikan tugas yang diberikan oleh peneliti. Langkah awal adalah mencatat jumlah langkah yang seharusnya dilakukan responden untuk menyelesaikan task yang sudah ditetukan. Langkah responden yang tidak sesuai dengan langkah yang ditentukan artinya responden telah melakukan kesalahan.

Hal itu berlangsung hingga responden selesai

(5)

dalam menyelesaikan task. Apabila kesalahan yang dilakukan responden melebihi banyak langkah yang seharusnya dilakukan, maka akan dihitung gagal. Berikut adalah total kesempatan atau langkah pengujian usability aplikasi BSI Mobile yaitu :

Tabel 4. Data Kesempatan/Langkah

Responden T1 T2 T3 T4 T5 T6 R1 6 13 7 9 9 8 R2 6 13 7 9 9 8 R3 6 13 7 9 9 8 R4 6 13 7 9 9 8 R5 6 13 7 9 9 8

Total langkah dari pengujian ini adalah 260. Berikut adalah total kesalahan dari 5 responden ketika mengerjakan 6 task yang diberikan oleh peneliti :

Tabel 5. Data Kesalahan Responden

Responden T1 T2 T3 T4 T5 T6 R1 2 0 2 0 0 1

R2 3 1 3 9 1 8 R3 0 1 0 4 4 0 R4 0 1 3 6 0 0 R5 0 1 4 3 6 0

Total kesalahan yang dilakukan adalah 63.

Selanjutnya dilakukan perhitungan error rate dengan rumus dibawah ini :

𝐸𝑟𝑟𝑜𝑟 𝑅𝑎𝑡𝑒 = 𝑇𝑜𝑡𝑎𝑙 𝐷𝑒𝑓𝑒𝑐𝑡𝑠 𝑇𝑜𝑡𝑎𝑙 𝑂𝑝𝑝𝑜𝑟𝑡𝑢𝑛𝑖𝑡𝑖𝑒𝑠 (3) = ⁶³

260

= 0,24

Berdasarkan perhitungan tersebut, diperoleh nilai error rate yaitu 0,24. Dua dari tiga pengguna yang melakukan kesalahan nilai rata-rata kesalahan per tugas dengan adalah 0,7 (Sauro, 2012). Hal itu menunjukkan bahwa tingkat error pada aplikasi BSI Mobile masih tergolong kecil.

4.4 Aspek Usability Bagian Satisfaction Pada aspek usability bagian satisfaction dapat diketahui tingkat kepuasan pengguna ketika menggunakan aplikasi BSI Mobile.

Pengukuran tingkat kepuasan pengguna pada penelitian ini menggunakan metode kuesioner System Usability Scale (SUS). Kuesioner SUS akan diberikan kepada 37 pengguna aktif

aplikasi BSI Mobile dimana peneliti hanya mengambil 30 responden khusus pengguna android.

Berdasarkan perhitungan SUS dengan 30 responden, rata-rata yang diperoleh adalah 70,75. Pada acceptability nilai skor SUS lebih dari 70 untuk masuk ke dalam kategori mudah diterima (acceptable) sehingga dapat dikatakan bahwa aplikasi BSI Mobile termasuk ke dalam kategori tersebut. Pada skala peringkat aplikasi BSI Mobile mendapatkan peringkat C, artinya aplikasi ini mendapatkan rating good.

4.5 Temuan Permasalahan

Setelah pengujian usability dan wawancara selesai dilakukan maka akan ditemukan permasalahan-permasalahan yang dialami oleh pengguna ketika menggunakan aplikasi BSI Mobile. Hasil temuan tersebut akan dirangkum dalam tabel temuan masalah. Berikut adalah beberapa permasalahan usability yang ditemukan :

Tabel 6. Temuan Permasalahan Permasalahan Sumber Temuan Responden kesulitan

untuk menemukan fitur top up pulsa dengan nama yang kurang dipahami

Pengujian dan wawancara

Responden kesulitan untuk menemukan fitur top up OVO dengan nama yang kurang dipahami

Responden sedikit waspada dalam memasukkan nominal karena tidak ada tanda titik

Responden kesulitan dalam kembali ke halaman sebelumnya

Pengujian dan wawancara Responden kesulitan

dalam menemukan fitur untuk pembayaran shopee karena terdapat 2 menu untuk

pembayaran e-

commerce

Responden merasa tidak nyaman jika harus memasukkan kata sandi dan pin berulang kali

5. PEMBAHASAN

5.1 Hasil Evaluasi Analisis Objektif

(6)

Pada analisis aspek learnability dilakukan pengukuran terhadap tingkat keberhasilan pengguna dalam mengerjakan task.

Perhitungan pada aspek learnability menggunakan rumus success rate Terdapat 6 task yang harus diselesaikan 5 responden dimana dari total keseluruhan tugas yang diberikan kepada semua responden yang berjumlah 30 hanya 11 task yang berhasil dikerjakan tanpa adanya kesalahan.

Pada analisis aspek efficiency dilakukan pengukuran terhadap tingkat kecepatan waktu pengguna dalam mengerjakan task.

Perhitungan pada aspek efficiency menggunakan rumus time based efficiency.

Responden R3 membutuhkan waktu lebih lama untuk dapat menyelesaikan T1 dan T2.

Responden R4 membutuhkan waktu lebih lama untuk dapat menyelesaikan T3 dan T4.

Responden R3 membutuhkan waktu lebih lama untuk dapat menyelesaikan T5. Responden R2 membutuhkan waktu lebih lama untuk dapat menyelesaikan T6.

Pada analisis aspek error dilakukan pengukuran terhadap tingkat kesalahan pengguna dalam mengerjakan task.

Perhitungan pada aspek error menggunakan rumus error. Total kesalahan pada F1 dari seluruh responden adalah 5, F2 dari seluruh responden adalah 4, F3 dari seluruh responden adalah 12, F4 dari seluruh responden adalah 22, F5 dari seluruh responden adalah 11, dan F6 dari seluruh responden adalah 9 sehingga total keseluruhan kesalahan yang dilakukan semua responden pada pengujian usability aplikasi BSI Mobile yaitu 63.

Pada analisis aspek satisfaction dilakukan pengukuran dengan menggunakan metode system usability scale (SUS). SUS dapat digunakan untuk mengukur pandangan pengguna terhadap sistem usability yang digunakan. Hasil perhitungan skor SUS dengan 30 responden adalah 70,75. Pada acceptability skor SUS harus bernilai lebih dari 70 untuk masuk ke dalam kategori acceptable.

Dari perhitungan yang telah dilakukan artinya aplikasi BSI Mobile termasuk ke dalam kategori acceptable. Pada skala peringkat aplikasi BSI Mobile mendapatkan peringkat C, artinya aplikasi ini mendapatkan rating good.

Setelah proses pengujian usability dilakukan wawancara dengan tujuan untuk menggali permasalahan-permasalahan yang ada pada aplikasi BSI Mobile lebih dalam.

Berdasarkan wawancara yang telah dilakukan,

diperoleh 8 permasalahan yang dialami responden yaitu kesulitan untuk menemukan fitur top up pulsa dengan nama yang kurang dipahami, kesulitan untuk menemukan fitur top up OVO dengan nama yang kurang bisa dipahami, sedikit waspada dalam memasukkan nominal, kesulitan ketika ingin kembali ke halaman sebelumnya, kesulitan dalam menemukan fitur untuk pembayaran shopee karena terdapat 2 menu e-commerce, dan merasa tidak nyaman jika harus memasukkan kata sandi dan pin berulang kali. Hal ini membuat waktu pengguna terbuang sia-sia.

5.2 Saran Pengguna

Setelah melakukan pengujian usability, peneliti juga meminta saran atau rekomendasi perbaikan dari responden. Saran atau pendapat yang diperoleh berfungsi untuk menghasilkan rekomendasi perbaikan terhadap aplikasi BSI Mobile. Berikut adalah saran dari responden untuk perbaikan aplikasi BSI Mobile :

Tabel 7. Saran Pengguna Permasalahan

Fitur top up pulsa diletakkan pada menu yang sesuai dengan namanya yaitu menu dengan

nama top up

Fitur top up OVO diletakkan pada menu yang sesuai dengan namanya yaitu menu dengan

nama top up

Menambahkan tanda titik pada pengisian nominal

Menambahkan tombol back untuk kembali ke halaman sebelumnya

Fitur e-commerce pada menu pembayaran dihilangkan karena pada halaman home sudah

ada menu e-commerce

Memasukkan kata sandi ketika membuka aplikasi saja

5.3 Rekomendasi Perbaikan

5.4.1 Perbaikan Masalah 1

Pada awalnya fitur untuk top up pulsa berada pada menu Beli, kemudian dipindahkan pada menu Top Up. Berikut adalah tampilan perbaikan untuk masalah 1

(7)

Gambar 2. Perbaikan Masalah 1

Pada awalnya terdapat menu Top Up e- wallet. Oleh sebab itu menu tersebut diubah menjadi menu dengan nama Top Up. Hal ini bertujuan untuk mempermudah pengguna dalam mencari fitur top up OVO karena menu dengan nama Top Up lebih sederhana dan sudah sering didengar oleh banyak orang. Berikut adalah tampilan perbaikan untuk masalah 2

Pada awalnya tidak ada tanda titik ketika memasukkan nominal sehingga membuat responden memeriksa berulang kali jumlah angka 0 yang dimasukkan.

Oleh sebab itu ditambahkan tanda titik ketika memasukkan nominal. Berikut adalah tampilan perbaikan untuk masalah 3

Pada awalnya tidak ada tombol back pada fitur yang digunakan saat pengujian.

Oleh sebab itu ditambahkan tombol back pada setiap fitur yang digunakan selama proses pengujian yang terletak pada pojok kiri atas. Berikut adalah tampilan perbaikan untuk masalah 4

Pada menu Bayar sudah terlalu banyak pilihan fitur sehingga responden menghabiskan waktu untuk membaca fitur- fitur tersebut satu per satu. Oleh sebab itu fitur e-commerce pada menu Bayar dihapus.

Berikut adalah tampilan perbaikan untuk masalah 5

(8)

Fakultas Ilmu Komputer, Universitas Brawijaya Gambar 6. Perbaikan Masalah 5

Pada awalanya setelah tampilan spalshscreen akan muncul tampilan home dimana responden harus memasukkan kata sandi pada setiap fiturnya. Perbaikan yang diberikan adala ketika membuka aplikasi tampilan pertama yang akan ditampilkan kepada responden adalah splashscreen.

Selanjutnya akan ditampilkan halaman untuk mengisi kata sandi aplikasi kemudian baru ditampilkan halaman home. Berikut adalah tampilan perbaikan untuk masalah 6

6. KESIMPULAN 6.1 Kesimpulan

Pengujian pada penelitian ini menggunakan metode usability testing yang terdiri dari 4 aspek yaitu learnability, efficiency, error, dan satisfaction. Pengujian ini diajukan kepada 5 responden dengan syarat merupakan pengguna baru aplikasi BSI Mobile KCP Trenggalek Sudirman 1 dan berusia antara 15 sampai 54 tahun. Hasil perhitungan pada aspek learnability adalah sebesar 65%. Hasil perhitungan pada aspek efficiency adalah 0,008

goals/sec. Hasil perhitungan pada aspek error adalah 0,24.

Kuesioner SUS disebarkan kepada 30 pengguna android dan pengguna aktif aplikasi BSI Mobile KCP Trenggalek Sudirman 1.

Hasil pengukuran total seluruh skor SUS dari 30 responden yaitu sebesar 2122,5. Kemudian menghitung skor rata-rata dengan cara total seluruh skor SUS dibagi dengan total seluruh responden dan rata-rata yang diperoleh adalah 70,75. Pada acceptability nilai skor SUS lebih dari 70 untuk masuk ke dalam kategori mudah diterima (acceptable) sehingga dapat dikatakan bahwa aplikasi BSI Mobile termasuk ke dalam kategori tersebut. Pada skala peringkat aplikasi BSI Mobile mendapatkan peringkat C, artinya aplikasi ini mendapatkan rating good.

Rekomendasi perbaikan dibuat setelah tahap pengujian usability dan wawancara.

Berdasarkan data yang diperoleh dari hasil pengujian usabiliity dan wawancara, terdapat 6 saran dari responden. Selain itu juga menggunakan guidelines yang bersumber dari google material design sebagai panduan untuk membuat rekomendasi perbaikan.

Rekomendasi perbaikan yang diberikan adalah pemindahan letak fitur top up pulsa yang awalnya terletak pada menu “Beli”, mengubah nama menu “Top Up e-wallet” menjadi “Top Up”, menambahkan tanda titik pada pengisian nominal, menambahkan tombol back pada fitur-fitur yang digunakan saat proses pengujian usability, menghapus fitur e- commerce yang berada pada menu “Bayar”, dan memasukkan kata sandi aplikasi ketika membuka aplikasi BSI Mobile.

6.2 Saran

Saran dari peneliti untuk penelitian selanjutnya dengan topik evaluasi usability pada aplikasi Bank Syariah Indonesia Mobile (BSI Mobile) adalah :

1. Melakukan penelitian evaluasi usability pada aplikasi BSI Mobile menggunakan metode lain seperti evaluasi dengan para ahli.

2. Melakukan peneltian untuk membandingkan hasil evaluasi aplikasi BSI Mobile dengan aplikasi mobile banking lainnya.

(9)

7. DAFTAR PUSTAKA

Akbar, M. F., 2016. Evaluasi Kebijakan Program Pemberian Dana Bantuan Operasional Sekolah (Studi Kasus pada Sekolah Dasar di Kabupaten Mamuju Utara).

Jurnal Analisis Kebijakan Dan Pelayanan Publik, 2(1), pp. 47-64.

Beny, Yani, H. & Ningrum, G. M., 2019.

EVALUASI USABILITY SITUS WEB

KEMENKUMHAM KANTOR

WILAYAH JAMBI DENGAN

METODE USABILITY TEST DAN SYSTEM USABILITY SCALE.

Journal of Computer, information system, & technology management, 2(1), pp. 30-34.

Ependi, U., Putra, A. & Panjaitan, F., 2019.

Evaluasi Tingkat Kebergunaan Aplikasi Administrasi Penduduk Menggunakan Teknik System Usability Scale. Ilmiah Teknologi Sistem Informasi, 5(1), pp.

63-76.

Fahmi, M. D., Az-Zahra, H. M. & Dewi, R. K., 2018. Perbaikan Usability Aplikasi Pemesanan Tiket Bioskop Menggunakan Metode Usability Testing dan USE Questionnaire. Pengembangan Teknologi Informasi dan Ilmu Komputer, 2(12), pp. 6653-6660.

Febrianti, D. A., Wijoyo, S. H. & Az-Zahra, H.

M., 2019. Evaluasi Usability Web UniPin dengan Menggunakan Metode Usability Testing. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 3(11), pp. 10547- 10555.

H.N., I. A., Santoso, P. I. & Ferdiana, R., 2015.

Pengujian Usability Website Menggunakan System Usability Scale Website Usability Testing using System Usability Scale. IPTEK-KOM, 17(1), pp.

31-38.

MZ, Y., 2016. Evaluasi Penggunaan Website Universitas Janabadra dengan Menggunakan Metode Usability Testing. Informasi Interaktif, 1(1), pp.

34-43.

Pramono, W. A., Az-Zahra, H. M. &

Rokhmawati, R. I., 2019. Evaluasi Usability pada Aplikasi MyTelkomsel dengan Menggunakan Metode Usability

Testing. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 3(3), pp. 2951-2959.

Ramaita, Armaita & Vandelis, P., 2019.

Hubungan Ketergantungan Smartphone dengan Kecemasan (Nomophobia).

Kesehatan, 10(2), pp. 89-93.

Saputra, E., Mazalisa, Z. & Andryani, R., 2014.

Usability Testing Untuk Mengukur Penggunaan Website Inspektorat Kota Palembang. Jurnal Teknik Informatika.

Zulhijdi, M.A., 2019. Evaluasi usability situs web snapixa dengan menggunakan metode usability testing dan system usability scale. S1. Universitas Brawijaya