BAB IV HASIL DAN PEMBAHASAN
4.3 Hasil Pengumpulan Data
Pengumpulan data yang diambil oleh peneliti di tahap ini adalah penyeberan kuesioner, wawancara, dan usability testing terhadap aplikasi Mobile AIS versi yang sekarang. Hasil dari pengumpulan data ini akan digunakan sebagai landasan atau dasar untuk peneliti dalam melakukan perancangan UI dan UX menggunakan tahapan metode Lean UX.
4.3.1 Kuesioner
Kuesioner disebarkan oleh peneliti dan diisi oleh 36 partisipan yang tergabung dalam komunitas Rumah UX (komunitas bagi mahasiswa UIN Syarif Hidayatullah Jakarta yang berminat UI dan UX). Pertanyaan kuesioner dibuat secara semi terbuka supaya partisipan bebas mengemukakan pendapatnya dan peneliti mendapatkan variasi jawaban yang tidak tergali.
Gambar 4.3 Hasil Kuesioner untuk Demografi Partisipan
Gambar 4.3 menunjukkan hasil bahwa 36 partisipan didominasi oleh partisipan perempuan sebesar 19 orang (52,8%), berasal paling banyak dari angkatan kuliah tahun 2016 sebesar 21 orang (58,3%), dan sebanyak 34 orang (94,4%) telah memiliki pengetahuan UI dan UX secara umum. b. Penggunaan AIS
Gambar 4.4 Hasil Kuesioner untuk Penggunaan AIS
Sebanyak 2 partisipan tidak menyelesaikan dan meninggalkan kuesioner, sehingga total partisipan menjadi 34. Gambar 4.4 menunjukkan hasil bahwa dari 34 partisipan didapatkan bahwa paling banyak partisipan membuka AIS versi web adalah 1 kali dalam seminggu terakhir sebanyak 12 orang (35,3%), dan sebanyak 13 orang (38,2%) menggunakan AIS versi web dikarenakan tertarik dengan fitur-fiturnya.
Gambar 4.5 Hasil Kuesioner untuk Pengetahuan Mobile AIS
Gambar 4.5 menunjukkan dari 34 partisipan didapatkan hasil bahwa 34 partisipan (100%) sudah mengetahui adanya Mobile AIS, lalu sebanyak 24 orang (70,6%) mengetahui Mobile AIS dari mahasiswa lainnya, dan sebanyak 31 orang (91,2%) sudah pernah memakai Mobile AIS.
c. Penggunaan Mobile AIS
Gambar 4.6 Hasil Kuesioner Intensitas Penggunaan Mobile AIS
Gambar 4.6 menunjukkan dari 31 partisipan didapatkan hasil bahwa lebih sering menggunakan AIS versi web yaitu sebanyak 26 orang (83,9%), lalu sebanyak 18 orang (58,1%) sudah lebih dari 3 bulan memakai Mobile AIS,
dan sebanyak 17 orang (54,8%) belum memakai Mobile AIS dalam seminggu terakhir.
Gambar 4.7 Hasil Kuesioner Penggunaan Fitur Mobile AIS
Gambar 4.7 menunjukkan dari 31 partisipan didapatkan hasil bahwa 12 orang (38,7%) tertarik memakai Mobile AIS karena tampilannya, lalu sebanyak 20 orang (64,5%) paling sering menggunakan fitur lihat laporan
di Mobile AIS, dan 12 orang (38,7%) beranggapan fitur-fitur penting untuk dikembangkan dari Mobile AIS.
d. UI dan UX Mobile AIS
Gambar 4.8 Hasil Kuesioner Penilaian Tampilan Mobile AIS
Gambar 4.8 menunjukkan dari 31 partisipan didapatkan hasil bahwa 7 orang (22,6%) memberikan nilai 3 untuk tampilan Mobile AIS, dan 9 orang (29%) menganggap personality merupakan hal yang paling menarik dari tampilan Mobile AIS.
Gambar 4.9 Hasil Kuesioner Feedback Tampilan Mobile AIS
Gambar 4.9 menunjukkan dari 31 partisipan didapatkan hasil bahwa 8 orang (25,8%) menganggap imagery penting untuk dikembangkan dari tampilan Mobile AIS, dan 20 orang (64,5%) berpandangan ‘baik’ terkait tampilan dan experience penggunaan Mobile AIS.
Pertanyaan dengan jawaban terbuka di kuesioner direduksi dan dirangkum untuk mengambil hal-hal pokok yang bisa dijadikan informasi untuk metode Lean UX. Hasil jawaban kuesuner untuk pertanyaan terbuka secara lengkap dapat dilihat di Lampiran 2 poin 2.13.
Tabel 4.1 Hasil Kuesioner Pertanyaan Terbuka
Variabel Poin Pertanyaan Jawaban
Penggunaan AIS
Tidak pernah menggunakan Mobile AIS
- Beda platform (1 partisipan) - Tidak bisa login (1 partisipan)
Penggunaan Mobile AIS
Frekuensi
Penggunaan AIS
Mobile AIS
- Lebih cepat dan mudah dalam penggunaannya (5 partisipan)
AIS versi web
- Fitur dan informasinya lebih lengkap daripada Mobile AIS (11 partisipan) - Belum tersedia di AppStore (3
partisipan)
- Mobile AIS masih belum well developed (7 partisipan)
- Lebih mudah dalam penggunaannya (6 partisipan) Perbandingan experience penggunaan AIS dengan Mobile AIS
- Tampilan Mobile AIS lebih menarik dan mudah dibandingkan AIS versi web (20 partisipan)
- Fitur AIS versi web lebih lengkap dibandingkan Mobile AIS (6 partisipan) - Penggunaan AIS versi web lebih mudah dibandingkan Mobile AIS (4 partisipan) - Keduanya sama-sama tidak update (1
partisipan) Fitur paling sering
digunakan di Mobile AIS
Kelola KRS
- Cepat dan mudah (3 partisipan)
- Tidak ada fitur ini di AIS versi web (1 partisipan)
Cari Ruangan
- Tidak ada fitur ini di AIS versi web (2 partisipan)
- Adanya kebutuhan untuk fitur ini (2 partisipan
Lihat Informasi Dosen
- Ketidakefektifan fitur ini jika dibuka di AIS versi web (2 partisipan)
- Tidak tahu jika ada fitur ini di AIS versi web (1 partisipan)
Lihat Laporan
- Adanya kebutuhan untuk fitur ini (16 partisipan)
- Lebih mudah dan cepat buka fitur ini di Mobile AIS (4 partisipan)
Hal paling penting dikembangkan dari Mobile AIS
Tampilan
- Tampilan Mobile AIS terlalu kaku dan tidak enak dipandang (4 partisipan) - Supaya Mobile AIS lebih mudah dipakai
(3 partisipan) Fitur-Fitur
- Fitur dibuat lebih lengkap dan update (11 partisipan)
- Fitur dibuat dengan optimal (4 partisipan)
Kemudahan Penggunaan
- Penggunaan fiturnya masih kurang user
friendly (6 partisipan)
Lainnya
- Semua hal perlu ditingkatkan (3 partisipan) UI dan UX Mobile AIS Penilaian untuk tampilan Mobile AIS Nilai < = 5
- UI masih terlalu monoton dan tidak menarik (13 partisipan)
- Banyak hal perlu ditingkatkan (4 partisipan)
Nilai >= 6
- UI sudah cukup baik tapi perlu ditingkatkan lagi (14 partisipan)
Hal paling menarik dari tampilan Mobile AIS Consistency - UI konsisten (1 partisipan) Hierarchy
- Fungsi fitur sudah bisa dikenali (1 partisipan)
Personality
- Mobile AIS sudah memiliki ciri khas UIN Syarif Hidayatullah Jakarta di penerapan UI nya (9 partisipan)
Layout
- Tata letak menu jelas dan mudah ditemukan (4 partisipan)
Color
- Penggunaan warna dominan biru sudah cocok (7 partisipan)
Imagery
- Gambar dan icon sudah cukup menarik (6 partisipan)
Control and affordances
- Penggunaannya cukup mudah (3 partisipan)
Hal paling perlu dikembangkan dari tampilan Mobile AIS
Consistencty
- Beberapa komponen UI belum konsisten (1 partisipan)
Hierarchy
- Hirarki elemen perlu diperbaiki supaya lebih mudah dalam penggunaannya (5 partisipan)
Personality
- Icon perlu ciri khas tersendiri (1 partisipan)
- Buat kesan pertama yang menyenangkan (1 partisipan)
Layout
- Penggunaan layout masih berantakan dan terlalu kaku (6 partisipan)
Color
- Warna lebih dibuat soft dan tidak membuat mata lelah (4 partisipan)
Imagery
- Icon dan copy teksnya perlu disesuaikan supaya fungsinya jelas (7 partisipan)
Control and affordances
- Respon dari fitur masih lambat (3 partisipan)
- Flow penggunaan perlu ditingkatkan (3 partisipan) Pandangan terkait tampilan dan experience penggunaan Mobile AIS
Sangat Tidak Baik
- Komponen UI masih sangat kurang untuk penggunaan end-user (2 partisipan)
Tidak Baik
- UI terlalu monoton dan tidak menarik (5 partisipan)
- Fungsi fitur-fitur masih belum optimal (4 partisipan)
Baik
- Sudah cukup dalam memenuhi kebutuhan informasi akademis (10 partisipan)
- UI sudah cukup baik tapi perlu ditingkatkan lagi (10 partisipan)
Harapan terkait tampilan dan
experience
penggunaan Mobile AIS
- Tersedia di AppStore (1 partisipan) - Fitur lebih lengkap dan optimal serta
tidak ada lagi bug (6 partisipan)
- UI diperbaiki dengan memperhatikan kepuasaan pengguna dan aspek UI maupun UX (24 partisipan)
Saran
penambahan fitur di Mobile AIS
- Fitur histori peminjaman buku perpusatakaan (1 partisipan)
- Fitur online classroom (7 partisipan) - Fitur cek absensi dosen (3 partisipan) - Fitur persuratan akademik (1 partisipan) - Fitur monitor jadwal bimbingan skripsi
dan PKL (2 partisipan)
- Fitur hubungi dosen (1 partisipan) - Fitur cetak KRS dan laporan nilai (2
partisipan)
- Fitur cek data laporan skripsi dan PKL yang telah di-upload di perpustakaan (1 partisipan)
- Grafik laporan nilai dan informasi terkini per jurusan, fakultas, dan universitas (1 partisipan)
4.3.2 Wawancara
Hasil wawancara yang didapatkan oleh peneliti menggunakan alat bantu yaitu perekam suara kemudian ditulis kembali oleh peneliti dalam bentuk transkrip wawancara yang sesuai dengan percakapan tanya jawab pada rekaman yang berlangsung dengan narasumber. Peneliti memilih 5 orang mahasiswa dan 1 orang dari tim IT Support Mobile AIS sebagai narasumber. Setelah melakukan proses
wawancara, peneliti melakukan reduksi data dengan merangkum dan memilih hal-hal pokok sehingga peneliti bisa menarik kesimpulan yang ada. Kesimpulan dari hasil wawancara tersebut akan digunakan sebagai informasi untuk melakukan proses perancangan UI dan UX menggunakan Lean UX pada tahap declare assumptions, yaitu mulai dari problem statements, assumptions worksheet, prioritizing assumptions
hypotheses, sampai proto-persona. Transkrip wawancara peneliti dengan para
narasumber bisa dilihat secara lengkap di Lampiran 2 poin 2.1 sampai 2.6.
4.3.3 Think-Aloud
Pemilihan partisipan digambarkan sebagai perwakilan dari target pengguna dari Mobile AIS. Data diri partisipan yang terlibat dalam penelitian ini dapat dilihat pada Tabel 4.2
Tabel 4.2 Data Diri Partisipan Usability Testing No. Jenis Kelamin Usia Tahun Angkatan Frekuensi Penggunaan Mobile AIS Tujuan Utama Mengakses Mobile AIS P01 Perempuan 17 – 25 tahun 2017 1 kali per
minggu
Cari ruangan, lihat informasi dosen, dan lihat laporan
P02 Perempuan 17 – 25 Tahun 2017 1 kali per minggu
Berita, lihat informasi dosen, dan lihat laporan
P03 Perempuan 17 – 25 Tahun 2017 1 kali per minggu
Cari ruangan dan lihat laporan
P04 Perempuan 17 – 25 Tahun 2016 1 kali per minggu
Lihat biodata, kelola KRS, dan lihat laporan
P05 Laki-Laki 17 – 25 Tahun 2016 1 kali per minggu
Kelola KRS, lihat informasi dosen, dan lihat laporan
Peneliti melaksanakan usability testing menggunakan think-aloud terhadap 5 partisipan, dimana hasil dari percakapan selama pengujian tersebut akan diolah menggunakan verbal behavior analysis dan atribut usability diukur menggunakan teknik performance measurement.
4.3.3.1 Verbal Behavior Analysis
Tingkah laku partisipan baik verbal ataupun non verbal saat pengujian diperhatikan, dicatat, dan disajikan dalam suatu transkrip hasil percakapan. Tingkah laku tersebut dikategorikan atas tiga kategori, yaitu positif, netral, dan negatif. Tingkah laku positif partisipan bisa tercermin ketika partisipan mengeluarkan pendapat dengan nada riang atau tersenyum sedangkan tingkah laku negatif bisa tercermin saat partisipan terlihat bingung atau kesulitan. Selain itu, tingkah laku kategori netral partisipan bisa terlihat pada ungkapan yang sulit ditafsirkan atau cenderung disamapikan secara netral. Transkrip percakapan pengujian pertama ini bisa dilihat secara lengkap di Lampiran 2 poin 2.7 sampai 2.11. Transkrip pengujian pertama yang sudah dikategorikan ke dalam tiga kategori tingkah laku di atas bisa dilihat pada Lampiran 2 poin 2.12. Total komentar yang tergolong dalam kategori tingkah laku positif, netral, dan negatif secara berurutan sebesar 28 komentar, 58 komentar, dan 43 komentar. Persentase komentar untuk pengujian pertama terhadap Mobile AIS versi sekarang dapat dilihat Gambar 4.10.
Gambar 4.10 Persentase Komentar pada Pengujian Pertama
Pengujian pertama terhadap Mobile AIS menghasilkan total sebanyak 129 komentar dengan pembagian persentase komentar positif sebesar 21,71%, komentar netral sebesar 44,96%, dan komentar negatif sebanyak 33,33%. Persentase tersebut menunjukkan bahwa komentar positif terhadap Mobile AIS adalah komentar dengan persentase terkecil sehingga perlu dilakukan perbaikan dari sisi tampilan dan
experience penggunaan. Hasil persentase pengujian pertama ini akan dibandingkan
dengan persentase pengujian kedua terhadap versi hasil UI dan UX dari hasil perbaikan Mobile AIS, setelah dilakukan proses perancangan UI dan UX Mobile AIS menggunakan Lean UX.
4.3.3.2 Performance Measurement
Nilai effectiveness dihitung berdasarkan completion rate yaitu keberhasilan partisipan ketika menyelesaikan tugas yang diberikan oleh peneliti. Completion rate dihitung dengan menetapkan nilai biner ‘1’ jika partisipan berhasil menyelesaikan
28 58 43 0% 20% 40% 60% 80% 100% Pengujian Pertama
Positif Netral Negatif
33,3%
44,96%
tugasnya dan nilai ‘0’ jika tidak berhasil. Rata-rata completion task yang dianjurkan adalah 78%. Rumus perhitungan completion rate dapat dilihat pada Bab 2 poin 2.9.
Gambar 4.11 Task Completeness Mobile AIS Versi Sekarang
Berdasarkan Gambar 4.11, maka nilai effectiveness memakai Persamaan 2.1 adalah:
𝐸𝑓𝑓𝑒𝑐𝑡𝑖𝑣𝑒𝑛𝑒𝑠𝑠 = 26
35 × 100% = 74,28%
Hasil perhitungan effectiveness menggunakan completion rate masih sedikit di bawah rata-rata yang disarankan oleh Sauro & Lewis (2016) yaitu sebesar 74,28% dari 78%.
Efficiency diukur berdasarkan task time, yaitu waktu (menit/detik) yang
diperlukan partisipan untuk menyelesaikan suatu tugas. Gambar 4.5 adalah hasil data waktu yang diperlukan partisipan dalam menyelesaikan tugas pada saat melakukan
usability testing. Satuan waktu yang dipakai yaitu second (detik).
Gambar 4.12 Execution Time (second) Mobile AIS Versi Sekarang
Keterangan
P1 P2 P3 P4 P5 1 = Success
1 1 1 0 0 1 0 = Failure
2 1 0 0 1 1
3 1 1 1 1 1 = Berhasil dengan mudah
4 1 0 1 1 1 = Berhasil dengan kesulitan
5 1 1 1 0 1 = Gagal
6 1 1 1 1 1
7 0 1 0 0 1
Berdasarkan Gambar 4.12, maka untuk menghitung nilai efficiency memakai Persamaan 2.3:
𝑂𝑣𝑒𝑟𝑎𝑙𝑙 𝑅𝑒𝑙𝑎𝑡𝑖𝑣𝑒𝑠 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 = 690
1250 × 100% = 55,2%
Nilai efficiency pada usability testing penelitian ini sudah sebesar 55,2%.