Fakultas Ilmu Komputer
Universitas Brawijaya 4329
Evaluasi Usability dan Rekomendasi Perbaikan User Interface pada Aplikasi Mobile Cinepolis Indonesia menggunakan Metode Usability Testing
Handita Anya Prameswari1, Yusi Tyroni Mursityo2, Hanifah Muslimah Az-Zahra3 Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1handitaanya@gmail.com, 2yusi_tyro@ub.ac.id, 3hanifah.azzahra@ub.ac.id
Abstrak
Pada era globalisasi seperti saat ini, persaingan bisnis sangatlah ketat untuk melakukan pendekatan kepada konsumen guna memberikan layanan terbaik. Cinepolis Indonesia menyediakan aplikasi yang membantu pelanggan dalam melakukan pemesanan tiket film secara online dengan mengusung tagline
“Mudah, Aman, Nyaman”. Namun, berdasarkan observasi dan ulasan pengguna, ditemukan permasalahan antarmuka pengguna, diantaranya penggunaan sorting yang berulang, tidak ada fitur untuk melihat trailer film dan film yang akan datang, serta terdapat beberapa elemen dalam aplikasi yang mengalami permasalahan. Maka, diperlukan penelitian untuk mengetahui tingkat usability aplikasi Cinepolis Indonesia yang terdiri dari empat metrik, yaitu Learnability, Efficiency, dan Errors menggunakan metode Usability Testing, sedangkan untuk Satisfaction menggunakan LEMTool – Measuring Emotions in Visual Interfaces. Setelah dilakukan evaluasi pertama, ditemukan 16 masalah dari 8 task scenario yang diujikan. Kemudian, setelah dilakukan perbaikan desain antarmuka pengguna berdasarkan temuan masalah yang mengacu pada Apple Human Interface Guidelines dan dilakukan evaluasi kedua, maka hasil penghitungan metrik usability dibandingkan. Aspek Learnability mengalami peningkatan sebesar 19%, dari 77% pada evaluasi pertama, menjadi 96,1% pada evaluasi kedua. Aspek Efficiency meningkat sebanyak 3%, dari 8% pada evaluasi pertama menjadi 11% pada evaluasi kedua.
Aspek Errors mengalami penurunan signifikan sebesar 19%, dari 21% pada evaluasi pertama menjadi 2% pada evaluasi kedua. Terakhir, aspek Satisfaction mengalami peningkatan sebesar 29,89%, dari 69%
pada evaluasi pertama menjadi 98,89% pada evaluasi kedua. Maka, dapat disimpulkan bahwa desain hasil perbaikan antarmuka pengguna memiliki nilai usability yang lebih baik bila dibandingan dengan desain antarmuka pengguna aplikasi Cinepolis Indonesia sebelum dilakukan perbaikan.
Kata kunci: Evaluasi, Usability, Aplikasi Cinepolis Indonesia, Usability Testing, LEMTool – Measuring Emotions in Visual Interfaces, Apple Human Interface Guidelines.
Abstract
In this era of globalization, there’s a fierce competition for big company to gives their customers the best service. Cinepolis Indonesia provides an app that is useful for ordering movie ticket via Internet with the tagline of “Mudah, Aman, Nyaman” (“Easy, Secure, Convenience”). But according to the observation and the reviews from customers, there are several user interface problems, such as the repeating usage of sorting algorithm, no feature to watch movie trailer directly from the app, and some elements that doesn’t fit well to the app. Therefore, a research on its usability level is needed. There are four usability aspects that will be researched. Learnability, Efficiency, Errors aspects are going to be researched using Usability Testing methods, while Satisfaction aspect will be researched using LEMTool – Measuring Emotions in Visual Interfaces. After the first evaluation, 16 problems was found from the 8 task scenarios that was tested. Then, after the user interface design improvements based on Apple Human Interface Guidelines and the second evaluation, its usability metric results are compared.
The Learnability aspects had an increase of 19%, from 77% on the first evaluation into 96,1% on the second evaluation. The Efficiency aspects had an increase of 3%, from 8% on the first evaluation to 11% on the second evaluation. The Errors aspects had a significant decrease of 19%, from 21% on the first evaluation to 2% on the second evaluation. Lastly, the Satisfaction aspects had an increase of 29,89%, from 69% on the first evaluation to 98,89% on the second evaluation. In conclusion, the design result of user interface improvements has a better usability value when compared to the user interface design of Cinepolis Indonesia application before improvements are made.
Keywords: Evaluation, Usability, Cinepolis Indonesia App, Usability Testing, LEMTool – Measuring Emotions in Visual Interfaces, Apple Human Interface Guidelines.
1. PENDAHULUAN
Pada era globalisasi seperti saat ini, persaingan bisnis pada lingkup nasional maupun internasional sangatlah ketat. Keadaan ini memicu perusahaan untuk mendapatkan keuntungan maksimal dari segi manapun dengan menempuh cara apapun, termasuk melakukan pendekatan terhadap konsumen dalam rangka untuk memenuhi kebutuhan konsumen. Dengan tersedianya layanan internet yang sangat mudah untuk dijangkau seperti saat ini, perusahaan berlomba-lomba untuk berinovasi dengan menciptakan sebuah aplikasi agar konsumen mampu meraih layanan dari perusahaan tertentu dalam genggaman telepon pintar (smartphone).
Salah satu perusahaan yang menempuh jalan tersebut untuk mendekatkan diri dengan konsumennya adalah PT. Cinemaxx Global Pasifik atau yang biasa dikenal dengan Cinemaxx. Cinemaxx resmi berganti nama menjadi Cinepolis Indonesia pada Desember 2019. Hal ini dikarenakan saham dari Cinemaxx diakuisisi oleh Cinepolis. Dengan adanya perubahan nama dari Cinemaxx menjadi Cinepolis Indonesia, maka layanan yang sebelumnya telah tersedia pada Cinemaxx mengalami perubahan nama dan penambahan layanan ketika menjadi Cinepolis Indonesia.
Cinepolis Indonesia memiliki layanan berupa Cinepolis VIP, Cinepolis MACRO XE, Cinepolis JOMO, Cinepolis LUXE, Cinepolis JUNIOR, dan Cinepolis Reguler.
Segmentasi pasar atau pelanggan secara spesifik dari perusahaan ini sendiri, yaitu: para pengguna smartphone yang sudah terbiasa dalam melakukan pembayaran atau transaksi secara online serta pelanggan yang tidak ingin menghabiskan waktu untuk mengantri dalam pembelian tiket film. Dalam meningkatkan jumlah pengunjung, Cinepolis Indonesia menyediakan layanan berupa aplikasi mobile terhitung sejak Desember 2019 yang sebelumnya telah dikembangkan oleh Cinemaxx sejak tahun 2015. Dengan kata lain, aplikasi mobile yang disediakan oleh Cinemaxx mengalami perubahan secara keseluruhan seiring dengan terjadinya pergantian nama menjadi Cinepolis Indonesia. Aplikasi mobile ini dibuat dengan tujuan agar pelanggan dapat lebih mudah dalam melakukan pemesanan tiket dari
film yang ingin ditonton secara online dengan mengusung tagline “Mudah, Aman, Nyaman”.
Tidak hanya dalam hal pemesanan saja, aplikasi mobile Cinepolis Indonesia juga menyediakan informasi terkait film yang sedang tayang, promosi dan berita seputar Cinepolis serta dunia perfilman, lokasi bioskop yang tersedia di setiap daerah, serta informasi jadwal pemutaran film dan ketersediaan kursi.
Sebagai sebuah aplikasi yang harusnya mempermudah konsumen dalam melakukan pemesanan tiket dan melihat jadwal pemutaran film secara online, aplikasi Cinepolis Indonesia berbasis iOS masih kurang mengakomodir konsumen untuk mencapai tujuan tersebut dikarenakan pada Apple App Store sendiri, ulasan dan penilaian dari para pengguna yang mengunduh aplikasi ini memberikan penilaian yang kurang baik, per tanggal 16 Februari 2020 aplikasi Cinepolis Indonesia mendapatkan penilaian sejumlah 1.9 dari 5, sedangkan TIX.ID dan Cinema XXI yang merupakan aplikasi di bidang yang sama, memiliki penilaian sebesar 4.8 dan 2.6 dari 5. Kemudian untuk versi android, pada Google Play Store per tanggal 22 Juni 2020, aplikasi Cinepolis Indonesia mendapat penilaian sebesar 3.4 dari 5.
Berdasarkan permasalahan yang ditemui oleh pengguna yang telah mengunduh aplikasi Cinepolis Indonesia berbasis iOS di Apple App Store, dapat disimpulkan bahwa dari lima aspek usability (learnability, memorability, efficiency, errors, dan satisfaction), aplikasi Cinepolis Indonesia tidak memenuhi aspek learnability, karena pengguna sulit memahami alur aplikasi yang mana hal ini dapat mempengaruhi aspek efficiency karena waktu yang dibutuhkan pengguna untuk menyelesaikan sesuatu cukup lama, kemudian ini akan berpengaruh pada aspek errors karena dengan alur aplikasi yang sulit dipahami, pengguna cenderung akan melakukan banyak kesalahan yang pada akhirnya akan mempengaruhi tingkat kepuasan pengguna yang berkaitan langsung dengan aspek satisfaction.
Dari penemuan masalah yang didapat, maka penulis akan melakukan penelitian terhadap aplikasi mobile Cinepolis Indonesia versi 1.8 berbasis iOS terkait permasalahan usability serta melakukan perancangan terhadap user interface
hingga tahap high fidelity prototype. Hal ini dilakukan untuk mengetahui permasalahan lain yang didapat saat dilakukan uji usability serta melakukan perbaikan user interface dengan menggunakan metode Usability Testing.
Penelitian ini akan menguji pengguna representatif berjumlah sembilan orang yang belum pernah menggunakan aplikasi mobile Cinepolis Indonesia sebelumnya dengan rentang usia 18 – 54 tahun, dengan asumsi sudah memiliki KTP dan mampu menggunakan smartphone secara bertanggung jawab untuk melakukan transaksi online. Pada saat pengujian, responden akan menyelesaikan beberapa tugas yang diberikan, kemudian dilakukan wawancara untuk menggali permasalahan usability yang lebih mendalam dari masing-masing responden.
Metode usability testing dalam penelitian ini digunakan untuk mengamati seberapa mudah pengguna menggunakan sebuah aplikasi untuk pertama kali (Learnability), mengamati seberapa cepat pengguna dalam menyelesaikan tugas (Efficiency), mengamati kesalahan yang dilakukan pengguna saat mengerjakan tugas pada aplikasi (Errors), serta mengukur tingkat kepuasan pengguna pada aplikasi (Satisfaction).
Penelitian ini diharapkan mampu memberikan informasi mengenai tingkat usability pada aplikasi mobile Cinepolis Indonesia, memberikan perbaikan dari segi user interface yang sesuai dengan permasalahan yang didapatkan dari proses pengujian, serta dapat meningkatkan persentase metrik usability yang telah diuji dari perbandingan desain awal aplikasi dan desain setelah dilakukan perbaikan pada aplikasi mobile Cinepolis Indonesia.
2. LANDASAN KEPUSTAKAAN 2.1. Usability
Dalam konteks pembangunan sebuah sistem, kata “usability” dapat diartikan sebagai sebuah metode yang dilakukan selama proses desain antarmuka untuk meningkatkan kemudahan sistem untuk membantu pengguna dalam mencapai tujuannya. Usability juga dijadikan sebagai atribut yang digunakan untuk menilai seberapa mudah User Interface dapat digunakan oleh pengguna (Nielsen, 2012).
Nielsen (2012) mendefinisikan usability mewakili lima komponen, yaitu: [1]
Learnability, bagaimana sistem tersebut mudah dipelajari oleh pengguna saat pertama kali pengguna tersebut menggunakan sistem untuk
menyelesaikan tugas-tugas dasar; [2] Efficiency, bagaimana suatu tujuan dapat dicapai dengan penggunaan sumber daya tepat guna. Dalam usability, efisiensi produk membantu pengguna untuk dapat melakukan pekerjaan dengan cepat dan efektif; [3] Memorability, bagaimana pengguna tetap dapat menggunakan sistem dengan mudah, meskipun pengguna sudah tidak menggunakan sistem dalam jangka waktu yang lama; [4] Errors, bagaimana cara sistem dalam merespon pengguna dengan baik. Terutama bagaimana sistem dapat menangani error ketika pengguna melakukan kesalahan; [5]
Satisfaction, memastikan bagaimana pengguna dapat mencapai tujuannya dengan mudah sehingga pengguna ingin kembali menggunakan produk yang sama.
2.2. Usability Testing
Usability Testing mengacu pada proses mengevaluasi suatu produk atau layanan dengan melakukan pengujian kepada pengguna yang representatif. Selama proses pengujian, peserta akan mencoba untuk menyelesaikan tugas yang diberikan oleh penguji. Sementara, penguji akan melakukan pengamatan dan pencatatan terhadap apa yang dikerjakan oleh peserta. Tujuan dari Usability Testing sendiri adalah untuk mengidentifikasi permasalahan usability, mengumpulkan data kualitatif dan kuantitatif, serta mengukur kepuasan peserta terhadap suatu produk (usability.gov, 2019). Untuk melakukan penghitungan penilaian dari hasil pengujian usability, diperlukan metrik usability yang meliputi Success Rate, Time Based Efficiency, Error Rate, serta Satisfaction dari pengguna (Nielsen, 2001).
Success Rate merupakan persentase tugas yang dikerjakan oleh pengguna secara benar (Nielsen, 2001). Metrik ini digunakan untuk menghitung tingkat learnability suatu produk atau sistem. Persamaannya adalah sebagai berikut:
𝑆𝑢𝑐𝑐𝑒𝑠𝑠 𝑅𝑎𝑡𝑒 = 𝑆𝑢𝑐𝑐𝑒𝑠𝑠+(𝑃𝑎𝑟𝑡𝑖𝑎𝑙 𝑆𝑢𝑐𝑐𝑒𝑠𝑠 × 0.5)
𝑇𝑜𝑡𝑎𝑙 𝑇𝑎𝑠𝑘 × 100% (1) Time Based Efficiency digunakan untuk menghitung waktu yang dibutuhkan pengguna untuk menyelesaikan tugas (Mifsud, 2020).
Metrik ini berguna untuk mengukur efisiensi suatu produk atau sistem. Persamaan untuk menghitung time-based efficiency adalah:
𝑇𝑖𝑚𝑒 𝐵𝑎𝑠𝑒𝑑 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 = ∑ ∑
𝑛𝑖𝑗 𝑡𝑖𝑗 𝑁𝑖=1 𝑅𝑗=1
𝑁𝑅 (2)
Error Rate digunakan untuk menghitung tingkat kesalahan yang dilakukan pengguna selama proses pengujian. Adapun persamaan untuk menghitung error rate adalah:
𝐸𝑟𝑟𝑜𝑟 𝑅𝑎𝑡𝑒 = 𝑇𝑜𝑡𝑎𝑙 𝐷𝑒𝑓𝑒𝑐𝑡𝑠
𝑇𝑜𝑡𝑎𝑙 𝑂𝑝𝑝𝑜𝑟𝑡𝑢𝑛𝑖𝑡𝑖𝑒𝑠 (3)
Gambar 1. Delapan Emosi LEMTool Untuk pengukuran metrik Satisfaction, penulis menggunakan LEMTool – Layered Emotion Measurement Tool, dimana setelah responden menyelesaikan suatu tugas, responden tersebut diminta memilih satu diantara delapan emosi yang mewakili dirinya saat mengerjakan tugas. Delapan emosi yang tersedia dapat dilihat pada Gambar 1 diatas.
3. METODOLOGI
Gambar 2. Metodologi Penelitian
Sesuai alur yang tertera pada Gambar 2, tahapan pertama yang penulis lakukan adalah melakukan studi literatur yang bersumber dari
penelitian sebelumnya yang berkaitan dengan penelitian saat ini. Kemudian, dilakukan evaluasi usability pertama dengan sembilan responden berusia antara 18-54 tahun yang belum pernah menggunakan aplikasi Cinepolis Indonesia. Terdapat delapan tugas yang harus dikerjakan responden guna mendapatkan hasil evaluasi usability pertama. Tugas tersebut dapat dilihat pada tabel 1 berikut:
Tabel 1. Daftar Task Scenario
No. Task Scenario
1. Melakukan Pembelian tiket film berdasarkan lokasi bioskop “Malang Town Square”
2. Melakukan pembelian tiket berdasarkan film “Fantasy Island”
3. Melihat keseluruhan promosi / pemberitahuan yang sedang berlaku di Cinepolis Indonesia
4. Membagikan berita ke media sosial 5. Melihat kode pemesanan tiket film yang
aktif
6. Memberikan penilaian untuk film yang telah selesai ditonton
7. Menghapus pesan masuk 8. Mengganti Preffered Cinema
Pada evaluasi usability pertama, data yang didapatkan adalah data kuantitatif, yaitu data hasil perhitungan metrik usability, dan data kualitatif, yaitu data tingkah laku responden saat mengerjakan tugas dan hasil wawancara dari masing-masing responden. Data evaluasi usability pertama akan menjadi bahan penulis untuk melakukan analisis guna menemukan permasalahan baru yang nantinya akan diselesaikan dengan rekomendasi desain perbaikan yang penulis ajukan. Desain perbaikan yang penulis ajukan bersifat interaktif, agar nantinya dapat dilakukan evaluasi usability yang kedua.
Evaluasi usability kedua bertujuan untuk menguji hasil desain perbaikan yang penulis ajukan. Tugas yang diberikan pada evaluasi kedua sama dengan tugas pada evaluasi pertama dengan penyesuaian langkah pengerjaan dan terdapat penambahan dua tugas yang dibuat berdasarkan hasil wawancara pada evaluasi pertama. Data yang digunakan pada evaluasi kedua ini adalah data kuantitatif agar dapat menjadi perbandingan nyata dengan hasil evaluasi pertama. Hal ini dilakukan guna mengetahui apakah hasil desain perbaikan dapat
meningkatkan nilai usability pada aplikasi Cinepolis Indonesia. Tahapan terakhir yaitu penarikan kesimpulan.
4. PENGUMPULAN DATA DAN ANALISIS DATA
Hasil penghitungan metrik usability didapatkan berdasarkan evaluasi yang diilakukan kepada sembilan orang responden pada evaluasi pertama. Hasil penghitungan yang ada berasal dari data keberhasilan pengerjaan tugas, waktu pengerjaan tugas, banyak kesalahan ketika mengerjakan tugas, dan tingkat kepuasan responden terhadap aplikasi Cinepolis Indonesia. Hasil penghitungan tersebut terdapat pada tabel berikut:
Tabel 2. Hasil Metrik Usability Evaluasi 1
Metrik Hasil
Learnability 77%
Efficiency 8%
Errors 21%
Satisfaction 69%
Temuan permasalahan pada penelitian ini didapatkan dari tingkah laku responden saat mengerjakan tugas dan hasil wawancara dari masing-masing responden. Permasalahan yang didapat akan menjadi acuan penulis dalam melakukan perbaikan desain antarmuka aplikasi Cinepolis Indonesia dengan menggunakan guidelines yang bersumber pada Apple Human Interface Guidelines (2020). Daftar temuan masalah dan guidelines yang menjadi acuan perbaikan dapat dilihat pada tabel 3 berikut:
Tabel 3. Daftar Temuan Masalah & Guidelines Kode
Masalah Permasalahan Guidelines E-01 Perbedaan warna
yang terlihat kontras antara poster film dan warna background aplikasi
EG-03, EG-19, EG-20
E-02 Penggunaan warna pada aplikasi yang monoton
EG-03, EG-16, EG-17, EG-18, EG-19, EG-20 E-03 Indikasi
perpindahan menu dan tab pada
EG-08, EG-09, EG-10,
aplikasi tidak terlihat
EG-11 E-04 Responden sulit
untuk menemukan keseluruhan
promosi
EG-05, EG-31
E-05 Tidak terdapat informasi mengenai film yang akan datang pada aplikasi
EG-13, EG-14, EG-15
E-06 Responden tidak mengetahui bahwa terdapat filter pada menu “Movies”
EG-01, EG-02
E-07 Terdapat konten yang overlapping dan hilang saat dilakukan scroll halaman
EG-07
E-08 Informasi krusial tidak diutamakan pada saat akan melakukan
pemilihan jam tayang
EG-04
E-09 Lokasi yang ditetapkan di awal tidak berfungsi pada filter “by movie”
EG-34
E-10 Tidak terdapat trailer film dalam aplikasi
EG-13, EG-14, EG-15 E-11 Tidak adanya
button “Submit”
setelah responden memberikan penilaian
EG-21, EG-22, EG-26
E-12 Tidak terdapat pesan error saat responden
melakukan kesalahan
EG-06
E-13 Tidak terdapat konfirmasi
keberhasilan sesudah
menjalankan suatu aksi
EG-06
E-14 Tidak dapat melihat isi pesan pada menu
“Inbox”
EG-12, EG-32, EG-33 E-15 Responden tidak EG-21,
melihat adanya logo pensil pada menu “Profile”
EG-22
E-16 Konten menumpuk pada bagian kiri hingga tengah layar
EG-01, EG-02, EG-07, EG-23, EG-24, EG-25
5. REKOMENDASI PERBAIKAN DAN PERBANDINGAN DESAIN
Untuk perbaikan masalah E-01 & E-02, mengenai kontrasnya warna yang digunakan, penulis melakukan perubahan warna dominan yang digunakan menjadi warna putih agar konten dapat terlihat dengan jelas.
Gambar 3. Masalah E-03 & E-04
Gambar 4. Perbaikan Masalah E-03 & E-04
Untuk permasalahan E-03, perpindahan menu bar tidak terlihat, penulis melakukan perbaikan dengan menggunakan warna abu-abu sebagai fase deselected dan warna biru tua
sebagai fase selected agar perpindahan menu pada aplikasi terlihat dengan jelas. Masalah E-04 adalah tidak ditemukannya petunjuk untuk menemukan keseluruhan promosi yang berlaku di Cinepolis Indonesia. Maka, perbaikan untuk masalah ini dilakukan dengan penambahan button “See All” pada kategori Promotions pada halaman utama agar alur aplikasi terlihat jelas.
Gambar 5. Masalah E-06
Gambar 6. Perbaikan Masalah E-06
Perbaikan masalah E-06, mengenai ukuran filter yang terlalu kecil, dilakukan dengan memisahkan filter menjadi dua menu berbeda, menu “Theatre” untuk membeli tiket berdasarkan lokasi bioskop dan “See All” pada kategori Playing yang terdapat pada halaman utama untuk membeli tiket berdasarkan judul film. Kemudian, pada permasalahan E-07, penulis melakukan perbaikan pada aplikasi agar tampilan tidak mengalami overlapping dengan konten yang disajikan.
Gambar 7. Masalah E-08
Gambar 8. Perbaikan Masalah E-08 & E-09 Masalah E-08 adalah tidak diutamakannya informasi krusial saat akan memilih jam tayang.
Maka dari itu, penulis melakukan penukaran tempat agar hirarki dari aplikasi dapat terlihat dengan jelas dan informasi penting dapat tersampaikan demi kenyamanan penggunaan aplikasi Cinepolis Indonesia. Kemudian, masalah E-09 adalah feedback dari sistem yang tidak menampilkan bioskop sesuai lokasi yang telah ditetapkan sebelumnya. Maka, perbaikan yang penulis lakukan adalah dengan menampilkan bioskop yang terdapat di kota tersebut.
Gambar 9. Penambahan Fitur untuk Masalah E-05 &
E-10
Penulis menambahkan kategori
“Upcoming” pada halaman utama untuk menyelesaikan permasalahan E-05. Selanjutnya, mengenai trailer pada permasalahan E-10, penulis menambahkan fitur untuk melihat trailer film ketika pengguna melihat detail dari film tersebut yang diletakkan pada akhir slider.
Gambar 10. Masalah E-11, E-12, E-13
Gambar 11. Perbaikan Masalah E-11, E-12, E-13 Untuk masalah E-11, mengenai tidak adanya tombol “Submit”, penulis telah memperbaikinya dengan menambahkan tombol “Submit” agar tidak membingungkan pengguna. Kemudian, untuk masalah E-12 mengenai tidak adanya pesan error, penulis melakukan perbaikan dengan memberikan pesan peringatan ketika
pengguna melakukan kesalahan. Sedangkan, masalah E-13 adalah mengenai konfirmasi keberhasilan setelah melakukan penilaian yang sudah penulis perbaiki dengan menambahkan halaman untuk konfirmasi keberhasilan tersebut.
Kemudian untuk kode masalah E-14, penulis mengubah menu “Inbox” menjadi menu
“Notifications” agar pesan yang disampaikan dapat ditampilkan secara singkat dan jelas.
Gambar 12. Masalah E-15 & E-16
Gambar 13. Perbaikan Masalah E-15 & E-16 Pada masalah E-15, perbaikan yang penulis lakukan adalah dengan mengganti logo pensil menjadi button “Edit” untuk memudahkan pengguna menemukan ikon yang dapat membantu untuk menyelesaikan tugas. Untuk masalah E-16, penulis memperbaiki margin yang digunakan menjadi align left agar tingkat keterbacaan tinggi dan konten terlihat jelas.
Setelah perbaikan desain selesai dilakukan, maka hasil perbaikan desain antarmuka tersebut perlu diujikan kembali dengan responden yang berbeda. Hasil penghitungan metrik usability untuk evaluasi kedua dapat dilihat pada tabel berikut:
Tabel 4. Hasil Metrik Usability Evaluasi 2
Metrik Hasil
Learnability 96,1%
Efficiency 11%
Errors 2%
Satisfaction 98,89%
Setelah hasil evaluasi kedua didapatkan, maka tahapan selanjutnya adalah melakukan perbandingan hasil evaluasi usability pertama dan kedua.
Gambar 14. Grafik Perbandingan Aspek Learnability
Pada evaluasi pertama, dapat diketahui bahwa tingkat learnability untuk aplikasi Cinepolis Indonesia sejumlah 77%. Setelah dilakukan perbaikan, tingkat learnability untuk aplikasi Cinepolis Indonesia menjadi 96,1%.
Dapat disimpulkan bahwa aspek learnability mengalami peningkatan sebesar 19%.
Gambar 15. Grafik Perbandingan Aspek Efficiency Dapat diketahui bahwa tingkat efisiensi pengerjaan tugas pada evaluasi pertama sejumlah 8%. Kemudian, setelah dilakukan perbaikan tingkat efisiensi menjadi 11%.
Peningkatan efisiensi yang terjadi sebanyak 3%
menunjukkan bahwa responden dapat menyelesaikan tugas menggunakan aplikasi Cinepolis Indonesia setelah dilakukan perbaikan secara lebih efisien.
Gambar 16. Grafik Perbandingan Aspek Errors Melalui grafik diatas, terlihat penurunan tingkat kesalahan, dari 21% pada evaluasi pertama menjadi 2% pada evaluasi kedua setelah aplikasi Cinepolis Indonesia mengalami perbaikan. Penurunan tingkat kesalahan sejumlah 19% ini membuktikan bahwa responden dapat mengerjakan tugas yang diberikan dengan sedikit kesalahan.
Gambar 17. Grafik Perbandingan Aspek Satisfaction Pada evaluasi pertama, tingkat kepuasan responden berada pada 69%. Setelah aplikasi Cinepolis Indonesia mengalami perbaikan, terjadi peningkatan sebesar 29,89% menjadi 98,89%. Dengan meningkatnya tingkat kepuasan responden setelah aplikasi Cinepolis Indonesia mengalami perbaikan, dapat disimpulkan bahwa responden puas terhadap perbaikan yang terjadi pada aplikasi Cinepolis Indonesia.
6. KESIMPULAN
Berdasarkan hasil evaluasi dengan 9 responden yang terdiri dari 3 generasi menggunakan metode Usability Testing, diperoleh tingkat Learnability dari aplikasi Cinepolis Indonesia sejumlah 77%, dimana angka 77% masih dibawah rata-rata. Hal ini dapat terjadi karena responden kesulitan untuk memahami desain antarmuka dari aplikasi Cinepolis Indonesia. Sehingga, pada proses pengujian, responden mengalami banyak kesalahan dalam pengerjaan tugas. Kemudian, diperloleh bahwa tingkat efisiensi pengerjaan tugas pada aplikasi Cinepolis Indonesia
sejumlah 0,08 goals/sec atau sejumlah 8% tugas yang dapat diselesaikan dalam waktu 1 detik.
Tingkat error pada aplikasi Cinepolis Indonesia sejumlah 21% dengan quality level sebesar 79%
berdasarkan total 450 kesempatan dan 98 kesalahan yang dilakukan. Untuk tingkat satisfaction pada aplikasi Cinepolis Indonesia, responden memberikan 50 emosi positif, yaitu sebesar 69% yang sekaligus menjadi tingkat kepuasan responden dan 22 emosi negatif, sebesar 31% dari total 72 tugas secara keseluruhan.
Dari 8 tugas yang diberikan, terdapat 5 tugas bermasalah berdasarkan tingkah laku responden saat proses pengujian berlangsung. Pada tugas untuk melakukan pembelian tiket berdasarkan bioskop, responden mengalami kesulitan untuk menemukan filter yang dapat mengganti referensi pembelian. Pada tugas kedua, responden mengalami masalah karena informasi jam tayang tidak diutamakan saat akan melakukan pembelian tiket. Ketika diberikan tugas untuk melihat keseluruhan promosi, mayoritas responden menyerah karena kesulitan untuk menemukan konten tersebut sebab letaknya tersembunyi. Tugas untuk melihat keseluruhan promosi menjadi tugas dengan tingkat kegagalan terbesar dengan kesalahan terbanyak. Kemudian, tugas untuk memberikan penilaian terhadap film yang telah selesai ditonton menjadi tugas dengan partial success terbanyak, yaitu sejumlah 6 responden dengan total 23 kesalahan. Hal ini disebabkan karena responden hanya memberikan penilaian terhadap kategori yang diinginkan yang disesuaikan dengan kebiasaan menonton dari masing-masing responden dan dalam tugas ini, responden mengalami keraguan karena tidak adanya tombol “Submit” yang dapat memastikan penilaian yang diberikan telah terekam ke dalam sistem. Terakhir, pada tugas untuk mengganti Preferred Cinema, responden tidak memperhatikan adanya logo pensil yang dapat mengantarkan responden tersebut ke halaman edit profil. Responden cenderung untuk melakukan tap pada logo “C” atau pada nama pengguna, namun cara tersebut tidak berhasil.
Sehingga, responden mengulangi prosesnya dan meneliti halaman “Profile” hingga akhirnya tugas berhasil diselesaikan.
Berdasarkan hasil evaluasi usability dan wawancara yang telah dilakukan, maka penulis melakukan beberapa perbaikan pada aplikasi Cinepolis Indonesia berdasarkan saran dari responden serta guidelines yang ada. Perbaikan
tersebut meliputi keseluruhan aplikasi sejumlah 14 maslah dan dua penambahan fitur, yaitu fitur untuk melihat trailer film dan fitur untuk melihat film yang akan datang.
Setelah dilakukan perbaikan, pengukuran usability pada evaluasi kedua mengalami peningkatan. Aspek learnability mengalami peningkatan sejumlah 19% menjadi 96,1%.
Kemudian, aspek Efficiency menjadi 0,11 goals/sec atau 11%, yang berarti mengalami peningkatan sejumlah 3%. Aspek Errors mengalami penurunan sebanyak 19% menjadi 2%. Terakhir, aspek Satisfaction mengalami peningkatan sebanyak 29,89% menjadi 98,89%.
Dari hasil evaluasi kedua, dapat dibuktikan bahwa hasil perbaikan desain aplikasi lebih baik dari desain awal antarmuka aplikasi Cinepolis Indonesia.
7. DAFTAR PUSTAKA
Apple, 2020. Human Interface Guidelines:
Design Principles. [online]. Tersedia di:
<https://developer.apple.com/design/hu man-interface-guidelines/ios/
overview/themes/>
Apple, 2020. Human Interface Guidelines: iOS Design Themes. [online]. Tersedia di:
<https://developer.apple.com/design/hu man-interface-guidelines/ios/
overview/themes/>
Cinepolis Indonesia, 2019. Cinemaxx Sekarang Menjadi Cinepolis. [online]. Tersedia di:
<https://cinepolis.co.id/InnerPages/Pres s.aspx?
Id=50b2e009-ed0d-48dc-939d- 0f355673feea>
Huisman, G., Van Hout, M., Van Dijk, E., Van der Geest, T., & Heylen, D., 2013.
LEMtool – Measuring Emotions in Visual Interfaces. [online]. Tersedia di:
<https://www.researchgate.net/publicati on/259937670_LEMtool_-
_Measuring_Emotions_in_Visual_Inter faces>
Mifsud, J., 2020. Usability Metrics – A Guide To Quantify The Usability Of Any System.
[online]. Tersedia di:
<https://usabilitygeek.com/usability- metrics-a-guide-to-quantify-system- usability/>
Nielsen, J., 2001. Success Rate: The Simplest Usability Metric. [online]. Tersedia di:
<https://www.nngroup.com/articles/suc cess-rate-the-simplest-usability- metric/>
Nielsen, J., 2001. Usability Metrics. [online].
Tersedia di:
<https://www.nngroup.com/articles/usa bility-metrics/>
Nielsen, J., 2012. Usability 101: Introduction to Usability. [Online] Tersedia di: <
https://www.nngroup.com/articles/usabi lity-101-introduction-to-usability>
Usability.gov, 2019. Usability Testing. [online].
Tersedia di:
<https://www.usability.gov/how-to- and-tools/methods/usability- testing.html>
