Fakultas Ilmu Komputer
Universitas Brawijaya
6653
Perbaikan
Usability
Aplikasi Pemesanan Tiket Bioskop Menggunakan
Metode
Usability Testing
dan
USE Questionnaire
Moch. Dian Fahmi1, Hanifah Muslimah Az-Zahra2, Ratih Kartika Dewi3
Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1dianfahmi19@gmail.com, 2hanifah.azzahra@ub.ac.id, 3ratihkartikad@ub.ac.id
Abstrak
Usability adalah salah satu aspek penting untuk menjadi salah satu tolak ukur kualitas suatu aplikasi dapat dikatakan baik. Usability digunakan untuk mengukur bagaimana suatu aplikasi dapat digunakan sesuai keinginan pengguna untuk mencapai tujuan yang dinginkan, didukung oleh kemudahan pengguna untuk menggunakan tampilan antar muka aplikasi tersebut. Aplikasi pemesanan tiket bioskop ini adalah aplikasi yang digunakan untuk melakukan pemesanan tiket di bioskop seluruh Indonesia dapat diakses melalui apliasi di platform Android. Berdasarkan permasalahan yang ditemukan pada hasil ulasan pengguna pada platform tersebut masih terdapat masalah yang dialami oleh pengguna, maka pengukuruan usability ini digunakan untuk mengukur tingkat usability yang dimiliki oleh aplikasi tersebut. Pengujian menggunakan metode usability testing dilakukan secara langsung kepada pengguna dengan memberikan task scenario. Pengujian ini dilakukan sebanyak dua kali, pengujian awal untuk mengetahui nilai usability awal dan permasalahan awal, lalu berdasarkan permasalahan yang ada diberikan rekomendasi perbaikan berupa prototype yang kemudian diuji kembaliuntuk mendapatkan nilai usability akhir, setelah itu hasil kedua pengujian akan dibandingkan untuk mendapatkan nilai usability aplikasi pemesanan tiket bioskop ini. Saat pengujian ada tiga tahapan yang dilakukan yaitu, pengujian usability, pengisian kuesioner dan melakukan wawancara. Pengisian kuesioner didukung oleh USE Questionnare yang memiliki empat parameter yaitu
Usefulness, Ease of Use, Ease of Learning, Satisfaction, yang hasilnya akan diolah dan menghasilkan nilai usability pada aplikasi pemesanan tiket bioskop ini. Perbaikan yang dilakukan merujuk pada
Material Design dan Website perbandingan warna untuk mendapatakan rekomendasi yang baik. Hasil pengujian awal didapatkan nilai usability sebesar 57.4% dikategorikan pada predikat cukup dan hasil pengujian akhir didapatkan nilai 83.1% dikategorikan pada predikat sangat baik.
Kata kunci: usability, USE Questionnaire, aplikasi pemesanan tiket bioskop
Abstract
Usability is one of the important aspects to be a benchmark for the quality of an application can be said to be good. Usability is used to measure how an application can be used according to the user's desire to achieve the desired goal, supported by the ease of the user to use the application interface. This cinema ticket booking application is an application that is used to book tickets in theaters throughout Indonesia can be accessed through applications on the Android platform. Based on the problems found in the results of user reviews on the platform there are still problems experienced by users, then usability measurement is used to measure the usability level of the application. Testing using usability testing method is done directly to the user, done by giving a task scenario. This test is carried out twice, the initial test to find out the initial usability value and the existing problems, then based on the existing problems given recommendations for improvements in the form of prototypes which are then re-tested to get the final usability value, after that the test results will be compared to get the usability value of the application this cinema ticket booking after repairs and before repairs. When testing there were three stages, namely, usability testing, filling out questionnaires and conducting interviews. Filling in the questionnaire is supported by USE Questionnare which has four parameters, namely Usefulness, Ease of Use, Ease of Learning, Satisfaction, the results of which will be processed and produce usability values in this cinema ticket booking application. Improvements made refer to Material Design and Color Comparison Websites to get good recommendations. The initial test results obtained usability value of 57.4% categorized as sufficient predicate and the final test results obtained 83.1% were categorized as very good.
1.
PENDAHULUAN
Aplikasi mobile adalah salah satu bentuk dari berkembangnya teknologi informasi yang berguna untuk membantu organisasi atau instusi pemerintahan maupun swasta agar mendapat tingkat efisiensi dan efektifitas dari proses bisnis yang dijalankan, dengan menggunakan aplikasi mobile secara otomatis pengguna dapat melakukan transaksi ataupun mencari informasi secara cepat.
Aplikasi mobile dibuat untuk memudahkan pelayanan kepada pengguna, namun tidak semua pengguna merasa bahwa aplikasi mudah digunakan tergantung pada aspek user friendly. Yang dimaksud dengan user friendly adalah bagaimana suatu aplikasi memiliki tampilan yang menarik, dan sederhana sehingga pengguna merasa nyaman untuk menggunakan aplikasi tersebut. Dengan adanya aspek tersebut maka suatu aplikasi akan memenuhi keinginan, kepuasan pengguna. Selain aspek diatas,
usability juga salah satu aspek penting untuk mengukur suatu aplikasi yang telah dibuat. Menurut Nielsen, J., 2012 usability adalah aspek penting untuk mengetahui sejauh mana suatu produk atau aplikasi dapat digunakan dengan mudah oleh pengguna untuk mencapai tujuan yang dinginkan, berdasarkan tampilan antarmuka untuk menghasilkan nilai kepuasan pengguna.
Aplikasi pemesanan tiket bioskop sekarang menjadi suatu Data yang didapatkan dari hasil review pengguna di android memiliki angka yang cukup rendah yaitu mendapatkan rata – rata rating 4 dari 5. Masih banyak pengguna yang memberikan ulasan negatif pada aplikasi ini, maka daripada itu diperlukan pengujian untuk mengukur masalah yang berhubungan dengan kemudahan penggunaan aplikasi pemesanan tiket bioskop ini dengan melakukan
usability testing. Dengan adanya penelitian ini diharapkan agar dapat meningkatkan nilai
usability aplikasi pemesanan tiket bioskop dan dapat bersaing dengan aplikasi dan sejalan dengan target dan strategi pemasaran yaitu kenyamanan. Menurut Bauer (2010) mendefinisikan usability testing adalah mengukur efisiensi, kemudahan dipelajari, dan kemampuan untuk mengingat bagaimana berinteraksi tanpa kesulitan atau kesalahan
Masalah yang banyak ditemukan yaitu
mengenai masalah tampilan, navigasi yang membingungkan dan fungsi dari menu yang ada tidak sesuai keinginan pengguna. Permasalahan ini didapatkan dari hasil ulasan pengguna yang menulisakan kekurangan dan pendapat pengguna terkait aplikasi ini. Dari masalah yang ditemukan mengacu pada tiga aspek
usability adalah effisiensi, efektifitas, dan kepuasan.
Pengujian usability pada aplikasi pemesanan tiket bioskop ini digunakan untuk mengukur nilai usability. Pengujian dilakukan dengan menggunakan metode usability testing
dan USE Questionnaire. Metode ini dipilih karena berdasarkan standart international ISO, aspek usability, ada 3 yaitu, effisiensi, efetifitas, dan kepuasan. Dari ketiga aspek tersebut adanya korelasi antara parameter yang ada pada USE Questionnaire yaitu Usefullness, Ease of berarti tingkatan kualitas dari sistem yang mudah digunakan, mudah dipelajari dan mendorong pengguna untuk menggunakan suatu sistem sebagai alat bantu untuk menyelesaikan tugas dan meminimimalkan, kesalahan penggunaan dan memberi manfaat, kepuasan kepada pengguna. Menurut Nielsen, J mendefinisikan bahwa usability sebagai ukuran kualitas pengalaman pengguna saat melakukan interaksi dengan produk atau sistem seperti website, aplikasi perangkat lunak, teknologi bergerak , dan lain - lain yang digunakan oleh pengguna. Sebagai dasar acuan Menurut ISO 9421-11 bahwa standar usability yang baik yaitu effective dapat diukur dari jumlah kesalahan yang dibuat oleh pengguna, efficient
dapat diukur dengan waktu yang diperlukan oleh pengguna untuk mencapau tujuan yang diinginkan, dan satisfaction dapat diukur dari kebebasan yang didapatkan oleh pengguna untuk mencapai kenyamanan dari suatu produk.
Menurut “Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Test”
2.2 Kriteria Usability Ideal
Untuk mengukur usability dapat dikatakan ideal adalah bagaimana sistem/produk kita bisa menyelesaikan tugas pengguna dengan baik. Menurut ISO 9421-11 bahwa standar usability
yang baik yaitu effective, efficient, and satisfaction. Sudah jelas bahwa sebaiknya sebagai pengguna dapat melakukan secara efektif (berpacu pada hasil), efisien (berpacu pada caranya), dan satisfication (mendapatkan kepuasan). Cara mengukur dan menilai
usability sebuah situs bersifat relatif dan bergantung pada bagaimana pengguna dapat menyelesaikan sekumpulan task. Menurut Jakob Nielsen dalam bukunya Usability Engineering terdapat beberapa ukuran umum yang dapat dijadikan patokan dalam mengukur karakteristik usability, yaitu:
a. Learnability, menjelaskan tingkat kemudahan pengguna untuk memenuhi task-task dasar ketika pertama kali mereka melihat/menggunakan hasil perancangan. b. Efficiency menjelaskan tingkat kecepatan
pengguna dalam menyelesaikan task-task setelah mereka mempelajari hasil perancangan.
c. Memorability menjelaskan tingkat kemudahan pengguna dalam menggunakan rancangan dengan baik, setelah beberapa lama tidak menggunakannya.
d. Errors menjelaskan jumlah error yang dilakukan oleh pengguna, tingkat kejengkelan terhadap error dan cara memperbaiki error
e. Satisfaction menjelaskan tingkat kepuasan pengguna dalam menggunakan rancangan.
Mengacu teori dari Macefield Untuk menentukan jumlah responden yang terlibat tidak ada ukuran yang tepat dalam pengujian
usability menurut Gambar 1 dalam menemukan permasalahan usability yang bersifat subjektif membutuhkan 3 sampai 20 partisipan dengan 5 sampai 10 merupakan garis dasar hasil optimal untuk menemukan permasalahan. Secara umum jumlah peserta harus meningkat sesuai dengan kompleksitas permasalahan dan kekritisan produk namun akan menurun dengan desain baru. Sedangkan untuk comparative study yang lebih objektif daripada discovery study
membutuhkan 8 hingga 25 partisipan dengan hasil terbaik pada rentang partisipan 10 hingga 12 dan secara umum ukuran
Gambar 1 Study Participants
2.3 Merencanakan Usability Testing
Setiap studi literatur pada pengujian
usability berbeda - beda, tergantung pada tujuan dan batasan penguji secara spesifik. Jika peneliti tidak mempersiapkan dengan baik, maka peneliti tidak akan mendapatkan data yang diinginkan. aktifitas yang perlu dipertimbangkan saat akan melaksanakan pengujian usability untuk membuat suatu pengujian usability dapat berjalan dengan lancar, ada beberapa panduan untuk melakukan pengujian (Rubin et al, 2008).
2.3.1 MengembangkanPerancangan Pengujian
Peneliti harus menyiapkan semua sebelum pengujian dilangsungkan, yang perlu diperhatikan adalaha apa yang akan diuji, tujuan dari pengujian, lokasi pengujian, menentukan responden, langkah – langkah pengujian.
2.3.2 Menyiapkan Alat Pengujian
Peneliti menyiapkan berbagai peralatan guna mendukung pengujian, agar tidak ada masalah dan waktu yang terbuang saat pengujian.
2.3.3 Mencari Responden
Untuk mendapatkan responden yang tepat maka harus sesuai dengan kriteria yang ditentukan oleh peneliti.
2.3.4 Menyiapkan Materi Pengujian
Materi berupa skenario tugas yang dibuat sesuai dengan permasalahan yang ada untuk mendukung proses pengujian.
2.3.5 Melakukan Pengujian dan Observasi
pengguna alami selama pengerjaan pengujian. Melakukan observasi kepada responden saat pengujian berlangsung.
2.3.6 Wawancara
Untuk mendapatkan informasi lebih maka dilakukan wawancara terhadap responden yang telah melakukan pengujian.
2.3.7 Analisa Data
Melakukan Analisa data untuk mendapatkan nilai hasil pengujian usability.
2.3.8 Rekomendasi Perbaikan
Perbaikan dilakukan untuk meningkatkan nilai usability dari pengujian awal yang nantinya akan dibandingkan hasil pengujian awal dan pengujian setelah rekomendasi.
2.4 USE Questionnaire
Metode USE Questionnare ini adalah salah satu alat ukur untuk menghasilkan nilai
usability. Memiliki 30 pernyataan yang dibagi menjadi 4 parameter yaitu, Usefulness, Ease of Use, Ease of Learning, Satisfaction. Menurut Lund, 2001 ada 3 parameter yang mudah untuk diamati yaitu parameter efektifitas, efisiensi, kepuasan. Kuesioner ini menggunakan penilaian dengan skala 1 sampai dengan 7 (Rahadi, D R, 2014). Hasil penilaian akan dihitung berdasarkan poin yang dihasilkan dari pengisian kuesioner, diolah untuk mendapatkan nilai untuk setiap parameter (Aelani, 2012).
3.
METODOLOGI PENELITIAN
Penelitian ini dimulai dengan melakukan identifikasi masalah apa yang
ditemukan pada aplikasi pemesanan tiket bioskop, untuk menunjang penyelesaian masalah tersebut, dilakukan studi literatur terkait pada penelitian yang dilakukan seperti penelitian sebelumnya atau dari jurnal yang terkait dengan penenelitian ini. Setelah menemukan masalah, akan dilakukan pengujian, sebelum melakukan pengujian terlebih dahulu mempersiapkan pengujian, seperti task scenario, wawancara, dan peralatan pendukung seperti smartphone
untuk mengukur waktu dan merekam pengujian. Mengajak satu partner untuk membantu observasi selama pengujian berlangsung. Setelah itu melakukan pengujian dimulai dengan memberikan task
yang akan dikerjakan oleh responden, memberikan kuesioner dan melakukan wawancara. Setelah data didapatkan akan dikelompokkan dan dihitung untuk mendapatkan nilai usability awal. Setelah itu dilakukan perbaikan pada antarmuka aplikasi berupa prototype. Selanjutnya melakukan pengujian akhir, dimana pengujian ini dilakukan pada hasil rekomendasi yang telah dibuat, dengan langkah yang sama seperti pengujian awal. Hasil nilai usability yang didapatkan akan dibandingkan antara pengujian akhir dan pengujian awal.
4.
DATAPada tabel 1 adalah hasil pengelompokan masalah yang didapatkan dari hasil review
pengguna di Playstore. Terdapat 6 contoh masalah terhadap aplikasi ini.
Untuk memilih sampel dari pengguna yang telah mengisi form latar belakang diambil perwakilan berdasarkan metode Persona menurut (Usability. Gov, 2014) bahwa persona dapat mewakili kelompok pengguna dan memfokuskan kebutuhan pengguna dan Selain itu juga dikelompokkan responden yang terpilih berdasarkan usia menurut Loranger, H et al, (2013) dibagi menjadi 3 yaitu teens kisaran umur 13 – 17 tahun, college student kisaran umur 18 – 24 tahun dan adult 25 – 64 tahun. Selain pengelompokan pengguna pada tiap usia, metode yang digunakan adalah dengan mewawancarai dan memiliki user extreme pada penelitian, data yang didapatkan untuk pengembangan juga lebih luas dan pendapat yang didapatkan lebih mewakili populasi sesungguhnya karena user extreme merupakan
user minoritas namun berpengaruh terhadap Identifikasi Masalah
Persiapan Pengujian
Pengujian Awal
Rekomendasi Perbaikan
Pengujian Akhir
Kesimpulan dan Saran
pengembangan suatu produk.
5.
HASIL DAN PEMBAHASANPada kuesioner USE terdapat parameter yang dibagi menjadi 4 yaitu Usefulness, Ease of Use, Ease of Learning dan Satisfaction. Setiap parameter memiliki pernyataan yang berbeda beda sejumlah 30 pernyataan. Usefulness
memiliki 8 pernyataan, Ease of Use 11 pernyataan, Ease of Learning 4 pernyataan dan
Satisfaction 7 pernyataan. Untuk setiap pernyataan diwakilkan oleh skala likert 1 (sangat tidak setuju) sampai 7 (sangat sangat setuju).
4.1 Pengujian Awal
Pada tabel dibawah ini adalah hasil dari pengujian awal yang dilakukan. Pengujian dilakukan dengan memberikan kuesioner kepada responden yang nantinya hasil akan dihitung per parameter dengan menggunakan persamaan
Parameter = ((SUM / (Count * Skala Likert))*100) (5.1)
Maka didapatkan data yang terdapat pada tabel 2.
Tabel 2 Nilai Usability Tiap Parameter
Perhitungan nilai usability secara keseluruhan dengan menggunakan persamaan dibawah ini:
Skor = ((Usefullnes + Ease of Use + Ease of Learning + Satisfaction)) / 4) (5.2)
= ((59.4 + 59.9 + 62.5 + 57.4) / 4) = 59.8 %
Pada aplikasi pemesanan tiket bioskop ini mendapatkan nilai rata – rata usability yaitu 59.8% masuk pada kategori cukup berdasarkan tabel interpretasi penilaian.
4.2 Rekomendasi Perbaikan
Rekomendasi perbaikan dilakukan berdasarkan permasalahan yang ditemukan. Perbaikan berupa prototype yang dibuat dengan
guidelines Google Material Design dan menggunakan Web Contrast Checker. Dimulai dengan membuat wireframe hasil rekomendasi perbaikan, selanjutnya dibuat prototype yang nantinya akan dilakukan pengujian kembali. Berikut adalah contoh hasil rekomendasi perbaikan pada halaman awal.
Deskripsi Asal Data Parameter
Tampilan
Tabel 1 Pengelompokan Masalah Awal
4.3 Pengujian Akhir
Pada pengujian akhir ini dilakukan sama dengan pengujian awal, mulai dari responden yang sama dan alur pengujian yang sama yaitu mengerjakan skenario tugas, mengisi kuesioner dan melakukan wawancara kepada responden.
Hasil pengujian akhir dapat dilihat pada tabel 4 berikut ini.
Perbandingan hasil pengujian awal dan pengujian akhir dapat dilihat pada
Pada gambar 3 dapat dilihat hasil peningkatan yang didapatkan setelah melakukan pengujian awal dan pengujian akhir. Pada parameter Usefulness terjadi peningkatan dari 59.4% menjadi 79.9% atau mendapatakan peningkatan 20.4% setelah dilakukan rekomendasi perbaikan. Selanjutnya pada parameter Ease of Use terjadi peningkatan dari 59.9% menjadi 82.9% atau mendapatakan peningkatan 23%. Dan pada parameter Ease of Learning terjadi peningkatan dari 62.5% menjadi 85.2% atau mendapatakan peningkatan 22.7%. Terakhir pada parameter Satisfaction
terjadi peningkatan dari 57.4% menjadi 83.1% atau mendapatakan peningkatan 25.7%.
Perhitungan nilai usability secara keseluruhan dapat dihitung pada persamaan 5.2 Skor = ((Usefullnes + Ease of Use + Ease of
Learning + Satisfaction)) / 4) = ((79.9 + 82.9 + 85.2 + 83.1) / 4)
= 82.76 %
Pada aplikasi pemesanan tiket bioskop ini mendapatkan nilai rata – rata usability yaitu 82.76% masuk pada kategori sangat baik berdasarkan tabel interpretasi penilaian. Pada tabel 4 dibawah ini adalah perbandingan antara pengujian awal dan akhir dan angka peningkatan nilai usability.
Tabel 3 Tabel Peningkatan Nilai Usability
5
PENUTUP
5.1 Kesimpulan
Pada penelitian yang dilakukan pada aplikasi pemesanan tiket bioskop tentang
usability ini menghasilkan beberapa nilai yaitu
success rate atau keberhasilan mengerjakan
task yang diberikan oleh peneliti sebesar 64% selanjutnya didapatkan nilai usability per kriteria untuk setiap pengujian berdasarkan
USE Questionnare, yaitu Usefulness sebesar 59.4%, Ease of Use sebesar 59.9%, Ease of Learning sebesar 62.5%, Satisfaction sebesar 57.4%, dan didapatkan nilai usability sebesar 59.8% dimana berdasarkan tabel rekomendasi berada pada kategori cukup. Beberapa permasalahan yang dialamai oleh responden ketika melakukan tugas yang diberikan, setelah itu didapatkan beberapa permasalahan setelah dilakukan wawancara pada responden seperti navigasi yang membingungkan, pemilihan kota harus 2 kali, fungsi ikon yang tidak jelas, informasi bioskop yang sudah penuh tidak terihat, pilihan kota dan pembayaran yang
Hasil Pengujian Usability
Peningkatan Pengujian Awal Pengujian
Akhir
57.4 % 82.76 % 25.36%
Tabel 5 Nilai Usability Tiap Parameter
Parame ter
Usefuln ess
Ease of Use
Ease of Learni
ng
Satisfacti on
Nilai 79.9% 82.9 %
85.2% 83.1%
59,479,9 59,982,9 62,585,2 57,483,1
0 50 100
Usefulness Ease of Use Ease of Learning
Satisfaction
Grafik Perbandingan Nilai
Pengujian Usability
Pengujian Awal Pengujian Akhir
kurang terlihat, jadwal film yang kurang terlihat, tulisan kursi terlalu kecil, perpaduan warna yang tidak cocok, menu awal terlalu banyak dan membingungkan.
Rekomendasi yang berikan yaitu pada kriteria Usefulness yaitu, memberikan
navigation drawer atau menu samping agar pengguna bisa dapat mengakses menu yang tersedia di aplikasi, dan lebih mudah untuk melakukan pemesanan tiket dengan menambahkan button book agar proses lebih cepat, memberikan warna yang berbeda pada jadwal yang sudah tidak tersedia lagi. Pada kriteria Ease of Use, yaitu mengubah tata letak menu pilihan kota menjadi dropdown agar mudah dilihat dan dipilih oleh pengguna. Pada kriteria Ease of Learning memberikan rekomendasi perubahan untuk menu awal yang tadinya banyak yang sama dengan menu home di ubah menjadi menu samping agar lebih mudah digunakan dan rapi. Pada kriteria
Satisfaction yaitu memperbesar ukuran tulisan pada rekomendasi dan mengubah warna dari aplikasi sebelumnya berdasarkan pada Color Contrast Checker guna mendapatkan kombinasi warna yang baik.
Pada pengujian akhir adalah pengujian yang dilakukan setelah dilakukan perbaikan pada aplikasi tersebut, didapatkan bahwa nilai
usability per kriteria untuk setiap pengujian berdasarkan USE Questionnare, yaitu
Usefulness sebesar 79.9%, Ease of Use sebesar 82.9%, Ease of Learning sebesar 85.2%,
Satisfaction sebesar 83.1%, dan dengan dilakukan rekomendasi perbaikan maka didapatkan nilai usability mengalami peningkatan 23.36% didapatkan nilai usability
sebesar 82.8% dimana berdasarkan tabel rekomendasi berada pada kategori sangat baik.
5.2 Saran
Berikut adalah beberapa saran untuk penelitian selanjutnya.
1. Diperlukan implementasi prototype
perbaikan dari rekomendasi yang sudah dibuat dalam sebuah aplikasi.
2. Menggunakan metode User Centred Design sebagai acuan desain selain Google Material IO untuk meningkatkan nilai
usability serta meningkatkan nilai dari
customer relationship dalam penggunaan aplikasi pemesanan tiket bioskop ini. 3. Dapat menggunakan metode kuesioner lain
untuk melakukan pengujian pada aplikasi
pemesanan tiket bioskop sebagai hasil perbandingan dan rekomendasi perbaikan lainnya.
6
DAFTAR PUSTAKA
Aelani, K 2012. Pengukuran Usability Sistem Menggunakan USE QUESTIONNAIRE (Studi Kasus Aplikasi Perwalian Online STMIK "AMIKBANDUNG"). STMIK AMIKBANDUNG.
International Standards Office (ISO), 1998. ISO 9241 – 11 Ergonomic requirements for office work with visual display terminal (VDTs) – Part 11: Guidance on usability. Electronic documents. Geneva: ISO.
Jeffrey Rubin and Dana Chisnell. Handbook of Usibility Testing, How to Plan, Design, and Conduct Effective Test. Wiley Publishing. 2008. Indianapolis
Loranger, H & Nielsen, J., 2013. Teenage Usability: Designing Teen-Targeted Websites (online), diakses pada 18 juli 2018,
(https://www.nngroup.com/articles/us ability-of-websites-for-teenagers/)
Nielsen, J. 2012. Usability 101: Introduction to Usability. (online), diakses 18 juli 2018.
(https://www.nngroup.com/articles/usa bility-101-introduction-to-usability/).
Rubin, J. & Chisnell, D., 2008. Handbook of Usability Testing. 2nd ed. Boulevard Wiley
Rahadi, D R., 2014. Pengukuran Usability
Sistem Menggunakan Use Questionnaire Pada Aplikasi Android. Jurnal Sistem Informasi (JSI), BOL 6, NO.1 Hal 661-671
Macefield R & Six M. Janet.2016. How to Determine the Right Number of Participants for Usability Studies. (Online).
