Fakultas Ilmu Komputer
7894
Evaluasi Desain Antar Muka
Website
Dinas Koperasi Kota Malang
Menggunakan
Heuristic Evaluation
Andrew Wise Jeremia1, Hanifah Muslimah Az-Zahra2, Admaja Dwi Herlambang3
Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1emdru.wise@gmail.com, 2hanifah.azzahara@ub.ac.id, 3herlambang@ub.ac.id
Abstrak
Tujuan penelitian ini adalah untuk mengetahui permasalahan usability dan nilai severity yang terdapat pada dinkop.malangkota.go.id pada Dinas Koperasi Kota Malang dengan menggunakan metode
heuristic evaluation dan rekomendasi yang diajukkan. Metode yang digunakan adalah metode heuristic evaluation dalam menemukan permasalahan menggunakan observasi pendapat oleh ahli IT atau yang memiliki kemampuan dalam bidang content dari aplikasi tersebut. Hasil penelitian diketahui permasalahan usability yang didapatkan menggunakan heuristic evaluation berjumlah keseluruhan ada 24 permasalahan. Dari total 24 permasalahan tersebut terbagi tidak merata dalam masing-masing
heuristic untuk permasalahan terbanyak terdapat pada heuristic H5-Consider error-prone conditions
yaitu “mencegah terjadinya error” dengan berjumlah 5 permasalahan. Rekomendasi yang diberikan berdasarkan permasalahan yang terdapat pada Website Dinas Koperasi berjumlah 4 permasalahan. Hal tersebut terbagi dalam 8 permasalahan cosmetic, 8 permasalahan minor dan 8 permasalahan major. Dari total 24 permasalahan bisa dikatakan hanya 4 permasalahan yang diberikan rekomendasi perbaikan secara nyata oleh evaluator.
Kata kunci: Evaluasi Desain, Antarmuka, Dinas Koperasi, Heuristic Evaluation
Abstract
The purpose of this study was to determine the usability problems and severity values contained in the Department of Cooperative dinkop.malangkota.go.id Malang by using heuristic evaluation and recommendations on the way down. The method used is the heuristic evaluation method in finding problems through observation or opinion by IT experts who have skills in the content field of the application. The survey results revealed that usability problems found using the heuristic evaluation there were 24 issues totaling entirety. Of the total of 24 issues divided unevenly in each heuristic for most issues contained in the H5-Consider heuristic error-prone conditions, namely "to prevent errors" by totaling five issues. Recommendations are given based on the problems contained in the Website of Cooperative consists of 4 problems. It is divided into eight cosmetic problems, 8 and 8 minor problems major problems. From a total of 24 problems can be said to be only 4 issues given real improvement recommendations by the evaluator.
Keywords: Evaluation Design, Interface, Dinas Koperasi, Heuristic Evaluation
1. PENDAHULUAN
Website adalah alamat atau lokasi di dalam internet suatu halaman web, umumnya membuat dokumen HTML dan dapat berisi sejumlah foto atau gambar grafis, music, teks bahkan gambar yang bergerak. Dengan menggunakan teknologi tersebut, informasi dapat diakses selama 24 jam dimanapun dan kapanpun. Website dapat memberikan keuntungan besar karena dapat diakses secara global melalui jaringan internet, informasi tentang produk tersedia secara online
dan dapat menjawab pertanyaan dari konsumen dengan cepat dan murah, pada umumnya website
menyediakan beberapa artikel beserta tips dan informasi. Ketika suatu website sering update
karena konsumen lebih percaya jika mereka mengetahui sesuatu tentang perusahaan tersebut. Evaluasi adalah suatu proses dalam menyediakan informasi untuk mengetahui sejauh mana kegiatan tersebut telah dicapai. Evaluasi mengukur suatu pekerjaan atau hal-hal yang dilakukan, evaluasi sangat berguna atau bermanfaat karena dapat mengetahui tingkatan pekerjaan dan juga sebagai penilaian terhadap apa yang telah di kerjakan atau di lakukan. Pengertian evaluasi yang lain adalah suatu proses sistematis dalam menentukan atau membuat keputusan terhadap sejauh mana program atau sistem suatu aplikasi telah tercapai. Evaluasi dilakukan untuk mengukur sejauh mana tingkat kemudahan pengguna dalam mempelajari website ketika pertama kali menggunakan website. Heuristic evaluation
adalah metode dalam usability untuk menemukan permasalahan usability dalam sebuah antarmuka sehingga bisa dijadikan bagian dari pembuatan sebuah antarmuka itu sendiri (Nielsen, 1994). Terdapat 10 heurisitic yang sudah ada dan dapat digunakan sebagai panduan dalam melakukan evaluasi usability.
Koperasi dinas kota malang merupakan aplikasi website-commerce yang diluncurkan oleh koperasi dinas kota malang itu sendiri sebagai sarana mengembangkan potensi dan kemampuan ekonomi anggota dan berupaya mempertinggi kualitas kehidupan manusia, memperkokoh perekonomian rakyat. Dengan adanya aplikasi website koperasi di kota malang diharapkan masyarakat memperoleh kemudahan dan mengembangkan potensi dan kemampuan ekonomi pada masyarakat sekitar.
Berdasarkan wawancara yang dilakukan kepada beberapa pengguna Website dinas koperasi, pengguna menyatakan bahwa
trafficnya masih rendah. Selain itu website dinas koperasi masih belum banyak dikenal dan tidak yakin bahwa web ini adalah resmi dari Dinas Koperasi Kota Malang. Sedangkan berdasarkan observasi yang dilakukan oleh penulis pada
Website dinas koperasi ditemukan adanya menu yang tidak menampilkan informasi sama sekali, dimana hal tersebut akan mempengaruhi harapan pengguna terhadap sistem informasi khususnya pada Dinas Koperasi Kota Malang.
2. LANDASAN PUSTAKA
2.1. Penelitian Sebelumnya
Sebelum memutuskan untuk melakukan sebuah penelitian, maka terlebih dahulu dilakukan studi mengenai penelitian sebelumnya. Terdapat banyak penelitian yang menyinggung tentang heuristic evaluation
dalam penggunaanya pada Website Dinas Koperasi Kota Malang. Dalam penelitian yang telah dilakukan oleh berbagai sumber.Telah diketahui banyak sekali metode yang digunakan dalam melakukan pengambilan dan pengajuan
heuristic yang telah dilakukan demi menyesuaikan dengan penelitian. Pada penelitian biasanya menggunakan ekspert review atau kuisioner dalam melakukan pengambilan datanya. Perbedaanya bisa dilihat pada Tabel 2.1.
Tabel 2.1 Perbandingan Dengan Penelitian Terdahulu
Topic Penelitian Peneliti dan tanggal R
Heuristicusability
Jorge Avilés Monroy,2015 Me ber
Piotr Calak, 2013 Me y
Rovina Maria Miranda, 2014 Me y m m
Pada Tabel 2.1 menjelaskan bagaimana penelitian-penelitian telah dilakukan untuk memajukan pengetahuan tentang heuristic evaluation. Terdapat 4 perbandingan penilitian yang dipilih untuk dijadikan contoh berdasarkan perbandingan dengan penelitian yang akan dilakukan.
2.2. Dinas Koperasi Kota Malang
informasi kepada masyarakat tentang hal terbaru mengenai program perkoperasian, acara yang diadakan oleh Dinas Koperasi Kota Malang dan hal yang bersifat umum lainya. Dalam Gambar 2.1 diperlihatkan tampilan utama dari Website
Dinas Koperasi Kota Malang.
Dalam Gambar 2.1 dapat dilihat tampilan utama atau menu home dari website yang dimiliki oleh Dinas Koperasi Kota Malang. Tampilan tersebut terlihat standart dan sederhana. Menampilkan informasi mengenai menu Home, Profil, Bidang Kerja, Layanan, Informasi, Berita, Galeri Dan Kontak. Untuk menu Home adalah tampilan antarmuka. Menu Profil menampilkan visi, misi dan program Dinas. Menu Berita menyajikan acara yang diselenggarakan Dinas Koperasi Kota Malang. Untuk Galeri menyajikan peraturan dan prosedur dalam perkoperasian khususnya untuk peraturan dan prosedur perijinan pembuatan koperasi. Sedangkan menu kontak adalah menu menyajikan nomor atau akses yang bisa dihubungi oleh masyarakat. Pada pojok kiri atas terdapat nomor telepon dan
pojok kanan terdapat icon , apabila di klik dapat menghubungkan dengan aplikasi facebook dan account milik Dinas Koperasi
.
2.3. Usability
Website Dinas Koperasi Kota Malang
Gambar 1 Tampilan antarmuka utama dari dinkop.malangkota.go.id Dinas Koperasi Kota Malang
Sumber: Aplikasi Dinas Koperasi Kota Malang
Gambar 1. Menunjukkan tampilan utama atau menu home dari website yang dimiliki oleh Dinas Koperasi Kota Malang. Tampilan tersebut terlihat standart dan sederhana. Menampilkan informasi mengenai menu Home, Profil, Bidang Kerja, Layanan,
Informasi, Berita, Galeri Dan Kontak. Untuk menu Home adalah tampilan antarmuka.
a. Usability
Dalam sebuah buku yang berjudul
“Handbook of Usability Testing” yang dikarang oleh Jeffrey Rubin (1994). Usability adalah kualitas yang dimiliki oleh setiap produk..
b. Ciri Usability
Usefulness adalah sampai sejauh mana
kemampuan sebuah antar muka untuk memungkinkan penggunanya mencapai apa yang mereka inginkan, dan sebuah penilaian terhadap keinginan pengguna untuk menggunakan produk antar muka tersebut.
Efficiencyadalah sebuah tingkat kecepatan user
dalam menyelesaikan apa yang menjadi tujuannya dalam menggunakan sebuah produk antar muka secara akurat, biasanya diukur berdasarkan waktu.
Effectiveness mengacu pada sejauh mana kemampuan sebuah produk antar muka bisa sesuai dengan keinginan pengguna dan pengguna juga dengan mudah menggunakannya untuk hal yang mereka inginkan, biasanya diukur secara kuantitatif dari jumlah kesalahan yang dibuat pengguna.
Learnability merupakan bagian dari efektifitas dan hubunganya dengan kemampuan user untuk mengoprasikan sistem tertentu dalam tingkatan kompetensi tertentu yang sudah ditentukan berdasarkan jumlah dan waktu yang digunakan dalam menggunakan sistem.
Satisfaction mengacu pada perspektif,perasaan dan opini user terhadap sebuah produk antarmuka, biasanya di kemukakan secara tertulis maupun lisan.
Accessibility dan usability sebenarnya memang tidak bisa dipisahkan. Dalam artian luas,
Accessibility adalah bagaimana mendapatkan akses atau kesempatan menggunakan produk antar muka untuk memenuhi kebutuhan pengguna.
c. Metode Dalam Usability
Ada banyak metode yang bisa digunakan dalam membangun sebuah usability. Dalam menjaga agar jangka kegunaan suatu produk awet, maka tingkat usabilitypun harus diperhatikan. Melakukan review dengan beberapa metode dalam usability bisa membantu dalam penelitian ini tentang Heurisitk Evaluation itu sendiri.
d. Tingkat Permasalahan Usability
pada sistem tersebut. Kedua adalah seberapa besar permasalahan tersebut. Dalam pengukuran jumlah permasalahan juga objektif, karena bisa dilihat dari jumlah permasalahan yang ditemukan. Untuk mengukur seberapa besar atau sulit tiap permasalahan tersebut, pasti jawabanya kurang objektif.
f. Prosedur Metode Heuristic Evaluation
Heurisitic Evaluation adalah salah satu metode usability yang bertujuan untuk menemukan permasalahan usability. Metode ini melibatkan sebagian kecil evaluator yang terdiri dari ahli TI, terutama dalam bidang desain antar muka. Nielson (1995) mengatakan bahwa menggunakan 1 orang evaluator akan terasa sulit dalam menemukan semua hal yang berkaitan dengan permasalahan usability. Bagaimanapun penambahan evaluator bisa menjadi solusi dalam merupakan alternatif yang paling mudah dalam mengatasi kurangnya penemuan permasalahan. Pada metode ini, nantinya pada
evaluator melakukan evaluasi masing-masing sendiri. Setiap evaluator dilarang melakukan komunikasi apapun selama masa evaluasi. Setelah melakukan evaluasi evaluator yang melakukan evaluasi usability bisa melakukan diskusi terkait apa yang mereka evaluasi.
g. Evaluator Dalam Heuristic Evaluation
Dalam metode usability, terdapat beberapa metode yang menggunakan evaluator sebagai sarana dalam mengevaluasi. Metode yang popular dalam menggunakan Ahli TI salah satunya adalah heuristic evaluation. Ahli TI sangat berguna dalam melakukan evaluasi
usability karena bisa lebih effisien dan efektif dalam:
Mengidentifikasi user dan tujuannya, Mendefinisikan apa saja yang akan dilakukan
user pada aplikasi antar muka, Mengetahui apa saja langkah yang akan user ambil dalam antar muka dan mengantisipasi agar tidak terjadi kesalahan ketika user menggunakannya.
h. Severitiy Rating
Pada dasarnya severity rating adalah tingkat kepelikan sebuah permasalahan usability yang ditemukan berdasarkan sebuah penelitian.
Severity biasanya dikaitkan dengan
permasalahan yang timbul memiliki tingkat keseriusan yang bervariasi. Apabila tingkat keseriusan permasalahan usability sangat tinggi maka developer perlu untuk melakukan pengecekan ulang dan tidak segera meluncurkan aplikasi apabila belum diluncurkan. Apabila sudah diluncurkan maka bisa segera melakukan
perbaikan secepatnya agar tidak terjadi hal yang tidak diinginkan.
i. Severity Rating Pada Heuristic Evaluation
Untuk mendapatkan nilai severity yang baik akan sulit didapatkan dikarenakan ketika
evaluator melakukan sesi evaluasi maka mereka akan focus dalam menemukan permasalahan itu sendiri sedangkan untuk memberikan severity
untuk tiap permaslahan jadi terabaikan. Sehingga untuk mendapatkan nilai severity
alangkah baiknya melakukan penilaian ketika selesai melakukan evaluasi dan menanyakan secara langsung untuk permasalahan tersebut memiliki nilai severity tersebut. Dalam keadaan normal butuh sekitar 30 menit untuk menanyakan nilai severitiy rating dari tiap-tiap masalah yang ditemukan oleh evaluator dan tidak tercampur dengan pendapat dari evaluator
lainnya.
3. METODOLOGI
Pada Bab ini menjelaskan terkait
dengan tahapan yang akan dilakukan
pada penelitian yang akan dilakakukan.
Sehingga tujuan yang dikemukakan
pada BAB I bisa tercapai. Semua
tahapan mulai dari studi literatur,
perancangan
pengumpulan
data,
kemudian melakukan pengumpulan
data sampai pengolahan data hingga
penarikan kesimpulan. Dalam Gambar
3.1 menunjukkan alur penelitian secara
runtut.
Mulai
Studi literatur Heuristic evaluation
Pengujian Heuristic Tahap I
Analisis Hasil Pengujian Tahap I
Perbaikan Website
Gambar Alur Perancangan Penelitian
3.1. Definisi literatur Heuristic Evaluation
Studi literatur heuristic evaluation adalah
serangkaian kegiatan yang berkenaan dengan
metode
pengumpulan
data
pustaka,
mambaca, mencatat, serta mengelolah bahan
penelitian.
Studi
literatur
merupakan
penelitian yang dilakukan oleh peneliti dengan
mengumpulkan data terlebih dahulu yang
berkaitan
dengan
masalah
dan
tujuan
penelitian. Bertujuan untuk mengungkapkan
berbagai permasalahan yang sedang dihadapi
atau diteliti sebagai bahan rujukan dalam
pembahasan hasil penelitian.
3.2. Perencanaan Dan Pengumpulan Data
Perecanaan merupakan kegiatan
untuk menetapkan tujuan yang akan
dicapai
beserta
cara-cara
untuk
mencapai tujuan tersebut. Perencanaan
bisa juga disebut dengan pemilihan atau
penetapan
tujuan
organisasi
dan
penentuan
strategi
kebijaksanaan,
proyek, metode, dan sistem yang
dibutuhkan untuk mencapai tujuan.
Pengumpulan data dilakukan untuk
memperoleh informasi yang dibutuhkan
dalam
rangka
mencapai
tujuan
penelitian. Proses pengumpulan data
dilakukan
sampel
yang
dilakukan
sebelumnya.
4. HASIL
4.1. Evaluator
no nama umur Jenis kela min
pekerjaan Keahlian dan
pengalaman
1 Nurcahyo pujo
25 P Front enginer dinkop
Informatik
2 Nadia soraya
23 L Project manajer
Database
3 Oktavia zalma
32 L Business Bisnis analysis
4 Muhammad lutfi
38 P System analyst
System analysis
5 ariwibowo 43 p Progammer Database
4.2. Hasil Evaluasi Heuristic Evaluation
Hasil evaluasi usability pada website Dinas Koperasi Kota Malang berdasarkan metode
heuristic evaluation menghasilkan berbagai permasalahan yang beragam. Terdapat beberapa tabel yang merepresentasikan permasalahan yang didapat selama melakukan evaluasi. Hasil evaluasi oleh evaluator bisa dilihat dalam Lampiran. Permasalahan akan diklasifikasikan berdasarkan tempat ditemukan permasalahan tersebut dan heurisitic yang bersangkutan terhadap masalah tersebut kemudian nilai dari
severity rating atau tingkat kerumitan permasalahan tersebut dengan menggunakan skala Nielsen (1995). Permasalahan tersebut dikategorikan berdasarkan masing-masing
heuristic yang telah ditentukan sebelumnya.
4.3. Permasalahan Heuristic
No Bagian Permasalahan Heuristic Severity Kode Masalah
1. Halaman Berita
Tombol
breadcrumb
tidak bisa diklick
H3 2 M-1-2
Pengambilan Kesimpulan dan Saran
Selesai
Pengujian Heuristic Tahap II
Menawarakan Objek Dunia Nyata
5. HASIL PENELITIAN DAN PEMBAHASAN
5.1. Perbandingan Permasalahan Usability
5.2. PERHITUNGAN SEVERITY RATING
Permasalahan usability yang ditemukan memiliki tingkat permasalahan tersebut sendiri. Seperti yang dikemukakan oleh Nielsen bahwa tingkat kepelikan suatu permasalahan atau
severity bisa dikategorikan berdasarkan skala mulai dari 0 sampai 4. Mulai dari kategori bukan masalah usability sama sekali yang tidak terlalu penting sampai permasalahan yang sangat penting dan bisa mengganggu berjalannya
website yaitu catastrophic. Pada Tabel 5.4 menunjukkan nilai severity dari permasalahan
usability yang telah teridentifikasi.
Tabel 5.4 menunjukan jumlah dari permasalahan usability yang didapat oleh evaluator. Setelah permasalahan ditemukan maka permasalahan tersebut diberikan nilai
severity atau tingkat kepelikan masalah. Dalam kolom rerata didapat dari tiap permasalahan dikalikan dengan nilai severity dan dicari rata-rata severity untuk tiap heuristic dengan rerata secara keseluran. untuk semua permasalahan memiliki nilai 2.28 dalam skala 0 sampai 4. Dalam perhitungan yang telah dilakukan yaitu tiap skala Nielsen (1995) akan direpresentasikan dengan angka 0 sampai 4 untuk dilakukan perhitungan dengan not problemdengan nilai 0 dan catastrophic dengan nilai 4 sehingga tiap skala bisa diukur berdasarkan angka. Kemudian tingkat permasalahan yang sudah bisa dihitung karena sudah memiliki nilai yang jelas. Tiap permasalahan untuk tiap heuristic dihitung jumlah untuk masing-masing heuristic dan skala tersebut kemudian bisa diambil rerata dari hasil yang sudah dikumpulkan. Untuk skala not
problemtidak terdapat dari hasil
penelitian,sehingga heuristic yang terdapat skala ini tidak ada sama sekali. Begitu juga dengan skala catastrophic yang tidak terdapat pada masing-masing heuristic yang menandakan permasalahan yang ada pada website tersebut tidak memiliki skala seperti ini. Dapat dilihat permasalahan terpusat pada 3 skala saja yaitu skala cosmetic, minor, major yang mendominasi persebaran permasalahan.
6. KESIMPULAN
Berdasarkan pembahasan yang telah dilakukan maka kesimpulan yang bisa ditarik dari pembahasan tersebut adalah:
1. Permasalahan usability yang didapatkan setelah melakukan evaluasi menggunakan
heuristic evaluation berjumlah keseluruhan ada 24 permasalahan. Dari total 24 permasalahan tersebut terbagi tidak merata dalam masing-masing heuristic untuk permasalahan terbanyak terdapat pada
heuristic H5-Consider error-prone conditions yaitu “mencegah terjadinya
error” dengan berjumlah 5 permasalahan.
Untuk heuristic yang memiliki permasalahan yang paling sedikit adalah H7-Strive for high efficiency of use in default settings, but allow customization
dengan masing-masing berjumlah 1 permasalahan saja. Berdasarkan pembahasan telah diketahui bahwa rata-rata nilai severity untuk semua permasalahan pada website ini adalah 21.01% dalam skala 0 sampai 4. Sehingga dengan rata-rata tersebut tingkat permasalahan pada website
tergolong minor. Heuristic yang memiliki rerata tingkat permasalahan tertinggi adalah H1-Make System Status Visible dan
H9-When a user error happens, take the user’s
feelings and needs into account dengan rerata tingkat permasalahan adalah 2.28 dalam skala 0 sampai 4. Untuk heuristic
yang memiliki tingkat permasalahan terkecil adalah H6-Have the app remember important stuff and not the user dan
H4-Achieve consistency (internal within the app and external with other apps in the platform) dengan rerata tingkat permasalahan adalah 1
2. Rekomendasi yang diberikan berdasarkan permasalahan yang terdapat pada Website
cosmetic, 8 permasalahan minor dan 8 permasalahan major. Dari total 24 permasalahan bisa dikatakan hanya 4 permasalahan yang diberikan rekomendasi perbaikan secara nyata oleh evaluator.
DAFTAR PUSTAKA
Arnoldus Yansen Friska Danar Yudhistira, 2016, Rancang Bangun Sistem Informasi Pengukuran Tingkat Kepuasan Pelanggan Berdasarkan Kualitas Pelayanan E-Government Menggunakan Metode Regresi, Skripsi Tidak Diterbitkan
Budi Harijanto, 2014, Sistem Informasi Pengukuran Kepuasan Pelanggan (Studi Kasus Politeknik Negeri Malang), Skripsi Tidak Diterbitkan
Fandy Tjiptono 2009, Strategi Pemasaran, edisi kedua, cetakan ketujuh, Yogyakarta : Andi. Offset.
Ghozali, Imam, 2011, Aplikasi Analisis Multivariate Dengan Program SPSS, Semarang : Badan Penerbit Universitas Diponegoro.
Jenny Laura Manzari and Trinidad Christensen
Jeremiah. 2007, “User Centered Design of
a Website for Library and Information Science Students : Heuristic Evaluation
and Usability Testing”. Jurnal of
Information Technology and Libraries, Long Island University.
Kotler dan Keller. 2009. Manajemen Pemasaran. Jilid 1. Edisi ke 13. Jakarta: Erlangga
Maret Hertzum, M. dan Jacobson, N. E., 2003, The Evaluator Effect: A Chilling Fact About Usability Evaluation Methods, International Journal of Human Computer Interaction
Mifsud, J., 2015. Usability Metric–A Guide To Quantify The Usability Of Any System. [online] Tersedia di <http://usabilitygeek.com/usability- metrics-a-guide-to-quantify-system-usability/> [Diakses pada 16 Februari 2016]
Nielsen, J., 2001. Success Rate: The Simplest Usability Metric [online] Tersedia di <http://www.nngroup.com/articles/succes s-rate-the-simplest-usability-metric/> [Diakses 17 Februari 2017]
Nielsen, J., 2014. Turn User Goal into Task Scenario for Usability Testing [online]
Tersedia di < http://www.nngroup.com/articles/task-scenarios-usability-testing/ > [Diakses 19 Februari 2017]
Nielsen, J., 2001. Usability Metrics [online]
Tersedia di < http://www.nngroup.com/articles/usabilit y-metrics/> [Diakses 18 Februari 2017]
Nielsen, J., 2012. Usability 101:Introduction to
Usability [online] Tersedia di
<http://www.nngroup.com/articles/usabil ity-101-introduction-to-usability/> [Diakses 19 Februari 2017]
Machfoedz, Mahmud. 2010. Komunikasi Pemasaran Modern.Yogyakarta : Cakra Ilmu. Basu Swastha, dan T. Hani Handoko, 2008, Manajemen Pemasaran, Analisa Perilaku Konsumen, edisi pertama, cetakan keempat, Penerbit : BPFE, Yogyakart
Rovina Maria Miranda, 2014, Usability Analysis of Smart watch applications based on
Rubin, Jeffrey. 1994. “Handbook of Usability Testing”. John Wiley &. Sons
Rao Purba, 2006, Measuring Consumer Perception Through Factor Analysis, The Asian Manager (February – March).
Singgih Santoso. 2001. SPSS Versi 10 : Mengolah Data Statistik Secara Profesional. Jakarta : PT Elex Media Komputindo
Sugiyono. 2009. Statistika Untuk Penelitian. Bandung: Alfabeta.
Sugiyono. 2015. Metode Penelitian Kuantitatif, Kualitatif dan R&D. Bandung : Alfabeta.
