Fakultas Ilmu Komputer
Universitas Brawijaya
974
Analisis Perbandingan Aplikasi Google Maps, Wisepilot, dan Here Wego
Dengan Pendekatan User Centered Design (UCD) dan Kaidah Cartography
Oki Ari Saputra1, Fatwa Ramdani2, Mochamad Chandra Saputra3
Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1[email protected], 2[email protected], 3[email protected]
Abstrak
Pengujian aplikasi diukur dari sudut pandang pengguna dengan menyoroti lima aspek pengujian, yaitu aspek functionality, efficiency, reliability, usability, dan cartography. Pada aspek functionality dilakukan pengujian fungsi pada masing-masing aplikasi, pada aspek efficiency dilakukan untuk memperoleh page speed grade pada masing-masing aplikasi yang diteliti menggunakan tools Pingdom dan GTMetrik, pada aspek reliability dilakukan monitoring pada server masing-masing aplikasi menggunakan tool Pingdom selama 30 hari, pada aspek usability dilakukan evaluasi menggunakan kuesioner untuk mengetahui kepuasan pengguna pada masing-masing aplikasi, dan pada aspek cartography dilakukan evaluasi terhadap peta pada masing-masing aplikasi berdasarkan kaidah-kaidah cartography. Penelitian ini bertujuan untuk melakukan perbandingan terhadap aplikasi Google Maps, Here Wego, dan Wisepilot pada sistem operasi Android sebagai alternatif yang lebih baik yang harus digunakan dalam melakukan pencarian lokasi pada peta dan rute navigasi melalui pengujian kepuasan pengguna. Aplikasi pada pengujian ini digunakan dalam rekomendasi rute navigasi dan lokasi di Kota Malang, yang memerlukan beberapa jenis pengujian pada masing aplikasi. Untuk masing-masing aplikasi dilakukan pengujian dan evaluasi terhadap lima aspek pengujian menggunakan metode Web Quality Evaluation Method (WebQEM) dan kaidah cartography. Dilakukan analisis dan perbandingan dari hasil pengujian pada setiap aspek berdasarkan standar kategori penilaian pada masing-masing aspek yang diujikan. Aplikasi Google Maps lebih unggul dari kedua aplikasi lainnya berdasarkan tiga dari lima aspek yang diujikan yaitu aspek functionality, reliability, usability.
Kata kunci: User Centered Design, Web Quality Evaluation Method, kaidah cartography, Usability.
Abstract
Application testing is measured from the user's point of view by highlighting five aspects of testing, which are functionality, effectiveness, efficiency, reliability, usability, and cartography. In the functionality aspect, a function test is performed on each application, on the aspect of efficiency is done to obtain page speed grade in each application that is examined using Pingdom and GTMetrik tools, on the reliability aspect is monitored on each server using the Pingdom tool for 30 day, the usability aspect was evaluated using a questionnaire to find out user satisfaction in each application, and in the aspect of cartography an evaluation of the map in each application was based on cartography rules.This research aims to make a comparison between Google Maps, Here Wego, and Wisepilot applications on Android operating systems as a better alternative that should be used in searching locations on maps and navigation routes through user satisfaction testing. Applications in this test are used in the recommended navigation routes and locations in Malang which requiring several types of testing on each application. For each application is tested and evaluated by five aspects of testing using Web Quality Evaluation Method (WebQEM) method and cartography rules. The writer's analysing and make a comparison of test results that are conducted on each aspect based on the standard assessment categories in each aspect tested. The Google Maps application is superior than other three applications based on four of the five aspects tested: functionality, effectiveness, efficiency, reliability, usability.
Fakultas Ilmu Komputer, Universitas Brawijaya
1. PENDAHULUAN
Teknologi navigasi sudah menjadi kebutuhan hampir semua teknologi di dunia, terutama teknologi yang memanfaatkan fitur peta dan navigasi terutama pada perangkat
mobile. Indonesia sendiri merupakan
penggunaan teknologi navigasi yang sangat berkembang, baik untuk kebutuhan bisnis maupun kebutuhan sehari–hari, perkembangan ojek online di Indonesia turut didukung dengan perkembangan teknologi peta dan navigasi pada aplikasi Google Maps, Here Wego, dan Wisepilot yang memiliki tampilan dan jenis peta yang berbeda–beda pada masing–masing aplikasi.
Pada Januari 2018 Hootsuite merilis jumlah populasi pengguna perangkat mobile di Indonesia mencapai 177,9 juta dari total populasi 265,4 Juta penduduk Indonesia atau sekitar 67% dari total populasi, naik 1 % atau naik 2 juta pengguna dari awal tahun sebelumnya. Ada sekitar 111 juta orang yang menggunakan
mobile maps service atau sekitar 42% dari Total
populasi (Hootsuite, 2018). Perkembangan dari pengguna perangkat mobile menjadikan kebutuhan navigasi pada perangkat mobile menjadi semakin meningkat. Selain perkembangan dari sistem navigasi, perkembangan Sistem Informasi Geografis (SIG) turut mendukung penerapan sistem peta dan navigasi baik pada perangkat mobile. SIG merupakan sistem yang mengimplementasikan
hardware dan software berfungsi untuk akusisi
dan verifikasi, kompilasi, penyimpanan, perubahan, pembaharuan, manajemen, pertukaran, manipulasi, pemanggilan, presentasi serta analisa data (Bernhardsen, 2002).
Perkembangan SIG juga mendorong pemanfaatan teknologi navigasi menjadi semakin luas dan lebih realtime. Pemanfaatan teknologi navigasi tidak terlepas oleh semakin berkembangnya teknologi Global Positioning
System (GPS). Perkembangan teknologi GPS
memungkinkan pemanfaatan teknologi navigasi diterapkan pada berbagai perangkat, salah satunya perangkat smartphone dengan menggunakan aplikasi mobile sebagai media pemanfaatan teknologi tersebut. Perkembangan aplikasi navigasi pada smartphone juga mendukung penggunaan teknologi navigasi ini menjadi semakin mudah dan murah.
Teknologi smartphone saat ini sudah mampu untuk menjawab kebutuhan masyarakat
akan perangkat yang bisa untuk membuat aktivitas menjadi mudah dan cepat namun dengan biaya yang murah. Dengan adanya perangkat yang mudah digunakan, membuat perkembangan teknologi navigasi yang membutuhkan perangkat yang relatif mahal menjadi lebih mudah dan murah, namun dalam perkembangannya masih sangat sedikit yang memperhatikan desain antarmuka aplikasi yang sesuai bagi user serta desain antarmuka aplikasi navigasi maps yang sesuai dengan metode User
Centered Design (UCD). Penerapan antarmuka
aplikasi navigasi dengan menerapkan kaidah SIG masih minim dilakukan, dikarenakan masih minimnya penelitian tentang desain antarmuka suatu aplikasi mobile yang menerapkan konsep UCD berbasis SIG yang sesuai dengan kaidah
cartography.
UCD dapat diartikan sebagai suatu metode yang memfokuskan pengguna sebagai pusat dari pengembangan sebuah sistem (Gould dkk, 2008). Dalam penerapannya terdapat empat prinsip yang digunakan dalam membangun suatu sistem yang fokus pada pengguna yaitu: adanya
evaluation, interative design, dan integrated design. Dalam UCD pengguna adalah komponen
utama dalam pengembangan sistem, karena pengguna terlibat secara langsung dalam pengembangan sistem dan pengguna berhak memberi saran dan masukan yang bepengaruh dalam pengembangan sistem. Sehingga diperlukan standar yang dapat digunakan dalam pengembangan aplikasi navigasi, sehingga permasalahan–permasalahan yang ditimbulkan bisa teratasi. Ada beberapa aspek yang menjadi fokus dalam mengembangkan aplikasi navigasi yaitu: (1) efficiency, (2) reliability, (3)
functionality , (4) usability, dan (5) cartography.
Artikel ilmiah ini akan disusun dalam beberapa bagian sebagai berikut: Bagian 1 memberikan penjelasan yang relevan dari penelitian ini. Deskripsi lebih lanjut dalam metodologi dan pengambilan data akan dijelaskan dalam bagian 2. Hasil penelitian akan dijalabrkan dalam bagian 3. Bagian 4 memberikan kesimpulan dengan saran terhadap penelitian yang akan datang.
2. DATA DAN METODOLOGI
Penelitian ini menggunakan dua metode dalam melakukan pengujian berdasarkan lima aspek pengujian yaitu: efficiency, reliability,
functionality , usability, dan cartography dimana
metode WebQEM dan kaidah cartography. Pada penelitian ini menggunakan kuesioner dan monitoring dalam melakukan pengujian pada ketiga aplikasi yang diujikan, dimana responden dibedakan menjadi 2 kategori yaitu: pengguna umum dan pengguna ahli. Secara umum responden merupakan pengguna perangkat mobile Android dengan ukuran layar 4-6” yang berdomisili di Kota Malang dengan rentang usia 17 – 40 tahun dan pernah menggunakan salah satu dari tiga aplikasi yang diujikan pada penelitian ini yaitu: Google Maps, Here WeGo, atau Wisepilot. Pengguna ahli pada penelitian ini didefenisikan sebagai driver ojek
online motor di Kota Malang yang telah bekerja
1 tahun atau lebih.
Penelitian ini menggunakan rumus Cooper dan Emory (Cooper dkk, 1999) dalam menentukan jumlah responden, peneliti telah menentukan persentase keyakinan hasil sampel pada penelitian ini sebesar 95%, dan peneliti juga mengasumsikan bahwa ukuran sampel dari pengguna umum sebesar 90% dari populasi sedangkan ukuran sampel dari pengguna ahli sebesar 5% dari populasi. Berdasarkan perhitungan menggunakan rumus (Cooper dkk, 1999) didapati jumlah responden pengguna umum dan pengguna ahli.
a. Pengguna Umum
Dengan menggunakan rumus (Cooper dkk, 1999) dengan asumsi ukuran sampel pengguna umum sebesar 90 % didapati jumlah responden pengguna umum sebesar 36 responden.
𝑛 = 𝑝𝑞 (𝜎𝑝)2 + 1 = 0,9 𝑥 0,1 (0.051)2+ 1 = 36 b. Pengguna Ahli
Menggunakan rumus (Cooper dkk, 1999) dengan asumsi ukuran sampel pengguna ahli sebesar 5% didapati jumlah responden pengguna ahli sebesar 19 responden. 𝑛 = 𝑝𝑞 (𝜎𝑝)2 + 1 = 0,05 𝑥 0,95 (0.051)2 + 1 = 19 1. Efficiency
Pada pengujian efficiency
dilakukan untuk mendapatkan nilai page
speed grade pada masing-masing
aplikasi yang diteliti menggunakan tool pada aplikasi monitoring Pingdom (http://tools.pingdom.com), tool
GTMetrik dan Yslow
(http://gtmetrix.com/). Sehingga
diperoleh nilai grade pada masing – masing aplikasi berdasarkan
performance grade dari Google dengan
3 kategori penilaian yaitu: low, medium,
dan good (Google, 2018) dan
berdasarkan grade score dari Yahho dengan kategori A – F (Yahoo, 2018). 2. Reliability
Reliability dapat diartikan sebagai
suatu kemampuan dari sebuah sistem untuk dapat dikembangkan ke level sistem yang lebih tinggi. Sistem tidak mudah down karena adanya perlakuan yang berlebihan pada sistem (ISO, 2010) pengujian reliability dilakukan untuk monitoring server pada masing-masing aplikasi yang diteliti untuk mengetahui downtime dan uptime pada
server, pengujian dilakukan selama 30
hari untuk mendapatkan nilai reliability yang layak menjadi representafif pada
server aplikasi.
3. Functionality
Pengujian ini dilakukan untuk mengetahui tingkat keberhasilan dalam menjalankan fungsi pada aplikasi dengan menggunakan task dan kuesioner menggunakan pilihan jawaban ya atau tidak untuk setiap pernyataan pada masing – masing aplikasi sehingga didapati persentase keberhasilan pada masing – masing aplikasi. Tabel 1 merupakan kuesioner yang diberikan ke responden pengguna ahli yang berjumlah 19 responden.
Tabel 1. Kuesioner Functionality No item pernyataan 1 Buat
Akun Baru
Saya dapat membuat
akun baru
menggunakan akun google pada aplikasi ini.
2 login Saya dapat login menggunakan akun google pada aplikasi ini.
3 Bagikan lokasi
Saya dapat berbagi lokasi tertentu yang ada di peta pada aplikasi ini.
4 Cari Lokasi
Saya dapat melakukan pencarian lokasi dengan menggunakan kata kunci tertentu diform pencarian pada
Fakultas Ilmu Komputer, Universitas Brawijaya aplikasi ini 5 Cari lokasi dengan suara
Saya dapat melakukan pencarian lokasi dengan suara menggunakan kata kunci tertentu pada aplikasi ini.
6 Petunjuk Arah
Saya dapat memilih opsi navigasi dan rute untuk menunjukkan arah pada aplikasi ini. 7 Navigasi Saya dapat melakukan
navigasi dengan tujuan lokasi tertentu di peta pada aplikasi ini 8 Lokasi
saat ini
Saya dapat mengetahui lokasi saya saat ini di peta pada aplikasi ini 9 Lokasi
Publik
Saya dapat
menemukan pilihan lokasi publik seperti SPBU, tempat makan, pusat perbelanjaan, dll pada aplikasi ini. 4. Usability
Pengujian usability guna mengetahui tingkat kepuasan pengguna terhadap ketiga aplikasi yang diteliti menggunakan kuesioner System Usability Scale (SUS), dimana SUS
menggunakan Skala Likert 1-5 (Wallace dkk, 2009) dengan jawaban Sangat Tidak Setuju (STS), Tidak Setuju (TS), Netral (N), Setuju (S), Sangat Setuju (SS), pengujian ini menggunakan 6 skenario urutan pengerjaan guna mendapatkan hasil yang lebih objektif saat responden melakukan pengujian pada masing – masing aplikasi. Evaluasi menggunakan kuesioner SUS membutuhkan setidaknya 12-14 responden untuk memperoleh hasil yang optimal (Thomas dkk, 2006). Tabel 2 merupakan kuesioner yang diberikan ke responde pengguna umum yang berjumlah 36 orang.
Tabel 2. Kuesioner SUS
No Pernyataan
1 Saya pikir saya akan sering menggunakan aplikasi ini
2 Menurut saya aplikasi ini terlalu kompleks
3 Saya pikir aplikasi ini mudah digunakan 4 Saya pikir saya butuh bantuan orang
teknik untuk bisa menggunakan aplikasi ini
5 Beragam fungsi di aplikasi ini sudah terintegrasi dengan baik
6 Saya pikir terlalu banyak hal di aplikasi ini yang tidak konsisten
7 Saya membayangkan kebanyakan orang akan dengan cepat mempelajari
8 Saya pikir aplikasi ini sangat tidak praktis 9 aplikasi ini begitu mudah digunakan
sehingga saya merasa percaya diri menggunakannya
10 Saya perlu belajar banyak tentang aplikasi ini agar bisa menggunakannya dengan efektif
5. Cartography
Pada penelitian ini, pengumpulan data digunakan dengan cara melakukan pengisian kuesioner penilaian terhadap variabel-variabel grafis peta pada masing-masing aplikasi yang diteliti. Evaluasi dilakukan untuk mengetahui tingkat efektifitas dan efisiensi dari peta yang diteliti. Pembacaan peta pada evaluasi ini difokuskan pada area tertentu yang lebih familiar bagi responden, hal ini bertujuan untuk mendapatkan kepastian penilaian dan pembacaan peta tidak menjadi ‘bias’ dengan area yang dipersempit. Tabel 3 murupakan kuesioner yang diberikan ke responden pengguna ahli yang berjumlah 19 responden.
Tabel 3. Kuesioner Evaluasi
Cartography
No Unsur variabel grafis 1 Bentuk dari penampakan objek
(seperti jalan, bangunan, sungai sudah mewakili bentuk sesungguhnya pada permukaan bumi seperti bangunan berbentuk persegi, atau sungai memiliki bentuk tidak solid atau berkelok-kelok) 2 Ukuran dari penampakan suatu objek
terhadap objek disekitarnya
(ukuran pada objek mewakili ukuran pada permukaan bumi. Seperti stadiuon memiliki ukuran lebih besar dari perumahan)
3 Pembedaan nilai warna dari objek – objek
(warna objek-objek pada peta sesuai. Seperti warna laut/sungai berwarna biru, warna vegetasi/tanaman berwarna hijau) 4 Kerapatan dari letak semua objek
(kerapatan dari objek-objek pada peta sesuai. Seperti jarak antara dua gedung yang berdekatan pada permukaan bumi memiliki kerapatan yang sama pada peta) 5 Informasi legenda sesuai dengan
penampakan objek. (informasi pada
aplikasi menunjukan informasi pada simbol di peta. Seperti gunung, jembatan,dll)
3. HASIL PENELITIAN
1. Efficiency
Tabel 4 merupakan hasil dari pengujian pada aspek efficiency dengan menggunakan tool Pingdom dan GTMetrik, hasil dari pengujian tersebut kemudian dilakukan pengkategorian berdasarkan performance grade dan
grade score sehingga dari data tersebut
dapat dilakukan analisa terhadap masing-masing aplikasi yang diteliti.
Tabel 4. Hasil Pengujian Efficiency
Berdasarkan dari hasil pengujian didapati nilai effeciency dari ketiga aplikasi yang diteliti, aplikasi Google Maps memperoleh nilai effeciency sebesar 84.33 x 100 = 84.33 % dengan
performance grade good dan grade score B , Here WeGo 89,66 x 100% =
89,66 % dengan performance grade
good dan grade score B, sedangkan
Wisepilot memiliki nilai effeciency sebesar 82 x 100% = 82% dengan
performance grade good dan grade score B. Dari hasil pengujian tersebut
dapat disimpulkan bahwa ketiga aplikasi yang diteliti mendapatkan nilai
efficiency yang memuaskan karena
berada di kisaran 60 – 100% dan juga ketiga aplikasi memiliki nilai effeciency yang baik berdasarkan load time yang memiliki waktu kurang dari 20 detik sehingga waktu tunggu masih bisa diterima oleh user (Olsina, 1999). 2. Reliability
Berdasarkan hasil dari monitoring menggunakan tools Pingdom ketiga aplikasi yang diteliti memiliki nilai
reliability sebesar 100%, dimana nilai
tersebut berada pada nilai diatas nilai
minimal reliability yaitu 95% (Asthana, 1999) dan juga rata-rata waktu respon yang diperoleh oleh ketiga aplikasi yang diteliti masuk dalam kategori waktu respon kurang dari 1 detik. Sehingga dapat disimpulkan bahwa ketiga aplikasi yang diteliti memiliki tingkat reliability yang layak untuk digunakan oleh user dan berdasarkan rata-rata waktu respon pada ketiga aplikasi, pengguna merasa aplikasi merespon dan memberikan
feedback dengan cepat (Nielsen, 2010).
3. Functionality
Tabel 5 merupakan hasil dari pengujian pada aspek functionality dengan menggunakan task dan kuesioner, dari hasil pengujian tersebut pada masing – masing aplikasi diperoleh tingkat keberhasilan pengujian
functionality.
Tabel 5. Hasil Pengujian Functionality
Dengan menggunakan rumus fungsionalitas X=1-A/B. fungsionalitas semakin baik jika memiliki nilai yang mendekati 1 (Nielsen, 2010) pengujian Google Maps tidak ditemukan fungsi yang gagal dari 171 total pengujian sehingga diperoleh nilai X=1, pengujian Here WeGo, tidak ditemukan fungsi yang gagal dari 171 total pangujian sehingga diperoleh nilai X=1, dan pengujian aplikasi Wisepilot, didapati 3 fungsi gagal dari total 149 fungsi yang diujikan sehingga diperoleh nilai X=0,98.
Dari nilai tersebut dapat disimpulkan bahwa ketiga aplikasi yang diteliti memiliki tingkat functionality yang memuaskan karena berada di kisaran 60 – 100%.
4. Usability
Tabel 6 merupakan hasil dari pengujian pada aspek usability dengan menggunakan kuesioner SUS pada ketiga aplikasi yang diteliti.
Fakultas Ilmu Komputer, Universitas Brawijaya Pada tabel pengujian aspek
usability yang dilakukan kepada 36
responden, aplikasi Wisepilot memperoleh nilai kepuasan pengguna terendah dari kedua aplikasi lainnya yaitu sebesar 43,40% dan masuk dalam kategori poor, aplikasi Here WeGomendapatkan nilai kepuasan pengguna sebesar 55,97 % dan masuk dalam kategori ok, dan aplikasi Google Maps memperoleh nilai kepuasan pengguna tertinggi yaitu sebesar 70,62 % dan masuk dalam kategori good (Google, 2018).
5. Cartography
Pada Tabel 7 yang merupakan hasil dari evaluasi cartography menggunakan kuesioner pada 19 responden pengguna ahli didapati hasil evaluasi pada ketiga aplikasi yang diteliti. Berdasarkan hasil analisis dan pengujian pada kelima unsur, didapat nilai akhir dari ketiga aplikasi yang dievaluasi menggunakan tingkat kepuasan pengguna. Wisepilot memperoleh nilai evaluasi tertinggi yaitu sebesar 70% dan memperoleh tingkat usability yang memuaskan karena berada di kisaran 60 – 100%, aplikasi Google Maps mendapatkan nilai evaluasi sebesara 64% dan memiliki tingkat usability yang memuaskan karena berada di kisaran 60 – 100%, sedangkan aplikasi Here WeGo memperoleh nilai evaluasi terendah yaitu 42% dan memiliki tingkat usability marginal karena berada dikisaran 40 – 60.
Tabel 7. Hasil Evaluasi Cartography
4. KESIMPULAN
Hasil pengujian WebQEM dan evaluasi
cartography pada responden dengan kategori
pengguna umum dan pengguna ahli didapatkan. (1) Pengujian functionality pada ketiga aplikasi berada pada level memuaskan pada ketiga aplikasi yang diteliti, namun pada aplikasi Wisepilot didapati 1 variabel pengujian dengan 3 kegagalan yaitu pada pengujian fungsi lokasi sekitar dimana pada beberapa lokasi fungsi ini tidak dapat memberikan feedback sebagaimana semestinya. (2) Pada pengujian efficiency didapatkan level yang berbeda-beda pada ketiga aplikasi dengan nilai memuaskan pada ketiga aplikasi yang diujikan, berdasarkan load time didapati ketiga aplikasi memiliki nilai yang baik dan layak untuk digunakan. (3) Pada pengujian
reliability didapati nilai memuaskan pada
masing-masing aplikasi, dengan monitoring yang dilakukan selama 30 hari diperoleh nilai
avaibility sebesar 100%. (4) Pada pengujian usability didapati nilai kepuasaan user yang
berbeda-beda pada ketiga aplikasi dengan level terendah pada aplikasi Wisepilot dengan kategori level usability poor, Google Maps mendapatkan kategori level good dan Here WeGo mendapatkan kategori level ok. (5) Hasil evaluasi cartography pada ketiga aplikasi didapatkan nilai cartography memuaskan pada ketiga aplikasi dimana peta pada aplikasi Wisepilot mendapatkan nilai tertinggi dari 4 unsur variabel yang dievaluasi yaitu pada unsur ke satu sampai dengan empat, dan pada unsur variabel ke lima Google Maps memperoleh nilai tertinggi, aplikasi Here Wego mendapatkan nilai terendah dari semua unsur variabel yang dievaluasi pada aspek cartography. Google Maps lebih unggul dari kedua aplikasi lain yang diujikan pada penelitian ini, dimana aplikasi Google Maps hampir unggul pada semua aspek
pengujian yang dilakukan, hanya pada aspek
cartography dan efficiency aplikasi Google
Maps memperoleh nilai yang lebih rendah dari aplikasi lainnya
5. DAFTAR PUSTAKA
Asthana, A., & Olivieri, J. 2009. Quantifying software reliability and readiness. Communications Quality and Reliability, 2009. CQR 2009. IEEE International Workshop Technical Committee on (pp. 1–6). IEEE.
Bernhardsen, T. 2002. Geographic Information Systems: An Introduction, 3rd Edition. John Wiley & Sons Ltd. Canada. 2018#/>[Diakses pada 11 Juni 2018]. Cooper, Donald R dan Emory, C William. 1999.
Metode Penelitian Bisnis. Edisi kelima. Jilid 1. Jakarta:Erlangga.
Google. 2018. About PageSpeed Insights .[online] Tersedia di: https://developers.google.com/speed/do cs/insights/about/ > [Diakses pada 16 April 2018].
Gould., & Lewis. 2008. Designing for Usability: Key principles and what design think. Communication of the AMC, 28(3), 300-311.
Hootsuite. 2018. The global state of digital in 2018—from Argentina to Zambia. [online] Tersedia di: https://hootsuite.com/id/pages/digital-in 2018#/>[Diakses pada 11 Juni 2018]. ISO/IEC. 2010. The Standart of Reference.
[online] Tersedia di:
<http://www.cse.dcu.ie/essiscope/sm2/ 9126ref.html/> [Diakses pada 20 April 2017].
Nielsen, J. 2010. Website Respose Time.
[online] Tersedia di:
http://www.nngroup.com/articles/websi te-response-times/> [Diakses pada 21 Mei 2017].
Olsina, Luis. 1999. Web-site Quality Evaluation Method: a Case Study on Museums. Argentina: Faculty of Engineering at UNLP.
Thomas S. Tullis and Jacqueline N. Stetson. 2006. A Comparison of Questionnaires for Assessing Website Usability.p.6 Wallace, S., & Chen Yu, H. 2009. The Effect if
Culture on Usability: Comparing the
Perceptions and Performance of Taiwanese and North American MP3 Player Users. Journal Of Usability Studies Vol 4 Issue 3.
Yahoo. 2018. Yslow ruleset matrix. [online] Tersedia di: http://yslow.org/ruleset-matrix/ > [Diakses pada 6 Mei 2018].
