PENGUKURAN TINGKAT USABILITAS PADA APLIKASI TRELLO
BERBASIS ANDROID DAN WEBSITE
Mayesti Kurnianingtias, Muhammad Hendy Erfaisalsyah, Nugraha Muharafandy Program Studi Pascarjana Teknik Industri, Jurusan Teknik Mesin dan Industri,
Fakultas Teknik, Universitas Gadjah Mada. Jalan Grafika 2, Yogyakarta, 55281 Indonesia
INTISARI
Penelitian ini memiliki tujuan untuk melihat tingkat usabilitas dari aplikasi Trello
berbasis Android dan website. Metode penelitian yang dilakukan adalah dengan menggunakan usability testing yang akan melihat tingkat usabilitas dari sisi learnability, efektivitas, efisiensi, memorability, error, dan satisfaction. Jumlah responden yang berpartisipasi di dalam penelitian ini adalah berjumlah 15 orang dimana setiap responden
diminta untuk menyelesaikan 11 task yang berkaitan dengan menu-menu utama yang ada pada aplikasi Trello. Hasil dari penelitian ini adalah utuk atribut learnability, aplikasi Trello
website lebih baik dibandingkan dengan aplikasi android. Untuk atribut efisiensi, aplikasi Trello android yang diujikan kepada responden tipe novice dan expert lebih efisien dibandingkan dengan aplikasi Trello website. Pada atribut efektivitas,aplikasi Trello android untuk responden tipe novice memiliki tingkat keberhasilannya 60%. Atribut memorability
menunjukkan bahwa aplikasi Trello website dan android yang diujikan pada responden
novice memiliki perbedaan waktu yang signifikan antara pengambilan data pada sesi pertama (repetisi ke-5) dengan sesi 2 (memorability). Untuk atribut error, baik itu responden novice
dan responden expert banyak melakukan kesalahan pada task ke 11. Untuk atribut
satisfaction, aplikasi Trello untuk expert android dan website serta novice android masih dibawah rata-rata (kurang puas) dan untuk responden novicewebsite sudah menyataka puas.
Kata kunci : usabilitas, Trello, Trello android, Trello website
PENDAHULUAN
Latar Belakang
Salah satu komponen kunci agar m-learning bisa diterima adalah kemudahan penggunaan. Beberapa aplikasi berkualitas
tinggi yang bayak tersedia di pasaran sering
gagal dikarenakan aplikasi yang terlalu
kompleks dan antarmuka yang tidak menarik
sehingga membingungkan penggunanya.
muka aplikasi mobile terutama bertujuan untuk pendidikan maka kebutuhan
penggunanya harus dipertimbangkan (Black
dan Edgar, 2009).
Faktanya banyak penelitian usabilitas
dari m-learning masih terfokus pada aspek-aspek tertentu saja, meskipun menunjukkan
keberhasilan namun hal ini masih kurang
(Chang, 2006). Bahkan penelitan usabilitas
masih kurang banyak membahas dari aspek
teknologi m-learning. Teknologi mobile bisa sukses sebagai sarana penunjang pendidikan
apabila kedepannya penelitan tersebut
membahas semua aspek usabilitas yaitu
learnability, understandability, ease of use, effectiveness, serta eficiency dari aplikasi mobile tersebut (Parsons dan Ryu, 2006),
termasuk juga pengalaman dari pengguna
akhir (end user) sangat penting untuk keberhasilan m-learning. Maka aplikasi m-learning harus dirancang dan dikembangkan dengan dasar mudah digunakan,
kegunaannya, serta sikap dan maksud dari
penggunaan akan membantu diterima atau
tidaknya aplikasi tersebut pada level tertinggi
(Yang et al., 2013)
Begitu banyaknya uji usabilitas
dilakukan untuk rancangan aplikasi pada
desktop (e-learning) (Raza et al., 2012).
Namun hasil pengujian tersebut tidak dapat
diaplikasikan untuk mengembangkan
aplikasi m-learning, hanya karena tidak membahas aspek mobilitas terhadap
keterbatasan perangkat mobile seperti ukuran
layar dan konektifitas jaringan internet
(Wang, 2013). Namun hal ini dibantah oleh
(Budiu, 2014) bahwa poin terpenting dalam
penelitian mobile usability adalah usability study, bukan perangkatnya.
Oleh sebab itu, tujuan utama dari
penelitian ini untuk membandingkan uji
usabilitas (usability testing) antara web-based dan versi mobile. Penelitian yang hampir serupa pernah dilakukanoleh (Kumar
dan Birsha, 2013) dimana penelitan tersebut
untuk membandingkan konsep, karakteristik,
kelebihan, kekurangan, serta perbedaan
antara e-learning dengan m-learning. Produk e-learning dan m-learning
yang akan di uji adalah aplikasi Trello.
Trello merupakan aplikasi web-based project management yang diluncurkan secara resmi pada tahun 2011. Trello dapat digunakan
sebagai komunikasi kolaborasi tim dalam
lingkungan pembelajaran seperti
memberitakan langkah-langkah proses
belajar mahasiswa dan memberikan revisi
oleh dosen yang bersangkutan yang
berkaitan dengan proses konsultasi
bimbingan skripsi dan tesis.
Sampai saat ini belum pernah
diadakan evaluasi usabilitas pada aplikasi
Trello dalam lingkungan pembelajaran. Di
Departemen Teknik Industri Universitas
Gadjah Mada, aplikasi ini baru mulai
digunakan oleh beberapa dosen untuk
berkomunikasi dengan mahasiswa
kami tertarik untuk melakukan uji usabilitas
pada aplikasi Trello, dengan harapan dapat
memberikan rekomendasi mengenai
penggunaan aplikasi tersebut kepada
kalangan civitas akademis Departemen
Teknik Industri Universitas Gadjah Mada.
E-Learning dan M-Learning
Pembelajaran berbasis website sering disebut pembelajaran online atau e-learning
karena mencakup konten kursus online. E-learning adalah akuisisi dan penggunaan pengetahuan yang didistribusikan dan
difasilitasi terutama dengan sarana elektronik
(Behera, 2013). Ini termasuk penggunaan
bahan ajar berbasis web dan hypermedia
pada umumnya, CD-ROM multimedia, situs
web, papan diskusi, perangkat lunak
kolaboratif, e-mail, blog, wikes, test chat,
penilaian bantuan komputer, animasi
pendidikan, simulasi, permainan, manajemen
pembelajaran perangkat lunak, sistem
pemungutan suara elektronik dan banyak
lagi, dengan kemungkinan kombinasi dari
berbagai metode yang digunakan.
E-learning adalah alat atau sistem pendidikan berbasis komputer yang
memungkinkan anda belajar di mana saja
dan kapan saja dan E-learning menawarkan kemampuan untuk berbagi materi dalam
semua jenis format seperti video, slideshows,
word documents dan PDF (Epignosis LLC, 2014). M-learning atau 'mobile learning'
adalah segala jenis pembelajaran yang
mengambil keuntungan dari kesempatan
belajar yang ditawarkan oleh teknologi
mobile. M-learning adalah pembelajaran yang dilakukan dengan menggunakan
perangkat komputasi kecil dan portable
(Behera, 2013). Kemampuan umum yang
menyatukan mereka adalah mobilitas dan
kemungkinan untuk melakukan koneksi
nirkabel.
M-learning telah diteliti dari berbagai bidang perspektif, termasuk penggunaan dan
potensi teknologi nirkabel di bidang
pendidikan, model adopsi teknologi,
pendekatan pedagogis, masalah arsitektural
yang terkait dengan perancangan, kegunaan
teknologi dan m-learning dan berbagai aspek interaksi manusia-komputer untuk perangkat
mobile (Fetaji et al., 2011).
Menggabungkan pendekatan e-learning dan m-learning merupakan langkah besar bagi proses Pendidikan (Andreicheva
dan Latypov, 2015). Tidak semua orang
dapat menerima e-learning dengan baik, mereka perlu belajar membiasakan diri
bagaimana cara menggunakan serta
menerima materi ataupun informasi yang
diperoleh dari e-learning. Penyampaian materi pelajaran melalui e-learning telah menimbulkan reaksi yang berbeda-beda
dalam sikap dan perilaku pengguna
Usability
Dalam interaksi antara manusia dengan
komputer, usabilitas atau juga disebut
“ketergunaan” berkaitan dengan kemudahan
dan keterbacaan informasi sekaligus
pengalaman navigasi yang user-friendly
(Handiwidjojo dan Ernawati, 2016). ISO 9241-11 mendefinisikan usabilitas adalah
sejauh mana suatu produk dapat digunakan
oleh pengguna tertentu untuk mencapai
tujuan yang ditentukan dengan efektivitas,
efisiensi dan kepuasan dalam konteks
penggunaan tertentu. Usabilitas diartikan
sebagai proses optimasi interaksi antara
pengguna dengan sistem yang dapat
dilakukan dengan interaktif, sehingga
pengguna mendapatkan informasi yang tepat
atau menyelesaikan suatu aktivitas pada
aplikasi tersebut dengan lebih baik.
Usability testing bertujuan untuk menentukan apakah sebuah aplikasi sudah
sesuai dengan kebutuhan pengguna atau
belum (Nurhadryani et al., 2013). Tujuan umum usability testing adalah menginformasikan rancangan dengan
mengumpulkan data untuk mengidentifikasi
dan memperbaiki kekurangan kegunaan yang
ada pada produk dan bahan pendukungnya
sebelum dilepaskan (Rubin dan Chisnell,
2008).
Usabilitas sendiri menurut Nielsen
(2012) adalah atribut kualitas yang
menjelaskan atau mengukur seberapa mudah
penggunaan suatu antar muka (interface)
berdasarkan lima kriteria, yaitu
a. Learnability
Learnability menjelaskan tingkat
kemudahan pengguna untuk memenuhi task
-task dasar ketika pertama kali mereka melihat
atau menggunakan suatu produk atau aplikasi.
b. Efficiency
Efficiency menjelaskan tingkat kecepatan
pengguna dalam menyelesaikan task-task
setelah mereka selesai pada tahap belajar.
c. Memorability
Memorability menjelaskan tingkat
kemudahan pengguna dalam menggunakan
rancangan produk atau aplikasi dengan baik
setelah beberapa lama tidak menggunakannya.
d. Error
Error menjelaskan jumlah error yang
dilakukan oleh pengguna dalam menyelesaikan
task yang diberikan.
e. Satisfaction
Satisfaction menjelaskan tingkat
kepuasan pengguna dalam menggunakan
rancangan produk atau aplikasi.
METODE PENELITIAN Responden
Responden dari penelitian kami
adalah mahasiswa di Teknik Industri. Total
jumlah responden di dalam penelitian ini
adalah 15 orang (7 laki-laki dan 8 wanita).
81,3% dari total responden berumur 20-25
tahun dengan 1 orang bekerja sebagai
wiraswasta dan lainnya adalah mahasiswa.
merupakan pengguna android, dan sisanya
adalah pengguna IOS. Di sini kami
membedakan responden penelitian menjadi
novice dan expert. Yang termasuk kelompok
novice di dalam penelitian ini adalah seseorang yang sama sekali belum pernah
menggunakan aplikasi ini, sedangkan expert
dari penelitian ini adalah responden yang
telah menjadi pengguna aplikasi ini.
Kelompok responden expert sebanyak 83,3% terakhir menggunakan aplikasi Trello 2-6
hari yang lalu, dengan frekuensi pemakaian
aplikasi ini kurang dari 2 kali per minggu.
Pembagian responden dapat dilihat pada
Gambar 1.
Gambar 1. Pembagian responden
Alat dan Bahan
a. Aplikasi Trello berbasis website
Trello merupakan salah satu
aplikasi gratis untuk menunjang kinerja
dalam sebuah tim. Trello seperti
layaknya to do list tetapi dengan fitur-fitur yang lebih lengkap dan sangat
nyaman digunakan untuk bekerja secara
kolaborasi atau untuk sebuah tim yang
tidak harus saling bertemu dalam satu
tempat atau ruangan. Trello dibuat oleh
Fog Creek Software Company yang
berasal dari New York dan dirilis sekitar
tahun 2010.
b. Aplikasi Trello berbasis android
Aplikasi Trello juga dapat
digunakan di dalam smartphone dan dapat diunduh secara gratis melalui
Appstore atau Playstore.
c. Xiaomi Note 3 Pro
Pada eksperimen ini, gadget
yang digunakan untuk melakukan
pengujian usabilitas aplikasi Trello
adalah Xiaomi Note 3 Pro.
d. Laptop
Laptop digunakan untuk
melakukan usability testing pada aplikasi Trello berbasis website.
e. Stopwatch
Stopwatch digunakan untuk menghitung lamanya waktu yang
dibutuhkan oleh respondenuntuk
menyelesaikan task yang telah diberikan oleh eksperimenter. Waktu ini juga akan
menjadi salah satu indikator penilaian
tingkat usabilitas pada aplikasi Trello.
f. Lembar kuesioner (System Usability Scale)
System Usability Scale (SUS) adalah salah satu metode uji pengguna
yang menyediakan alat ukur yang dapat
diandalkan. Diaplikasikan dengan
kuisoner yang diikuti dengan 5 opsi
jawaban untuk setiap pernyataan, mulai
dari Sangat Setuju hingga Sangat Tidak
Setuju. Metode uji pengguna ini
diperkenalkan oleh John Brooke di
tahun 1986 yang dapat digunakan untuk
mengevaluasi berbagai jenis produk
maupun servis, termasuk di dalamnya
hardware, software, perangkat mobile,
website, dan aplikasi. Berdasarkan hasil penelitian, nilai pada SUS akan
dianggap diatas rata-rata jika berada di
atas 68, dan di bawah rata-rata jika di
bawah 68.
Desain Eksperimen
Metode usabilitas yang digunakan di
dalam penelitian ini adalah usability testing. Pada penelitian ini kami akan membuat task
dan mengolah data yang kemudian akan
dikaitkan dengan ke-lima atribut usabilitas,
yaitu learnability, efficiency and effectiveness, memorability, error, dan
satisfaction untuk mengukur tingkat usabilitas aplikasi Trello. Hal utama yang akan diperbandingkan di dalam penelitian ini
adalah waktu penyelesaian responden pada
suatu task dan tingkat kesalahan yang dilakukan oleh responden dalam
menyelesaikan task yang diberikan.
Dalam pengujian usabilitas aplikasi
Trello, terdapat dua metode yang digunakan
yaitu dengan pengujian secara langsung dan
dengan kuesioner System Usability Scale
(SUS). Atribut usabilitas yang akan diteliti
dapat dilihat pada Tabel 1.
Tabel 1. Atribut usabilitas
Atribut Usabilitas Keterangan
Learnability
Membandingkan waktu yang diperlukan responden novice website dengan novice
android pada sesi 1.
Efektivitas
Jumlah task yang bisa diselesaikan oleh responden.
Efisiensi
Membandingkan waktu responden
menyelesaikan task pada sesi 5 pada novice
android dibandingkan
dengan waktu
penyelesaian task sesi 5 pada novice web. Selain itu juga dibandingkan waktu yang dibutuhkan
expert untuk
menyelesaikan task pada Trello android dan Trello web.
Memorability
Membandingkan waktu
novice untuk
menyelesaikan task pada sesi 5 dan sesi
memorability setelah jeda waktu 1 minggu.
Error
Jumlah error yang dilakukan responden untuk menyelesaikan
task.
Satisfaction Menggunakan system usability scale (SUS).
Task Penelitian
Task yang diberikan merupakan menu-menu utama yang terdapat pada
aplikasi Trello baik itu berbasis Android
menyatakan menyerah dalam menyelesaikan
suatu task. Setiap responden novice diminta untuk mengerjakan task tersebut dalam lima kali repetisi. Masing-masing responden
mengerjakan task selama dua sesi pengambilan data dengan jarak antara
pengerjaan task sesi pertama dengan sesi kedua adalah satu minggu. Task yang diberikan kepada responden dapat dilihat
pada Tabel 2 dan Tabel 3.
Tabel 2. Task Penelitian pada Android No Task Penelitian
1. Membuat judul “usabil” pada board baru dan memberikan
board.
2. Membuat tersebut dengan nama “tugas”card baru pada board .
3. Mengedit nama dibuat dengan nama “target”card yang tadi sudah .
4.
Menambahkan deskripsi pada card
yang telah dibuat dengan nama
deskripsi “satu”.
5. Memindahkan card “doing” sub card “target” ke .
6. Attach file foto yang diambil langsung saat itu pada salah satu card “target”. 7. Menghapus attachment yang baru saja
disimpan.
8. Menambah Kurnianingtias” member “Mayesti pada card “target”.
9. Mengecek aktivitas keseluruhan yang sudah terjadi pada board “Usabil”. 10. Kembali ke menu home awal dari
Trello.
11. Menutup board yang telah dibuat.
Tabel 3. Task Penelitian pada Website
No Task Penelitian
1. Membuat judul “usabil” pada board baru dan memberikan
board.
2. Membuat tersebut dengan nama “tugas”card baru pada board .
3. Mengedit nama dibuat dengan nama “target”card yang tadi sudah .
No Task Penelitian
4.
Menambahkan deskripsi pada card
yang telah dibuat dengan nama
deskripsi “satu”.
5. Memindahkan card “doing”. sub card “target” ke
6.
Attach file “Kalender 2017” pada folder
“Pictures” pada salah satu card yang
telah dibuat.
7. Menghapus attachment yang baru saja disimpan.
8. Menambah Kurnianingtias” member “Mayesti pada card “target”.
HASIL DAN PEMBAHASAN
Hasil
Hasil dari penelitian ini akan terbagi
menjadi atribut-atribut usabilitas, yaitu:
a. Learnability
Learnability digunakan untuk melihat seberapa mudah aplikasi Trello digunakan
baik pada aplikasi berbasis Android ataupun
berbasis website. Tingkat learnability
didapatkan dengan membandingkan waktu
yang diperlukan oleh responden novice pada percobaan pertama pada aplikasi Android
dan website. Waktu penyelesaian task dapat dilihat pada Tabel 4 dan Gambar 2.
Gambar 3 menunjukkan kurva
learnability dari rata-rata semua task per repetisi. Gambar 3 menunjukkan bahwa
responden novice Android memiliki delta waktu antara repetisi pertama dengan repetisi
responden novice website memiliki delta waktu sebesar 23,6 detik. Dari hasil tersebut
dapat dikatakan bahwa aplikasi Trello
berbasis website memiliki tingkat
learnability yang lebih baik karena memiliki
lonjakan waktu yang cukup jauh dari repetisi
pertama hingga repetisi ke-lima (setelah
selesai tahap belajar atau “learn”).
Tabel 4. Waktu penyelesaian task (learnability)
Task
Android Website
Novice (trial 1) Novice (trial 1) Mean Standar deviasi Mean Standar deviasi
1 7,99 6,76 9,87 6,76
2 6,21 0,91 6,48 0,91
3 20,33 10,93 7,68 10,93
4 6,58 1,44 30,74 1,44
5 16,68 13,89 9,66 13,89
6 18,56 9,04 21,92 9,04
7 20,10 18,59 19,56 18,59
8 10,46 5,24 11,52 5,24
9 14,46 11,96 6,66 11,96
10 8,13 8,67 5,30 8,67
11 102,33 61,31 178,02 61,31
Gambar 2. Waktu penyelesaian task pada sesi pertama
0 50 100 150 200
1 2 3 4 5 6 7 8 9 10 11
Waktu
p
e
n
y
e
le
sai
an
(s)
Task ke-
Android Novice (trial 1) Mean
Gambar 3. Kurva learnability
Dari uji statistik independent t-test, didapatkan nilai p-value sebesar 0,697 (α =
0,05). Hal ini menunjukkan bahwa aplikasi
Trello berbasis Android dan aplikasi Trello
berbasis website memiliki perbedaan yang tidak signifikan sehingga dapat dikatakan
bahwa kedua aplikasi memiliki tingkat
learnability yang sama dari segi statistik.
b. Efisiensi
Efisiensi diukur dengan menggunakan
waktu yang diperlukan oleh responden di
dalam menyelesaikan task yang diberikan. Waktu yang dibandingkan di dalam
penelitian ini adalah waktu penyelesaikan
task oleh responden novice pada repetisi ke-5 karena pada repetisi ini, responden telah
menyelesaikan tahap pembelajarannya dan
diasumsikan responden telah berada pada
kestabilan waktu penyelesaian task. Selain itu, tingkat efisiensi juga dilihat dari
perbandingan waktu penyelesaian task oleh responden expert pada aplikasi Trello android dan Trello website.
Gambar 4 menunjukkan perbandingan
waktu antara novice android dan novice website pada repetisi ke-5. Gambar 5 menunjukkan perbandingan waktu antara
expert android dan expert website.
Gambar 4. Waktu penyelesaian responden novice repetisi ke-5
Gambar 5. Waktu penyelesaian responden expert
Dari analisis statistik independent t-test antara waktu responden novice android dan novice expert, didapatkan nilai p-value sebesar 0,433 (α = 0,05). Selain itu, dari hasil
analisis statistik independent t-test antara waktu responden expert android dan novice expert, didapatkan nilai p-value sebesar 0,687 (α = 0,05). Kedua uji statistik tersebut
menunjukkan bahwa tidak ada perbedaan
yang signifikan diantara keduanya.
c. Efektivitas
Shackel (1990) menjelaskan
efektifitias sebagai performansi pengguna
memakai sistem yang bersangkutan.
Efektifitas diukur dari waktu yang
diperlukan pengguna untuk menyelesaikan
sebuah task dan dari jumlah kesalahan yang dibuat. Standar ISO 9241-11 (1998)
memakai efektifitas sebagai indikator
keakurasian dan kelengkapan sistem yang
memenuhi kebutuhan pengguna. Efektivitas
dapat dihitung dengan mengukur tingkat
penyelesaian. Disebut sebagai kegunaan
metrik fundamental, tingkat penyelesaian
dihitung dengan menetapkan nilai biner '1'
jika peserta tes berhasil menyelesaikan tugas
dan '0' jika tidak (Mifsud, 2015). Sehingga
efektivitas dapat direpresentasikan sebagai
persentase dengan menggunakan persamaan
sederhana ini yaitu : Efektivitas = (Jumlah pengguna yang berhasil menyelesaikan tugas / Jumlah total pengguna yang mengikuti ) x 100 %. Dalam penelitian ini sebanyak 15 orang pengguna mengikuti uji
usabilitas aplikasi Trello android dan web.
Dimana 15 orang pengguna ini terbagi
menjadi 3 tipe pengguna yakni 5 orang
pengguna novice android, 5 orang pengguna
novice web, serta 5 orang pengguna expert
android dan web.
0 10 20 30 40 50
1 2 3 4 5 6 7 8 9 10 11
Waktu
p
e
n
y
e
le
sai
an
(s)
Task ke-
Expert Android
0
Gambar 6. Tingkat keberhasilan penyelesaian tugas oleh novice android
Gambar 7. Tingkat keberhasilan penyelesaian tugas oleh novice website
0
Gambar 9. Tingkat keberhasilan penyelesaian tugas oleh expert website
Dari Gambar 6 terlihat bahwa
efektivitas aplikasi Trello android untuk
pengguna novice pada task 1 hingga task 10 sebesar 100 % dan 2 orang pengguna dari 5
orang pengguna pada task 11 gagal menyelesaikan task yang telah diberikan. Untuk Gambar 7, Gambar 8, dan Gambar 9
terlihat bahwa efektivitas aplikasi Trello
untuk masing-masing pengguna pada task 1 hingga task 11 sebesar 100 %.
d. Memorability
Memorability dapat diukur dengan membandingkan waktu yang diperlukan
pengguna novice android dan website aplikasi Trello pada pengambilan data hari
pertama dengan pengambilan data hari
selanjutnya (5 hari setelah pengambilan data
hari pertama). Perbandingan waktu tersebut
dapat dilihat pada Tabel 5 dan Gambar 10.
Tabel 5. Memorability untuk pengguna
novice android
Task Trial 1 (sesi 5)
Sesi 2
(memorability) mean stdev mean stdev
selanjutnya dibandingkan secara statistik
dengan paired t-test untuk responden novice
android. Hasil dari analisis statistik didapatkan nilai signifikansi sebesar 0,036 (α
yang diperlukan responden novice android pada repetisi ke-5 (hari pertama) dengan
percobaan sesi kedua (memorability) memiliki perbedaan yang signifikan.
Gambar 10. Grafik memorability untuk
novice android
Tabel 6 dan Gambar 11 menunjukkan
perbandingan waktu dari responden novice website. Setelah dilakukan analisis statistik
paired t-test pada kedua waktu tersebut, didapatkan nilai signifikansi sebesar 0,064 (α
= 0,05). Hal ini menunjukkan bahwa waktu
yang diperlukan responden novice website
pada repetisi ke-5 (hari pertama) dengan
percobaan sesi 2 (memorability) memiliki perbedaan yang signifikan.
Tabel 6. Memorability untuk pengguna
novice website
Task Trial 1 (sesi 5)
Sesi 2
(memorability) mean stdev mean stdev
(memorability) mean stdev mean stdev
Gambar 11. Grafik memorability untuk
novicewebsite
e. Error
Error berkaitan dengan kesalahan-kesalahan yang dibuat atau dilakukan oleh
pengguna selama berinteraksi dengan
website atau aplikasi tertentu (Handiwidjojo
and Ernawati, 2016). Sementara Error Rate
menurut Nielsen (2012) adalah tingkat
kesalahan yang dilakukan oleh pengguna
Error dapat dihitung dengan melihat tingkat kesalahan responden yang terjadi
selama melakukan task. Jumlah errors dapat dilihat dari jumlah responden yang
melakukan kesalahan pada task mana saja. Dalam penelitian ini sebanyak 15 orang
pengguna mengikuti uji usabilitas aplikasi
Trello android dan web.
Dari Gambar 12 data error Trello android untuk responden novice android
pada task 1 hingga task 11 pernah melakukan kesalahan, terkecuali pada task 2 dimana responden tidak pernah melakukan
kesalahan. Dari 5 orang responden, 4 orang
diantaranya melakukan errors pada task 3 dan task 11. Bisa dikatakan task 3 dan task
11 membuat keempat responden kesulitan.
Dari Gambar 13 data error Trello
android untuk responden novice website pada
task 1 hingga task 11 pernah melakukan kesalahan, terkecuali pada task 1 dan task 9 dimana responden tidak pernah melakukan
kesalahan. Dari 5 orang responden, semua
melakukan errors pada task 11. Bisa dikatakan task 11 membuat kelima responden kesulitan.
Dari Gambar 14 data error Trello
android untuk responden expert android
pada task 1 hingga task 11 pernah melakukan kesalahan, terkecuali pada task 2, task 4 dan
task 5 dimana responden tidak pernah melakukan kesalahan. Dari 5 orang
responden, 3 orang diantaranya melakukan
errors pada task 7, task 8, dan task 11. Bisa dikatakan task 7, task 8, dan task 11 membuat ketiga responden kesulitan.
Dari Gambar 15 data error Trello
android untuk responden expert website pada
task 1 hingga task 11 pernah melakukan kesalahan, terkecuali pada task 1 dan task 3 dimana responden tidak pernah melakukan
kesalahan. Dari 5 orang responden, 2 orang
diantaranya melakukan errors pada task 4,
task 10, dan task 11. Bisa dikatakan task 4,
task 10, dan task 11 membuat ketiga responden kesulitan.
Dari Gambar 16 data error Trello
untuk keseluruhan responden android dan
website kebanyakan melakukan error pada
1
Gambar 12. Tingkat error oleh novice android
Gambar 13. Tingkat error oleh novice website
Gambar 14. Tingkat error tugas oleh expert android
Gambar 16. Tingkat error keseluruhan responden novice android dan website
f. Satisfaction
Satisfaction berkaitan dengan kepuasan pengguna setelah menggunakan website atau aplikasi. Pengukuran terhadap kepuasan juga
meliputi aspek manfaat yang didapat dari
pengguna selama menggunakan perangkat
tertentu (Handiwidjojo and Ernawati, 2016).
Alat yang dapat digunakan untuk mengukur
tingkat kepuasan (satisfaction) pengguna adalah kuisioner terstandar yang mengacu
pada SystemUsability Scale (Brooke, 1996). Skor SUS memiliki rentang nilai 0-100.
Rata-rata nilai SUS adalah 68. Nilai diatas
68 bisa dikategorikan user punya pengalaman menyenangkan ketika
menggunakan sistem begitu juga sebaliknya.
Nilai 82 (±5) mengindikasikan user menjadi promotor atau menyarankan orang terdekat
untuk menggunakannya (Brooke, 1996).
Hasil satisfaction Trello diperoleh dari kuesioner kepuasan terhadap 15 responden
responden kemudian diolah sehingga
menghasilkan skor SUS. Hasil perhitungan
yang diperoleh dapat dilihat pada Tabel 7.
Tabel 7. Nilai SUS Trello
Tipe Responden Rata-rata Skor SUS
Expert android 60,5
Novice android 60
Expert website 55,5
Novice website 69,5
Responden Novice website mempunyai nilai SUS ≥ 68, menandakan
responden sudah memiliki kepuasan yang
baik terhadap Trello. Sedangkan expert android, novice android, dan expert website
mempunyai nilai rata-rata SUS ≤ 68
sehingga responden mungkin punya
pengalaman tidak menyenangkan saat
menggunakan Trello. Bisa dikatakan hanya
responden novice website saja yang merasa puas.
Pembahasan
Aplikasi Trello berbasis website
memiliki tingkat kecuraman kurva
learnability yang lebih besar, sehingga Trello berbasis website ini memiliki proses pembelajaran yang lebih baik jika
dibandingkan dengan Trello berbasis
android. Namun jika dilihat dari analisis
statistik, hasil perhitungan statistik
menunjukkan bahwa Trello berbasis android
dan website tidak berbeda secara signifikan. Hal ini dapat terjadi karena lonjakan waktu
penyelesaian task pada aplikasi Trello berbasis website cenderung lebih cepat, namun jika dibandingkan dengan Trello
berbasis android, tidak terdapat perbedaan
yang signifikan.
Dari segi efisiensi, aplikasi Trello
berbasis android dan aplikasi Trello berbasis
website menunjukkan hasil uji statistik
independent t-test dengan nilai p-value
sebesar 0,433 (α = 0,05) untuk responden
novice dan nilai p-value sebesar 0,687 (α = 0,05) untuk responden expert. Dari kedua hasil tersebut menunjukkan bahwa antara
aplikasi Trello android dan Trello website
memiliki perbedaan yang tidak signifikan,
sehingga dapat disimpulkan bahwa keduanya
memiliki tingkat efisiensi yang sama. Namun
jika dilihat dari rata-rata waktu penyelesaian
task, aplikasi Trello android lebih efisien dibandingkan dengan aplikasi Trello website.
Pada Lampiran 4 dan Lampiran 6 terlihat
bahwa waktu antara responden novice dan responden expert memiliki jarak waktu yang terlalu jauh. Hal ini diakibatkan karena pada
data responden novice, waktu yang digunakan adalah waktu pada repetisi ke-5
dimana pada repetisi ke-5 responden masih
ingat pada langkah-langkah yang diperlukan
untuk menyelesaian task pada repetisi-repetisi sebelumnya. Sedangkan pada data
responden expert, waktu yang dibutuhkan oleh expert dalam menyelesaikan task lebih berkaitan pada tingkat memorability dari aplikasi Trello tersebut.
Pada tingkat efektivitas dari aplikasi
Trello, sebagian besar responden dapat
menyelesaikan task dengan baik pada menu-menu utama yang ada pada aplikasi tersebut.
Namun terdapat 2 orang responden novice
android yang tidak mampu menyelesaikan
task 11 yang diberikan, yaitu task untuk menutup board yang telah dibuat. Hal ini terjadi karena letak menu ini tersembunyi
dikarenakan demi keamanan data. Jika
perintah pada menu tidak sengaja terpilih,
maka data pada board akan terhapus secara keseluruhan sehingga memang akan menjadi
lebih baik lagi jika menu tersebut diletakkan
tersembunyi.
Tingkat memorability pada aplikasi Trello baik itu versi android dan versi
website sama-sama memberikan hasil statistik yang menunjukkan terdapat
perbedaan yang signifikan antara waktu pada
sesi pertama (repetisi ke-5) dengan sesi
kedua (memorability). Hal ini menunjukkan bahwa aplikasi Trello ini memang memiliki
tingkat memorability yang rendah dimana responden akan kembali mengalami
kesulitan untuk mengoperasikan aplikasi ini
penggunaan satu dengan penggunaan
berikutnya.
Tingkat error di dalam menyelesaikan
task yang diberikan tergolong tinggi pada aplikasi Trello baik pada versi android
maupun pada versi website. Dari total keseluruhan error yang terjadi, task 11 memiliki jumlah responden terbanyak yang
melakukan kesalahan (error). Seperti telah dijelaskan sebelumnya, task 11 memiliki desain menu yang tersembunyi untuk
menjaga keamanan data yang ada pada
board yang telah dibuat.
Dari ke-empat jenis responden yang
berpartisipasi di dalam penelitian ini, hanya
responden novice website yang menyatakan puas terhadap aplikasi Trello, sedangkan
ke-tiga responden lain menyatakan kurang puas.
Hal ini dikarenakan pada responden novice
android, 2 responden tidak dapat
menyelesaikan task sehingga hal ini mempengaruhi kepuasan dari responden
terhadap aplikasi Trello berbasis android.
Responden expert cenderung merasa lebih tidak puas dibandingkan dengan responden
novice karena responden expert lebih memahami dan mengerti aplikasi Trello
daripada responden novice. Karena responden expert lebih sering menggunakan aplikasi ini, kemungkinan responden expert
lebih banyak menemukan masalah yang
terjadi pada aplikasi ini.
PENUTUP
Kesimpulan
Berdasarkan penelitian yang telah
dilakukan, konfigurasi usabilitas dari aplikasi
Trello baik itu versi android ataupun website
adalah :
1. Learnability
Untuk atribut learnability, aplikasi Trello website lebih baik karena rata-rata selisih waktu yang didapatkan oleh
responden tipe novice antara sesi pertama dengan sesi terakhir adalah sebesar 23,6
detik dibandingkan dengan android selisih
waktu yang didapatkan hanya sebesar 17,31
detik. Sedangkan untuk pengguna aplikasi
Trello tipe expert tidak turut dimasukkan kedalam perhitungan.
2. Efisiensi
Untuk atribut efisiensi, aplikasi Trello android yang diujikan kepada responden tipe
novice dan expert lebih efisien dibandingkan dengan aplikasi Trello website.
3. Efektivitas
Untuk atribut efektivitas, aplikasi Trello android untuk responden tipe novice
tingkat keberhasilannya 60% ketika
melakukan task 11. Hal ini membuktikan bahwa responden mendapatkan kesulitan
saat mengerjakan task tersebut. Sedangkan untuk responden novice aplikasi Trello web tingkat keberhasilannya 100%, serta untuk
4. Memorability
Untuk atribut memorability, aplikasi Trello web dan android yang diujikan pada
responden novice memiliki perbedaan waktu yang signifikan antara pengambilan data
pada sesi pertama (repetisi ke-5) dengan sesi
2 (memorability).. 5. Error
Untuk atribut error, baik itu responden
novice dan responden expert banyak melakukan kesalahan pada task ke 11.
6. Satisfaction
Untuk atribut satisfaction, aplikasi Trello untuk expert android dan web serta
novice android masih dibawah rata-rata (kurang puas) dan untuk responden novice
web sudah menyataka puas.
DAFTAR PUSTAKA
Andreicheva, L. dan Latypov, R., 2015.
Design of E-learning System:
M-learning Component. Procedia - Social and Behavioral Sciences, 191, pp.628– 633.
Behera, S.K., 2013. E- DAN
M-LEARNING : A COMPARATIVE
STUDY. International Journal on New Trends in Education and Their Implications, 4(3), pp.65–78.
Black, M., dan Edgar, W., 2009, Exploring
mobile devices as Grid resources: Using
an x86 virtual machine to run BOINC
on an iPhone, 10th IEEE/ACM
International Conference on Grid Computing (pp. 9–16).
Brooke, J., 1996. SUS – A Quick and Dirty
Usability Scale. International Journal of Human Computer Interaction, pp.4-5. Budiu, R., 2014, Usability Testing for
Mobile,
https://www.nngroup.com/articles/mobi le-usability-testing/ [Accessed online on April 16, 2017]
Chang, V, 2006, Web Service Testing and
Usability for Mobile Learning,
International Conference on Networking, International Conference on Systems and International Conference on Mobile Communications and Learning Technologies (ICNICONSMCL’06), pp. 221–221. Epignosis LLC, 2014. E-learning Concepts,
Trends, Applications. In: Epignosis
LLC, (ed.) San Francisco.
Fetaji, B., Ebibi, M. dan Fetaji, M., 2011.
Assessing Effectiveness in Mobile
Learning by Devising MLUAT ( Mobile
Learning Usability Attribute Testing )
Methodology. International Journal of Computers and Communications, 5(3), pp.178–187.
Handiwidjojo, W. dan Ernawati, L., 2016.
Pengukuran Tingkat Ketergunaan (
Usability ) Sistem Informasi Keuangan
Studi Kasus : Duta Wacana Internal
ISO 9241-11. (1998). Ergonomic requirements for office work with visual display terminals (VDTs) — Part 11: Guidance on usability. Retrieved from https://www.iso.org/obp/ui/#iso:std:iso:
9241:-11:ed-1:v1:en
Nurhadryani, Y., Sianturi, S.K. dan Hermadi,
I., 2013. Pengujian Usability untuk
Meningkatkan Antarmuka Aplikasi
Mobile. Jurnal Ilmu Komputer Agri-Informatika, 2(2010), pp.83–93.
Kumar, S., dan Birsha, S. K., 2013, E
learning and M Learning : A
Comparative Study. International Journal on New Trends in Education and Their Implications, 4(3).
Mifsud, J. (2015). Usability Metrics - A
Guide To Quantify The Usability Of
Any System - Usability Geek. Retrieved
June 1, 2017, from
http://usabilitygeek.com/usability-
metrics-a-guide-to-quantify-system-usability/
Nielsen, J., 2012, Usability 101: Introduction
to Usability,
https://www.nngroup.com/articles/usabi lity-101-introduction-to-usability/
[Accessed online on April 16, 2017].
Parsons, D., dan Ryu, H., 2006, A
Framework for Assessing the Quality of
Mobile Learning, 161–166,
https://doi.org/10.1080/0022134080246 3979 [Accessed online on April 16, 2017].
Ramadiani dan Atan, R., 2013. Model
Evaluasi Pengguna Interface
E-Learning. Seminar Nasional Sistem Informasi Indonesia, pp.167–172.
Raza, A., Capretz, L. F., dan Ahmed, F.,
2012, Users’ perception of open source
usability: an empirical study,
Engineering with Computers, 28, 109– 121.
Rubin, J., dan Chisnell, D., 2008. Handbook of usability testing [electronic resource] : How to plan, design, and conduct effective tests (2nd ed.), Wiley Pub, Indianapolis.
Shackel, B. (1990). Human-computer interaction : selected readings : a reader. Human-computer interaction. Prentice Hall in association with Open
University. Retrieved from
http://dl.acm.org/citation.cfm?id=87730
Wang, C., 2013, Incorporating customer
satisfaction into the decision-making
process of product configuration: a
fuzzy Kano perspective, International Journal of Production Research,
51(22), 6651–6662.
Yang, C.-C., Hwang, G.-J., Hung, C.-M.,
dan Tseng, S.-S., 2013, An Evaluation
of the Learning Effectiveness of
Concept Map-Based Science Book
Reading via Mobile Devices,
Educational Technology dan Society,
LAMPIRAN
Lampiran 1. Uji signifikansi data learnability
Lampiran 2. Waktu penyelesaian task responden novice android
Task Repetisi
1 2 3 4 5
1 7,99 4,72 3,78 3,64 3,37 2 6,21 4,33 4,04 4,05 3,86 3 20,33 6,39 5,65 6,12 5,34 4 6,58 5,21 4,09 5,15 3,39 5 16,68 5,16 3,99 3,76 3,56 6 18,56 8,66 7,14 6,94 6,53 7 20,10 6,16 5,16 4,32 3,97 8 10,46 4,76 4,29 4,15 4,39 9 14,46 3,45 2,90 2,97 2,25 10 8,13 1,07 0,97 0,98 0,96 11 102,33 6,67 3,99 3,59 3,88 Rata-rata 21,08 5,14 4,18 4,15 3,77
Lampiran 3. Waktu penyelesaian task responden novice website
Task Repetisi
1 2 3 4 5
Task Repetisi
1 2 3 4 5
11 178,016 8,38 6,874 6 6,098 Rata-rata 27,95 5,48 4,61 4,35 4,34
Lampiran 4. Efisiensi responden novice
Task
Android Website Novice (sesi 5) Novice (sesi 5)
mean stdev mean stdev 1 3,37 0,81 5,37 1,63 2 3,86 1,39 3,79 0,33 3 5,34 0,68 3,82 1,10 4 3,39 0,68 6,49 3,78 5 3,56 1,61 3,92 2,70 6 6,53 1,70 7,18 1,70 7 3,97 0,92 3,98 1,16 8 4,39 0,50 4,21 1,19 9 2,25 1,07 1,61 0,37 10 0,96 0,06 1,29 0,29 11 3,88 0,58 6,10 1,44 Rata-rata 3,77 4,34
Lampiran 5. Uji signifikansi efisiensi responden novice
Lampiran 6. Efisiensi responden expert
Task
Task
Android Website Expert Expert mean stdev mean stdev 7 15,51 10,26 6,46 1,93 8 10,97 4,89 11,80 3,23 9 7,11 1,68 7,65 4,15 10 1,57 0,26 9,93 7,17 11 21,89 7,48 40,59 19,76 Rata-rata 10,55 11,94
Lampiran 7. Uji signifikansi efisiensi responden expert
Lampiran 8. Uji signifikansi data memorabilitynovice android Paired Samples Test
Paired Differences
t df
Sig.
(2-tailed
) Mean
Std.
Deviatio
n
Std.
Error
Mean
95% Confidence
Interval of the
Difference
Lower Upper
Pai
r 1
sesi_pertama
-
memorability
-8.7318
2
11.9966
6
3.6171
3
-16.79128
-0.67235
-2.414 1
0
0.036
*
*) signifikan pada p < 0,05
Lampiran 9. Uji signifikansi data memorabilitynovicewebsite
Paired Samples Test
Paired Differences
t df
Sig.
(2-tailed) Mean Std.
Deviatio
Std.
Error
95% Confidence
n Mean Difference
Lower Upper
Pai
r 1
sesi_pertama
-
memorability
-7.8067
3
12.4339
3
3.7489
7
-16.15996
0.5465
0
-2.082 1
0
0.064
*
