Fakultas Ilmu Komputer
Universitas Brawijaya
2809
Evaluasi Usability pada Website Sekolahkoding.com dengan Menggunakan Metode Usability Testing dan Human Centered Design
Katon Pratama Susanto1, Satrio Hadi Wijoyo2, Retno Indah Rokhmawati3
Program Studi Pendidikan Teknologi Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1katonpratama6@student.ub.ac.id, 2satriohadi@ub.ac.id, 3retnoindahr@ub.ac.id
Abstrak
Sekolahkoding.com merupakan salah satu website yang menyediakan berbagai macam bahasa pemrograman dengan menggunakan materi berupa video. Tujuan menggunakan sekolahkoding sebagai evaluasi karena pada dilihat dari similarweb, sekolahkoding memiliki pengunjung yang lebih sedikit jika dibandingkan dengan website serupa. Riset awal yang dilakukan pada SMKN 5 Malang dan SMKN 12 Malang terdapat beberapa permasalahan pada website yaitu pengguna mengalami kesulitan dalam menemukan materi, pengguna masih belum lancar ketika menggunakan website, untuk tampilan pada grid bisa lebih diperlebar lagi, tampilan kurang menarik, tampilan kurang bervariasi, interaksinya perlu disederhanakan, pada tombol warnanya lebih dipertegas lagi, server error ketika login. Tujuan dari penelitian adalah untuk mendapatkan hasil dari pengujian usability dari website sekolahkoding.com. Metode yang digunakan dalam penelitian adalah yang pertama Usability Testing untuk mengevaluasi desain sekolahkoding sebelum dan sesudah adanya perbaikan desain. Metode yang digunakan kedua adalah Human Centered Design untuk pedoman pembuatan desain solusi antarmuka website sekolahkoding.com. Pada pengujian yang dilakukan terdapat parameter keberhasilan pada tiga aspek yaitu aspek efektivitas, aspek efisiensi, dan aspek kepuasan. Hasil yang diperoleh pada aspek tersebut adalah yang pertama aspek efektivitas yang dibedakan menjadi tiga kategori yaitu Success pada desain awal mendapat nilai 67% sedangkan pada desain solusi mendapat nilai 100%, Non Critical Error pada desain awal mendapat nilai 20,8% sedangkan pada desain solusi mendapat nilai 0%, Critical Error pada desain awal mendapat nilai 11,8%
sedangkan pada desain solusi mendapat nilai 0%. Selanjutnya pada aspek efisiensi mendapatkan peningkatan sebesar 219%. Kemudian pada aspek kepuasan mendapatkan kenaikan skor rata-rata pada desain awal mendapat skor 50 dengan kategori Non Acceptable dan grade F keterangan “OK”, sedangkan pada desain solusi mendapatkan skor 77,5 dengan kategori Acceptable dan grade C keterangan “Good”.
Kata kunci: Usability Testing, Human Centered Design, Evaluasi Usability
Abstract
Sekolahkoding.com is a website that provides a variety of programming languages using video material. The purpose of using the sekolahkoding as an evaluation is because seen from the similar web, the sekolahkoding has fewer visitors when compared to similar websites.
Preliminary research conducted at SMKN 5 Malang and SMKN 12 Malang, there are several
problems on the website, namely users have difficulty finding material, users are still not fluent
when using the website, the display on the grid can be widened further, the display is less
attractive, the display is less varied, the interaction needs to be simplified, the color buttons are
emphasized even more, the server error when logging in. The purpose of this research is to get
the results of testing usability from the schoolkoding.com website. The method used in this
research is the first Usability Testing to evaluate the design of the coding school before and
after the design improvement. The second method used is Human Centered Design for guidelines for designing the interface solution for the website sekolahkoding.com. In the tests carried out there are success parameters in three aspects, namely aspects of effectiveness, aspects of efficiency, and aspects of satisfaction. The results obtained in this aspect are the first aspect of effectiveness which is divided into three categories, namely Success in the initial design gets a score of 67% while the solution design gets a value of 100%, Non Critical Error in the initial design gets a value of 20.8% while in the solution design got a value of 0%, Critical Error in the initial design got a value of 11.8% while the solution design got a value of 0%.
Furthermore, the efficiency aspect gets an increase of 219%. Then in the satisfaction aspect, the average score increase in the initial design scored 50 with the category Non Acceptable and grade F with "OK" information, while the solution design got a score of 77.5 with the category Acceptable and grade C for "Good".
Keywords: Usability Testing, Human Centered Design, Usability Evaluation
1. PENDAHULUAN
Pemanfaatan teknologi sekarang sudah banyak berpengaruh pada kehidupan manusia, salah satunya pada bidang pendidikan.
Teknologi dalam pendidikan merupakan suatu usaha yang digunakan untuk menyelesaikan masalah tentang pembelajaran dengan menggunakan pemanfaatan yang ada (Januarisman & Ghufron, 2016). Pemanfaatan tersebut adalah pada penggunaan media pembelajaran untuk meningkatkan hasil dalam pembelajaran (Andayani, 2011). Pemanfaatan teknologi sebagai media sangat membantu siswa, hal tersebut karena siswa sudah mengalami penerapan kurikulum 2013. Salah satu media yang sering diakses oleh siswa untuk mendapatkan materi adalah situs web, hal tersebut karena situs web dapat mudah diakses dan dapat diakses oleh siapapun dengan bantuan internet.
Sekolah menengah Kejuruan (SMK) terdapat bidang keahlian yang juga bergantung pada perkembangan teknologi, yaitu pada bidang keahlian Teknologi dan Informatika.
Siswa SMK dengan bidang keahlian Teknologi dan Informatika salah satunya terdapat kompetensi keahlian Rekayasa Perangkat Lunak (RPL). Kompetensi keahlian RPL difokuskan untuk mempelajari perancangan, pengembangan, dan perawatan perangkat lunak.
Mempelajari materi yang terus berkembang tentunya diperlukan juga media yang digunakan untuk mencari materi dan informasi. Media Pembelajaran merupakan alat yang digunakan
untuk membantu saat proses belajar baik di dalam kelas maupun di luar kelas. Media pembelajaran juga menjadi komponen sumber belajar atau wahana fisik yang mengandung materi instruksional (Azhar, 2009). Media pembelajaran secara jarak jauh atau dengan menggunakan sistem elektronik atau komputer untuk mempelajari tentang pemrograman seperti contohnya w3schools.com, sololearn, sekolahkoding.com, malasngoding.com dan banyak lainnya. Kelebihan yang harus dimiliki oleh suatu website yaitu pengalaman pengguna yang baik dan memiliki kegunaan berdasarkan kebutuhan pengguna, sehingga dapat memberikan perasaan kepuasan terhadap pengguna serta dapat memenuhi kebutuhan dari pengguna.
Sekolahkoding.com merupakan salah satu website yang dapat menyediakan berbagai materi untuk belajar coding tentang bahasa pemrograman HTML, JavaScript, CSS, Database, PHP, dll. Sekolahkoding.com juga terdapat materi yang bisa di akses secara gratis dan berbayar yang dapat dibeli dengan harga cukup terjangkau. Sekolahkoding.com menyediakan materi dengan bentuk video dan artikel terkait materi ataupun tutorial. Tujuan menggunakan sekolahkoding.com untuk evaluasi karena jika dibandingkan jumlah pengunjung dengan website lain yang memiliki fitur yang hampir sama melalui similarweb didapatkan bahwa hasil dari sekolahkoding.com memiliki pengunjung 184,65K, jika dibandingkan dengan website lain serupa seperti w3scools dengan pengunjung 64,72M, Sololearn dengan pengunjung 2,05M, dan
malasngoding.com dengan pengunjung 315,11K. Similarweb merupakan suatu website yang digunakan untuk menyediakan solusi untuk membuat keputusan bisnis dengan melihat kompetitor website yang lain. Similarweb juga dapat digunakan untuk melihat pengunjung website lain.
Riset awal yang dilakukan di SMKN 5 Malang dan SMKN 12 Malang dengan memberikan kuesioner dan melakukan wawancara dengan pengguna website sekolahkoding.com pada siswa SMK khususnya pada kompetensi keahlian RPL. Adapun hasil dari observasi dan wawancara adalah pengguna mengalami kesulitan dalam menemukan materi, pengguna masih belum lancar ketika menggunakan website, untuk tampilan pada grid bisa lebih diperlebar lagi, tampilan kurang menarik, tampilan kurang bervariasi, interaksinya perlu disederhanakan, pada tombol warnanya lebih dipertegas lagi, server error ketika login.
Hasil dari riset awal yang telah dilakukan dapat ditarik kesimpulan bahwa permasalahan pada website sekolahkoding.com sebelum dilakukan perbaikan desain adalah pada usability. Usability pada permasalahan ini merupakan proses interaksi antara pengguna dengan sistem yang dapat dilakukan dengan interaktif, sehingga pengguna mendapat informasi yang tepat untuk menyelesaikan suatu task atau keinginan yang tersedia pada aplikasi atau website tersebut. Sistem dikatakan efektif, efisien, dan dapat memberikan kepuasan pengguna, jika sistem tersebut mampu memberikan kesempatan untuk pengguna menyelesaikan aktivitas yang tersedia pada aplikasi sebaik mungkin di kehidupan nyata (Prayoga, 2012). Evaluasi dilakukan untuk memberikan nilai dari rancangan yang telah dibuat apakah sudah memenuhi kebutuhan dari pengguna (Arifin, 2009).
Peneliti menggunakan beberapa rujukan untuk menjadikan sebagai referensi yaitu yang pertama pada penelitian ini berjudul Evaluasi Usability dan Perbaikan Desain Aplikasi Mobile Menggunakan Usability Testing dengan Pendekatan Human Centered Design (HCD) (Fatah, 2020). Penelitian yang dilakukan bertujuan untuk melakukan desain ulang pada aplikasi mobile BMKG. Hal tersebut karena terdapat permasalahan bahwa aplikasi tersebut masih memiliki kekurangan pada kepuasan,
kemudahan, dan kenyamanan dari pengguna.
Penelitian ini menggunakan konsep delapan peraturan (Eight Golden Rules) yang digunakan untuk interaksi desain. Pengujian pertama melakukan pengujian pada desain awal dari aplikasi tersebut yang kemudian mendapatkan hasil dengan skor rata-rata 60 menunjukan tingkat penerimaan pengguna dengan kategori low, dengan skala kategori D, dan adjective rating mendapat kategori OK. Pengujian kedua mendapatkan hasil dengan rata-rata skor 80,25 menunjukan tingkat penerima acceptable dengan skala kategori B serta adjective rating mendapatkan excellent.
Rujukan kedua dengan judul Evaluasi dan Perbaikan Rancangan Antarmuka Pengguna Situs Website Jurusan Teknik Kimia Universitas Brawijaya dengan Menggunakan Metode Human Centered Design (HCD) (Eresti, 2018).
Penelitian ini menemukan lima halaman dari situs web yang kerap diakses pengguna.
Halaman itu adalah beranda, profil, sejarah, prestasi mahasiswa terbaru tahun 2016, dan fasilitas laboratorium. Metode Human Centered Design (HCD) yang digunakan pada penelitian ini. Metode ini digunakan sebagai acuan dari desain perbaikan antarmuka situs web Jurusan Teknik Kimia UB adalah Human Centered Design (HCD). Hasil dari penelitian ini adalah pada metrik efektivitas yang dibagi menjadi tiga aspek yaitu sukses dengan nilai 70%, Non Critical Error dengan nilai 22,5% dan Critical Error dengan nilai 7,5%. Terjadi peningkatan pada metrik efisiensi yaitu sebesar 22% setelah melakukan desain perbaikan pada situs web.
Aspek kepuasan mendapatkan kategori Acceptable terhadap usulan desain antarmuka.
Rujukan ketiga dengan judul Evaluasi dan Perbaikan Desain Antarmuka Pengguna Menggunakan Pendekatan Human Centered Design (HCD) (Studi Kasus: Djarum Beasiswa Plus) (Laily, 2018). Permasalahan yang di dapat dari penelitian ini adalah melakukan ujicoba kepada 32 dari 47 responden yang akan menerima dan penerima beasiswa mendapatkan permasalahan pada situs web Djarum Beasiswa Plus (DBP) adalah pada ikon web yang tidak jelas dan responden juga untuk mencapai tujuannya masih mengalami kesulitan. Metode Human Centered Design (HCD) merupakan metode yang digunakan dalam membantu penelitian ini. Hasil yang didapatkan dari penelitian ini menunjukan setelah desain solusi diterapkan mendapatkan hasil nilai usability
lebih tinggi. Aspek efektivitas mendapatkan tingkat keberhasilan 100%. Aspek efisiensi mendapatkan kenaikan rata-rata waktu pengerjaan dari 29,49 detik menjadi 06,30 detik.
Aspek kepuasan pengguna mendapatkan hasil bahwa semua responden lebih memilih tampilan desain solusi karena responden merasa lebih mudah.
Rujukan Penelitian yang terakhir yaitu membahas tentang aplikasi FILKOM apps yang dilakukan oleh (Baharudin, 2018). Permasalahan yang didapat saat melakukan penelitian adalah pada salah satu fitur yang terdapat tidak menunjukan informasi sama sekali. Kemudian pada menu log book bimbingan tidak diketahui sebagian pengguna, pengguna tersebut merupakan fitur yang sangat berguna bagi mahasiswa yang sedang mengambil skripsi.
Penelitian yang dilakukan bertujuan untuk meningkatkan tingkat usability pada aplikasi FILKOM apps. Penelitian ini juga untuk mengukur tingkat kemudahan, seberapa cepat dipahami oleh pengguna, apa saja kesulitan oleh pengguna, dan kepuasan pengguna ketika menggunakan aplikasi. Pada evaluasi ini, Peneliti menggunakan metode usability testing.
Pada penelitian awalnya, Peneliti menggunakan lima orang responden mahasiswa FILKOM yang sedang mengambil skripsi dan diharuskan untuk menyelesaikan kuesioner yang sudah diberikan.
Kemudian untuk penyebaran kuesioner SUS, peneliti memberikan kuesioner kepada 30 orang pengguna aktif aplikasi FILKOM apps.
Berdasarkan permasalahan yang telah dipaparkan, peneliti melakukan evaluasi usability dengan tujuan mengukur dan meningkatkan usability website sekolahkoding.com. Evaluasi ini meliputi tiga aspek yaitu efisiensi, efektivitas, kepuasan.
Metode yang digunakan dalam penelitian ini adalah Usability Testing dan Human Centered Design. Alasan menggunakan Usability Testing adalah evaluasi yang digunakan untuk proses penelitian, karena usability testing dapat mengukur tingkat keberhasilan suatu perbaikan desain. Dalam membantu kegiatan penelitian, peneliti menggunakan kuesioner System Usability Scale (SUS). SUS sebagai alat persepsi dari pengguna setelah menggunakan website sekolahkoding.com untuk mengetahui seberapa puas pengguna menggunakan website. Alasan menggunakan Human Centered Design adalah untuk merancang sebuah desain solusi antarmuka dengan kebutuhan pengguna.
2. METODOLOGI PENELITIAN
Gambar 1. Metodologi Penelitian
Gambar 1 merupakan tahapan yang digunakan dalam penelitian. Diawali dengan melakukan studi literatur yaitu berisi teori yang digunakan sebagai pendukung untuk penelitian atau sebagai rujukan yang berhubungan dengan topik yang digunakan. Berikutnya riset awal pengguna, yaitu melakukan observasi dan wawancara kepada pengguna untuk mengetahui permasalahan awal. Berikutnya perancangan skenario yaitu dengan membuat tugas skenario yang harus dilakukan oleh pengguna. Berikutnya melakukan usability testing tahap pertama menggunakan skenario yang telah dibuat dan menguji pada tiga aspek yaitu efektivitas, efisiensi, dan kepuasan. Selanjutnya analisis permasalahan dengan membuat guideline berdasarkan masalah yang dialami pada pengujian pertama. Berikutnya melakukan perancangan desain solusi yaitu dengan membuat prototype sesuai permasalahan yang didapat. Berikutnya melakukan usability testing tahap kedua yaitu sama dengan usability testing pertama, hanya saja menggunakan desain baru
yang telah dibuat. Berikutnya membuat analisis perbandingan antara desain awal dan desain solusi. Berikutnya membuat kesimpulan dari penelitian yang berisi analisis perbandingan dari permasalahan.
3. HASIL DAN ANALISIS 3.1. Perancangan Skenario
Perancangan skenario dibuat untuk menjelaskan bagaimana kebiasaan pengguna.
Jenis skenario yang digunakan adalah Goal or Task-Based Scenarios. Goal or Task Based Scenarios lebih berfokus kepada berhasilnya pengguna untuk menyelesaikan tujuannya atau berhasil dalam mengerjakan tugas. Task skenario dapat dilihat pada Tabel 1.
Tabel 1. Task Scenario
No. Skenario
1 Anda ingin melihat informasi terbaru 2 Anda ingin melihat materi yang ada di
kelas 3
Anda ingin belajar coding secara bertahap sesuai dengan perjalanan materi yang ingin anda pelajari.
4
Anda mengalami masalah pada pemrograman dan ingin diskusi dengan sesama pengguna untuk memecahkan masalah yang anda alami.
5
Anda ingin melihat artikel yang ditulis oleh berbagai pengguna untuk menambah pengetahuan anda.
6 Anda ingin melihat apa saja karya- karya dari pengguna lain pada mading.
Tahap selanjutnya membuat kriteria keberhasilan untuk acuan. Kriteria keberhasilan dari tugas skenario dapat dilihat pada Tabel 2.
Tabel 2. Kriteria Keberhasilan Skenario
Tugas Skenario Tugas 1
Responden dapat menunjukan informasi terbaru yang terdapat pada halaman utama.
2
Responden dapat menunjukan materi yang dibuka yang terdapat pada menu kelas.
3
Responden dapat menunjukan urutan materi yang terdapat pada menu perjalanan.
4
Responden dapat menunjukan diskusi yang terdapat pada menu forum.
5
Responden dapat menunjukan artikel dari pengguna lain yang terdapat pada menu artikel.
6
Responden dapat menunjukan karya-karya dari pengguna yang lain.
3.2. Usability Testing Tahap Awal
Usability testing yang pertama yaitu mencari permasalahan dan kebutuhan pengguna.
Pengujian yang dilakukan yaitu uji aspek efektivitas dan efisiensi dengan menggunakan task skenario yang sudah dipersiapkan dan uji aspek kepuasan dengan menggunakan kuesioner System Usability Scale (SUS).
Aspek efektivitas dilakukan dengan menghitung berapa kesuksesan dari responden ketika mengerjakan tugas. Penilaian ini dibedakan menjadi tiga kategori yaitu, yang pertama kategori (Success) yaitu ketika responden berhasil menunjukan jawaban dari hasil tugas skenario, dan untuk kategori success ditunjukkan dengan warna hijau. Kedua dengan kategori (Non Critical Error) yaitu ketika responden mengalami kesulitan namun berhasil menunjukan jawaban dari hasil tugas skenario, dan untuk kategori ini ditunjukkan dengan warna kuning. Ketiga dengan kategori (Critical Error) yaitu ketika responden tidak berhasil menunjukan jawaban dari hasil tugas skenario, dan untuk kategori ini diberi dengan warna merah. Tabel 3 merupakan hasil dari persentase tugas yang mendapatkan Success, Non Critical Error, Critical Error.
Tabel 3. Persentase Tugas Aspek Efektivitas
Responden
Persentase Success
Non Critical
Error
Critical Error
R1 66% 17% 17%
R2 66% 17% 17%
R3 83% 0% 17%
R4 33% 50% 17%
R5 83% 17% 0%
R6 50% 50% 0%
R7 66% 33% 0%
R8 83% 0% 17%
R9 50% 33% 17%
R10 100% 0% 0%
R11 66% 17% 17%
R12 83% 0% 17%
R13 100% 0% 0%
R14 33% 33% 33%
R15 50% 33% 17%
R16 83% 17% 0%
R17 33% 33% 33%
R18 100% 0% 0%
R19 33% 66% 0%
R20 83% 0% 17%
Rata-rata 67,2% 20,8% 11,8%
Aspek efisiensi dengan cara melakukan perhitungan waktu yang dibutuhkan oleh responden ketika menyelesaikan tugas. Satuan
yang digunakan untuk mengukur waktunya adalah detik. Responden dapat dikatakan gagal jika menyerah atau tidak dapat menunjukan hasil akhir dari jawaban tes tugas. Tabel 4 menunjukan jumlah waktu ketika responden menyelesaikan tugas.
Tabel 4. Jumlah Waktu Aspek efisiensi
Tugas Jumlah Waktu 1 901 Detik 2 1018 Detik 3 1391 Detik 4 1014 Detik 5 639 Detik 6 696 Detik
Aspek kepuasan memberikan kuesioner kepada responden setelah mengerjakan tugas pada aspek efektivitas dan efisiensi. Responden nantinya akan mengisi 10 pernyataan yang bernada positif pada pertanyaan bernomor ganjil dan negatif pada pernyataan bernomor genap.
Pernyataan dinilai dengan skor skala Likert dari 1 sampai 5 yang menunjukan hasil sangat tidak setuju sampai sangat setuju.
Berdasarkan hasil nilai yang didapat pada evaluasi awal ini bahwa website sekolahkoding diklasifikasikan pada skala penilaian menurut (Bangor, et al., 2008) bahwa mendapatkan hasil (Non Acceptable - Grade Scale F – Adjective Ratings OK). Jadi untuk hasil rata-rata kepuasan pengguna pada website sekolahkoding masih mendapatkan hasil dibawah dari nilai rata-rata untuk ideal dan desain antarmuka masih belum dapat diterima oleh pengguna. Pada Gambar 1 menunjukan skala hasil rata-rata kuesioner SUS.
Gambar 1. Skala Kuesioner SUS
3.3. Analisis Permasalahan
Hasil dari usability testing yang pertama selanjutnya dianalisis terkait masalah/kebutuhan pengguna. Hasil dari analisis permasalahan ini didapatkan dari tanggapan responden ketika melakukan usability testing pertama. Untuk hasil dari analisis masalah/kebutuhan pengguna yang kemudian dijelaskan pada tabel dan dengan memberikan kode masalah supaya lebih memudahkan ketika melakukan perbaikan
permasalahan. Berikut merupakan hasil dari analisis masalah/kebutuhan pengguna yang dapat dilihat pada Tabel 5
Tabel 5. Jumlah Waktu Aspek efisiensi Kode
Masalah Masalah/Kebutuhan pengguna
M-01
Pada tampilan, kalau bisa pada grid untuk lebih diperbesar lagi agar terlihat lebih luas
M-02
Warna pada tampilan terlalu flat, kalau sedikit lebih berwarna akan lebih bagus
M-03
Pada button untuk warnanya lebih dipertegas/diperjelas supaya lebih bagus
M-04
Masih bingung dengan navigasi nya karena terlalu rumit, mungkin jika terus menggunakan bisa terbiasa, dan pencarian diberi logo ”search”
supaya terlihat seperti pencarian
M-05
Banyak menampilkan halaman yang diulang-ulang, namun masih batas wajar dan tidak berlebihan
M-06
Pada menu belajar-kelas, sebaiknya memakai kelas terbaru/ter update saja supaya tidak membingungkan
M-07
Ada beberapa gambar yang tidak ada dalam beberapa fitur, mungkin jika konsisten gambarnya akan lebih menarik
3.4. Penggunaan Guidelines Desain Antarmuka
Poses perancangan desain prototype pada website sekolahkoding menggunakan dua guideline sebagai acuan untuk pembuatan desain. Untuk acuan guideline yang digunakan pertama yaitu menggunakan guideline dari Norman Nielsen Group (Nielsen, 2001).
Terdapat 113 poin pada Norman Nielsen Group, dan peneliti akan menggunakan 9 poin guideline dalam membuat desain prototype. Guideline yang digunakan kedua yaitu HHS guideline yang terdapat pada buku The Research-Based Web Design & Usability Guidelines (Leavitt &
Shneiderman, 2003). Untuk poin yang terdapat pada buku ini adalah 209 poin, sedangkan yang digunakan adalah 10 poin. Pengambilan 10 poin tersebut telah disesuaikan berdasarkan masalah atau kebutuhan pengguna.
3.5. Usability Testing Tahap Akhir
Usability testing yang kedua yaitu ketika
telah membuat prototype desain solusi. Tahapan selanjutnya yaitu melakukan evaluasi usability testing yang kedua yaitu uji aspek efektivitas dan efisiensi dan dengan task skenario yang sudah dipersiapkan dan uji aspek kepuasan dengan menggunakan kuesioner System Usability Scale (SUS).
Aspek efektivitas dilakukan dengan menghitung berapa kesuksesan dari responden ketika mengerjakan tugas. Penilaian ini dibedakan menjadi tiga kategori yaitu, yang pertama kategori (Success) yaitu ketika responden berhasil menunjukan jawaban dari hasil tugas skenario, dan untuk kategori success ditunjukkan dengan warna hijau. Yang kedua kategori (Non Critical Error) yaitu ketika responden mengalami kesulitan namun berhasil menunjukan jawaban dari hasil tugas skenario, dan untuk kategori ini diberikan warna kuning.
Yang ketiga (Critical Error) yaitu ketika responden tidak berhasil menunjukan jawaban dari hasil tugas skenario, dan untuk kategori ini diberikan warna merah. Pada Tabel 5 merupakan hasil persentase tugas yang mendapatkan Success, Non Critical Error, Critical Error.
Tabel 5. Persentase Tugas Aspek Efektivitas
Responden Persentase
Success Non Critical Error
Critical Error
R1 100% 0% 0%
R2 100% 0% 0%
R3 100% 0% 0%
R4 100% 0% 0%
R5 100% 0% 0%
R6 100% 0% 0%
R7 100% 0% 0%
R8 100% 0% 0%
R9 100% 0% 0%
R10 100% 0% 0%
R11 100% 0% 0%
R12 100% 0% 0%
R13 100% 0% 0%
R14 100% 0% 0%
R15 100% 0% 0%
R16 100% 0% 0%
R17 100% 0% 0%
R18 100% 0% 0%
R19 100% 0% 0%
R20 100% 0% 0%
Rata-rata 100% 0% 0%
Aspek efisiensi dengan cara melakukan perhitungan waktu yang dibutuhkan oleh responden ketika menyelesaikan tugas. Satuan yang digunakan untuk mengukur waktunya adalah detik. Responden akan dapat dikatakan gagal jika menyerah atau tidak dapat menunjukan hasil akhir dari jawaban tes tugas.
Pada Tabel 6 menunjukan watu yang dibutuhkan responden dalam menyelesaikan tugas pada desain solusi.
Tabel 6. Jumlah Waktu Aspek efisiensi
Tugas Jumlah Waktu 1 207 Detik 2 439 Detik 3 379 Detik 4 311 Detik 5 239 Detik 6 211 Detik
Aspek kepuasan dilakukan juga dengan kuesioner SUS. Berdasarkan hasil rata-rata skor yang didapat pada pengujian tahap akhir ini bahwa website sekolahkoding diklasifikasikan pada skala penilaian menurut
(Bangor, et al., 2008)
bahwa mendapatkan hasil (Acceptable - Grade Scale C - Adjective Ratings Good).Gambar 2 menunjukan skala hasil rata-rata kuesioner SUS.
Gambar 2. Skala Kuesioner SUS
4. ANALISIS PERBANDINGAN HASIL 4.1. Aspek Efektivitas
Tahapan ini merupakan analisis dari hasil perbandingan yang dilakukan pada usability testing yang pertama dan usability testing yang kedua. Perbandingan ini dilakukan pada hasil pengukuran aspek efektivitas. Pada perbandingan ini dilakukan pada tiga kategori yaitu Success, Non Critical Error, dan Critical Error. Berikut merupakan hasil perbandingan dari aspek efektivitas.
Kategori success dilakukan perbandingan dari persentase 20 responden yang telah berhasil mengerjakan tugas. Hasil persentase tersebut diambil dari analisis yang telah dilakukan sebelumnya pada aspek efektivitas. Berikut merupakan hasil perbandingan persentase pada desain awal dan desain solusi dapat dilihat pada Tabel 7.
Tabel 7. Perbandingan Kategori Success Responden Desain Awal Desain Solusi
R1 665 100%
R2 66% 100%
R3 83% 100%
R4 33% 100%
R5 83% 100%
R6 50% 100%
R7 66% 100%
R8 83% 100%
R9 50% 100%
R10 100% 100%
R11 66% 100%
R12 83% 100%
R13 100% 100%
R14 33% 100%
R15 50% 100%
R16 83% 100%
R17 33% 100%
R18 100% 100%
R19 33% 100%
R20 83% 100%
Rata-Rata 67,2% 100%
Kategori Non Critical Error dilakukan perbandingan dari persentase 20 responden yang telah berhasil mengerjakan tugas. Berikut merupakan hasil perbandingan persentase pada desain awal dan desain solusi dapat dilihat pada Tabel 8.
Tabel 8. Perbandingan Kategori Non Critical Error Responden Desain Awal Desain Solusi
R1 17% 0%
R2 17% 0%
R3 0% 0%
R4 50% 0%
R5 33% 0%
R6 0% 0%
R7 33% 0%
R8 0% 0%
R9 33% 0%
R10 0% 0%
R11 17% 0%
R12 0% 0%
R13 0% 0%
R14 33% 0%
R15 33% 0%
R16 17% 0%
R17 33% 0%
R18 0% 0%
R19 66% 0%
R20 0% 0%
Rata-Rata 20,8% 0%
Kategori Non Critical Error dilakukan perbandingan dari persentase 20 responden yang telah berhasil mengerjakan tugas. Hasil persentase tersebut diambil dari analisis yang telah dilakukan sebelumnya pada aspek efektivitas. Berikut merupakan hasil perbandingan persentase pada desain awal dan desain solusi dapat dilihat pada Tabel 9.
Tabel 9. Perbandingan Kategori Critical Error Responden Desain Awal Desain Solusi
R1 17% 0%
R2 17% 0%
R3 17% 0%
R4 17% 0%
R5 0% 0%
R6 0% 0%
R7 0% 0%
R8 17% 0%
R9 17% 0%
R10 0% 0%
R11 17% 0%
R12 17% 0%
R13 0% 0%
R14 33% 0%
R15 17% 0%
R16 0% 0%
R17 33% 0%
R18 0% 0%
R19 0% 0%
R20 0% 0%
Rata-Rata 11,8% 0%
4.2. Aspek Efisiensi
Setelah
mendapatkan hasil pada masing- masing waktu, maka selanjutnya melakukan perhitungan dengan rata-rata geometrik.Perhitungan dengan rata-rata geometrik ini bertujuan agar hasil yang didapatkan dapat akurat dari jumlah waktu tugas untuk sampel yang kurang dari 25 orang (Sauro, 2012). Lebih baik jika menggunakan perhitungan rata-rata geometrik daripada menggunakan perhitungan rata-rata aritmetika karena tidak menginginkan hasil dengan jumlah besar yang didapat mengurangi hasil dari perhitungan (Nielsen, 2001)
. Pada Tabel 10 merupakan hasil perhitungan dengan menggunakan rata-rata geometrik
Tabel 10. Perbandingan Aspek Efisiensi
Tugas A B A:B
Tugas 1 901 Detik 207 Detik 4,35 Detik Tugas 2 1018 Detik 439 Detik 2,31 Detik Tugas 3 1391 Detik 379 Detik 3,67 Detik Tugas 4 1014 Detik 311 Detik 3,26 Detik Tugas 5 639 Detik 239 Detik 2,67 Detik Tugas 6 696 Detik 211 Detik 3,29 Detik Perkalian Seluruh Tugas 1056,06
Detik Rata-Rata Geometrik 3,19 Detik
Persentase 319%
Peningkatan Persentase (-100%) 219%
4.3. Aspek Kepuasan
Pada tahapan ini dilakukan perbandingan pada aspek kepuasan pengguna dari hasil usability testing awal dan usability testing akhir.
Perbandingan dilakukan pada hasil desain awal dan desain akhir dengan tingkat kepuasan pengguna. Pada tabel akan menjelaskan tentang perbandingan desain awal dan desain akhir pada total skor, rata-rata skor, acceptability ranges, grade scale, dan adjective. Berikut pada Tabel 11 perbandingan pada aspek kepuasan.
Tabel 11. Perbandingan Aspek Kepuasan Desain Awal Desain Solusi Total Skor
SUS
1000 1550
Rata-Rata Skor
50 77,5
Acceptability Ranges
Non Acceptable Acceptable
Grade Scale F C
Adjective OK Good
5. KESIMPULAN
Kesimpulan yang didapat setelah melakukan uji usability dan membuat desain solusi terhadap website sekolahkoding.com adalah berikut.
1. Hasil perbandingan pada aspek efektivitas pada kategori success adalah pada uji coba awal mendapatkan hasil persentase 67,2%
dan pada ujicoba kedua mendapatkan hasil 100% maka hasil mengalami kenaikan persentase kesuksesan. Pada kategori Non Critical Error uji coba awal mendapatkan hasil 20,8% dan pada ujicoba kedua mendapatkan hasil 0% berarti tidak ada responden yang merasa bingung lagi pada ujicoba kedua. Pada kategori Critical Error uji coba awal mendapatkan hasil 11,8% dan pada ujicoba kedua juga mendapatkan hasil 0% berarti tidak ada yang mengalami kegagalan pada uji coba kedua dengan menggunakan desain solusi.
2. Hasil perbandingan pada aspek efisiensi menggunakan perhitungan rata-rata geometrik dengan mendapatkan hasil 3,19 detik dan persentase 319 detik. Kemudian dilakukan perhitungan peningkatan persentase dan mendapatkan hasil 219%.
3. Hasil perbandingan dari aspek kepuasan yang dilakukan dengan kuesioner SUS dengan 10 butir pertanyaan mengalami kenaikan dari ujicoba pertama yang mendapatkan grade scale f dan adjective
“OK” menjadi grade scale C dan adjective
“Good” pada uji coba kedua.
6. Saran
Saran yang dapat diberikan untuk pelaksanaan penelitian selanjutnya adalah sebagai berikut.
1. Perlu dipertimbangkan untuk keterlibatan dari pihak lain dari pengguna sekolahkoding.com. Hal tersebut agar mendapatkan permasalahan baru yang lebih bervariasi dan dapat memenuhi kebutuhan dari kelompok pengguna lain.
2. Perbaikan yang perlu dilakukan pada website sekolahkoding.com pada menu yang lainnya. Hal tersebut karena penelitian tidak dilakukan pada semua fitur dan sekolahkoding terdapat fitur baru.
3. Pada penelitian selanjutnya perlu dilakukan evaluasi terkait materi yang diberikan sekolahkoding, terdapat beberapa responden yang mendapat permasalahan terkait materi.
7. DAFTAR PUSTAKA
