BAB 4 METODOLOGI PENELITIAN
4.3 Rancangan Pelaksanaan Evaluasi
Rancangan Pelaksanaan Evaluasi dijabarkan menjadi dua penjelasan singkat mengenai Teknik Pengumpulan data dan Instrumen Pengumpulan Data.
4.3.1 Teknik Pengumpulan Data
Pengumpulan data yang dilakukan dalam penelitian dibagi menjadi tiga macam jenis yakni wawancara, kuesioner, dan usability testing. Berikut dijabarkan secara singkat mengenai masing-masing teknik dan tujuannya.
4.3.1.1 Wawancara
Wawancara dilakukan untuk melakukan pengumpulan data yang diperlukan terkait website LAPOR!. Data-data yang diperlukan seperti jumlah pengguna baru LAPOR! dan jumlah pengguna yang kembali mengunjungi website LAPOR!. Selain itu, untuk mendapatkan data jumlah laporan yang masuk ke dalam website LAPOR! serta jumlah pengguna LAPOR!. Wawancara juga dilakukan untuk mengetahui profil dan tantangan dari LAPOR! yang dijelaskan pada Bab 3. Selain itu, wawancara ini juga berguna untuk merumuskan permasalahan penelitian.
4.3.1.2 Kuesioner
Kuesioner digunakan untuk mengukur nilai kepuasan pengguna terhadap masing-masing website. Menurut Nielsen (2006), jumlah yang disarankan dalam melakukan pengumpulan data secara kuantitatif adalah 20 responden. Namun, untuk menghasilkan jumlah error ±10% maka, jumlah responden yang disarankan adalah 71 responden (Nielsen, 2006). Maka dari itu, penulis menargetkan 100 responden yang mengisi kuesioner untuk data kuantitatif.
Kuesioner yang digunakan mengacu pada Standard Usability Questionnaires, yaitu
Software Usability System (SUS). SUS merupakan sebuah standar kuesioner yang mengukur kepuasaan pengguna dalam menggunakan sebuah sistem. SUS juga dikenal sebagai pengukuran kepuasan pengguna yang “quick and dirty” artinya penggunaan kuesioner SUS sangat cepat dan data yang dihasilkan dapat dipercaya (Sorflaten, 2010). Kuesioner SUS ini juga sudah banyak digunakan dalam proyek penelitian dan banyak digunakan pada masa revolusi industri (Brooke, 1996).
31
Universitas Indonesia Kuesioner ini terdiri dari sepuluh pernyataan berbeda dengan perbandingan antara pernyataan positif dan negatif adalah 5:5. Setiap pernyataan direpresentasikan menggunakan skala Likert sebanyak lima atau tujuh buah. Penelitian ini menggunakan lima buah skala Likert (sesuai dengan standar kuesioner SUS) dengan keterangan jika, 1: Sangat Tidak Setuju, 2: Tidak Setuju, 3: Netral, 4: Setuju, dan 5: Sangat Setuju.
Menurut Brooke (1996), pengisian kuesioner SUS dilakukan setelah responden menggunakan sistem yang dievaluasi. Beberapa manfaat yang dapat didapatkan ketika menggunakan SUS (Usability.gov, 2015), yaitu (1) mampu mengatur responden karena penggunaan skala yang mudah; (2) dapat digunakan dalam jumlah kecil dengan hasil terpercaya; serta (3) sah, SUS mampu membedakan secara efektif sistem yang baik untuk digunakan dan yang tidak. Tabel di bawah ini merupakan standar kuesioner yang digunakan dalam SUS.
Tabel 4.3 Tabel Standar Kuesioner SUS Sumber : Usability.gov
1 2 3 4 5 1 I think I would like to use this system.
2. I found the system unnecessarily complex. 3. I thought the system was easy to use.
4. I think that I would need the support of a technical person to be able to use this system.
5. I found the various functions in the system were well integrated.
6. I thought there was too much inconsistency in this system.
7. I would imagine that most people would learn to use this system very quickly.
Strongly disagree
Strongly agree
Tabel 4.3 Tabel Standar Kuesioner SUS (sambungan) 8. I found the system very cumbersome to use.
9. I felt very confident using the system.
10. I needed to learn a lot of things before I could get going with the system.
Kuesioner di atas diterjemahkan ke dalam bahasa Indonesia dan disesuaikan dengan kebutuhan penelitian. Sebelum kuesioner ini disebar maka dilakukan face validity
(uji keterbacaan) kuesioner terhadap sepuluh orang yang dipilih secara acak. Pada akhir kuesioner, terdapat sebuah pertanyaan berupa open-ended question yang digunakan sebagai data kualitatif. Adapun bentuk kuesioner yang sudah diterjemahkan dan diujicobakan terlampir pada Lampiran 1.
4.3.1.3 Usability Testing
Menurut Nielsen (2001), untuk mengidentifikasi permasalahan dalam desain sebuah sistem cukup menggunakan lima orang. Faulkner (2003) menyatakan bahwa jumlah
usability testing sebanyak lima orang hanya akan menemukan sebanyak 55% permasalahan usability. Untuk mendapatkan 90% permasalahan dalam usability
maka diperlukan sebanyak minimal 15 orang (Faulkner, 2003).
Tabel 4.4 Persentase banyaknya jumlah permasalahan dalam usability terhadap 100 sampel
Sumber: Beyond the five-user assumption: Benefits of incerased samples size in usability testing (Faulkner, vol. 35(3), hal. 379-383)
No. Users Minimum % Found Mean % Found SD SE
5 55 85.55 9.2957 .9295 10 82 94.686 3.2187 .3218 15 90 97.050 2.1207 .2121 20 95 98.4 1.6080 .1608 30 97 99.0 1.1343 .1464 40 98 99.6 0.8141 .1051 50 98 100 0 0
33
Universitas Indonesia Suatu usability testing diperlukan adanya task skenario. Task scenario
mendeskripsikan cerita dan konteks dengan alasan mengapa pengguna tertentu atau suatu kelompok tertentu datang bekunjung pada suatu website (Usability.gov, n.d.). Jumlah task yang seharusnya dilakukan untuk usability testing dibatasi sebanyak 10 atau 12 buah (Usability.gov, n.d.).
Task ini dipilih berdasarkan halaman umum yang sering pada masing-masing website LAPOR!. Adapun perihal dan bagian-bagian yang dievaluasi dalam usability testing diantaranya:
1. Reaksi pengguna saat pertama kali datang ke website. 2. Melihat tata cara penggunaan website.
3. Masuk ke dalam akun dan keluar
4. Melihat fitur-fitur utama website (fitur laporan saya, daftar laporan, statistik, dan laporan untuk website LAPOR! versi lama dan fitur user profile, statistik dan persebaran laporan, serta laporan untuk website LAPOR! versi baru). 5. Melihat fitur-fitur khusus website (fitur star-rating, report, pencarian lanjutan
serta tambahan fitur gamifcation pada website LAPOR! versi baru)
Bagian-bagian tersebut kemudian dijabarkan menjadi 11 task. Pengukuran usability dilihat dari sukses atau tidaknya pengguna melakukan satu task, serta lama waktu pengguna dalam menyelesaikan sebuah task. Adapun task scenario tersebut terlampir pada Lampiran 2.
4.3.2 Instrumen Pengumpulan Data
Bagian ini menjelaskan tentang instrumen yang digunakan dalam pengumpulan data kuesioner, usability testing, dan wawancara.
4.3.2.1 Wawancara
Pada Subbab 4.3.1.3 telah dijelaskan jika wawancara digunakan untuk menggali informasi terkait profil dan tantangan dari LAPOR! yang dapat dilihat pada Bab 3. Selain itu, wawancara juga dilakukan untuk mengetahu analisis kebutuhan webiste LAPOR! versi baru yang dapat dilihat pada Subbab 5.1. Wawancara ini menggunakan alat bantu berupa pulpen, kertas, serta aplikasi perekam suara dari ponsel genggam pintar yang kemudian diolah secara manual.
4.3.2.2 Kuesioner
Kuesioner dibuat dengan menggunakan google forms dan disebar melalui media sosial LAPOR! yaitu Facebook (www.facebook.com/lapor1708) dan Twitter (@LAPOR1708). Selain itu, kuesioner juga disebar dengan mengirimkan email kepada ±2000 pengguna LAPOR! yang sudah pernah melakukan pelaporan sebanyak dua kali atau lebih. Pembatasan pengiriman email kepada pengguna LAPOR! dilakukan untuk menghindari adanya ketidaknyamanan pengguna. Adapun email yang digunakan merupakan akun email resmi dari tim LAPOR!.
4.3.2.3 Usability Testing
Usability testing dilakukan dengan menginstruksikan responden untuk melakukan beberapa tasks yang sudah diuji melalui tahapan pilot study sebelumnya. Pilot study
berguna agar dapat memastikan semua alat, materi dan dokumen dipersiapkan dengan baik (Usability.gov, 2015). Tasks digunakan untuk menggali informasi terkait masalah usability serta alternatif solusi. Pengambilan data usability testing ini direkam dengan menggunakan video dan bersifat optional. Laptop dan koneksi internet berupa ponsel genggam pintar juga menjadi alat bantu untuk melakukan
usability testing.