EVALUASI USABILITY SISTEM INFORMASI PRAKERIN
PENDIDIKAN TEKNIK INFORMATIKA
DI UNIVERSITAS PENDIDIKAN GANESHA
DENGAN METODE USABILITY TESTING
Made Adhi Widya Sadnyana1, I Gede Mahendra Darmawiguna2, I Made Ardwi Pradnyana3Jurusan Pendidikan Teknik Informatika Fakultas Teknik dan Kejuruan Universitas Pendidikan Ganesha
Singaraja, Bali
E-mail: adhiwidya12@gmail.com1, mahendra.darmawiguna@ undiksha.ac.id2, ardwi.pradnyanai@undiksha.ac.id3
Abstrak--- Penelitian ini bertujuan mengetahui
bagaimana evaluasi Sistem Informasi Prakerin Pendidikan Teknik Inforamatika (PTI) dari segi kegunaanya, keefektivan, keefisienan, dan kepuasan pengguna dalam menggunakan Sistem Informasi Prakerin PTI. Penelitian ini menggunakan metode usability testing. Sampel dalam penelitian ini mahasiswa dan dosen PTI sebanyak 6 orang. Pengumpulan data menggunakan teknik Performance Measurement dan Retrospective Think Aloud (RTA). Dengan teknik tersebut akan dicari hasil data kuantitatif dan kualitatifnya. Penelitian ini juga menggunakan kuisioner Sistem Usability Scale (SUS) untuk mengukur kepuasan penggunanya. Hasil penelitian diperoleh 1.Sistem Informasi Prakerin PTI masih belum efektif. Karena masih ada error yang dilakukan responden mahasiswa atau dosen dalam melaksanakan tugas yang diberikan. 2.Sistem Informasi Praekrin PTI dilihat dari hasil penghitungan waktu pelaksanaan tugas antara responden pemula atau mahir tidak terdapat perbedaan yang signifikan. Jadi Sistem Informasi Prakerin PTI bisa dikatakan efisien. 3.Dalam kepuasan pengguna sistem Informasi Prakerin PTI masih kurang. Dari hasil rekapitulasi kuisioner SUS yang didapat dihitung dengan menggunakan berbandingan Mann Whitney U-Test hasilnya adalah untuk responden mahasiswa 62,08 dan responden dosen 60,42. Karena masih lebih kecil dari 68 responden dikatakan belum puas. 4.Rekomendasi yang diberikan responden yaitu perlu ditambah menu data diri, halaman ubah password, dan dalam form isi nilai ditambahkan keterangan nilai yang harus diisi.
Kata Kunci: Survei, Sistem Informasi Prakerin PTI, Performance Measurement, RTA, Efektivitas, Efisiensi, Kepuasan pengguna, Rekomendasi
Abstract— This research aims to find out how evaluation Information System Prakerin Educational Engineering Inforamatika (PTI) in terms of usability, effectiveness, efficiency, and user satisfaction in using Information Systems Prakerin PTI. This research uses usability testing method. Samples in this study of students and lecturers of PTI as many as 6 people. Data collection using Performance Measurement and Retrospective.
Think Aloud (RTA) techniques. With these techniques will be searched the results of quantitative and qualitative data. This study also used a questionnaire System Usability Scale (SUS) to measure user satisfaction. The results obtained 1. Information System Prakerin PTI still not effective. Because there are still errors made by the student or lecturer respondents in carrying out the given task. 2. Information System Prakerin PTI seen from the results of timing execution of tasks between the beginner or advanced respondents there is no significant difference. So Information System Prakerin PTI can be said to be efficient. 3.In the user satisfaction System Information Prakerin PTI still less. From the result of recapitulation of SUS questionnaire which was obtained was calculated by using Mann Whitney U-Test result was for student respondent 62,08 and lecturer respondent 60,42. Because it is still smaller than 68 respondents said not satisfied. 4.Recommendation given by the respondent that is necessary to add the menu of self data, change the password page, and in the form of the value, added value information to be filled.
Keywords — Survey, Information System Prakerin PTI, Performance Measurement, RTA, Effectiveness, Efficiency, User Satisfaction, Reccomnedations
I. PENDAHULUAN
Praktek Kerja Industri (Prakerin) adalah kegiatan pendidikan, pelatihan, dan pembelajaran yang dilaksanakan di dunia usaha atau dunia industri yang sesuai dengan kompetensi (kemampuan) siswa sesuai bidangnya. Melalui prakerin banyak lembaga dan jurusan berharap dapat menghasilkan mahasiswa siap bersaing dalam dunia kerja. Program prakerin sangat penting karena memberian kemudahan dalam mengetahui potensi diri mahasiswa. Dari tahun ke tahun program prakerin berkembang pesat. Sudah banyak sistem informasi prakerin yang dibuat oleh institusi pendidikan ataupun institusi non-pendidikan.
Univesitas Pendidikan Ganesha (Undiksha) khususnya jurusan Pendidikan Teknik Informatika (PTI) telah melaksanakan program prakerin. Praktek Kerja Industri merupakan salah satu program mata kuliah pengenalan lapangan langsung yang di selenggarankan oleh jurusan Pendidikan Teknik Informatika (PTI). Mata kuliah semacam itu sangat tepat jika diberikan di perguruan tinggi, agar setiap mahasiswa siap menghadapi dunia kerja setelah tamat atau wisuda. Dengan demikian Prakerin menjadi program unggulan jurusan yang mampu membentuk mahasiswa ahli di bidang teknologi. Dalam kegiatan Prakerin terdapat website pendukung kegiatan yaitu sistem informasi prakerin pendidikan teknik informatika. Website sistem informasi prakerin merupakan upaya untuk memidiasi kegiatan praktek kerja industri. Sistem ini memudahkan dalam memanajemen pendaftaran prakerin dan pengisian log activity oleh mahasiswa prakerin dan juga memanajemen tempat prakerin. Kegiatan prakerin sudah diarahkan oleh jurusan, mulai dari mendaftar hingga pengumpulan laporan terakhir.
Sistem Informasi Prakerin Pendidikan Teknik Informatika memiliki beberapa konten seperti menu utama, berita, prosedur akses sistem, dan konten login. Dalam Sistem Informasi Prakerin Pendidikan Teknik Informatika terdiri dari 3 (tiga) pengguna yaitu admin, dosen dan mahasiswa, masing-masing pengguna memiliki akun yang berbeda dan mendapatkan hak akses yang berbeda. Admin pada Sistem Informasi Prakerin Pendidikan Teknik Informatika ini memiliki hak akses penuh dalam mengelola dan menggunakan sistem tersebut. Dosen pembimbing atau penguji memiliki fitur yang sama di dalam sistem informasi prakerin PTI. Dosen sebagai pengguna memiliki hak akses untuk melihat update data, ubah password, log
activity mahasiswa, mencari tempat mahasiswa melakukan
prakerin melalui maps prakerin dan memasukkan nilai sebagai pembimbing dan penguji. Lain halnya dengan dosen, mahasiswa sebagai pengguna hanya memiliki hak akses daftar prakerin, mengisi log activity, update data, ubah password, dan mengisi koordinat tempat prakerin di
maps prakerin. Jadi pada penelitian ini hanya memerlukan
dosen dan mahasiswa sebagai sampel.
Dari data awal di atas sistem informasi prakerin pendidikan teknik informatika perlu dievaluasi untuk mengukur kemudahan penggunaan sistem informasi bagi
user atau pemakai dari segi kemudahan dipelajari,
digunakan, kepuasan dan tingkat efisiensi, hal ini berguna untuk kelangsungan dan pengembangan sistem informasi kedepan. Saat ini banyak sekali website yang menyajikan beragam informasi. Namun demikian, banyak pula di antara website tersebut yang tidak dapat memenuhi tujuan awal kenapa website tersebut dibuat dan bahkan sangat
banyak yang mengecewakan pengguna yang
mengaksesnya. Menurut penelitian yang dilakukan oleh
User Interface Engineering, Inc., diketahui bahwa 60%
waktu terbuang karena orang tidak bisa menemukan informasi yang ingin didapatnya pada suatu website dan hal ini berdampak pada penurunan minat menggunakan
website tersebut, meningkatkan frustasi dan bentuk
kerugian lainnya.[1] Sistem Informasi Prakerin Pendidikan Teknik Informatika sudah dipublikasikan dari tahun 2015, akan tetapi belum pernah dilakukan evaluasi terhadap sistem informasi tersebut. Sehingga perlu dilakukan evaluasi dari segi usabilitynya (kebergunaan). Alat evaluasi pengukuran yang akan digunakan adalah usability
testing, cara pengukuran sistem informasi menggunakan
metode usability testing dengan menggunakan kuisioner yang akan diisi oleh responden.
Kemudahan penggunaan (usability) website atau sistem informasi sangat terkait dengan bidang keilmuan
Human Computer Interaction (HCI), yaitu mengenai
manusia sebagai pengguna sistem informasi berinteraksi dengan sistem yang ada pada sistem informasi tersebut [2].
HCI merupakan bidang ilmu yang berkembang sejak tahun 1970 yang mempelajari bagaimana mendesain tampilan layar komputer dalam suatu sistem informasi agar nyaman digunakan oleh pengguna. Menurut Carsten & Patterson, HCI berfokus pada pengembangan kapabilitas manusia untuk menggunakan mesin, mendesain dan membangun
interface, optimasi proses antara manusia dan mesin, usability interface, dan komunikasi yang lebih baik antara
manusia dengan mesin .[3]
Usability merupakan proses optimasi interaksi
antara pengguna dengan sistem yang dapat dilakukan dengan interaktif, sehingga pengguna mendapatkan informasi yang tepat.[4] Agar suatu sistem informasi menjadi efektif, efisien, dan dapat memberikan kepuasan kepada pengguna, maka sistem informasi tersebut harus dapat memberikan kesempatan kepada pengguna untuk menyelesaikan aktivitasnya pada aplikasi tersebut sebaik mungkin. Usability sebagai suatu pengalaman pengguna dalam berinteraksi dengan aplikasi atau sistem informasi sampai pengguna dapat mengoprasikannya dengan mudah dan cepat.[5] Faktor – faktor penyebab pentingnya website atau sistem aplikasi memiliki aspek usability, di antaranya adalah kebiasaan atau perilaku pengguna yang mengakses
website atau menggunakan sistem informasi.[5] Tidak
sedikit pengguna yang tidak dapat menerima design
website yang buruk dan mau mengulang waktu untuk
mempelajari suatu website atau sistem informasi. Atau dengan kata lain, pengguna sangat ingin segera mengerti dengan seketika (instant), atas apa yang disajikan dalam suatu sistem informasi.
Setiap sistem yang telah dilaksanakan perlu dinilai atau dievaluasi unjuk kerjanya untuk melihat sejauh mana
keberhasilannya dalam mencapai tujuan dan sasaran awal yang ditetapkan.[6] Usability testing adalah metode yang digunakan untuk mengevaluasi produk dengan mengujinya langsung pada pengguna. Usability testing memiliki beberapa teknik evaluasi yang berbeda yaitu teknik Think
Aloud, Shadowing Method, Coaching Method, Question-Asking, Protocol, Teaching Method, Performance Measurement, Remote Testing dan Eye Tracker. Diantara
beberapa teknik tersebut terdapat teknik dengan mengukur performa keberhasilan dan kecepatan pengerjaan task (perintah) yaitu teknik Performance Measurement. Teknik ini digunakan untuk memperoleh data kuantitatif tentang kinerja peserta tes ketika mereka melakukan tugas selama pengujian usability.[3] Teknik lain dalam metode usability
testing yang dapat dikombinasikan dengan teknik tersebut
adalah teknik Restrospective Think Aloud (RTA). Teknik ini adalah teknik yang memungkinkan seorang responden menceritakan hal apa yang dilakukan ketika tes telah selesai dilakukan.[3] Teknik Performance Measurement digunakan untuk mengukur aspek efektivitas dan efisiensi, sedangkan RTA digunakan utuk mengukur aspek kepuasan pengguna, sehingga dalam penelitian ini teknik yang digunakan adalah teknik Performance Measurement dan RTA.
Berdasarkan uraian masalah yang telah dipaparkan di atas penulis melakukan sebuah penelitian dengan judul “Evaluasi Usability Sistem Informasi Prakerin Pendidikan Teknik Informatika di Universitas Pendidikan Ganesha dengan Metode Usability Testing” yang bertujuan untuk mengevaluasi Sistem Informasi Prakerin PTI pada aspek
usability menggunakan metode usability testing yaitu
teknik Performance Measurement dan teknik RTA, serta dapat memberikan rekomendasi perbaikan atas sistem tersebut berdasarkan hasil evaluasi usability yang dilakukan. Data pengerjaan tugas kemudian dikumpulkan serta dianalisis
II. KAJIAN PUSTAKA A. Praktek Kerja Industri (Prakerin)
Prakerin atau Praktek Kerja Industri adalah kegiatan pendidikan, pelatihan dan pembelajaran yang dilaksanakan di dunia usaha atau dunia industri yang
relevan dengan kompetensi (kemampuan)
siswa/mahasiswa sesuai bidangnya. Dalam pelaksanaanya dilakukan dengan prosedur tertentu, bagi mahasiswa yang bertujuan untuk magang disuatu tempat kerja, baik dunia usaha maupun dunia industri.
Sesuai dengan Keputusan Menteri Pendidikan dan Kebudayaan RI nomor 323/U/1997 menyatakan bahwa,
Prakerin adalah suatu program yang bersifat wajib yang merupakan bagian dari Pendidikan Sistem Ganda (PSG) dalam pedoman praktis pelaksanaan Pendidikan Sistem Ganda disebutkan bahwa Prakerin adalah praktik keahlian produktif yang dilaksanakan diindustri atau perusahaan yang berbentuk kegiatan mengerjakan pekerjaan produksi atau jasa.
B. Sistem Informasi Prakerin Pendidikan Teknik Informatika
Sistem Informasi Prakerin merupakan sistem yang memberikan berbagai informasi tentang praktik kerja industri jurusan pendidikan teknik informatika, sistem ini memudahkan dalam memanajeman pendaftaran prakerin dan pengisian log activity oleh mahasiswa prakerin dan juga memanajeman tempat prakerin dengan menampilkan peta dari tempat mahasiswa prakerin.
Dalam Sistem Informasi Prakerin Pendidikan Teknik Informatika atau SI Prakerin PTI terdiri atas 3 (dua) pengguna yaitu admin, dosen dan mahasiswa. Beberapa tampilan dalam Sistem Informasi Praekrin PTI sebagai berikut:
Gambar 1. Form Login Dosen
Proses login bertujuan untuk melakukan validasi atau pengecekan terdaftar atau tidaknya account yang digunakan. Tampilan form login dosen sama tampilannya dengan form login mahasiswa.
Gambar 2. Menu Utama akunn dosen
Dalam Sistem Informasi Prakerin Pendidikan Teknik Informatika, pengguna dapat mengakses menu
utama (main menu), navigasi (navigation), Form Biodata, Pengumuman, dan Petunjuk penggunaan sistem.
Gambar 3. Tampilan form biodata mahasiswa
Gambar 3. Merupakan form biodata mahasiswa
yang fungsinya untuk memperbaharui data tentang mahasiswa sebagai pengguna.
Gambar 4. Form log activity mahasiswa
Gambar 5. Form input nilai sebagai pembimbing
Gambar 6. Form Daftar Prakerin
Dalam mendaftar prakerin mahasiswa harus mengikuti 3 langkah. Langkah pertama mehasiswa menentukan teman kelompoknya. Langkah kedua mengisi data prakerin. Langkah ketiga melaksanakan praekrin.
Gambar 7. Tampilan Form Maps Prakerin C. Evaluasi Sistem Informasi
Evaluasi berasal dari kata Bahasa Inggris yaitu “evaluation” yang berarti proses penilaian. Evaluasi yang dilakukan dalam penelitian ini adalah evaluasi sistem informasi. Evaluasi sistem informasi merupakan suatu proses penilaian kinerja sebuah sistem informasi yang dapat digunakan sebagai alternatif keputusan untuk kelangsungan sistem informasi tersebut.[7] Evaluasi memiliki tiga tujuan utama, antara lain sebagai berikut. [8] 1) Melihat seberapa jauh sistem informasi berfungsi, mencakup kesesuaian penggunaan sistem terhadap harapan user pada tugas tersebut. Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada sistem, dan untuk melihat keefektifan sistem dalam mendukung tugas.
2) Melihat efek interface bagi pengguna, mencakup aspek dari kemudahan sistem dipelajari, daya guna dan perilaku user.
3) Mengidentifikasi masalah khusus yang terjadi pada sistem dalam penggunaan suatu konteks
memberikan hasil yang tidak diinginkan terjadi kekacauan di antar user.
D. Usability
Usability merupakan seberapa mudah pengguna
belajar dan menggunakan satu produk utuk mencapai tujuan mereka dan seberapa puas mereka dengan proses– proses yang dilakukan itu.
Usability sebagai cara dimana seseorang yang menggunakan produk dapat melakukannya dengan cepat dan mudah untuk menyelesaikan tugas–tugasnya [9].
Sejauh mana suatu produk dapat digunakan oleh pengguna tertentu untuk mencapai target yang ditetapkan dengan efektivitas, efisiensi, dan mencapai kepuasan penggunaan dalam konteks tertentu.[2] Sebagian besar total biaya pengembangan perangkat lunak digunakan untuk perawatan karena permasalahan interaksi (usability) pengguna dengan sistem dan bukan permasalahan teknis
[10]. Situasi tersebut di atas menggambarkan pentingnya
analisis usability untuk mempertegas kebutuhan terhadap pengembangan aplikasi, sebelum, pada saat dan sesudah peroses pengembangan perangkat lunak.[10]
Terdapat 5 komponen penting yang harus dipenuhi agar suatu sistem mencapai tingkat usability yang ideal, yaitu sebagai berikut [2]:
1. Learnability
Ukuran bagi pengguna dalam memahami kebiasaan mengunjungi suatu sistem, mengetahui alasan mengakses dan mengidentifikasi yang dicari.
2. Efficiency
Situs yang efisien dapat menyajikan informasi dengan cepat.
3. Memorability
Ukuran bagi pengguna, sehingga sistem akan mudah diingat, bila banyak dilakukan perubahan, maka pengunjung akan memerlukan waktu untuk menyesuaikan dan mempelajarinya kembali.
4. Errors
Seberapa sering suatu website atau sistem informasi terjadi kesalahan, link yang tidak berfungsi.
5. Satisfaction
Keinginan pengguna bagaimana pengguna dapat pergi kemana saja dalam sebuah website atau sistem informasi.
Evaluasi Usability adalah proses yang melibatkan pengguna sehingga dapat mempelajari dan menggunakan produk guna tercapainya aspek – aspek kenyamanan pengguna seperti efektivitas, efisiensi, dan kepuasan pengguna terhadap sistem secara keseluruhan.[11] Terdapat empat tahapan yang harus dilakukan untuk melakukan evaluasi usability dalam sebuah website atau sistem informasi, yaitu (1) menentukan waktu yang tepat untuk melakukan evaluasi usability; (2) mengumpulkan
informasi; (3) memilih metode yang tepat; serta (4) melakukan usability evaluation.[12]
Tabel 1. Kategori Metode Evaluasi Usability [3] Nama Metode Penggunaan
Responden Peran Evaluator Usability Model / Metricsbased Tidak Menggunakan
model atau tool untuk
menghasilkan pengukuran
usability Inspection Tidak Meninjau user
interface dan mencobanya untuk menemukan masalah Testing Ya Mengobservasi pengguna saat berinteraksi dengan sistem Mengumpulkan dan menganalisa data untuk mengidentifikasi masalah Inquiry Ya Berkomunikasi dengan pengguna untuk mendapatkan wawasan mengenai masalah usability.
Tabel 2. Teknik Evaluasi Usability.[3]
Nama Metode Teknik
Model/Metricsbased Layout Appropriateness Web Metrics
GOMS and other models NIST Web Metrics Web Log Based
Inspection Cognitive Walk-Through Heuristic Evaluation Variants of Heuristic Evaluation
Pluralistic Walk-Through
Nama Metode Teknik Perspective-Based Inspection Testing Thinking-Aloud Protocol Shadowing Method Co-Discovery Learning Coaching Method Question-Asking Protocol Teaching Method Performance Measurement Remote Testing Eye Tracking Inquiry Field Observation
Focus Group Interviews Questionnaires
Pada Tabel 2. disebutkan beberapa teknik evaluasi yang termasuk dalam kategori metode evaluasi usability
testing.
E. Wireframes
Wireframe adalah ilustrasi antarmuka yang
berfokus pada alokasi ruang dan prioritas konten [13].
Dengan demikian, secara umum wireframes sederhana dan dapat dibuat secara manual dengan tangan atau dengan menggunakan perangkat lunak. Wireframes yang dibuat dalam penelitian ini adalah gambar rangka sederhana yang menyediakan gambar mengenai tata letak dan tidak memberikan informasi atau fungsi yang lebih rinci mengenai perbaikan rekomendasi user interface Sistem Informasi Prakerin PTI.
F. Performance Measurement
Costello menyatakan pengukuran kinerja (Performance Measurement) adalah suatu proses penilaian kemajuan pekerjaan terhadap tujuan dan sasaran yang telah ditentukan sebelumnya, termasuk informasi atas: efisiensi pengguna sumber daya dalam menghasilkan barang dan jasa; kualitas barang dan jasa (seberapa baik barang dan jasa diserahkan kepada pelanggan dan sampai seberapa jauh pelanggan terpuaskan).
G. Retrospective Think Aloud (RTA)
Dengan menggunakan teknik think aloud, saat tes responden akan diminta memverbalisasi pikiran, perasaan, dan pendapat saat berinteraksi dengan sistem. Hal ini sangat berguna untuk menangkap berbagai kegiatan kognitif yang dilakukan responden. Teknik RTA dilakukan ketika responden selesai melakukan interaksi dengan sistem sehingga menceritakan apa yang dia fikirkan (think
aloud).
H. Uji Statistik Mann Whitney U-Test
Uji Statistik Mann Whitney U-Test merupakan alternatif bagi uji-t dalam statistik parametik. Mann
Whitney U-Test adalah sebuah uji statistik non parametik
yang digunakan untuk membandingkan dua kelompok independen (berbeda partisan dalam setiap kelompoknya).[3]
Dengan Mann Whitney U-Test dapat dilakukan bebrapa hal sebagai berikut.
1) Melakukan ranking terhadap masing-masing angka.
Ranking adalah sebuah proses dari penyusunan
sebuah set data dimana nilai aktual dari data-data tersebut berubah-ubah.
2) Menambahkan nilai yang telah diranking dalam beberapa kondisi
3) Menguji total dari sejumlah rank
Menguji apakah dua mean populasi sama atau tidak Asumsi yang berlaku dalam Mann Whitney U-Test adalah sebagai berikut.[3]
1) Sampel yang berasal dari populasi adalah acak, 2) Sampel bersifat independen,
3) Skala pengukuran yang digunakan adalah ordinal. Untuk menghitung nilai statistik Mann Whitney
U-Test, rumus yang digunakan adalah sebagai berikut.[3]
𝑈 = 𝑛1𝑛2 +𝑛2(𝑛2 + 1)
2 − ∑ 𝑅1
𝑛2 𝑖=𝑛1+1
Dengan:
U = nilai Mann Whitney U-Test n1 = sampel 1
n2 = sampel 2
III. METODE PENELITIAN A. Jenis Penelitian
Jenis penelitiaan evaluasi usability Sistem Informasi Prakerin Pendidikan Teknik Informatika ini adalah penelitian survei berbasis pengguna dengan metode deskriptif analitis. Metode survei deskriptif menjelaskan atau mencatat kondisi atau sikap untuk menjelaskan apa yang ada saat ini.[14] Penelitian ini menganalisis secara deskriptif mengenai evaluasi pengguna sistem informasi prakerin pendidikan teknik infromatika dari segi
usabilitynya.
B. Lokasi dan Waktu Penelitian
Lokasi penelitian adalah tempat dimana penelitian akan dilakukan. Penelitian ini dilakukan di Jurusan Pendidikan Teknik Informatika khususnya mahasiswa yang mengambil mata kuliah prakerin, karena program prakerin ini dilaksanakan di jurusan PTI. Sedangkan waktu penelitian ini adalah tahun 2017.
C. Variabel Penelitian
Variabel adalah segala sesuatu yang berbentuk apa saja yang ditetapkan oleh peneliti untuk dipelajari sehingga diperoleh informasi tentang hal tersebut, kemudian ditarik kesimpulannya.[15] Penelitian ini tergolong penelitian yang bersifat evaluatif, yaitu mengevaluasi sebuah sistem informasi yaitu sistem informasi prakerin pendidikan teknik informatika yang diukur dari aspek usabilitynya yang mencakup efektivitas, effisiensi, dan kepuasan pengguna.
D. Prosedur Penelitian
Penelitian yang dilakukan peneliti terdiri dari 5 tahap utama seperti yang dikuti dari,[3] yaitu sebagai berikut.
1. Persiapan Penelitian
Pada tahap persiapan penelitian, hal-hal yang dilakukan sebagai berikut.
- Menentukan topik penelitian
- Membaca berbagai sumber teori seperti jurnal dan referensi lain mengenai metode untuk evaluasi
usability, HCI, teknik performance measurement, dan
RTA.
- Merumuskan permasalahan dari penelitian yang dilakukan.
- Menentukan tujuan penelitian, yaitu sasaran yang ingin dicapai dari penelitian ini.
- Menentukan metode penelitian yang akan dilakukan dalam penelitian.
2. Pengambilan data halaman Sistem Informasi Prakerin PTI.
Pengambilan data pada sistem informasi prakerin pendidikan teknik informatika deilakukan dengan tahapan sebagai berikut.
- Mengidentifikasi data-data yang dibutuhkan untuk memecahkan masalah sesuai dengan tujuan penelitian.
- Melakukan pengambilan data pada pihak pengembang yang akan dijadikan objek penelitian. - Melakukan pengambilan data dengan menggunakan
teknik performance measurement dan RTA.
3. Pengolahan data dan analisis halaman Sistem Informasi Prakerin PTI
Dalam tahap pengolahan data pada desain user
interface Sistem Informasi Prakerin PTI, data yang didapat
akan diolah bedasarkan dua teknik evaluasi:
- Untuk teknik Performance Measurement data yang diolah adalah data kecepatan dan ketepatan atau keakuratan responden dalam menyelesaikan tugas. - Untuk teknik RTA data yang akan diolah adalah data
yang didapat melalui wawancara setelah tahap
pengambilan data dengan Performance
Meausrement.
4. Perancangan wireframe halaman sistem informasi prakerin PTI
Dari data yang telah diolah akan didapat beberapa data yang dapat digunakan untuk proses perancangan rekomendasi yaitu dengan Think Aloud dari responden yang digunakan untuk menggali lebih dalam data dari teknik performance measurement sehingga hasil yang didapat lebih akurat.
5. Kesimpulan dan saran
Pada tahap ini akan dibuat beberapa kesimpulan dari penelitian yang sudah dilakukan dan ditambahkan dengan saran untuk penelitian selanjutnya.
E. Populasi dan Sampel Penelitian 1. Populasi Penelitian
Populasi dalam penelitian ini adalah dosen dan mahasiswa di Jurusan Pendidikan Teknik Informatika (PTI). Jumlah populasi dosen PTI sebanyak 14 orang dan jumlah mahasiswa PTI sebanyak 498 orang selanjutnya disajikan pada Tabel Data Dosen dan Tabel Data Mahasiswa berikut.
2. Sampel Penelitian
Teknik pengambilan sampel yang digunakan dalam penelitian ini adalah teknik Stratified Random Sampling. Cara pengambilan sampel dari anggota populasi dengan teknik ini secara acak dengan memperhatikan strata (tingkatan) dalam anggota populasi tersebut.
Untuk mengidentifikasi permasalahan dalam desain sebuah sistem cukup menggunakan 5 (lima) orang untuk mendapatkan permasalahan desain sebuah sistem. [3] Oleh sebab itu, peneliti menargetkan 6 (enam) sampel dosen dan
6 (enam) sampel mahasiswa untuk melakukan usability
testing, sehingga total sampel dalam penelitian berjumlah
12. Kemudian masing-masing sampel tersebut dikelompokan menjadi 2 kelompok yaitu kelompok mahir dan kelompok pemula. Untuk sampel yang dikatakan kelompok pemula adalah sampel yang belum pernah menggunakan Sistem Informasi Prakerin PTI, dan untuk sampel yang dikatakan kelompok mahir adalah sampel yang sudah pernah menggunakan Sistem Inforamsi Prakerin PTI.
F. Teknik Pengumpulan Data 1. Performance Measurement
Teknik Performance Measurement digunakan untuk menghasilkan data kuantitatif mengenai performa responden saat mereka melakukan penyelesaian tugas dalam sebuah tes untuk mengukur usability halaman Sistem Informasi Prakerin PTI. Dalam penelitian ini teknik
Performance Measurement menjadi bagian yang sangat
penting karena dengan teknik ini dapat mengukur usability dari halaman Sistem Informasi Prakerin PTI berdasarkan dua komponen dari tiga komponen utama dalam definisi
usability yaitu mengukur efektifitas dan juga keefisienan.
Keefisienan akan dilihat dari keberhasilan responden melakukan tugas yang diberikan.
Dalam proses pengambilan data apabila responden gagal menyelesaikan tugas karena salah masuk ke menu yang diinginkan atau menyerah maka responden tersebut dinilai melakukan error. Apabila dalam melaksanakan tugas responden melakukan error maka halaman Sistem Informasi Prakerin PTI dapat dikatakan tidak efektif karena tidak mampu memberikan navigasi yang baik bagi penggunanya. Keefisienan dapat diukur dalam teknik ini dengan melihat waktu pengerjaan yang dilakukan oleh responden dalam menyelesaikann tugas
2. Retrospective Think Aloud (RTA)
Dalam penelitian ini, teknik RTA menjadi bagian yang sangat penting karena dengan teknik ini dapat mengukur usability dari halaman Sistem Informasi Prakerin PTI berdasarkan komponen utama dalam
usability yaitu mengukur tingkat kepuasan pengguna dan
penentuan rekomendasi. Teknik ini dikombinasikan dengan teknik pengisian kuisioner Software Usability
Sistem (SUS) yaitu kuisioner yang digunakan untuk
mengukur nilai kepuasan pengguna terhadap Sistem Informasi Prakerin PTI yang mengacu pada Standar
Usability Questionmaires. Teknik ini dilakukan kepada
responden setelah melakukan proses pengambilan data
Performance Measurement
G. Jenis dan Sumber Data
1. Jenis Data Dalam Penelitian Ini Terdiri Dari : - Data kualitatif dalam penelitian ini adalah hasil
deskripsi maupun informasi dari keadaan yang terjadi di lapangan mengenai prilaku dosen dan mahasiswa dalam menggunakan Sistem Informasi Prakerin PTI yang diperoleh dari teknik yang digunakan. Selain itu data kualitatif diperoleh dari usability testing dengan teknik RTA.
- Data kuantitatif dalam penelitian ini adalah hasil
usability testing dengan teknik Performance Measurement dan kuisioner SUS.
2. Sumber Data dalam penelitian ini terdiri dari: - Data primer dalam penelitian ini adalah data hasil
survei usability pada Sistem Informasi Prakerin PTI dengan menggunakan usability testing.
- Data sekunder dalam penelitian ini didapatkan dari jurnal penelitian, artikel, buku dan literatur lainnya yang relevan dengan penelitian.
H. Instrumen Penelitian
Dalam penelitian ini, instrumen yang digunakan adalah dalam bentuk daftar task skenario dan kuisioner SUS.
I. Analisis Data
Bagian ini menjelaskan tentang metode yang digunakan untuk melakukan analisis hasil data yang sudah di dapat, yaitu hasil data kuantitatif dan kualitatif.
J. Teknik Mengembangkan Rekomendasi
Dasar penentuan perbaikan yang dilakukan pada penelitian ini didapat dari hasil usability testing yaitu metode RTA dan juga dari panduan pembuatan user
interface halaman web bedasarkan ilmu HCI yang didapat
dari literatur.
Dasar Perbaikan dari Hasil Usablity Testing yang digunakan untuk menentukan perbaikan didapat dari hasil
usability testing dengan teknik RTA. Selain itu perbaikan
juga melihat kembali saran dan kritik yang diberikan responden sebagai peserta usability testing.
Setelah diketahui dasar perbaikan yang akan dilakukan dari hasil pengukuran usability, kemudian untuk membuat perbaikan ini sesuai dengan tujuan yaitu untuk membuat user interface Sistem Informasi Prakerin lebih mudah digunakan oleh pengguna maka diterapkanlah beberapa panduan pembuatan web yang baik dari literatur berdasarkan pada ilmu HCI.
IV. HASIL PENELITIAN DAN PEMBAHASAN A. Deskripsi Data
Pada bagian ini akan dideskripsikan mengenai hasil penelitian dan pembahasan hasil penelitian. Hasil penelitian dan pembahasan dari masing masing aspek
usability yakni efektivitas, efisiensi, dan kepuasan
pengguna akan dilakukan secara sistematis. Adapun rincian dari masing masing komponen tersebut dapat dijabarkan sebagai berikut.
B. Pembahasan Hasil Penelitian
Pada bagian ini dianalisis keefektifan dan keefisienan serta kepuasan pengguna yang didapat dari proses usability testing dengan teknik Performance
Measurement dan Retrospective Think Aloud (RTA). Untuk
mengukur keefektifan dilakukan penghitungan jumlah
error yang dilakukan oleh responden. Sedangkan untuk mengukur keefisienan seperti yang telah dijelaskan sebelumnya hasil data akan dibandingkan antara pengguna kelompok pemula dan kelompok mahir dengan menggunakan uji statistik. Serta untuk mengukur kepuasan penggunadilakukan dengan melakukan rekapitulasi hasil kuisioner dan dianalisis denganperhitungan SUS.
1. Efektivitas
Untuk menganalisis dan mengukur efektivitas diukur dengan melihat terjadinya error yang terjadi saat responden meyelesaikan tugas. Berikutdijabarkan analisis berserta hasil efektivitas Sistem Informasi Prakerin PTI dari segipengguna yaitu mahasiswa dan dosen.
- Hasil Efektivitas Pada Data Mahasiswa
Berdasarkan data performance measurement maka diperoleh data kejadian kesalahan (error) pada responden mahasiswa pada Tabel 3 berikut.
Tabel 3. Data Kesalahan (error) Responden Mahasiswa Kelom pok Macam Tugas Jumlah Respond en Juml ah Error Persentase Jumlah Error Pemula Tugas 1 3 0 0.00% Tugas 2 3 0 0.00% Tugas 3 3 0 0.00% Tugas 4 3 0 0.00% Tugas 5 3 0 0.00% Tugas 6 3 0 0.00% Tugas 7 3 0 0.00% Tugas 8 3 1 33.34% Tugas 9 3 2 66.67% Tugas 10 3 0 0.00% Mahir Tugas 1 3 0 0.00% Kelom pok Macam Tugas Jumlah Respond en Juml ah Error Persentase Jumlah Error Tugas 2 3 0 0.00% Tugas 3 3 0 0.00% Tugas 4 3 2 66.67% Tugas 5 3 2 66.67% Tugas 6 3 1 33.34% Tugas 7 3 0 0.00% Tugas 8 3 0 0.00% Tugas 9 3 2 66.67% Tugas 10 3 0 0.00%
Berdasarkan data error responden mahasiswa yang ditampilkan pada Tabel 3. menunjukkan bahwa ada responden yang error atau gagal menyelesaikan tugas. Presentase kesalahan atau error yang terjadi pada responden mahasiswa kelompok pemula pada tugas 8 dan 9 berjumlah 33.34%, dan 66.67%. Sedangkan kesalahan atau error yang terjadi pada responden mahasiswa kelompok mahir yaitu tugas 4, 5, 6 dan tugas 9 berjumlah 66.67%, 66.67%, 33.34 dan 66.67%%.
Dari data performance measurement diketahui responden yang melakukan error adalah responden dengan kode responden M312 pada pengerjaan tugas 8, M312, M313, M321, dan M323 pada pengerjaan tugas 9, M321 dan M322 pada pengerjaan tugas 4, M321 dan M323 pada pengerjaan tugas 5, M321 pada pengerjaan tugas 6. Dengan terdapatnya error beserta penyebabnya pada proses penyelesaian tugas tersebut, dapat disimpulkan bahwa halaman Sistem Informasi Prakerin PTI dari segi pengguna mahasiswa dikatakan belum efektif.
- Hasil Efektivitas Pada Data Responden Dosen Berdasarkan data performance measurement maka diperoleh data kejadian kesalahan (error) pada responden dosen pada Tabel 4. berikut.
Tabel 4. Data Kesalahan (error) Responden Dosen Kelompok Macam Tugas Jumlah Respon den Juml ah Error Persentase Jumlah Error Pemula Tugas 1 3 0 0.00% Tugas 2 3 1 33.34% Tugas 3 3 0 0.00% Tugas 4 3 0 0.00% Tugas 5 3 0 0.00% Tugas 6 3 1 33.34% Tugas 7 3 0 0.00% Tugas 8 3 0 0.00% Tugas 9 3 0 0.00% Tugas 10 3 0 0.00%
Mahir Tugas 1 2 0 0.00% Tugas 2 2 0 0.00% Tugas 3 2 1 50.00% Tugas 4 2 0 0.00% Tugas 5 2 1 50.00% Tugas 6 2 0 0.00% Tugas 7 2 0 0.00% Tugas 8 2 0 0.00% Tugas 9 2 0 0.00% Tugas 10 2 0 0.00%
Berdasarkan data error responden dosen yang ditampilkan pada Tabel 4. menunjukkan bahwa ada responden yang error atau gagal menyelesaikan tugas. Presentase kesalahan atau error yang terjadi pada responden dosen kelompok pemula pada tugas 2 dan 6 berjumlah 33.34% dan 33.34%. Sedangkan kesalahan atau
error yang terjadi pada responden dosen kelompok mahir
yaitu tugas 3 dan tugas 5 berjumlah 50.00% dan 50.00%. Dari data performance measurement diketahui responden yang melakukan error adalah responden dengan kode responden D333 pada pengerjaan tugas 2, D342 pada pengerjaan tugas 3, D341 pada pengerjaan tugas 5, D331 pada pengerjaan tugas 6.
Dengan terdapatnya error beserta penyebabnya pada proses penyelesaian tugas tersebut, dapat disimpulkan bahwa halaman Sistem Informasi Prakerin PTI dari segi pengguna dosen dikatakan belum efektif.
2. Efisiensi
Untuk mengukur efisiensi pengerjaan tugas pada dilakukan dengan membandingkan waktu pengerjaan responden pemula dengan responden mahir pada hasil pengukuran usability Sistem Informasi Praerin PTI menggunakan Mann Whitney U-test.
Oleh karena itu, dapat ditarik kesimpulan bahwa secara statistik dari 9 tugas dapat dinyatakan tidak ada perbedaan yang signifikan, dan hanya 1 tugas yang memiliki perbedaan yang signifikan waktu pengerjaan tugas responden mahasiswa kelompok mahir dan kelompok pemula meskipun waktu pengerjaan pada responden mahasiswa kelompok mahir sedikit lebih cepat dari responden pemula. Dari kesimpulan ini dapat diputuskan bahwa halaman Sistem Informasi Prakerin PTI dari segipengguna mahasiswa sudah efisien
3. Hasil Efisiensi Pada Data Dosen
Oleh karena itu, dapat ditarik kesimpulan bahwa secara statistik dari 6 tugas dapat dinyatakan tidak ada perbedaan yang signifikan, dan 4 tugas yang memiliki perbedaan yang signifikan waktu pengerjaan tugas respondendosen kelompok mahir dan kelompok pemula
meskipun waktu pengerjaan pada responden dosen kelompok mahir sedikit lebih cepat dari responden pemula. Dari kesimpulan ini dapat diputuskan bahwa halaman Sistem Informasi Prakerin PTI dari segipengguna dosen sudah efisien
4. Kepuasan Pengguna
Setelah responden selesai berinteraksi dengan halaman Sistem Informasi Prakerin PTI, responden kemudian diberikan kuisioner SUS yang bertujuan untuk melihat kepuasan responden. Perhitungan dilakukan dengan menghitung nilai skoruntuk tiap kuesioner.
Perolehan nilai skor untuk kuesioner responden mahasiswa sebesar 62,08. Hal ini berarti nilai skor tesrsebut lebih kecil dari skor standar SUS yaitu 68, sehingga dapat dikatakan bahwa responden mahasiswa kurang puas menggunakan Sistem Informasi Prakerin PTI. Dilihat dari data kuisioner yang diperoleh pernyataan yang memiliki nilai terendah adalah pengguna merasa banyak tampilan pada Sistem Informasi Prakerin PTI yang tidak konsisten.
Perolehan nilai skor untuk kuesioner responden dosen yang dapat dilihat pada Lampiran 8 sebesar 60.42. Hal ini berarti nilai skor tesrsebut lebih kecil dari skor standar SUS yaitu 68, sehingga dapat dikatakan bahwa responden dosen kurang puas menggunakan Sistem Informasi. Dilihat dari data kuisioner yang pernyataan yang memiliki nilai terendah yaitu responden dosen merasa fungsi yang ada di Sistem Informasi Praekrin PTI belum bagus terintegrasi
5. Rekomendasi Perbaikan
Dari kesimpulan yang didapat dari usability testing pada Sistem Informasi Prakerin yang menjadi objek penelitian, diketahui bahwa halaman tersebut tidak mampu memenuhi kriteria usability sebuah web karena dinilai masih belum efektif dan belum memenuhi kepuasan penggunanya sehingga dalam penelitian iniakan dirancang memeberikan rekomendasi halaman Sistem Informasi Praekrin PTI. Rekomendasi perbaikan akan dilakukan dengan membuat wireframe dimana dasar yangdigunakan untuk mengembangkan rekomendasi adalah panduan HCI dan hasil data usability testing yaitu performance
measurement dan RTA. Berdasarkan hasil performance measurement,rekomendasi perbaikan dalam penelitian ini akan difokuskan untuk mengubah tata letak (layout) halaman, penjelasan pada text input dan menu navigasi pada hasil data penyebab kesalahan(error) pada pengguna. Selain itu berdasarkan hasil saran pengguna melalui hasil RTA yaitu menambahkan fitur-fitur menu yang dibutuhkan pengguna. Berikut adalah halaman Sistem Informasi Prakerin hasil rekomendasiperbaikan.
V. PENUTUP
Berdasarkan hasil penelitian dan hasil analisis data survei usability Sistem Informasi Prakerin PTI dapat disimpulkan sebagai berikut.
Hasil evaluasi usability testing Sistem Informasi Prakerin PTI masih tergolong belum efektiv, karena masih terjadinya kesalahan atau error yang dilakukan oleh responden saat menggunakan sistem tersebut. Dari segi pelaksanaan waktu pengerjaan tugas antara responden mahasiswa dan dosen baik responden pemula dan mahir tidak ada perbedaan yang sidgnifikan, bisa dikatakan efisien. Akan tetapi pengguna mahasiswa atau dosen belum merasa puas dengan Sistem Informasi Prakerin PTI dilihat dari hasil rekapitulasi kuisioner mahasiswa yaitu 62.08 dan responden dosen yaitu 60,42 masih lebih kecil dari skor standar SUS yaitu 68.
Rekomendasi perbaikan Sistem Informasi Prakerin PTI yaitu perlunya ditambah menu-menu yang ada dalam sistem. Seperti menu data prakerin yang awalnya berada dalam menu daftar prakerin disarankan dibuatkan menu tersendiri dala side bar. Perlunya dibuatkan halaman ubah
password agar pengguna lebih mudah apabila inggi
mengubah password akunnya. Dalam form penilaian dosen perlu diisikan penjelasan dalam kolom nilainya apakah nilainya harus diisi dengan angka atau huruf.
Guna meningkatkan kepuasan pengguna dari segi kegunaanya, hendaknya dilakukan perbaikan atau penambahan dari fitur-fitur system yang sudah ada. Hasil temuan dan masukan yang diperoleh hendaknya digunakan sebagai bahan masukan untuk pengembangan jurusan PTI secara berkelanjutan. Jurusan perlu memfasilitasi mahasiswa untuk mengembangkan Sistem Informasi Praekrin PTI ini agar bisa diakses langsung melalui adroid atau bersifat mobile.
REFERENSI
[1] Department, U. (2009). usability. Retrieved from usability: http://www.usability.gov
[2] Rahadi, D. R. (2014). Pengukuran Usability Sistem Menggunakan Use Questionaire Pada Aplikasi Android. Jurnal Sistem Informasi
(JSI).
[3] Utama, S. (2011). Perbaikan User Interface Halaman Internet
Banking dengan Metode Usability Testing. Jakarta.
[4] Widya, U. (2016). Evaluasi Usability Pada E-Learning
Universitas Pendidikan Ganesha dengan Metode Usability Testing. Singaraja.
[5] Nielsen. (1994). Heuristic Evaluation
[6] Falahah, I. R. (2011). Evaluasi Implementasi Sistem Informasi dengan Pendekatan Utility Sistem (Studi Kasus Sistem E-Campus Universitas Widyatama. Jurnal Ilmiah KURSOR, 0216-0544..
[7] Sembada, D. A. (2012). Evaluasi Penggunaan Content
Management System (CMS) Untuk Sistem Informasi Perpustakaan dengan Technology Acceptarice Model (TAM). Jakart.
[8] Savitri, P. (2015). Review Desain Interface Aplikasi SOPPPOS Menggunakan Evaluasi Heuristik. SIMETRIS, 2252-4983. [9] Ridwan, F. Z. (2008). Analisa Usability Untuk Mengetahui User
Experience Pada Aplikasi Berbasis Web. FASILLKOM. [10] Prayoga. (2014). Analisis Usability Pada Aplikasi Berbasis Web
dengan Mengadopsi Model Kepuasan Pengguna (User Satisfaction). Jurnal Sistem Informasi MTI-UI, 1412-8896. [11] usability.gov. (n.d.). usability. Retrieved from usability:
http://www.usability.gov
[12] Ersa, A. M. (2015). Usability Evaluation Website E-Government
Layanan Aspirasi dan Pengaduan Online (LAPOR!): Perbandingan Antara Existing Product dan Development Product.
Jakarta.
[13] Junus, I. S. (2015). Usability Evaluaiton of The Student Centered e-Learning Enviroment. Jurnal International Review of Research
in Open and Distributed Learning.
[14] Morisan. (2014). Metode Penelitian Survei.
[15] Sugiyono. (2009). Metode Penelitian Bisnis (Pendekatan
Kualitatif, Kuantitatif, dan R&D). Bandung.
![Tabel 1. Kategori Metode Evaluasi Usability [3]](https://thumb-ap.123doks.com/thumbv2/123dok/4938443.3485293/5.893.419.807.295.1100/tabel-kategori-metode-evaluasi-usability.webp)
