590| Universitas Multi Data Palembang
MEMETAKAN PENGALAMAN PENGGUNA DENGAN MENGGUNAKAN USER EXPERIENCE QUESTIONNAIRE (UEQ)
Azzahra Ramadhanita Suardi1*), Wijang Widhiarso2
1,2Program Studi Sistem Informasi, Fakultas Ilmu Komputer dan Rekayasa, Universitas Multi Data Palembang
1*)[email protected], 2[email protected]
Kata kunci:
pemetaan; pengalaman pengguna; user experience questionnaire
Abstract: CISEA is an information technology-based application used by PT Bukit Asam since October 2018. Of the 2000 CISEA users, this study was conducted to map the user experience of CISEA applications.
Using the User Experience Questionnaire (UEQ) method consisting of 6 variables. The results of the data collection process from the query distributed to the user, obtained the highest score on the clarity scale of 2.326 and the lowest score obtained on the stimulation scale of 2.238.
Based on the processing of the query data, the assessor can recommend a new application feature design that can be considered by PT Bukit Asam for future application development, the result of this study is a feature of borrowing money to the PT Bukit Asam cooperative.
Abstrak: CISEA merupakan aplikasi yang berbasis teknologi informasi yang digunakan oleh PT Bukit Asam sejak oktober 2018. Dari banyaknya pengguna CISEA yang berjumlah 2000 pengguna, maka dilakukan penelitian ini untuk memetakan pengalaman pengguna aplikasi CISEA.
Dengan metode User Experience Questionnare (UEQ) yang terdiri dari 6 variabel. Hasil proses pengumpulan data dari kuisioner yang disebarkan kepada pengguna, mendapatkan hasil dengan skor tertinggi pada skala kejelasan 2,326 dan skor terendah didapat pada skala stimulasi 2,238.
Berdasarkan pengolahan data kuisioner maka peniliti dapat merekomendasikan rancangan fitur aplikasi baru yang dapat dipertimbangkan oleh pihak PT Bukit Asam untuk pengembangan aplikasi kedepannya, hasil penelitian ini berupa fitur pinjam uang ke koperasi PT Bukit Asam.
Suardi & Widhiarso (2023). Memetakan Pengalaman Pengguna dengan Menggunakan User Experience Questionnaire (UEQ). MDP Student Conference 2023
PENDAHULUAN
PT Bukit Asam merupakan salah satu perusahaan Badan Usaha Milik Negara (BUMN) yang bergerak dalam bidang pertambangan batubara terbesar di Indonesia, lokasinya tersebar di 4 wilayah yaitu, kantor pusat dan Unit Penambang Tanjung Enim (UPTE) yang berada di Tanjung Enim, Pelabuhan Tarahan yang berada di Lampung, Unit Dermaga Kertapati yang berada di Palembang, Unit Penambangan Ombilin yang berada di sawahlunto, dan kantor perwakilan yang berada di Jakarta. Saat ini PT Bukit Asam telah melakukan penambangan dengan metode terbuka (open pit), dengan cara penggalian eksplorasi ke bawah tanah secara terus menerus untuk menemukan lapisan batubara. Hasil dari pengolahan batubara tersebut kini
Universitas Multi Data Palembang | 591 mulai dikembangan dalam usaha bisnis energi seperti, PLTU, CBM, dan benefisasi batubara lainnya. Sumber daya manusia yang dimiliki oleh PT Bukit Asam tersebar dari satu lokasi penambangan ke lokasi lainnya yang membuat perusahaan harus dapat meratakan penyebarluasan informasi. Untuk menerapkan pemanfaatan teknologi, tim IT PT Bukit Asam membangun aplikasi yang mampu memantau aktivitas karyawan secara real-time melalui ponsel. CISEA (Coorporate Information System Enterprise Appication) merupakan salah satu bukti pemanfaatan TI yang digunakan perusahaan sebagai media informasi dan
komunikasi karyawan. Aplikasi ini berkaitan juga dengan pelaporan online dan real-time untuk operasional pertambangan, menggantikan sistem pelaporan manual. CISEA mengintegrasikan beberapa sistem sekaligus, seperti Automation & SCADA System Integration, Bukit Asam Mine Dispatch Optimation System, Automatic Train Loading Station, Slope Stability Radar (SSR), Digital Telemetri, Sistem Pemantauan Air Terintegrasi (SPARING), dan Corporate Social Responsibility (SCR).CISEA telah digunakan sejak tahun 2019, perjalanan penggunaan aplikasi sejak tahun 2019 telah melewati beberapa kali pengembangan fitur untuk menyesuaikan dengan tingkat kebutuhan karyawan, selama kurun waktu 3 tahun penggunaan aplikasi belum pernah dilakukan survey yang terencana dari pihak perusahaan mengenai user experience. Metode User Experience Questionnaire (UEQ) merupakan metode yang memiliki skala penilaian yang berdasarkan pengalaman pengguna terhadap suatu aplikasi dengan indikator yang dapat mengevaluasi keseluruhan dari para pengguna aplikasi dan variabel yang terkandung dalam metode UEQ sesuai dengan aplikasi CISEA[1].
Penilitian yang terkait yang menggunakan metode EUQ menunjukkan impresi positif dalam menilai evaluasi pengguna aplikasi seperti shopee[2]. Evaluasi pemetaan pengalaman pengguna juga dilakukan pada produk gift card tiket.com yang mendapatkan hasil berupa perubahan desain sebagai solusi perbaikan[3].
Penelitian menggunakan UEQ juga dilakukan pada e-report application dimana hasil menunjukkan kesalahan aplikasi dalam memindai tugas murid sebesar 100% sehingga aplikasi perlu melakukan perbaikan secara menyeluruh[4]. Pentingnya penelitian ini untuk mengetahui sudah seberapa jauh tingkat kualitas fungsi fitur yang sediakan kepada karyawan, kemudahan karyawan terhadap akses aplikasi dengan mempertimbangkan lokasi penambangan yang berjauhan, dan apakah pengelompokkan kebutuhan karyawan sudah sesuai dengan ketersediaan fitur yang ada didalam aplikasi. Penelitian ini dilakukan sebagai langkah untuk menggali seberapa besar pengaruh pengalaman pengguna terhadap aplikasi CISEA yang akan dijadikan landasan pengembangan yang bersumber dari sisi kebutuhan pengguna. Maka dari itu perlu dilakukan analisis dari persepsi pengalaman pengguna agar mendapatkan kesimpulan terkait penggunaan aplikasi yang kedepannya akan dijadikan dasar pertimbangan untuk mengembangkan fitur-fitur aplikasi, dan evaluasi yang menjadi acuan untuk perbaikan fungsi aplikasi kedepannya[5]. Analisis ini dilakukan dengan menggunakan metode User Experience Questionnaire (UEQ) yang memiliki beberapa komponen utama, yakni Perspicuity, Attractiveness, Effeciency, Stimulation, Novelty, dan Dependability [6]. Kuisioner yang ada di dalam UEQ memiliki skala pengukuran tersebut, yaitu Perpicuity menjelaskan kesan pengguna terhadap produk sebuah produk, seperti mudah dipahami atau tidak. Attractive menjelaskan berapa besar daya tarik pengguna terhadap produk, seperti atraktif atau tidak. Effeciency menjelaskan seberapa besar pengguna menyeselaikan kegiatannya tanpa usaha yang lebih atau efisien. Stimulation menjelaskan seberapa pengguna termotivasi dan tertarik terhadap produk. Novelty menjelaskan apakah produk mengalami pembaruan atau tidak (inovasi). Dependability menjelaskan apakah pengguna dapat mengendalikan atau mengontrol interaksi terhadap produk[7].
METODE
Pada proses awal penelitian ini, penulis melakukan identifikasi masalah terhadap aplikasi CISEA, kemudian penulis mengumpulkan referensi terkait teori pendukung penelitian yang berhubungan dengan metode yang digunakan. Menentukan sampel dari jumlah populasi yang ada untuk kemudian disebarkan kuisioner sebagai alat pengukuran penelitian ini, setelah itu data yang didapat akan di proses dengan data analysis tools UEQ. User experience quitionnaire (UEQ) adalah suatu instrumen yang lakukan untuk pengolahan berbagai data survey yang berdasar, dapat dipercaya, dan dimanfaatkan dalam melakukan
592| Universitas Multi Data Palembang
penilaian, yang berkualitas subjektif [3]. Daya tarik merupakan suatu dimensi yang murni. Efisiensi, kejelasan, dan ketepatan adalah aspek kualitas yang pragmatis (mengarah pada tujuan), adapun stimulasi dan pembaruan adalah aspek kualitas yang hedonis (yang tidak mengarah ke tujuan) [8]. Tahap pertama adalah memasukkan pertanyaan kuisioner kedalam UEQ Data Analysis Tools agar dapat dianalisis untuk uji reabilitas dan validitas terhadap jawaban yang telah responden berikan disetiap item pertanyaan, setelah itu data dapat di transformasi untuk selanjutnya memenuhi analisis UEQ. Menghitung Scale means per person dalam skala setiap item pertanyaan. Selanjutnya akan dilakukan penghitungan varian, rata-rata, dan simpangan baku agar data hasil pengukuran dapat ditampilkan grafiknya. Kemudian dapat dilanjutkan dengan mengitung koefisien cronbachs dan koefisien interval, setelah mendapatkan hasil yang tidak ada kendala maka selanjutnya akan dilakukan penilaian benchmark, agar mengetahui kualitas yang menjadi tujuan penelitian ini, yang terterdiri dari 6 pengukuran skala UEQ yaitu, above average, good, excellent, bad, dan below average. Adapun beberapa skala yang dimiliki oleh UEQ adalah (1) Attractiveness (Daya Tarik):
Pernyataan pendapat dari aplikasi. Apakah aplikasi disukai oleh pengguna atau tidak? Seberapa besar daya tarik pengguna terhadap aplikasi? baik atau buruk. (2) Efficiency (Efisiensi): Proses aplikasi mengelola informasi secara efisien atau tidak. Apakah pengguna dapat dengan mudah memahami aplikasi atau tidak[9].
(3) Perspicuity (Kejelasan): Apakah aplikasi memungkinkan untuk digunakan? Apakah pengguna dapat membiasakan diri untuk menggunakan aplikasi? (4) Dependability (Ketepatan): Apakah pengguna dapat merasakan kontrol interaksi? Apakah pengguna dapat memprediksi aplikasi? (5) Stimulation (Stimulasi):
Apakah aplikasi dapat memberikan manfaat bagi pengguna? Apakah aplikasi dapat terus membuat pengguna termotivasi agar menggunakan aplikasi? (6) Novelty (Kebaruan): Apakah desain aplikasi sudah cukup kreatif dan inovatif? Apakah aplikasi sudah mampu mendapatkan perhatian dari pengguna?
Daya tarik merupakan dimensi valensi yang murni. Efisiensi, kejelasan dan ketepatan adalah bagian dari kualitas pragmatis (terarah pada tujuan) yang membuat pengguna harus menjalankan tugas agar dapat mencapai tujuan, sedangkan kebaruan dan stimulasi merupakan kualitas yang bersifat hedonis aspek (tidak terarah ke tujuan) yang membuat pengguna hanya akan melakukan akses pada aplikasi tanpa perlu berusaha mencapai tujuan[9].
HASILDANPEMBAHASAN
Berdasarkan kuisioner yang penulis sebarkan melalui link menggunakan google form dengan taget 1 bulan penyebaran, dimulai dari 4 November 2022 4 Desember 2022 dengan jumlah hasil yang didapat oleh penulis sebanyak 352 responden. Dari perhitungan awal menggunakan rumus slovin dengan populasi 2700 didapat sampel berjumlah 348 responden, maka dari itu hasil target reponden dari penelitian ini telah melebihi dari target yang telah diperhitungkan. Hasil dari kuisioner mengindikasikan bahwa, sebanyak 76.7% laki-laki dan 23.3% perempuan, ada 270 orang berjenis kelamin laki-laki, dan 82 orang berjenis kelamin perempuan. Berdasarkan responden usia dapat diketahui pengguna CISEA mayoritas 18-25 tahun yaitu sebanyak 178 orang (50.6%), dan usia 26-35 tahun sebanyak 152 orang (42.9%), dan usia 35-45 tahun sebanyak 23 orang (6.5%). Berdasarkan lokasi kerja responden dapat diketahui pengguna CISEA merupakan pekerja lapangan sebanyak 264 orang (75%) dan pekerja kantor sebanyak 88 orang (25%). Berdasarkan media akses pengguna terdapat 245 orang (69.6%) yang mengakses CISEA secara mobile menggunakan HandPhone dan sebanyak 107 orang (30.4%) yang mengakses melalui website. Berdasarkan rutinitas penggunaan aplikasi CISEA dalam sehari didapatkan ada 179 orang (50.9%) yang mengakses CISEA sebanyak 2-5 kali dalam sehari, sebanyak 116 orang (33%) yang mengakses sebanyak 1-2 kali dalam sehari, dan sebanyak 57 orang (16.2%) yang mengakses sebanyak lebih dari 5 kali dalam sehari.
Pengukuran untuk data inkonsisten dilakukan dengan cara membedakan nilai yang didapat oleh data, jika jumlah data inkonsistem >3 maka disarankan data tersebut dihapus. Namun, dalam penelitian menggunakan jumlah konsistensi <1 dikarenakan menghasilkan data yang lebih baik. Data inskonsistensi yang lebih dari 1 dihapus, terdapat 52 data yang tidak konsisten dan 300 merupakan data konsisten yang tersisa. Hasil dari rata-rata pertanyaan yang digolongkan tiap skala dimana mean adalah hasil dari
Universitas Multi Data Palembang | 593 perhitungan rata-rata jawaban responden dan varience adalah variasi dari data responden. Ketentuan nilai rata-rata diantara -0,8 hingga +0,8. Menerangkan bahwa nilai yang mengindikasikan evaluasi normal >0,8 dan <0,8 merupakan hasil evaluasi nilai yang negatif. Dalam penelitian ini didapat hasil rata-rata dari jawaban responden >0,8 yang artinya mengindikasikan evaluasi normal.
Skala UEQ dapat disajikan menjadi 3 kelompok yaitu attractiveness, pragmatic quality, dam hedonic quality. Dalam penelitian ini pragmatic and hedonic quality di attractiveness memeperoleh nilai 2,26, pragmatic quality sebesar 2,28, dan hedonic quality sebesar 2,27. Adapun beberapa aturan praktis yang sering digunakan untuk mempertimbangkan nilai koefisien alpha yaitu sebesar >0,6 atau >0,7 sebagai tingkat nilai yang cukup. Nilai Cronbach’s Alpha yang >0,6 merupakan instrumen penelitian yang termasuk reliabel.
Sedangkan nilai yang <0,6 termasuk instrument penelitian yang tidak reliabel[10]. Berikut tabel yang menyatakan hasil rebilitas yang mana nilai yang didapat melebihi 0,6 dan data dalam penelitian ini dapat dinyatakan reliabel[11].
Tabel 1. Koefisien Reliabilitas Cronbach Alpha
Skala Cronbach Alpha
Daya Tarik (Attractiveness) 0,78
Kejelasan (Perspicuity) 0,67
Efisiensi (Efficiency) 0,78
Ketepatan (Depedanbility) 0,72
Stimulasi (Stimulation) 0,72
Kebaruan (Novelty) 0,70
Hasil perhitungan rata-rata dan variasi untuk setiap skala yang meliputi attractiveness (daya tarik), perspicuity (kejelasan), efficiency (effisiensi), dependability (ketepatan), stimulation (stimulasi), dan novelty (kebaruan). Dapat disimpulkan bahwa pengguna CISEA menghasilkan evaluasi yang positif dengan ditandai panah ke atas, dapat dilihat pada gambar berikut:
Gambar 1. Mean dan Varience
Tabel 2. Branchmark
Scale Mean Comparisson to benchmark Interpretation
Attractiveness 2,26 Excellent In the range of the 10% best results Perspicuity 2,33 Excellent In the range of the 10% best results Efficiency 2,25 Excellent In the range of the 10% best results Dependability 2,26 Excellent In the range of the 10% best results Stimulation 2,24 Excellent In the range of the 10% best results Novelty 2,30 Excellent In the range of the 10% best results
594| Universitas Multi Data Palembang
Berdasarkan tabel branchmark diatas, semua skala menghasilkan kategori excellent (diatas rata-rata) dengan 10% berada di atas rata-rata hasil terbaik. Dengan data hasil pengujian yang telah didapat menunjukkan bahwa aplikasi CISEA memiliki kualitas pengalaman pengguna yang telah diatas rata-rata walapun dari semua skala yang mendapat nilai terendah yaitu stimulasi aplikasi terhadap pengguna, dengan ini respon yang berikan aplikasi terhadap input atau perintah pengguna diharapkan lebih tanggap untuk mendukung kegiatan pengguna didalam aplikasi. Skala tertinggi di dapat oleh kejelasan aplikasi bagi pengguna, mereka dapat dengan mudah memahami cara menggunakan menu yang telah tersedia dan dapat beradaptasi saat menggunakan aplikasi.
KESIMPULAN
Berdasarkan tabel perhitungan rata-rata (Mean dan Variance) hasil evaluasi pengujian menunjukkan bahwa skala perspicuity (kejelasan) mendapatkan skor tertinggi dengan nilai 2,33 sedangkan skor terendah terdapat pada skala stimulation dengan nilai 2,24. Sehingga dapat disimpulkan bahwa aplikasi memberikan respon dan stimulasi terhadap perintah atau aktifitas yang dilakukan pengguna masih bisa ditingkatkan lebih baik lagi.
Untuk dapat membangun ketergunaan aplikasi yang lebih optimal untuk memotivasi para pengguna agar lebih sering menggunakan aplikasi maka, peneliti mengusulkan sebuah rancangan berupa fitur tambahan peminjam uang koperasi pada bagian menu slip gaji didalam aplikasi CISEA web dan mobile.
Fitur baru yang merupakan pengembangan dari fitur slip gaji yang dirancang berupa pengajuan pinjaman ke koperasi PT. Bukit Asam yang dapat karyawan lakukan dari aplikasi CISEA.
ACKNOWLEDGEMENT
Kami mengucapkan terima kasih kepada PT. Bukit Asam yang telah memberikan waktu dan tempat untuk melakukan penelitian ini.
DAFTARPUSTAKA
[1] M. A. P. Jayana and D. Priharsari, “Analisis Pengalaman Pengguna pada Situs Distribusi Digital menggunakan Metode Usability Testing dan User Experience Questionnaire (Studi pada store …,” … Teknol. Inf. dan Ilmu Komput. e …, Vol. 6, No. 2, pp. 527–536, 2022, [Online]. Available: http://j- ptiik.ub.ac.id/index.php/j-ptiik/article/download/10548/4679.
[2] F. F. Alawiyah and D. S. Canta, “Evaluasi Pengalaman Pengguna Pada Aplikasi Shopee Menggunakan Metode User Experience Questionnaire (UEQ),” J. Inf. Syst. Res., Vol. 3, No. 4, p.
344−350, 2022, doi: 10.47065/josh.v3i4.1574.
[3] F. R. Efendy, “Evaluasi dan Perbaikan User Experience Menggunakan User Experience Questionnaire (UEQ) dan Heuristic Evaluation (HE) pada Produk Gift Card Tiket.com,” Vol. 4, No.
10, 2020.
[4] A. Hinderks, A. L. Meiners, F. J. D. Mayo, and J. Thomaschewski, “Interpreting The Results From The User Experience Questionnaire (UEQ) Using Importance-Performance Analysis (IPA),” WEBIST 2019 - Proc. 15th Int. Conf. Web Inf. Syst. Technol., pp. 388–395, 2019, doi:
10.5220/0008366503880395.
[5] G. M. Effendy and M. Mardiani, “Analisis dan Perancangan Sistem Informasi Kepegawaian pada PT.
Bungo Limbur,” J. Teknol. Sist. Inf., Vol. 3, No. 2, pp. 217–228, 2022, doi: 10.35957/jtsi.v3i2.3030.
Universitas Multi Data Palembang | 595 [6] I. Kusuma Putri, S. Hadi Wijoyo, and Y. Tyroni Mursityo, “Analisis Usability dan Pengalaman Pengguna pada Aplikasi pemesanan Budget Hotel Menggunakan User Experience questionnaire (UEQ) (Studi Kasus pada Airy Rooms),” J. Pengemb. Teknol. Inf. dan Ilmu Komput., Vol. 3, No. 7, pp.
6748–6756, 2019, [Online]. Available: https://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/5800/2754.
[7] M. A. Maricar, D. Pramana, and D. R. Putri, “Evaluasi Penggunaan SLiMS pada E-Library dengan Menggunakan User Experience Question (EUQ),” J. Teknol. Inf. dan Ilmu Komput., Vol. 8, No. 2, p.
319, 2021, doi: 10.25126/jtiik.2021824443.
[8] R. Umar, A. Ifanin, F. Ammatulloh, and M. Anggriani, “Analisis Sistem Informasi Web LSP UAD Menggunakan User Experience Questionaire (UEQ),” METHOMIKA J. Manaj. Inform. dan Komputerisasi Akunt., Vol. 4, No. 1, pp. 173–178, 2020, doi: 10.46880/jmika.v4i2.191.
[9] W. A. Febrianto and W. H. N. Putra, “Aplikasi Sistem Informasi Puskesmas Paperless Menggunakan Metode Usability Testing dan User Experience Questionnaire (UEQ) (Studi Kasus: Puskesmas Tarik),”
J. Pengemb. Teknol. Inf. dan Ilmu Komput., Vol. 3, No. 6, pp. 6099–6106, 2019, [Online]. Available:
http://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/5648.
[10] M. Mardiani and G. Tanjungan, “Analisis Kualitas Pengalaman Pengguna Aplikasi SIMPONI Mobile Universitas Multi Data Palembang Dengan Metode User Experience Questionnare (UEQ),” J. Teknol.
Sist. Inf., Vol. 3, No. 1, pp. 25–38, 2022, doi: 10.35957/jtsi.v3i1.2441.
[11] A. R. Primasari, H. Tolle, and H. Muslimah Az-Zahra, “Evaluasi dan Perbaikan User Experience pada Aplikasi Mobile Muslimnesia Menggunakan Metode Usability Testing dan User Experience Questionnaire (UEQ): Studi Kasus pada PT. DOT INDONESIA,” J. Pengemb. Teknol. Inf. dan Ilmu Komput., Vol. 3, No. 7, pp. 6997–7005, 2019, [Online]. Available: http://j-ptiik.ub.ac.id.
