Evaluasi Pengalaman Pengguna Aplikasi SIMARIS UPN “Veteran” Jawa Timur Menggunakan Metode UEQ

(1)

Evaluasi Pengalaman Pengguna Aplikasi SIMARIS UPN “Veteran” Jawa Timur Menggunakan Metode UEQ

Anisa Rahma Salsabila^*, Tri Lathif Mardi Suryanto, Eristya Maya Safitri

Ilmu Komputer, Sistem Informasi, Universitas Pembangunan Nasional “Veteran” Jawa Timur, Surabaya, Indonesia Email: ^1,*[email protected], ²[email protected] , ³[email protected]

Email Penulis Korespondensi : [email protected] Submitted 02-11-2022; Accepted 23-11-2022; Published 30-12-2022

Abstrak

Penerapan teknologi informasi dan komunikasi pada perguruan tinggi makin meningkat disesuaikan dengan kebutuhan masing-masing perguruan tinggi. Kegiatan penelitian dan pengabdian masyarakat yang dilakukan oleh dosen di UPN “Veteran” Jawa Timur telah diwadahi oleh sebuah aplikasi yang bernama SIMARIS. Dalam penerapannya, aplikasi ini masih memiliki beberapa permasalahan terkait pengalaman pengguna yang dirasakan oleh dosen, seperti kesusahan saat melihat detail usulan, keterbatasan saat upload file, tidak terdapat fitur preview untuk melihat file, dan tidak berfungsinya menu penilaian reviewer bagi dosen. Pada penelitian ini, pengalaman pengguna aplikasi SIMARIS dievaluasi menggunakan metode User Experience Questionnaire (UEQ). Data kuesioner yang didapatkan nantinya akan dianalisis menggunakan UEQ Data Analysis Tool. Hasil pengukuran menunjukkan bahwa masing- masing skala memiliki nilai mean yang tinggi dengan nilai skala Daya Tarik 1.61, Kejelasan 1.52, Efisiensi 1.64, Ketepatan 1.44, Stimulasi 1.51, dan Kebaruan 1.25. Tingkat konsistensi dari seluruh skala menunjukkan nilai Cronbach’s Alpha > 0.70. Hal ini berarti tingkat konsistensi yang tinggi dimiliki oleh seluruh skala.

Kata Kunci: Evaluasi; Pengalaman Pengguna; Aplikasi SIMARIS; User Experience Questionnaire (UEQ) Abstract

The implementation of information and communication technology in a university is increasing according to the needs of each university. Research and community service activity carried out by lecturers at UPN "Veteran" East Java have been accommodated by an application called SIMARIS. In its implementation, this application still has several complaints related to the user experience felt by lecturers, such as difficulties when viewing proposal details, limitations for uploading files, no preview feature to view files, and the reviewer assessment menu doesn’t work for lecturers. In this study, the user experience of SIMARIS application was evaluated using the User Experience Questionnaire (UEQ) method. The questionnaire data obtained will be analyzed using UEQ Data Analysis Tool. The measurement results show that each scale has a high mean value with the scale of Attractiveness 1.61, Perspicuity 1.52, Efficiency 1.64, Dependability 1.44, Stimulation 1.51, and Novelty 1.25. The consistency level of all scales shows that Cronbach's Alpha value > 0.70. This means a high level of consistency is owned by all scales.

Keywords: Evaluation; User Experience; SIMARIS Application; User Experience Questionnaire (UEQ)

1. PENDAHULUAN

Tuntutan global di era digital membuat segala aspek kehidupan mulai beralih dari yang konvensional menjadi berbasis teknologi. Implementasi TIK pada perguruan tinggi berupa sistem informasi menjadi salah satu faktor keberhasilan dan kemajuan perguruan tinggi [1]. Adanya implementasi sistem informasi memberikan kemudahan dalam terciptanya informasi mengenai kebutuhan dan kepentingan perguruan tinggi serta pengolahan data terkait aktivitas yang berkaitan dengan perguruan tinggi [2]. Perguruan Tinggi mengembangkan berbagai jenis sistem informasi yang bersifat mandatory institutional, diantaranya yaitu sistem informasi terkait akademik, kemahasiswaan, keuangan, serta penelitian dan pengabdian masyarakat.

Perguruan Tinggi memiliki kewajiban dalam menegakkan Tri Dharma Perguruan Tinggi, yaitu kegiatan penelitian dan pengabdian masyarakat. Kegiatan tersebut dapat diimplementasikan oleh dosen melalui sebuah aplikasi yang tersistematis. Salah satu Perguruan Tinggi Negeri, yaitu UPN “Veteran” Jawa Timur memiliki sebuah sistem informasi yang bernama SIMARIS untuk mewadahi penelitian dan pengabdian masyarakat yang dilakukan oleh dosen. Pada dasarnya, aplikasi SIMARIS terbagi menjadi beberapa tampilan antarmuka pengguna, yaitu dosen, reviewer, admin, dan operator. Akan tetapi, pada penelitian ini berfokus pada tampilan antarmuka pengguna dosen.

Aplikasi SIMARIS merupakan aplikasi dibawah naungan LPPM UPN “Veteran” Jawa Timur. Dalam penerapannya, aplikasi ini masih menimbulkan beberapa keluhan bagi pengguna, diantaranya kesusahan untuk melihat detail informasi usulan, tidak berfungsinya menu penilaian reviewer, tidak adanya fitur preview untuk melihat file yang telah di upload, dan terbatasnya jumlah kapasitas upload file laporan. Adanya beberapa kendala tersebut menimbulkan ketidaknyamanan dosen dalam menggunakan aplikasi SIMARIS, sehingga mengakibatkan dosen merasa tidak puas dengan kualitas layanan yang diberikan pada aplikasi SIMARIS.

Sebuah sistem informasi dikatakan baik jika mampu memberikan kualitas layanan yang optimal bagi pengguna.

Hidayatuloh, dkk. [3] mengatakan makin tinggi kualitas layanan yang diberikan, makin besar pula kepuasan yang dirasakan pengguna secara signifikan. Faktor kepuasan pengguna timbul akibat adanya pengalaman pengguna terhadap penggunaan sebuah aplikasi. Pengalaman pengguna memiliki kaitan erat dengan adanya konsep interaksi manusia komputer. Di area studi Interaksi Manusia Komputer, gagasan tentang pengalaman pengguna menjadi sebuah perhatian terkait topik penelitian yang utama dan menarik. Pengalaman pengguna biasanya melibatkan pengalaman seseorang ketika berinteraksi dengan suatu produk pada kondisi tertentu [4]. Tujuan dari pengalaman pengguna yaitu untuk

(2)

menggambarkan esensi pengalaman pengguna yang dirasakan, seperti adanya interaksi yang memuaskan, menyenangkan, dan menarik [5]. Pengalaman pengguna didefinisikan sebagai pendapat dan umpan balik individu dari penggunaan sistem, produk, atau layanan [6]. Menurut ISO 9241-210:2010, pengalaman pengguna diartikan sebagai impresi dan reaksi pengguna dalam menggunakan suatu sistem, produk, atau layanan. Cakupan pengalaman pengguna meliputi tingkat perasaan, keyakinan, prioritas, impresi, reaksi tubuh dan psikis, tingkah laku dan tingkat kinerja pengguna yang terjadi sebelum, sewaktu, dan sesudah penggunaan [7]. Pengalaman pengguna umumnya dipahami sebagai konstruksi multidimensi [8]. Aspek pengalaman pengguna memiliki peranan penting dalam sebuah pengembangan aplikasi. Adanya kualitas sistem dan layanan yang kurang optimal dapat menciptakan pengalaman pengguna yang buruk dalam berbagai aspek, diantaranya aspek kualitas pragmatis seperti pengguna kesusahan dalam mengoperasikan produk atau layanan serta pengguna tidak dapat menuntaskan tugas secara cepat dan efisien. Hal tersebut akan membuat pengguna bosan dan mengalami ketidaktertarikan dalam menggunakan produk atau layanan (hedonic quality). Sebuah interpretasi berbeda mendefinisikan “pengalaman pengguna” sebagai seperangkat parameter yang memiliki perbedaan kualitas, [9] meliputi parameter kegunaan klasik, seperti ketepatan sistem dalam memenuhi kebutuhan pengguna, tingkat kontrol dalam belajar, serta parameter kualitas hedonis atau non-goal directed, seperti stimulasi, senang dalam menggunakan produk, kebaruan, emosi [10], atau estetika. Santoso, dkk. [11] mendefinisikan pengalaman pengguna yang baik dapat mempengaruhi interaksi yang baik pula antara pengguna dan sistem. Tujuan utama evaluasi pengalaman pengguna ialah mengidentifikasi efektivitas, efisiensi, dan kepuasan pengguna serta masalah yang dapat menyebabkan kesalahan dan frustasi pengguna [12]. Pengalaman pengguna mengacu pada pekerjaan diluar yang memiliki keterkaitan dengan hasil [13].

Pada penelitian [14], penulis melakukan evaluasi pengalaman pengguna pada Learning Management Systems menggunakan UEQ dengan hasil pengukuran menunjukkan aspek pragmatic quality memiliki nilai mean yang baik dari skala Daya Tarik (1.68), skala Kejelasan (1.82), dan skala Efisiensi (1.70), terkecuali untuk skala Ketepatan yang memiliki nilai diatas rata-rata (1.44). Sedangkan untuk aspek hedonic quality menunjukkan nilai mean yang baik untuk skala Stimulasi (1.51) dan skala Kebaruan (1.22). Penelitian lain [15] memberikan hasil pengukuran yaitu keseluruhan dari aplikasi Grab memiliki nilai masing-masing variabel, yaitu variabel Attractiveness (1.64), variabel Perspicuity (1.69), variabel Efficiency (1.60), variabel Dependability (1.29), variabel Stimulation (1.57), dan variabel Novelty (1.21). Temuan UEQ tersebut berada dalam kisaran relatif normal. Penelitian sebelumnya [16] menunjukkan hasil bahwa evaluasi UEQ menghasilkan penilaian yang baik karena nilai mean setiap variabel bernilai diatas 1. Begitupun dengan nilai aspek kualitas pragmatis (1.72) dan kualitas hedonis (1.73). Sedangkan pada penelitian [17], penulis mendapatkan hasil pengukuran yaitu nilai Daya Tarik (0.85), Efisiensi (0.96), Ketepatan (0.85), dan Stimulasi (1.08), dimana menghasilkan nilai mean impresi diatas 0.8. Berbeda dengan nilai Kejelasan (0.71) dan Kebaruan (0.71) memiliki hasil netral karena menghasilkan nilai mean impresi diantara -0,8 hingga 0,8. Penelitian terdahulu [18] menyimpulkan hasil bahwa aspek Daya Tarik memiliki nilai mean yang tinggi dibandingkan dengan kedua aspek lainnya, yaitu aspek kualitas pragmatis dan kualitas hedonis. Hal tersebut menunjukkan bahwa pengguna merasa senang menggunakan aplikasi BeeCEO.

Berdasarkan keluhan pengguna yang telah dijelaskan diatas, tujuan dari penelitian ini yaitu mengevaluasi pengalaman pengguna aplikasi SIMARIS UPN “Veteran” Jawa Timur menggunakan metode User Experience Questionnaire (UEQ). User Experience Questionnaire (UEQ) merupakan suatu model ukur atau metode evaluasi untuk mengukur pengalaman pengguna melalui penggunaan kuesioner dengan 26 item pertanyaan yang terbagi atas 6 skala pengukuran, yaitu Daya Tarik, Kejelasan, Efisiensi, Ketepatan, Stimulasi, dan Kebaruan. Tujuan dari metode UEQ ialah adanya kecepatan dalam mengukur pengalaman pengguna pada produk interaktif [19]. Hasil evaluasi dari pengukuran ini dapat menjadi bahan rekomendasi untuk melakukan perbaikan dan pengembangan aplikasi SIMARIS kedepannya ditinjau dari beberapa aspek, diantaranya yaitu daya tarik, kualitas pragmatis, dan kualitas hedonis.

2. METODOLOGI PENELITIAN

Gambar 1. Flowchart Penelitian

(3)

Copyright © 2022 Anisa Rahma Salsabila, Page 1716 Penelitian ini mengimplementasikan metode UEQ sebagai model ukur dalam mengevaluasi pengalaman pengguna aplikasi SIMARIS UPN “Veteran” Jawa Timur . Tahapan penelitian yang dilakukan dijelaskan melalui flowchart seperti pada Gambar 1.

2.1 Identifikasi dan Perumusan Masalah

Peneliti melakukan identifikasi masalah berdasarkan proses observasi dan wawancara. Selain itu, studi literatur juga menjadi pendukung peneliti dalam menentukan pokok permasalahan pada penelitian. Perumusan masalah didapatkan dari hasil analisis permasalahan yang telah diidentifikasi oleh peneliti. Rumusan masalah yang didapatkan ialah evaluasi pengalaman pengguna aplikasi SIMARIS UPN “Veteran” Jawa Timur menggunakan metode User Experience Questionnaire (UEQ) dilihat berdasarkan hasil perbandingan nilai skala pengukuran.

2.2 Sampling

Populasi pada penelitian ini yaitu dosen UPN “Veteran” Jawa Timur yang menggunakan aplikasi SIMARIS. Berdasarkan data pengguna aplikasi SIMARIS yang didapatkan peneliti selama dua tahun terakhir, terdapat 329 dosen yang mengajukan usulan proposal pada aplikasi SIMARIS, sehingga jumlah tersebut menjadi sumber utama populasi. Sampel penelitian diambil menggunakan teknik simple random sampling, dimana sampel dipilih secara acak dari populasi dengan tidak melihat tingkatan yang terdapat pada populasi tersebut. Penentuan jumlah sampel berdasarkan buku pedoman UEQ yang ditulis oleh Dr. Martin Schrepp bahwa untuk mengevaluasi suatu produk dibutuhkan sekitar 20-30 orang guna menghasilkan pengukuran yang relatif stabil [20]. Oleh karena itu, peneliti menentukan sampel yang dibutuhkan yaitu sebanyak 30 sampel.

2.3 Penyusunan Instrumen Pertanyaan

Instrumen pertanyaan disajikan dalam bentuk kuesioner UEQ versi Bahasa Indonesia seperti pada Gambar 2.

Gambar 2. Kuesioner UEQ Bahasa Indonesia [20]

(4)

Kuesioner UEQ terdiri dari 26 item pertanyaan dan dikelompokkan ke dalam 6 skala pengukuran berikut [20]:

a. Attractiveness: Kesan pengguna secara keseluruhan terhadap suatu produk terkait suka atau tidak suka.

b. Perspicuity: Kejelasan/familiar terhadap produk serta kemudahan belajar mengenai aturan penggunaan produk.

c. Efficiency: Pengguna mampu menuntaskan tugas secara cepat dan menggunakan upaya yang kecil.

d. Dependability: Tingkat kontrol yang dialami pengguna selama berinteraksi dengan produk.

e. Stimulation: Pengguna merasa tertarik dan semangat untuk menggunakan produk.

f. Novelty: Produk memiliki inovasi dan kreativitas yang dapat menarik minat pengguna.

Pada dasarnya, skala dalam UEQ terbagi atas tiga aspek, yaitu attractiveness (daya tarik), pragmatic quality (kualitas pragmatis), dan hedonic quality (kualitas hedonis) seperti pada Gambar 3. Aspek attractiveness ialah aspek primer UEQ yang menjadi dimensi murni terhadap persepsi pengguna pada daya tarik produk. Aspek pragmatic quality yang terdiri atas dimensi perspicuity (kejelasan), efficiency (efisiensi), dan dependability (ketepatan) merupakan aspek teknis yang berfokus pada pencapaian tujuan. Sedangkan aspek hedonic quality yang terdiri atas dimensi stimulation (stimulasi) dan novelty (kebaruan) merupakan aspek non teknis yang berfokus pada kesan pengguna ketika menggunakan suatu produk. Kuesioner UEQ berbentuk semantik diferensial, dimana setiap item pertanyaan diwakili oleh dua istilah makna yang berlawanan. Skala pengukuran dalam UEQ memiliki tujuh indikator penilaian dengan rentang nilai dari -3 (paling negatif) hingga +3 (paling positif) dihitung dari paling kiri.

Gambar 3. Struktur Skala UEQ 2.4 Analisis Data

Peneliti melakukan pengolahan dan analisis data setelah data responden terkumpul. Data dilakukan pengukuran menggunakan UEQ Data Analysis Tool versi 10 dalam bentuk Excel. Analisis data dalam UEQ meliputi uji reliabilitas data berdasarkan sheet Scale Consistency, nilai mean dan standar deviasi tiap skala berdasarkan sheet Results, nilai interval kepercayaan 5% tiap skala berdasarkan sheet Confidence Intervals, serta nilai benchmark tiap skala berdasarkan sheet Benchmark.

3. HASIL DAN PEMBAHASAN

3.1 Uji Reliabilitas Data

Uji reliabilitas data dilihat dari nilai koefisien Cronbach’s Alpha pada Tabel 1. Apabila nilai Cronbach’s Alpha > 0.70, maka variabel dikatakan reliabel [21].

Tabel 1. Nilai Koefisien Cronbach’s Alpha

(5)

Dengan begitu, dapat dikatakan bahwa seluruh skala dinyatakan reliabel.

3.2 Nilai Mean Skala UEQ

Setelah mendapatkan nilai koefisien Cronbach’s Alpha, selanjutnya yaitu melihat nilai mean dan standar deviasi dari setiap skala berdasarkan pada Tabel 2 dan grafik mean pada Gambar 4.

Tabel 2. Nilai Mean Tiap Skala

Gambar 4. Grafik Nilai Mean dari Tiap Skala

Dari hasil Tabel 2 diatas menunjukkan aplikasi SIMARIS memiliki daya tarik (menyenangkan, atraktif, ramah pengguna) dengan nilai mean 1.61 dan standar deviasi 0.73. Kemudian, pengguna merasa aplikasi SIMARIS mudah dipahami, sistemnya mudah digunakan dan jelas dilihat dari skala Kejelasan yang memiliki nilai mean 1.52 dan standar deviasi 0.96. Skala Efisiensi menunjukkan nilai mean 1.64 dan standar deviasi 0.93 yang berarti aplikasi SIMARIS bekerja secara efisien dalam memenuhi kebutuhan pengguna. Dalam hal ketepatan, aplikasi SIMARIS memiliki nilai mean 1.44 dan standar deviasi 0.96. Hal ini mengindikasikan bahwa aplikasi SIMARIS dirasa aman dalam mendukung penelitian yang diajukan oleh dosen. Selain itu, dosen juga merasa bahwa aplikasi SIMARIS telah sesuai ekspektasi pengguna dan cukup tepat dalam memenuhi kebutuhan penelitian. Untuk skala Stimulasi dan Kebaruan pada aplikasi SIMARIS, masing-masing memberikan nilai mean 1.51, 1.25 dan standar deviasi 0.96. Hal ini berarti bahwa aplikasi SIMARIS dapat bermanfaat dan menarik minat pengguna dengan memberikan layanan yang inovatif, berdaya cipta, dan cukup kreatif bagi pengguna. Selain hasil pengukuran mean dari setiap skala, UEQ juga mampu mengukur nilai mean dari ketiga aspek, diantaranya aspek daya tarik, kualitas pragmatis, dan kualitas hedonis. Tabel 3 menampilkan nilai mean dari ketiga aspek tersebut dan Gambar 5 menampilkan grafik mean aspek UEQ.

Tabel 3. Nilai Mean Aspek UEQ

Gambar 5. Grafik Mean dari Aspek UEQ

(6)

Tabel 3 menunjukkan aspek daya tarik memiliki nilai mean 1.61. Kualitas pragmatis yang terdiri dari skala Kejelasan, Efisiensi, dan Ketepatan memiliki nilai mean 1.53. Sedangkan aspek kualitas hedonis (Stimulasi, Kebaruan) memiliki nilai mean 1.38. Kualitas pragmatis digambarkan sebagai aspek yang berkaitan dengan pelaksanaan tugas, sedangkan kualitas hedonis digambarkan sebagai aspek yang tidak berkaitan dengan pelaksanaan tugas. Berdasarkan hasil Tabel 3 dan Gambar 5, dapat diketahui bahwa aspek yang memiliki nilai mean paling tinggi yaitu aspek daya tarik. Hal ini mengindikasikan bahwa aplikasi SIMARIS dapat menarik minat pengguna dalam menggunakan aplikasi SIMARIS secara kontinu yang nantinya dapat mempengaruhi kedua aspek lainnya.

Tabel 4 menunjukkan nilai interval kepercayaan 5% untuk mean dari tiap skala. Interval kepercayaan didefinisikan sebagai ukuran ketepatan taksiran rata-rata dari tiap skala. Nilai kepercayaan pada tiap skala didapatkan dari perhitungan kepercayaan 5% terhadap nilai standar deviasi dan jumlah responden. Berbeda dengan nilai interval kepercayaan yang didapatkan dari hasil pengurangan dan penjumlahan antara nilai mean dengan nilai kepercayaan. Makin kecil nilai interval kepercayaan yang dihasilkan, makin tinggi presisi estimasi terhadap hasil yang dapat dipercaya. Berdasarkan hasil pada Tabel 4, dapat diketahui bahwa nilai kepercayaan dari beberapa skala memiliki hasil yang sama yaitu 0.34. Sedangkan skala efisiensi memiliki nilai kepercayaan sebesar 0.33 dan skala daya tarik memiliki nilai kepercayaan terkecil sebesar 0.26. Hal tersebut mengindikasikan bahwa skala daya tarik memiliki presisi estimasi hasil yang lebih tinggi untuk dapat dipercaya dibandingkan dengan skala lainnya.

Tabel 4. Interval Kepercayaan Tiap Skala

3.3 Nilai Benchmark

Nilai benchmark dari aplikasi SIMARIS didapatkan dari hasil komparasi terhadap 468 produk yang telah dilakukan penelitian sebelumnya. Benchmark mendefinisikan sejauh mana aplikasi SIMARIS mampu mengukur tingkat pengalaman pengguna dengan membandingkan terhadap aplikasi lain yang telah dilakukan evaluasi menggunakan metode UEQ. Tabel 5 menampilkan hasil pengukuran benchmark dari aplikasi SIMARIS dan Gambar 6 menampilkan grafik nilai benchmark.

Tabel 5. Nilai Benchmark Aplikasi SIMARIS

Gambar 6. Grafik Benchmark Aplikasi SIMARIS

Berdasarkan Tabel 5 dan Gambar 6, dapat diketahui bahwa keempat skala UEQ (daya tarik, efisiensi, stimulasi, dan kebaruan) memiliki hasil perbandingan benchmark yaitu good/baik. Hal ini mengindikasikan bahwa aplikasi SIMARIS dinilai baik oleh pengguna dalam hal daya tarik, efisiensi, stimulasi dan kebaruan sistemnya. Dengan begitu

(7)

Copyright © 2022 Anisa Rahma Salsabila, Page 1720 interpretasi yang muncul yaitu aplikasi SIMARIS dinyatakan 10% of results better and 75% of results worse dibandingkan 468 penelitian lainnya. Berbeda dengan skala kejelasan dan ketepatan yang memiliki hasil perbandingan benchmark yaitu above average/diatas rata-rata. Hal tersebut mengindikasikan bahwa aplikasi SIMARIS dinilai oleh pengguna memiliki nilai diatas rata-rata dalam hal kejelasan dan ketepatan sistem dalam memenuhi kebutuhan pengguna.

Artinya, interpretasi yang dihasilkan oleh aplikasi SIMARIS yaitu 25% of results better and 50% of results worse jika dibandingkan dengan 468 penelitian lain.

Secara keseluruhan, hasil evaluasi pengalaman pengguna pada aplikasi SIMARIS ditampilkan pada Tabel 1 sampai Tabel 5. Hasil tersebut menunjukkan bahwa masing-masing skala memiliki nilai mean yang tinggi, dimana nilai skala Daya Tarik 1.61, Kejelasan 1.52, Efisiensi 1.64, Ketepatan 1.44, Stimulasi 1.51, dan Kebaruan 1.25. Tingkat konsistensi dari seluruh skala memperlihatkan nilai koefisien Cronbach’s Alpha > 0.70, yang bermakna seluruh skala memiliki tingkat konsistensi yang tinggi. Kemudian, untuk perbandingan ketiga aspek pada skala UEQ menunjukkan aspek kualitas hedonis memiliki nilai terendah dibandingkan aspek lainnya. Hal ini menunjukkan rendahnya tingkat motivasi dan ketertarikan pengguna pada aplikasi SIMARIS. Hasil temuan benchmark pada aplikasi SIMARIS terhadap produk lainnya menunjukkan skala Kejelasan dan Ketepatan memerlukan peninjauan dan peningkatan kembali untuk mengoptimalkan kenyamanan dan kemudahan pengguna dalam menggunakan aplikasi SIMARIS.

4. KESIMPULAN

Penelitian ini bertujuan untuk melakukan evaluasi pengalaman pengguna aplikasi SIMARIS UPN “Veteran” Jawa Timur.

Metode User Experience Questionnaire (UEQ) dipilih sebagai model ukur dalam penelitian ini dengan sampel yaitu dosen UPN “Veteran” Jawa Timur yang mengajukan usulan proposal pada aplikasi SIMARIS dalam kurun waktu dua tahun terakhir (2020-2022). Berdasarkan hasil pengukuran yang telah dilakukan menunjukkan keenam skala UEQ memiliki nilai Cronbach’s Alpha > 0.70, yang bermakna seluruh skala dinyatakan reliabel. Untuk nilai mean dari masing- masing skala maupun ketiga aspek UEQ (daya tarik, kualitas pragmatis, kualitas hedonis) memiliki nilai yang tinggi ditunjukkan dengan nilai diatas 1. Berdasarkan nilai benchmark terhadap produk lain, aplikasi SIMARIS dikatakan baik ditinjau dari keempat skala (Daya Tarik, Efisiensi, Stimulasi, Kebaruan), tetapi untuk skala Kejelasan dan Ketepatan memiliki nilai diatas rata-rata yang mengindikasikan sistem sudah cukup baik namun memerlukan peningkatan agar pengguna lebih paham mengenai penggunaan aplikasi dan sistem berjalan dengan tepat dalam memenuhi kebutuhan pengguna. Rekomendasi kedepan untuk aplikasi SIMARIS dari segi skala Kejelasan dan Ketepatan yaitu diperlukannya pembaruan dan pengembangan aplikasi dengan memberikan tampilan menu yang teratur, user friendly, dan terotomatisasi pada beberapa menu seperti menu Penelitian, Pengabdian, dan Penilaian Reviewer. Saran untuk penelitian selanjutnya yaitu melakukan analisis pengalaman pengguna aplikasi SIMARIS dengan aplikasi lain yang sejenis atau melakukan evaluasi pengalaman pengguna pada aplikasi SIMARIS yang berfokus pada tampilan antarmuka pengguna lainnya.

REFERENCES

[1] N. L. D. Gitajayanti, I. P. Satwika, and A. A. I. I. Paramitha, “Evaluasi Sistem Informasi Skripsi dan Tugas Akhir STMIK Primakara (PRISKA) Menggunakan Metode Usability Testing,” Kumpul. Artik. Mhs. Pendidik. Tek. Inform., vol. 10, no. 1, p.

59, 2021, doi: 10.23887/karmapati.v10i1.31770.

[2] S. Aswati, N. Mulyani, Y. Siagian, and A. Z. Syah, “Peranan Sistem Informasi Dalam Perguruan Tinggi,” J. Teknol. dan Sist.

Inf., vol. 1, no. 2, pp. 79–86, 2015, [Online]. Available: http://is.its.ac.id/pubs/oajis/index.php/file/download_file/1466 [3] S. Hidayatuloh, R. H. Kusumaningtyas, and Y. Aziati, “Analisis Pengaruh User Experience Terhadap Kepuasan Pengguna

Mobile Application E-Commerce Shopee Menggunakan Model Delone & Mclean,” Appl. Inf. Syst. Manag., vol. 2, no. 2, pp.

77–80, 2021, doi: 10.15408/aism.v2i2.20159.

[4] R. Roth, “User Interface and User Experience (UI/UX) Design,” in Geographic Information Science & Technology Body of Knowledge, Q2 ed., vol. 2017, 2017. doi: 10.22224/gistbok/2017.2.5.

[5] C. Baird, “Useful, Usable, Desirable: Applying User Experience Design to Your Library,” J. Electron. Resour. Libr., vol. 27, no.

2, pp. 142–143, 2015, doi: 10.1080/1941126x.2015.1029781.

[6] A. Hinderks, M. Schrepp, F. J. Domínguez Mayo, M. J. Escalona, and J. Thomaschewski, Developing a UX KPI based on the user experience questionnaire, vol. 65, no. April 2018. Elsevier, 2019. doi: 10.1016/j.csi.2019.01.007.

[7] S. SAITO and K. OGAWA, Ergonomics of human-system interaction, vol. 30, no. 1. 1994. doi: 10.5100/jje.30.1.

[8] G. A. Boy, The Handbook of Human-Machine Interaction: A Human-Centered Design Approach, 1st Ed. London: CRC Press, 2017. doi: https://doi.org/10.1201/9781315557380.

[9] Y. Preece, J., Sharp, H., Rogers, Interaction Design: Beyond Human-Computer Interaction, 4th Ed. Wiley, 2015.

[10] D. A. Norman, Emotional Design: Why We Love (or Hate) Everyday Things. Basic Books, 2003.

[11] H. B. Santoso, M. Schrepp, R. Yugo Kartono Isal, A. Y. Utomo, and B. Priyogi, “Measuring user experience of the student - centered E-learning environment,” J. Educ. Online, vol. 13, no. 1, pp. 1–79, 2016.

[12] H. Y. Abuaddous, A. M. Saleh, O. Enaizan, F. Ghabban, and A. B. Al-Badareen, “Automated User Experience (UX) Testing for Mobile Application: Strengths and Limitations,” Int. J. Interact. Mob. Technol., vol. 16, no. 4, pp. 30–45, 2022, doi:

10.3991/ijim.v16i04.26471.

[13] I. Díaz-Oreiro, G. López, L. Quesada, and L. Guerrero, “Standardized Questionnaires for User Experience Evaluation: A Systematic Literature Review,” no. October 2018, p. 14, 2019, doi: 10.3390/proceedings2019031014.

[14] A. M. Saleh, H. Y. Abuaddous, I. S. Alansari, and O. Enaizan, “The Evaluation of User Experience of Learning Management Systems Using UEQ,” Int. J. Emerg. Technol. Learn., vol. 17, no. 7, pp. 145–162, 2022, doi: 10.3991/ijet.v17i07.29525.

[15] I. D. Sabukunze and A. Arakaza, “User Experience Analysis on Mobile Application Design Using User Experience

(8)

Questionnaire,” Indones. J. Inf. Syst., vol. 4, no. 1, pp. 15–26, 2021, doi: 10.24002/ijis.v4i1.4646.

[16] I. N. S. W. Wijaya, P. P. Santika, I. B. A. I. Iswara, and I. N. A. Arsana, “Analisis dan Evaluasi Pengalaman Pengguna PaTik Bali dengan Metode User Experience Questionnaire (UEQ),” J. Teknol. Inf. dan Ilmu Komput., vol. 8, no. 2, p. 217, 2021, doi:

10.25126/jtiik.2020762763.

[17] M. A. Maricar, D. Pramana, and D. R. Putri, “Evaluasi Penggunaan SLiMS pada E-Library dengan Menggunakan User Experience Question (EUQ),” J. Teknol. Inf. dan Ilmu Komput., vol. 8, no. 2, p. 319, 2021, doi: 10.25126/jtiik.2021824443.

[18] N. Limantara, F. Jingga, and S. Surja, “The Evaluation of Business Process Simulation Software from User Experience Perspective using the User Experience Questionnaire,” Proc. 2019 Int. Conf. Inf. Manag. Technol. ICIMTech 2019, vol. 1, no.

August, pp. 261–265, 2019, doi: 10.1109/ICIMTech.2019.8843820.

[19] A. Sularsa and A. S. Prihatmanto, “Evaluasi User Experiences Produk iDigital Museum dengan Menggunakan UEQ,” J. Teknol.

Inf., vol. 2, no. 2, pp. 56–62, 2015.

[20] M. Schrepp, “User Experience Questionnaire Handbook Version 8,” URL https//www. Res.

net/publication/303880829_User_Experience_Questionnaire_Handbook_Version_2.(Accessed 02.02. 2017), no. September 2015, pp. 1–15, 2019, [Online]. Available: www.ueq-online.org

[21] I. Ghozali, Aplikasi Analisis Multivariate dengan Program IBM SPSS 25, 9th Ed. Semarang: Badan Penerbit Universitas Diponegoro, 2018.