View of Penggunaan User Experience Questionnaire Pada Aplikasi ISX Di PT Indotirta Sriwijaya Perkasa

(1)

86 Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933

th th

Penggunaan User Experience Questionnaire Pada Aplikasi ISX Di PT Indotirta Sriwijaya Perkasa

Risma Anggraini¹, Desi Pibriana², Anugerah Widi³

1,2,3

Universitas Multi Data Palembang; Jl. Rajawali 14, 30113 Palembang-Sumatera Selatan, telp/fax : (0711) 376 400/(0711) 376 360

1,2,3

Program Studi Sistem Informasi, Fakultas Ilmu Komputer dan Rekayasa, Palembang e-mail: *¹[email protected], ²[email protected], ³[email protected]

Abstrak

PT Indotirta Sriwijaya Perkasa adalah sebuah perusahaan yang bergerak dibidang produksi dan perdagangan Air Demineral dalam kemasan yang menggunakan aplikasi ISX untuk membantu mengelola faktur penjualan, pajak, surat jalan, nota, dan membuat laporan.

Berdasarkan hasil wawancara dengan penggunanya, aplikasi ISX masih memiliki kekurangan serta kendala, yakni terdapat fitur yang tidak memiliki fungsi tetapi terdapat pada tampilan sehingga terlihat banyak sekali fitur yang harus diisi oleh pengguna, dan pengguna menyebutkan saat menggunakan aplikasi mata menjadi jenuh karena aplikasi tidak penuh dengan ragam warna. Untuk mengatasi masalah tersebut, akan dilakukan analisis pengukuran pengalaman pengguna aplikasi ISX dengan metode User Experience Questionnaire (UEQ) yang dapat menghasilkan rekomendasi untuk meningkatkan kualitas pengalaman pengguna aplikasi ISX. Untuk menganalisis data digunakan Data Analysis Tools versi 11 sebagai alat pengukuran pengalaman pengguna. Penelitian ini menggunakan teknik sampling jenuh dengan sampel sebanyak 35 responden pengguna aplikasi ISX. Adapun hasil yang didapatkan adalah 3 skala hasil evaluasi positif dan 3 skala hasil evaluasi normal dari mean dan variance, serta pada data Benchmark terdapat 4 skala Below Average, 1 skala Bad, dan 1 skala Above Average.

Kata kunci—User Experience Questionnaire (UEQ), Aplikasi ISX, Pengalaman Pengguna

Abstract

PT Indotirta Sriwijaya Perkasa is a company engaged in the production and trading of bottled Demineralized Water that uses the ISX application to help manage sales invoices, taxes, travel letters, notes, and create reports. Based on the results of interviews with users, the ISX application still has shortcomings and obstacles, namely there are features that have no function but are on the display so that it looks like there are a lot of features that must be filled in by the user, and users mention that when using the application the eyes become bored because the application is not full of various colors. To overcome these problems, an analysis will be carried out measuring the user experience of the ISX application using the User Experience Questionnaire (UEQ) method which can produce recommendations to improve the quality of the ISX application user experience. To analyze the data, Data Analysis Tools version 11 is used as a user experience measurement tool. This study uses a saturated sampling technique with a sample of 35 ISX application user respondents. The results obtained are 3 scales of positive evaluation results and 3 scales of normal evaluation results from the mean and variance, and in the Benchmark data there are 4 Below Average scales, 1 Bad scale, and 1 Above Average scale.

Keywords— User Experience Questionnaire (UEQ), ISX application, User Experience

(2)

Jatisi ISSN 2407-4322

Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 87

1. PENDAHULUAN

Berkembangnya zaman diiringi dengan kemajuan teknologi mengalami meningkatnya kemampuan untuk mempermudah kegiatan. Dilandasi dengan sistem informasi meliputi berbagai bidang, maka kemajuan manusia dalam menggunakan teknologi akan semakin berkembang menunjang kinerja baik dari segi manapun [1]. Perkembangan teknologi ini mendorong sebuah instansi atau perusahaan untuk meningkatkan usaha dalam bidang bisnis, salah satu contoh perusahaan bisnis yang menggunakan teknologi informasi yaitu perusahaan air minum dalam kemasan [2]. Perusahaan yang bergerak dalam bidang bisnis air minum dan telah menerapkan teknologi informasi dengan tujuan untuk meningkatkan usaha bisnis yang dijalankan dalam menghadapi persaingan bisnis yakni PT Indotirta Sriwijaya Perkasa. PT Indotirta Sriwijaya Perkasa merupakan sebuah perusahaan bisnis dimana bergerak dibidang produksi dan perdagangan Air Demineral dalam kemasan yang menggunakan teknologi Reserve Osmosis.

Berdasarkan wawancara dengan manager PT Indortita Sriwijaya Perkasa didapatkan fakta bahwa perusahaan ini menggunakan sistem informasi aplikasi bisnis yang menunjang proses penjualan diperusahaannya, yaitu Aplikasi ISX. Aplikasi ISX atau Integrated System X merupakan aplikasi bisnis yang membantu kinerja perusahaan dalam mengelola bisnis seperti membuat faktur penjualan, surat pajak, surat jalan, pembuatan nota penjualan, dan membuat laporan dengan output berupa Word, PDF, HTML dan EXCEL. Aplikasi ini hanya bisa digunakan satu akun untuk satu orang, pengguna dapat mengontrol stock barang yang masuk dan keluar secara continue, membuat surat jalan, menginput data, dan mengelola faktur penjualan maupun pajak. Selain melakukan wawancara dengan manager perusahaan, juga dilakukan wawancara dengan karyawan yang merupakan pengguna aplikasi ISX, dimana hasil dari wawancara ini mendapati keluhan dari pengguna yakni terdapat informasi data yang kurang update sehingga informasi data barang pada aplikasi dengan data gudang tidak sesuai, juga sering lambat karena ketika melakukan penginputan satu faktur membutuhkan waktu 52 detik, kemudian terbentur jadwal pemakaian aplikasi ISX dengan admin lain nya, dan terdapat fitur yang tidak memiliki fungsi tetapi terdapat pada tampilan sehingga terlihat banyak sekali fitur yang harus diisi oleh pengguna yang menjadi salah satu keluhan karyawan, karyawan juga menyebutkan pada saat menggunakan aplikasi, mata menjadi jenuh karena tidak penuh dengan ragam warna pada aplikasi. Untuk mengetahui lebih lanjut fakta yang terjadi, dilakukan kuesioner pra penelitian yang disebar kepada pengguna aplikasi ISX, pada kuesioner pra penelitian ini menyajikan pertanyaan terbuka yang mendapati keluhan dari pengguna aplikasi.

Hasil pada kuesioner pra penelitian pengguna menyebutkan bahwa aplikasi ISX masih memiliki kekurangan dan kendala yang membuat pengguna mengeluh dalam kenyamanan penggunaan aplikasi, yakni tampilan menu/fitur yang memiliki kurang ragam warna dan terdapat fitur yang tidak memiliki fungsi, pengguna menyebutkan aplikasi masih rumit digunakan karena terdapat fitur yang tidak dimengerti oleh pengguna, aplikasi juga masih memiliki aspek yang tidak lengkap seperti ketika butuh data detail yang mengharuskan pengguna mengexport data terlebih dahulu kemudian diurutkan melalui excel dan masih cara manual, masih terdapat informasi yang kurang jelas karena ada data yang tidak relevan dengan persediaan, serta ketika terjadi kesalahan input data maka data tersebut tidak bisa diubah/diedit dan pengguna harus menginput ulang data tersebut. Pernyataan tersebut menunjukkan bahwa aplikasi ISX masih memiliki kekurangan dan berpengaruh dalam pengalaman pengguna. User Experience merupakan patokan dari suatu kualitas sebuah produk, layanan, dan sistem informasi. Pengukuran pengalaman pengguna dari aplikasi yang digunakan, kemudian dapat memberikan saran dari hasil yang bisa meningkatkan kualitas perangkat lunak berdasarkan hasil evaluasi yang dilakukan [3].

(3)

88 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933

Risma Anggraini, et., al [Penggunaan User Experience Questionnaire pada Aplikasi ISX di PT Indotirta Sriwijaya Perkasa]

Penggunaan metode dalam mengukur pengalaman pengguna terdapat beberapa metode yang dapat dilakukan seperti System Usability Scale (SUS), Questionnaire User Interaction Satisfaction (QUIS), dan User Experience Questionnaire (UEQ). Salah satu penelitian terdahulu [3] yang berjudul “Evaluasi User Experience Pada Sistem Informasi Pasar Kerja Menggunakan User Experience Questionnaire (UEQ)” menjelaskan bahwa UEQ merupakan alat untuk mengelola data survei mengenai user experience yang tidak sulit untuk dilakukan, serta bisa untuk dipercaya, berdasar, juga dimanfaatkan dalam kegiatan penelitian dengan kualitas subjektif. Penelitian terdahulu yang telah membahas dalam pengukuran pengalaman pengguna terhadap penggunaan sebuah aplikasi dilakukan oleh [4] bertujuan untuk mengetahui pengalaman pengguna dari sebuah aplikasi yang mampu menjadikan pengguna interaktif dalam sebuah aplikasi. Dari hasil pengukuran user experience atau pengalaman pengguna menggunakan metode UEQ, ditemukan nilai rata-rata <0,8 evaluasi positif terhadap pemakaian teknologi multimedia. Kemudian penelitian [5] mengevaluasi pengalaman pengguna dari sebuah aplikasi secara rata-rata mendapati hasil positif pada keenam skala dari 75 responden yang juga memberikan saran perbaikan untuk peningkatan kualitas aplikai yang digunakan. Penelitian selanjutnya [6] yang dilakukan guna menilai dalam pengalaman pengguna sejauh mana dalam pengalaman dalam penggunakan sebuah aplikasi atau pemakai akhir oleh sebuah sistem. Dari hasil analisis tersebut mendapati semua item yang diukur bernilai evaluasi positif artinya aplikasi tersebut memiliki impresi posfitif dari seluruh skala.

Pengukuran pengalaman pengguna dalam penggunaan sebuah aplikasi dengan memberikan kuesioner penelitian mencakup pertanyaan sebanyak 26 item berdasarkan enam skala aspek penilaian atas penilaian dasar dari pengalaman pengguna. Kuesioner tersebut dapat bisa memberikan langsung tanggap atau respon mereka secara cepat terkait objek penelitian yang ditanyakan. Dari penjelasan diatas, maka penelitian untuk mengukur dan menganalisis pengalaman pengguna aplikasi ISX di PT Indotirta Sriwijaya Perkasa akan menggunakan metode User Experience Questionnaire (UEQ). Penelitian ini dilakukan guna menganalisis ux atau pengalaman pengguna untuk mengetahui hasil dari analisis tersebut serta memberikan masukan/rekomendasi kepada PT Indotirta Sriwijaya Perkasa agar dapat meningkatkan kualitas pengalaman pengguna aplikasi ISX.

2. METODE PENELITIAN

Metode yang digunakan dalam penelitian ini melalui studi literatur, wawancara, dan kuesioner. Studi literatur yang dilakukan untuk mencari dan mendapatkan referensi penulisan yang berhubungan dengan metode yang digunakan dalam penelitian, juga mereview penelitian terdahulu sebagai pembanding dan acuan untuk penelitian. Penelitian mendapati identifikasi masalah melalui survei dan wawancara untuk mengumpulkan data apa saja yang terkait dalam permasalahan penelitian, tidak cukup sampai disitu saja dilakukan juga kuesioner pra penelitian hingga melakukan kuesioner penelitian yang didasarkan pada 6 skala penilaian serta 26 item pertanyaan yang diberikan guna mengukur pengalaman pengguna dengan menggunakan metode UEQ.

User Experience Questionnaire (UEQ) merupakan alat yang dapat digunakan dalam mengolah data survei mengenai pengalaman pengguna dengan mudah diimplementasi, bisa dipercaya, berdasar, serta dapat digunakan untuk penelitian dengan kualitas subjektif [7].

Metode UEQ dapat memberikan hasil yang menjelaskan secara lengkap terhadap pengalaman pengguna dilihat dari enam aspek penilaian atas penilaian dasar dari pengalaman pengguna dengan mencakup 26 item pertanyaan yang dimana akan dijawab oleh responden [8].

(4)

Jatisi ISSN 2407-4322

Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 89

Gambar 1. Struktur Skala yang Diasumsikan dari UEQ

Kuesioner berbentuk semantic differential dengan dua item yang tersusun dari atribut bertolak belakang yang berpasangan secara makna dalam mempresentasikan produk. Gambar.1 menjelaskan asumsi struktur skala UEQ dan masing-masing item pertanyaan. Skala penilaian terdapat 6 skala yaitu:

1. Atraktif, skala yang menggambarkan ketertarikan pengguna terhadap aplikasi.

2. Efisiensi, skala yang menggambarkan penggunaan aplikasi seberapa cepat dan efisien menggunakan aplikasi dan sejauh mana pemahaman terhadap aplikasi.

3. Kejelasan, skala yang menggambarkan kemudahan pengguna dalam kebiasaan menggunakan aplikasi.

4. Ketepatan, skala yang menggambarkan interaksi antara pengguna dengan aplikasi secara aman dan bisa diprediksi.

5. Stimulasi, skala yang menggambarkan kebermanfaatan aplikasi bagi pengguna dan menilai motivasi untuk menggunakan aplikasi itu dengan secara terus menerus.

6. Kebaruan, skala yang menggambarkan kreatif dan inovatif dari sebuah aplikasi yang dapat menarik perhatian dari pengguna.

Setelah melakukan kuesioner penelitian kemudian dilakukan pengukuran pengalaman pengguna menggunakan UEQ Data Analysis Tools berdasarkan data kuesioner tersebut. UEQ Data Analysis Tools yang merupakan alat bantu dalam olah data dikembangkan oleh Dr. Martin Schrepp dengan versi 11, yang mana tersedia dalam bentuk excel dan dapat diunduh pada website UEQ.

Selanjutnya dilakukan penentuan populasi dan sampel yang digunakan sebagai subyek penelitian. Populasi adalah suatu daerah abstraksi dimana terdapat objek atau subjek dengan kuantitas juga karatersitik tertentu. Sementara sampel merupakan sebuah komponen dari suatu total juga karateristik yang dipunyai oleh populasi ketika menentukan jumlah sampel untuk di

(5)

90 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933

olah dari jumlah populasi tersebut [9]. Total jumlah karyawan pada PT Indotirta Sriwijaya Perkasa yaitu 128 orang, yang dimana diantara nya merupakan pengguna aplikasi ISX sebanyak 35 orang. Penggunaan populasi dan sampel dalam penelitian ini merupakan karyawan PT Indortirta Sriwijaya Perkasa yang menggunakan aplikasi yaitu sebanyak 35 orang. Adapun untuk pengambilan sampel pada penelitian ini menggunakan teknik sampling jenuh, yakni sebuah teknik sampling menentukan sampel jika ditambah jumlahnya tidak akan menambah keterwakilan, artinya jika ditambah berapapun jumlahnya tidak akan mengubah dan berpengaruh pada populasinya [9]. Jumlah sampel yang diambil berdasarkan teknik sampling jenuh yaitu keseluruhan populasi sebanyak 35 orang sebagai pengguna aplikasi ISX.

Setelah menentukan sampel dan populasi, dilakukan kuesioner penelitian yang ditujukan kepada hasil perhitungan populasi dan sampel. Kuesioner penelitian yang disebar berdasarkan 26 item pertanyaan kepada pengguna aplikasi ISX yaitu karyawan PT Indotirta Sriwijaya Perkasa. Hasil yang didapat dari kuesioner tersebut, kemudian di analisis terkait data yang ada di kuesioner dengan memenuhi 6 aspek metode UEQ.

3. HASIL DAN PEMBAHASAN

3.1 Demografi Responden

Kuesioer penelitian disebarkan kepada pengguna aplikasi ISX yakni karyawan PT Indotirta Sriwijaya Perkasa dengan rentang waktu 6 hari, dari tanggal 25 November 2022 sampai 30 November 2022. Hasil yang diperoleh sebanyak 35 responden, artinya sasaran sampling jenuhnya tercapai. Dari 35 responden tersebut terdapat dua jenis kelamin yakni 21 orang berjenis kelamin perempuan dan 14 orang berjenis kelamin laki-laki. Dengan rentang usia rata-rata 15-31 Tahun sebanyak 19 orang, dan usia 32-48 Tahun sebanyak 16 orang.

Gambar 2. Posisi Kerja Berdasarkan Usia

Dari Gambar 2 diatas, berdasarkan 35 responden yang menjawab kuesioner sebagian besar usia (15-31 Tahun) dengan posisi bekerja terdapat Tagihan & Piutang berjumlah 2 orang, 1 orang bagian purchasing, 3 orang bagian gudang, 1 orang bagian depot/pabrik, 5 orang bagian produksi, 1 orang bagian umum, 3 orang bagian keuangan (AO), dan 5 orang bagian penjualan.

Sedangkan, untuk rentang usia (32-48 Tahun) dengan posisi bekerja terdapat Manager, bagian 2

3 1 3 1 1

2 1

5 3 1

5 1 3 1 2

0% 20% 40% 60% 80% 100%

Penjualan Keuangan (AO) Umum Produksi Depot / Pabrik Gudang Purchasing Tagihan & Piutang Pajak Manager

32 - 48 Tahun 15 - 31 Tahun

(6)

Jatisi ISSN 2407-4322

Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 91

pajak sejumlah 2 orang, bagian tagihan & piutang sejumlah 1 orang, bagian purchasing 1 orang, bagian gudang sejumlah 3 orang, bagian depot/pabrik sejumlah 1 orang, bagian produksi sejumlah 3 orang, dan bagian penjualan sejumlah 2 orang.

Gambar 3. Lama Penggunaan Dalam Seminggu

Setelah mendapati analisa data dari 35 responden, 35 pengguna tersebut memberikan data rentang waktu penggunaan aplikasi dalam kurun waktu seminggu. Hasilnya menunjukkan dengan 87,5% (30 pengguna) menggunakan 6 kali dalam seminggu, 11,4% (4 pengguna) digunakan 4 kali dalam seminggu, dan 2,9% (1 pengguna) digunakan 5 kali dalam seminggu.

Gambar 4. Lama Penggunaan Dalam Sehari

Berdasarkan data penggunaan dalam seminggu, maka di persempit lagi dalam lama penggunaan aplikasi dalam per hari. Hasil yang diperoleh pengguna sebanyak 37,1% (13 pengguna) menggunakan aplikasi selama 9 jam dalam sehari, kemudian sebanyak 31,4% (11 pengguna) menggunakan aplikasi selama 3-4 jam dalam sehari, sebanyak 22,9% (8 pengguna) menggunakan aplikasi selama 7-8 jam dalam sehari, dan 8,6% (3 pengguna) menggunakan aplikasi selama 5-6 jam dalam sehari.

3.2 Hasil Pengolahan dan Analisis Data

Hasil dari analisis data kuesioner menunjukkan total dari responden sebanyak 35 orang yakni pengguna aplikasi ISX yang menjadi data penelitian yakni keseluruhan populasi.

Kemudian dihitung dengan menggunakan UEQ tools versi 11, dengan memasukkan data kuesioner kedalam Data Analysis Tools yang menghitung pengalaman pengguna pada statistika UEQ. Data lengkap dari uji data inkonsisten dapat dilihat di Gambar 6.

0 50

4 Kali 5 Kali

6 Kali

4 1 30

Penggunaan dalam Seminggu

Jumlah

Jumlah 0

20

3-4 Jam

5-6 Jam

7-8 Jam

9 Jam 11

3 8 13

Penggunaan dalam Sehari

Jumlah

(7)

92 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933

A. Uji Data Inkonsistensi

Gambar 5. Data Inkonsisten Awal Responden

Data kuesioner berdasarkan panduan Handbook UEQ menunjukkan inkonsistensi data karena pengisian kuesioner online yang dilakukan dan jawaban responden teracak. Inkonsistensi data merupakan pemeriksaan ulang data secara acak dimana pengisian jawaban responden tidak serius atau kurang/tidaknya dari item pertanyaan yang diuji [10]. Menurut Handbook UEQ[10]

uji data yang dilakukan pengukuran data inkonsisten, terdapat perbedaan jumlah data inkonsisten >3, maka data tersebut disarankan dihapus. Kemungkinan terjadinya jawaban yang berbeda dan terlihat jawaban yang menonjol >3 dalam evaluasi UX yang sama, maka hal tersebut terjadi dalam pengisian jawaban. Sehingga jawaban tersebut dihapus untuk mendapati hasil yang lebih baik [3]. Pada penelitian ini mendapati hasil yang dimana tidak terdapat data inkonsistensi yang menunjukkan >3.

Pada Gambar 5 inkonsistensi data awal responden berdasarkan Handbook UEQ tidak ada nilai yang menunjukkan >3. Tentu saja situasi seperti itu juga bisa diakibatkan oleh kesalahan respons acak atau kesalahpahaman terhadap suatu item. Oleh karena itu, tidak masuk akal untuk menganggap suatu tanggapan bermasalah jika hal ini terjadi hanya untuk skala tunggal. Tetapi jika ini benar untuk skala 2 atau 3, ini tentu saja merupakan petunjuk yang jelas bahwa responsnya agak mencurigakan. Maka disarankan untuk menghapus jawaban dari kumpulan data yang menunjukkan nilai 3 atau lebih tinggi di kritis menunjukkan tanggapan yang dikodekan dari -3 hingga 3 [11]. Pada Handbook UEQ juga menjelaskan heuristic sederhana menganggap respon yang mencurigakan yaitu skala 2 atau 3, tetapi dibebaskan untuk menentukan seberapa ketat dalam penerapan aturannya, jarak antara respon untuk terbaik dan terburuk untuk suatu item dalam skala melebihi 3 [10].

Bisa saja responden salah mengartikan suatu item atau menandai kategori yang salah saat mencentang atau memilih item, dengan hal ini menghindari langsung membuang seluruh jawaban. Namun, jika hal tersebut menjadi penyimpangan untuk beberapa skala merupakan indikasi jelas bahwa responden tidak membaca item dengan cermat. Pada dasarnya, mengecualikan jawaban yang mana menunjukkan terlalu banyak data yang tidak konsisten dari asumsi struktur skala UEQ. Dengan demikian, dipastikan bahwa data tersebut

(8)

Jatisi ISSN 2407-4322

Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 93

mengindentifikasikan jawaban yang benar-benar acak dari responden dan tidak membuang terlalu banyak jawaban yang tidak perlu [11]. Maka, berdasarkan penjelasan diatas pada penelitian ini digunakan data yang sepenuhnya konsisten dengan nilai critical 0 dan 1.

Gambar 6. Hasil dari Data Inkonsisten yang Telah Dihapus yang Tersisa (0 & 1)

Setelah data tersebut dihapus, hasilnya menunjukkan perubahan sebanyak 21 data responden yang tidak konsisten, sehingga tersisa 24 responden yang menunjukkan data konsisten seperti pada Gambar 6. Pada jurnal [3], mendapati hasil yang dimana tidak mencapai dari jumlah responden yang di siapkan yakni dari 300 responden hanya mendapati 20 responden yang menanggapi kuesioner, tetapi untuk jumlah jumlah yang didapat telah mencukupi untuk mengukur usability. Jika semakin banyak data yang dikumpulkan maka akan stabil dan baik dalam kesimpulan dan hasil yang didapat. Namun, tidak memungkingkan dalam memaksa jumlah minimum untuk mendapatkan hasil yang reliabel. penelitian tetap dapat dilakukan dengan 20-30 responden untuk memberikan hasil yang cukup stabil [10]. Tidak ada kepastian untuk total responden yang digunakan dalam mendapatkan hasil evaluasi usability. Namun, aturan 16 ± 4 (mengartikan untuk jumlah pengguna antara 16-4 sampai 16+4) mendapati hasil uji dengan tingkat validitas yang tinggi [12]. Jika sebelumnya menyiapkan 35 responden kemudian diolah dari data inkonsintensi mendapati sisa 24 responden, dalam penelitian ini data 24 responden yang telah didapat bisa tetap digunakan karena termasuk dalam aturan 16+4.

Sejauh dalam range aturan 16 ± 4 (24 responden masih termasuk kedalam range 16+4) masih aman untuk tetap dilakukan yang dapat menghasilkan uji validitas tinggi.

B. Uji Reliabilitas

Penjelasan pada Handbook UEQ [10], menyatakan bahwa tidak ada sistematis yang pasti untuk menguraikan besar koefisien Alpha yang seharusnya digunakan. Uji reabilitas Cronbachs Alpha dijelaskan pada skala untuk dianggap cukup konsisten harus menunjukkan nilai koefisien sebesar (>0,7), akan tetapi saran ini menjadi ketentutan realistis juga tidak berdasarkan hakikat data yang kiat. Apalagi, untuk sampel kecil (<50) maka untuk nilai koefisien Alpha wajib diinterprestasikan dengan sangat hati-hati. Pada penggunaan sampel kecil, mendapati hasil koefisien Alpha yang rendah didapati dari kesalahan dalam pengambilan sampel juga bisa saja bukan merupakan indeks masalah skala. Data evaluasi dengan

(9)

94 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933

menggunakan Analysis Data Tools dapat dikatakan sebagai data dengan konsisten yang tinggi merupakan nilai daripada koefisien Cronbach Alpha nya >0,7 [10]. Pengecekan Cronbach Alpha guna melihat koefisien dari pada data item dalam semua skala, dapat dilihat pada Tabel 1 sebagai berikut.

Tabel 1. Uji Realibilitas Data Konsisten

Skala Cronbach Alpha

(Attractiveness) 0,96

(Perspicuity) 0,88

(Efficiency) 0,93

(Dependability) 0,94

(Stimulation) 0,83

(Novelty) 0,73

Pada hasil uji realibilitas data konsisten yang terlihat pada Tabel 1, keenam skala menunjukkan hasil dengan nilai Cronbach Alpha yang dimana telah menunjukkan nilai >0,7.

Pada data tersebut menunjukkan nilai koefisien Cronbach Alpha yakni skala Daya Tarik (0,96), Kejelasan (0,88), Efisiensi (0,93), Ketepatan (0,94), Stimulasi (0,83), dan Kebaruan (0,73).

Menurut Handbook UEQ [10] seperti yang dijelaskan untuk mendapatkan hasil yang cukup konsisten maka skala harus menunjukkan nilai Alpha 0,7. Dari keenam skala diatas telah menujukkan hasil nilai Alpha >0,7 dan menunjukkan konsistensi responden dalam menjawab pertanyaan dari setiap item kuesioner.

Kemudian, pengujian selanjutnya dalam perhitungan mean dan variance untuk melihat semua perhitungan dari semua jawaban responden dari setiap skala. Mean adalah hitungan rata- rata hasil dari semua tanggapan yang responden berikan. Sedangkan, Variance merupakan variasi dari sebaran data responden. Dalam Handbook UEQ, untuk nilai mean dalam impresi diantara -0,8 hingga +0,8 yakni menerangkan hasil evaluasi normal [10].

Gambar 7. Skala UEQ Dalam Bentuk Mean dan Variance

Gambar 8. Skala UEQ Mean dan Variance Dalam Bentuk Grafik

(10)

Jatisi ISSN 2407-4322

Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 95

Hasil yang menunjukkan evaluasi negatif ditandai dengan nilai rata-rata dibawah -0,8 dan untuk hasil dengan evaluasi positif ditandai nilai diatas +0,8 serta nilai kurang dari -0,8 merupakan hasil evaluasi negatif. Dari keenam skala yang ada dan dihitung, terdapat skala yang menghasilkan evaluasi positif (ditandai dengan panah yang berwarna hijau). Pada Gambar 7 merupakan hasil dari Mean dan Variance berdasarkan data konsisten, yang dimana terdapat tiga skala yang menghasilkan evaluasi normal (ditandai dengan panah berwanra kuning) yakni pada skala Perspicuity (0,91), Efficiency (0,76), dan Stimulation (0,73). Sedangkan, untuk hasil evaluasi positif (ditandai dengan panah berwarna hijau) terdapat pada skala Attractiveness (0,91), Dependability (1,04), dan Novelty (0,93).

Sedangkan untuk Gambar 8 merupakan hasil untuk perhitungan Mean dan Variance yang berbentuk grafik guna mempermudah dalam membaca hasil. Untuk wilayah yang ditandai berwarna merah merupakan hasil evaluasi negatif, dimana bagian ini tidak ada skala yang berada pada area ini. Wilayah yang ditandai berwarna krem merupakan hasil evaluasi normal, bagian ini terdapat tiga skala yaitu Perspicuity (0,91), Efficiency (0,76), dan Stimulation (0,73).

Sedangkan, untuk wilayah yang ditandai berwarna hijau merupakan hasil evaluasi positif, pada bagian ini terdapat tiga skala yaitu Attractiveness (0,91), Dependability (1,04), dan Novelty (0,93). Dengan hasil pada varian sebagai penyebaran data, penelitian ini dapat diartikan bahwa dalam pengisian kuesioner terdapat banyak variasi data nilai yang ada atau adanya kesenjangan yang lebih lebar antara satu nilai data dengan data yang lain.

Gambar 9. Skala UEQ Dalam 3 Kelompok Aspek

Berdasarkan hasil Mean dan Variance, belum bisa dipastikan dalam menginterprestasikan apakah produk yang digunakan baik atau tidak. Pada Gambar 9 perbandingan dengan produk yang telah dilakukan uji menggunakan UEQ yang dihitung berdasarkan tiga kelompok aspek meliputi Attractiveness, Pragmatic Quality, dan Hedonic Quality. Untuk bagian kualitas pragmatis menjelaskan aspek kualitas tentang tugas yaitu Efficiency, Perspicuity, Dependability. Sedangkan, kualitas hedonis menggambarkan aspek kualitas yang tentang hubungan dengan tugas Stimulation dan Novelty. Hasil evaluasi dari UEQ untuk tiga kelompok aspek mendapatkan hasil evaluasi normal dengan nilai (0,91) untuk Attractiveness, ( 0,81) untuk Pragmatic Quality, dan (0,83) untuk Hedonic Quality.

Gambar 10. Grafik Benchmark

(11)

96 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933

Pada Handbook UEQ [10] terdapat perbandingan produk dengan hasil uji UX yang dilakukan sebelumnya dengan metode UEQ. Pada Benchmark ini digunakan sebagai acuan apakah produk yang dievaluasi baik atau tidak jika dibandingkan dengan data dari Benchmark Data Set. Berdasarkan hasil dari perbandingan Benchmark, terdapat empat skala menghasilkan kategori below average (dibawah rata-rata), yaitu pada skala Atrractiveness, Efficiency, Dependability, dan Stimulation. Kecuali, pada skala Perspicuity menghasilkan kategori Bad (buruk). Dan pada skala (Novelty) yang menghasilkan kategori above average (diatas rata-rata).

C. Pembahasan Hasil Penelitian dan Rekomendasi

Berdasarkan hasil dari pengujian menggunakan tools UEQ Aplikasi ISX kategori tertinggi yaitu above average ada pada skala Kebaruan (Novelty), sedangkan yang lain mendapatkan kategori below average pada skala Atrractiveness, Efficiency, Dependability, dan Stimulation, sedangkan bad ada pada skala Perspicuity. Hal ini juga didapati pada hasil perhitungan Mean dan Variance yang mendapati nilai skala terendah pada Perspicuity. Hasil evaluasi UEQ untuk tiap kelompok aspek juga menunjukkan pada Pragmatic Quality juga menjadi nilai terkecil dibanding kedua aspek lainnya, sedangkan Perspicuity terletak pada aspek tersebut. Pada hasil Mean dan Variance yang ditunjukkan pada Gambar 10 terdapat hasil Mean dan Variance dari 3 aspek tersebut, dimana tedapat nilai paling kecil diantara ketiga aspek tersebut yaitu pada skala Pragmatic Quality dengan nilai (0,81), dengan skala Perspicuity, Efficiency, dan Dependability. Pada skala Perspicuity menjadi perhatian sebab dari perhitungan Mean dan Variance mendapati nilai Alpha paling kecil dengan nilai (0,64) dan pada Benchmark juga mendapati hasil kategori Bad (buruk). Dalam skala Perspicuity terdapat empat jenis item pertanyaan, bisa dilihat pada Gambar 11.

Gambar 11. Nilai Mean per Item pada Skala Perspicuity

Kemudian nilai Mean pada skala Perspicuity ditinjau secara detail melihat nilai Mean paling terkecil pada keempat item pertanyaannya. Hal tersebut mendapati pada item

“Complicated/Rumit” dan “Easy/Sederhana” dengan nilai terendah Mean senilai (0,2). Dengan hal itu, tingkat kerumitan dan kesederhanaan pada aplikasi yang dimana berpengaruh pada pengalaman pengguna aplikasi yang harus diperhatikan boleh jadi pengguna merasa rumit dalam menggunakan aplikasi, bisa saja tampilan aplikasi tidak sederhana sehingga pengguna rumit dalam menggunakannya. Pada pra penelitian yang disebarkan kepada penguna aplikasi ISX serta data pada wawancara, terdapat keluhan pengguna selama penggunaan aplikasi tersebut, salah satunya menyinggung tentang kerumitan dan kejenuhan dalam menggunakan aplikasi. Sesuai fakta yang sudah ditemukan melalui kuesioner pra penelitian berkesinambungan dengan hasil Mean dan Variance yang didapat dengan hasil dilihat per item pada skalanya, dimana menjelaskan masalah yang diambil dari kuesioner pra penelitian, yakni:

1. Terdapat fitur yang tidak memiliki fungsi tetapi tercantum pada tampilan aplikasi, seolah terdapat banyak fitur yang harus di isi oleh pengguna.

2. Pengguna merasa rumit dalam menggunakan aplikasi karena ada beberapa fitur yang tidak dimengerti oleh pengguna.

(12)

Jatisi ISSN 2407-4322

Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 97

3. Tampilan menu/ fitur aplikasi kurang memiliki ragam warna, pengguna merasa jenuh saat menggunakan aplikasi.

4. Aplikasi juga masih memiliki aspek yang tidak lengkap seperti ketika butuh data detail yang mengharuskan pengguna mengexport data terlebih dahulu kemudian diurutkan melalui excel dan masih cara manual.

Jika tampilan aplikasi membuat pengguna jenuh dalam menggunakan aplikasi sebaiknya rekomendasikan pemilihan warna yang enak di pakai dan diihat, dengan pemilihan warna yang tidak mencolok. Terlebih lagi sebaiknya penempatan bar menu tidak ditumpuk sejajar diatas, melainkan dibedakan dalam posisi setiap fungsinya sehingga ketika pengguna menggunakan satu fitur dapat mudah digunakan. Fitur yang tidak memiliki fungsi sama sekali atau bahkan tidak dipakai dalam proses kinerja lebih baik dihilangkan karena dapat mengakibatkan penumpukkan menu dalam satu layout UI, dengan membuatnya menjadi sederhana akan mempermudah pengguna. Perlu diketahui bahwa untuk pengguna menyukai bentuk tata letak yang sederhana, namun terdapat warna, ikon, dan gambar yang menarik perhatian pengguna. Dapat juga menambahkan shortcut untuk fitur tertentu agar mempermudah pengguna dalam aksi setiap step yang dikerjakan, juga dapat membuat aplikasi mudah dimengerti saat pengguna tidak mengerti dalam menggunakan fitur. Jika pengguna masih menggunakan cara manual dalam mengexport data maka disarankan untuk membuat suatu konten pada satu fitur yang kompleks, dimana pengguna dapat mensortir data dari report yang telah dibuat dan diseimbangkan dengan data yang harus di export tanpa harus memindahkan ke excel. Hal ini membantu meningkatkan layanan aplikasi kepada pengalaman pengguna, yang bisa mendapatkan dampak positif untuk pengguna. Sebelumnya, disaranakan mengenali terlebih dahulu kebutuhan pengguna dengan melihat sudut pandang penggunaan aplikasi dari pengguna di setiap bagian penggunaan, agar dapat mempertimbangkan fitur atau menu apakah yang harus di komposisikan khusus pengguna tersebut.

4. KESIMPULAN

Pengukuran pengalaman pengguna terhadap aplikasi ISX ini telah menunjukkan hasil yang cukup bagus karena dari segi pengguna sudah cukup mendapati apa yang mereka butuhkan dalam menggunakan aplikasi. Hasil evaluasi pengalaman pengguna menunjukkan bahwa pada skala Perspicuity menjadi hal yang harus diperhatikan dan ditingkatkan untuk meningkatkan kualitas yang ada pada bagian Kejelasan yang mendapati nilai terendah. Hasil perhitungan Mean dan Variance menunjukkan hasil evaluasi positif pada tiga skala, yakni Attractiveness dengan nilai (0,91), Dependability dengan nilai (1,04), Novelty dengan nilai (0,94). Sedangkan, untuk hasil evaluasi normal ditunjukkan pada skala Perspicuity dengan nilai (0,64), Efficiency dengan nilai (0,76), dan Stimulation dengan nilai (0.73). Hasil evaluasi pada Benchmark merupakan hasil kesamaan dari Mean dan Variance, dengan enam skala serta 26 item yang telah diuji menunjukkan hasil dengan kategori Below Average, Bad dan Above Average. Dengan hasil nilai pada kategori Below Average terdapat empat skala yaitu Attractiveness, Efficiency, Dependability, dan Stimulation. Untuk kategoti Bad pada skala Perspicuity. Sedangkan untuk kategori Above Average terdapat skala Novelty.

Direkomendasikan untuk pemilihan warna pada UI, perubahan tata letak pada bar menu agar tidak menumpuk, pengurangan atau bahkan penghapusan fitur tidak digunakan sama sekali, dengan membuatnya menjadi sederhana akan mempermudah pengguna dan tidak merasa rumit dalam menggunakan aplikasi. Dapat juga menambahkan shortcut untuk fitur tertentu agar mempermudah pengguna dalam aksi setiap step yang dikerjakan, juga dapat membuat aplikasi mudah dimengerti saat pengguna tidak mengerti dalam menggunakan fitur. Disarankan untuk

(13)

98 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933

membuat suatu konten pada satu fitur yang kompleks, dimana pengguna dapat mensortir data dari report yang telah dibuat dan diseimbangkan dengan data yang harus di export tanpa harus memindahkan ke excel.

5. SARAN

Berdasarkan kesimpulan diatas, beberapa saran yang dapat disampaikan:

- Penelitian ini belum begitu banyak kesempurnaan sehingga masih memiliki kekurangan dan keterbatasan, untuk itu diharapkan bagi penelitian selanjutnya bisa mendapatkan nilai skala good dan excellent agar mengalami perubahan maupun pembaharuan.

- Dikarenakan penelitian ini memiliki responden yang kurang dari jumlah populasi, disarankan untuk penelitian selanjutnya memberikan penjelasan lebih detail agar responden mengerti dan mudah memahami item pertanyaan sehingga tidak kebingungan dalam menjawab pertanyaan.

- Penelitian selanjutnya disarankan dapat menggunakan metode yang berbeda seperti System Usability Scale (SUS) atau Questionnaire for User Interaction Satisfaction (QUIS) agar dapat menjadi pembanding dalam hasilnya.

DAFTAR PUSTAKA

[1] M. Danuri, “Development and Transformation of Digital Technology,” Infokam, Vol.

XV, No. II, Hal. 116–123, 2019.

[2] Khana dan A. Erwansyah, “Analisis Tingkat Kepuasan Pelanggan Terhadap Website Winro pada PT. Indotirta Sriwijaya Perkasa (Studi Kasus Kota Prabumulih),” Jik, Vol.

8, No. 2, Hal. 18–25, 2017.

[3] Kharis, P. I. Santoso, dan W. W. Winarno, “Evaluasi User Experience pada Sistem Informasi Pasar Kerja Menggunakan User Experience Questionnare (UEQ),” Citee, Hal.

237–243, 2019.

[4] H. J. S. Mohammad Salehudin, “Penggunaan Multimedia Berbasis Teknologi Bagi Pendidikan Profesi Guru (PPG): Analisis User Experience (UX),” J. Pendidik. Islam, Vol. 11, No. 1, Hal. 1–17, 2020, [Daring]. Tersedia pada:

https://doi.org/10.24042/atjpi.v11i1.5857.

[5] M. A. Maricar, D. Pramana, dan D. R. Putri, “Evaluasi Penggunaan SLiMS pada E- Library Dengan Menggunakan User Experience Question (EUQ),” J. Teknol. Inf. dan Ilmu Komput., Vol. 8, No. 2, Hal. 319, 2021, doi: 10.25126/jtiik.2021824443.

[6] R. Riche dan S. H. Marpaung, “Evaluasi Pengalaman Pengguna Dengan Menggunakan User Experience Questionnaire Perpustakaan Digital,” J. Media Inform. Budidarma, Vol. 5, No. 4, Hal. 1345, 2021, doi: 10.30865/mib.v5i4.3270.

[7] B. Laugwitz, T. Held, dan M. Schrepp, “Construction and Evaluation of A User Experience Questionnaire,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif.

(14)

Jatisi ISSN 2407-4322

Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 99

Intell. Lect. Notes Bioinformatics), Vol. 5298 LNCS, Hal. 63–76, 2008, doi: 10.1007/978- 3-540-89350-9_6.

[8] A. Hinderks, M. Schrepp, dan J. Thomaschewski, “A Benchmark for The Short Version of The User Experience Questionnaire,” WEBIST 2018 - Proc. 14th Int. Conf. Web Inf. Syst.

Technol., No. September, hal. 373–377, 2018, doi: 10.5220/0007188303730377.

[9] Sugiyono, Metode Penelitian Kuantitatif. Bandung: Alfabeta, 2019.

[10] M. Schrepp, “User Experience Questionnaire Handbook Version 8,” URL https//www.

Res.

net/publication/303880829_User_Experience_Questionnaire_Handbook_Version_2.(Acc essed 02.02. 2017), No. September 2015, Hal. 1–15, 2019, [Daring]. Tersedia pada:

www.ueq-online.org.

[11] M. Schrepp, “Praktische Techniken Zum Auffinden Nicht Ernsthaft Ausgefüllter Fragebögen,” No. September 2016, 2016, [Daring]. Tersedia pada:

http://dx.doi.org/10.18420/muc2016-up-0015.

[12] R. Alroobaea dan P. J. Mayhew, “How Many Participants are Really Enough for Usability Studies?,” Proc. 2014 Sci. Inf. Conf. SAI 2014, No. August, Hal. 48–56, 2014, doi: 10.1109/SAI.2014.6918171.