Evaluasi User Experience Platform Video Communication dengan User Experience Questionaire (UEQ)
Chatrine Sylvia*, Angela, Fandi Halim
Program Studi Sistem Informasi, STMIK Mikroskil, Medan, Indonesia
Email: 1,* [email protected], 2 [email protected] , 3 [email protected] Email Penulis Korespondensi: [email protected]
Abstrak−Kebijakan belajar dari rumah (home-based learning) dan bekerja dari rumah (work from home) yang telah berlangsung lebih dari 1 tahun sejak bulan Maret tahun 2020 setelah ditetapkan oleh Menteri Pendidikan dan Kebudayaan (Kemendikbud) membawa banyak perubahan dalam cara bekerja dan belajar baik untuk sivitas akademik terutama mahasiswa dan dosen. Hal ini juga dirasakan oleh sivitas akademik pada STMIK Mikroskil terutama pada program studi Sistem Informasi yang mengubah pembelajaran dari luring menjadi daring dengan memanfaatkan dukungan berbagai platform aplikasi yang tersedia seperti Microsoft Teams dan aplikasi Zoom khususnya untuk fitur video conference sebagai media audio visual.
Dengan digunakannya kedua platform komunikasi dalam kegiatan pembelajaran daring, maka perlu dilakukan evaluasi pengalaman penggunaannya untuk dijadikan sebagai informasi pendukung pengambilan keputusan guna peningkatan pengelolaan pembelajaran dan kegiatan akademis di lingkungan perguruan tinggi. Namun, kegiatan evaluasi ini belum pernah dilakukan untuk kedua aplikasi yang digunakan. Penelitian ini ditujukan untuk mengukur pengalaman penggunaan Microsoft Teams dan aplikasi Zoom khususnya untuk dukungan video conference oleh para dosen dan mahasiswa pada Program Studi Sistem Informasi di STMIK Mikroskil. Pengukuran ini ditujukan untuk memprediksi dan membandingkan kemampuan elemen teknologi berupa pengalaman penggunaaan dari dua aplikasi tersebut melalui kajian analitis dengan penerapan metode User Experience Questionaire (UEQ). Target responden adalah para dosen dan mahasiswa khususnya pada program studi Sistem Informasi di lingkungan STMIK Mikroskil. Hasil penelitian menunjukkan bahwa perbandingan nilai means Microsoft Teams lebih unggul daripada aplikasi Zoom. Oleh karena itu, Microsoft Teams merupakan platform video conference dan komunikasi yang lebih dipilih mahasiswa dan sivitas akademik program studi Sistem Informasi STMIK Mikroskil dibandingkan dengan aplikasi Zoom.
Kata Kunci: UEQ; Pengalaman Pengguna; Komunikasi Video
Abstract−The learning from home (home-based learning) and working from home (work from home) policy which has been going on for more than 1 year since March 2020 after being set by the Minister of Education and Culture (Kemendikbud) has brought many changes in the way to work and study for the academic community, especially students and lecturers. This is also felt by the academic community at STMIK Mikroskil, especially in Information Systems study program who changes their learning from offline to online by utilize various available application platforms such as Microsoft Teams and the Zoom application, especially for its video conferencing features as audio-visual media. With the use of both communication platforms in online learning activities, it is necessary to evaluate its user experience as information to support decision making in order to improve learning management and academic activities in university environment. However, this evaluation activity has never been carried out for the two applications that being used. This study aims to measure the user experience of Microsoft Teams and the Zoom application, especially for its video conference to support the lecturers and students in Information Systems Study Program at STMIK Mikroskil. This measurement is intended to predict and compare the ability of technology elements in the form of user experience of those two applications through an analytical study by applying the User Experience Questionnaire (UEQ) method. The target respondents are lecturers and students, especially in the Information Systems study program in the STMIK Mikroskil environment. The results showed that the comparison of the Microsoft Teams means value was superior to the Zoom application. Therefore, Microsoft Teams is a video conferencing and communication platform that is preferred by students and academics of the STMIK Mikroskil Information Systems study program compared to the Zoom application.
Keywords: UEQ; User Experience; Video Communications
1. PENDAHULUAN
Hingga saat ini, kebijakan belajar dari rumah (Home-based learning) telah berlangsung lebih dari 1 tahun sejak ditetapkan oleh Menteri Pendidikan dan Kebudayaan (Kemendikbud) bahwa dari tanggal 16 Maret 2020, untuk mencegah penyebaran virus Covid-19 pada satuan pendidikan. Dengan belajar dari rumah, berbagai metode telah diterapkan untuk tetap mendukung proses pembelajaran dimulai dari penggunaan messenger, video call dan plaform pembelajaran online. STMIK Mikroskil sebagai institusi pendidikan di Medan, Sumatera Utara juga turut mengoptimalkan penggunaan teknologi mendukung kegiatan tri dharma khususnya pembelajaran, pembimbingan tugas akhir hingga kegiatan penelitian oleh mahasiswa dan dosen [1]. Dukungan teknologi juga diterapkan pada berbagai kegiatan seperti kegiatan kemahasiswaan hingga kegiatan pengelolaan operasional untuk dapat saling berkolaborasi dengan baik antara sesama karyawan atau dengan pihak mitra eksternal.
Teknologi yang dimanfaatkan juga beragam baik dengan menggunakan Microsoft Teams dan Aplikasi Zoom khususnya untuk fitur video conference agar tetap dapat berkolaborasi walaupun sedang bekerja dan belajar dari rumah. Penggunaan kedua aplikasi ini telah berlangsung secara rutin dengan durasi selama lebih dari 1 tahun sejak kegiatan home-based learning dan work from home diterapkan. Namun penggunaan kedua aplikasi ini belum pernah dilakukan evaluasi pengalaman pengguna. Padahal dengan penggunaan yang rutin terutama untuk kegiatan
akademik sebagaimana disebutkan sebelumnya, perlu dibarengi dengan evaluasi terhadap pengalaman penggunaan kedua aplikasi ini. Dengan adanya pengukuran dan evaluasi, maka gambaran tentang sejauh mana interaksi antara pengguna dengan aplikasi bisa didapatkan, mengingat kedua aplikasi tersebut merupakan media utama untuk kolaborasi dan pembelajaran hingga saat ini khususnya pada Program Studi Sistem Informasi.
Informasi hasil pengukuran akan dapat dijadikan sebagai salah satu dasar bagi pihak pimpinan untuk mengambil kebijakan guna peningkatan pengelolaan pembelajaran dan kegiatan di lingkungan STMIK Mikroskil khususnya pada Program Studi Sistem Informasi.
Dalam menilai pengalaman pengguna, terdapat berbagai metode, sebagai contoh User Experience Questionaire (UEQ) dengan perkembangan menjadi UEQ+, Modular Evaluation of Key Components of User Experience (meCUE) 2.0, Questionaire for Interaction Satisfaction (QUIS), Usability Metric for User Experience (UMUX) dan Standarized User Experience Percentile Rank Questionaire (SUPR-Q). Namun demikian, pada penelitian ini, pengukuran pengalaman pengguna akan menggunakan UEQ. Hal ini dikarenakan UEQ telah menyediakan alat bantu analisis data yakni Data Analysis Tools versi 9 untuk pengukuran pengalaman pengguna yang dilengkapi dengan data set yang dari 21175 orang dari 468 studi terhadap berbagai produk yang pernah dilakukan. Hal ini mengingat UEQ telah dilengkapi dengan alat bantu untuk melakukan evaluasi perbandingan dua produk melalui uji statistik. UEQ juga menyediakan UEQ Compare Product Analysis versi 4 yang telah dapat membantu membandingkan pengalaman pengguna dari dua produk yang berbeda dengan tetap menggunakan 6 skala [2, 3, 4].
Hingga saat ini, UEQ telah digunakan untuk mengukur pengalaman pengguna aplikasi yang diterapkan dalam berbagai lingkungan termasuk lingkungan pembelajaran secara elektronik [5, 6, 7, 8, 9]. Penelitian yang dilakukan oleh Santoso tidak hanya melakukan pengukuran pengalaman pengguna pada student-centered e- learning (SCELE) sekaligus menerjemahkan UEQ ke dalam bahasa Indonesia [5]. UEQ juga dapat digunakan untuk mengukur pengalaman pengguna dengan ditambahkan skala fungsional tambahan seperti Shareable Content Reference Model (SCORM) [10]. UEQ juga bahkan telah digunakan untuk mengukur platform pembelajaran berbasis kurikulum seperti Ruang Guru [11] atau aplikasi untuk pembelajaran lainnya untuk kebutuhan sertifikasi pembelajaran [12]. Selain untuk aplikasi pembelajaran, UEQ juga turut digunakan untuk menilai sistem pengelolaan administrasi akademik [13, 14]. Selain untuk pengukuran pengalaman pengguna dalam lingkungan pembelajaran secara elektronik, UEQ juga dapat digunakan untuk mengukur pengalaman pengguna pada bidang lain seperti e-commerce [15,16,17,18]. UEQ juga digunakan sebagai instrumen untuk mengukur pengalaman pengguna pada sistem yang diterapkan dalam dunia kesehatan [19, 20]. Selain pada dunia kesehatan, UEQ juga digunakan untuk mengukur pengalaman pengguna pada e-government [21].
Berdasarkan pemaparan di atas, maka penelitian ini ditujukan untuk mengukur, mengevaluasi dan membandingkan pengalaman pengguna dari aplikasi Microsoft Teams dan aplikasi Zoom sebagai media video conference dengan menggunakan metode UEQ. Penelitian ini sedikit berbeda dengan penelitian-penelitian sebelumnya dimana penelitian ini akan membandingkan pengalaman pengguna dalam penggunaan Microsoft Teams dengan aplikasi Zoom. Sivitas akademik pada program studi Sistem Informasi STMIK Mikroskil Medan baik dosen dan mahasiswa yang pernah menggunakan kedua aplikasi ini akan menjadi target responden untuk kegiatan penelitian ini.
2. METODOLOGI PENELITIAN
2.1 User Experience Questionaire (UEQ)
User Experience Questionaire (UEQ) menawarkan peluang untuk mengevaluasi pengalaman pengguna dari sebuah produk dengan cepat dan efisien. Tidak hanya untuk mengukur satu versi dari sebuah produk, UEQ dapat digunakan untuk melakukan pengukuran secara berkelanjutan untuk versi yang berbeda dari sebuah produk dan berperan sebagai kendali kualitas atas produk tersebut. UEQ dapat membantu evaluasi pengalaman pengguna dengan mempertimbangkan aspek pragmatis dan hedonis. Kedua aspek tersebut kemudian terbagi menjadi dari 6 skala dengan 26 item pertanyaan yang meliputi: attractiveness, perspicuity, efficiency, dependability, stimulation dan novelty. Attractiveness berkaitan dengan keseluruhan kesan terhadap sebuah produk. Perspicuity berkaitan dengan kemudahan untuk menjadi akrab atau terbiasa dengan aplikasi. Efficiency berkaitan dengan kemampuan pengguna untuk menyelesaikan tugasnya tanpa usaha yang tidak perlu. Dependability berkaitan dengan adanya perasaan dari pengguna terhadap kendali atas penggunaan produk. Stimulation berkaitan dengan perasaan asyik dan termotivasi untuk menggunakan produk. Terakhir novely yang berkaitan dengan tingkat inovatif dan kreatif dari produk dan apakah dapat menarik minat dari pengguna [2, 3, 4].
Penjabaran lebih lengkap untuk 6 (enam) skala pada UEQ dan 26 item di dalamnya adalah sebagai berikut [3, 4]:
1. Attractiveness: skala ini berkaitan dengan keseluruhan kesan terhadap sebuah produk. skala ini meliputi item:
attractive/unattractive, unlikeable/pleasing, unpleasant/pleasant, friendly/unfriendly, good/bad, annoying/enjoyable.
2. Dependability berkaitan dengan adanya perasaan dari pengguna terhadap kendali atas penggunaan produk.
Skala ini meliputi item: secure/not secure, unpredictable/predictable, meet expectations/does not meet expectations, ostructive/supportive.
3. Efficiency berkaitan dengan kemampuan pengguna untuk menyelesaikan tugasnya tanpa usaha yang tidak perlu. Skala ini meliputi item: inefficient/ efficient, fast/slow, organized/ cluttered, impractical/practical.
4. Perspicuity berkaitan dengan kemudahan untuk menjadi akrab atau terbiasa dengan aplikasi. Skala ini meliputi item: clear/confusing, not understandable/understandable, complicated/easy, easy to learn/difficult to learn.
5. Novely yang berkaitan dengan tingkat inovatif dan kreatif dari produk dan apakah dapat menarik minat dari pengguna. Skala ini meliputi item: conservative/innovative, creative/dull, usual/leading edge, inventive/conventional
6. Stimulation berkaitan dengan perasaan asyik dan termotivasi untuk menggunakan produk. skala ini meliputi item: motivating/demotivating, valuable/inferior, boring/exciting, not interesting/interesting.
2.2 Tahapan Penelitian
Penelitian ini akan dilaksanakan dengan tahapan kegiatan sebagai berikut:
Gambar 1. Tahapan Kegiatan Penelitian Adapun Penjabaran lebih lengkap tentang kegiatan penelitian adalah sebagai berikut:
1. Observasi aplikasi
Pada tahapan ini, Microsoft Teams dan Zoom akan diobservasi lebih lanjut untuk mendapatkan gambaran keseluruhan fitur yang disediakan khususnya untuk mendukung kegiatan video conference. Kegiatan ini penting untuk melengkapi deskripsi tentang kedua aplikasi di dalam laporan penelitian dan publikasi nantinya.
2. Tinjauan pustaka
Tahapan ini bertujuan untuk mencari lebih lanjut penelitian terkait dengan penggunaan UEQ khususnya untuk mengetahui lebih lanjut cara implementasi dan pengukuran pengalaman pengguna menggunakan UEQ 3. Penentuan populasi dan sampel
Melalui tahapan ini, besaran jumlah populasi dan target sampel pengguna yang akan menjadi responden untuk penelitian ini akan ditentukan berdasarkan jumlah mahasiswa dan dosen yang aktif di program studi Sistem Informasi STMIK Mikroskil pada periode semester genap tahun ajaran 2020/2021. Penentuan populasi dan target sampel akan menggunakan rumus Slovin. Penentuan jumlah target sampel direncanakan akan menggunakan confidence level 95% dan margin of error 10%.
4. Merancang dan mendistribusikan kuesioner
Kegiatan pada tahapan ini berfokus pada merancang dan menyebarkan kuesioner. Kuesioner akan dirancang dengan menggunakan 26 atribut untuk mengukur 6 atribut sebagaimana yang telah disediakan oleh UEQ.
Kuesioner direncanakan akan disebarkan dengan menggunakan Google Form.
5. Pengujian dengan UEQ
Melalui tahapan ini, data hasil penyebaran kuesioner akan dikumpulkan dan diolah dengan menggunakan Data Analysis Tools versi 9.
6. Analisis dan interpretasi hasil pengujian
Pada tahapan ini, hasil pengolahan data melalui Data Analysis Tools versi 9 akan dikaji dan diinterpretasikan untuk mendapatkan nilai pengalaman pengguna untuk 6 skala yang diuji termasuk hasil perbandingan nilai pengalaman pengguna untuk kedua aplikasi. Selain itu, pada kegiatan ini, beberapa usulan rekomendasi untuk peningkatan pengalaman pengunaan kedua aplikasi juga akan turut diberikan dengan mengacu pada hasil analisis dan pengujian yang telah dilakukan.
7. Penarikan kesimpulan
Tahapan ini akan melibatkan penarikan kesimpulan hasil pelaksanaan kegiatan penelitian.
3. HASIL DAN PEMBAHASAN
Untuk mendapatkan data penelitian maka perlu dilakukan penyebaran kuesioner kepada mahasiswa maupun dosen aktif yang pernah menggunakan Teams maupun Zoom. Penentuan sampel dari seluruh populasi dilakukan melalui perhitungan rumus Slovin. Populasi dari penelitian ini merupakan seluruh mahasiswa/i di Program Studi Sistem Informasi mulai dari stambuk 2017 – 2020 sejumlah 1322 orang. Sementara jumlah dosen aktif di Program Studi Sistem Informasi yaitu sebanyak 31 orang. Dari total populasi mahasiswa dan dosen aktif tersebut kemudian ditentukan sampel berdasarkan perhitungan rumus Slovin dengan confidence level 95% dan margin of error 10%
yang kemudian didapatkan jumlah sampel minimal adalah 94. Kuesioner kemudian dirancang mengikuti 26 item pertanyaan UEQ dan disebarkan dengan menggunakan Google Form. Data awal pengisian kuesioner yang didapatkan terdiri dari 231 respon, namun setelah diperiksa untuk isian yang ganda (satu responden mengisi kuesioner lebih dari sekali) maka setelah diperiksa, terdapat 205 respon dengan isian yang valid. 205 respon yang ada kemudian dilanjutkan ke pengolahan data menggunakan Data Analysis Tools versi 9 sembari memeriksa tingkat inkonsistensi. Hasilnya didapatkan total 185 respon yang dapat diolah yang ditunjukkan dengan nilai critical <=2 pada Data Analysis Tools versi 9. Hasil analisis pengalaman pengguna kedua aplikasi menggunakan 185 respon yang ada kemudian diuraikan di bawah ini.
3.1 Hasil Analisis Pengalaman Penggunaan Aplikasi Microsoft Teams
Hasil analisis pengalaman penggunaan pada aplikasi Microsoft Teams menunjukkan bahwa responden memiliki impresi yang positif terhadap aplikasi Microsoft Teams. Hal ini terlihat dari nilai mean dari 25 item yang menunjukkan positive evaluation (memiliki nilai mean > 0,8) dan hanya 1 item yang menunjukkan neutral evaluation (memiliki nilai mean pada range -0,8 sampai dengan 0,8) dengan nilai mean sebesar 0,7. Berdasarkan mayoritas item pada UEQ yang mendapatkan positive evaluation juga tentu saja akan menghasilkan positive evaluation pada 6 skala UEQ. Hal ini dapat dilihat pada tabel berikut di bawah ini
Tabel 1. UEQ Scales (mean dan variance) untuk aplikasi Microsoft Teams UEQ Scales (Mean dan Variance)
Attractiveness 1.446 0.99
Perspicuity 1.464 1.17
Efficiency 1.501 1.08
Dependability 1.327 0.94
Stimulation 1.249 1.24
Novelty 0.946 1.04
Dari tabel di atas dapat dilihat bahwa keseluruhan 6 skala UEQ yang ada bernilai > 0,8 dan mendapatkan positive evaluation dengan nilai varian pada 2 skala bernilai sangat baik dan 4 skala bernilai baik. Hal ini berarti bahwa tingkat keragaman data (variance) keseluruhan 6 skala UEQ yang ada berada pada nilai yang baik dan dapat diterima. Dengan demikian, keseluruhan nilai ini memiliki interpretasi sebagai berikut:
a. Untuk skala attractiveness yang mendapatkan positive evaluation dengan mean bernilai 1,446 bermakna responden merasa tertarik untuk menggunakan Microsoft Teams. Pengguna juga merasa senang dan menyukai aplikasi Microsoft Teams. Penilaian ini dipengaruhi oleh rasa nyaman, menyenangkan serta ramah penggunaan yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
b. Untuk skala perspicuity yang mendapatkan positive evaluation dengan mean bernilai 1,464 bermakna responden mudah dan jelas dalam penggunaan aplikasi Microsoft Teams. Penilaian ini dipengaruhi oleh perasaan mudah dalam penggunaan, mudah dipahami dan kejelasan yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
c. Untuk skala efficiency yang mendapatkan positive evaluation dengan mean bernilai 1,501 yang bermakna bahwa responden juga merasa bahwa dengan menggunakan aplikasi Microsoft Teams, mereka dapat menyelesaikan tugas mereka dengan efisien. Penilaian ini dipengaruhi oleh impresi bahwa aplikasi Microsoft teams terorganisir, praktis untuk digunakan, tidak membingungkan sehingga dapat digunakan oleh pengguna dengan beragam latar belakang yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
d. Untuk skala dependability yang mendapatkan positive evaluation dengan mean bernilai 1,327 menunjukkan bahwa responden merasa memiliki kendali terhadap interaksi selama menggunakan aplikasi Microsoft Teams.
Penilaian ini dipengaruhi oleh impresi bahwa aplikasi Microsoft Teams ini aman, dapat diprediksi setiap tahapan penggunaannya, memenuhi harapan pengguna dan dapat mendukung pengguna dalam melakukan pekerjaannya yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
e. Untuk skala stimulation yang mendapatkan positive evaluation dengan mean bernilai 1,249 menunjukkan bahwa responden merasa termotivasi untuk menggunakan aplikasi Microsoft Teams. Penilaian ini dipengaruhi oleh perasaan tidak bosan, rasa tertarik dan motivasi saat menggunaan aplikasi Microsoft Teams yang ditunjukkan dengan nilai mean lebih besar dari 0,8.
f. Untuk skala novelty yang mendapatkan positive evaluation dengan mean bernilai 0,946 menunjukkan bahwa responden merasa bahwa aplikasi Microsoft Teams itu inovatif dan membuat responden berminat untuk mencobanya. Penilaian ini dipengaruhi oleh impresi bahwa aplikasi Microsoft Teams yang inovatif, terdepan serta kreatif yang ditunjukkan dengan nilai mean lebih besar dari 0,8.
Lebih lanjut, hasil pengujian ini dapat dilihat dalam bentuk grafik di bawah ini.
Gambar 2. Grafik UEQ Scales (Mean) untuk aplikasi Microsoft Teams
Setiap bar untuk setiap skala memiliki nilai mean yang berada pada zona hijau yang merepresentasikan impresi responden yang positif terkait pengalaman penggunaan Microsoft Teams. Selain itu, pada bar yang mewakili setiap skala, terdapat garis yang berada pada tengah bar yang mewakili nilai confidence interval pada setiap skala (error bar). Error bar yang ditampilkan untuk aplikasi Microsoft Teams menampilkan nilai yang rendah. Hal ini berarti jika penelitian ini direpetisi (diulang) dengan kondisi yang sama, maka kemungkinan hasil yang diperoleh akan kurang lebih sama dengan hasil berkisar pada rentang error yang ada. Adapun nilai error bar dapat dilihat pada kolom confidence dalam tabel berikut di bawah ini.
Tabel 2. Grafik UEQ Scales (Mean) untuk aplikasi Microsoft Teams Confidence intervals (p=0.05) per scale
Scale Mean Std. Dev. N Confidence Confidence interval Attractiveness 1.446 0.997 185 0.144 1.302 1.590
Perspicuity 1.464 1.080 185 0.156 1.308 1.619
Efficiency 1.501 1.039 185 0.150 1.352 1.651
Dependability 1.327 0.972 185 0.140 1.187 1.467
Stimulation 1.249 1.113 185 0.160 1.088 1.409
Novelty 0.946 1.020 185 0.147 0.799 1.093
Selanjutnya, UEQ menyediakan sebuah dataset sebagai tolok ukur pembanding (benchmark) untuk menilai baik atau tidaknya sebuah produk. Dataset merupakan sekumpulan hasil pengujian pengalaman pengguna terhadap aplikasi yang menggunakan UEQ sebagai alat bantu pengukurannya. Dataset yang ada akan memiliki benchmark interval untuk menentukan kategori dan interpretasi hasil perbandingan. Adapun nilai mean sebagai benchmark interval yang didapatkan dari Data Analysis Tools versi 9 dapat dilihat pada tabel berikut di bawah ini.
Tabel 3. Benchmark Interval untuk Data Analysis Tools versi 9
No Aspek
Kategori
Excellent Good Above
Average
Below
Average Bad 1 Daya Tarik >1.84 >1.58 >1.18 >0.69 <0.69 2 Kejelasan >2 >1.73 >1.2 >0.72 < 0.72 3 Efisiensi >1.88 >1.5 >1.05 >0.6 < 0.6 4 Ketepatan >1.7 >1.48 >1.14 >0.78 < 0.78 5 Stimulasi >1.7 >1.35 >1 >0.5 < 0.5 6 Kebaruan >1.6 >1.12 >0.7 >0.16 < 0.16
Menggunakan benchmark interval yang ada maka penilaian UEQ untuk aplikasi Microsoft Teams dengan dataset UEQ untuk kegiatan benchmarking dapat dilihat pada tabel berikut di bawah ini.
Tabel 4. Benchmarking Skala UEQ untuk aplikasi Microsoft Teams Scale Mean Comparisson to benchmark Interpretation
Attractiveness 1.45 Above average 25% of results better, 50% of results worse Perspicuity 1.46 Above average 25% of results better, 50% of results worse Efficiency 1.50 Good 10% of results better, 75% of results worse Dependability 1.33 Above average 25% of results better, 50% of results worse Stimulation 1.25 Above average 25% of results better, 50% of results worse Novelty 0.95 Above average 25% of results better, 50% of results worse
Berdasarkan tabel di atas, nilai mean untuk evaluasi pengalaman penggunaan untuk aplikasi Microsoft Teams dibandingkan dengan benchmark interval pada tabel di atas yang disediakan dalam dataset pada Data Analysis Tools versi 9 dari UEQ didapatkan interpretasi sebagai berikut:
1. Untuk attractiveness, aplikasi Microsoft Teams dikategorikan sebagai “above average”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Teams memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Microsoft Teams memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
2. Untuk perspicuity, aplikasi Microsoft Teams dikategorikan sebagai “above average”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Microsoft Teams memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Teams memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
3. Untuk efficiency, aplikasi Microsoft Teams dikategorikan sebagai “good”. Hal ini berarti dibandingkan dengan data set yang ada, aplikasi Microsoft Teams memiliki nilai mean yang lebih rendah dari 10% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Microsoft Teams memiliki nilai mean yang lebih tinggi dari 75% hasil evaluasi aplikasi yang ada pada dataset
4. Untuk dependability, aplikasi Microsoft Teams dikategorikan sebagai “above average”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Microsoft Teams memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Microsoft Teams memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
5. Untuk stimulation, aplikasi Microsoft Teams dikategorikan sebagai “above average”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Microsoft Teams memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Microsoft Teams memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
6. Untuk novelty, aplikasi Microsoft Teams dikategorikan sebagai “above average”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Microsoft Teams memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Microsoft Teams memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
Setiap nilai perbandingan ini jika dimodelkan dalam bentuk grafis dapat dilihat pada gambar berikut di bawah ini.
Gambar 3. Grafis Benchmarking Skala UEQ untuk aplikasi Microsoft Teams 3.2 Hasil Analisis Pengalaman Penggunaan aplikasi Zoom
Hasil analisis pengalaman penggunaan pada aplikasi Zoom menunjukkan bahwa responden memiliki impresi yang positif terhadap aplikasi Zoom. Hal ini terlihat dari nilai mean dari 24 item yang menunjukkan positive evaluation (memiliki nilai mean > 0,8) dan hanya 2 item yang menunjukkan neutral evaluation (memiliki nilai mean pada range -0,8 sampai dengan 0,8). Adapun keragaman data ditunjukkan dengan variance yang berada pada nilai yang baik dan dapat diterima. Berdasarkan mayoritas item pada UEQ yang mendapatkan positive evaluation juga tentu saja akan menghasilkan positive evaluation pada 6 skala UEQ. Hal ini dapat dilihat pada gambar berikut di bawah ini
Tabel 5. UEQ Scales (mean dan variance) untuk aplikasi Zoom UEQ Scales (Mean dan Variance)
Attractiveness 1.189 1.38
UEQ Scales (Mean dan Variance)
Perspicuity 1.219 1.55
Efficiency 1.268 1.48
Dependability 1.061 1.34
Stimulation 1.088 1.54
Novelty 0.801 1.38
Dari tabel di atas dapat dilihat bahwa keseluruhan 6 skala UEQ yang ada bernilai > 0,8 dan mendapatkan positive evaluation dengan nilai varian pada 2 skala bernilai sangat baik dan 4 skala bernilai baik. Hal ini berarti bahwa tingkat keragaman data (variance), keseluruhan 6 skala UEQ yang ada berada pada nilai yang baik dan dapat diterima. Dengan demikian, keseluruhan nilai ini memiliki interpretasi sebagai berikut:
a. Untuk skala attractiveness yang mendapatkan positive evaluation dengan mean bernilai 1,189 bermakna responden merasa tertarik untuk menggunakan Zoom. Pengguna juga merasa senang dan menyukai aplikasi Zoom. Penilaian ini dipengaruhi oleh rasa nyaman, menyenangkan serta ramah penggunaan yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
b. Untuk skala perspicuity yang mendapatkan positive evaluation dengan mean bernilai 1,219 bermakna responden mudah dan jelas dalam penggunaan aplikasi Zoom. Penilaian ini dipengaruhi oleh perasaan mudah dalam penggunaan, mudah dipahami dan kejelasan yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
c. Untuk skala efficiency yang mendapatkan positive evaluation dengan mean bernilai 1,268 yang bermakna bahwa responden juga merasa bahwa dengan menggunakan aplikasi Zoom, mereka dapat menyelesaikan tugas mereka dengan efisien. Penilaian ini dipengaruhi oleh impresi bahwa aplikasi Zoom terorganisir, praktis untuk digunakan, tidak membingungkan sehingga dapat digunakan oleh pengguna dengan beragam latar belakang yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
d. Untuk skala dependability yang mendapatkan positive evaluation dengan mean bernilai 1,061 menunjukkan bahwa responden merasa memiliki kendali terhadap interaksi selama menggunakan aplikasi Zoom. Penilaian ini dipengaruhi oleh impresi bahwa aplikasi Zoom ini aman, dapat diprediksi setiap tahapan penggunaannya, memenuhi harapan pengguna dan dapat mendukung pengguna dalam melakukan pekerjaannya yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
e. Untuk skala stimulation yang mendapatkan positive evaluation dengan mean bernilai 1,088 menunjukkan bahwa responden merasa termotivasi untuk menggunakan aplikasi Zoom. Penilaian ini dipengaruhi oleh perasaan tidak bosan, rasa tertarik dan motivasi saat menggunaan aplikasi Zoom yang ditunjukkan dengan nilai mean lebih besar dari 0,8.
f. Untuk skala novelty yang mendapatkan positive evaluation dengan mean bernilai 0,801. Nilai yang berada pada batas zona hijau. Namun demikian hal ini menunjukkan bahwa responden merasa bahwa aplikasi Zoom itu inovatif dan membuat responden berminat untuk mencobanya. Penilaian ini dipengaruhi oleh impresi bahwa aplikasi Zoom yang inovatif, terdepan serta kreatif yang ditunjukkan dengan nilai mean lebih besar dari 0,8.
Berikut di bawah ini merupakan grafik untuk hasil pengujian UEQ terhadap aplikasi Zoom.
Gambar 4. Grafik UEQ Scales (Mean) untuk aplikasi Zoom
Setiap bar pada gambar di atas menunjukkan setiap skala memiliki nilai mean yang berada pada zona hijau yang merepresentasikan impresi responden yang positif terkait pengalaman penggunaan Zoom meski skala novelty berada pada batas zona hijau. Selain itu, pada bar yang mewakili setiap skala, terdapat garis yang berada pada tengah bar yang mewakili nilai confidence interval pada setiap skala (error bar). Error bar yang ditampilkan untuk aplikasi Zoom menampilkan nilai yang rendah. Hal ini berarti jika penelitian ini direpetisi (diulang) dengan kondisi yang sama, maka kemungkinan hasil yang diperoleh akan kurang lebih sama dengan hasil berkisar pada rentang error yang ada. Adapun nilai error bar dapat dilihat pada kolom confidence dalam tabel berikut di bawah ini.
Tabel 6. Grafik UEQ Scales (Mean) untuk aplikasi Zoom Confidence intervals (p=0.05) per scale
Scale Mean Std. Dev. N Confidence Confidence interval Attractiveness 1.189 1.175 185 0.169 1.020 1.359
Perspicuity 1.219 1.245 185 0.179 1.040 1.398
Efficiency 1.268 1.215 185 0.175 1.092 1.443
Dependability 1.061 1.156 185 0.167 0.894 1.227
Stimulation 1.088 1.240 185 0.179 0.909 1.267
Novelty 0.801 1.174 185 0.169 0.632 0.970
Adapun hasil perbandingan penilaian UEQ untuk aplikasi Zoom dengan dataset UEQ untuk kegiatan benchmarking dapat dilihat pada tabel berikut di bawah ini.
Tabel 7. Benchmarking Skala UEQ untuk aplikasi Zoom Scale Mean Comparisson to benchmark Interpretation
Attractiveness 1.19 Above average 25% of results better, 50% of results worse Perspicuity 1.22 Above average 25% of results better, 50% of results worse Efficiency 1.27 Above average 25% of results better, 50% of results worse Dependability 1.06 Below average 50% of results better, 25% of results worse Stimulation 1.09 Above average 25% of results better, 50% of results worse Novelty 0.80 Above average 25% of results better, 50% of results worse
Berdasarkan tabel di atas, nilai mean untuk evaluasi pengalaman penggunaan untuk aplikasi Zoom dibandingkan dengan benchmark interval pada tabel di atas yang disediakan dalam dataset pada Data Analysis Tools versi 9 dari UEQ didapatkan interpretasi sebagai berikut:
1. Untuk attractiveness, aplikasi Zoom dikategorikan sebagai “above average”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Zoom memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Zoom memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
2. Untuk perspicuity, aplikasi Zoom dikategorikan sebagai “above average”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Zoom memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Zoom memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
3. Untuk efficiency, aplikasi Zoom dikategorikan sebagai “above average”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Zoom memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Zoom memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
4. Untuk dependability, aplikasi Zoom dikategorikan sebagai “below average”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Zoom memiliki nilai mean yang lebih rendah dari 50% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Zoom memiliki nilai mean yang lebih tinggi dari hanya 25% hasil evaluasi aplikasi yang ada pada dataset.
5. Untuk stimulation, aplikasi Zoom dikategorikan sebagai “above average”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Zoom memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Zoom memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
6. Untuk novelty, walaupun merupakan skala dengan nilai paling rendah untuk aplikasi Zoom, namun masih dikategorikan sebagai “above average”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Zoom memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Zoom memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset untuk aspek novelty.
Lebih jelasnya setiap nilai perbandingan ini jika dimodelkan dalam bentuk grafis dapat dilihat pada gambar berikut di bawah ini
Gambar 5. Grafis Benchmarking Skala UEQ untuk aplikasi Zoom
3.3 Hasil Analisis Perbandingan Aplikasi Microsoft Teams dan Aplikasi Zoom
Perbandingan pengalaman penggunaan antara kedua aplikasi yakni aplikasi Microsoft Teams dan aplikasi Zoom dilakukan dengan menggunakan UEQ Compare Products versi 4. Menggunakan alat bantu pengolahan data ini didapatkan hasil sebagai berikut.
Tabel 8. Perbandingan UEQ Scale Means aplikasi Microsoft Teams dan Zoom
Scale
Data Set Teams Data Set Zoom
Mean STD N Confidence Confidence
interval Mean STD N Confidence Confidence
interval
Attractiveness 1.45 1.00 185 0.14 1.30 1.59 1.19 1.18 185 0.17 1.02 1.36
Perspicuity 1.46 1.08 185 0.16 1.31 1.62 1.22 1.24 185 0.18 1.04 1.40
Efficiency 1.50 1.04 185 0.15 1.35 1.65 1.27 1.22 185 0.18 1.09 1.44
Dependability 1.33 0.97 185 0.14 1.19 1.47 1.06 1.16 185 0.17 0.89 1.23
Stimulation 1.25 1.11 185 0.16 1.09 1.41 1.09 1.24 185 0.18 0.91 1.27
Novelty 0.95 1.02 185 0.15 0.80 1.09 0.80 1.17 185 0.17 0.63 0.97
Secara grafis, hasil perbandingan UEQ scale means aplikasi Microsoft Teams dan aplikasi Zoom dapat dilihat pada gambar berikut di bawah ini.
Gambar 6. Perbandingan UEQ Scale Means aplikasi Microsoft Teams dan Zoom
Hasil perbandingan menunjukkan bahwa keseluruhan 6 skala UEQ menunjukkan nilai mean yang lebih tinggi untuk aplikasi Teams dibandingkan dengan aplikasi Zoom. Lebih rinci, perbandingan setiap nilai means dari kedua aplikasi dapat dilihat pada tabel berikut di bawah ini.
Tabel 9. Perbandingan UEQ Quality aplikasi Microsoft Teams dan Zoom UEQ Quality
UEQ Scales Teams
UEQ Scales Zoom
Scale
UEQ Scales Teams
Mean Teams
UEQ Scales Zoom
Mean Zoom Attractiveness 1.45 1.19 Attractiveness 1.446 1.446 1.189 1.189 Pragmatic Quality 1.43 1.18
Perspicuity 1.464
1.431
1.219
1.182
Efficiency 1.501 1.268
Dependability 1.327 1.061
Hedonic Quality 1.10 0.94 Stimulation 1.249
1.097 1.088
0.945
Novelty 0.946 0.801
4. KESIMPULAN
Berdasarkan pembahasan terkait hasil pengujian terhadap pengalaman penggunaan atas aplikasi Microsoft Teams dan Zoom dengan populasi yang berasal dari sivitas akademik pada program studi Sistem Informasi STMIK Mikroskil Medan baik dosen dan mahasiswa, maka kesimpulan yang dapat diambil yaitu dari keseluruhan 6 skala yang diukur pada Microsoft Teams, menunjukkan bahwa aplikasi ini memiliki hasil benchmarking pada skala efficiency yang lebih unggul dibandingkan skala lainnya. Sementara pada aplikasi Zoom, menunjukkan bahwa aplikasi ini memiliki hasil benchmarking pada skala dependability yang lebih rendah dibandingkan skala lainnya.
Jika kedua aplikasi dibandingkan, maka hasilnya menunjukkan bahwa aplikasi Microsoft Teams ini lebih unggul digunakan untuk kegiatan video conference dan komunikasi dibandingkan aplikasi Zoom. Hal ini ditunjukkan oleh nilai ke 6 skala dari Microsoft Teams yang lebih tinggi dibandingkan dengan aplikasi Zoom. Mengingat penelitian yang telah dilakukan masih memanfaatkan 6 skala UEQ yang telah disediakan tapi belum melibatkan pengukuran KPI (key performance Index) di dalamnya. Maka untuk penelitian selanjutnya, diharapkan dapat dilanjutkan dengan melakukan pengukuran sembari mempertimbangkan KPI (dengan bobot yang ditentukan sesuai dengan persepsi masing-masing responden. Selain itu, penelitian dengan melibatkan pengukuran KPI juga dapat dilakukan
menggunakan UEQ+ sebagai update dari metode UEQ yang mengizinkan peneliti untuk melakukan kustomisasi terhadap variabel pengalaman pengguna yang hendak diukur.
REFERENCES
[1] Tribunnews. 2020, “STMIK–STIE Mikroskil Medan Optimalkan Pembelajaran e-Learning di Tengah Pandemi Virus Covid-19”. https://medan.tribunnews.com/2020/03/16/stmikstie-mikroskil-medan-optimalkan-pembelajaran-e-learning- di-tengah-pandemi-virus-covid-19. [last accessed 15 april 2021]
[2] Schrepp, M., Hinderks, A., & Thomaschewski, J. (2014). “Applying the user experience questionnaire (UEQ) in different evaluation scenarios”. In International Conference of Design, User Experience, and Usability (pp. 383-392). Springer, Cham.
[3] Schrepp, M. (2019). “User experience questionnaire handbook. All you need to know to apply the UEQ successfully in your project version 8 (31.12.2019)”. https://www.ueq-online.org/. [last accessed 16 april 2021].
[4] Schrepp, M., Hinderks, A., & Thomaschewski, J. (2017). “Construction of a Benchmark for the User Experience Questionnaire (UEQ)”. IJIMAI, 4(4), 40-44.
[5] Santoso, H. B., Schrepp, M., Isal, R., Utomo, A. Y., & Priyogi, B. (2016). “Measuring user experience of the student- centered e-learning environment”. Journal of Educators Online, 13(1), 58-79.
[6] Fajar, A. N. (2019). “E-learning implementation using user experience questionnaire”. In Journal of Physics: Conference Series (Vol. 1367, No. 1, p. 012015). IOP Publishing.
[7] Abubakari, M. S., & Hungilo, G. (2021). “Evaluating an e-Learning Platform at Graduate School Based on User Experience Evaluation Technique”. In Journal of Physics: Conference Series (Vol. 1737, No. 1, p. 012019). IOP Publishing.
[8] Wulandari, I. R., & Farida, L. D. (2018). “Pengukuran user experience pada e-learning di lingkungan universitas menggunakan User Experience Questionnare (UEQ)”. jurnal mantik penusa, 2(2).
[9] Sutadji, E., Hidayat, W. N., Patmanthara, S., Sulton, S., Jabari, N. A. M., & Irsyad, M. (2020). “Measuring user experience on SIPEJAR as e-learning of Universitas Negeri Malang”. In IOP Conference Series: Materials Science and Engineering (Vol. 732, No. 1, p. 012116). IOP Publishing.
[10] Laksono, M. Q., Kusumawardani, S. S., & Ferdiana, R. (2020). “Evaluating User Experience on E-learning using the User Experience Questionnaire (UEQ) with Additional Functional Scale”.
[11] Kristanto, S. P., Hakim, L., & Hariyati, F. (2020). “Usability Evaluation In Ruang Guru Applications Using User Experience Questionnaire (UEQ): Usability Evaluation In Ruang Guru Applications Using User Experience Questionnaire (UEQ)”. Jurnal Mantik, 4(1), 181-186.
[12] Halim, F., Handoko, H., & Marpaung, S. H. (2020). “Penilaian User Experience Fiori Bussim Menggunakan User Experience Questionaire (UEQ) Dan Pengaruhnya Terhadap Pemahaman Pembelajaran Matakuliah Sertifikasi SAP”.
Sebatik, 24(1), 102-112.
[13] Nurdin, M. (2020). “Mengukur User Experience Sistem Informasi Akademik”. INFOTECH journal, 6(1), 7-10.
[14] Henim, S. R., & Sari, R. P. (2020). “Evaluasi User Experience Sistem Informasi Akademik Mahasiswa pada Perguruan Tinggi Menggunakan User Experience Questionnaire”. Jurnal Komputer Terapan, 6(1), 69-78.
[15] Lukita, K. A., Galinium, M., & Purnama, J. (2018). “User Experience Analysis of an E-Commerce Website Using User Experience Questionnaire (UEQ) Framework”. In Prosiding Seminar Nasional Pakar (pp. 347-355).
[16] Novitasari, S. F., Mursityo, Y. T., & Rusydi, A. N. (2020). “Evaluasi Pengalaman Pengguna Pada E-Commerce Sociolla.
Com Menggunakan Usability Testing dan User Experience Questionnaire (UEQ)”. Jurnal Sistem Informasi, Teknologi Informasi, dan Edukasi Sistem Informasi, 1(2), 57-63.
[17] Abdillah, L. A. (2020). “FinTech E-Commerce Payment Application User Experience Analysis during COVID-19 Pandemic”. arXiv preprint arXiv:2012.07750.
[18] Intanny, V. A., Widiyastuti, I., & Perdani, M. D. K. (2018). “Pengukuran Kebergunaan dan Pengalaman Pengguna Marketplace Jogjaplaza. id dengan Metode UEQ dan USE Questionnaire”. Jurnal Pekommas, 3(2), 117-26.
[19] Wahab, N. A., Sahabudin, N. M., Osman, A., & Ibrahim, N. (2020). “Evaluating the User Experience of a Web-Based Child Health Record System”. Journal of Computing Research and Innovation, 5(3), 17-24.
[20] Heshmati, A., Moftian, N., Rezaei-Hachesu, P., & Samad-Soltani, T. (2020). “Simple and Efficient Measurement of the User Experience in Health Information Systems: A Persian Version”. Iranian Journal of Public Health, 50(1), 217-218.
[21] Putro, S., Kusrini, K., & Kurniawan, M. P. (2020). “Penerapan Metode UEQ dan Cooperative Evaluation untuk Mengevaluasi User Experience Lapor Bantul”. Creative Information Technology Journal, 6(1), 27-37.
