Pengukuran Pengalaman Pengguna Aplikasi Platform Pembelajaran dan Konferensi Video Menggunakan Framework UEQ+
Angela*, Fandi Halim, Chatrine Sylvia
1 Fakultas Informatika, Program Studi Sistem Informasi, Universitas Mikroskil, Medan, Indonesia Email: 1,*[email protected], 2[email protected], 3[email protected]
Email Penulis Korespondensi: [email protected]
Abstrak−Penelitian ini bertujuan untuk mengukur dan mengevaluasi pengalaman pengguna dari aplikasi Microsoft Teams sebagai platform pembelajaran dan video conference dengan menggunakan framework UEQ+, yang merupakan perkembangan dari metode UEQ. Melalui framework UEQ+, kuesioner dapat dirancang dengan menyesuaikan variabel pengalaman pengguna sesuai aplikasi yang hendak diukur sehingga diharapkan hasil penelitian menjadi lebih akurat dan relevan. Skala pengalaman pengguna yang diukur pada kuesioner ini meliputi: efisiensi, kejelasan, tingkat keandalan, tingkat kepercayaan, kegunaan, penggunaan secara intuitif, tingkat kepercayaan terhadap konten, kualitas konten, dan kejelasan tampilan. Setelah kuesioner disebar, diperoleh sebanyak 149 data yang dapat diolah menggunakan alat bantu pengolahan data yang sudah disediakan oleh UEQ+ yang bernama Data Analysis Tools. Kesimpulannya, responden memiliki impresi yang positif terhadap Microsoft Teams sebagai aplikasi video conference dan platform pembelajaran. Skala terpenting yang merepresentasikan kualitas Microsoft Teams adalah kegunaan, kejelasan tampilan, tingkat kepercayaan terhadap konten, dan kualitas konten.
Kata Kunci: Pengalaman Pengguna; Platform Pembelajaran; Konferensi Video; Microsoft Teams; UEQ+
Abstract−This study aims to measure and evaluate the user experience of the Microsoft Teams application as a learning and video conferencing platform using the UEQ+ framework, which is the development of the UEQ method. Through the UEQ+
framework, questionnaires can be designed by customizing user experience variables according to the application to be measured, thus the research results are expected to be more accurate and relevant. The scale of user experience measured in this questionnaire includes: efficiency, perspicuity, dependability, trust, usefulness, intuitive use, trustworthiness of content, quality of content, and clarity. After the questionnaires were distributed, 149 data were obtained which could be processed using data processing tools which being provided by UEQ+ called Data Analysis Tools. In conclusion, respondents have positive impression of Microsoft Teams as a video conferencing application and learning platform. The most important scale that represents the quality of Microsoft Teams is usefulness, clarity, trustworthiness of content, and quality of content.
Keywords: User Experience; Learning Platform; Video Conference; Microsoft Teams; UEQ+
1. PENDAHULUAN
Hingga saat ini kebijakan belajar dari rumah (home-based learning) masih dijalankan oleh satuan pendidikan untuk menghindari penyebaran virus Covid-19 di Indonesia. Walaupun telah diizinkan untuk melakukan tatap muka terbatas, namun pembelajaran daring masih merupakan prioritas bagi satuan pendidikan di wilayah Indonesia dengan tingkat penyebaran virus yang tinggi. Pembelajaran daring sebagai bagian dari kebijakan belajar dari rumah, menuntut setiap satuan pendidikan untuk memanfaatkan teknologi yang bervariasi agar dapat mencapai tujuan proses pembelajaran daring, mulai dari menggunakan group chat, video conference, dan platform pembelajaran online. Sebagai salah satu satuan unit pendidikan, Universitas Mikroskil sebagai salah satu perguruan tinggi di Medan, Sumatera Utara juga telah ikut melakukan hal yang sama dengan menerapkan ragam teknologi untuk mendukung kegiatan pembelajaran secara daring, bahkan sejak sebelum pandemi berlangsung.
Penggunaan teknologi secara masif kemudian terus ditingkatkan secara optimal sejak pandemi berlangsung untuk berbagai kegiatan, mulai dari kegiatan perkuliahan online, kegiatan penelitian dan pembimbingan tugas akhir [1].
Teknologi juga menjadi prioritas dalam penyelenggaraan kegiatan kemahasiswaan dan kegiatan kolaborasi lain yang melibatkan pihak internal maupun pihak eksternal dari lingkungan Universitas.
Saat ini terdapat beberapa platform teknologi yang digunakan di lingkungan Universitas Mikroskil untuk kebutuhan belajar maupun bekerja seperti aplikasi Microsoft Teams dan Zoom. Sebelumnya telah dilakukan penelitian untuk mengukur dan membandingkan pengalaman pengguna antara aplikasi Microsoft Teams dan aplikasi Zoom. Hasil penelitian menunjukkan bahwa pengalaman pengguna aplikasi Microsoft Teams lebih unggul daripada Zoom, sehingga Microsoft Teams merupakan platform yang lebih diminati oleh mahasiswa dan sivitas akademik Mikroskil [2]. Penggunaan Microsoft Teams telah berlangsung secara rutin dengan durasi penggunaan selama lebih dari 1,5 tahun sejak kebijakan home-based learning dan work from home diterapkan sejak pandemi berlangsung. Suatu aplikasi dapat dikatakan baik dan berkualitas apabila mampu memenuhi kebutuhan pengguna sehingga akan menimbulkan kepuasan pengguna. Salah satu cara untuk mengetahui kebutuhan pengguna adalah melalui pengalaman pengguna[3]. Dengan demikian, pengukuran dan evaluasi terhadap pengalaman pengguna perlu dilakukan. Dari hasil pengukuran, dapat diperoleh gambaran tentang sejauh mana interaksi antara pengguna dengan aplikasi. Hal ini dapat menjadi dasar bagi pihak pimpinan untuk mengambil kebijakan terkait penggunaan aplikasi yang saat ini telah menjadi salah satu media utama dalam penyelenggaraan pembelajaran secara daring.
Hal ini penting guna peningkatan pengelolaan pembelajaran dan kegiatan di lingkungan Universitas Mikroskil.
Pengalaman pengguna dapat diukur dengan menggunakan berbagai metode, seperti User Experience Questionnaire (UEQ) dengan perkembangan menjadi UEQ+, Modular Evaluation of Key Components of User
Experience (meCUE) 2.0, Questionnaire for Interaction Satisfaction (QUIS), Usability Metric for User Experience (UMUX) dan Standarized User Experience Percentile Rank Questionnaire (SUPR-Q). Sebelumnya pengalaman pengguna Microsoft Teams sudah pernah diteliti dengan menggunakan metode UEQ dan diperoleh hasil pengukuran berdasarkan 6 skala, yaitu attractiveness, perspicuity, efficiency, dependability, stimulation dan novelty [2], [4]. Pada penelitian ini, pengukuran pengalaman pengguna akan dilanjutkan dengan menggunakan metode UEQ+, yang merupakan update dari metode UEQ. Hal ini penting mengingat dalam beberapa skenario, masih terdapat faktor-faktor orisinil lain yang belum dapat diukur melalui metode UEQ yang juga memiliki relevansi yang tinggi terhadap pengalaman pengguna [5]. Ada pula aspek-aspek yang hanya relevan untuk produk khusus dan akan menjadi kurang cocok jika ditambahkan pada kuesioner UEQ yang sifatnya umum untuk semua produk, seperti aspek haptics (perasaan pengguna saat menyentuh suatu produk) akan menjadi relevan untuk jenis peralatan rumah tangga tertentu, tetapi tidak relevan untuk mengukur jejaring sosial atau aplikasi bisnis [5].
Framework UEQ+ sebaiknya digunakan jika suatu produk direncanakan untuk dievaluasi berkali-kali, misalnya untuk mengetahui apakah produk mengalami peningkatan seiring berjalannya waktu. Melalui framework UEQ+, peneliti diberi fleksibilitas dalam merancang kuesioner melalui kustomisasi terhadap variabel pengalaman pengguna yang telah disediakan dan dapat diukur dengan disesuaikan terhadap aplikasi yang hendak ditinjau.
UEQ+ juga telah menyediakan rekomendasi terhadap variabel yang diukur untuk kustomisasi yang hendak dilakukan pada kuesioner [5]. Oleh karena itu, diharapkan hasil penelitian dapat menjadi lebih akurat dan relevan.
Walaupun metode UEQ telah banyak digunakan untuk mengukur pengalaman pengguna berbagai aplikasi termasuk pembelajaran elektronik [6]–[11], sistem pengelolaan administrasi akademik [12], [13], e-commerce [14]–[16], aplikasi kesehatan [17], [18], dan e-government [19], hingga saat ini masih sedikit sekali penelitian yang memanfaatkan UEQ+ karena framework ini masih tergolong baru. Beberapa penelitian yang telah menggunakan UEQ+ di antaranya adalah penelitian yang mengukur pengalaman pengguna dari voice assistant [20], [21], aplikasi ujian mobile [22], dan website universitas [23].
Berdasarkan pemaparan di atas, maka penelitian ini ditujukan untuk mengukur dan mengevaluasi pengalaman pengguna dari aplikasi Microsoft Teams sebagai platform pembelajaran dan video conference dengan menggunakan metode UEQ+, di mana target respondennya adalah sivitas akademik baik dosen maupun mahasiswa pada program studi Sistem Informasi Universitas Mikroskil Medan.
2. METODOLOGI PENELITIAN
2.1 Tahapan Penelitian
Kegiatan dalam penelitian ini akan dilaksanakan dengan tahapan sebagai berikut.
Gambar 1. Tahapan Kegiatan Penelitian
Penjelasan kegiatan pada masing-masing tahapan penelitian adalah sebagai berikut:
a. Observasi aplikasi
Penelitian ini diawali dengan mengobservasi aplikasi Microsoft Teams untuk memperoleh gambaran keseluruhan fitur yang disediakan khususnya sebagai platform pembelajaran dan video conference.
b. Tinjauan pustaka
Kegiatan berikutnya adalah mencari penelitian terkait dengan pengukuran pengalaman pengguna, terutama mengenai cara implementasi dan pengukuran pengalaman pengguna menggunakan UEQ+.
c. Penentuan populasi dan sampel
Pada kegiatan ini, dicari jumlah populasi dan target sampel pengguna yang akan menjadi responden untuk penelitian ini, di mana responden ditentukan berdasarkan jumlah mahasiswa dan dosen yang aktif di program
studi Sistem Informasi Universitas Mikroskil pada semester Ganjil T.A. 2021/2022. Kemudian, dari total populasi mahasiswa dan dosen aktif tersebut ditentukan sampel berdasarkan perhitungan rumus Slovin.
d. Merancang dan mendistribusikan kuesioner
Fokus pada tahapaan kegiatan ini adalah untuk merancang dan mendistribusikan kuesioner berdasarkan framework yang telah disediakan oleh UEQ+. Kuesioner dirancang dengan memilih atribut-atribut yang disesuaikan dengan kategori aplikasi yang diukur.
e. Pengukuran dengan UEQ+
Selanjutnya, kuesioner yang telah disebar akan dikumpulkan kembali dan hasil datanya diolah dengan menggunakan Data Analysis Tools UEQ+ yang telah tersedia dalam bentuk Microsoft Excel.
f. Analisis dan interpretasi hasil pengukuran
Hasil data yang telah diolah menggunakan Data Analysis Tools UEQ+ akan dikaji dan diinterpretasikan untuk mendapatkan nilai pengalaman pengguna. Selain itu, akan didapatkan pula beberapa usulan rekomendasi untuk peningkatan pengalaman penguna dengan mengacu pada hasil analisis dan pengukuran yang telah dilakukan.
g. Penarikan kesimpulan
Terakhir, dilakukan penarikan kesimpulan terhadap hasil pelaksanaan kegiatan penelitian.
2.2 Framework UEQ+
UEQ+ merupakan perluasan modular dari metode User Experience Questionnaire (UEQ). UEQ merupakan kuesioner yang banyak digunakan untuk mengukur pengalaman pengguna berdasarkan 6 skala, yaitu attractiveness, perspicuity, efficiency, dependability, stimulation dan novelty. Namun, dalam penerapannya pada beberapa skenario, terdapat faktor-faktor yang relevan dengan pengalaman pengguna yang tidak terukur menggunakan UEQ. Kuesioner tersebut juga tidak dapat begitu saja ditambahkan lebih banyak skala, karena akan meningkatkan upaya responden untuk mengisi kuesioner dan tidak semua aspek pengalaman pengguna relevan untuk semua produk. Misalnya, aspek haptics yang membahas tentang bagaimana perasaan pengguna saat menyentuh suatu produk akan menjadi relevan untuk jenis peralatan rumah tangga tertentu, tetapi tidak relevan untuk mengukur jejaring sosial atau aplikasi bisnis [5].
Framework UEQ+ mencoba mengatasi masalah ini dengan pendekatan modular. UEQ+ berisi daftar skala pengalaman pengguna yang lebih banyak dan peneliti dapat memilih skala yang paling relevan dari daftar tersebut untuk mengevaluasi produk yang ingin diselidiki. Dengan kata lain, UEQ+ bukanlah kuesioner pengalaman pengguna, namun merupakan alat untuk membangun kuesioner konkret yang disesuaikan dengan skenario evaluasi khusus. Meskipun demikian, pendekatan ini juga mengharuskan peneliti mengeluarkan usaha lebih untuk merancang kuesioner sebelum bisa melakukan evaluasi, serta analisis data dan interpretasi hasil menjadi lebih sulit [5].
Dari sekian banyaknya skala yang disediakan pada UEQ+, untuk menentukan skala yang perlu dimasukkan dalam kuesioner, aspek pengalaman pengguna yang penting bagi pengguna produk jelas harus diperhatikan. Telah tersedia rekomendasi terkait aspek mana yang relevan yang dapat diukur tergantung pada jenis produk dan dapat diturunkan dari penelitian terdahulu [5].
Untuk kategori produk video conference dan platform pembelajaran, skala yang direkomendasikan meliputi: efisiensi (efficiency), kejelasan (perspicuity), tingkat keandalan (dependability), tingkat kepercayaan (trust), kegunaan (usefulness), penggunaan secara intuitif (intuitive use), tingkat kepercayaan terhadap konten (trustworthiness of content), kualitas konten (quality of content), dan kejelasan tampilan (clarity). Adapun deskripsi lebih lanjut tentang setiap skala yang diukur adalah: [5]
a. Efficiency: berkaitan dengan impresi secara subjektif tentang seberapa baik pengguna dalam mencapai tujuannya melalui penggunaan produk dengan usaha yang minimal. Skala ini juga berkaitan dengan seberapa baik produk dapat merespon dengan cepat terhadap aksi yang dilakukan oleh pengguna. Selain itu, skala ini juga mengandung impresi tentang apakah pengguna tidak dipaksa untuk memasukkan informasi yang tidak diperlukan atau melakukan klik yang tidak penting untuk melakukan jenis pekerjaan tertentu. Adapun item pada effiency pada UEQ+ meliputi: slow/fast, inefficient/efficient, impractical/practical dan organized/cluttered. Skala ini relevan dengan produk yang sering digunakan untuk mencapai tujuan pekerjaan tertentu
b. Perspicuity: berkaitan dengan impresi subjektif terkait dengan kemudahan untuk memahami dan mempelajari tentang cari menggunakan produk yang diukur. Skala ini juga merupakan salah satu dari skala yang terdapat pada UEQ sebelumnya. Adapun item untuk perspicuity pada UEQ+ meliputi: not understandable/
understandable, difficult to learn/easy to learn, complicated/easy, dan clear/confusing. Skala ini dapat diterapkan untuk mengukur semua jenis produk yang memiliki tingkat kompleksitas tertentu dan sering digunakan.
c. Dependability: berkaitan dengan impresi subjektif bahwa produk memberi respon yang dapat diprediksi dan konsisten terhadap input dan perintah yang diberikan oleh pengguna saat menggunakan produk. Skala ini merepresentasikan apakah pengguna memiliki kendali sepenuhnya terhadap interaksi dengan produk. Adapun item pada dependability untuk UEQ+ meliputi: unpredictable/predictable, obstructive/supportive, not secure/secure, does not meet expectations/meet expectations. Skala ini relevan untuk produk yang sering digunakan untuk mencapai tujuan pekerjaan tertentu.
d. Trust: berkaitan dengan impresi dari pengguna bahwa data yang dimasukkan ke dalam produk berada dalam kondisi aman dan tidak disalahgunakan untuk memberikan kerugian kepada pengguna. Item trust pada skala UEQ+ meliputi: insecure/secure, untrustworthy/ trustworthy, unreliable/reliable, not-transparent/
transparent. Skala ini terutama penting untuk produk yang berkaitan dengan data pribadi (jejaring sosial, messenger, dan sejenisnya) atau aspek komersial (aplikasi perbankan, web shop dan sejenisnya).
e. Usefulness: berkaitan dengan impresi dari pengguna tentang apakah menggunakan produk memberikan manfaat. Apakah membuat pengguna menjadi lebih mudah dalam mencapai tujuannya, menghemat waktu dan meningkatkan produktivitas personal. Item usefulness pada skala UEQ+ meliputi: useless/useful, not helpful/helpful, not beneficial/beneficial, not rewarding/rewarding. Skala ini relevan untuk semua jenis produk yang digunakan untuk mencapai tujuan tertentu.
f. Intuitive Use: berkaitan dengan impresi dari pengguna bahwa mereka dapat menggunakan produk tanpa perlu mengikuti pelatihan, instruksi atau bantuan apapun dari orang lain. Item intuitive use pada skala UEQ+
meliputi: difficult/easy, illogical/logical, not plausible/plausible, inconclusive/conclusive. Skala ini relevan untuk hamper semua jenis produk. Walaupun begitu skala ini mungkin kurang penting untuk produk dengan tingkat kompleksitas yang tinggi.
g. Trustworthiness of Content: berkaitan dengan impresi dari pengguna bahwa informasi yang disediakan oleh produk berkualitas baik dan dapat dipercaya (reliabel). Pengguna merasa percaya terhadap informasi yang tersedia oleh produk. Item trustworthiness of content dalam UEQ+ meliputi: useless/useful, implausible/plausible, untrustworthy/trustworthy, inaccurate/accurate. Skala ini sangat penting untuk website dan juga dapat diterapkan pada produk yang menawarkan sejumlah konten kepada pengguna yang mungkin mendukung pengguna dalam mengambil suatu keputusan. Akan tetapi skala ini kurang relevan untuk produk/alat bantu yang digunakan untuk membuat konten yang baru.
h. Quality of Content: berkaitan dengan impresi dari pengguna bahwa informasi yang tersedia pada produk adalah aktual, disiapkan dengan baik, mudah untuk dipahami dan menarik untuk dibaca. Item quality of content pada UEQ+ meliputi: obsolete/up-to-date, not interesting/interesting, poorly prepared/well prepared, incomprehensible/ comprehensible. Skala ini penting untuk website dan juga pada produk yang menawarkan sejumlah konten kepada pengguna dimana pengguna nantinya dapat mengambil keputusan. Namun demikian, skala ini kurang relevan untuk alat yang ditujukan untuk membuat konten yang baru.
i. Clarity: berkaitan dengan impresi dari pengguna tentang urutan, struktur dan kompleksitas visual dari tampilan grafis antar muka pengguna atau GUI (Graphical user interface). Item clarity pada UEQ+ meliputi: poorly grouped/well grouped, unstructured/structured, disordered/ordered, disorganized/ organized. Skala ini relevan untuk semua produk yang memiliki tampilan grafis antar muka pengguna atau GUI.
Pada UEQ+, setiap skala diukur dengan menggunakan rating berskala 7. Karena pernyataan pada skala di atas bisa dikombinasikan, dan ada beberapa istilah yang mirip atau bahkan identik pada skala yang berbeda, maka pernyataan pada skala yang sama perlu dikelompokkan dan juga diberikan konteks agar responden bisa menginterpretasi istilah dengan tepat. Caranya adalah dengan menambahkan kalimat singkat yang ditampilkan pada bagian atas pernyataan skala [5]. UEQ+ telah diterjemahkan dalam bahasa Indonesia [24]. UEQ+ juga menyediakan Data Analysis Tools dalam bentuk Microsoft Excel yang dapat membantu pengolahan data. Semua perhitungan yang relevan akan dikalkulasi secara otomatis [5].
2.3 Kuesioner UEQ+
Kuesioner dirancang sesuai dengan 9 skala pengalaman pengguna yang relevan untuk aplikasi Microsoft Teams berdasarkan framework yang telah disediakan oleh UEQ+. Masing-masing skala terdiri dari 4 item pertanyaan ditambah 1 pertanyaan lagi untuk mengetahui pendapat responden tentang seberapa penting skala yang diukur.
Dengan demikian, total pertanyaan dalam kuesioner ada 45 item pertanyaan. Responden dapat memilih jawaban dari skala rating 1 sampai 7 sesuai dengan pilihan yang diberikan. Kuesioner disebarkan dengan menggunakan Google Form. Adapun pertanyaan kuesioner dapat dilihat pada Tabel 1.
Tabel 1. Item Pertanyaan Kuesioner Efisiensi (Efficiency)
Untuk mencapai tujuan saya, menurut saya Microsoft Teams
lambat cepat
tidak efisien efisien
tidak praktis praktis
tidak terstruktur terstruktur
Saya pikir kriteria efisiensi pada Microsoft Teams yang dijelaskan di atas
Sama sekali tidak relevan Sangat penting
Kejelasan (Perspicuity)
Menurut saya cara menggunakan Microsoft Teams ini
tidak dapat dipahami dapat dipahami
sulit dipelajari mudah dipelajari
rumit mudah
membingungkan jelas
Saya pikir kriteria kejelasan pada Microsoft Teams yang dijelaskan di atas
Sama sekali tidak relevan Sangat penting
Tingkat Keandalan (Dependability)
Menurut saya, respons dari Microsoft Teams setelah saya berikan masukan dan perintah
tidak dapat diprediksi dapat diprediksi
menghambat mendukung
tidak terjamin terjamin
tidak sesuai harapan sesuai harapan
Saya pikir kriteria tingkat keandalan pada Microsoft Teams yang dijelaskan di atas
Sama sekali tidak relevan Sangat penting
Tingkat Kepercayaan (Trust)
Berkaitan dengan penggunaan informasi dan data pribadi saya, Microsoft Teams ini
tidak aman aman
tidak dapat dipercaya dapat dipercaya
tidak dapat diandalkan dapat diandalkan
tidak transparan transparan
Saya pikir kriteria tingkat kepercayaan pada Microsoft Teams yang dijelaskan di atas
Sama sekali tidak relevan Sangat penting
Kegunaan (Usefulness) Saya pikir Microsoft Teams ini
tidak berguna berguna
tidak membantu membantu
tidak menguntungkan menguntungkan
tidak bermanfaat bermanfaat
Saya pikir kriteria kegunaan pada Microsoft Teams yang dijelaskan di atas
Sama sekali tidak relevan Sangat penting
Penggunaan Secara Intuitif (Intuitive Use) Menurut saya, penggunaan Microsoft Teams ini
sulit mudah
tidak logis logis
tidak masuk akal masuk akal
tidak meyakinkan meyakinkan
Saya pikir kriteria penggunaan secara intuitif pada Microsoft Teams yang dijelaskan di atas
Sama sekali tidak relevan Sangat penting
Tingkat Kepercayaan Terhadap Konten (Trustworthiness of Content) Menurut saya, informasi dan data pada Microsoft Teams ini
tidak berguna berguna
tidak masuk akal masuk akal
tidak dapat dipercaya terpercaya
tidak akurat akurat
Saya pikir kriteria tingkat kepercayaan terhadap konten pada Microsoft Teams yang dijelaskan di atas
Sama sekali tidak relevan Sangat penting
Kualitas Konten (Quality of Content)
Menurut saya, informasi dan data pada Microsoft Teams ini
usang terbaru
tidak menarik menarik
tidak dipersiapkan dengan baik dipersiapkan dengan baik
tidak dapat dipahami dapat dipahami
Saya pikir kriteria kualitas konten pada Microsoft Teams yang dijelaskan di atas
Sama sekali tidak relevan Sangat penting
Kejelasan Tampilan (Clarity)
Menurut pendapat saya, tampilan antarmuka Microsoft Teams terlihat
dikelompokkan dengan buruk dikelompokkan dengan baik
tidak terstruktur terstruktur
tidak terurut terurut
tidak teratur teratur
Saya pikir kriteria kejelasan tampilan pada Microsoft Teams yang dijelaskan di atas
Sama sekali tidak relevan Sangat penting
3. HASIL DAN PEMBAHASAN
Total diperoleh 150 respon dari hasil distribusi kuesioner. Dari 150 respon tersebut terdapat 1 record yang berasal dari responden yang sama, sehingga diambil respon yang terbaru. Dengan demikian, total 149 record digunakan untuk kegiatan pengolahan data, dengan rincian:
a. Dari 149 record, respon berasal dari 13 dosen dan 136 mahasiswa yang melakukan pengisian kuesioner.
b. Dari 136 mahasiswa, 68 adalah mahasiswa shift perkuliahan pagi dan 68 adalah mahasiswa shift perkuliahan sore. Berdasarkan semester, 3 merupakan mahasiswa non semester, 39 merupakan mahasiswa semester 7, 32 merupakan mahasiswa semester 5, 28 merupakan mahasiswa semester 3, dan 34 merupakan mahasiswa semester 1.
Seluruh respon yang dikumpulkan terhadap 9 skala dimasukkan ke dalam sheet: data items terlebih dahulu.
Pada sheet ini, setiap skala yang dimasukkan adalah berkaitan dengan penilaian dari responden untuk per item sesuai dengan skala yang diukur. Namun penilaian tentang importance rating bukan dimasukkan di sheet ini melainkan dimasukkan pada sheet: data importance.
Hasil pengukuran menunjukkan bahwa responden memiliki impresi yang positif terhadap Microsoft Teams sebagai jenis aplikasi untuk video conference dan learning platforms. Hal ini dapat dilihat pada nilai mean dari seluruh skala yang berada pada nilai positive evaluation (nilai mean > 0.8). Adapun nilai varian yang ada menunjukkan bahwa terdapat 8 skala berada pada nilai skala sangat baik dan 1 pada skala baik. Hal ini sebagai representasi bahwa tingkat keragaman data keseluruhan skala berada pada nilai yang sangat baik dan dapat diterima.
Tabel 2. Mean and Confidence Interval per Scale
Scale Mean Variance Std. Dev. Confidence Confidence Interval
Efficiency 2,05 0,88 0,94 0,15 1,90 2,20
Perspicuity 2,20 0,81 0,90 0,14 2,06 2,34
Dependability 1,93 0,91 0,95 0,15 1,78 2,09
Trust 2,08 1,01 1,00 0,16 1,92 2,24
Usefulness 2,42 0,78 0,88 0,14 2,28 2,56
Intuitive Use 2,23 0,73 0,86 0,14 2,09 2,37
Trustworthiness of Content 2,28 0,76 0,87 0,14 2,14 2,42
Quality of Content 2,27 0,75 0,87 0,14 2,13 2,41
Clarity 2,31 0,80 0,90 0,14 2,17 2,46
Berdasarkan nilai mean pada Tabel 2, didapatkan interpretasi pengukuran sebagai berikut:
1. Skala efficiency memperoleh impresi positif dengan nilai mean 2,05, yang berarti responden merasa aplikasi Microsoft Teams membantu pengguna mencapai tujuannya secara cepat, efisien, praktis, dan terstruktur.
2. Skala perspicuity memperoleh impresi positif dengan nilai mean 2,20, yang bermakna responden merasa cara penggunaan aplikasi Microsoft Teams ini dapat dipahami, mudah dipelajari, mudah dipakai, dan jelas penggunaannya.
3. Skala dependability memperoleh impresi positif dengan nilai mean 1,93, yang berarti respons aplikasi Microsoft Teams terhadap masukan dan perintah pengguna dapat diprediksi, bersifat mendukung, terjamin, dan sesuai harapan pengguna.
4. Skala trust memperoleh impresi positif dengan nilai mean 2,08, yang bermakna responden merasa aplikasi Microsoft Teams mengelola informasi dan data pribadi pengguna secara aman, dapat dipercaya, dapat diandalkan, dan transparan.
5. Skala usefulness memperoleh impresi positif dengan nilai mean 2,42, yang berarti responden berpikir bahwa aplikasi Microsoft Teams ini berguna, membantu, menguntungkan, dan bermanfaat bagi pengguna.
6. Skala intuitive use memperoleh impresi positif dengan nilai mean 2,23, yang bermakna pengguna merasa aplikasi Microsoft Teams ini mudah digunakan, logis, masuk akal, dan meyakinkan.
7. Skala trustworthiness of content memperoleh impresi positif dengan nilai mean 2,28, yang berarti bahwa informasi dan data yang tersedia pada Microsoft Teams ini berguna, masuk akal, terpercaya, dan akurat bagi pengguna.
8. Skala quality of content memperoleh impresi positif dengan nilai mean 2,27, yang bermakna bahwa informasi dan data yang ada pada Microsoft Teams ini merupakan informasi dan data terbaru, menarik, telah dipersiapkan dengan baik, dan dapat dipahami.
9. Skala clarity memperoleh impresi positif dengan nilai mean 2,31, yang berarti responden melihat tampilan antarmuka Microsoft Teams telah dikelompokkan dengan baik, terstruktur, terurut, dan teratur.
Jika dilihat kembali, nilai keseluruhan 9 skala yang diukur mendapatkan positive evaluation. Sebagaimana yang dilihat pada gambar di bawah, keseluruhan skala berada pada zona berwarna hijau yang merepresentasikan impresi positif dari responden terkait pengalaman penggunaan Teams sebagai jenis aplikasi untuk video conferencing dan learning platform. Selain itu, untuk error bar yang terlihat pada setiap bar yang ada,
menunjukkan bahwa jika penelitian yang sama diulang dengan kondisi yang sama, maka hasil yang didapatkan akan memiliki kemungkinan sama dengan rentang hasil sesuai dengan rentang error yang ada.
Gambar 2. Scale Means
Untuk tingkat importance rating menunjukkan bahwa keseluruhan responden merasa bahwa keseluruhan skala adalah penting. Hal ini ditunjukkan dengan skala mean yang berupa positive evaluation (nilai mean >0.8).
Namun, responden merasa skala terpenting untuk mendapatkan pengalaman pengguna yang baik pada pengukuran aplikasi Microsoft Teams sebagai jenis aplikasi video conference dan learning platforms adalah skala kegunaan (usefulness) dengan nilai mean 2,40, skala kejelasan tampilan (clarity) dengan nilai mean 2,37, diikuti dengan skala tingkat kepercayaan terhadap konten (trustworthiness of content) dan skala kualitas konten (quality of content) dengan nilai mean yang sama yaitu 2,30. Seperti halnya pada nilai mean untuk ke 9 skala yang sudah dijelaskan di atas, nilai variance pada importance rating juga menunjukkan nilai yang baik dan dapat diterima.
Hal ini dapat dilihat dari tabel yang menunjukkan 8 skala memiliki nilai variance yang sangat baik dan 1 skala memiliki nilai variance yang baik.
Tabel 3. Mean Importance Rating
Scale Mean Variance Std. Dev. Confidence Confidence Interval
Efficiency 2,13 0,85 0,92 0,15 1,99 2,28
Perspicuity 2,21 0,89 0,94 0,15 2,06 2,37
Dependability 2,09 1,11 1,05 0,17 1,93 2,26
Trust 2,23 0,82 0,90 0,14 2,09 2,38
Usefulness 2,40 0,59 0,77 0,12 2,28 2,53
Intuitive Use 2,28 0,70 0.84 0,13 2,15 2,42
Trustworthiness of Content 2,30 0,72 0,85 0,14 2,16 2,43
Quality of Content 2,30 0,90 0,95 0,15 2,15 2,45
Clarity 2,37 0,77 0,88 0,14 2,23 2,51
Hal yang sama juga terlihat pada grafik importance rating. Grafik importance rating menunjukkan bahwa untuk ke 9 skala yang dinilai oleh responden, seluruhnya berada pada tingkat importance rating yang tinggi. Hal ini menunjukkan bahwa responden merasa bahwa setiap rating yang diukur adalah penting sebagai representasi dari keseluruhan kualitas produk yang dalam hal ini adalah Microsoft Teams sebagai jenis aplikasi untuk video conference dan learning platforms. Jika dilihat lebih lanjut, error bars pada setiap bar yang ada pada grafik juga menunjukkan bahwa jika penelitian dilakukan kembali atau direpetisi dengan kondisi yang sama, maka hasil penelitian yang didapatkan akan mungkin menunjukkan hasil yang sama dengan rentang hasil berada pada rentang error yang ada.
Gambar 3. Importance Ratings
Tabel di bawah menunjukkan nilai skala seluruh item dari 9 skala yang dinilai. Sebagaimana yang dilihat pada tabel, hal ini selaras dengan nilai ke 9 skala yang ada yakni positive evaluation dengan nilai mean > 0.8.
Begitu juga dengan nilai varian yang berada pada nilai yang baik dan dapat diterima.
Tabel 4. Mean and Confidence Interval per Item Scale Item Left Item Right Mean Var. Std.
Dev.
Confidence Confidence Interval
Efficiency slow fast 1,77 0,97 0,98 0,16 1,61 1,93
inefficient efficient 2,03 0,82 0,90 0,14 1,89 2,18 impractical practical 2,13 0,84 0,91 0,15 1,98 2,27
cluttered organized 2,26 0,76 0,87 0,14 2,12 2,40
Perspicuity not
understandable
understandable 2,23 0,80 0,89 0,14 2,09 2,38
difficult to learn easy to learn 2,21 0,80 0,89 0,14 2,07 2,36
complicated easy 2,19 0,86 0,92 0,15 2,04 2,34
confusing clear 2,16 0,80 0,89 0,14 2,02 2,30
Dependability unpredictable predictable 1,78 1,01 1,00 0,16 1,62 1,94 obstructive supportive 2,03 0,90 0,94 0,15 1,88 2,19
not secure secure 1,94 0,89 0,94 0,15 1,79 2,09
does not meet expectations
meets expectations
1,99 0,82 0,90 0,15 1,84 2,13
Trust insecure secure 2,15 0,88 0,94 0,15 2,00 2,30
untrustworthy trustworthy 2,23 0,88 0,93 0,15 2,08 2,38
unreliable reliable 2,17 0,92 0,96 0,15 2,01 2,32
non-transparent transparent 1,77 1,22 1,10 0,18 1,59 1,94
Usefulness useless useful 2,49 0,71 0,84 0,13 2,35 2,62
not helpful helpful 2,48 0,72 0,85 0,14 2,34 2,61
not beneficial beneficial 2,23 0,94 0,97 0,15 2,08 2,39 not rewarding rewarding 2,47 0,71 0,84 0,13 2,33 2,60
Intuitive Use difficult easy 2,21 0,89 0,94 0,15 2,06 2,37
illogical logical 2,15 0,74 0,86 0,14 2,02 2,29
not plausible plausible 2,31 0,55 0,74 0,12 2,19 2,43 inconclusive conclusive 2,23 0,76 0,87 0,14 2,10 2,37 Trustworthiness
of Content
useless useful 2,32 0,79 0,88 0,14 2,18 2,46
implausible plausible 2,36 0,60 0,77 0,12 2,23 2,48 untrustworthy trustworthy 2,30 0,74 0,86 0,14 2,16 2,43
inaccurate accurate 2,15 0,90 0,95 0,15 2,00 2,31
Quality of Content
obsolete up-to-date 2,21 0,63 0,79 0,13 2,08 2,33
not interesting interesting 2,14 0,82 0,91 0,15 2,00 2,29 poorly prepared well prepared 2,32 0,85 0,92 0,15 2,17 2,47 incomprehensible comprehensible 2,40 0,69 0,83 0,13 2,27 2,54 Clarity poorly grouped well grouped 2,34 0,85 0,92 0,15 2,19 2,49 unstructured structured 2,36 0,61 0,78 0,13 2,24 2,49
disordered ordered 2,27 0,89 0,94 0,15 2,12 2,42
disorganized organized 2,28 0,88 0,93 0,15 2,13 2,42 Adapun hasil pengukuran terhadap keseluruhan skala adalah reliabel. Hal ini ditunjukkan dengan nilai koefisien cronbach alpha > 0.7. Dengan demikian seluruh skala yang diukur pada penelitian ini menunjukkan tingkat konsistensi yang baik.
Tabel 5. Scale Consistency
Scale Corr
(I1,I2) Corr (I1,I3)
Corr (I1,I4)
Corr (I2,I3)
Corr (I2,I4)
Corr (I3,I4)
Average Corr.
Cronbach Alpha
Efficiency 0,64 0,59 0,60 0,79 0,69 0,67 0,66 0,89
Perspicuity 0,74 0,63 0,70 0,74 0,77 0,69 0,71 0,91
Dependability 0,69 0,68 0,68 0,76 0,72 0,83 0,73 0,91
Trust 0,84 0,81 0,59 0,76 0,56 0,53 0,68 0,90
Usefulness 0,83 0,60 0,81 0,74 0,80 0,72 0,75 0,92
Intuitive Use 0,71 0,71 0,63 0,79 0,79 0,79 0,74 0,92
Trustworthiness of Content 0,79 0,76 0,81 0,81 0,75 0,87 0,80 0,94 Quality of Content 0,76 0,73 0,67 0,75 0,72 0,80 0,74 0,92
Clarity 0,86 0,83 0,76 0,85 0,74 0,74 0,80 0,94
KPI merupakan suatu nilai kinerja berupa gabungan nilai mean dari seluruh responden untuk keseluruhan skala. Jadi secara keseluruhan, indeks kinerja (KPI) dari aplikasi Microsoft Teams sebagai jenis aplikasi untuk video conference dan learning platforms adalah baik dengan nilai KPI sebesar 2.21 yang lebih besar dari nilai standar deviasi adalah 0.69.
Gambar 4. Calculation of a KPI
4. KESIMPULAN
Berdasarkan hasil pengukuran UEQ+ tersebut, maka dapat disimpulkan bahwa responden memiliki impresi yang positif terhadap Microsoft Teams sebagai aplikasi video conference dan learning platforms. Hal ini ditunjukkan dengan keseluruhan skala yang memiliki nilai mean > 0.8. Tingkat keragaman data keseluruhan skala juga berada pada nilai yang sangat baik dan dapat diterima. Pengukuran terhadap seluruh skala menunjukkan hasil yang reliabel. Dari 9 skala yang diukur, diketahui bahwa responden merasa bahwa setiap rating yang diukur adalah penting sebagai representasi dari keseluruhan kualitas Microsoft Teams, namun skala terpenting adalah kegunaan (usefulness), kejelasan tampilan (clarity), diikuti dengan tingkat kepercayaan terhadap konten (trustworthiness of content), dan kualitas konten (quality of content). Dengan demikian, aspek-aspek ini perlu diperhatikan untuk memberikan pengalaman pengguna yang positif bagi pengguna aplikasi video conference dan learning platforms.
Mengingat penggunaan metode UEQ+ masih terbilang baru dengan referensi yang masih sedikit, maka penelitian ini kemudian diharapkan dapat menambah referensi yang ada. Akan tetapi penelitian ini masih bisa diteruskan untuk mencoba menerapkan UEQ+ untuk mengukur jenis aplikasi yang lain dengan harapan dapat menambah kasus pengukuran dengan metode UEQ+. Selain itu, pada penelitian selanjutnya, pengukuran UEQ+ ini juga dapat dicoba untuk dikombinasikan dengan metode lain seperti System Usability Scale (SUS), Usability Index Checklist (UIC) atau metode pengukuran usabilitas lainnya untuk sekaligus mengukur user experience dan usability (usabilitas) dari sebuah aplikasi.
REFERENCES
[1] “STMIK–STIE Mikroskil Medan Optimalkan Pembelajaran e-Learning di Tengah Pandemi Virus Covid-19,”
Tribunnews, Medan, 2020.
[2] C. Sylvia, Angela, and F. Halim, “Evaluasi User Experience Platform Video Communication dengan User Experience Questionaire (UEQ),” Jurnal Media Informatika Budidarma, vol. 5, no. 4, pp. 1412–1421, 2021, doi:
10.30865/mib.v5i4.3263.
[3] S. Rohmah and M. Ary, “Analisis Pengalaman Pengguna Aplikasi Pinjaman Online Menggunakan Metode Usability Testing Dan User Experience Questionnaire (Studi kasus: pada Akulaku dan Kredivo Indonesia),” JSI : Jurnal Sistem Informasi (E-Journal), vol. 13, no. 1, 2021, [Online]. Available: http://ejournal.unsri.ac.id/index.php/jsi/index
[4] M. Schrepp, User Experience Questionnaire Handbook. All you need to know to apply the UEQ successfully in your projects Version 8 (31.12.2019). 2019.
[5] M. Schrepp and J. Thomaschewski, Handbook for the modular extension of the User Experience Questionnaire. All you need to know to apply the UEQ+ to create your own UX questionnaire Version 2 (21.07.2020). 2020.
[6] H. B. Santoso, M. Schrepp, R. Y. K. Isal, A. Y. Utomo, and B. Priyogi, “Measuring user experience of the student-centered E-learning environment,” The Journal of Educators Online, vol. 13, no. 1, pp. 58–79, 2016.
[7] M. S. Abubakari, Nurkhamid, and G. Hungilo, “Evaluating an e-Learning Platform at Graduate School Based on User Experience Evaluation Technique,” Journal of Physics: Conference Series, vol. 1737, pp. 1–11, 2021, doi: 10.1088/1742- 6596/1737/1/012019.
[8] E. Sutadji, W. N. Hidayat, S. Patmanthara, S. Sulton, N. A. M. Jabari, and M. Irsyad, “Measuring user experience on SIPEJAR as e-learning of Universitas Negeri Malang,” IOP Conference Series: Materials Science and Engineering, vol.
732, pp. 1–6, 2020, doi: 10.1088/1757-899X/732/1/012116.
[9] M. Q. Laksono, S. S. Kusumawardani, and R. Ferdiana, “Evaluating User Experience on E-learning using the User Experience Questionnaire (UEQ) with Additional Functional Scale,” in CONRIST 2019 - International Conferences on Information System and Technology, 2020, pp. 18–24. doi: 10.5220/0009339900180024.
[10] S. P. Kristanto, L. Hakim, and F. H. C, “Usability Evaluation In Ruang Guru Applications Using User Experience Questionnaire (UEQ),” Jurnal Mantik, vol. 4, no. 1, pp. 181–186, 2020.
[11] F. Halim, Handoko, and S. H. Marpaung, “Penilaian User Experience Fiori Bussim Menggunakan User Experience Questionaire (UEQ) Dan Pengaruhnya Terhadap Pemahaman Pembelajaran Matakuliah Sertifikasi SAP,” Sebatik, vol.
24, no. 1, pp. 102–112, 2020.
[12] M. N. A. Muhaemin, “Mengukur User Experience Sistem Informasi Akademik,” INFOTECH journal, vol. 6, no. 1, pp.
7–10, 2020.
[13] S. R. Henim and R. P. Sari, “Evaluasi User Experience Sistem Informasi Akademik Mahasiswa pada Perguruan Tinggi Menggunakan User Experience Questionnaire,” Jurnal Komputer Terapan, vol. 6, no. 1, pp. 69–78, 2020.
[14] K. A. Lukita, M. Galinium, and J. Purnama, “User Experience Analysis of an E-Commerce Website Using User Experience Questionnaire (UEQ) Framework,” in Seminar Nasional Pakar ke 1, 2018, vol. 1, pp. 347–355.
[15] S. F. Novitasari, Y. T. Mursityo, and A. N. Rusydi, “Evaluasi Pengalaman Pengguna Pada E-Commerce Sociolla.Com Menggunakan Usability Testing Dan User Experience Questionnaire (UEQ),” Jurnal Sistem Informasi, Teknologi Informasi, dan Edukasi Sistem Informasi, vol. 1, no. 2, pp. 57–62, 2020, doi: 10.25126/justsi.v1i2.9.
[16] V. A. Intanny, I. Widiyastuti, and M. D. K. Perdani, “Pengukuran Kebergunaan dan Pengalaman Pengguna Marketplace Jogjaplaza.id dengan Metode UEQ dan USE Questionnaire,” Jurnal Pekommas, vol. 3, no. 2, pp. 117–126, 2018.
[17] N. Abdul Wahab, N. M. Sahabudin, A. Osman, and N. Ibrahim, “Evaluating the User Experience of a Web-Based Child Health Record System,” Journal of Computing Research and Innovation, vol. 5, no. 3, pp. 17–24, 2020, doi:
10.24191/jcrinn.v5i3.165.
[18] A. Heshmati, N. Moftian, P. Rezaei-Hachesu, and T. Samad-Soltani, “Simple and efficient measurement of the user experience in health information systems: A persian version,” Iranian Journal of Public Health, vol. 50, no. 1, pp. 217–
218, 2021, doi: 10.18502/ijph.v50i1.5097.
[19] S. Putro, K. Kusrini, and M. P. Kurniawan, “Penerapan Metode UEQ dan Cooperative Evaluation untuk Mengevaluasi User Experience Lapor Bantul,” Creative Information Technology Journal, vol. 6, no. 1, pp. 27–37, 2019, doi:
10.24076/citec.2019v6i1.242.
[20] A. M. Klein, A. Hinderks, M. Schrepp, and J. Thomaschewski, “Construction of UEQ+ scales for voice quality: Measuring user experience quality of voice interaction,” in MuC ’20: Proceedings of the Conference on Mensch und Computer, 2020, pp. 1–5. doi: 10.1145/3404983.3410003.
[21] A. M. Klein, A. Hinderks, M. Schrepp, and J. Thomaschewski, “Measuring User Experience Quality of Voice Assistants,”
in 15th Iberian Conference on Information Systems and Technologies (CISTI), 2020, pp. 1–4. doi:
10.23919/cisti49556.2020.9140966.
[22] B. Setiaji, M. Hayaty, A. Setyanto, Krisnawati, and H. B. Santoso, “Assessing User Experience of a Secure Mobile Exam Application using UEQ+,” in 3rd International Conference on Information and Communications Technology (ICOIACT), 2020, pp. 246–251. doi: 10.1109/ICOIACT50329.2020.9332091.
[23] K. Budiman and I. Akhlis, “Changing user needs and motivation to visit a website through ad experience: A case study of a university website,” Journal of Physics: Conference Series, vol. 1918, pp. 1–6, 2021, doi: 10.1088/1742- 6596/1918/4/042008.
[24] H. B. Santoso, L. M. Hasani, R. Fitriansyah, A. Setyanto, and M. Schrepp, “Indonesian Adapted Version of UEQ+,” 2021.
