Evaluasi Pengukuran Teknologi Pembelajaran Elearning di Perguruan Tinggi Mengunakan UTAUT

Evaluasi Pengukuran Teknologi Pembelajaran Elearning di Perguruan Tinggi Mengunakan UTAUT

Kraugusteeliana Kraugusteeliana¹, Lomo Mula Tua²

1,2 Sistem Informasi, Universitas Pembangunan Nasional Veteran Jakarta Email Coprespondent Author : kraugusteeliana@upnvj.ac.id

Abstract — The COVID-19 pandemic makes regulation for learning universities to use online LMS. The Learning Management System through E-learning has become a learning technology used during the pandemic. For this reason, an evaluation of the level of usefulness of e-learning applications is using the UTAUT framework to evaluate information systems the effect of performance expectancy, effort expectancy, social influence and facilitating conditions on the behavior of using e-learning. Tests using SEM with evaluation results show a positive performance value from the use of e-learning but there is one negative variable is the quality of output variable from e-learning does not have a significant effect on the perception of convenience by students but the other variable is significant positive.

Keyword — CFA, EVA, Elearning Redesain, UTAUT Abstrak — Di tengah kondisi pandemic COVID 19 pembelajaran di perguruan tinggi menggunakan perkuliahan secara online. Learning management System melalui E-learning menjadi teknologi pembelajaran yang digunakan di masa pandemi. Untuk itu dilakukan pengukuran tingkat kebermanfaatan apalikasi elearning dilakukan evaluasi mengunakan kerangka kerja UTAUT untu menevaluasi sistem informasi menekankan terhadap pengaruh performance expectancy, effort expectancy, social influence dan facilitating condition terhadap perilaku penggunaan Elearning. Pengujian mengunakan SEM denganc hasil Evaluasi menunjukan nilai kinerja positif dari pengunaan elearning namun ada terdapat satu variable negative yaitu variabel kualitas keluaran dari elarning tidak memiliki pengaruh signifikan terhadap persepsi kemudahan oleh mahasiswa lainnya bernilai positif.

Kata kunci — CFA, EVA, Elearning Pengukuran elarning, UTAUT

I. PENDAHULUAN

Perguruan Tinggi memiliki amanah yang besar dalam memberikan pendidikan kepada para mahasiswa/i. Dalam hal ini sebagai contoh kasus diambil pembelajaran online di UPNVJ sebagai mediator dalam mendidik mahasiswa/i tetap harus menjalankan proses pembelajaran secara aktif walau dengan kondisi pandemi wabah COVID-19 ini.

Pembelajaran dialakuakn dengan cara merubah pembelajaran tatap muka menjadi sistem Online menguankaan elearning /LMS sehingga mahasiswa tetap bisa belajar dengan baik salaam masa pandemic berlansung.

Untuk memastikan semua proses pembelajaran berjalan baik dari sisi input atau output sistem (I/O) berkerja dengan baik maka perlu dilakukan evaluasi sistem Elearing melaui proses audit sistem. Audit dilakukan untuk mengevaluasi terhadap efektivitas dari pemanfaatan sistem untuk memastikan efektivitas dari fungsi sistem Elearing secara sistematis.

Audit dapat dilakukan dengan cobit, itiil, iso dan metodologi lainya. Metodologi yang dipergunaka pada penelitian ini dengan melakukan evaluasi yang didasarkan pada kerangka kerja UTAUT untuk mengukur tingkat Penerimaan pembelajaran, manfaat pembelajaran dan keinginan untuk mengunakan elearning pada saat penerapan pembelajaran online atau perkuliahan secara daring mengunakan Elearing / LMS.

Untuk mengukur aktivitas kegiatan pembelajaran ditentuakan Standar kuliah online di Lingkungan UPNVJ ditetapkan dengan menggunakan prinsip RAF (Resources, Activities, dan Feedback). Resourcess adalah sumberdaya pembelajaran atau penyediaan bahan pembelajaran yang diunggah ke dalam jaringan yang meliputi modul, power point presentation (ppt), url./link bahan ajar, video atau artikel jurnal dan sejenisnya. Activities adalah kegiatan interaksi antara dosen dan mahasiswa yang dilakukan secara tersetruktur dalam bentuk forum diskusi, video conference, atau kegiatan interaktif lainnya.

Feedback adalah umpan balik yang disampaikan dosen kepada mahasiswa baik dalam bentuik quiz, assigment, chat, masukan, komentar atau respon lainnya secara individual kepada mahasiswa untuk menilai capaian pembelajaranKuisioner akan disebar kepada para mahasiswa di masing – masing fakultas dan diolah dengan mengunakan teknik analisis data menggunakan teknik Structural Equation Model (SEM) dengan tools Software Smart PLS. Rekomedasi yang dihasilkan evaluasi disampaikan ke manajemen bidang akademik UPN Veteran Jakarta juga kepada Tim developer Aplikasi Elearning sebagai acuan dalam perbaikan pengembangan aplikasi.

II. TEORI DAN RIVIEW PENELINTIAN

E-learning adalah sebuah proses pembelajaran yang berbasis elektronik. Salah satu media yang digunakan adalah jaringan komputer. Dengan dikembangkannya di jaringan komputer memungkinkan untuk dikembangkan dalam bentuk berbasis web, sehingga kemudian dikembangkan ke jaringan komputer yang lebih luas yaitu internet. Penyajian e-learning berbasis web ini bisa menjadi lebih interaktif.

Aplikasi lain yang bisa digunakan untuk daring adalah e- learning, zoom, google classroom,google meet dan beberapa aplikasi lainnya.

Kegiatan pembelajaran UPNVJ yang dilakukan melalui daring antara lain perkuliahan, penugasan, kuis, ujian, dan

bimbingan mahasiswa (bimbingan skripsi maupun bimbingan akademik) dan mahasiswa yang sedang Praktik Kerja Lapangan (PKL) maupun yang sedang mengambil Tugas Akhir (TA).

Selain dampak positif, kuliah online juga mempunyai dampak negatif atau kekurangan. Salah satunya yaitu mahasiswa lebih sering membeli kuota untuk menunjang proses kuliah online tersebut. Tentunya dengan banyak menggunakan aplikasi belajar, mahasiswa menjadi lebih banyak untuk menghabiskan kuota internet, bahkan setiap minggu harus beli kuota internet demi mengikuti proses pembelajaran. Selain boros kuota, faktor jaringan yang tidak stabil juga menjadi penghambat dalam proses kuliah online ini khususnya untuk mahasiswa/i yang tinggal didaerah terpencil seperti pedesaan/perkampungan. Untuk itu perlu diklakukan audit sistem informasi dalam hal ini audit terhap teknologi pembelajaran.

Audit merupakan sebuah proses kegiatan untuk mengumpulkan bukti mengenai informasi yang menentukan dan melaporkan tingkat kesamaan antara informasi dan kriteria yang sudah ditetapkan.[1], sedangkan yang lain menyatakan menyatakan bahwa tujuan audit sistem informasi adalah: pengamanan Aset, Aset informasi tidak terjadi penyalahgunaan aset perusahaan; Menjaga Integritas Data Integritas data adalah salah satu konsep dasar sistem informasi[2].

Pendekatan audit teknologi pembelajaran dapat diperguankan mengunakan TAM hanya saja TAM juga memiliki kekurangan. TAM kurang lengkap karena tidak mempertimbangkan satu faktor penting, yaitu pengaruh sosial dalam pemakaian dan pemanfaatan teknologi baru.

TAM juga tidak mempertimbangkan adanya halangan yang mencegah individu untuk menggunakan sistem tertentu yang sebenarnya ingin dipakainya [3].

Gambar 1.Kerangka Konseptual TAM 3[6]

Pengembangan dari TAM [4] adalah Unified Theory of Acceptance and Utilization o f Technology (UTAUT).

UTAUT merupakan salah satu model penerimaan teknologi terkini yang dikembangkan oleh Venkatesh, dkk. Venkates menemukan tujuh konstruk antara lain adalah performance expectancy, effort expectancy, social influence, facilitating conditions, attitude toward using technology, dan self- efficacy [5] .

Untuk menguji hasil penialian user mengunakan Structural Equation Modelling (SEM) adalah sebuah evolusi dari model persamaan berganda yang dikembangkan dari prinsip ekonometri dan digabungkan dengan prinsip pengaturan dari psikologi dan sosiologi, SEM telah muncul sebagai bagian integral dari penelitian manajerial akademik [6]. Tahapan analisis SEM sendiri setidaknya harus melalui lima tahapan [5] yaitu: 1. spesifikasi model; 2. identifikasi model; 3. estimasi model; 4. evaluasi model; 5. modifikasi atau respesifikasi model

Aktivitas pembelajaran jarak jauh atau dalam konteks yang lebih umum disebut dengan electronic learning (e- learning[10], dimana dengan elearnin ini nantinya akan berimplikasi pada semakin tergesernya metode pembelajaran tradisional / tatap muka oleh pembelajaran yang lebih berbasis teknologi digital / LMS maupun Digital lainnya

Peneliti juga telah membuat penelitian terkait evaluasi pembelajaran elearning mengunakan elearning TAM dengan hasil penilaian indicator variabel dengan PEOU sebesar 4,10, PU sebesar 4,25 , penilaian AIT 3,97 dan Motivasi mahasiswa sebesar 3,77 semua hasil indicator dalam kategori dan sangat tinggi mendapatkan persepsi positif dari mahasiswa. [7]. Adapun perbedaan penelitian [7] dengan penelitian saat ini terkait pendekatan analisis yang digunakan pada saat ini pakai UTAUT dnegan responden seluruh mahasiswa sedangkan pada penelitian sebelumnya hanya mahasiswa 1 fakultas saja.

Menurut Dede Kurnia dalam penelitian Penerimaan Dan Penggunaan E-Learning Pada Masa Pandemi Covid-19:

Aplikasi Model Utaut2 , didapat hasil pengujian pada sampel siswa SLTA diketahui bahwa Social influence dan kebiasaan berpengaruh positif terhadap Behavioral intention, adapun Use behavior elearning pada siswa SLTA secara signifikan dipengaruhi oleh Habit dan Behavioral intention. Pengujian pada kelompok sampel mahasiswa menunjukkan bahwa facilitating condition, hedonic motivation, dan habit berpengaruh signifikan terhadap behavioral intention, adapun Use behavior elearning pada mahasiswa hanya dipengaruhi oleh Habit [9]. Adapun perbedaanya pada penelitian [9] respondennya pada singkat SLTA sedangakna pada penlitian ini respondengya para mahasiswa.

III. PEMBAHASAN

Penelitian dilakukan untuk 230 responden mahasiswa peguna elearning dengan hasil responden berdasarkan data jenis kelamin pada Gambar 4, menunjukan pembagian responden berdasarkan jenis kelaminnya. Dapat diketahui

IJCCSISSN

bahwa responden berjenis Pria (52,3%) sebanyak 130 dan memiliki persentase lebih besar dibandingkan responden berjenis kelamin Wanita (47,8%) sebanyak 110 Responden.

Gambar 2.Grafik responden

Untuk menguji kelayakan kuisioner dialkukan uji reabilitas dan validitas dengan hasip Pengujian reliabilitas menggunakan bantuan program SPSS versi 22.0 dengan uji reliabel teknik Cronbach’s Alpha’s.

TABEL 1OUTPUT SPSSHASIL UJI STATISTIK RELIABILITAS

Cronbach's Alpha N of Items

.950 24

Uji Model Pengukuran Confirmatory Factor Analysis (CFA)Dalam Confirmatory Factor Analysis pengukuran kecocokan model dapat dilihat dari hubungan antara item dengan konstruk yang diukur.

Gambar 2. Bagan UTAUT

Model pengukuran ketepatan yang baik jika tiap-tiap item memiliki loading factor yang tinggi dan memiliki error yang rendah. Analisis SEM berbasis covariant, maka hasil analisisnya dimulai dengan pembahasan kesatuan dimensi konsepsi yang diukur dengan Confirmatory Factory Analysis (CFA). Penelitian ini akan membahas masing-

masing konstruk, dimulai dari konstruk eksogen, konstruk endogen dan full model

Gambar 3 Model CFA Konstruk Eksogen

Menunjukan bahwa Model Confirmatory Factor Analysis (CFA) Eksogen memiliki kriteria yang baik karena tidak ada nilai negatif. Dengan demikian dapat dilanjutkan ke tahap pengujian signifikansi terhadap indikator dan dimensi yang merefleksikan masing-masing konstruk serta uji validitas konstruk. Tahapan selanjutnay untuk menlihat good fit hasilnya menunjukan seluruhnya signifikan dengan dimensi dan indikator seluruh konstruk eksogenya valid karena memiliki loading standard ≥ 0,5.

Berdasarkan hal tersebut maka tidak ada indikator ataupun dimensi yang dihapus dari model analisis berikutnya. Setelah dilakukan confirmatory factor analysis pada masing-masing konstruk eksogen dan endogen maka langkah selanjutnya adalah melakukan estimasi CFA (Confirmatory Factor Analysis) secara keseluruhan seperti terlihat pada gambar 4 berikut ini:

Gambar 4. Bagan CFA Full Model 110 120

Jumlah Responden

Pria Wanita

Dari hasil CFA masing-masing indikator menghasilkan nilai loading factor yang baik karena sudah memenuhi nilai standar yang diperlukan, sehingga tidak ada penghapusan.

Tahap selanjutnya uji validitas dengan outer loadings sudah sesuai nilai standar, maka model penelitian dapat dianalisis lebih lanjut hasil indicator reliability.

Indeks reliabilitas diukur berdasarkan nilai composite reliability dan nilai AVE (Average Variance Extracted).

Nilai minimal untuk mengindikasikan bahwa konstruk reliabel jika memiliki nilai ≥ 0,7. Hasil uji reliabel pada masing-masing konstruk terlihat pada tabel Composite RO

TABEL 2COMPOSITE RELIABILITY OUTPUT Variabel Composite Reliability Status

OQ 0.950 Reliabel

PEOU 0.890 Reliabel

BI 0.940 Reliabel

OU 0.938 Reliabel

PE 0.961 Reliabel

DPSE 0.820 Reliabel

SN 0.870 Reliabel

PU 0.937 Reliabel

Pengujian nilai selanjutnya untuk menenutkan nilai Average Variance Extracted (AVE) menunjukan konstruk dengan masing-masing tingkat variansinya dengan menyesuaikan pada tingkat kesalahan. Nilai minimal untuk mengindikasikan bahwa konstruk reliabel jika memiliki nilai

≥ 0,5 hasil uji menunjukan semuanya di atas > 0,5 hal ini menandakan bahwa konstruk pada model penelitian ini telah memenuhi standar dari nilai reliabilitas. Setelah uji convergent validity sudah terpenuhi semua dilanjutkan untuk pengujian berikutnya adalah discriminant validity (uji diskriminan).

Uji diskriminan (discriminant validity), Kriteria yang baik dalam pengujian discriminant validity jika nilai √AVE pada variabel itu sendiri lebih besar dari pada korelasi antar variabel lainnya.

Pada tahap evaluasi p-values menggunakan syarat dengan nilai p-value pada signifikansi α = 0,05 guna menentukan hipotesis diterima atau ditolak. Apabila p-value

> 0,05 maka tidak terdapat pengaruh hubungan yang signifikan antar variabel (Ho diterima) sedangkan jika p- value < 0,05 terdapat pengaruh hubungan yang signifikan antar variabel (Ho ditolak). Adapun hasil kalkulasi pengelolaan data bootstrapping seperti terlihat pada tabel 3 berikut ini

TABEL 3SIGNIFIKANSI ANTAR VARIABEL PADA INNER MODEL

OUTPUT

Variabel Original Sample

T- Statistis

P- Values

Status

PE -> PEOU 0.315 4.222 0.000 Diterima SN -> PU 0.162 2.214 0.036 Diterima PEOU -> PU 0.564 5.732 0.000 Diterima PU -> BI 0.376 3.270 0.001 Diterima OU -> PEOU 0.469 7.482 0.000 Diterima PEOU -> BI 0.380 3.532 0.000 Diterima OQ -> PU 0.160 1.581 0.117 Ditolak

Berdasarkan hasil tabel 3 diatas menunjukan bahwa hasil menunjukan nilai kinerja yang positif dari pengunaan elearning namun ada terdapat satu variable yang negative yaitu terkait variabel kualitas keluaran dari elarning (output quality) tidak memiliki pengaruh signifikan terhadap persepsi kemudahan oleh para mahasiswa (perceived usefulness).

Namun untuk penilaian persepsi kemudahan pengunaan Teknologi Elearning (perceived ease of use) memiliki pengaruh signifikan terhadap persepsi kegunaan oleh mahaisswa (perceived usefulness), melalui variabel norma subyektif (subjective norm) memiliki pengaruh signifikan terhadap persepsi kemudahan (perceived usefulness) pada penguna teknologi elearning di Perguruan Tinggi,

variabel kegunaan obyektif dari aplikasi elearning (objective usability) memiliki pengaruh signifikan terhadap persepsi kemudahan yang dirasakan oleh mahasiswa (perceived ease of use)

Penilaian lainnya dan variabel persepsi kesenangan mengunakan elarning sebagai teknilogi pembelajaran (perceived enjoyment) memiliki pengaruh signifikan terhadap persepsi kemudahan yang dirasakan ooleh mahasiswa (perceived ease of use). variabel persepsi kegunaan Elearning (perceived usefulness) mempunyai pengaruh signifikan terhadap niat perilaku dari mahasiswa (behavioral intention).

Untuk mengetahui besaran pengaruh hubungan variabel independen terhadap variabel dependen, diperlukan evaluasi R-square.

TABEL 3RSQUARE OUTPUT

Variabel Original Sample

PEOU 0.760

BI 0.534

PU 0.663

IJCCSISSN

Nilai R-square PEOU (perceived ease of use) bernilai 0,760 yang artinya variabel PE (perceived enjoyment) & OU (objective usability) mampu memberikan pengaruhnya terhadap variabel PEOU sebesar 76,2% sedangkan 23,8%

dijelaskan oleh variabel lain di luar model yang diteliti.

Nilai R-square BI (behavioral intention) bernilai 0,534 yang artinya variabel PU (perceived usefulness) &

PEOU (perceived ease of use) mampu memberikan pengaruhnya terhadap variabel BI sebesar 52,8 % sedangkan 47,2% dijelaskan oleh variabel lain di luar model yang diteliti.

Nilai R-square PU (perceived usefulness) bernilai 0,663yang artinya variabel SN (subjective norms), OQ (output quality) & PEO (perceived ease of use) mampu memberikan pengaruhnya terhadap variabel PU sebesar 66,7% sedangkan 33,3% dijelaskan oleh variabel lain di luar penelitian yang diteliti.

IV.KESIMPULAN DAN SARAN

Berdasarkan hasil penelitian yang dilakukan dapat disimpukan bahwa dari 230 responden data yang telah diolah mengunakan SEM dan PLS bahwa hasil menunjukan nilai kinerja yang positif dari pengunaan elearning namun ada terdapat satu variable yang negative yaitu terkait variabel kualitas keluaran dari elarning (output quality) tidak memiliki pengaruh signifikan terhadap persepsi kemudahan oleh para mahasiswa (perceived usefulness).

Untuk penilaian persepsi kemudahan pengunaan Teknologi pembelajaran Elearning (perceived ease of use), variabel norma subyektif (subjective norm) variable persepsi kemudahan (perceived usefulness) pada penguna teknologi elearning di Perguruan Tinggi, obyektif dari aplikasi elearning (objective usability) memiliki pengaruh signifikan terhadap persepsi kemudahan yang dirasakan oleh mahasiswa (perceived ease of use).

Penilaian lainnya dan variabel persepsi kesenangan mengunakan elarning sebagai teknilogi pembelajaran (perceived enjoyment) memiliki pengaruh signifikan terhadap persepsi kemudahan yang dirasakan ooleh mahasiswa (perceived ease of use), juga variabel niat perilaku dari mahasiswa mengunakan elearning (behavioral intention) berkontribusi secara positif.

Sehingga secara keseluruhan penerapan teknologi pembelajaran mengunakan Elearing pada perguruan tinggi studi kasus UPNVJ memiliki nilai positif oleh para mahasiswa sebagai user penguna elearning.

Berdasarkan hasil penelitan perlu dilakukan analisis dan evaluasi terhadap secara vberkala tidak hanya kepada mahasiswa namun kepada para dosen sebagai penguanka aplikasi elearning dalam pembelajaran. Evaluasi dapat dilakukan denagn Webqual, Cobit juga terkait keamanan sistem pembelajaran perlu dilakukan kajian .

DAFTAR ACUAN

[1] J. J. Jiang, G. Klein dan C. L. Carr, 2020. “Measuring Information System Service Quality: SERVQUAL from the Other Side,” MIS Quarterly, vol. 26, no. 2, pp. 145-166, 2002.

[2] Ron Weber. “Information Systems Control and Audit”, Prentice-Hall,USA.1999.

[3] Davis, F.D., 1989, Perceived usefulness, perceived ease o f use, and user acceptance o f information technology. MS Quarterly (online), Vol. 13 Iss. 3, pg.

318.

[4] El-Gayar, Omar F., Mark Moran, 2006, College students' acceptance of Tablet PCs: An application of the UTAUT Model, Dakota State University, pg. 2845- 2850.

[5] Vankatest V Morris.Davis MD, .2003. User Acceptence of Information Technology toward unified view management information system quartier

[6] Ghozali, I., 2006, Structural Equation Modeling, Metode Alternatif dengan Partial Least Square.

Semarang: Badan Penerbit Universitas Diponegoro [7] Kraugusteeliana K dan E Krisnanik. Analisis

Penerimaan Dan Pemanfaatan Elearning 4.0 Pada Perkuliahan Online Selama Masa Pandemi Covid 19 Mengunakan Metode TAM”. .Konik 4. Juni 2020”

[8] Latan, Hengky. 2013. Model Persamaan Struktural:Teori Dan Implementasi AMOS. 21.0.

Bandung: Alfabeta.

[9] Dede Kurnia, “Penerimaan Dan Penggunaan E- Learning Pada Masa Pandemi Covid-19: Aplikasi Model Utaut2”, JKTP Jurnal Kajian Teknologi Pendidikan. JKTP Vol 3 No (4) November . 2020 [10] Witt, C. De, & Gloerfeld, C. (2018). Mobile Learning

and Higher Education Range of technological Solutions. In D. Kergel, B. Heidkamp, P. Kjærsdam Telléus, T. Rachwal, & S. Nowakowski (Ed.), The Digital Turn in Higher Education (hal. 61±79). Sp