565 Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 565-579 E-ISSN 2503-2933
Evaluasi Keberhasilan Sistem Informasi Universitas
Agus Prasetyo Utomo*1, Novita Mariana2, Saefurrochman3
1,2Progdi Sistem Informasi, Fakultas Teknologi Informasi & Industri, Universitas Stikubank Semarang, Jl. Trilomba Juang No 1 Mugas Semarang
3Progdi Teknik Informatika, Fakultas Teknologi Informasi & Industri, Universitas Stikubank Semarang, Jl. Trilomba Juang No 1 Mugas Semarang
.
e-mail: *1mustagus@edu.unisbank.ac.id, 2novita_mariana@edu.unisbank.ac.id,
3saefurrochman@edu.unisbank.ac.id Abstrak
Penelitian evaluasi keberhasilan sistem informasi bukanlah topik penelitian baru.
Namun demikian, mempelajari faktor-faktor yang mempengaruhi keberhasilan sistem informasi di universitas merupakan salah satu yang cukup menarik bagi sebagian peneliti. Penelitian ini bertujuan untuk memeriksa bagaimana pengaruh kualitas informasi, kualitas sistem, dan kualitas layanan terhadap kepuasan dan impilkasinya terhadap manfaat bersih yang dirasakan pengguna sistem informasi universitas. Sebanyak 180 S1 dan D3 mahasiswa dari 6 fakultas yang ada di Universitas Stikubank mengambil bagian dalam studi ini. Pendekatan partial least squares-structural equation modeling (PLS-SEM) digunakan untuk memvalidasi model penelitian. Hasil empiris menunjukkan bahwa kualitas informasi, kualitas sistem dan kualitas layanan memiliki hubungan positif yang signifikan dengan kepuasan pengguna untuk menggunakan sistem informasi universitas, sedangkan kepuasan pengguna juga menunjukkan hubungan negatif yang signifikan terhadap manfaat bersih sistem yang dirasakan pengguna sistem. Hasil yang diperoleh dari penelitian ini memberikan penguatan temuan dari penelitian- penelitian sebelumnya terkait evaluasi terhadap model keberhasilan sistem informasi. .
Kata kunci— Evaluasi Sistem Informasi, Model Kesuksesan Sistem Informasi, Model Delone dan McLean, Kepuasan Pengguna, Sistem Informasi Universitas.
Abstract
Information system success evaluation research is not a new research topic. However, studying the factors that influence the success of information systems in universities is one that is quite interesting for some researchers. This study aims to examine how the influence of information quality, system quality, and service quality on satisfaction and the effect on net benefits perceived by users of university information systems. As many as 180 undergraduate and graduate students from 6 faculties at Stikubank University taken part in this study. The partial least squares-structural equation modeling (PLS-SEM) approach is used to validate the research model. Empirical results show that information quality, system quality and service quality have a significant positive relationship with user satisfaction for using university information systems, while user satisfaction also shows a significant negative relationship with system user perceived net benefits. The results obtained from this study provide reinforcement of the findings from previous studies related to the evaluation of information system success models.
Keywords—Information System Evaluation, Information System Success Model, Delone and McLean Models, User Satisfaction, University Information Systems
Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 565-579 E- ISSN 2503-2933 566
1. PENDAHULUAN
Proses bisnis universitas saat ini dituntut efektif dan efisien, untuk itu memerlukan Sistem Informasi yang handal untuk mendukung area fungsional dan administratif. Implementasi sistem informasi untuk memastikan bahwa tujuan-tujuan organisasi terpenuhi. Saat ini persaingan untuk memiliki sistem informasi yang efektif dan efisien dalam sistem universitas telah meningkat sebagai akibat dari banyaknya kampus-kampus yang mengandalkan sistem informasi untuk layanan fungsional dan administratif di kampus. Meningkatnya jumlah mahasiswa, menempatkan tuntutan yang lebih besar pada kemampuan Universitas untuk memastikan bahwa Sistem Informasi dapat secara efektif mendukung semua bidang . Peran sistem informasi sangat penting dalam meningkatkan pendidikan dan bahwa teknologi informasi dan komunikasi telah menjadi salah satu alat utama untuk pendidikan [1]. Teknologi informasi dan komunikasi adalah tulang punggung manajemen yang efisien dalam pendidikan [2]. Konsekuensinya, kualitas sistem informasi yang mendukung proses universitas menjadi sangat penting.
Tujuan utama perancangan dan penerapan sistem informasi adalah untuk meningkatkan efisiensi dan efektivitas organisasi dan dari perspektif universitas, ini dimulai dengan fungsionnal dan operasi administratif dari sistem informasi yang mendukung proses bisnis universitas. Ketika fungsionalitas dan universitas menawarkan layanan yang kurang dari cukup, maka akan menciptakan ketidak puasan pada pengguna sistem. Interaksi dengan sistem dan hasil administratif juga berpengaruh pada cara pengguna mengelola pengetahuan. Akibatnya, pertanyaan penting yang muncul adalah apakah sistem informasi yang dimiliki universitas menyediakan tingkat kualitas yang diperlukan untuk mendukung fungsi kerja pengguna akademik dan administratifnya. Penelitian ini mencoba mengkaji sistem informasi universitas, mengingat implikasi massifikasi menimbulkan pertanyaan tentang kemampuan sistem informasi untuk menangani peningkatan beban kerja. Oleh karena itu, sebagai alat untuk mengatur keberhasilan sistem ini, diperlukan alat evaluatif. Evaluasi sistem informasi diperlukan untuk memastikan pejabat universitas akan dapat mengukur apakah sistem mereka memberikan hasil yang memuaskan terkait aktivitas kampus.
Meskipun evaluasi sistem informasi adalah bidang penelitian yang telah dilakukan secara mendalam di berbagai konteks dalam kaitannya dengan semua fase siklus hidup pengembangan sistem, masih terdapat sedikitnya studi di sistem informasi Universitas. Beberapa konteks populer dimana evaluasi telah dibahas dalam literatur adalah evaluasi pra-implementasi, evaluasi formatif dan evaluasi pasca implementasi [3,4,5]. Namun dalam praktiknya, evaluasi sistem informasi merupakan aspek yang sering diabaikan dalam pengelolaan teknologi, termasuk di universitas. Hasil dari latihan evaluasi sistem informasi yang direncanakan dengan hati-hati berpotensi menambah nilai bagi organisasi terutama dari konteks manajemen pengetahuan. Data yang diperoleh dari evaluasi sistem informasi dapat memberikan wawasan kepada para manajer organisasi tentang pengetahuan pengguna tentang operasi sistem dan efisiensinya. Selama beberapa tahun, terbukti dalam literatur evaluasi sistem informasi bahwa para peneliti telah mengembangkan alat evaluasi sistem informasi baru atau mengadaptasi alat yang ada dengan variabel dependen yang bervariasi. Ini termasuk 'Manfaat Bersih' [6], 'Kualitas Layanan' [9,10]. Namun, yang penting adalah memastikan bahwa pendekatan evaluasi disesuaikan dengan konteks spesifik di mana sistem informasi dioperasionalkan [11,12]. Dalam penelitian ini kami melaporkan investigasi ke dimensi Kepuasan Pengguna dalam konteks spesifik lingkungan universitas. Kepuasan pengguna, salah satu variabel dependen yang umum diteliti dalam studi iniI, mengacu pada penilaian pengguna dan tanggapan persepsi terhadap produk atau layanan setelah penggunaan [13]. Penelitian ini menyajikan kepuasan pengguna dan manfaat bersih yang dirasakan pengguna sistem sebagai proxy untuk mengevaluasi keberhasilan sistem informasi. Tujuan dari penelitian yang dilaporkan di sini adalah untuk mengkonfirmasi
567 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 565-579 E-ISSN 2503-2933
konstruksi model keberhasilan sistem informasi yang mendasari dimensi kepuasan pengguna untuk evaluasi sistem informasi universitas.2. METODE PENELITIAN 2.1. Model Penelitian dan Pengembangan Hipotesis
2.1.1. Peran Sistem Informasi yang Berkembang dalam Sistem Universitas
Universitas membutuhkan kebijakan pengembangan teknologi yang tepat untuk diterapkan di bidang dan manajemen dalam rangka untuk untuk mempromosikan fungsi superlatif lembaga. Dimasa yang akan datang, posisi kebijakan ini akan tetap relevan karena operasi adalah bagian utama dari fungsi sehari-hari universitas. Hal ini ditegaskan dalam berbagai studi tentang pendidikan tinggi, misalnya Krishnaveni dan Meenakumari yang menegaskan pentingnya sistem informasi untuk di universitas dan perannya dalam mendukung yang efektif dan efisien [14].
Penggunaan sistem informasi kampus umumnya dapat ditempatkan ke dalam beberapa kategori umum yaitu. Akademik, Kemahasiswaan, Kepegawaian dan Umum. Kegiatan universitas dapat memperoleh manfaat yang tinggi dari intervensi teknologi dengan cara-cara seperti mengurangi birokrasi dan mengurangi beban kerja manual para staf [15].
2.1.2. Alasan untuk Evaluasi Sistem Informasi
Tujuan inti dari Evaluasi sistem informasi adalah untuk menilai nilai sistem yang digunakan untuk mendukung fungsi bisnis. Dengan kata lain, penelitian tentang evaluasi sistem informasi memberikan wawasan tentang manfaat yang dicapai melalui penggunaan sistem informasi dan manfaatnya dalam berbagai kondisi [16]. Tidak ada satu cara unik untuk mengukur atau mengevaluasi sistem informasi [17]. Beberapa makalah formatif yang memberikan panduan instruktif tentang evaluasi dan keberhasilan sistem informasi [5,6,9,17,19,20].
Alasan mengapa evaluasi sistem informasi secara umum dianggap begitu penting, adalah karena hal itu memberikan para manajer dasar untuk menjustifikasi penerapan sistem tersebut dalam mengantisipasi manfaat bagi organisasi mereka. Pendukungnya adalah Kaisara dan Pather[21], yang berpendapat bahwa terdapat ketergantungan yang tinggi pada sistem informasi dan evaluasi keberhasilan sistem informasi merupakan tantangan yang dihadapi oleh manajer.
Untuk memastikan realisasi manfaat sistem informasi, evaluasi sistem informasi harus dilakukan untuk menilai keberhasilan sistem.
2.1.3. Dimensi Kepuasan Pengguna dari Evaluasi Sistem Informasi
Analisis beberapa model informatif dalam literatur sejak penerbitan Model Sukses sistem informasi (DeLone dan Mclean, 2003)[8] hingga studi terbaru, menyajikan beberapa variabel umum yang diterapkan di seluruh papan. Selama beberapa tahun terakhir variabel yang digunakan dalam penelitian IS biasanya berpusat di sekitar konstruksi kualitas informasi, kualitas sistem dan kualitas layanan yang terbukti dalam beberapa studi Bharati dan DeLone dan Mclean[8,6]. Peran persepsi pengguna tentang keberhasilan sistem dominan dalam literatur [7,22]. Menentukan keberhasilan suatu sistem adalah penting dan dalam banyak kasus hal itu secara mencolok berasal dari persepsi pengguna, karena mereka adalah operator sistem yang dapat memberikan pengamatan mereka tentang interaksi mereka dengan sistem[23]. Dengan demikian, Kepuasan Pengguna dianggap sebagai dimensi penting dalam evaluasi efektivitas sistem informasi. Kepuasan pengguna dianggap sebagai proksi yang berguna dari keberhasilan .
Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 565-579 E- ISSN 2503-2933 568
sistem informasi karena kepuasan pengguna dapat memberikan beberapa wawasan tentang keefektifan sistem.Kualitas sistem informasi menggambarkan pandangan luas yang mencakup teknologi tetapi juga pengguna yang memanfaatkan sistem[24]. Oleh karena itu, menilai kualitas sistem informasi mengasumsikan analisis dari tiga dimensi kualitas (IQ, SysQ dan SQ) dalam hal persepsi pengguna terhadap sistem. SQ dan SysQ merupakan konstruk yang terdiri dari kepentingan yang tumpang tindih, karena keduanya berdampak pada kepuasan pelanggan (pengguna). Menurut Akter, Ray, dan D'Ambra, sistem harus dilihat sebagai layanan dalam kaitannya dengan perspektif penyelarasan bisnis teknologi penelitian bidang layanan.
Dalam konteks perguruan tinggi, sistem yang memfasilitasi operasional universitas memberikan layanan kepada pengguna. Telah ditetapkan bahwa kualitas informasi dihubungkan sebagai komponen dari konstruksi kepuasan pengguna [20] dan tak lama setelah model D&M dirilis, Seddon, Patry dan Kiew menguji dan mengkonfirmasi bahwa informasi dan akun kualitas sistem untuk sejumlah besar varians di AS[26]. Tiga dimensi kualitas harus dikontrol atau diukur secara terpisah karena secara tunggal atau bersama-sama mereka akan mempengaruhi kepuasan pengguna selanjutnya. Senada dengan itu, faktor-faktor yang mempengaruhi keberhasilan SI dan menemukan bahwa tiga dimensi kualitas di antara dimensi lainnya merupakan faktor utama yang mempengaruhi kepuasan pengguna yang juga didukung oleh temuan Roky & Meriouh[27]. Singkatnya, relevansi dimensi kepuasan pengguna dalam menentukan keberhasilan sistem telah diungkapkan oleh banyak penulis dan dalam berbagai model. Persepsi pengguna adalah faktor penting dalam pengukuran kesuksesan karena mereka menjadi titik kontak utama dengan penggunaan sistem. Ini adalah poin positif bahwa dimensi kepuasan telah membuktikan hubungan dengan dimensi terukur lain dari keberhasilan sistem dan oleh karena itu merupakan dimensi penting dalam penelitian ini.
2.1.4. Kerangka Kepuasan Pengguna untuk Evaluasi Sistem Informasi Universitas
DeLone McLean Information System Succes model (DMISM) yang diperbarui mengemukakan bahwa kualitas sistem informasi terdiri dari tiga dimensi utama: kualitas informasi, kualitas sistem, dan kualitas layanan [28]. Dengan kualitas layanan yang baru ditambahkan dalam DMISM yang diperbarui dibandingkan dengan model awal, ketiga dimensi diusulkan untuk secara independen atau bersama-sama memengaruhi penggunaan sistem dan kepuasan individu, yang kemudian memengaruhi manfaat bersih. Kualitas informasi berkaitan dengan konten yang tersedia di situs sehubungan dengan aspek-aspek seperti keakuratan, kelengkapan, dan kebaruan. Sebaliknya, kualitas sistem berkaitan dengan aspek teknologi situs, sedangkan kualitas layanan berkaitan dengan dukungan keseluruhan yang diberikan kepada pengguna situs, seperti keandalan dan daya tanggap. DMISM awalnya dikembangkan dalam konteks sistem informasi manajemen, tetapi telah terbukti dapat diterapkan ke berbagai konteks lain termasuk e-learning [29], jaringan sosial yang didukung komputer untuk informasi [30],
Tujuan dari penelitian ini, yang didasarkan pada DMISM yang diperbarui [28], adalah untuk menguji peran faktor kualitas situs informasi dalam meningkatkan manfaat yang dirasakan dari sistem tersebut. Berikut ini adalah model penelitian yang diusulkan untuk evaluasi sistem informasi universitas, seperti terlihat di gambar 1.
569 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 565-579 E-ISSN 2503-2933
Gambar 1 Model Penelitian
1. Hipotesis1: Kualitas Layanan (Service Quality) berpengaruh positif dan signifikan terhadap Kepuasan Pengguna (User Satisfaction).
2. Hipotesis 2: Kualitas Sistem (System Quality) berpengaruh positif dan signifikan terhadap Kepuasan Pengguna (User Satisfaction).
3. Hipotesis 3: Kualitas Informasi (Information Quality) berpengaruh positif dan signifikan terhadap Kepuasan Pengguna (User Satisfaction).
4. Hipotesis 4: Kepuasan Pengguna (User Satisfaction) berpengaruh positif dan signifikan terhadap Manfaat yang dirasakan (Net Benefits).
Kerangka yang disajikan di atas, menggambarkan hubungan logis antara konstruksi yang mendasari dimensi kepuasan pengguna dalam sistem administrasi. Premis dari penelitian ini adalah bahwa kepuasan pengguna adalah penentu utama Keberhasilan sistem informasi dengan rezim evaluasi yang diusulkan didasarkan pada persepsi pengguna. Oleh karena itu, karakteristik pengguna menjadi penting untuk mendapatkan pemahaman yang lebih baik tentang persepsi mereka untuk dianalisis. Kualitas sistem adalah dimensi yang diakui dalam penelitian Keberhasilan sistem informasi dan memiliki hubungan yang kuat dengan kualitas informasi dalam penentuan keberhasilan sistem informasi [31]. Variabel-variabel ini bersama dengan kualitas layanan telah diidentifikasi dalam penelitian penting yang dianalisis sebelumnya.
Bahwa kualitas sistem mempengaruhi kualitas informasi yang dipersepsikan secara positif dan kualitas informasi yang dipersepsikan mempengaruhi kualitas layanan yang dipersepsikan [32].
Ini mengarah pada gagasan bahwa Kualitas Sistem dan Kualitas Layanan terkait secara tidak langsung. Kembali ke konteks penelitian, gagasan prinsip kualitas layanan yang tinggi dapat diasumsikan mengarah pada kepuasan pengguna yang tinggi (seperti yang disajikan Model D&M) yang dapat diterjemahkan menjadi manfaat yang dapat dilihat melalui peningkatan fungsi administrasi universitas.
3. HASIL DAN PEMBAHASAN
Responden adalah para mahasiswa di enam fakultas yang ada di Universitas Stikubank Semarang yang menjadi populasi sasaran penelitian ini. Pendekatan insidental non probability sampling digunakan selama proses pengumpulan data. Pendekatan ini adalah prosedur yang lazim diikuti dalam studi tentang adopsi dan penerimaan teknologi. Ukuran sampel yang yang berhasil didapatkan sebanyak 182 responden. Dari 182 responden ada 2 responden yang isianya
Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 565-579 E- ISSN 2503-2933 570
tidak lengkap. Sehingga secara keseluruhan, ada 180 tanggapan valid yang dapat digunakan untuk analisis lebih lanjut. Berikut ini Tabel 1 menyajikan profile demografi responden.Tabel 1. Profile Demografi Responden Profile Demografi Count % Jenis Kelamin :
Pria 69 38.33%
Wanita 111 61.67%
Fakultas :
FEB 37 20.56%
FBIB 17 9.44%
FH 45 25.00%
FPAR 24 13.33%
FT 12 6.67%
FTI 45 25.00%
Semester :
< Semester 3 45 25.00%
>=Semester 6 67 37.22%
Semeter 3 sd 5 68 37.78%
Total 180 100.00%
3.1. Pengembangan Instrumen
Sebagian besar peneliti merujuk pada pengukuran yang tersedia dalam literatur, yang merupakan prosedur yang sama dilakukan dalam penelitian ini. Variabel dan jumlah item ditunjukkan pada Tabel 2. Responden harus menyatakan tingkat persetujuan mereka terhadap konstruksi yang diberikan dengan bereaksi terhadap item survei. Jawaban untuk setiap item mengikuti skala Likert lima poin di mana “1 = sangat tidak setuju, 2 = tidak setuju, 3 = netral, 4
= setuju, dan 5 = sangat setuju”.
Tabel 2. Variabel dan Item Indikator
Variabel Items Indikator
Kualitas Sistem (SQ)
1. (SQ1) Mudah dipelajari dan membutuhkan sedikit usaha untuk menguasainya.
2. (SQ2) Terjaga kehandalanya setiap saat dibutuhkan.
3. (SQ3) Menyediakan layanan terkait untuk memfasilitasi kebutuhan layanan administrasi mahasiswa.
4. (SQ4) Respon cepat; tidak begitu lama menunggu sehingga tidak akan menghambat layanan administrasi mahasiswa.
Kualitas Informasi (IQ)
1. (IQ1) Informasi lengkap yang relevan dengan kebutuhan mahasiswa.
2. (IQ2) Informasi layanan administrasi yang akurat.
571 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 565-579 E-ISSN 2503-2933
3. (IQ3) Informasi yang dibutuhkan tepat waktu.
4. (IQ4) Melindungi informasi pribadi mahasiswa dari pengungkapan ilegal.
Service Quality (SEQ)
1. (SEQ1) Segera membantu mahasiswa terkait masalah dan permintaan mengenai sistem.
2. (SEQ2) Memahami dengan jelas kebutuhan mahasiswa saat menggunakan sistem.
3. (SEQ3) Memiliki empati yang baik kepada mahasiswa.
User Satisfaction (US)
1. (US1) Sistem informasi universitas bermanfaat.
2. (US2) Puas saat menggunakan sistem informasi universitas.
Net Benefits (NB)
1. (NB1) Sistem informasi universitas meningkatkan efisiensi layanan administrasi mahasiswa.
2. (NB2) Sistem informasi universitas meningkatkan efektivitas layanan administrasi mahasiswa.
3. (NB3) Sistem informasi universitas membutuhkan waktu singkat untuk layanan administrasi mahasiswa.
3.2. Analisa Data
Untuk menganalisis data yang terkumpul dan menguji hipotesis penelitian yang dirumuskan, digunakan pendekatan Model Persamaan Struktural Partial Least Squares (PLS- SEM) menggunakan Smart PLS. Studi ini mengikuti pendekatan dua langkah dalam memvalidasi model yang dikembangkan; dua langkah ini mencakup penilaian baik "model pengukuran" dan "model struktural". Model pengukuran (outer model) mewakili hubungan antara konstruk dan indikatornya, sedangkan model struktural (inner model) mengacu pada hubungan antara konstruk laten [33].
3.3. Profile Sample
Tabel 1 menunjukkan karakteristik responden, di mana 38,33% dari mereka adalah pria, dan 61,67% adalah wanita di mana rasio ini biasanya diamati di sebagian besar studi di domain tersebut. Sebagian besar responden adalah mahasiswa S1 dan D3 yang tersebar di 6 fakultas yang ada, dimana prosentase terbesar mahasiswa diatas semester 3, hal ini menunjukkan bahwa intensitas responden dalam berinteraksi, menggunakan dan memanfaatkan sistem informasi universitas sudah cukup lama dan sering.
3.4. Profile Sample
Hair dkk menyarankan untuk memperkirakan reliabilitas konsistensi internal, validitas konvergen, dan validitas diskriminan untuk menilai model pengukuran [33]. Reliabilitas konsistensi internal diukur dengan menggunakan composite reliability (CR) dan Cronbach's alpha. Validitas konvergen diukur dengan menggunakan factor loading, dan average variance extract (AVE). Validitas diskriminan dinilai menggunakan kriteria Fornell-Larcker, cross- loading, dan rasio Heterotrait Monotrait (HTMT). Seperti yang diilustrasikan pada Tabel 3, nilai Cronbach's alpha dan CR dari semua variabel lebih besar dari nilai yang disarankan yaitu 0,7.
Selain itu, nilai factor loadings semua item lebih besar dari nilai yang direkomendasikan yaitu 0,7. Selain itu, nilai AVE dari semua konstruksi dalam model lebih besar dari nilai ambang 0,5.
Oleh karena itu, validitas konvergen dan reliabilitas konsistensi internal dikonfirmasi.
Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 565-579 E- ISSN 2503-2933 572
Tabel 3. Convergent Validity & Internal Consistency Construct Item
Code
Outer Loading
Cronbach's
Alpha CR AVE
Information Quality
IQ1 0.871
0.871 0.912 0.723 Valid &
Reliabel IQ2 0.900
IQ3 0.885 IQ4 0.736 Net Benefits
NB1 0.919
0.832 0.901 0.753 Valid &
Reliabel NB2 0.907
NB3 0.770 Service Quality
SEQ1 0.885
0.887 0.930 0.815 Valid &
Reliabel SEQ2 0.914
SEQ3 0.909
System Qualty
SQ1 0.765
0.793 0.866 0.618 Valid &
Reliabel SQ2 0.806
SQ3 0.744 SQ4 0.827 User Satisfaction US1 0.902
0.777 0.900 0.818 Valid &
Reliabel US2 0.907
Tabel 4. Discriminant Validity: Fornell-Larcker Information
Quality
Net Benefit
Service Quality
System Quality
User Satisfaction Information Quality 0.85
Net Benefit 0.741 0.868
Service Quality 0.761 0.662 0.903
System Quality 0.759 0.73 0.72 0.786
User Satisfaction 0.754 0.78 0.749 0.723 0.904
Tabel 5. Discriminant Validity: Cross-Loadings
Information Quality
Net Benefits
Service Quality
System Quality
User Satisfaction
IQ1 0.871 0.663 0.683 0.709 0.663
IQ2 0.9 0.707 0.702 0.712 0.723
IQ3 0.885 0.631 0.665 0.66 0.633
IQ4 0.736 0.499 0.52 0.471 0.526
NB1 0.659 0.919 0.558 0.65 0.7
NB2 0.67 0.907 0.618 0.637 0.691
NB3 0.597 0.77 0.545 0.613 0.635
SEQ1 0.63 0.574 0.885 0.656 0.604
SEQ2 0.7 0.608 0.914 0.646 0.666
SEQ3 0.722 0.608 0.909 0.65 0.744
SQ1 0.623 0.635 0.499 0.765 0.546
SQ2 0.495 0.522 0.556 0.806 0.559
573 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 565-579 E-ISSN 2503-2933
SQ3 0.62 0.597 0.612 0.744 0.533
SQ4 0.647 0.551 0.598 0.827 0.629
US1 0.699 0.706 0.66 0.588 0.902
US2 0.665 0.704 0.694 0.718 0.907
Tabel 6. Discriminant Validity: Heterotrait-Monotrait Ratio Statistics (HTMT)
IQ NB SEQ SQ US
IQ
NB 0.866
SEQ 0.857 0.770
SQ 0.904 0.905 0.859
US 0.911 0.971 0.895 0.917
Tabel 7. Discriminant Validity: Heterotrait-Monotrait Ratio Statistics (HTMT) Convidence Intervals Bias Corrected
Original Sample
(O)
Sample Mean
(M)
Bias 5.0% 95.0%
NB-> IQ 0.866 0.865 -0.001 0.795 0.927 SEQ -> IQ 0.857 0.857 -0.001 0.778 0.916 SEQ -> NB 0.770 0.767 -0.003 0.681 0.857 SQ -> IQ 0.904 0.904 0.000 0.851 0.959 SQ -> NB 0.905 0.903 -0.002 0.838 0.966 SQ -> SEQ 0.859 0.858 -0.001 0.769 0.931 US -> IQ 0.911 0.914 0.002 0.833 0.974 US -> NB 0.971 0.975 0.004 0.885 1.053 US -> SQ 0.895 0.894 -0.001 0.819 0.953 US -> SQ 0.917 0.923 0.006 0.845 0.977
Tabel 4 menunjukkan kriteria Fornell-Larcker, di mana akar kuadrat dari AVE harus lebih besar dari korelasinya dengan konstruksi lainnya [34]. Hal ini ditunjukkan dari Tabel 4 bahwa kriteria Fornell-Larcker dikonfirmasi. Tabel 5 menunjukkan hasil pembebanan silang (cross-loadings), di mana pembebanan masing-masing indikator harus lebih tinggi daripada pembebanan indikator konstruk yang sesuai. Seperti dapat dilihat dari Tabel 5, kriteria pembebanan silang dipastikan. Tabel 6 menunjukkan rasio HTMT, di mana nilai setiap konstruk tidak boleh melebihi nilai ambang batas 0,85 [35]. Berdasarkan pembacaan pada Tabel 6, ada beberapa rasio HTMT tidak terpenuhi, sehingga perlu dilakukan bootstrapping dengan hasil seperti terlihat pada tabel 7 sehingga validitas diskriminan dikonfirmasi. Hasil analisis memberikan bukti bahwa tidak ada masalah mengenai penilaian model pengukuran dalam hal keandalan dan validitasnya, dan dengan demikian, data yang dikumpulkan dapat digunakan lebih lanjut untuk mengevaluasi model struktural.
Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 565-579 E- ISSN 2503-2933 574
Gambar 2. Hasil Penilaian Model Struktural Tabel 8. Hasil Uji Path Analysis
Hipothesis Path std.beta std.error t-value p-
value Bias
Confidence Interval
5.00% 95.00% Keputusan H3 IQ -> US 0.316 0.097 3.261 0.001 0.003 0.140 0.464 Diterima H1 SEQ ->
US 0.333 0.089 3.723 0.000 -
0.008 0.213 0.496 Diterima H2 SQ ->
US 0.244 0.081 3.002 0.001 0.006 0.102 0.356 Diterima
H4 US ->
NB 0.780 0.037 20.948 0.000 0.001 0.711 0.833 Diterima
3.5. Penilaian Pengukuran Model
Untuk menilai model struktural, analisis jalur dan koefisien determinasi (R2) diukur [33].
Keakuratan prediksi model ditentukan melalui nilai R2. Seperti yang ditunjukkan pada Gambar 2, model yang dikembangkan menjelaskan 66,3% dari varians dalam kepuasan pengguna dan 60,8% dari varian manfaat bersih. Seperti yang ditunjukkan pada Tabel 8, semua hipotesis yang dirumuskan diterima. Hipotesis 1 menunjukkan bahwa kualitas layanan (service quality) memiliki dampak positif pada kepuasan pengguna sistem informasi universitas (β = 0,333, p <
0,05). Dengan demikian, hipotesis 1 diterima.
Berdasarkan hasil pada Tabel 8 dan Gambar 2, dapat dilihat bahwa terdapat hubungan positif yang signifikan antara kualitas sistem dengan kepuasan pengguna sistem informasi universitas (β = 0,244, p < 0,05). Hipotesis 2 menyatakan bahwa kualitas sistem (system quality) berpengaruh positif dan signifikan terhadap kepuasan pengguna (User Satisfaction). Sesuai hasil pada Tabel 8 dan Gambar 2, dapat diketahui bahwa ada hubungan positif yang signifikan antara kualitas sistem dan kepuasan pengguna sistem informasi universitas (β = 0,24, p <0,05). Oleh karena itu, hipotesis 2 diterima. Hipotesis 3 menyatakan bahwa kualitas informasi memiliki
575 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 565-579 E-ISSN 2503-2933
dampak positif terhadap kepuasan pengguna sistem informasi universitas. Sehubungan dengan hasil pada Tabel 8 dan Gambar 2, dapat diamati juga bahwa ada hubungan positif yang signifikan antara kualitas informasi dan kepuasan pengguna sistem informasi universitas (β = 0,316, p <0,05). Dengan demikian, hipotesis 3 diterima. Hipotesis 4 menunjukkan bahwa kepuasan pengguna memiliki dampak positif yang signifikam pada manfaat bersih penggunaan sistem informasi universitas. Sesuai hasil pada Tabel 8 dan Gambar 2, ditemukan bahwa hubungan yang signifikan antara kepuasan dan manfaat bersih pengguna sistem informasi universitas (β = 0,780, p > 0,05). Oleh karena itu, hipotesis 4 diterima.Hasil pengujian model penelitian mengkonfirmasi peran kepuasan pengguna (user satisfaction) pada manfaat yang dirasakan dari sistem informasi universitas. Oleh karena itu hal ini menandakan pentingnya memastikan kesesuaian yang tepat dari variabel-variabel yang mendukung kepuasan pengguna untuk keberhasilan sistem informasi universitas yaitu kualitas sistem (system quality), kualitas informasi (Information quality) dan kualitas layanan (service quality). Selain itu, karena pengguna merasa puas, harapanya pengguna akan merasakan nilai manfaat dari sistem informasi Universitas. Intinya, temuan dari penelitian ini memberikan penguatan terhadap penelitian-penelitian sebelumnya yaitu secara empiris dengan menguji dan mengevaluasi keberhasilan/kesuksesan sistem informasi universitas.
4. KESIMPULAN
Evaluasi sistem informasi menjadi salah satu bidang penelitian utama yang menarik banyak peneliti sistem informasi, dan ini mengacu pada fakta bahwa faktor penentu yang mempengaruhi keberhasilan sistem informasi ini bervariasi dari satu konteks ke konteks lainnya, sehinga evaluasi keberhasilan sistem informasi akan selalu menarik perhatian bagi para peneliti lainnya di bidang sistem informasi.
Tujuan utama dari penelitian ini adalah untuk mendapatkan wawasan tentang faktor- faktor yang mempengaruhi keberhasilan sistem informasi di tinjau dari kepuasan pengguna dan manfaat bersih yang dirasakan dari pengguna sistem informasi universitas. Studi ini merupakan adaptasi DeLone McLean Information System Succes model (DMISM), di mana temuan menunjukkan bahwa kualitas informasi, kualitas sistem dan kualitas layanan memiliki hubungan positif yang signifikan dengan kepuasan pengguna untuk menggunakan sistem informasi universitas.
Ditemukan juga bahwa kepuasan pengguna memiliki hubungan positif yang signifikan dengan manfaat bersih sistem. Hasil ini sesuai dengan studi terdahulu di domain evaluasi keberhasilan sistem informasi [6,7,12,27]. Selain itu, model menjelaskan 66,3% dari varians dalam kepuasan pengguna dan 60,8% dari varian dalam manfaat bersih sistem. Meskipun beberapa penelitian dilakukan untuk menguji keberhasilan sistem informasi, dikatakan bahwa ada beberapa penelitian yang dilakukan di institusi pendidikan tinggi pada umumnya. Oleh karena itu, penelitian ini dan temuannya berkontribusi pada literatur evaluasi keberhasilan sistem infomasi dengan menggunakan model DeLone McLean Information System Succes model (DMISM) yang dapat memprediksi kepuasan mahasiswa dan manfaat bersih sistem untuk menggunakan sistem informasi universitas.
Penelitian ini setidaknya mempunyai kontribusi yang signifikan terhadap literatur penelitian terkait evaluasi sistem informasi. Peneliti menyadari bahwa penelitian ini juga masih memiliki beberapa keterbatasan yang perlu dipertimbangkan saat melakukan penelitian lebih lanjut. Pertama, pengumpulan data hanya dibatasi untuk kasus di Universitas Stikubank Semarang. Oleh karena itu, kehati-hatian sangat diperlukan ketika akan melakukan generalisasi hasil penelitian ini ke konteks lembaga pendidikan lainnya. Kedua, penelitian ini menggunakan
Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 565-579 E- ISSN 2503-2933 576
teknik insidental non probability sampling dalam hal pengumpulan data, yang juga dapat membatasi generalisasi temuan penelitian.5. SARAN
Penelitian ini setidaknya mempunyai kontribusi yang signifikan terhadap literatur penelitian terkait evaluasi sistem informasi. Peneliti menyadari bahwa penelitian ini juga masih memiliki beberapa keterbatasan yang perlu dipertimbangkan saat melakukan penelitian lebih lanjut. Pertama, pengumpulan data hanya dibatasi untuk kasus di Universitas Stikubank Semarang. Oleh karena itu, kehati-hatian sangat diperlukan ketika akan melakukan generalisasi hasil penelitian ini ke konteks lembaga pendidikan lainnya. Kedua, penelitian ini menggunakan teknik insidental non probability sampling dalam hal pengumpulan data, yang juga dapat membatasi generalisasi temuan penelitian. Penelitian selanjutnya sebaiknya harus mempertimbangkan hal ini. Penelitian selanjutnya ke depan juga sebaiknya meningkatkan model dengan mempertimbangkan lebih banyak dimensi kesuksesan dari sistem informasi seperti dari konteks perilaku kognitif dan kriteria keberhasilan sistem informasi lainnya.
UCAPAN TERIMA KASIH
Terima kasih penulis sampaikan kepada Direktorat Penelitian, Pengabdian Masyarakat dan Publikasi (DPPMP) Universitas Stikubank Semarang atas pembiayaan penelitian ini.
DAFTAR PUSTAKA
[1]. Qureshi, Z. H. and Qazi Abro, M. M, “Efficient Use of ICT In Administration”, International Journal of Economics, Commerce and Management., IV(10), pp. 540–550, 2016.
[2]. Jaleel, M. A., “Administration of Information in Higher Education-Role of ICT”., 3(2), pp. 935–938.
[3]. Ahituv, N., “A Systematic Approach Toward Assessing The Value of an Information System,” MIS Quarterly., 4(December), pp. 61–75, 1980. doi: 10.2307/248961.
[4]. Kumar, K, “Post Implementation Evaluation of Computer- Based Information -Systems : Current Practices,” Communications of The ACM., 33(2), pp. 203–212, 1990.
[5]. Beynon-Davies, P., Owens, I. and Williams, M. D, “Information Systems Evaluation and The Information Systems Development Process,” Journal of Enterprise Information Management., 17(4), pp. 276–282., 2004., doi: 10.1108/17410390410548689.
[6]. W.H. Delone, E.R. McLean, “The Delone and McLean Model of Information Systems Success: A Ten-Year Update,” J. Manage. Inform Sys., 19 (4), 9–30, 2003, https://doi.org/10.1080/07421222.2003.11045748.
577 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 565-579 E-ISSN 2503-2933
[7]. Jiang, J., Klein, G. and Carr, C, “Measuring Information System Service Quality:Servqual from the Other Side,” MIS Quarterly., 26(1), pp. 145–166, 2002 doi:
10.2307/4132321.
[8]. Bharati, P. and Berg, D, “Managing Information Systems For Service Quality: A Study From The Other Side,” Information Technology & People., 16(2), pp. 183–202, 2003, doi: 10.1108/09593840310478685.
[9]. Thong, J. Y. and Yap, C.-S, “Information Systems Effectiveness : A User Satisfaction Approach,” Information Processing Management., 32(5), pp. 601–610,1996.
[10]. Palm, J. et al, “Determinants of User Satisfaction with a Clinical Information System,” in AMIA Symposium., pp. 614–618, 2006
[11]. Davies, B. et al, “Measuring and Managing Service Quality,” Marketing Intelligence &
Planning., 17(1), pp. 33–40, 1999, doi: 10.1108/02634509910253795
[12]. Tate, M. et al, “Information Systems Success Research: The “Twenty Year Update ?”
Panel Report From PACIS, 2011”, Communications of The Association For Information Systems, 34(64), pp. 1235–1246, 20014
[13]. Song, J. et al., “Application Discoverability and User Satisfaction In Mobile Application Stores: An Environmental Psychology Perspective,” Decision Support Systems., 59(1), pp. 37–51., 2014, doi: 10.1016/j.dss.2013.10.004.
[14]. Krishnaveni, R. and Meenakumari, J, “Usage of ICT for Information Administration in Higher Education Institutions – A Study,” International Journal of Environmental Science and Development., 1(3), pp. 282–286., 2010., doi: 10.7763/IJESD.2010.V1.55 [15]. Juma, K. S., Raihan, A. and Clement, C. K, “Role of ICT in Higher Educational
Administration in Uganda,” World Journal of Educational Research., 3(1), pp. 1–10., 2016, doi: 10.22158/wjer.v3n1p1.
[16]. Carlsson, S. A., “Advancing Information Systems Evaluation (Research): A Critical Realist Approach,” Electronic Journal of Information Systems Evaluation., 6(2), pp. 11–
20., 2003.
[17]. DeLone & McLean, E.R., “Information Systems Success: the Quest For The Dependent Variable. Information Systems Research”, 3(1), pp. 60-95., 1992.
[18]. Irani, Z, “Information Systems Evaluation: Navigating Through The Problem Domain,”
Information and Management, 40(1), pp. 11–24, 2002, doi: 10.1016/S0378- 7206(01)00128-8.
[19]. Brown, A., “IS Evaluation In Practice,” The Electronic Journal of Information Systems Evaluation., 8(3), pp. 169–178, 2005.
[20]. Petter, S., DeLone, W. & McLean, E., “Measuring Information Systems Success: Models, Dimensions, Measures, and Interrelationships”., European Journal of Information Systems, 17(3), pp. 236-263., 2008.
Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 565-579 E- ISSN 2503-2933 578
[21]. Kaisara, G. and Pather, S., “The e-Government Evaluation Challenge: A South African Batho Pele-Aligned Service Quality Approach,” Government Information Quarterly., Elsevier Inc., 28(2), pp. 211–221, 2011, doi: 10.1016/j.giq.2010.07.008.[22]. Al-adaileh, R. M., “An Evaluation of Information Systems Success : A User Perspective - The Case of Jordan Telecom Group,” European Journal of Scientific Research., 37(2), pp. 226–239., 2009.
[23]. Bokhari, R. H., “The Relationship Between System Usage and User Satisfaction : A Meta-Analysis,” Journal of Enterprise Information Management., 18(2), pp. 211–234., 2005, doi: 10.1108/17410390510579927.
[24]. Andersson, T. and von Hellens, L. A, “Information Systems Work Quality’, Information and Software Technology”, 39(12), pp. 837–844. doi: 10.1016/S0950-5849(97)00042-6., 1997.
[25]. Akter, S., Ray, P. and D’Ambra, J, “Viewing Systems As Services: The Role of Service Quality,” International Con., pp. 1–18., 2011., Available at:
http://ro.uow.edu.au/commpapers/3125/.
[26]. Seddon, P., Patry, M. and Kiew, M, “A Partial Test and Development of The DeLone and McLean Model of IS Success,” in International Conference On Information Systems (ICIS)., pp. 99–110., 1994.
[27]. Roky, H. and Meriouh, Y, “Evaluation by Users of An Industrial Information System (XPPS) Based On The DeLone and McLean Model For IS Success,” Procedia Economics And Finance., 26(0), pp. 903–913, 2015., doi: 10.1016/S2212-5671(15)00903-X.
[28]. Robbins, S.P. & Coulter. Management. Prentice Hall 7, th editio, 2002.
[29]. Seddon, P.B., “A Respecification and Extension of The Delone and Mclean Model of is Success. Information Systems Research”., 8(3), pp. 240–253., 1997.
[30]. Seddon, P.&Kiew, M.Y, “A Partial Test and Development of Delone and Mclean’s Model of is Success,” Australasian Journal of Information Systems., 4(1), 1996.
[31]. Gorla, N., Somers, T. M. and Wong, B, “Organizational Impact of System Quality, Information Quality, and Service Quality,” Journal of Strategic Information Systems., Elsevier B.V, 19(3), pp. 207–228., 2010, doi: 10.1016/j.jsis.2010.05.001.
[32]. Xu, J., Benbasat, I. and Cenfetelli, R. T., “Integrating Service Quality with System and Information Quality: An Empirical Test in The E-Service Context,” Mis Quarterly., 37(3), pp. 777–794, 2013.
[33] J. F. Hair Jr, G. T. M. Hult, C. Ringle, and M. Sarstedt, A Primer On Partial Least Squares Structural Equation Modeling (PLS-SEM). Sage Publications, 2016.
https://doi.org/10.1108/ebr-10-2013-0128.
579 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 565-579 E-ISSN 2503-2933
[34] C. Fornell and D. F. Larcker, “Evaluating Structural Equation Models With Unobservable Variables and Measurement Error,” J. Mark. Res., Vol. 18, No. 1, pp. 39–50, 1981. https://doi.org/10.1177/002224378101800104
[35] J. Henseler, C. M. Ringle, and M. Sarstedt, “A New Criterion For Assessing Discriminant Validity In Variance-Based Structural Equation Modeling,” J. Acad. Mark. Sci., Vol. 43, No. 1, pp. 115–135, 2015. https://doi.org/10.1007/s11747-014-0403-8
