JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.3887 Hal 257−264 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
Penerapan Metode Collaborative Filtering untuk Personalized Learning Content pada Learning Management System (LMS)
Muhammad Alfian Fathurrahman*, Kusuma Ayu Laksitowening, Dawam Dwi Jatmiko Suwawi Fakultas Informatika, Program Studi S1 Informatika, Universitas Telkom, Bandung, Indonesia
Email: 1,*alfianfathur@students.telkomuniversity.ac.id, 2ayu@telkomuniversity.ac.id, 3dawamdjs@telkomuniversity.ac.id Email Penulis Korespondensi: alfianfathur@students.telkomuniversity.ac.id
Submitted 03-03-2022; Accepted 15-04-2022; Published 29-04-2022 Abstrak
Penyampaian konten pembelajaran yang tepat dapat menjadi salah satu faktor yang dapat meningkatkan kepuasan, motivasi, serta minat peserta didik dalam belajar. Namun di sisi lain, karena banyaknya konten pembelajaran yang tersedia di LMS (Learning Management System) dan sulitnya menentukan konten pembelajaran yang sesuai dengan kebutuhan dan minat setiap peserta didik, seringkali menyebabkan beberapa konten pembelajaran terabaikan oleh peserta didik. Oleh karena itu, penelitian ini berfokus dalam merancang sistem personalisasi konten pembelajaran di LMS untuk peserta didik. Tujuan utama dari penelitian ini adalah untuk menyediakan saran atau rekomendasi konten pembelajaran bagi peserta didik, berdasarkan konten pembelajaran yang mereka akses sebelumnya dengan menerapkan metode Collaborative Filtering. Metode ini memanfaatkan kumpulan data dalam bentuk implicit feedback, yang diperoleh dari aktivitas peserta didik saat berinteraksi dengan LMS. Hasil penelitian dengan UAT (User Acceptance Test) menunjukkan bahwa sistem personalisasi ini telah diterima dengan baik oleh sebanyak 82.67% peserta didik jika dilihat dari tiga aspek, yaitu aspek tampilan, pengguna, dan interaksi sistem. Selain itu, perhitungan MAE (Mean Absolute Error) menunjukkan bahwa sistem personalisasi ini memiliki tingkat akurasi terbaik pada tingkat sparsity 10% dengan nilai rata-rata terendah yaitu 0.4514.
Kata Kunci: Collaborative Filtering; Implicit Feedback; MAE; Personalisasi; UAT; Sparsity Abstract
The delivery of appropriate learning content can be one of the factors that can increase satisfaction, motivation, and interest of learners during learning sessions. But on the other hand, due to a large amount of learning content available on LMS (Learning Managemenet System) and the difficulty of determining learning content that suits the needs and interests of each learner, it often causes some learning content to be overlooked by them. Therefore, this paper aims to design a personalized learning content system in LMS for learners.
The main objective of this study is to provide learning content suggestions or recommendations for learners, based on the course module they previously accessed by applying Collaborative Filtering method. This method is used by utilizing dataset in the form of implicit feedback, obtained from the activities of learners when interacting with LMS. The UAT (User Acceptance Test) results show that the personalization system has been well received by as many as 82.67% of learners based on three aspects, those are interface, user, and system interaction aspects. Moreover, the MAE (Mean Absolute Error) calculation shows that this system has the best accuracy rate at a 10% sparsity level with the lowest average value of 0.4514.
Keywords: Collaborative Filtering; Implicit Feedback; MAE; Personalization; UAT; Sparsity
1. PENDAHULUAN
E-learning adalah proses kegiatan belajar mengajar yang dilaksanakan secara online melalui jaringan internet [1].
Pemanfaatan e-learning dalam menjalankan pembelajaran secara online ini dapat didukung melalui berbagai macam cara seperti web-based learning, computer-based learning, atau virtual classroom dan untuk penyampaian konten pembelajaran dapat berupa audio, kaset video, konferensi video, CD-ROM, atau e-mail [2]. Dalam mengelola konten pembelajaran di sebuah e-learning, umumnya memanfaatkan sebuah sistem seperti Learning Management System (LMS).
LMS dapat didefinisikan sebagai aplikasi perangkat lunak untuk menjalankan sistem administrasi yang berkaitan dengan proses belajar mengajar, tracking progres belajar, serta repositori penyimpanan konten pembelajaran [3]. Menurut Tjong Y dkk. [4] LMS juga dikenal sebagai e-learning yang berfokus pada website sebagai media interaksi pembelajaran di kelas secara online. Umumnya, course yang ada pada LMS berisikan learning object (LO) atau konten pembelajaran yang merupakan segala objek, baik digital atau non-digital yang digunakan sebagai media pembelajaran, pendidikan, atau pelatihan.
Penyampaian konten pembelajaran yang tepat dapat menjadi salah satu faktor yang dapat meningkatkan kepuasan, motivasi, serta minat peserta didik dalam belajar [2]. Namun di sisi lain, karena sulitnya menentukan konten pembelajaran yang sesuai dengan kebutuhan dan minat setiap peserta didik, seringkali menyebabkan beberapa konten pembelajaran terabaikan oleh peserta didik [5]. Melalui wawancara dengan dosen pengampu Mata Kuliah Perencanaan Pembelajaran Kimia UNS, diperoleh informasi tentang sesi belajar mengajar secara daring yang selama ini dijalankan, yakni dosen memberikan konten pembelajaran berupa slide materi, pertemuan dengan googlemeet dan assignment yang wajib diakses oleh seluruh peserta didik di LMS. Di samping itu, dosen juga menyediakan alternatif konten pembelajaran lain yang dapat dipelajari oleh peserta didik, seperti materi tambahan, link video pembelajaran, dan forum diskusi di LMS.
Alternatif konten pembelajaran ini disediakan oleh dosen agar peserta didik tetap dapat memperoleh sumber konten pembelajaran yang terpercaya dan sesuai dengan yang diajarkan oleh dosen. Namun, tidak semua alternatif konten pembelajaran tersebut sesuai dengan yang dibutuhkan oleh setiap peserta didik. Hal ini tentu menjadi kelemahan dalam sesi belajar mengajar secara daring di LMS. Untuk itu dosen mengharapkan adanya sebuah sistem di LMS yang dapat memberi saran atau rekomendasi konten pembelajaran yang tepat bagi setiap peserta didik, sehingga konten pembelajaran
JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.3887 Hal 257−264 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom yang disediakan di LMS dapat sesuai dengan kebutuhan dan minat mereka saat belajar. Menurut Guabassi I E dkk. [6], pemanfaataan sarana personalisasi dalam bentuk rekomendasi terbukti dapat meningkatkan minat, pemahaman, dan keberhasilan peserta didik dalam belajar. Personalisasi sendiri merupakan bentuk penyempurnaan dari kustomisasi yang dilakukan secara otomatis oleh sistem [7].
Secara umum terdapat dua metode rekomendasi yang dapat digunakan, yaitu Content Based Filtering dan Collaborative Filtering (CF). Content Based Filtering memberikan rekomendasi berdasarkan deskripsi dari item, yang mana jika jumlah item yang akan direkomendasikan semakin besar, maka sistem akan membutuhkan waktu yang lebih lama dalam melakukan ekstraksi pada setiap item tersebut [8]. Berbeda dari metode Content Based Filtering, metode Collaborative Filtering (CF) menghasilkan rekomendasi berdasarkan keterkaitan antar pengguna yang menyukai suatu item tertentu. Sebagai contoh jika pengguna A menyukai item X dan Y, lalu pengguna B menyukai item Y, maka sistem akan merekomendasikan item X kepada pengguna B.Algoritma CF ini banyak digunakan sebagai teknik rekomendasi dalam sistem rekomendasi komersial, dan juga banyak hasil karya dalam bidang ini yang memanfaatkannya sebagai peningkatan performa rekomendasi [9].
Umumnya pada metode Collaborative Filtering, ketertarikan atau minat pengguna terhadap item dapat direpresentasikan oleh besarnya rating yang diberikan oleh pengguna terhadap item. Untuk memperoleh data rating tersebut secara umum terdiri dari dua cara, yaitu secara explicit dan implicit [10]. Dalam penelitian ini, kumpulan data rating dikumpulkan secara implicit, dimana data rating diperoleh dari aktivitas peserta didik saat berinteraksi dengan konten pembelajaran di LMS. Menurut Claypool dkk. [11], cara pengambilan data rating secara implicit ini merupakan cara yang cerdas, karena peserta didik tidak akan menyadari bahwa aktivitas mereka sedang dijadikan sebagai data rating.
Berdasarkan latar belakang yang telah dipaparkan di atas, penulis mencoba merancang sistem personalisasi konten pembelajaran dalam bentuk rekomendasi di LMS untuk peserta didik dengan metode Collaborative Filtering, berdasarkan konten pembelajaran yang telah mereka akses sebelumnya. Data rating dikumpulkan secara implicit (implicit feedback) berdasarkan aktivitas peserta didik saat mengakses konten pembelajaran di LMS. Dengan demikian, diharapkan sistem personalisasi ini dapat memberikan saran atau rekomendasi konten pembelajaran yang sesuai dengan kebutuhan dan minat peserta didik. Di sisi lain, jika LMS mampu memberikan pendekatan berupa personalisasi sebagaimana yang dibutuhkan oleh peserta didik, maka faktor-faktor seperti biaya dan waktu pengembangan sistem e-learning tentu akan lebih efektif [12].
2. METODOLOGI PENELITIAN
2.1 Tahapan Penelitian
Tahapan penelitian dalam merancang sistem personalisasi konten pembelajaran dengan metode Collaborative Filtering ini terdiri dari beberapa langkah. Gambar 1 berikut merupakan tahapan penelitian yang dilakukan oleh penulis.
Gambar 1. Tahapan Penelitian a. Studi Pustaka
Dilakukan pencarian literatur dan memperdalam konsep dari sumber bacaan seperti makalah, jurnal, buku, dan laporan Tugas Akhir yang terkait dengan sistem e-learning, Learning Management System (LMS), Collaborative Filtering (CF) recommender system, pengumpulan data rating secara implicit (implicit feedback), dan beberapa algoritma yang digunakan dalam merancang sistem personalisasi.
b. Pengumpulan Data
Selain itu, penulis melakukan wawancara terhadap dosen pengampu Mata Kuliah Perencanaan Pembelajaran Kimia UNS untuk mengetahui permasalahan yang terjadi dalam sesi belajar mengajar secara daring di LMS. Sebanyak 39 mahasiswa dijadikan sebagai target pengguna berasal dari mahasiswa kelas B Program Studi S1 Pendidikan Kimia UNS. Adapun mata kuliah yang digunakan adalah Perencanaan Pembelajaran Kimia.
c. Analisis dan Implementasi Sistem
Pada tahap ini, dilakukan analisis terhadap sistem personalisasi yang dibangun. Analisis mencakup proses pengembangan sistem personalisasi konten pembelajaran mulai dari pre-prosessing dan penerapan metode Collaborative Filtering pada LMS, mulai dari perhitungan similarity antar item dengan metode Euclidean similarity- based distance dan perhitungan prediksi rating menggunakan teknik weighted sum. Kemudian hasil analisis ini diimplementasikan pada LMS dengan bahasa pemrograman PHP dan MySQL untuk pengelolaan database.
d. Evaluasi
JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.3887 Hal 257−264 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom Untuk tahapan evaluasi, dilakukan pengujian terhadap tingkat akurasi atau seberapa bagus hasil rekomendasi konten pembelajaran yang dihasilkan oleh sistem personalisasi. Pengujian ini dilakukan dengan menggunakan User Acceptance Test (UAT), dimana sistem personalisasi diuji langsung pada peserta didik sebagai pengguna LMS melalui kuesioner yang berisi pertanyaan terkait 3 aspek, yaitu Aspek Tampilan, Aspek Pengguna, dan Aspek Interaksi Sistem, serta menggunakan Mean Absolute Error (MAE) untuk mengukur tingkat akurasi dari sistem personalisasi yang telah dibangun menggunakan perhitungan nilai error.
2.2 Overview Sistem
Pembangunan sistem ini terdiri dari beberapa langkah. Yang pertama adalah membangun sistem e-learning berbasis web dengan memanfaatkan sebuah platform LMS open-source yaitu Moodle. Moodle (Modular Object-Oriented Dynamic Learning Environment) adalah sebuah Course Management System (CMS), perangkat lunak yang dirancang untuk membantu pendidik dalam menciptakan online course yang berkualitas [1]. Pada Gambar 2, deskripsi umum dari sistem personalisasi yang dibangun adalah sebagai berikut.
Gambar 2. Overview Sistem Personalisasi
Pada Gambar 2, ditunjukkan bahwa peserta didik diminta untuk mengakses web LMS dan login menggunakan akun masing-masing. Setelah login, peserta didik dipersilakan untuk mengakses konten pembelajaran yang telah disediakan. Ketika peserta didik mengakses konten, sistem melakukan record aktivitas mereka dan menyimpannya dalam log database LMS Moodle. Proses record aktivitas inilah yang dimaksud dengan proses pengumpulan nilai rating secara implicit (implicit feedback). Sedangkan untuk aktivitas yang di-record meliputi jumlah view terhadap konten pembelajaran, jumlah akses ke forum, dan jumlah konten yang diunduh oleh peserta didik. Data aktivitas tersebut merupakan informasi yang umumnya dapat di tracking oleh setiap LMS [2].
3. HASIL DAN PEMBAHASAN
3.1 Hasil Implementasi Sistem
Dalam penelitian ini dilakukan percobaan dengan menyediakan 25 konten pembelajaran dari total 5 topik. Topik beserta masing-masing konten pembelajaran yang telah disediakan di LMS dapat dilihat pada Tabel 1 sebagai berikut.
Tabel 1. List Topik beserta Konten Pembelajaran
Section Topik Konten Pembelajaran
1 Week 9 – Pengembangan Silabus googlemeet, page
2 Week 10 – Perancangan Pembelajaran Inovatif googlemeet, page, folder, assign
3 Week 11 – Presentasi Review Silabus googlemeet
4 Week 12 – Media Pembelajaran utk RPP Inovatif googlemeet, resource, url, folder, forum 5 Week 13 – RPP Inovatif bermuatan TPACK googlemeet, folder, forum
JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.3887 Hal 257−264 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom Pada Gambar 3, ditampilkan salah satu topik dan sejumlah konten pembelajaran pada halaman course Perencanaan Pembelajaran Kimia di web LMS yang telah dibangun.
Gambar 3. Tampilan Topik beserta Konten Pembelajaran pada Halaman Course
Sistem personalisasi konten pembelajaran dalam bentuk rekomendasi di LMS ini dibangun dengan menggunakan metode Collaborative Filtering dan memanfaatkan kumpulan data implicit feedback yang diambil dari record aktivitas peserta didik saat berinteraksi dengan konten pembelajaran di LMS sebagai data acuan untuk menghasilkan rekomendasi.
Berikut adalah pemaparan mengenai alur kerja dari sistem personalisasi yang diterapkan pada penelitian ini.
a. Pre-processing
Tahap ini, log aktivitas peserta didik diambil dari database LMS secara implicit. Masing-masing atribut implicit feedback dikalkulasikan dengan fungsi COUNT() dengan mengelompokkan id dari tiap peserta didik dan id dari tiap konten pembelajaran yang telah mereka akses, sehingga menghasilkan sebuah nilai rating.
Berdasarkan penelitian yang dilakukan oleh Wimmer dkk. [8], disimpulkan bahwa rating scale 1-10 merupakan skala yang terbaik dan dapat menggambarkan perbedaan yang paling lebar, maka nilai rating yang telah diperoleh kemudian dinormalisasi agar nilai rating tetap berada dalam range 1-10. Dimana 10 mengindikasikan bahwa peserta didik sangat tertarik terhadap konten pembelajaran tertentu. Nilai rating akan 0 jika suatu konten pembelajaran belum pernah diakses oleh peserta didik. Normalisasi ini menggunakan metode Min-Max Normalization seperti pada Persamaan (1) berikut.
𝑥𝑖𝑛= 𝑥𝑖−𝑚𝑖𝑛𝑥
𝑚𝑎𝑘𝑠𝑥− 𝑚𝑖𝑛𝑥 (1)
b. User-item Rating Matrix
Setelah data dari tahap preprocessing telah siap diproses, kemudian nilai rating yang telah diperoleh dari tahap pre- processing dikelompokkan ke dalam user-item rating matrix di dalam sistem. Ilustrasi matrix yang digunakan adalah seperti pada Tabel 2 berikut.
Tabel 2. Ilustrasi User-item Rating Matrix
(x,y) m1 m2 m3 m4 mn
l1 4 8 2 …
l2 6 9 1 1 …
l3 3 …
l4 1 4 2 …
lm … … … … …
Terlihat pada Tabel 2, baris x menunjukkan list peserta didik L = { l1, l2, …,l39 }, sedangkan kolom y menunjukkan list konten pembelajaran M = { m1, m2, …, m25}. Nilai kosong mengindikasikan bahwa peserta didik l belum pernah mengakses konten pembelajaran tertentu.
c. Collaborative Filtering
Tahap selanjutnya adalah mencari konten pembelajaran yang saling memiliki kemiripan, menggunakan salah satu model algoritma Collaborative Filtering yaitu kNN. Hasil dari tahap ini adalah nilai similarity yang menunjukkan seberapa mirip konten pembelajaran satu dengan yang lain.
JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.3887 Hal 257−264 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom Pertama, menghitung similarity based-distance dengan memanfaatkan formula Euclidean. Formula ini digunakan untuk menghitung nilai similarity antara konten pembelajaran u dan v yang telah memperoleh nilai rating dari peserta didik l. Formula Euclidean yang digunakan adalah sebagai berikut.
𝑑(𝑢,𝑣)= √∑ 𝑙 ∈ 𝑙𝑒𝑎𝑟𝑛𝑒𝑟 (𝑟𝑙,𝑢− 𝑟𝑙,𝑣)2 (2)
𝑠𝑖𝑚(𝑢,𝑣)= 1
1+ 𝑑(𝑢,𝑣) (3)
Sebagai contoh dari hasil perhitungan dengan formula Euclidean di atas, diberikan tabel ilustrasi hasil perhitungan similarity-based distance terhadap konten pembelajaran m1 - m3 dan m2 - m3 yang dapat dilihat pada Tabel 3 berikut.
Tabel 3. Ilustrasi Hasil Perhitungan Similarity-based Distance
Sim(m1, m3) 0.12515
Sim(m2, m3) 0.09759
Kedua, menghitung nilai prediksi rating konten pembelajaran untuk peserta didik dengan memanfaatkan teknik weighted sum. Jika peserta didik telah mengakses konten pembelajaran tertentu, maka nilai prediksi kosong. Sistem hanya akan menghitung dan menampilkan prediksi konten pembelajaran yang belum pernah diakses oleh peserta didik. Berikut adalah teknik weighted sum yang digunakan.
𝑃(𝑙,𝑣)=
∑𝑁 (𝑟𝑙,𝑢) 𝑢=1 ×𝑠𝑖𝑚(𝑢,𝑣)
∑N |(sim(u,v))|
𝑢=1
(4)
Sebagai contoh dari perhitungan teknik weighted sum di atas, diberikan langkah menghitung nilai prediksi rating konten pembelajaran yang diberikan oleh peserta didik l1 terhadap konten pembelajaran m3.
P (l1, m3) = ((4 ∗ 0.12515) + ( 8 ∗ 0.09759 ))
|0.12515|+|0.09759|
P (l1, m3) = 0.5006+0.78072 0.22274 P (l1, m3) = 5.753
Setiap konten pembelajaran yang mirip dengan m3, dilakukan perhitungan seperti contoh di atas dan menghasilkan nilai prediksi rating konten pembelajaran. Pada Gambar 4, ditunjukkan hasil rekomendasi konten pembelajaran di LMS yang diurutkan dari yang tertinggi berdasarkan nilai prediksi rating untuk tiap peserta didik.
Gambar 4. Ilustrasi Hasil Rekomendasi dari Sistem Personalisasi yang Dibangun 3.2 Analisis Hasil Pengujian
Analisis hasil pengujian terhadap sistem personalisasi konten pembelajaran dalam bentuk rekomendasi ini dilakukan dalam 2 tahap, yaitu tahap User Acceptance Test (UAT) dan tahap mengukur tingkat akurasi rekomendasi yang dihasilkan menggunakan perhitungan nilai error, yaitu Mean Absolute Error (MAE).
JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.3887 Hal 257−264 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom 3.2.1 User Acceptance Test (UAT)
Dokumen hasil User Acceptance Test (UAT) dijadikan sebagai bukti bahwa sistem personalisasi yang telah dibangun dapat diterima oleh peserta didik dengan baik jika dilihat dari tiga aspek, yaitu 3 aspek, yaitu Aspek Tampilan, Aspek Pengguna, dan Aspek Interaksi Sistem. UAT dirancang dengan memerhatikan 5 komponen usability testing, yaitu mudah dipelajari (learnability), efisien (efficiency), mudah diingat (memorability), tingkat kepuasan (satisfaction), serta mengurangi tingkat kesalahan (errors) [15]. Adapun butir pertanyaan dan hasil jawaban UAT sebagai berikut.
Tabel 4. Butir Pertanyaan dan Hasil Jawaban User Acceptance Test
No Pertanyaan Nilai
STS TS N S SS Aspek Tampilan
1 Apakah tampilan dari rekomendasi konten pembelajaran yang diberikan ini menarik? 0 0 2 15 6 2 Apakah penempatan judul dan icon dari rekomendasi konten pembelajaran ini enak
dilihat dan tidak membingungkan?
0 2 2 16 3 3 Apakah penempatan rekomendasi konten pembelajaran yang ditampilkan pada
bagian paling atas dari halaman course ini cocok dengan Anda?
0 1 2 17 3 Aspek Pengguna
4 Apakah list rekomendasi konten pembelajaran yang diberikan mudah dipahami? 0 0 2 17 4 5 Apakah list rekomendasi konten pembelajaran yang diberikan dapat membantu Anda
dalam memahami topik?
0 0 1 15 7 6 Apakah list rekomendasi konten pembelajaran yang diberikan telah sesuai dengan
apa yang Anda butuhkan?
0 0 2 19 2 7 Apakah Anda cukup puas dengan list rekomendasi konten pembelajaran yang
diberikan?
0 2 0 18 3 Aspek Interaksi Sistem
8 Apakah semua resource file dan link pada rekomendasi konten pembelajaran dapat Anda akses tanpa ada kendala/error?
0 1 0 15 7 9 Apakah semua tombol pada tampilan rekomendasi konten pembelajaran dapat Anda
tekan tanpa ada kendala/error?
0 0 0 13 10 Pada penelitian ini, penulis menggunakan sampel uji coba terpakai untuk menguji validitas butir dan reliabilitas kuesioner. Uji coba terpakai digunakan dengan pertimbangan bahwa pengisi kuesioner haruslah peserta didik yang telah mengakses LMS. Uji validitas dilakukan dengan membandingkan antara nilai r hitung dengan nilai r tabel Product Moment untuk derajat kebebasan (dk) = n-2. Untuk bidang penelitian pendidikan, alpha yang digunakan adalah 0.01 atau 0.05 [16]. Adapun menurut Sugiyono [16], kuesioner dikatakan valid jika nilai korelasi r hitung lebih besar dari r tabel Product Moment (rxy > rtabel). Tabel 5 berikut adalah hasil uji validitas item kuesioner User Acceptance Test.
Tabel 5. Hasil Uji Validitas Item Kuesioner
No. Item rxy rtabel Keterangan
1 0.608 0.433 Valid
2 0.604 0.433 Valid
3 0.762 0.433 Valid
4 0.489 0.433 Valid
5 0.547 0.433 Valid
6 0.750 0.433 Valid
7 0.709 0.433 Valid
8 0.523 0.433 Valid
9 0.506 0.433 Valid
Uji reliabilitas dilakukan dengan melihat angka reliabilitas Cronbach Alpha yang dihasilkan. Kuesioner dikatakan reliabel dan dapat dipercaya jika nilai alpha lebih besar dari 0.7 [16]. Tabel 6 berikut adalah hasil uji reliabilitas item kuesioner User Acceptance Test.
Tabel 6. Hasil Uji Reliabilitas Item Kuesioner Reability Statistics
Cronbach’s Alpha N of Items
0.782 9
Tabel 7. Hasil Perhitungan User Acceptance Test (UAT) Pertanyaan Jumlah Nilai Rata-rata Presentase AVG Aspek Tampilan
JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.3887 Hal 257−264 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
1 96 4.173 84%
80%
2 89 3.870 77%
3 91 3.957 79%
Aspek Pengguna
4 94 4.087 82%
81.5%
5 98 4.261 85%
6 92 4 80%
7 91 3.967 79%
Aspek Interaksi Sistem
8 97 4.217 84%
86.5%
9 102 4.435 89%
RATA-RATA 82.67%
Berdasarkan hasil perhitungan User Acceptance Test (UAT) pada Tabel 7, didapatkan rata-rata untuk Aspek Tampilan, yakni sebesar 80% responden menyatakan setuju bahwa pendekatan personalisasi dengan menerapkan sistem rekomendasi ini cukup menarik dari segi tampilan, seperti penempatan judul dan icon, serta penempatan rekomendasi konten pembelajaran yang berada di bagian paling atas halaman course.
Pada Aspek Pengguna, sebesar 81.5% responden menyatakan setuju bahwa mereka sudah cukup puas dengan list rekomendasi konten pembelajaran yang diberikan. Selain itu, list rekomendasi yang diberikan tersebut mudah dipahami, dapat membantu dalam memahami topik, serta telah sesuai dengan kebutuhan mereka.
Pada Aspek Interaksi Sistem, sebesar 86.5% responden menyatakan setuju bahwa semua resource file dan link, serta semua tombol yang ada pada rekomendasi konten pembelajaran, tidak ada kendala/error saat diinteraksikan oleh mereka.
3.2.2 Mean Absolute Error (MAE)
Pengujian ini dilakukan untuk mengukur tingkat akurasi dari hasil rekomendasi yang diberikan oleh sistem personalisasi yang telah dibangun. Pengujian dilakukan dengan membagi dataset menjadi data training dan data test, dimana data yang diuji adalah data test yang data rating-nya dikosongkan dari dataset awal dengan tingkat sparsity tertentu. Sparsity merupakan kondisi dimana terdapat banyak kekosongan data rating pada user-item rating matrix, dimana hal ini dapat terjadi karena pengguna aktif hanya memberikan rating pada item-item tertentu dalam jumlah yang lebih kecil dari jumlah item yang tersedia di database [8].
Parameter pengujian ini digunakan untuk mengetahui kemampuan sistem dalam melakukan perhitungan nilai prediksi rating konten pembelajaran saat terjadi kondisi kekosongan data rating pada user-item matrix yang menjadi masalah utama pada metode CF [8]. Nilai MAE diperoleh dengan menghitung rata-rata selisih antara nilai rating yang didapatkan dari peserta didik dengan nilai prediksi rating yang diberikan oleh sistem. Hasil pengujian dengan MAE ditunjukkan pada Tabel 8 berikut.
Tabel 8. Hasil Pengujian MAE
Pengujian Data Training Data Test MAE
User-1 User-2 User-3 User-4 User-5 AVG
1st 50% 50% 0.8432 1.520 1.1134 0.7550 0.7574 0.9978 2nd 60% 40% 0.6758 1.1753 0.7578 1.0737 1.0315 0.9429 3rd 70% 30% 0.8859 0.8849 0.5847 0.5857 0.5523 0.6987 4th 80% 20% 0.6764 0.7938 0.4100 0.5455 0.4520 0.5755 5th 90% 10% 0.4697 0.5609 0.4197 0.5221 0.2848 0.4514
Pada Tabel 8 di atas, ditunjukkan hasil pengujian MAE dengan mengosongkan data test pada tingkat sparsity 10%, 20%, 30%, 40% dan 50%. Dari hasil pengujian tersebut dapat diketahui bahwa nilai rata-rata MAE tertinggi adalah 0.9978 pada pengujian 1st dengan tingkat sparsity 50%, sedangkan nilai rata-rata MAE terendah adalah 0.4514 pada pengujian 5th dengan tingkat sparsity 10%. Semakin kecil tingkat sparsity yang diujikan, maka semakin kecil pula nilai MAE-nya.
Semakin kecil nilai MAE yang diperoleh, maka sistem semakin akurat dalam memberikan hasil rekomendasi konten pembelajaran untuk peserta didik.
Merujuk pada hasil penelitian lain oleh Sarwar B, dkk. [14] dengan metode yang sama yaitu Item-based Collaborative Filtering, dihasilkan nilai MAE berkisar antara 0.738 - 0.842. Penelitian lain oleh Tarus J, dkk. [13] dengan metode yang sama juga, dihasilkan nilai MAE berkisar antara 0.64 – 0.76. Dengan demikian, dapat dikatakan bahwa nilai MAE yang didapatkan pada penelitian ini sudah cukup baik yang berkisar antara 0.4514 – 0.9978.
4. KESIMPULAN
Perancangan sistem personalisasi konten pembelajaran dalam bentuk rekomendasi di LMS (Learning Management System) untuk peserta didik dengan memanfaatkan metode Collaborative Filtering ini telah berhasil dibangun dan dapat berjalan dengan baik di LMS. Berdasarkan hasil pengujian Mean Absolute Error (MAE), disimpulkan bahwa sistem personalisasi yang telah dibangun dengan metode Collaborative Filtering ini memiliki tingkat akurasi terbaik saat
JURIKOM (Jurnal Riset Komputer), Vol. 9 No. 2, April 2022 e-ISSN 2715-7393 (Media Online), p-ISSN 2407-389X (Media Cetak) DOI 10.30865/jurikom.v9i2.3887 Hal 257−264 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom pengujian 5th pada tingkat sparsity 10% dengan nilai rata-rata MAE terendah yaitu 0.4514 dan berdasarkan hasil perhitungan User Acceptance Test (UAT), disimpulkan bahwa sistem personalisasi ini telah dapat diterima dengan baik oleh sebanyak 82.67% peserta didik jika dilihat dari tiga aspek yaitu Aspek Tampilan, Aspek Pengguna, dan Aspek Interaksi Sistem.
REFERENCES
[1] Chourishi D, Buttan C K, Chaurasia A, dan Soni A. 2015. Effective E-Learning Through Moodle. India. International Journal of Advance Technology & Engineering Research (IJATER).
[2] Imran H, Belghis-Zadeh M, Chang T W, Kinshuk, dan Graf S. 2016. PLORS: A Personalized Learning Object Recommender System. Vietnam. Springer Vietnam J Comput Sci.
[3] R. K. Ellis. 2009. Field Guide to Learning Management Systems. ASTD Learn. Circuits.
[4] Tjong Y, Sugandi L, Nurshafita A, Magdalena Y, Evelyn C, dan Yosieto N S. 2018. User Satisfaction Factors on Learning Management System Usage. Indonesia. IEEE.
[5] Hidayat A F, Suwawi D D J, dan Laksitowening K A. 2020. Learning Content Recommendation on Personalized Learning Environment Using Collaborative Filtering Method. Indonesia. IEEE.
[6] Guabassi I E, Bousalem Z, Achhab M A, Jellouli I, dan Mohajir B E E. 2018. Personalized Adaptive Content System for Context- aware Ubiquitous Learning. Morocco. Science Direct Procedia Computer Science.
[7] Montgomery A L, dan Smith M D. 2009. Prospect for Personalization on the Internet. Pittsburgh. Science Direct Journal of Interactive Marketing.
[8] Handrico, A. 2012. Sistem Rekomendasi Buku Perpustakaan Fakultas Sains dan Teknologi dengan Metode Collaborative Fitlering. Pekanbaru. Universitas Islam Negeri Sultan Syarif Kasim Riau.
[9] Zhao Z D, dan Shang M S. 2010. User-based Collaborative-Filtering Recommendation Algorithms on Hadoop. China. IEEE.
[10] Gulla J A. 2014. Collaborative Filtering in the News Domain with Explicit and Implicit Feedback. Norwegia. Norwegian University of Science and Technology Chapter 4 Page 22-23 and Chapter 11 Page 72.
[11] Claypool M, Le P, Wased M, dan Brown D. 2001. Implicit Interest Indicators. USA. Computer Science Department.
[12] Moon J, Kum S W, dan Lee S. 2017. Introduction to the Design of Personalized User Interface Platform with Recommended Contents. Japan. ICCP.
[13] Tarus J, Niu Z, dan Khadidja B. 2017. E-Learning Recommender System Based on Collaborative Filtering and Ontology. China.
International Scholarly and Scientific Research & Innovation.
[14] Sarwar B, Karypis G, Konstan J, dan Riedl J. 2001. Item-Based Collaborative Filtering Recommendation Algorithms. Hong Kong. ACM.
[15] Agustina R dan Suprianto D. 2018. Analisis Hasil Pemanfaatan Media Pembelajaran Interaktif Aljabar Logika dengan User Acceptance Test (UAT). Malang. SMATIKA Jurnal Vol 08 No 02.
[16] Yusup F. 2018. Uji Validitas dan Reliabilitas Instrumen Penelitian Kuantitatif. Banjarmasin. Jurnal Tarbiyah: Jurnal Ilmiah Kependidikan.
