CHƯƠNG 3. THỬ NGHIỆM VÀ ĐÁNH GIÁ MÔ HÌNH
3.1 Dự đoán kết quả học tập dựa trên hoạt động tương tác
Khoá học được diễn ra trong 12 tuần, bao gồm hai hình thức là học tập trực tiếp trên giảng đường, phòng máy kết hợp với học tập trực tuyến. Hoạt động học trực tiếp trên lớp gồm hai phần, phần lý thuyết diễn ra vào các tuần thứ nhất, thứ tư và thứ mười của khóa học, phần thực hành diễn ra vào các tuần thứ hai, thứ năm và mười một của khóa học. Nội dung học tập và các hoạt động tương tác như học trực tuyến, diễn đàn trao đổi, làm bài tập và nộp bài trực tuyến… các sinh viên đều sẽ thực hiện trên hệ thống Moodle tại website onlinecourses (https://onlinecourses.uet.vnu.edu.vn).
Kết quả đánh giá cho mỗi sinh viên sẽ bao gồm ba bài kiểm tra trắc nghiệm trực tuyến cho nội dung phần lý thuyết và ba bài tập được gửi qua hệ thống LMS cho nội dung phần thực hành. Ngoài ra, mỗi sinh viên sẽ có một bài thi cuối kỳ cũng bao gồm hai phần này. Trong đó, phần thi lý thuyết là 40 câu hỏi thi trắc nghiệm trực tuyến trong 30 phút và phần thi thực hành làm trên máy tính trong thời gian 60 phút.
Dữ liệu thử nghiệm được thu thập từ cơ sở dữ liệu nhật ký của hệ thống, được lưu bắt đầu từ khi sinh viên tham gia khoá học cho đến khi kết thúc khoá học, từ tháng 9 đến tháng 12 năm 2019. Dữ liệu của mỗi sinh viên bao gồm số lượt xem nội dung, số bài đăng, số bài đăng trên diễn đàn, số lượt xem diễn đàn, số bài tập nộp đúng hạn, số bài tập nộp muộn, số bài tập chưa nộp, ..., điểm kiểm tra trực tuyến, và kỳ thi trực tuyến cuối kỳ.
Từ những dữ liệu thu thập được trên hệ thống LMS của sinh viên khi tham gia khóa học kết hợp, tổng hợp được thành bảng 3.1 mô tả các thống kê về sự tương tác của các hoạt động học tập. Nhìn vào bảng kết quả thống kê cho thấy, trung bình mỗi sinh viên sẽ tương tác với hệ thống để xem tài nguyên học tập 12 lần/tuần. Trong đó sinh viên có số lượng tương tác thấp nhất đạt hơn bốn lần mỗi tuần. Và trung bình mỗi sinh viên đã nộp hai bài tập trên tổng số năm bài tập cần nộp. Và ta cũng rút ra được một nhận xét rằng sinh viên rất tích cực tương tác với hệ thống trong suốt quá trình diễn ra khóa học.
Biến Min Max Mean Std. Deviations
Số lượt xem 55 340 155.7 67.64
Số lượng bài viết 13 58 29.3 13.27
Số lượt xem diễn đàn 2 77 21.17 14.13
Số lượng bài trên diễn đàn 0 8 3.5 1.96
Số lượng bài tập nộp đúng hạn 1 4 2.7 1.03
Số lượng bài tập nộp quá hạn 0 3 1.35 0.72
Bảng 3.1 Thống kê hoạt động tương tác của các sinh viên trong khóa học kết hợp
3.1.1.3. Kết quả thực nghiệm
Dự báo kết quả học tập dựa trên số liệu thống kê về các hoạt động tương tác Để dự báo kết quả thi cuối kỳ dựa trên số liệu thống kê các hoạt động tương tác, nghiên cứu lựa chọn sáu tham số thích hợp như trong bảng 3.1 làm các biến độc lập cho mô hình bao gồm: số lượt xem, số lượng bài viết, số lượt xem diễn đàn, số lượng bài đăng trên diễn đàn, số bài tập đã nộp đúng hạn và số bài tập nộp muộn.
Bằng cách sử dụng phương pháp đã trình bày ở chương hai, tiến hành hồi quy tất cả các tập con với sáu biến đã kể ở trên để chọn ra được mô hình tốt nhất với các tham số khác nhau. Kết quả thu được một số mô hình dự đoán kết quả của kỳ thi cuối kỳ như sau:
(1) Tương quan với một nhân tố: kết quả cho thấy mối tương quan giữa điểm thi cuối kỳ với số lượng bài viết, và hệ số tương quan này là 2,015%. Có nghĩa là điểm thi cuối kỳ của sinh viên sẽ tỷ lệ với số lượng bài viết của sinh viên đó, cứ mỗi khi số bài viết tăng 1% thì điểm của sinh viên tăng 2,015%.
(2) Tương quan với hai yếu tố: thể hiện mối tương quan giữa điểm thi cuối kỳ với hai yếu tố là số lượng bài làm và số lượng bài tập nộp đúng hạn. Hệ số tương quan giữa điểm thi cuối kỳ với số lượng bài làm là 2,31 còn với số lượng bài nộp đúng hạn là 2,14.
(3) Tương quan với ba yếu tố: cho thấy có mối tương quan giữ kết quả thi cuối kỳ với ba tham số là số lượng bài viết, số lượt xem diễn đàn và số lượng bài tập nộp đúng hạn.
(4) Tương quan với bốn yếu tố: kết quả cho thấy có mối tương quan giữa kết quả thi cuối kỳ và số lượt xem, số lượng bài viết, số lượt truy cập diễn đàn và số lượng bài tập nộp đúng hạn. Cụ thể, hệ số tương quan của kết quả thi cuối kỳ với số bài nộp đúng hạn, số bài viết, số lần tham gia diễn đàn, số lượt xem lần lượt là 2,65, 2,31, 1,71, 1,32.
Bằng cách sử dụng phương pháp Tiêu chí Thông tin Akaike (AIC) để so sánh kết quả giữa các mô hình, cho thấy mô hình tương quan giữa kết quả thi cuối kỳ với bốn yếu tố đạt giá trị AIC nhỏ nhất là 171,8. Cho nên có thể coi đây là một lựa chọn tối ưu trong trường hợp sử dụng số liệu thống kê về sự tương tác của sinh viên để dự đoán kết quả học tập của sinh viên.
Dự báo kết quả học tập dựa trên kết quả đánh giá quá trình
Với thử nghiệm này, nghiên cứu sẽ đánh giá sự tương quan giữa điểm kiểm tra cuối kỳ với điểm của ba bài kiểm tra trực tuyến mà sinh viên đã làm trong khóa học. Sự tương quan đó được thể hiện trong Hình 3.1.
Hình 3.1 Mối tương quan giữa các bài kiểm tra và bài thi cuối kỳ
Để đánh giá sử hiệu quả của các mô hình, nghiên cứu sử dụng ba hàm là sai số trung bình (MAE), sai số bình phương trung bình (MSE) và hệ số xác định r2. Kết quả cụ thể của các phương pháp này được thể hiện trong Bảng 3.2.
Mô hình MSE MAE R2_loss
Hồi quy tuyến tính 1.076808 0.883435 0.893004
SVR 1.150097 0.932311 1.014602
KNR(k=20) 1.113869 0.912662 0.953646
Bayesian Ridge 1.075545 0.883538 0.890447
Bảng 3.2 Kết quả đánh giá mô hình
Theo đánh giá trực quan khi nhìn vào kết quả từ Bảng 3.2 có thể thấy khi sử dụng mô hình Bayesian Ridge để dự đoán kết quả học tập của sinh viên thì có giá trị sai số MAE là thấp nhất. Cho nên có thể tạm thời cho rằng đây chính là mô hình tốt nhất trong bốn mô hình đã xuất trong chương trước.
Tuy nhiên, khi căn cứ vào đường cong học tập của các mô hình trong Hình 3.2, mô hình Bayesian Ridge tuy có sai số MAE thấp nhất và cho thấy được sự chính xác tốt nhất trong việc dự đoán điểm của sinh viên nhưng đường cong của nó lại cho thấy mô hình này bị overfitting. Tình huống tương tự thế cũng được nhận thấy khi khảo sát với mô hình Hồi quy tuyến tính. Còn mô hình KNR với k = 20 thì nó tương đối hiệu quả khi bộ dữ liệu huấn luyện không nhiều, nhưng khi bộ dữ liệu huấn luyện tăng lên thì độ chính xác của mô hình lại không được cải thiện. Cuối cùng là mô hình SVR thì có độ lệch và phương sai tương đối cân bằng mà không bị overfitting. Đồng thời, độ chính xác của mô hình cũng có xu hướng tăng lên nếu nhiều dữ liệu được thêm vào để huấn luyện.
Hình 3.2 Đường cong học tập của bốn mô hình 3.1.2 Đánh giá
Dựa trên số liệu thống kê được từ các hoạt động tương tác:
Trong giai đoạn học tập trực tuyến, bỏ qua các yếu tố chủ quan như kiến thức nền và trình độ của người học, thì các hoạt động hỗ trợ người học tương tác với hệ thống có ảnh hưởng đến kết quả học tập của mỗi sinh viên. Kết quả thu được từ các mô hình dự báo cũng khẳng định mối quan hệ tương tác giữa người học với nội dung, giữa người học với người học có tác động lớn đến kết quả học tập như các nghiên cứu trước đây đã đề cập đến [25], [26]. Tuy nhiên, việc lựa chọn một mô hình tối ưu để dự đoán kết quả học tập của sinh viên dựa trên các yếu tố này thì vẫn còn là một vấn đề khó khăn đòi hỏi phải có các nghiên cứu sâu hơn do số lượng các hoạt động dùng để thống kê không nhiều trong tập dữ liệu nhỏ. Ngoài ra, dữ liệu thu thập được từ các hoạt động tương tác này hoàn toàn phụ thuộc vào việc chúng có được thực hiện trong khóa học hay không.
Nếu một hoạt động học tập nào đó không nằm trong khóa học, chúng ta không thể sử dụng chúng để làm yếu tố cho mô hình dự đoán.
Dự báo kết quả học tập của sinh viên dựa trên các kết quả đánh giá hình thành trong khoá học:
Để thực hiện được điều này, khoá học cần triển khai cho sinh viên nhiều bài tập để đánh giá định kỳ. Sau khi sinh viên có kết quả cho mỗi bài tập, họ có thể nhận được một giá trị dự báo cho kết quả thi cuối kỳ, làm cơ sở để sinh viên điều chỉnh kế hoạch, phương pháp học tập của mình. Kết quả thu được cho thấy chúng ta nên sử dụng mô hình Bayesian Ridge trong trường hợp dữ liệu không có quá nhiều biến động hoặc sự khác biệt giữa dữ liệu huấn luyện và dữ liệu thực tế là nhỏ vì độ chính xác của nó là cao nhất so với các mô hình khác. Ngoài ra, phương pháp hồi quy vectơ hỗ trợ cũng nên được xem xét vì nếu nó có nhiều dữ liệu hơn để huấn luyện, thì độ chính xác sẽ tăng lên và không cần phải trang bị quá nhiều dữ liệu đào tạo.