Chương 3. Giải quyết bài toán
3.6. Đánh giá mô hình
3.6.2 Đánh giá mô hình với Classification Matrix
63 Nhận xét:
Nhìn vào Hình 3.32 chúng ta thấy mô hình Hồi quy tuyến tính (DiemTest) có Score =1.58, mô hình Cây quyết định có Score = 1.12, mô hình Mạng nơ-ron có Score = 1.52. Giá trị Score càng lớn chứng tỏ mô hình ấy có hiệu quả tốt hơn.
Như vậy chúng ta sẽ sử dụng mô hình Hồi quy tuyến tính (DiemTest) để xây dựng ứng dụng đối với bài toán 2.
64
Hình 3.37 thể hiện kết quả đánh giá với Classifications Matrix của 4 mô hình được đề xuất với bài toán 1.
Hình 3.37: Đánh giá 3 mô hình với Classifications Matrix Nhìn vào Hình 3.37 chúng ta có thế thấy:
- Mô hình Cây quyết định (CayQD) có: độ chính xác (0.73), độ lỗi (0.27).
- Mô hình Luật kết hợp (KetHop) có: độ chính xác (0.63), độ lỗi (0.37).
- Mô hình Mạng nơ-ron (Neural) có: độ chính xác (0.65), độ lỗi (0.35).
- Mô hình Naïve Bayes (Naïve) có: độ chính xác (0.67), độ lỗi (0.33).
Nhận xét:
Dựa vào kết quả nêu trên chúng ta thấy mô hình Cây quyết định (CayQD) có độ chính xác là cao nhất (0.73) và độ lỗi (0.27) là thấp nhất. Tuy nhiên nhìn vào bảng Classifications Matrix thực tế ta thấy Cây Quyết định chỉ dự đoán đúng kết quả là K = Khá, còn với các trường hợp dự đoán kết quả là G = Giỏi, TB = Trung bình là không chính xác.
3.7. Xây dựng ứng dụng hỗ trợ tư vấn học tập
Với đánh giá mô hình ở mục 3.6, mô hình Luật kết hợp cho kết quả dự đoán
65
bài toán 1 và mô hình Hồi quy cho kết quả dự đoán bài toán 2 sẽ được lựa chọn để xây dựng hệ thống tư vấn học tập.
Hệ thống được xây dựng bằng ngôn ngữ Visual C#.NET với hệ quản trị
CSDL MS SQL Server 2012 trên nền Windows Forms. Do yêu cầu bảo mật thông tin của ngành nên xây dựng trên nền Web có khả năng lộ lọt thông tin nên hệ thống chỉ triển khai trên nền Windows Forms.
Hệ thống được triển khai sẽ hỗ trợ tốt cho các học viên lựa chọn lên kế hoạch phù hợp để đạt được kết quả học tập cao nhất. Bên cạnh đó, hệ thống sẽ hỗ trợ cán bộ quản lý giáo dục trong việc định hướng cho học viên cũng như lựa chọn các học phần thích hợp nhằm nâng cao chất lượng đào tạo.
Sơ đồ hoạt động của hệ thống:
Hình 3.38: Sơ đồ hoạt động hệ thống Hình 3.39 là giao diện chính của hệ thống:
Begin
Đọc dữ liệu nhập vào
- Duyệt toàn bộ các thông tin của học viên tương ứng với mã học viên nhập vào.
- Kết hợp dữ liệu nhập vào với dữ toàn bộ học viên
Kết nối đến Analysis Services
Kết nối thành công
Thực thi lệnh truy vấn DMX dự đoán kết quả học với thông tin của học viên
Hiển thị kết quả dự đoán
Đóng kết nối
End
Thông báo lỗi
66
Hình 3.39: Giao diện chính của hệ thống
Đối với bài toán 1: dự đoán kết quả điểm trung bình kỳ sau cho học viên dựa vào thông tin nhân khẩu học và điểm trung bình tích lũy kỳ trước, chúng ta cùng xem xét ví dụ 1 và ví dụ 2 sau đây:
Ví dụ 1: Sử dụng hệ thống để đưa ra kết quả tư vấn kết học tập kỳ 2 cho một học viên với các giá trị thuộc tính đầu vào như sau:
- Giới tính: True (Nam giới)
- Mã ngành: 1 (Trinh sát anh ninh) - Điểm thi: 21.5
- Điểm TB kỳ trước: TB - Đối tượng: HSPT - Dân tộc: Kinh
Hình 3.40 thể hiện kết quả:
67
Hình 3.40: Kết quả Ví dụ 1
Ví dụ 2: Sử dụng hệ thống để đưa ra kết quả tư vấn kết học tập kỳ sau cho một học viên với các giá trị thuộc tính đầu vào như sau:
- Giới tính: False (Nữ giới)
- Mã ngành: 1 (Trinh sát anh ninh) - Điểm thi: 22.5
- Điểm TB kỳ trước: TB - Đối tượng: HSPT - Dân tộc: Mông
Hình 3.41 thể hiện kết quả:
Hình 3.41: Kết quả Ví dụ 2
68 Nhận xét kết quả:
Với cùng một mô hình dư đoán Luật kết hợp, trong Ví dụ 1 và Ví dụ 2 hai học viên có các thuộc tính đầu vào như nhau, nhưng chỉ khác nhau về giới tính, dân tộc, điểm thi cho ra kết quả tương đối giống nhau, chỉ khác về xác suất dự
đoán.
Đối với bài toán dự đoán một môn học sẽ học trong kỳ tới, chúng ta cùng xem xét ví dụ 3 sau:
Ví dụ 3: Nhập dữ liệu mã học viên: 403 và 404 ta được danh sách liệt kê kết quả học tập hiên tại của học viên có mã là 403 và 404. Tiến hành dự đoán môn học 61 của hai học viên mã 403 và 404 kỳ tới.
Hình 3.42: Kết quả ví dụ 3
69 Nhận xét kết quả:
Với đầu vào là danh sách điểm các môn đã học của học viên 403 và 404 chúng ta dự đoán được điểm môn 61 nếu học trong kỳ tới của học viên 403 là:
3.01 với xác suất là 99.22 và của học viên 404 là: 3.11 với xác suất là 99.22. Từ kết quả trên, chúng ta hoàn toàn có thể dư đoán thêm nhiều môn khác mà học viên có thể học trong kỳ tới. Học viên có thể chọn môn học có số điểm cao hơn với xác suất cao để học trong kỳ tới.
3.8. Kết luận chương 3
Chương 3 trình bày 2 bài toán đã đề xuất việc tổng hợp và xử lý dữ liệu của các học viên đã ra trường, xây dựng CSDL cho hệ thống tư vấn học tập. Xây dựng các mô hình tư vấn học tập với các thuật toán đã đề xuất là hồi quy tuyến tính, luật kết hợp, cây quyết định, mạng nơ ron nhân tạo và Naive Bayes. Đánh giá mức độ chính xác của các mô hình cho thấy mô hình Luật kết hợp cho kết quả tốt nhất với bài toán 1, và mô hình Hồi quy tuyến tính cho kết quả tốt nhất với bài toán 2.
Đề xuất ứng dụng hỗ trợ tư vấn kết quả học tập dựa trên hai mô hình Luật kết hợp cho bài toán 1 và mô hình Hồi quy tuyến tính cho bài toán 2.
70 KẾT LUẬN
Từ việc nghiên cứu những yêu cầu cấp thiết đặt ra trong công tác quản lý vào đào tạo của trường Cao đẳng An ninh nhân dân I, luận văn đã đạt được một số kết quả chính sau đây:
- Nghiên cứu một số kỹ thuật KPDL nhằm xây dựng mô hình phân tích dữ liệu nhân khẩu và điểm của học viên để dự báo, gợi ý việc lựa chọn môn học theo lịch sử học tập của từng học viên.
- Xây dựng ứng dụng dự báo kết quả học tập của học viên sử dụng MS SQL Server và đã cho kết quả bước đầu chứng minh được tính khả thi của phương pháp tiếp cận.
HƯỚNG PHÁT TRIỂN
Trong thời gian tới em sẽ tiếp tục cập nhật mô hình với dữ liệu của các khóa mới ra trường để kết quả dự đoán được cải thiện hơn. Hoàn thiện tối đa nhất hệ thống tư vấn, với đầy đủ các chức năng, tối ưu hóa người dùng.
Trong quá trình thực hiện luận văn chắc chắn không thể tránh khỏi những thiếu sót. Em rất mong nhận được những góp ý từ các thầy, các cô và các bạn đọc để luận văn được hoàn thiện hơn. Xin chân thành cảm ơn!
71
TÀI LIỆU THAM KHẢO Tiếng Việt
[1] Phan Xuân Hiếu (2013), Bài giảng môn học KPDL và kho dữ liệu, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội.
[2] Huỳnh Lý Thanh Nhàn, Nguyễn Thái Nghe (2013), Hệ thống dự đoán kết quả học tập và gợi ý lựa chọn môn học, Hội thảo quốc gia lần thứ XVI: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông- Đà Nẵng.
[3] Hà Quang Thụy (2010), Bài giảng môn học Kho dữ liệu và KPDL, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội.
[4] Đỗ Thanh Tùng (2010), Xây dựng hệ thống dự báo phụ tải điện sử dụng mạng Nơron nhân tạo, Trường Đại học dân lập Hải Phòng.
Tiếng Anh
[5] Gray, G., C. McGuinness, P. Owende. An Application of Classification Models to Predict Learner Progression in Tertiary Education. – In: Advance IEEE International Computing Conference (IACC’14), 2014, pp. 549-554.
[6] Gregory E Cooper , Edward Herskovit (1992), A Bayesian Method for the Induction of Probabilistic Networks from Data. Machine Learning, 9, pp. 309- 347.
[7] Jiawei Han and Micheline Kamber (2006), Data Mining Concepts and Techniques, Second Edition. Published by Elsevier Inc.
[8] Brian Knight, Devin Knight, Adam Jorgensen, Patrick LeBlanc, Mike Davis (2010), Knight's Microsoft Business Intelligence 24-Hour Trainer.
Published by Wiley Publishing, Inc.
[9] Jamie MacLennan, ZhaoHui Tang, Bogdan Crivat (2008), Data Mining with Microsoft SQL Server 2008. Published by Wiley Publishing, Inc., Indianapolis, Indiana.
[10] Tran, Thi Oanh and Dang, Hai Trieu and Dinh, Viet Thuong and Truong, Thi Minh Ngoc and Vuong, Thi Phuong Thao and Phan, Xuan Hieu (2017), Performance Prediction for Students: A Multi-Strategy Approach.
Cybernetics and Information Technologies, 17 (2). pp. 164-182. ISSN 1314-4081