Chương 3. Giải quyết bài toán
3.6. Đánh giá mô hình
3.6.1 Đánh giá mô hình với Lift Chart
Đối với đánh giá mô hình dự báo với Lift Chart chúng ta có hai loại: Lift Chart trong đó có xác định giá trị của thuộc tính dự đoán và Lift Chart cho tất cả các trường hợp của thuộc tính dự đoán.
Lift Chart có xác định giá trị cụ thể của thuộc tính dự báo:
Đối với bài toán 1, trong mô hình tư vấn học tập thì thuộc tính ĐTBKY2 sẽ nhận một trong 5 giá trị là Xuất sắc (XS), Giỏi (G), Khá (K), Trung Bình (TB) hoặc Yếu (Y). Để đánh giá mô hình dự báo kết quả học viên có thể đạt là “Khá”
chúng ta sẽ nhập giá trị vào ô Predict Value = K. Sau đó cho chọn thẻ Lift Chart như Hình 3.30.
Hình 3.30: Lựa chọn Lift Chart với thuộc tính dự báo xác định
58
Hình 3.31 dưới đây là Lift Chart dự báo kết quả học tập với thuộc tính dự
báo xác định là Khá (K) của 04 mô hình đã đề xuất:
Hình 3.31: Kết quả Lift Chart với ĐTBKY2 = “K” cho 04 mô hình
Trong Lift Chart, trục X biểu diễn phần trăm của test dataset sử dụng để so sánh với kết quả dự đoán, trục Y biểu diễn phần trăm của giá trị dự đoán.
Trong Hình 3.31 ta có:
- Đường CayQD: là đường biểu diễn khả năng dự đoán ĐTBKY2 = “K”
của mô hình Cây quyết định.
- Đường KetHop: là đường biểu diễn khả năng dự đoán ĐTBKY2 = “K”
của mô hình Luật kết hợp.
- Đường Neural: là đường biểu diễn khả năng dự đoán ĐTBKY2 = “K” của mô hình Luật kết hợp.
- Đường Naïve: là đường biểu diễn khả năng dự đoán ĐTBKY2 = “K” của
59 mô hình Naïve Bayes.
- Đường Random Guess Model: là đường biểu diễn kết quả của việc chọn ngẫu nhiên (không cần mô hình).
- Đường Ideal Model: là đường biểu diễn mô hình lý tưởng (dự đoán chính xác mọi trường hợp).
- Mining Legend: giúp chúng ta có thể xem các giá trị tại bất cứ điểm nào trên đồ thị bằng cách di chuyển thanh trượt dọc (Gray line).
Trong Hình 3.31 gray line được đặt ở vị trí 60%, khi đó Mining Legend có các giá trị như Bảng 3.3 sau:
Bảng 3.3: Bảng giá trị Mining Legend Series, Model Score Target
population
Predict probability
CayQD 0.85 67.06% 75.55%
KetHop 0.80 63.53% 75.28%
Neural 0.81 62.35% 67.86%
Naive 0.80 61.18% 72.55%
Random Guess Model 60.00%
Ideal Model for: CayQD, KetHop,
Neural, Navie 81.18%
Từ kết quả trên chúng ta thấy:
- Mô hình Cây quyết định có tính hiệu quả là Score = 0.85, với 60% tổng số học viên trong database, mô hình CayQD có thể dự đoán chính xác 67.06%
kết quả ĐTBKY2 = K, kết quả dự đoán có giá trị ít nhất là 75.55% mới đủ tin cậy.
- Mô hình Luật kết hợp có tính hiệu quả là Score = 0.80, với 60% tổng số học viên trong database, mô hình KetHop có thể dự đoán chính xác 63.53% kết quả ĐTBKY2 = K, kết quả dự đoán có giá trị ít nhất là 75.28% mới đủ tin cậy.
- Mô hình Mạng nơ-ron có tính hiệu quả là Score = 0.81, với 60% tổng số học viên trong database, mô hình Neural có thể dự đoán chính xác 62.35% kết quả ĐTBKY2 = K, kết quả dự đoán có giá trị ít nhất là 67.86% mới đủ tin cậy.
- Mô hình Naïve Bayes có tính hiệu quả là Score = 0.80, với 60% tổng số học viên trong database, mô hình Naive có thể dự đoán chính xác 61.18% kết quả
60
ĐTBKY2 = K, kết quả dự đoán có giá trị ít nhất là 72.55% mới đủ tin cậy.
Lift Chart cho tất cả các trường hợp của thuộc tính dự đoán:
Với Lift Chart cho tất cả các trường hợp của thuộc tính dự đoán Để đánh giá mô hình dự báo kết quả học viên chúng ta sẽ để trống ô Predict Value như Hình 3.32.
Hình 3.32: Lift Chart cho tất cả các trường hợp của thuộc tính dự đoán Hình 3.33 là kết quả Lift Chart cho tất cả các trường hợp của thuộc tính dự
đoán với 04 mô hình đã đề xuất:
Hình 3.33: Biểu đồ Lift Chart tất cả trường hợp của thuộc tính dự đoán Biểu đồ này mô tả khả năng dự đoán của các mô hình đối với tất cả các trường hợp xếp loại điểm trung bình kỳ 2 (ĐTBKY2) của học viên. Trong đó trục
61
X biểu thị giá trị của thuộc tính dự đoán (là phần trăm Test Data set), trục Y bây biểu thị phần trăm của dự đoán chính xác.
Tương tự như Lift Chart có giá trị của thuộc tính dự đoán. Trong Hình 3.33 chúng ta thấy được mô hình Cây quyết định có tính hiệu quả cao nhất với Score
= 0.79, tiếp theo là mô hình Mạng nơ-ron với Score = 0.73, mô hình Naïve Bayes với Score = 0.67 và cuối cùng là mô hình Luật kết hợp với Score = 0.58
Nhận xét:
Qua kết quả trên, đối với bài toán 1 chúng ta thấy mô hình Cây quyết định (CayQD) cho kết quả tốt nhất với tính hiệu quả với cả hai loại Lift Chart trong đó có xác định giá trị của thuộc tính dự đoán và Lift Chart cho tất cả các trường hợp của thuộc tính dự đoán.
Tuy nhiên khi sử dụng Dependency Network (Mạng phụ thuộc) để xem các thuộc tính ảnh hưởng tới kết quả dự đoán: với mô hình CayQD kết quả dự đoán chỉ phụ thuộc vào 2 thuộc tính Gioitinh (nhận giá trị True/False) và Tennganh (nhận giá trị Trinh sát An ninh/ Trinh sát Ngoại tuyến) không mang giá trị ý nghĩa cao cho dự đoán.(Xem hình 3.34)
Hình 3.34: Mạng phụ thuộc mô hình CayQĐ
Trong khi đó với mô hình Luật kết hợp (KetHop) với Dependency Network (Mạng phụ thuộc) chúng ta thấy được các mối liên hệ giữa các thuộc tính ảnh hưởng rất lớn tới kết quả dự đoán, có giá trị thực tế trong việc dự đoán kết quả.(Xem hình 3.35)
62
Hình 3.35: Mạng phụ thuộc mô hình CayQĐ
Vì vậy mô hình KetHop sẽ được lựa chọn để xây dựng ứng dụng.
Đối với bài toán 2, dự đoán một môn học trong kỳ sắp tới của học viên.
Chúng ta sử dụng 3 mô hình thử nghiệm là: Hồi quy tuyến tính (DiemTest), Cây quyết định (CayQD), Mạng nơ-ron (Noron). Do dữ liệu đầu vào có thuộc tính liên tục nên chỉ hỗ trợ đánh giá Lift Chart cho tất cả các trường hợp của thuộc tính dự
đoán và không hỗ trợ đánh giá với Classification Matrix. Vì vậy bài toán 2 chỉ sử dụng đánh giá các mô hình với Lift Chart.
Hình 3.36 là biểu đồ phân tán (Scatter Plot) biểu thị các giá trị thực tế so với các giá trị được dự đoán bởi 3 mô hình được đề xuất đối với bài toán 2. Trong đó trục X hiển thị các giá trị thực tế và trục Y hiển thị các giá trị dự đoán. Đường dự đoán lý tưởng (Ideal Prediction) là một đường góc 45o, khoảng cách một điểm so với đường lý tưởng này cho biết dự đoán được thực hiện tốt hay kém.
Hình 3.36: Biểu đồ phân tán đánh giá 3 mô hình
63 Nhận xét:
Nhìn vào Hình 3.32 chúng ta thấy mô hình Hồi quy tuyến tính (DiemTest) có Score =1.58, mô hình Cây quyết định có Score = 1.12, mô hình Mạng nơ-ron có Score = 1.52. Giá trị Score càng lớn chứng tỏ mô hình ấy có hiệu quả tốt hơn.
Như vậy chúng ta sẽ sử dụng mô hình Hồi quy tuyến tính (DiemTest) để xây dựng ứng dụng đối với bài toán 2.