ỨNG DỤNG MÔ HÌNH RASCH VÀ PHẦN MỀM QUEST ĐỂ ĐO LƯỜNG VÀ ĐÁNH GIÁ CHẤT LƯỢNG CỦA MỘT ĐỀ THI
TRẮC NGHIỆM KHÁCH QUAN
ThS. Nguyễn Văn Cảnh1 ThS. Nguyễn Quốc Tuấn2 Trường Đại học Đồng Tháp Tóm tắt: Bài viết này, trình bày cách ứng dụng mô hình Rasch và phần mềm Quest để đánh giá chất lượng của một đề thi trắc nghiệm khách quan. Một cách cụ thể, hai vấn đề liên quan đến chất lượng một đề thi đã được làm rõ, gồm: (1) sự phân bố giữa năng lực của thí sinh và độ khó của câu hỏi, và (2) độ phân biệt và chất lượng của các phương án nhiễu trong từng câu hỏi trong đề thi
Từ khóa: đo lường, đánh giá, trắc nghiệm khách quan, Rasch, Quest
1. Mở đầu
Trong những năm gần đây, trắc nghiệm khách quan đang dần trở thành một trong những hình thức kiểm tra đánh giá phổ biến trong giáo dục Việt Nam. Điều này được thể qua việc Bộ Giáo dục và Đào tạo đã sử dụng hình thức đánh giá này với hầu hết các môn thi trong kỳ thi Trung học phổ thông Quốc gia. Bên cạnh đó, các trường đại học cũng đang sử dụng trắc nghiệm khách quan để đánh giá kết quả học tập của sinh viên, đặc biệt là các học phần đại cương có nhiều sinh viên đăng ký tham gia học tập.
Mặc dù vẫn có những hạn chế nhất định, hình thức này vẫn có nhiều ưu điểm trong đo lường, đánh giá kết quả học tập. Một trong những ưu điểm nổi bật của hình thức đánh giá này là đảm bảo tính khách quan và tiện lợi trong quá trình chấm bài thi. Tuy nhiên để đảm bảo đề thi chính xác và có khả năng đo lường được đúng năng lực của thí sinh, cần thiết phải có công cụ để đánh giá chất lượng đề thi, làm cơ sở để điều chỉnh và cải tiến chất lượng. Ở Việt Nam, thời gian gần đây đã có một số nghiên cứu về việc đánh giá đề thi trắc nghiệm khách quan, tiêu biểu phải kể đến các nghiên cứu của các tác giả Nguyễn Thị Hồng Minh và Nguyễn Đức Thiện (2006), Đoàn Hồng Chương và các cộng sự (2016); Lê Anh Vũ và các cộng sự (2017), Bùi Anh Kiệt và Bùi Nguyên Phương (2018). Trong phạm vi bài viết này, chúng tôi trình bày cách đánh giá một đề thi trắc nghiệm khách quan thông qua việc sử dụng phần mềm Quest.
1 Email: [email protected]
2 Email: [email protected]
2. Nội dung nghiên cứu
2.1. Giới thiệu về mô hình Rasch
Rasch (1960) cho rằng việc phân tích trong đo lường và đánh giá đề thi trắc nghiệm khách quan chỉ có ý nghĩa khi dựa vào từng cá nhân thí sinh, trong đó, các thuộc tính của thí sinh và của các câu hỏi được tách riêng. Trên cơ sở đó, ông đã giới thiệu một mô hình gọi là mô hình Rasch, mô hình này dựa trên giả thuyết cơ bản như sau:
“Nếu một người có năng lực cao hơn người khác thì xác suất trả lời đúng một câu hỏi bất kì phải lớn hơn xác suất tương ứng của người kia; tương tự như vậy, nếu một câu hỏi khó hơn câu hỏi khác thì xác suất để một người bất kì trả lời đúng câu hỏi đó phải nhỏ hơn xác suất để người đó trả lời đúng câu hỏi kia” (Rasch, 1960:
117).
Trên quan điểm đó, Rasch đã xây dựng một mô hình toán học cho sự ứng đáp câu hỏi của mỗi thí sinh. Công thức của mô hình có dạng như sau:
( 1/ , )
1
i j
i j
b
ij i j b
P X b e
e
θ
θ
−θ−= =
+
Trong đó: θi là năng lực của thí sinh thứ i, bj là độ khó của câu hỏi thứ j, và Xij là trả lời của thí sinh thứ i đối với câu hỏi thứ j. Xij =1 nếu thí sinh trả lời đúng câu hỏi và Xij =0 khi thí sinh trả lời sai. Đồ thị của hàm số trong công thức trên theo biến θiđược gọi là đường cong đặc trưng của câu hỏi và có dạng như Hình 1.
Hình 1. Đường cong đặc trưng của câu hỏi trong mô hình Rasch
Đường cong đặc trưng của câu hỏi có độ dốc hướng lên biểu thị cho xác suất trả lời đúng câu hỏi của thí sinh tỉ lệ thuận với năng lực của thí sinh đó. Xác suất này sẽ tiến dần về 1 khi năng lực của thí sinh tiến đến dương vô cùng. Trong mô hình Rasch, nếu năng lực θi của thí sinh bằng với độ khó câu hỏi bj thì khả năng trả lời đúng câu hỏi của thí sinh đó là 50%. Mức năng lực này được gọi là ngưỡng của câu hỏi. Như vậy, độ khó của mỗi câu hỏi chính là ngưỡng mà với năng lực đó, khả năng trả lời đúng câu hỏi của thí sinh là 50%. Baker (2001: 11) cho rằng điểm nổi bật của mô hình Rasch là nó mô tả được mối liên hệ giữa năng lực của mỗi thí sinh đối với các tham số đặc
trưng của các câu hỏi thông qua sự ứng đáp của mỗi thí sinh khi trả lời các câu hỏi trong đề thi.
2.2. Giới thiệu về đề thi và kết quả thi
Tiếng Anh 1 là học phần ngoại ngữ bắt buộc được tổ chức dạy học cho sinh viên các ngành đào tạo không chuyên tiếng Anh tại Trường Đại học Đồng Tháp. Kết quả phân tích trong bài viết này được lấy từ kết quả thi học phần Tiếng Anh 1 trong kỳ thi kết thúc học phần học kỳ 1, năm học 2018-2019 tại trường. Đề thi gồm 50 câu hỏi trắc nghiệm khách quan, mỗi câu hỏi đều có 04 phương án trả lời trong đó có 01 phương án đúng và 03 phương án nhiễu. Đề thi được trộn thành 04 mã đề với tổng cộng 876 sinh viên dự thi. Bài viết này chỉ phân tích kết quả của những sinh viên dự thi mã đề 140 với tổng cộng 222 sinh viên. Mỗi câu hỏi sinh viên trả lời đúng sẽ được 0.2 điểm.
Kết quả thi của 222 sinh viên được thống kê trong Bảng 1.
Bảng 1. Thống kê kết quả thi học phần Tiếng Anh 1 – Mã đề 140
Điểm Số lượng Tỷ lệ % Ghi chú
Điểm F (< 4.0) 20 9.0 Không đạt
Điểm D (từ 4.0 đến 5.4) 43 19.3 Đạt
Điểm C (từ 5.5 đến 6.9) 53 23.9 Đạt
Điểm B (từ 7.0 đến 8.4) 77 34.7 Đạt
Điểm A (từ 8.5 đến 10) 29 13.1 Đạt
Tổng cộng 222 100.0
Kết quả thống kê cho thấy, đề thi trên có 91% sinh viên đạt từ 4.0 trở lên (điểm Đạt theo quy định đào tạo theo hệ thống tín chỉ) và 9% sinh viên có điểm dưới 4 (điểm không Đạt). Điều này cho thấy đây là một đề thi khá dễ.
2.3. Sử dụng phần mềm Quest đánh giá đề thi trắc nghiệm khách quan 2.3.1. Mức độ phù hợp của các câu hỏi trong đề thi
Mức độ phù hợp của các câu hỏi trong đề thi với mô hình Rasch được xác định dựa vào giá trị INFIT MNSQ (trung bình bình phương độ phù hợp). Các câu hỏi có giá trị INFIT MNSQ đạt từ 0.77 đến 1.30 là phù hợp với mô hình Rasch, những câu hỏi có giá trị INFIT MNSQ ngoài khoảng trên là không phù hợp với mô hình và cần phải loại bỏ.
Mức độ phù hợp của các câu hỏi trong đề thi này được thể hiện Hình 2.
Hình 2. Biểu đồ sự phù hợp của các câu trắc nghiệm với mô hình Rasch
Kết quả thống kê trong biểu đồ trên cho thấy cả 50 câu hỏi đều có giá trị INFIT MNSQ nằm trong khoảng từ 0.77 đến 1.30. Điều này cho thấy cả 50 câu hỏi trong đề thi đều phù hợp với mô hình Rasch, do đó không cần phải loại bỏ câu hỏi nào ra khỏi mô hình để tiến hành các phân tích tiếp theo.
2.3.2. Phân bố độ khó của câu hỏi và năng lực của thí sinh
Độ khó của câu hỏi đặc trưng cho khả năng trả lời đúng câu hỏi của thí sinh. Câu hỏi có độ khó càng cao thì xác suất trả lời đúng câu hỏi của thí sinh càng thấp. Theo Baker (2001: 11), độ khó của câu hỏi theo thang đo logarit được chia thành 05 mức. Cụ thể, câu hỏi ở mức rất dễnếu giá trị độ khó nhỏ hơn −2,0; câu hỏi ở mức dễnếu giá trị độ khó thuộc khoảng [−2,0; −0,5); câu hỏi ở mức trung bình nếu giá trị độ khó thuộc khoảng [−0,5; 0,5), câu hỏi ở mức khó nếu giá trị độ khó thuộc khoảng [0,5; 2.0), câu hỏi ở mức rất khó nếu độ khó của câu hỏi đạt từ 2.0 trở lên. Độ khó chi tiết của các câu hỏi trong đề thi này được thể hiện qua Bảng 2.
Bảng 2. Thống kê độ khó của các câu hỏi trong đề thi
Độ khó của câu hỏi Số lượng câu hỏi Tỷ lệ %
Rất dễ 0 0.0
Dễ 14 28.0
Trung bình 22 44.0
Khó 13 26.0
Rất khó 1 2.0
Tổng cộng 50 100.0
Ngoài ra, kết quả phân tích bằng phần mềm Quest cho thấy năng lực trung bình của sinh viên dự thi là 0.89, độ lệch chuẩn 1.03; đồng thời độ khó trung bình của câu hỏi trong đề thi bằng 0.00, độ lệch chuẩn 0.95. Điều này có nghĩa, năng lực trung bình của sinh viên dự thi cao hơn so với độ khó trung bình của các câu hỏi trong đề thi. Như vậy, đề thi này khá dễ so với các sinh viên dự thi.
Việc phân bố độ khó của câu hỏi và năng lực của thí sinh sẽ cho thấy mức độ phù hợp của đề thi đối với những thí sinh dự thi. Một đề thi có chất lượng tốt khi các câu hỏi trong đề thi có độ khó tương ứng với năng lực của thí sinh, kể cả những thí sinh có năng lực thấp và những thí sinh có năng lực cao. Những câu hỏi có độ khó vượt quá khả năng hoặc quá thấp so với năng lực của thí sinh cần phải được điều chỉnh lại hoặc loại bỏ.
Kết quả phân bố độ khó của câu hỏi trong đề thi này và năng lực của sinh viên dự thi được thể hiện qua Hình 3.
Hình 3. Biểu đồ phân bố độ khó của câu hỏi và năng lực của thí sinh
Kết quả tính toán bằng phần mềm Quest đã cho thấy năng lực của thí sinh theo thang đo logarit đạt giá trị trong đoạn [−1,24; 4,33]. Bên cạnh đó, độ khó của câu hỏi đạt giá trị trong đoạn [−1,81; 2,44]. Câu hỏi khó nhất trong đề thi là câu 21 với độ khó đạt 2,44 và dễ nhất là câu 20 với độ khó đạt giá trị −1,81. Mặc dù câu 21 là câu hỏi khó nhất trong đề thi nhưng lại không tương ứng với năng lực của thí sinh nào, đồng thời độ khó của câu hỏi này vẫn còn thấp hơn năng lực của một số thí sinh (15 sinh viên).
Điều này cho thấy, đề thi vẫn còn thiếu những câu hỏi khó có thể đánh giá được những thí sinh có năng lực cao. Bên cạnh đó, các câu hỏi số 18, 20, 25, 32 và 48 đều có độ khó thấp hơn năng lực tất cả thí sinh. Như vậy, trong 50 câu hỏi của đề thi, chỉ có 45 câu hỏi có khả năng đo lường được năng lực của các thí sinh, còn lại 05 câu hỏi không có khả năng đo lường năng lực của thí sinh, những câu hỏi này cần phải được điều chỉnh hoặc loại bỏ.
2.3.3. Độ phân biệt của câu hỏi trắc nghiệm khách quan
Độ phân biệt (Disc) của câu hỏi thể hiện khả năng phân loại những thí sinh có năng lực cao và những thí sinh có năng lực thấp trong việc trả lời câu hỏi. Một câu hỏi có độ phân biệt tốt khi trả lời câu hỏi đó, nhóm thí sinh có năng lực cao có tỷ lệ trả lời đúng cao hơn nhóm thí sinh có năng lực thấp. Câu hỏi quá khó hoặc quá dễ sẽ không thể có độ phân biệt tốt. Những câu hỏi quá khó thì việc trả lời đúng có thể do đoán mò, không phụ thuộc vào năng lực của thí sinh. Ngược lại, những câu hỏi quá dễ sẽ không phân loại được thí sinh, vì những thí sinh có năng lực cao và năng lực thấp đều có thể trả lời đúng câu hỏi như nhau. Câu hỏi có độ phân biệt càng lớn thì sự chênh lệch về xác suất trả lời đúng của thí sinh có năng lực cao và nhóm thí sinh có năng lực thấp càng lớn.
Hay nói cách khác, những câu hỏi có độ phân biệt lớn thì có ý nghĩa tốt hơn trong việc phân loại thí sinh. Những câu hỏi có độ phân biệt nhỏ hơn hoặc bằng 0 cần bị loại bỏ.
Theo Ebel (1965), các câu hỏi của bài thi nên có độ phân biệt đạt từ 0,3 trở lên. Theo kết quả thống kê bằng phần mềm Quest, độ phân biệt của 50 câu hỏi trong đề thi đạt từ 0.21 đến 0.56. Như vậy, trong đề thi có 08 câu hỏi có độ phân biệt không đạt yêu cầu, gồm: Câu 2 (Disc=0.24), Câu 9 (Disc=0.29), Câu 12 (Disc=0.28), Câu 19 (Disc=0.21), Câu 21 (Disc=0.29), Câu 32 (Disc=0.25), Câu 33 (Disc=0.24), và Câu 39 (Disc=0.21).
Đây là những câu hỏi cần phải được điều chỉnh hoặc loại bỏ ra khỏi đề thi. Còn lại 42 câu hỏi có độ phân biệt từ 0.30 đến 0.56, đây là những câu hỏi có độ phân biệt tốt cần được sử dụng trong đề thi.
2.3.4. Chất lượng của các phương án trả lời
Một câu hỏi trắc nghiệm khách quan có chất lượng khi các phương án trả lời có sự phân biệt giữa nhóm thí sinh có năng lực cao và nhóm thí sinh có năng lực thấp. Cụ thể, nhóm thí sinh có năng cao phải có tỷ lệ chọn phương án đúng cao hơn, đồng thời có tỷ lệ chọn các phương án nhiễu thấp hơn đối với nhóm thí sinh có năng lực thấp.
Giá trị p-value trong kết quả xử lý của phần mềm Quest sẽ giúp xác định sự phân biệt này. Cụ thể, các phương án có giá trị p-value < 0.05 sẽ có giá trị phân biệt giữa nhóm thí sinh có năng lực cao và nhóm thí sinh có năng lực thấp. Những phương án có p-
value đạt từ 0.05 trở lên sẽ không có sự phân biệt trong việc lựa chọn phương án đó.
Kết quả thống kê bằng phần mềm Quest đã chỉ ra trong 50 câu hỏi của đề thi có 22 câu hỏi có chất lượng các phương án nhiễu tốt, có ý nghĩa phân biệt giữa nhóm thí sinh có năng lực cao và nhóm thí sinh có năng lực thấp (giá trị p-value nhỏ hơn 0.05). Ngoài ra, có 28 câu hỏi có phương án nhiễu kém chất lượng (giá trị p-value đạt từ 0.05 trở lên). Đây là những câu hỏi có phương án nhiễu chưa có ý nghĩa phân biệt giữa những thí sinh có năng lực cao và những thí sinh có năng lực thấp.
Các câu hỏi có phương án nhiễu kém chất lượng được thể hiện trong Bảng 3. Bảng 3. Thống kê những câu hỏi có các phương án nhiễu kém chất lượng
Câu hỏi p-value Câu hỏi p-value
A B C D A B C D
Câu 2 0.003 0.046 0.000 0.067 Câu 22 0.034 0.000 0.086 0.000 Câu 4 0.000 0.000 0.000 0.188 Câu 29 0.000 0.000 0.000 0.369 Câu 5 0.000 0.000 0.074 0.006 Câu 30 0.006 0.000 0.000 NA Câu 6 0.000 0.000 0.050 0.000 Câu 31 0.278 0.001 0.000 0.009 Câu 10 0.053 0.000 0.000 0.139 Câu 32 0.006 0.002 0.000 0.206 Câu 11 0.002 0.000 0.079 0.000 Câu 33 0.203 0.000 0.019 0.005 Câu 12 0.000 0.000 0.061 0.129 Câu 35 0.000 0.000 0.003 0.050 Câu 13 0.000 0.138 0.000 0.115 Câu 36 0.000 0.000 0.000 0.098 Câu 15 0.000 0.000 0.129 0.001 Câu 37 0.129 0.001 0.001 0.000 Câu 16 0.094 0.000 0.000 0.214 Câu 39 0.001 0.005 0.239 0.007 Câu 17 0.169 0.000 0.000 0.064 Câu 40 0.131 0.000 0.019 0.000 Câu 18 0.212 0.000 0.000 0.000 Câu 42 0.000 0.019 0.000 0.126 Câu 19 0.001 0.012 0.025 0.452 Câu 44 0.472 0.000 0.000 0.000 Câu 21 0.017 0.000 0.456 0.055 Câu 50 0.127 0.000 0.096 0.000 Trong các câu hỏi có phương án nhiễu kém chất lượng, có một số câu hỏi có đến 02 phương án nhiễu có giá trị p-value đạt từ 0.05 trở lên, gồm: Câu 10 (phương án A, D), Câu 12 (phương án C, D), Câu 13 (phương án B, D), Câu 16 (phương án A, D), Câu 17 (phương án A, D), Câu 21 (phương án C, D), và Câu 50 (phương án A, C). Ngoài ra, Câu 30 trong đề thi có phương án nhiễu D không có thí sinh lựa chọn, kể cả những thí sinh có năng lực cao và những thí sinh có năng lực thấp. Điều này cho thấy, đây là phương án nhiễu sai lộ liễu nên đã không thu hút được thí sinh nào. Chất lượng của Câu 30 được thể hiện qua Bảng 4.
Bảng 4. Chất lượng các phương án nhiễu của câu hỏi 30 trong đề thi
Kết quả thống kê trong Bảng 4cho thấy Câu 30 là một câu hỏi có độ khó ở mức trung bình (giá trị độ khó theo thang đo logarit bằng 0.00), có độ phân biệt cổ điển ở mức chấp nhận được (Disc = 0.54). Tuy nhiên, các phương án nhiễu có chất lượng kém.
Bên cạnh phương án D sai quá lộ liễu (không thu hút được thí sinh lựa chọn), phương án A chỉ thu hút được 5 thí sinh, số lượng này rất ít so với phương án nhiễu còn lại (phương án C thu hút 67 thí sinh). Một câu hỏi có chất lượng các phương án nhiễu tốt khi số lượng thí sinh lựa chọn các phương án nhiễu tương đối cân bằng.
3. Kết luận
Kết quả phân tích, đánh giá chất lượng đề thi Tiếng Anh 1 bằng phần mềm Quest đã chỉ ra các vấn đề của đề thi cần phải được bổ sung, điều chỉnh và cải tiến. Đó là những vấn đề liên quan đến độ khó, độ phân biệt và chất lượng các phương án nhiễu của mỗi câu hỏi trong đề thi. Đề thi được xem là có chất lượng khi các câu hỏi có độ khó tương ứng với năng lực của tất cả thí sinh, những câu hỏi có độ khó vượt quá khả năng hoặc quá thấp so với năng lực của thí sinh cần được loại bỏ. Bên cạnh đó, các câu hỏi cần có sự phân biệt giữa nhóm thí sinh có năng lực cao và nhóm thí sinh có năng lực thấp, cụ thể là nhóm thí sinh có năng lực cao phải có tỷ lệ trả lời đúng tất cả các câu hỏi cao hơn đối với nhóm thí sinh có năng lực thấp. Ngoài ra, chất lượng của các phương án nhiễu cũng cần phải được đảm bảo, cụ thể là tỷ lệ lựa chọn các phương án nhiễu của nhóm thí sinh có năng lực cao phải thấp hơn so với nhóm thí sinh có năng lực thấp.
Đây là những yếu tố quan trọng mà người biên soạn đề thi cần phải hiểu và thực hành đánh giá chất lượng đề thi nhằm tạo ra những đề thi có chất lượng.
TÀI LIỆU THAM KHẢO
Baker, F. B. (2001). The basics of item response theory. College Park, MD: University of Maryland, ERIC Clearinghouse on Assessment and Evaluation
Bùi Anh Kiệt, Bùi Nguyên Phương (2018). Sử dụng phần mềm IATA để phân tích, đánh giá và nâng cao chất lượng câu hỏi trắc nghiệm khách quan trong chương trình hàm số lũy thừa, hàm số mũ, hàm số logarit. Tạp chí khoa học Trường Đại học Cần Thơ 54 (9C): 81-93.
Đoàn Hồng Chương, Lê Anh Vũ, Phạm Hoàng Uyên (2016). Áp dụng mô hình IRT 3 tham số vào đo lường và phân tích độ khó, độ phân biệt và mức độ dự đoán của các câu hỏi trong đề thi trắc nghiệm khách quan. Tạp chí Khoa học Trường Đại học Sư phạm TP. Hồ Chí Minh 7(85): 174-184.
Ebel, R. L. (1965). Measuring educational achievement. Englewood Cliffs: Prentice- Hall.
Lê Anh Vũ, Phạm Hoàng Uyên, Đoàn Hồng Chương, Lê Thanh Hoa (2017). Áp dụng lấy mẫu GIBBS vào đo lường và đánh giá độ khó câu hỏi trong mô hình Rasch.
Tạp chí Khoa học Trường Đại học Sư phạm TP. Hồ Chí Minh 14(4): 119-130.
Nguyễn Thị Hồng Minh, Nguyễn Đức Thiện (2006). Đo lường đánh giá trong thi trắc nghiệm khách quan: Độ khó câu hỏi và năng lực của thí sinh. Tạp chí Khoa học Đại học Quốc gia Hà Nội 22(4): 34-47.
Rasch, G. (1960). Studies in mathematical psychology: I. Probabilistic models for some intelligence and attainment tests. Copenhagen, Denmark: Danish Institute for Educational Research.
