Объективность оценки знаний тестированием и необходимости автоматизации процесса
К.А.Искаков
кандидат технических наук,
доцент кафедры «Проектирование зданий и сооружений», Евразийский национальный университет им. Л.Н.Гумилёва,
Университетское образование: качество, технологии, элитарность. Материа- лы VI Научно-методической конференции ЕНУ им. Л.Н.Гумилёва (1-2 мар-
та 2005 г.). – Астана: Изд-во ЕНУ, 2005. – С. 164-166.
Аннотация.
С целью установления достоверности оценки знаний обучаемого при тестировании и обосновании таким образом необходимостей широкой ком- пьютеризации процесса было проведено наблюдение на базе изучения сту- дентами специальных технических дисциплин. Указывается, что сопоставле- ние результатов открытого и закрытого тестирования показывает близкую сходимость, тестирование совершенствует логику осмысления и, таким обра- зом, компьютерное тестирование является перспективным.
Abstract.
The objectivity of knowledge assessment test and want to automate the proc- ess with a view to establishing the credibility of testing student knowledge assess- ments and justification thus needs extensive computerization of the observations were made on the basis of studying of students of special technical disciplines. In- dicates that a comparison of the results of the open and closed testing shows a close convergence testing improves logic thinking and, thus, the computer testing is promising.
Ключевые слова: тестирование, автоматизация, наблюдение, анализ, сту- денты, оценка знаний, специальность ТГВ и ОВБ, Теплоснабжение.
Критерием определяющим необходимости широкой автоматизации
процесса тестирования обучаемого является объективность оценки знаний.
Было проведено наблюдение и анализ результатов обучения на базе группы студентов специальности «Теплогазоснабжение, вентиляция и охрана воздушного бассейна» (ТГВ и ОВБ), которые в течении года изучали специ- альные предметы — «Газоснабжение» и «Теплоснабжение». Учебная работа по предметам проводилась одним преподавателем. Предметы являются род-
ственными по содержанию, числу часов освоения, уровню «трудности» во- просов.
Оценивание знаний студентов при изучении предмета «Газоснабже- ние» осуществлялось методом открытого тестирования в течение семестра — проведением контрольных работ. В очередном задании на выполнение кон- трольной работы студенту предлагалось дать ответы на два или три вопроса, касающихся материала практического или лекционного занятий. Содержание вопроса предполагало краткое изложение студентом схемы специального устройства, оборудования, конструкции, либо информация-повествование, либо постановка, решение, комментарий к решению задачи и т.п.
В целом, подобный контроль знаний близок к экзамену «по билету», однако разделенный на несколько этапов по циклам изучаемой дисциплины и таким образом более детальный контроль без собеседования с преподавате- лем после письменного изложения специальных знаний, рассуждений и вы- водов.
Для проведения контроля знаний студентов методом открытого тести- рования по дисциплине «Газоснабжение» были разработаны сборники во- просов. Общее число вопросов в сборнике составляло 150. Число сборников
— достаточное для одновременной работы студентов группы, сборники сте- реотипные. Контрольная работа выполнялась по варианту из трех-четырех вопросов. Время для выполнения контрольной работы 30-40 минут.
Итоговый балл обучения за семестр 1-го учебного полугодия был при- нят как величина среднеарифметическая по оценкам двух контрольных ра- бот, за семестр 2-го учебного полугодия — по оценкам трех контрольных ра- бот. Средний показатель по группе составил 4,25 и 4,31 — соответственно семестрам.
Оценивание знаний по дисциплине «Теплоснабжение» за семестр про- водилось по результатам приема экзамена методом закрытого тестирования с учетом рейтинга работы студента в течении семестра, а именно, своевремен- ность и качество, согласно графика, этапов выполнения курсовой работы, эффективность работы на практических занятиях и посещение занятий. На экзамен каждому студенту выдавался вариант сборника вопросов с пятью от- ветами на каждый вопрос. Число вариантов сборника вопросов соответство- вало числу студентов группы. Общее число вопросов варианта задания от- дельному студенту — 45.
Тесты экзамена по дисциплине «Теплоснабжение», в основном, были составлены таким образом, что окончательный выбор ответа студентом мог быть принят после осмысления содержания вопроса, ответов и построения им в сознании необходимого умозаключения. К примеру, раздел «Системы
теплоснабжения» включает в себя достаточно большое число различных схем присоединения абонентов-потребителей теплоты к тепловым сетям.
Каждая из этих схем, в свою очередь, включает в себя определенный набор условных обозначений для элементов абонентских систем. Элементы систем имеют собственное функциональное назначение. Последовательность и по- рядок расположения элементов определяют общую характеристику абонента теплопотребления.
Вопрос теста, в некоторых случаях, был ориентирован на знание назна- чения, функциональной особенности отдельного элемента схемы. Однако, умозаключение к правильному ответу по отдельному элементу, в данном случае, могло быть принято экзаменуемым только после абстрактного пред- ставления совокупности элементов схемы, достижения знания более общей характеристики функционального назначения схемы абонента.
К примеру, известно, что на вводах тепловой сети в здания часто уста- навливаются струйные насосы — элеваторы. Назначение их — снижение температуры теплоносителя-воды в подающей линии абонентского ввода, подмешиванием теплоносителя из обратной линии с целью обеспечения тре- буемых санитарно-гигиенических условий помещения путем исключения возможностей подгорания пыли на поверхностях отопительных приборов. В связи с этим вопрос теста может быть поставлен следующим образом: «В ка- ком случае на абонентском вводе здания струйный насос не устанавливает- ся?» В числе правдоподобных ответов приводится — «Если потребитель теп- лоты — промышленное здание», так как для многих, но не для всех, про- мышленных зданий требования санитарно-гигиенических условий помеще- ний более жестки, чем для жилых и общественных зданий. Правильный ответ
«Если температурный режим системы отопления здания может соответство- вать режиму тепловой сети» предполагает знание не только назначения эле- мента, в данном случае струйного насоса, но и общей характеристики або- нента-потребителя теплоты.
Одна из последовательностей взаимосвязи вопроса и ответов была ори- ентирована на конструкцию обратного порядка следования мысли в плане построения умозаключения, а именно, от знания более общей характеристи- ки функционального назначения к знанию назначения, особенности частного.
Очевидно, что простое запоминание схем абонентов-потребителей теп- лоты маловозможно и совершенно неразумно. Вероятно, постановка вопроса по указанному специальному разделу дисциплины по форме традиционного экзамена, соответствующая форма ответа с вычерчиванием студентом схемы ограничивают возможности построения истинного умозаключения в связи с
тем, что часть интеллектуального пространства работы тестируемого будет отвлечена на работу зрительной и моторной памяти.
Здесь уместно сделать заключение о том, что оценивание знаний мето- дом тестирования — слагаемое обучения, связанного с приобретением зна- ний путем построения умозаключения.
Еще одна часть вопросов экзамена по дисциплине «Теплоснабжение»
была составлена по разделу «Режимы регулирования централизованного теп- лоснабжения». Темы из этого раздела представляют собой специальные ма- тематические задачи в постановке, решении, комментариях к результатам.
Естественно, что передать все содержание задачи одним вопросом при пяти ответах, один из которых правильный, маловероятно. Поэтому контроль знаний на экзамене по форме закрытого тестирования по темам данного раз- дела курса «Теплоснабжение» был представлен совокупностью вопросов с ответами, которые, в целом, и были ориентированы на логику мышления, к примеру, от постановки задачи через ее решение к конечному результату. И необязательным здесь являлось соблюдение порядка вопросов согласно ука- занной последовательности, т.е. от постановки задачи через ее решение и т.д., по той причине, что экзаменуемый может быть только тогда экзаменуе- мым, когда он владеет суммой знаний по данной теме или предмету в целом.
Например, задача о выводе формул температурных графиков качест- венного регулирования отпуска теплоты по отопительной нагрузке представ- ляет собой совокупность следующих тестов.
1. Какая из эмпирических зависимостей применима для расчетов ре- жимов регулирования отпуска теплоты?
2. Что называют методом качественного регулирования?
3. Общие уравнения качественного регулирования?
4. Что относят к задаче качественного регулирования отопительной нагрузки?
5. Каким образом определяется максимальная разность температур те- плоносителей для отопительной установки?
6. Какая функция определяет произведение коэффициента теплопере- дачи отопительных приборов на их поверхность нагрева?
7. Параметр отопительной системы?
8. Функция для безразмерной тепловой характеристики отопительной системы?
9. Каким образом может быть найдена производительность отопитель- ной системы при использовании безразмерной характеристики?
10. Какие величины включают в себя выражения для расчета темпера- туры сетевой воды перед, после смесительного узла, после отопи- тельной установки при качественном регулировании отопительной нагрузки?
Оценивание знаний студентов в первое и второе полугодие обучения по формам открытого и закрытого тестирования, при пересчете результатов на традиционную оценку, дало практически одинаковый результат, а именно, средняя оценка знаний по форме открытого тестирования составила, соответ- ственно 4,25 и 4,31 (см. выше.), по форме закрытого тестирования 4,31 и 4,38.
Собственно величина показателя, практическая сходимость показате- лей могут быть подтверждением объективности оценивания знаний методом тестирования. Выше изложенное сопоставление технологии оценивания ме- тодом тестирования с традиционной формой оценивания знаний — под- тверждение приоритета первого в плане обучения построению умозаключе- ния.
Таким образом, оценивание знаний методом тестирования, в частности, методом закрытого тестирования, является целесообразным. Развитие спо- собностей, обучение тестируемого построению умозаключения — одна из положительных сторон метода. И это является основанием подтверждающим широкие перспективы компьютерного тестирования.
