УДК 004.912

Особенности автоматической проверки вопросов со свободным ответом

Федоров Александр Сергеевич – аспирант Национального исследовательского университета ИТМО.

Аннотация: Данная статья написана после изучения результатов проведения ВСОШ по Технологии в Санкт-Петербурге в 2022 году. В статье рассматривается проанализированы проблемы возникающие при оценивании решений участников олимпиады на вопросы со свободным ответом. Выделены пять видов проблем, для каждой из которой описаны их особенности, причины их возникновения, а также пути решения выработанные группой разработчиков проверяющей системы, а именно выделены следующие проблемы: различные регистры при написании букв, наличие излишних вайтспейсов, использование символов из иного алфавита, наличие окончаний слов и неупорядоченность слов в ответе.

Ключевые слова: тестирующая система, автоматическая проверка, сверка ответа, проведение олимпиады, лишние символы.

В последние годы работники сферы образования следуя тренду всеобщей цифровизации всё чаще внедряют технологии дистанционного обучения в образовательный процесс, что было показано рядом авторов, в частности [1-3]. В частности растущим спросом пользуются тестирующие платформы. Данные ресурсы предоставляют возможность как отражать теоретическую информацию, так и проверять различного рода тестовые задания. Примерами данных платформ могут служить: Stepik, Codeforces, Moodle. Несмотря на повышения эффективности обучения благодаря использованию данных средств при внедрении тестирующих систем могут возникать сложности из-за неидеального соответствия программы обучения и средств ввода-вывода. Предметом внимания данной статьи является один из видов таких трудностей, а именно проблемы возникающие при использовании вопросов со свободным ответом. 

Вопросы со свободным ответом в отличии от традиционных тестовых вопросов не предполагают вариантов ответа - тестируемый сам должен дать правильный ответ записав его в поле для ввода. Необходимость в наличии подобных заданий обуславливается как стремлением не давать возможности угадывания ответа, так и желанием не давать тестируемому подсказку к решению задачи с помощью готовых вариантов ответа. Задании со свободным ответом использовались в том числе и на школьном этапе ВСОШ по Технологии Санкт-Петербурга 2022 года благодаря изучению результатов которой и была написана данная статья.

Перед разработчиками системы для проверки ответов ВСОШ встала задача объективной оценки ответов участников. Первым и весьма логичным способом решения подобного вопроса в тестирующих системах является указание всех возможных вариантов ответа с последующей посимвольной проверкой. Таким образом если хотя бы один вариант ответа совпадает с ответом участника то задание считается решенным верно. Также весьма легко указать и недостаток данного метода: количество вариантов ответа чрезвычайно велико даже при его условной тривиальности. Допустим ответом на задание является некоторое «осмысленное» слово записанное с помощью выбранного алфавита и только его, без каких-либо дополнительных символов (например: «молоко»). Таким образом следуют сразу указывать множество вариантов ответа с использованием различных регистров при написании. Зачастую составители заданий считают, что достаточно указать только слова записанные заглавными и прописными буквами, изредка добавляя и вариант написания слова с большой буквы. Однако нет никакой гарантии, что участник тестирования не будет использовать для написания ответа верхний регистр но случайно добавит в конце маленькую букву, например при исправлении ответа. В общем случае необходимо указать все возможные варианты написания слова с учётом разного регистра его букв. Количество таких вариантов равняется

Очевидно, что при подобной скорости роста количества вариантов написания слова их полное перечисление является весьма трудозатратой задачей. Поэтому данная проблема решается приведением всех ответов (участника и жюри) к единому регистру.

Следующим трудностью в сравнивании ответов оказались наличие в них вайтспейсов, а точнее пробелов. К удивлению разработчиков значительная часть решений для вопросов с одним ответным словом содержат пробелы, например пробел после слова. При этом весьма сложно объяснить появление пробела в ответе когда задание не просто не требует его наличия, а явно указывает на отсутствие чего-либо в поле ответа кроме слова из букв кириллического алфавита. Единственной гипотезой которая была выдвинута командой разработчиков является попытка скопировать ответ из какого-либо мессенджера, документа или веб-страницы что в свою очередь может привести к копированию слова вместе с пробелом. Однако данный аспект обычно не предусматривается при составлении положений о проведении соревнований и таким образом не может учитываться при подведении итогов. Другая опасность в пробелах заключается в возможности наличия нескольких пробелах при просьбе указать в ответе несколько слов разделенных пробелами. В отличии от предыдущего использования пробелов данная ситуация вполне укладывается в фактор человеческой невнимательности. При этом существуют ситуации, когда участники используют для разделения слов иные символы (например запятые). Проблему с использованием «лишних» символов можно свести к проблеме нескольких пробелов путём замены всех непредусмотренных в ответном поле символов на пробелы. Далее полученный ответ пропускался через стандартные средства ввода библиотеки iostream языка С++, что позволяло избавиться от всех вайтспейсов [4] получая в итоге только массив слов из ответа.

Третьим тип ошибочного написания ответа является менее очевидным: замена латинских букв на кириллические или наоборот. Данная проблема на первый взгляд звучит весьма понятно, человек использовал вместо латинской буквы А кириллическую. Вообще кандидатами на такую подмену являются следующе буквы А В Е К М О Р С Т Х а е о п р с х y, а также У (Y) п (n) с некоторой пониженной вероятностью поскольку это зависит от того способен ли человек заметить разницу между кириллическим и латинским написанием буквы. Вероятность такой ошибки возрастает если в ответе необходимо указать не осмысленное слово, а некоторый набор букв, например порядок картинок из-за того, что в осмысленном слове чаще встречаются буквы только из одного алфавита. Таким образом первичная идея решения данной проблемы это по возможности использовать в ответе цифры вместо букв, либо прописывать два варианта ответа, как кириллицей, так и латинскими буквами там где возможна их подмена, например в ответе ABABC. Однако, к удивлению разработчиков в ответах участников встречаются случаи, когда алфавиты смешиваются. Например в ответе АВ буквы А может быть латинской, а В кириллической. Более того данная ошибка не ограничивается единичными случаями, иными словами такие случаи также необходимо обрабатывать автоматически. Более того, как только допускается возможность смешивания алфавитов в неосмысленном ответе, также необходимо допускать её в задачах, где ответом является осмысленное слово. На данные момент подобного рода проблемы решаются превентивной заменой в ответе всех одинаково записываемых букв одного алфавита (например латинского) на соответствующей символ из второго алфавита (например кириллического), при этом необходимо учитывать различные регистры символов. Причины подобного поведения участников олимпиады тяжело объяснимы, поскольку путаница в алфавите сопровождала не только первые задания (когда человек замечает неверную раскладку и меняет её). Причиной изменения регистра на компьютере является смена рабочей области: например человек писал сообщение кириллицей но неожиданно решил уточнить какой-либо момент и открыл поисковик, совершая поиск информации в англоязычной литературе.

Четвёртой проблемой при автоматической оценке ответов являются окончания слов: необходимо отрезать окончания слов у ответов для точной проверки. На первый взгляд данный подход может показаться излишним, однако рассмотрим следующий случай из олимпиады:

Вопрос: Как называется изображенный на рисунке тип резьбы?

Ответ жюри (2 варианта): геометрическая резьба/геометрическая

Ответ участника: геометрический (тип)

Как можно заметить оба ответа являются легальными, проблема заключается в дополнительных словах которые указываются или предполагаются в ответе меняя тем самым окончания основного слова в ответе. Более того весьма затруднительно предположить все варианты вспомогательных слов в ответе, которые может использовать участник, вследствие чего и было выработано правило об отрезании окончаний. В итоговой системе отрезание окончаний реализуется с помощью их замены на пробелы (сведению задачи к задаче о нескольких пробелах).

Последняя проблема при оценке ответов рассматриваемая в данной статье возникает при наличии ответа в виде словосочетания или фразы. В данном случае у участника во-первых может появиться желание «уточнить» ответ. В частности он может добавлять лишние слова или предлоги. Более того участник не обязан следовать порядку слов который задумал составитель задания. Таким образом возникает необходимость либо поиска желаемых слов в ответе, либо вырезания лишних слов. Лишние слова и предлоги могут заменяться пробелами. Проблема различного порядка слов в ответе может быть решена путём лексикографической сортировки слов ответов (жюри и участника) при их сравнении. 

Может показаться, что вину за трудности при проверке рассматриваемые в данной статье можно переложить на участника олимпиады. Тогда ответ записанный в неверном формате просто должен не засчитываться при проверке. Сам формат ответа должен строго специфицироваться в условии задания. Однако следует напомнить, что задачей как олимпиады так и тестирующей системы не является наказание тестируемого. Стресс во время тестирования может снизить внимательность человека что легко приводит к ошибкам. Поэтому задачей разработчика данного рода систем должно быть отслеживание и устранение всех случаев неправильного написания верного ответа.

Спислк литературы

1. Золотарёва Г.В. Автоматизированная система тестирования в образовании / Г.В. Золотарёва Н.П Семичевская // Вестник науки и образования. 2019. № 22(76). Часть 1. С. 37-40.
2. Сафунов Р. М. Цифровизация системы образования / САФУАНОВ Р. М. Сафунов, М. Ю. Лехмус, Е. А. Колганов // Вестник УГНТУ. Наука, образование, экономика. Серия: Экономика. 2019. № 2 (28). С. 116 – 121.
3. Стриженко А. А. Онлайн-образование: теория и практика // Экономика Профессия Бизнес. 2016. № S C. 75 – 79.
4. std::cin, std::wcin [Электронный ресурс] // https://en.cppreference.com/w/cpp/io/cin (дата обращения: 25.10.2022).