Обзор методов автоматизированной генерации заданий для проведения тестирований

"Научный аспект №5-2024" - Педагогика

УДК 004.62, 37

Мусаева Ясамин – аспирант кафедры кибернетики Национального исследовательского ядерного университета «МИФИ».

Аннотация: В статье рассмотрены различные методы автоматизированной генерации заданий для тестирования, используемые в образовательных учреждениях включая программируемые, параметрические, выбирающие и предметно-ориентированные генераторы. Проанализированы их преимущества, недостатки и применимость для создания многовариантных заданий в контексте обеспечения равных условий для участников тестирования. Рассмотрены примеры инструментальных средств, обсуждаются перспективы разработки универсальной системы генерации тестовых заданий. Предложены критерии эффективных методов генерации и отмечена необходимость создания общедоступной системы для формирования банка вопросов.

Ключевые слова: генерация текста, тестовое задание, автоматизированная система.

Введение

Одним из методов, применяемых для определения уровня знаний, является проведение тестирования. В НИЯУ МИФИ проходят всероссийские конкурсы «Юниор» по естественным и инженерным профилям, а также отраслевые олимпиады «Росатом». Участие и победа в этих мероприятиях дает особые права при поступлении в престижные институты Российской Федерации (в том числе и в НИЯУ МИФИ), поэтому очень важно создать равные условия тестирования для всех участников, а также обеспечить прозрачность проведения тестов.

Сотрудникам отдела олимпиад приходится работать над созданием многовариантных заданий. Автоматизация процесса составления задач имеет ряд проблем, пути решения которых в настоящее время изучаются. Основной задачей является поиск новых приемов генерации заданий. Следует отметить важность корректного отображения для участников формул, функций, матриц и т.д.

Методам генерации задач посвящено достаточное количество исследований, в которых описываются разные подходы, предлагаются варианты решения проблемы генерации уникальных вариантов.

По технологии создания генераторы задач можно разделить на четыре вида:

Программируемые. Для создания программируемого генератора необходимо написать программу. Данное очевидное решение зачастую может являться единственным доступным для реализации.

Параметрические (или параметризованные). Этот тип генераторов не нуждается в полноценной программе. В них применяется метод генерации параметров в тексте задания: задается текст условия, в него интегрируются параметры, которые затем заменяются на конкретные значения в процессе получения окончательных условий. Для параметров указывается диапазон возможных значений и описываются правила параметров, обеспечивающие равную сложность задач для разных вариантов заданий. В качестве примера можно привести адаптивную среду тестирования от компании «АСТ- Центр».

Выбирающие. Этот тип генераторов основан на случайном выборе вопросов из готового банка задач. Выбирающие генераторы не позволяют создавать разные условия заданий.

Предметно-ориентируемые. Подобные генераторы могут создаваться без опыта программирования, но при этом сужается диапазон типов задач, которые можно получить. Пользователь в заранее созданном редакторе генераторов выбирает настройки и получает новый генератор.

Существующие технологии и методы не претендуют на универсальность, поскольку в них могут использоваться математические модели, требующие знания в узких сферах.

Методы генерации должны удовлетворять нескольким критериям:

Логичность: создаваемые задания должны быть непротиворечивы и логически верны.

Интегративность: в процессе генерации должна быть возможность добавления в задания различных объектов(формул, схем и т.п.).

Дифференциация: получаемые задания должны быть разнородны по структуре, содержанию, сложности.

Структурность: все схемы генерации строго организованы и позволяют получать структурированные данные: тесты, задания (состоящие, например, из вопроса, ответа, объяснений).

Генерация с условиями: получение различных вариантов тестов не случайным, а программируемым способом.

Обзор методов автоматизированной генерации заданий для проведения тестирований

Обычно для генерации тестовых заданий используются языки программирования общего назначения. Существует ряд автоматизированных средств, позволяющих описывать алгоритмы генерации за счет использования предметно-ориентированных языков программирования [1].

Часто инструментальные средства используются для формирования многовариантных заданий, предназначенных для узкого круга задач, что приводит к тому, что разработки не становятся универсальными и используются на уровне одной организации. На данный момент не существует многоцелевого средства для построения генераторов тестовых заданий широкого круга применения, имеющих возможность использовать один генератор для различных форм проведения тестирования.

Для постановки проблемы исследования необходимо сделать обзор литературы, посвященной созданию генераторов тестовых заданий. Должны быть рассмотрены претендующие на универсальность автоматизированные средства создания генераторов.

В существующих разработках генераторов тестовых заданий применяются различные методы. Так, самым распространенным и достаточно доступным с точки зрения восприятия для разработчика методом генерации относится подстановка численных параметров. Данный метод представлен в работе [2] и реализован в приложении IGOR (Item Generation OR). В статье автор описывает модель для представления задания с возможностью подстановки численных параметров для задач с выбором правильного варианта ответа.

Этот же автор в статье [3] расширяет возможности инструментального средства IGOR в сторону генерации не только численных параметров, но и отдельных текстовых фрагментов. Данная возможность в приложении осуществляется за счет использования предметно-ориентированного языка с максимально понятным синтаксисом. Подобное приложение, основанное на аналогичном методе для адаптивных заданий, приводится в статье [4]. При доступности применения данного подхода, отсутствие универсальности делает данную систему узкоспециализированной для определенного класса задач. Приложение не имеет сетевого доступа и предназначено для формирования печатных форм тестовых заданий.

Аналогичный метод с использованием параметров для подстановки в условие заданий описывает автор работы [5, 6]. В работе описывается способ генерации вопросов с выбором правильного ответа на основе сценариев развития событий в медицинской практике. В качестве параметров выступают различные параметры, описывающие свойства того или иного сценария.

Похожие подходы с перебором параметров текста задания освещены в работах М.Н. Кирсанова «Генератор задач по теоретической механике и математике» [7], А.Ю. Ионова, И.А. Копылова и Д.О. Жукова «Генератор задач по физике» [8], Л.А. Ашкинази и М.П. Гришкиной «Генератор задач по физике» [9], А.А. Притчина и А.А. Никитина «Программа-задачник по количественным соотношениям в неорганической химии» [10]. В работе [11] описаны принципы формирования многовариантности заданий на основе реализации встроенных возможностей пакетов MathCAD и MS Word. Процесс генерации заданий как формализации дидактического текста предложен С.В. Титенко в работе [12]. Часть из них являются узконаправленными программами, созданными для проведения контроля знаний только по одному предмету без возможности дополнения базы знаний и реализации для других предметных областей.

Большинство генераторов получают задания только для последующего их распечатывания. В работах [13, 14, 15] приводится ряд методов построения генераторов математических задач, основанных на методах подстановки параметров и формульных методах вычисления ответа.

В работе [16] автор предлагает использовать приложение, предназначенное для генераций вопросов, основанных на семантическом описании генератора в виде графа. Метод заключается в том, что, составив по определенным грамматическим правилам утверждение, возможно получить различных вариантов вопросов. В вопросах используются такие вопросительные выражения как «Где?», «Когда?», «Кого?» и т.д.

Например, имеется утверждение: «Джексон родился 29 августа 1958 года в США, Луизиана», к которому можно поставить несколько вопросов:

1. Вопросы с вопросительным словом «Кто?»:

1.1. Кто родился 29 августа 1958 года?

1.2. Кто родился в США, Луизиана?

2. Вопрос с вопросительным словом «Когда?»:

2.1. Когда родился Джексон?

В работе автор показывает простоту и доступность метода в том случае, если для определенного задания имеется семантический граф. Метод реализован в консольном приложении и используется автором в стенах Университета Джона Хопкинса, США для генерации вопросов, основанных на утверждениях. Применимость данного приложения для других видов заданий, например, технических дисциплин или различных типов вопросов автор не приводит.

В работе [16], автор помимо методов и технологий разработки генераторов представляет инструментальную среду построения генераторов тестовых заданий, претендующую на некоторую универсальность, позволяющее формирование вариантов многовариантных заданий в формате PDF. Сам генератор описывается на предметно-ориентированном языке Possum.

Особенность системы заключается в режимах работы, как локально, так и удаленно, взаимодействую с системой через браузер. Что приводит к необходимости реализации каждого компонента два раза, – для работы в локальном виде и для работы на сервере. К недостаткам системы можно отнести отсутствие визуальной разработки алгоритмов генерации, отсутствие различных форматов для импорта в системы тестирования [17].

Работа [14] реализует систему тестирования, генераторы которых реализуются за счет шаблонов в графическом режиме. Все задания с элементами (изображения и формулы) отображаются в режиме «что видишь, то и получишь», элементы которых являются переборными параметрами. Ограничения на параметры задаются декларативно, т.е. программа содержит только информацию об ограничениях и не содержит информацию о том, как их генерировать. Система автоматически подбирает случайный набор параметров, который удовлетворяет набору условий. Описываемая система не является общедоступной [14].

Автоматизированная система [18] используется в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» на кафедре высшей математики. Большая часть сотрудников кафедры использует ее для генерации заданий. Разработка новых заданий доступна лишь нескольким преподавателям. Алгоритмы генерации пишутся на любом языке программирования, с целью создания исполняемого файла, который при запуске выдает необходимую группы файлов. Результатом работы данных программ являются файлы LATEX для последующего представления на бумажных носителях. Приложение используется в стенах ЛЭТИ и широкого применения не нашла [18].

Среди коммерческих решений на Российском рынке имеется программный комплекс АСТ (адаптивная среда тестирования), разработанный московской компанией «Аст-Центр» [19]. Система получила распространение среди нескольких российских учебных заведений и помимо генерации вопросов на основе подстановки численных параметров, предлагается система тестирования, для которой, собственно, и разрабатываются тестовые заданий. Разработка тестовых заданий ведется в режиме конструктора. Приложение доступно в сетевом режиме. Экспорт разработанных вопросов в печатные формы и международные стандарты, а также составление произвольных алгоритмов генерации в приложении не предусмотрено.

Американская компания Schoolhouse, которая занимается разработкой программного обеспечения для образовательных учреждения выпустила коммерческое ПО «Schoolhouse Test». Приложение позволяет в визуальном режиме описывать различные генераторы тестовых заданий и получить их в печатном виде[20]. Генерация вариантов осуществляется за счет вариации различных фрагментов текста.

Приложение не позволяет вести разработку генераторных задач для широкого класса дисциплин и предназначено для разработки генераторных задач с целью последующего их использования в строго заданной системе тестирования.

Заключение

На сегодняшний день средства для разработки генераторов тестовых заданий применяются отдельными сообществами (вузы, школы, прочие образовательные организации), в которых генераторы направлены на решение своих задач и имеют закрытый вид, что затрудняет их использование другими сообществами. Инструментальное средство генерации уникальных заданий для проведения заочных туров олимпиад позволит получать многовариантные задания различного уровня сложности, что должно обеспечивать равные условия для участников заочных онлайн-туров мероприятий.

В статье представлены различные инструментальные средства генерации тестовых заданий, используемые различными сообществами преподавателей и разработчиков учебно-методических комплексов. Данные системы имеют различные свойства и характеристики, достоинства и недостатки, но ни одно решение не может претендовать на некую универсальную платформу, направленную на получение многовариантных заданий как для различных автоматизированных систем тестирования, так и для печатных форм.

 Необходима общедоступная система для формирования общедоступного (или закрытого) банка вопросов, предоставляющая возможности построения произвольных алгоритмов генерации вопросов на основе визуальных элементов хранения, обработки и получения многовариантных заданий в форматах систем тестирования.

Список литературы

1. Фаулер М. Предметно-ориентированные языки программирования : пер. с англ. М.: Вильямс, 2011. 576 с.
2. Hollis Lai, J. Gierl. The Role of Item Models in Automatic Item Generation.//International Journal of Testing 12(3):273-298.
3. Cecilia B. Alves, Mark J. Gierl, Hollis Lai. Using Automated Item Generation to Promote Principled Test Design and Development // Paper presented at the annual meeting of the American Education Research Association. Denver, CO, USA, 2010. P. 2 – 30.
4. Isaac I. Bejar, Rene R. Lawless, Mary E. Morley. A Feasibility Study of On-the-Fly Item Generation in Adaptive Testing // The Journal of Technology, Learning, and Assessment. 2003. Vol. 2. №3.
5. Mark J. Gierl. The Role of Item Models in Automatic Item Generation//International Journal of Testing 12(3):273-298.
6. Mark J. Gierl. Using automatic item generation to create multiple choice test items.// Medical EducationVolume 46, Issue 8. Pages 725-823.
7. Текст Кирсанов М.Н. Генератор задач по теоретической механике и математике // Международная конференция "Современные технологии в преподавании курса теоретической механики", посвященной 75-летию кафедры "Теоретическая механика" Тульского Государственного Университета.2005.
8. Ионов А.Ю., Копылов И.А., Жуков Д.О. Генератор задач по физике // Московская государственная академия приборостроения и информатики, 2000.
9. Ашкинази Л.А., Гришкина М.П. Генератор задач по физике// Информационные технологии в образовании, 2007.
10. Притчин А.А., Никитин А.А. Программа-задачник по количественным соотношениям в неорганической химии.
11. Грушевский С. Методика конструирования систем генерации индивидуальных заданий по математическому анализу с применением пакетов прикладных программ // Компьютерные инструменты в образовании. –СПб.: Изд-во ЦПО "Информатизация образования", 2000, –№3–4, – С.32–39.
12. Титенко С. В. Генерация тестовых заданий в системе дистанционного обучения на основе модели формализации дидактического текста // Научные вести НТУУ "КПИ". –2009. –№ 1 (63). –С. 47–57.
13. Борисов С. И. Язык представления тренажеров для решения задач по высшей математике // Открытое и дистанционное образование. 2004. №4. С. 57 – 69.
14. Левинская М. А. Автоматизированная генерация заданий по математике для контроля знаний учащихся // Educational Technology & Society. 2002. Т. 5(4). С. 214–221.
15. Tomas A. P., Leal J. P. A CLP-Based Tool for Computer Aided Generation and Solving of Maths Exercises // Proceedings of the 5th International Symposium on Practical Aspects of Declarative Languages. PADL ’03. London, UK: Springer-Verlag, 2003. P. 223–240.
16. Xuchen Yao, Goese Bouna, Yi Zhang. Semantics-based Question Generation and Implementation.
17. Зорин Ю.А., Посов И.А. Инструментальные системы построения и получения многовариантных тестовых заданий// Компьютерные инструменты в образовании. 2014. №1. С. 14–25.
18. Степанов А. В. Система компьютерной генерации заданий по математике // Компьютерные инструменты в образовании. 2000. № 34. С. 28–31.
19. Независимый Центр тестирования качества обучения. Режим доступа: [http://www.ast-centre.ru] (дата обращения 22.05.2024).
20. Schoolhouse Test. Режим доступа: [http://schoolhouse-test.software.informer.com/] (дата обращения 22.05.2024).