Применение модифицированных алгоритмов обучения нейронных сетей в задачах адаптивного тестирования

Савченко Елена Юрьевна - к.т.н., директор Института Мультимедиа Международного университет Кыргызстана. (г.Бишкек, Кыргызская Республика)

Аннотация: Рассматривается работа модифицированного алгоритма настройки сигмоидальных функций активаций нейронной сети [3] на примере задачи адаптивного тестирования знаний.

Ключевые слова: Нейронные сети, сигмоидальная функция активации, алгоритм обратного распространения, адаптивное тестирование, нейросетевой конфигуратор.

Последнее десятилетие ознаменовано бурным ростом интереса к нейросетевым методам обработки информации. Все чаще искусственные нейронные сети используются для моделирования социальных, технических, экономических, экологических процессов. Год от года растет количество публикаций в этой области, создаются программные имитаторы нейросетей, расширяются и сферы применения нейросистем.

Под нейронными сетями подразумеваются вычислительные структуры, которые моделируют простые биологические процессы, обычно ассоциируемые с процессами человеческого мозга. Адаптируемые и обучаемые, они представляют собой распараллеленные системы, способные к обучению путем анализа положительных и отрицательных воздействий. Элементарным преобразователем в данных сетях является искусственный нейрон или просто нейрон, названный так по аналогии с биологическим прототипом [1,2,5,6]. К настоящему времени предложено и изучено большое количество моделей нейроподобных элементов и нейронных сетей.

Нейрон представляет собой единицу обработки информации в нейронной сети. На рис.1 показана модель нейрона, лежащего в основе искусственных нейронных сетей.

Рисунок 1. Искусственный нейрон.

В состав нейрона входят умножители (синапсы), сумматор и нелинейный преобразователь. Синапсы осуществляют связь между нейронами и умножают входной сигнал на число, характеризующее силу связи, - вес синапса. Сумматор выполняет сложение сигналов, поступающих посинаптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного элемента – выхода сумматора. Эта функция называется функцией активации или передаточной функцией нейрона [1,5,6,7]

 

где - вес синапса; v -результат суммирования; -компонент входного вектора (входной сигнал); y -выходной сигнал нейрона; n - число входов нейрона; f - функция активации. Нелинейная активационая функция f может иметь различный вид, как показано на рисунках 2-4.

Рисунок 2. Функция единичного скачка.

Функция единичного скачка, или пороговая функция, описывается следующим образом:

Рисунок 3. Кусочно-линейная функция.

Кусочно-линейная функция, описывается следующим выражением:

Одной из наиболее распространенных в нейронных сетях является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид, функция S-образного вида:

Рисунок 4 Сигмоид – логистическая функция.
где α - параметр наклона сигмоидальной функции активации. На рисунке 5 приведено семейство сигмоидальных функций активаций для различного значения параметра α.

Рисунок 5 Сигмоидальная функция для различных значений параметра α .

Как видно на рисунке при уменьшении α сигмоид становится более пологим, в пределе при α=0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении α сигмоид приближается по внешнему виду к функции единичного скачка. Таким образом, выбор конкретного значения параметра α полностью определяет вид сигмоидальной функции активации и обеспечивает наряду с фиксированной топологией нейронной сети ее конфигурацию. В работах [3,4] предлагалось настраивать параметр α сигмоидальных функций активаций нейронов в процессе обучения, что увеличило количество настраиваемых коэффициентов и обеспечило лучшую обучаемость нейронной сети.

Данная методика настройки сигмоидальных функций активаций была использована в алгоритмах обучения нейронной сети в задаче адаптивного тестирования. Адаптивный тест – это тест, в котором сложность заданий меняется в зависимости от правильных ответов испытуемого: если обучаемый правильно отвечает на тестовые задания, сложность последующих заданий повышается, если не правильно понижается [8]. На рис.6. представлена общая структурная схема процесса адаптивного тестирования.

Рисунок 6. Структурная схема процесса тестирования.

Где X1 - номер этапа тестирования, X2 -уровень сложности вопроса в тесте, X3 - количество правильных ответов, набранных испытуемым после одного этапа тестирования, Yi - выход нейронной сети с данными о повышении или понижении уровня сложности вопроса на следующем этапе тестирования испытуемого, где i=1,N N - количество этапов тестирования в тесте. L -итоговая оценка испытуемого.

Процесс тестирования можно описать следующим образом, на начальной фазе тестирования, испытуемому предлагается пройти первый этап, вопросы данного этапа отражают фундаментальные знания по дисциплине, целью данного этапа является выявление уровня подготовленности испытуемого. На вход нейронной сети подаются данные X1, X2, X3, результатом работы сети является предложение Yi о повышении или понижения уровня сложности вопроса на следующем этапе. В процессе тестирования система переводит испытуемого с одного этапа тестирования на другой с учетом его подготовленности, повышая или понижая уровень сложности вопросов в тесте. Процесс тестирования завершается по прохождению испытуемым всех запланированных в тестировании этапов, подведением итоговой оценки.

В качестве модуля, отвечающего за процесс адаптации теста, под уровень подготовленности тестируемого применялась нейронная сеть, архитектура которой представляет собой трехслойную нейронную сеть рис.7., с тремя нейронами во входном слое, десятью нейронами в скрытом слое и одним нейроном в выходном слое.

Рисунок 7. Архитектура нейронной сети.

В качестве алгоритма обучения нейронной сети был выбран алгоритм обратного распространения ошибки с настройкой сигмоидальной функции активации [3]. Сущность данного модифицированного алгоритма состоит в коррекции весовых коэффициентов согласно следующим правилам:

Рисунок 8. Граф передачи сигнала в пределах некоторого нейрона

На рис.8. изображен нейрон j на который поступает поток сигналов. Коррекция Δwji(n) , применяемая к синаптическому весу, соединяющему нейроны i и j, определяется следующим дельта-правилом [1]:

где Δwji(n) - коррекция веса, n - параметр скорости обучения, бj(n) - локальный градиент, yi(n) - входной сигнал нейрона j. Значение локального градиента бj(n) зависит от положения нейрона в сети: Локальный градиент нейрона выходного слоя выражается следующим образом [3]:

где oj(n) - функциональный сигнал на выходе нейрона j, dj(n) - его желаемый сигнал. Для скрытого нейрона j локальный градиент равен:

где M - количество нейронов в выходном слое. При формировании тестового множества для обучения нейронной сети использовались следующие исходные данные таблица 1.

Таблица 1. Исходные данные к задаче адаптивного тестирования

Данные

Выбранная модель адаптивного тестирования

Количество этапов тестирования в адаптивном тесте

3

Количество вопросов на каждом этапе тестирования

1 этап -10 вопросов в тесте

2 этап -10 вопросов в тесте

3 этап -10 вопросов в тесте

Количество уровней сложностей вопросов в адаптивном тесте

1 этап – один уровень сложности (фундаментальные знания по дисциплине); 2,3 этапы – (три уровня сложности: низкий, средний, высокий)

Шкала оценивания результатов тестирования

(% правильных ответов)

«неудовлетворительно» 0%-54%

55%-69% низкий уровень подготовки - «удовлетворительно»

70%-84% средний уровень подготовки «хорошо» 85%-100% высокий уровень подготовки «отлично»


Было сформировано 110 примеров для обучения. Длительность обучения 100 эпох, энергия ошибки Е≈0.0034. Начальные весовые коэффициенты и начальные значения параметра α для сигмоидальных функций активаций, устанавливаются случайными величинами и были сгенерированы случайным образом таблицы 2,3.

Таблица 2.Весовые коэффициенты нейронной сети и параметра для входного слоя нейронной сети

Начальные весовые коэффициенты w

Полученные весовые коэффициенты w

Начальный параметр α для сигмоидальной функции активаций

Настроенный параметр α для сигмоидальной функции активаций

0,966

1,683

0,2

0,396

0,206

-3,045

0,778

0,714

0,626

-1,325

0,616

0,858

0,606

-0,876

0,829

0,336

0,915

-3,339

0,589

0,541

0,543

2,137

0,501

0,353

0,927

2,72

0,769

0,576

0,869

3,064

0,579

0,217

0,255

-2,679

0,895

0,359

0,577

-4,009

0,513

0,929

0,169

-2,488

0,034

0,174

0,191

1,355

0,903

0,861

0,067

-2,441

0,887

0,794

0,545

-0,612

0,844

0,202

0,544

2,513

0,271

0,505

0,144

2,312

0,64

0,497

0,792

2,251

0,064

0,729

0,953

-3,607

0,106

0,141

0,276

0,835

0,796

0,412

0,836

0,107

0,355

0,657

0,245

-3,391

0,091

0,212

0,67

3,398

0,257

0,957

0,409

-0,9

0,971

0,029

0,276

1,443

0,967

0,064

0,637

-2,017

0,204

0,776

0,628

-1,96

0,728

0,524

0,766

1,914

0,94

0,943

0,323

1,683

0,513

0,396


Таблица 3. Весовые коэффициенты нейронной сети и параметра для скрытого слоя нейронной сети

Начальные весовые коэффициенты w

Полученные весовые коэффициенты w

Начальный параметр α для сигмоидальной функции активаций

Настроенный параметр α для сигмоидальной функции активаций

0,666

-2,558

0,936

0,494

0,505

-2,607

0,848

0,282

0,561

-2,98

0,643

0,32

0,135

-0,381

0,006

0,56

0,85

-1,89

0,834

0,595

0,389

-2,3

0,408

0,833

0,525

-1,575

0,563

0,868

0,313

-4,583

0,524

0,839

0,931

-2,199

0,928

0,685

0,023

-3,013

0,669

0,078

0,666

-0,385

0,936

0,08


График обучения нейронной сети представлен на рисунке 9.

Рисунок 9. Кривая обучения нейронной сети.

В результате обучения нейронной сети весовые коэффициенты w и начальные значения параметра α для сигмоидальных функций активаций приняли следующие значения таблицы 2-3.

Обученную нейронную сеть используют в качестве нейросетевого конфигуратора в системе адаптивного тестирования знаний, результаты работы системы отображены на рис.10.

Рисунок 10 Траектория адаптации тестовых заданий к уровню испытуемого

На графике видно как меняется сложность вопросов в соответствии с уровнем подготовленности испытуемого. Например, первый испытуемый на фундаментальном этапе тестирования показал высокий уровень знаний. Тогда, система на первом этапе тестирования предоставит испытуемому вопросы высокого уровня, по завершению первого этапа проводится анализ ответов. На графике показано, что уровень знаний на втором этапе снизился до вопросов среднего уровня, по завершению второго этапа, испытуемый подтвердил знания среднего уровня.

Таким образом, использование нейросетевого конфигуратора, построенного на базе нейронной сети, позволяет адаптировать тестовые задания к конкретному уровню подготовленности обучающегося, что обеспечивает индивидуальный подход к оценке каждого испытуемого.

Список литературы:

1. Саймон Хайкин. Нейронные сети. Полный курс. 2-ое изд. 2006. — М., СПб., Киев: Вильямс.
2. Рутковская Д., Пилинский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. — М., 2007.
3. Савченко Е.Ю., Мусакулова Ж.А. Настройка сигмоидальной логистической функции активации в алгоритме обратного распространения. //Материалы Международной конференции «проблемы управления и информационных технологий». Проблемы автоматики и управления. №1 Бишкек, 2010-С.241.
4. Савченко Е.Ю., Миркин Е.Л. Настройка сигмоидальных функций активаций в нейронных сетях. Институт автоматики. // Журнал «Проблемы автоматики и управления», -№2, Бишкек, 2008- С.74.
5. Дьяконов В.П., Круглов В.В. Инструменты исскуственного интеллекта и биоинформатики. —М.; Солон-Пресс, 2006.
6. Осовский С. Нейронные сети для обработки информации— М.: Финансы и статистика, 2002.
7. Круглов В.В., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. — М.: Физматлит, 2001.
8. Челышкова М. Б. Теоретико-методологические и технологические основы адаптивного тестирования в образовании : Автореф. Дис. д-ра пед. наук : 13.00.01. - СПб., 2001. - 49 с.

Интересная статья? Поделись ей с другими: