УДК 4.896

Исследование влияния алгоритмов обучения и генерации топологии сети Кохонена на погрешность решения задачи классификации

Ермолаев Алексей Дмитриевич – студент Самарского государственного аэрокосмического университет имени академика С.П. Королева. (СГАУ, г.Самара)

Солдатова Ольга Петровна – кандидат технических наук, доцент Самарского государственного аэрокосмического университет имени академика С.П. Королева. (СГАУ, г.Самара)

Аннотация: В работе было исследовано влияние различных алгоритмов обучения на погрешность решения задачи классификации, также был рассмотрен вопрос генерации топологии нейронной сети Кохонена.

Ключевые слова: Нейронная сеть, карта Кохонена, погрешность квантования, WTA, топология нейронной сети.

Исследования по искусственным нейронным сетям связаны с тем, что способ обработки информации человеческим мозгом принципиально отличается от методов, применяемых обычными цифровыми компьютерами. Мозг имеет совершенную структуру, позволяющую строить собственные правила на основе опыта. Опыт накапливается с течением времени[1].

Модель Кохонена (T.Kohonen, 1982) выполняет обобщение предъявляемой информации. В результате работы нейронной сети Кохонена получается образ, представляющий собой карту распределения векторов из обучающей выборки.

Целью обучения сети с самоорганизацией, считается такое упорядочение нейронов, которое минимизирует значение отклонения вектора весов от входного вектора x. При p входных векторах x эта погрешность в эвклидовой метрике может быть выражена в виде:

где Ww(t) - это вес нейрона-победителя при предъявлении вектора xi [2].

Во время исследования обучение нейронных сетей производилось с помощью алгоритмов:
- WTА (учитывающий активность нейронов)
- Кохонена с прямоугольным соседством
- Кохонена с гауссовым соседством
- алгоритма нейронного газа

Алгоритм WTA (Winner Takes All – победитель получает все). В соответствии с ним после предъявления вектора x рассчитывается активность каждого нейрона. Победителем признается нейрон с самым сильным выходным сигналом и получает право уточнить свои веса в направлении вектора x согласно правилу

Алгоритм Кохонена относится к наиболее старым алгоритмам обучения сетей с самоорганизацией на основе конкуренции. В классическом алгоритме Кохонена сеть инициализируется путем приписывания нейронам определенных позиций в пространстве и связывании их с соседями на постоянной основе. В момент выбора победителя уточняются не только его веса, но также веса и его соседей, находящихся в ближайшей окрестности.

Другой тип соседства в картах Кохонена - это соседство гауссовского типа, при котором функция соседсва определяется формулой

В алгоритме нейронного газа на каждой итерации все нейроны сортируются в зависимости от их расстояния до входного вектора x. После сортировки нейроны размечаются в последовательности, соответствующей увеличению удаленности и на основе порядкового номера нейрона в этой последовательности, вычисляется функция соседства. Дальнейшая логика работы алгоритма схожа с WTA, добавляется лишь значение функции соседства.
В ходе исследования были также применены адаптивные алгоритмы изменения коэффициента обучения для всех вышеперечисленных алгоритмов и динамическое изменение параметра соседства для алгоритма нейронного газа и двух алгоритмов Кохонена. Это улучшение помогло значительно снизить погрешность квантования при обучении нейронной сети в среднем на 10-15 %.

В ходе проектирования необходимо было определить предметную область для классификации. В качестве тестовых задач были выбраны области «автомобили» и «ирисы». Данные задачи являются каноническими для решения задачи классификации с помощью нейронных сетей и в виду ярко выраженных границ классов, возможно получить хорошие результаты решения данной задачи.

Объективное сравнение результатов обучения нейронной сети можно получить при сопоставлении расчетной погрешности квантования согласно формуле (1). Данные по зависимости расчетной погрешности квантования от алгоритма являются усредненными результатами решения тестовых задач для двух представленных областей и приведены на рисунке 1.

Рисунок 1. Зависимость значения погрешности от алгоритма.

Алгоритм нейронного газа наряду с алгоритмом WTA, учитывающим активность нейронов, считается одним из наиболее эффективных средств самоорганизации нейронов в сети Кохонена. Однако в рамках данного исследования использование адаптивных алгоритмов изменения коэффициента обучения и параметра окрестности помогло добиться очень хороших результатов с помощью алгоритмов Кохонена, хотя эти алгоритмы значительно проигрывают в скорости обучения нейронной сети.

До сих пор остается открытым вопрос влияния топологии сети Кохонена на результат решения задачи классификации. Известные на сегодняшний день способы определения оптимальной топологии основаны на эвристических методах исследования и носят рекомендательный характер.

На данный момент известно несколько алгоритмов, которые призваны уменьшить погрешность обучения нейронной сети путем составления оптимальной её топологии. Рассмотрим некоторые из них.

Первый алгоритм, позволяет определять оптимальные параметры нейронной сети n-мерной топологии на основе расчета фрактальной размерности аттрактора по временному ряду, позволяющий оценить минимальное число существенных динамических переменных, необходимых для описания наблюдаемых процессов. В этом алгоритме каждый нейрон гарантировано описывает уникальное состояние системы.

Второй алгоритм призван снизить погрешность обучения путем динамического добавления новых слоев нейронов во время обучения сети. Как только наступает момент, когда упорядочивание в карте завершено, и погрешность квантования стабилизируется, добавляется новый слой нейронов, который влияет на ориентацию нейронов в карте и за счет более точного распределения нейронов по классам, уменьшает погрешность квантования.

В дальнейшем в ходе выполнении работы планируется реализовать представленные выше алгоритмы и провести исследование зависимости влияния топологии сети Кохонена на погрешность решения задачи классификации.

Список литературы:

1. Солдатова, О.П. Многофункциональный имитатор нейронных сетей [Текст]. – Международный журнал «Программные продукты и системы» – Тверь, 2012. – Вып. 3. – С. 27-31.
2. Осовский С. Нейронные сети для обработки информации [Текст]/ Пер.с польского И.Д.Рудинского. – М.:Финансы и статистика, 2002. – 344 с.

Интересная статья? Поделись ей с другими: