УДК 004.032.26

Нейродифференциальные уравнения задач педагогического мониторинга

Галимянов Анис Фуатович – доцент кафедры билингвального и цифрового образования и доцент кафедры информационных систем Казанского (Приволожского) федарального университета

Галимянов Ринат Анисович – аспирант Казанского государственного энергетического университета

Аннотация: Для моделирования педагогических процессов и прогнозирования, а также влияния отдельных параметров на педагогический результат предлагается использовать искусственные нейронные сети. В этих целях предлагается использовать нейронную сеть с Residual архитектурой. Для моделирования этой сети предложено дробно-интегральное уравнение с дробным производным Римана-Лиувилля.

Ключевые слова: нейронные сети, residual архитектуры, дробно-дифференциальные уравнения.

Самымии часто используемыми методами для исследования самых различных показателей и процессов в педагогических исследованиях являются статистические методы. Это классическое исследование и оно имеет стандартную структуру. Обычно в состав данной структуры включаются экспериментальная и контрольная группы и в целях чистоты эксперимента предполагается, что между ними нет различий. Затем проводится сам эксперимент, когда в контрольной группе используется традиционная, или “старая” методика, или там отсутствуют те условия, что были (или будут) в экспериментальной группе, а в экспериментальной группе применяется нововведение. Затем статистическими методами изучается влияние нововведения на педагогический результат. А потом, на основе статистической обработки результатов эксперимента, делается вывод о целесообразности применения этого нововведения в педагогический процесс.

Но на практике, когда вводится то или иное нововведение, или выполняется проверка воздействия какого-либо параметра на другие параметры, очень трудно добиться стерильной чистоты эксперимента, что отмечается во многих работах. Например, в статье Остапенко отмечается, что “Анализ диссертационных исследований по психолого-педагогическим специальностям, проведенный Д.И. Фельдштейном, показал, что “реальное состояние педагогических и психологических исследований при разном, разумеется, уровне их проведения, не соответствует по многим параметрам требованиям, предъявляемым современной действительностью, характеризуясь заниженной планкой этих требований”. К тому же автором отмечается, что в исследованиях по педагогике и психологии «имеет место узкий научный кругозор и наивный эмпиризм многих соискателей … экспериментальная слепота, состоящая в слабой прогнозируемости результатов опытных разработок, их уместности, обоснованности, глубине и эффективности воздействия, недостаточная корректность применяемых методов и методик». Поэтому необходимо тщательно подобрать коррелируемые параметры и обосновать выбор. Одновременно надо быть готовым к тому, что самые неожиданные группы параметров могут скоррелироваться.

Таким образом, в реальных условиях обработка статистическими методами, точнее, средствами корреляционного анализа имеющиеся параметры в целях обнаружения связей между ними допустимо, но в условиях не очень большого количества данных могут иногда давать неверные результаты. Поэтому необходимо использовать более современные средства исследования, которыми являются искусственные нейронные сети.

Задачами моделирования педагогических процессов и прогнозирования, а также влияния отдельных параметров на педагогический результат является выявление перспективы ближайшего или более отдаленного будущего в рассматриваемой области на основе реальных результатов деятельности и выработка оптимальных тенденций и перспективных планов с учетом составленых данных по прогнозу и оценки принятого решения с позиций последствий для прогнозируемых параметров.

Построение моделей педагогических процессов можно осуществлять на основе рядов динамики. На динамический ряд имеют влияние множество параметров. Ряд можно построить как по времени, так и по другим параметрам. В составе динамического ряда по самым разным параметрам можно выделить три компоненты:

  • общую тенденцию развития, или тренд;
  • колебания относительно тренда (они могут быть регулярными (типа циклов) и нерегулярными;
  • 3) остаток, или случайную компоненту, отражающую влияние самых разных факторов стохастического характера.

Одно из самых важных задач исследования динамических рядов это установление общих закономерностей, или тенденций. Это можно осуществить как при помощи традиционных математических методов, например, сглаживания, или с применением современных методов, к которым относятся нейросетевые технологии. Они позволяют решать задачи, опираясь в том числе и на неполную, зашумленную, искаженную информацию, какой в сущности и являются реальные экспериментальные педагогические данные.

Нейронной сетью является система, которая состоит из множества простых вычислительных элементов (нейронов), которые связаны между собой определенным образом. Наибольшее распространение и употребление имеют нейронные сети, в которых нейроны объединены в слои. Слой – это совокупность нейронов, на которые в каждый такт времени поступает параллельно информация от других нейронов данной сети, то есть входы данных нейронов соединяются с выходами других нейронов и сигнал от одного элемента сети передается другим. После построения сети, то есть после определения количества слоев и числа элементов, сеть обучается, то есть определяются значения весов и поргов сети для минимизации ошибки прогноза, выдаваемого сетью. Ошибка же для конкретной конфигурации сети определяется путем прогона через сеть данных от всех имеющихся наблюдений и сравнения реальных выходных данных с целевыми значениями. Таким образом, процесс обучения есть подгонка модели, реализуемой сетью к имеющимся данным, при помощи которых идет обучение сети.

Как мы уже упоминали в своих предыдущих работах, в настоящее время стали популярными Residual архитектуры нейронных сетей. Они используют механизм residual связей. При анализе больших массивов данных примером такой архитектуры является ResNet. Данную архитектуру можно использовать для произвольных структур больших массивов данных, в том числе и для результатов педагогических исследований.

Можно утверждать, что ResNet является остаточной нейронной сетью. Остаточная нейронная сеть ResNet является искусственной нейронной сетью, ее прототип – пирамидальные ячейки головного мозга. Остаточные нейронные сети имеют ту особенность, что для прохождения некоторых слоев они могут использовать пропуски. Обычные модели ResNet могут пропустить две или три слоя, там могут быть также нелинейности и пакетная нормализация. Для них можно использовать дополнительную матрицу, он используется для определения пропущенных весов связей. Эти модели известны под именем HighwayNets. Модели с несколькими пропусками называются DenseNets.

Остаточные сети лучше моделируют мозг, поскольку нейроны коркового слоя получают данные от первого слоя, минуя промежуточные сети.

Рассмотрим математическую модель описанного механизма связи. Допустим, стандартный слой принимает на вход результаты работы предыдущих t слоев сети – представление ht. Тогда выход сети определяется как [1]:

image002

где image003– это какое-то нелинейное преобразование, задающееся на практике с помощью полносвязанных, сверточных слоев, их комбинаций и нелинейности.

Если сейчас допустим, что image003совпадает по размерности с ht, тогда слоем с residual – связью называется пеобразование

image004(1)

где в векторном случае суммирование происходит поэлементно.

Как указывается авторами ResNet, описанный слой позволяет сети легко сохранять информацию о предыдущих слоях. Благодаря этому, удалось существенно увеличить глубину сетей, не теряя при этом качества [1].

Нейронные обыкновенные и дробные дифференциальные уравнения. Рассмотрим в уравнении (1) представление ht как функцию от t, то есть image005. Тогда, выполняя несложные преобразования и добавив в image006зависимость от image007, получим:

image008

image009

В полученном выражении рассмотрим функцию image010на некотором отрезке [a,b] как непрерывную функцию от непрерывного аргумента и перейдем к производную, то есть запишем в следующем виде:

image011

и устремив количество слоев к бесконечности, находим:

image012(2)

Рассмотрим более гибкий случай моделирования. Как обобщение производных целого порядка, применяются дробные производные. Дробные производные на практике применяются активно, например, для моделирования распространения нейтронов, в биологии, оптике и др. В нашем случае это позволяет более гибко смоделировать нелинейность и пропуски слоев.

Определение [3]. Пусть image013Тогда интегралы

(image014

(image015

где image016, называются соответственно левосторонним и правосторонним дробными интегралами Римана-Лиувилля порядка image017.

Определение [3]. Для функции image018, заданной на отрезке image019каждая из формул

(image020

(image021

соответственно определяют дробную производную Римана-Лиувилля порядка image022и эти производные называются соответственно левосторонней и правосторонней.

Таким образом, вместо уравнения (2) предлагается следующее модельное уравнение (Рассмотрим только левосоронний случай, правосоронний аналогично):

image023(3)

Данное уравнение можно решить прямыми методами, а также при помощи нейронных сетей.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта “Цифровая модель формирования индивидуальной траектории профессионального развития учителя на основе больших данных и нейросетей (на примере Республики Татарстан)”, № 19-29-14082

Список литературы

  1. Kaiming He and Xiangyи Zhang and Shaoqing Ren and Jian Sиn. (2015) Deep Residual Learning for Image Recognition. CoRR.
  2. Galfmyanov A.F., Vorontsova V.L., Gorskaya T.Y., Approximate methods for the equations with fractional differential operator//Global Journal of Pure and Applied Mathematics. – 2015. – Vol.11, Is.6. – P.5133-5144.
  3. Caмкo C.Г., Kuлбac A.A., Mapичeв O.H., Интегралы и производные дробного порядка и некоторые их приложения. – Минск: Hayкa и техника, 1987. – 688c.
  4. Vaswani, Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser L., Polosukhin I. (2017). Attention Is All You Need. NIPS.
  5. Chen, Tian Qi and Rubanova, Yulia and Bettencourt, Jesse and Duvenaud, David K (2018) Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems 31, 6571-6583 NIPS2018.

Интересная статья? Поделись ей с другими: