УДК 004

Прогнозирование ошибок при помощи нейросетей как способ увеличения точности прогноза погоды

Литвинов Антон Андреевич – магистрант МИРЭА – Российского технологического университета

Аннотация: В статье рассматривается метод увеличения точности прогноза полей осадков посредством прогнозирования ошибок при помощи искусственных нейронных сетей.

Ключевые слова: наукастинг, поля осадков, нейронные сети, прогнозирование ошибок, многослойный персептрон.

Введение

В настоящее время, существуют различные методы прогнозирования полей осадков, применяемые по всему миру. В частности, во ФГБУ "Гидрометцентр России", одна из систем представляет собой комбинацию системы ансамблевого краткосрочного прогноза (STEPS) и прогноза мезомасштабной модели COSMO-RU [1].

Однако, данная система обладает ошибками прогнозирования, которые увеличиваются по мере увеличения срока прогноза [2].

Одним из способов увеличения точности прогноза, может стать прогнозирование отклонений, которые возникают в комплексных прогнозах. Одним из методов прогнозирования может быть применение различных моделей искусственных нейронных сетей.

Описание метода

Исходные данные представляют из себя матрицу числовых значений, которые в дальнейшем переводятся в графическое изображение при помощи специализированного ПО [1]. Для решения задачи можно обозначить две возможные архитектуры:

  • сверточные нейронные сети [3];
  • многослойные персептроны [4].

Первый тип нейросетей целесообразно применять в том случае, если мы используем данные большого размера в изначальном, матричном виде, так как сверточные нейронные сети предназначены для обработки данных, имеющих топологию в виде сетки

Второй тип подойдет в том случае, если мы используем данные небольшой размерности. Например, это может быть, когда размерность была сознательно уменьшена в целях облегчения данных для тестирования новых моделей и проверки гипотез. Для использования данного метода будет необходимо использовать данные в виде одномерного массива.

Задача нейронной сети – спрогнозировать значения ошибок на основе входных данных радарных наблюдений.

Рассмотрим применение второго типа нейронных сетей.

Работа с данными

В качестве исходных данных имеем следующее:

  • Input – Объединенные поля радиолокационных наблюдений. 17424 файла;
  • Output – 180-ти минутный прогноз на основе STEPS и COSMO-RU. 16943 файлов.

Регион: Центральный федеральный округ.

Период испытаний: июнь – сентябрь 2020 г. ("теплый период года"),

В каждом файле содержится матрица 5х5 числовых значений интенсивности осадков, которые в дальнейшем могут быть преобразованы в графическую карту осадков (рисунок 1).

1

Рисунок 1. Содержание файлов.

Предварительная обработка файлов заключает в себя следующие этапы:

  1. Преобразование данных в виде матрицы в одномерные массивы длинной в 25 элементов
  2. Имена файлов преобразуются в формат (ДД.ММ.ГГГГ ЧЧ.ММ)
  3. Для файлов из папки output к дате прибавляется три часа
  4. Далее из папки input удаляются все файлы, имен которых нет в папке output (так как некоторые прогнозы отсутствуют).
  5. Предыдущий шаг повторяется для output
  6. После этого создаются файлы в папке error, значения которых равны input – output. Значения берутся по модулю.

Далее, данные из папок input и error соотносятся друг с другом по времени и все значения объединяются в одну структуру при помощи библиотеки Pandas языка Python

Данные разбиваются на обучающую и тестовую выборки в соотношении 80/20 процентов.

Создание тестовой модели

В качестве оптимизатора был использован Adamax

Количество эпох: 200

В качестве функции потерь и валидации использовалась среднеквадратичная ошибка (MSE)

В структуре сети применяется слой нормализации данных и Dropaut – слои [5].

Архитектура нейронной сети изображена на рисунке 2.

2

Рисунок 2. Архитектура нейронной сети.

График функции обучения и валидации изображен на рисунке 3.

3

Рисунок 3. Значения функций обучения и валидации.

Из графика на Рисунке 3 видно, что переобучение наступает примерно после 75 эпохи. Значение функции валидации, которого удалось достигнуть – 0,0123

Распределение ошибок в изначальных данных является следующим:

  • минимальная ошибка – 0;
  • максимальная ошибка – 5,7608;
  • средняя величина ошибки – 0,065.

Заключение

В результате, был описан метод, который позволит увеличить точность прогноза либо путем автоматической коррекции прогнозируемых значений, либо путем ручного контроля за слишком большими возникающими ошибками.

Так же была приведена тестовая архитектура нейронной сети, которая способна решать данную задачу и приведены результаты ее работы.

Список литературы

  1. Наукастинг метеорологических параметров и опасных явлений: опыт реализации и перспективы развития // Гидрометеорологические исследования и прогнозы. 2019 № 4 (374). С. 92-111.
  2. Муравьев А.В., Киктев Д.Б., Смирнов А.В. Сравнительная верификация усовершенствованной системы радарного наукастинга осадков с учетом пропусков и при различных методах формирования выборок (по результатам испытаний в теплый период года май-сентябрь 2017 и 2020 гг.) // Результаты испытаний новых усовершенствованных технологий, моделей и методов гидрометеорологических прогнозов. 2022. С. 3-56.
  3. Сверточная нейронная сеть (CNN) // Электронный ресурс https://www.helenkapatsa.ru/sviortochnaia-nieironnaia-siet / Дата обращения: 25.05.2023
  4. Глава 4. Персептроны // Электронный ресурс https://neural.radkopeter.ru/chapter/персептроны/ Дата обращения: 25.05.2023
  5. Dropaut – метод решения проблемы переобучения в нейронных сетях // Электронный ресурс https://habr.com/ru/companies/wunderfund/articles/330814/ Дата обращения: 25.05.2023.

Интересная статья? Поделись ей с другими: