УДК 339.54.012

Снижение размерности глобального анализа на сетки высокого разрешения на основе нейронных сетей

Сидоров Тимур Валерьевич – магистрант МИРЭА – Российского технологического университета

Аннотация: В статье рассматривается реализация улучшения исходных гидрометеорологических данных с использованием нейронных сетей. Гидрометеорологические данные могут содержать недостаточно количество данных для определения погодных условий в небольшом масштабе, поэтому ученые используют технологии уменьшения размерности и увеличения качества данных. В данной работе предлагается использовать возможности нейронных сетей, которые хорошо показали себя на увеличении разрешения изображений. Также отмечается использование мягких и жестких ограничений на работу нейронной сети. Результат показывает превосходство моделей, основанных на сверточных нейронных сетях с жесткими ограничениями над классическими интерполяционными моделями уменьшение размерности.

Ключевые слова: снижение размерности в гидрометеорологии, нейронные сети, гидрометеорология, функция активации, сверочная нейронная сеть.

Введение

Наличие точных гидрометеорологических данных играет важную роль для эффективного отслеживания изменения погоды, прогнозирования и отслеживанием изменением климата. Также они не только формируют наше глобальное понимание изменения климата, но и определяют прогнозы на локальном масштабе и глобальном, влияя на решения по адаптации к изменению климата и мотивируя действия по сокращению выбросов парниковых газов. Многие параметры, изучаемые в гидрометеорологии, такие как осадки, температура, скорость ветра и другие, имеют прямое значение на жизнь человека, развития сельского хозяйства, планированию строительства, энергетику. Но многие модели прогнозирования способны даже с использованием суперкомпьютеров прогнозировать результаты на карту низкого разрешения, в то время как для регионального прогноза это будет недостаточно. Анализ климатических карт высокого разрешения способен решить эту проблему.

Методология

Гидрометеорологические данные, такие как температура, осадки, влажность и другие параметры, обычно доступны на крупных пространственных масштабах, например, на уровне региона или страны. Однако для предсказания климата, к примеру, как прогноз погоды в конкретном месте или моделирование гидрологических процессов, необходимы данные на более мелких пространственных масштабах, например, на уровне населенных пунктов на карте [1].

Метод уменьшение размерности (далее даунскейлинг) с использованием CNN [2] позволяет прогнозировать данные на более мелком масштабе, используя статистические зависимости и паттерны, выявленные в исходных данных. CNN — это тип нейронной сети, специально разработанный для обработки двухмерных структурированных данных, таких как изображения или карты.

Применение CNN в гидрометеорологии имеет ряд преимуществ. Сверточные слои слои CNN могут обнаруживать локальные паттерны и зависимости в пространственных данных. Например, они могут распознавать особенности местности, влияющие на распределение осадков или температуры в разных частях региона.

Даунскейлинг с CNN может учитывать нелинейные связи между различными переменными. Гидрометеорологические процессы могут быть сложными и зависеть от нескольких факторов одновременно. CNN может автоматически извлекать и учитывать эти зависимости, что позволяет более точно предсказывать данные на мелком масштабе [3].

Зачастую, для решения задачи даунскейлинга применяется понятие бикубической интерполяции. Бикубическая интерполяция является методом восстановления пикселей при даунскейлинге изображений, который обеспечивает более точное и гладкое восстановление изображения. При данном методе используются сплайн-функции высокого порядка для аппроксимации новых значений пикселей на основе соседних пикселей в исходном изображении. Предположим, что есть такое значение функции f(x,y) в точке p(x,y) квадрата размерностью 1x1, тогда общий вид бикубической интерполяции может быть следующим:

(1)

где – коэффициент в точке (), и – значения в точке ().

Описание модели

Основная задача, решаемая в данной статье – предсказание пикселей данных большего масштаба по данным пикселя низкого масштаба:

(2)

где – величина понижения размерности, – величина, прогнозируемая в высоком разрешении для низкого разрешения, – пиксель изображения низкого качества. Под пикселями понимаем значение на участке данных с координатой (), где – координатная сетка исходных данных.

Для построения климатических карт с более высоким разрешением требуются определенные ограничения, которые в нейронных сетях могут быть мягкими или жесткими. Пример мягких ограничений для функции потерь L приведены в следующих уравнениях:

, (3)

, (4)

где параметр значимости ограничения, — средний квадрат ошибок, в данном случае между , значение – значение входного пикселя, а параметр – значения выходного пикселя.

Мягкие ограничения введены в моменте определения функции потерь, в то время как жесткие ограничения, о которых говорится в этой статье, можно использовать в самой архитектуре нейронной сети для получения более точного результата путем ограничения на последнем слое архитектуры [1] (Рисунок 1).

Рисунок 1. Архитектура сети слоем ограничения в конце.

Архитектура сети состоит из слоя двумерной свертки, функции активации ReLU, транспонированной или дробно-ступенчатой свертки, остаточного блока, а также блока ограничений на последнем этапе [3]. Следует отметить, что блок ограничений состоит из трех различных слоев активации аддитивного, мультипликативного и классического ограничения. Аддитивное ограничение представлено следующим уравнением:

, (4)

где – величина, прогнозируемая в высоком разрешении для низкого разрешения, – пиксель изображения низкого качества, — величина промежуточного слоя до момента блока ограничений, – величина понижения размерности. Соответсвенным образом выглядит мультипликативное ограничение:

 . (4)

Классическое ограничение выглядит следующим образом:

. (5)

Данные

Современные гидрометеорологические и климатологические исследования и прогнозирование требуют доступа к большим объемам высококачественных данных. Одним из самых популярных и широко используемых наборов данных является ERA5 – это набор данных климата, разработанный Европейским центром среднесрочных прогнозов погоды (ECMWF). Он представляет собой высококачественный глобальный климатический набор данных, содержащий информацию о различных переменных погоды и климата на протяжении десятилетий.

ERA5 основан на численной модели атмосферы и океана, которая использует математические уравнения для воссоздания прошлых и настоящих условий атмосферы и океана. Этот процесс реанализа объединяет исходные наблюдения с физическими моделями, чтобы создать единый набор данных, представляющий состояние климата в прошлом.

В этой статье данные ERA5 были получены через Climate Data Store (CDS) API, который обеспечивает удобный доступ к различным наборам данных, включая ERA5. Набор значений был разделен на обучающую (60 000 значений) и тестовую выборку(12 000 значений).

Результаты

Результаты представленные в виде показаний метрик, таких как, и где N – размер тестовой выборки, в данном случае 12 000 значений.

Таблица 1. Результаты работы.

№	Модель	Ограничения модели	RMSE	MAE
2	Сверочная нейронная сеть	Нет	0.248	0.102
2	Сверочная нейронная сеть	Аддитивное	0.221	0.095
2	Сверочная нейронная сеть	Мультипликативное	0.227	0.093
2	Сверочная нейронная сеть	Классическое	0.294	0.142
2	Бикубическая интерполяция	Нет	0.353	0.147
4	Сверочная нейронная сеть	Нет	0.685	0.332
4	Сверочная нейронная сеть	Аддитивное	0.567	0.285
4	Сверочная нейронная сеть	Мультипликативное	0.602	0.259
4	Сверочная нейронная сеть	Классическое	0.789	0.396
4	Бикубическая интерполяция	Нет	0.792	0.387

Дальнейшая работа

Дальнейшая работа предусматривает исследование и разработку различных архитектур, которые могут достичь результатов, превосходящих классические методы, такие как бикубическая интерполяция. Бикубическая интерполяция является широко применяемым методом, но она все же имеет свои ограничения в плане точности восстановления деталей и сохранения структуры в уменьшенных изображениях.

Одним из подходов, которые могут быть исследованы, является использование нейронных сетей для даунскейлинга в гидрометеорологии. Нейронные сети имеют большой потенциал для извлечения сложных пространственных зависимостей в данных гидрометеорологических наблюдений и моделей. С использованием глубоких нейронных сетей можно разработать архитектуры, специально настроенные для задач даунскейлинга в гидрометеорологии [4].

Другим направлением исследований может быть применение методов обработки изображений, основанных на машинном обучении, таких как генеративно-состязательные сети (GAN) [5] или вариационные автоэнкодеры (VAE). Эти архитектуры могут быть обучены на большом объеме гидрометеорологических данных, чтобы научиться извлекать информацию о структуре и деталях изображений и генерировать более точные и реалистичные уменьшенные изображения [6].

Заключение

Проведенные исследования подтверждают, что применение сверточных нейронных сетей для уменьшения размерности данных в гидрометеорологии демонстрирует превосходство по сравнению с классическими интерполяционными методами. Это позволяет достичь более точного и качественного восстановления уменьшенных изображений и данных. Стоит также отметить увлечение качества метрик при использовании слоев ограничения, что позволяют более точно решать задачу даунскейлинга в гидрометеорологии.

Список литературы

1. Гайс Э., Сильва С.Дж. и Хардин Дж.К. Даунскейлинг атмосферных химических симуляций с помощью физически согласованного глубокого обучения. Geoscientific Model Development17 (2022): 6677-6694.
2. Чуа Л.О. и Роска Т. Парадигма CNN, в IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications, vol. 40, 3, pp. 147-156, March 1993, doi: 10.1109/81.222795.
3. Гуо Дж. и Гулд С. Глубинный отсев: Эффективное обучение остаточных сверточных нейронных сетей, 2016 Международная конференция по вычислению цифровых изображений: Techniques and Applications (DICTA), Gold Coast, QLD, Австралия, 2016, стр. 1-7, doi: 10.1109/DICTA.2016.7797032.
4. Адевойн Р.А. TRU-NET: подход глубокого обучения к прогнозированию осадков с высоким разрешением. Machine Learning 110 (2021): 2035-2062.
5. Харрис Л. Генеративный подход глубокого обучения к стохастическому понижению прогнозов осадков. Journal of Advances in Modeling Earth Systems10 (2022): e2022MS003120.
6. Геттер Д. Статистическая обработка сверхразрешения сверточной нейронной сети внутреннего приземного ветра для количественной оценки изменчивости субсетевого масштаба. arXiv: 2211.16708 (2022).