УДК 004.93

Построение алгоритма определения событий в футбольном матче с использованием нейронных сетей

Ледовская Екатерина Валерьевна – кандидат технических наук, доцент МИРЭА – Российского технологического университета.

Нухкадиев Багаутдин Садрутинович – студент факультета Информационных технологий МИРЭА – Российского технологического университета.

Аннотация: В статье рассматривается метод определения событий на видеопотоке, основанный на сверточных нейронных сетях. Проведено исследование концепции отслеживания действий и реализован алгоритм, выполняющий отслеживание сущностей на игровом поле, классификацию игровых событий, визуализацию результатов.

Ключевые слова: распознавание действий человека, глубокое обучение, компьютерное зрение, анализ видео.

Современные технологии проникли практически во все сферы жизни, в том числе и в спортивный анализ. Одной из наиболее важных задач в спортивной аналитике является сбор данных о прошедших матчах и в особенности распознавание действий игроков. Потребность в автоматизации решения данной задачи связана с форматом данных, представленных видео файлами, а также с объёмом этих данных. [1]

Развитие технологий распознавания действий было обусловлено достижениями в области компьютерного зрения, машинного обучения и глубокого обучения. Ранние методы распознавания действий опирались на функции и алгоритмы, созданные вручную. Эти алгоритмы были основаны на правилах, которые обладали ограниченной точностью и масштабируемостью. [2] Однако, с появлением методов глубокого обучения и разработкой архитектуры сверточных нейронных сетей исследователям удалось достичь более высоких результатов в распознавании действий.

Распознавание действий в футбольном матче – задача компьютерного зрения. Эта задача заключается в автоматическом обнаружении и классификации таких действий игроков на футбольном поле, как пас, удар по воротам, удар головой, фол и т.д.

В спроектированном алгоритме необходимо реализовать логику определения действий. В процесс реализации входит:

  • обучение модели детектора;
  • реализация алгоритма трекинга;
  • реализация логики владения мячом;
  • реализация логики определения игрового события;
  • реализация возврата обработанных данных в виде видео с визуальными аннотация и таблицы журналирования с отмеченными событиями.

Алгоритм имеет вид, представленный на Рисунке 1.

1

Рисунок 1. Алгоритм распознавания действий в спортивном матче.

Первым шагом в решении задачи распознавания действий является обучение модели-детектора, определяющей сущности на одном кадре. Детектором называется модель, решающая задачу определения типа объекта и пометкой его ограничивающим прямоугольником. [3]

Было определено, что детекция будет проводиться с помощью нейронной сети архитектуры YOLO версии YOLOv5, так как:

  1. Исключаются какие-либо проблемы со скоростью детекции большого числа сущностей. [4]
  2. Обновление и поддержка алгоритма комфортны благодаря схожему интерфейсу новых версий YOLO.
  3. Большое количество моделей данной архитектуры уже предобучены на различных типах данных.

Для обучения модели, способной определять сущности на футбольном поле, необходимы данные. [5] В данном случае это изображения футбольных полей с различным освещением и разнообразными условиями игры. Объекты, которые необходимо распознавать на изображениях, включают игроков, мяч, голкиперов, арбитров. Для каждого объекта на изображении указываются его координаты (левый верхний угол и правый нижний угол). Кроме того, указывается класс объекта, к которому относится изображение. [6]

Подробно размеченные данные позволили обучить детектор достаточно хорошо, чтобы он предоставлял необходимые данные для дальнейшего анализа. На Рисунке 2 представлен пример тренировочного изображения.

2

Рисунок 2. Результат работы детектора на одном кадре.

Для отслеживания объектов во времени реализован алгоритм трекинга. Трекинг – задача сопровождения объектов. [7] От детекции трекинг отличается тем, что необходимо не только определить объект в первом кадре, но и понять где он находится в следующем. Присваивание сущности, определенной на новом кадре, производится с помощью параметра IoU, который является отношением площади пересечения объектов к площади их объединения. Условием, при котором выполняется привязка нового положения объекта на новом кадре, является значение параметра IoU > 0.9. [8]

Таким образом, помеченные данные детектора и трекера о положении игроков и мяча в каждый момент матча позволяют определить владения мячом с помощью значения евклидова расстояния от мяча до ближайшего игрока. Переход владения мячом от одного игрока другому будет классифицироваться как передача мяча. Результатом работы алгоритма является видео с визуальными аннотациями, а также файл-таблица с классифицированными действиями.

На Рисунке 3 видно, что система смогла успешно определить игроков на поле, а также отличить их от судей. Также отдельными маркерами отмечены позиция мяча и игрок, владеющий мячом.

3

Рисунок 3. Результат работы разработанного алгоритма.

Таблица журналирования классифицированных событий содержит в себе следующие поля:

  • идентификатор видео файла;
  • время события;
  • тип события;
  • идентификаторы игроков в событии;

Пример результирующей таблицы журналирования представлен на Рисунке 4.

4

Рисунок 4. Таблица журналирования.

Тестирование показало, что разработанный алгоритм корректно определяет 78% передач и перехватов на футбольной видеотрансляции.

Список литературы

  1. Yi Zhu, Xinyu Li, Chunhui Liu. A Comprehensive Study of Deep Video Action Recognition. Amazon Web Services, 2020.
  2. Siyuan Qiao, Liang-Chieh Chen, Alan Yuille. DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution. Google Research, 2020.
  3. Soo Min Kang and Richard P. Wildes. Review of Action Recognition and Detection Methods. Department of Electrical Engineering and Computer Science York University, 2016.
  4. Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi. You Only Look Once: Unified, Real-Time Object Detection. University of Washington, 2016.
  5. Aditya Sangram Singh Rana. Event Detection in Football using Graph Convolutional Networks, 2023.
  6. Lei Li, Tianfang Zhang, Zhongfeng Kang, Wenhan Zhang. Design and Implementation of A Soccer Ball Detection System with Multiple Cameras, 2023
  7. Zahra Soleimanitaleb, Mohammad Ali Keyvanrad. Single Object Tracking: A Survey of Methods, Datasets, and Evaluation Metrics. Faculty of Electrical & Computer Engineering Malek Ashtar University of Technology, Iran.
  8. Yifu Zhang, Peize Sun, Yi Jiang, Dongdong Yu, Zehuan Yuan, Ping Luo, Wenyu Liu, Xinggang Wang. ByteTrack: Multi-Object Tracking by Associating Every Detection Box. Huazhong University of Science and Technology.

Интересная статья? Поделись ей с другими: