УДК 004.93
Построение алгоритма определения событий в футбольном матче с использованием нейронных сетей
Ледовская Екатерина Валерьевна – кандидат технических наук, доцент МИРЭА – Российского технологического университета.
Нухкадиев Багаутдин Садрутинович – студент факультета Информационных технологий МИРЭА – Российского технологического университета.
Аннотация: В статье рассматривается метод определения событий на видеопотоке, основанный на сверточных нейронных сетях. Проведено исследование концепции отслеживания действий и реализован алгоритм, выполняющий отслеживание сущностей на игровом поле, классификацию игровых событий, визуализацию результатов.
Ключевые слова: распознавание действий человека, глубокое обучение, компьютерное зрение, анализ видео.
Современные технологии проникли практически во все сферы жизни, в том числе и в спортивный анализ. Одной из наиболее важных задач в спортивной аналитике является сбор данных о прошедших матчах и в особенности распознавание действий игроков. Потребность в автоматизации решения данной задачи связана с форматом данных, представленных видео файлами, а также с объёмом этих данных. [1]
Развитие технологий распознавания действий было обусловлено достижениями в области компьютерного зрения, машинного обучения и глубокого обучения. Ранние методы распознавания действий опирались на функции и алгоритмы, созданные вручную. Эти алгоритмы были основаны на правилах, которые обладали ограниченной точностью и масштабируемостью. [2] Однако, с появлением методов глубокого обучения и разработкой архитектуры сверточных нейронных сетей исследователям удалось достичь более высоких результатов в распознавании действий.
Распознавание действий в футбольном матче – задача компьютерного зрения. Эта задача заключается в автоматическом обнаружении и классификации таких действий игроков на футбольном поле, как пас, удар по воротам, удар головой, фол и т.д.
В спроектированном алгоритме необходимо реализовать логику определения действий. В процесс реализации входит:
- обучение модели детектора;
- реализация алгоритма трекинга;
- реализация логики владения мячом;
- реализация логики определения игрового события;
- реализация возврата обработанных данных в виде видео с визуальными аннотация и таблицы журналирования с отмеченными событиями.
Алгоритм имеет вид, представленный на Рисунке 1.
Рисунок 1. Алгоритм распознавания действий в спортивном матче.
Первым шагом в решении задачи распознавания действий является обучение модели-детектора, определяющей сущности на одном кадре. Детектором называется модель, решающая задачу определения типа объекта и пометкой его ограничивающим прямоугольником. [3]
Было определено, что детекция будет проводиться с помощью нейронной сети архитектуры YOLO версии YOLOv5, так как:
- Исключаются какие-либо проблемы со скоростью детекции большого числа сущностей. [4]
- Обновление и поддержка алгоритма комфортны благодаря схожему интерфейсу новых версий YOLO.
- Большое количество моделей данной архитектуры уже предобучены на различных типах данных.
Для обучения модели, способной определять сущности на футбольном поле, необходимы данные. [5] В данном случае это изображения футбольных полей с различным освещением и разнообразными условиями игры. Объекты, которые необходимо распознавать на изображениях, включают игроков, мяч, голкиперов, арбитров. Для каждого объекта на изображении указываются его координаты (левый верхний угол и правый нижний угол). Кроме того, указывается класс объекта, к которому относится изображение. [6]
Подробно размеченные данные позволили обучить детектор достаточно хорошо, чтобы он предоставлял необходимые данные для дальнейшего анализа. На Рисунке 2 представлен пример тренировочного изображения.
Рисунок 2. Результат работы детектора на одном кадре.
Для отслеживания объектов во времени реализован алгоритм трекинга. Трекинг – задача сопровождения объектов. [7] От детекции трекинг отличается тем, что необходимо не только определить объект в первом кадре, но и понять где он находится в следующем. Присваивание сущности, определенной на новом кадре, производится с помощью параметра IoU, который является отношением площади пересечения объектов к площади их объединения. Условием, при котором выполняется привязка нового положения объекта на новом кадре, является значение параметра IoU > 0.9. [8]
Таким образом, помеченные данные детектора и трекера о положении игроков и мяча в каждый момент матча позволяют определить владения мячом с помощью значения евклидова расстояния от мяча до ближайшего игрока. Переход владения мячом от одного игрока другому будет классифицироваться как передача мяча. Результатом работы алгоритма является видео с визуальными аннотациями, а также файл-таблица с классифицированными действиями.
На Рисунке 3 видно, что система смогла успешно определить игроков на поле, а также отличить их от судей. Также отдельными маркерами отмечены позиция мяча и игрок, владеющий мячом.
Рисунок 3. Результат работы разработанного алгоритма.
Таблица журналирования классифицированных событий содержит в себе следующие поля:
- идентификатор видео файла;
- время события;
- тип события;
- идентификаторы игроков в событии;
Пример результирующей таблицы журналирования представлен на Рисунке 4.
Рисунок 4. Таблица журналирования.
Тестирование показало, что разработанный алгоритм корректно определяет 78% передач и перехватов на футбольной видеотрансляции.
Список литературы
- Yi Zhu, Xinyu Li, Chunhui Liu. A Comprehensive Study of Deep Video Action Recognition. Amazon Web Services, 2020.
- Siyuan Qiao, Liang-Chieh Chen, Alan Yuille. DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution. Google Research, 2020.
- Soo Min Kang and Richard P. Wildes. Review of Action Recognition and Detection Methods. Department of Electrical Engineering and Computer Science York University, 2016.
- Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi. You Only Look Once: Unified, Real-Time Object Detection. University of Washington, 2016.
- Aditya Sangram Singh Rana. Event Detection in Football using Graph Convolutional Networks, 2023.
- Lei Li, Tianfang Zhang, Zhongfeng Kang, Wenhan Zhang. Design and Implementation of A Soccer Ball Detection System with Multiple Cameras, 2023
- Zahra Soleimanitaleb, Mohammad Ali Keyvanrad. Single Object Tracking: A Survey of Methods, Datasets, and Evaluation Metrics. Faculty of Electrical & Computer Engineering Malek Ashtar University of Technology, Iran.
- Yifu Zhang, Peize Sun, Yi Jiang, Dongdong Yu, Zehuan Yuan, Ping Luo, Wenyu Liu, Xinggang Wang. ByteTrack: Multi-Object Tracking by Associating Every Detection Box. Huazhong University of Science and Technology.