УДК 004.93

Использование компьютерного зрения для распознавания техники

Кульчицкий Александр Игоревич – студент МИРЭА – Российского технологического университета.

Макарчук Николай Сергеевич – студент МИРЭА – Российского технологического университета.

Калашников Григорий Алексеевич – студент МИРЭА – Российского технологического университета.

Аннотация: Статья рассматривает использование компьютерного зрения в беспилотных летающих аппаратах (БПЛА) для распознавания военных объектов. Представлены задачи, решаемые компьютерным зрением, в частности, его применение в интеллектуальных ассистентах БПЛА. Автор подчеркивает необходимость использования интеллектуальных ассистентов для повышения эффективности работы и снижения возможных ошибок, возникающих у оператора БПЛА. Статья будет полезна специалистам в области нейронных сетей, компьютерного зрения, разработки БПЛА.

Ключевые слова: БПЛА, нейронные сети, интеллектуальный ассистент, компьютерное зрение.

Развитие беспилотных летательных аппаратов (БПЛА) в последние годы привело к значительному увеличению их применения в различных отраслях, включая гражданскую авиацию, военные операции, мониторинг окружающей среды и другие области. БПЛА стали неотъемлемой частью современной технологической инфраструктуры и привнесли новые возможности в мир операций в воздушном пространстве.

Однако, с увеличением числа и сложности БПЛА возникают новые вызовы для операторов, которые ответственны за управление этими системами. Операторы сталкиваются с растущим объемом информации, которую необходимо обработать и проанализировать, а также с необходимостью принимать решения в реальном времени. В связи с этим, разработка интеллектуальных ассистентов оператора БПЛА становится все более важной задачей.

В данной статье рассматривается применение компьютерного зрения в интеллектуальных ассистентах БПЛА для распознавания техники. 

Компьютерное зрение - это область изучения, которая занимается анализом изображений и видео. Её специалисты стремятся улучшить методы обучения компьютеров распознавать объекты на изображениях и извлекать информацию из них. Это не так просто, как кажется, потому что компьютеры не видят, как люди, они не обладают нашим жизненным опытом и не могут легко распознавать объекты. Чтобы научить компьютеры понимать, что находится на изображении, используются методы машинного обучения, которые основаны на больших базах данных и анализе признаков и их комбинаций для распознавания объектов. Однако, иногда модели могут ошибаться, и в таком случае нужно дообучать их на новых наборах данных.

Идея компьютерного зрения возникла довольно давно, но точно неизвестно, когда именно. Однако, в 1959 году Дэвид Хьюбел и Торстен Визель, нейропсихологи из медицинского института Уилмера в США, опубликовали статью, затрагивающую эту тему. В своей работе они изучали свойства нейронов зрительной коры кошек и заметили, что зрительный опыт способен влиять на эти нейроны. Профессор Массачусетского технологического института Лоуренс Робертс также работал в схожем направлении и создал систему распознавания форм предметов, защитив на эту тему свою докторскую диссертацию в МТИ.

И действительно, очень скоро компьютеры научились распознавать статичные изображения, в 80‑х годах появились теории систем распознавания движущихся объектов на видео, а в 90‑х учёные работали над прототипами беспилотных автомобилей.

Люди поняли, что технологии компьютерного зрения могут использоваться везде, где есть какие‑либо изображения. А благодаря развитию интернета появились массивы оцифрованных изображений, которые можно было анализировать. Это позволило обучить компьютер. Сначала — распознавать текст на сканах документов. Постепенно задачи усложнялись. Так технологии дошли до обнаружения лиц и их почти мгновенного распознавания на фото и видео.

Оно применяется в различных отраслях, таких как робототехника, медицина, машинное зрение, биометрия, автоматическое распознавание лиц, безопасность, геоинформационные системы, игровая индустрия, визуализация и анализ данных, а также в других областях, где требуется обработка и анализ видео и изображений.

Целью данной статьи является исследование применения компьютерного зрения для разработки интеллектуального ассистента БПЛА.

Объектом исследования является компьютерное зрение.

Предметом исследования является применение компьютерного зрения в в интеллектуальном ассистенте БПЛА.

Практическая значимость данной работы заключается в том, что разработан способ сокращения ошибок в процессе использования БПЛА оператором и улучшения эффективности работы БПЛА, так как БПЛА становятся все более распространенными в различных областях, и операторы сталкиваются с увеличивающимся объемом информации и сложностью управления ими.

Компьютерное распознавание объектов - это процесс автоматического обнаружения, классификации и идентификации объектов на изображениях или видео с помощью компьютерных алгоритмов. Эта технология находит широкое применение в различных областях, таких как медицина, безопасность, транспорт, производство и многое другое.

Например, в медицине алгоритмы распознавания объектов используются для автоматического выявления инфекционных болезней, опухолей и других заболеваний на медицинских изображениях. В безопасности системы распознавания объектов используются для идентификации лиц, распознавания автомобильных номеров и детектирования опасных предметов на изображении.

В транспорте алгоритмы распознавания объектов применяются для обнаружения и идентификации транспортных средств, видеонаблюдения на дорогах, анализа трафика и предотвращения аварий. В производстве данная технология используется для контроля качества продукции, наблюдения за процессом производства и оптимизации рабочих процессов.

Также компьютерное распознавание объектов используется в различных изысканиях, например, для отслеживания вкусовых предпочтений потребителей на магазинных полках, анализа поведения пользователей в интернете и многое другое.

В целом, компьютерное распознавание объектов используется для автоматизации процессов, увеличения точности и скорости обработки данных, снижения затрат и повышения эффективности в различных отраслях экономики.

В данной статье рассматривается применение компьютерного зрения в БПЛА для распознавания техники.

Развитие технологий автономной мобильности и ИИ увеличивает с каждым годом технологический потенциал дронов.

Во-первых, системы компьютерного зрения, установленные на дронах, позволяют им собирать обширные визуальные данные (фото и видео) в виде фотографий или видео. Обработка этих данных с использованием технологий ИИ позволяет обладать такой информацией, которую было бы невозможно либо очень дорого получить с использованием традиционных методов, требующих участия человека.

В то время, как дрон собирает данные в режиме реального времени, интеллектуальная система принимает независимое от человека решение на основе обработанных данных. При этом, благодаря достижениям технологии компьютерного зрения с поддержкой ИИ, БПЛА получают заранее определенные GPS-координаты точек отправления и назначения с функцией поиска оптимального пути до нужной точки без вмешательства со стороны человека.

Чтобы дрон научился обнаруживать самые интересующий тип объектов (как статичных, так и находящихся в движении), его нужно обучать на большом количестве данных. Это реализовывается при помощи специализированных программ хранения и анализа данных для обучения технологии ИИ.

Во-вторых, беспилотники, использующие алгоритмы ИИ, все больше становятся автономными и независимыми от управления человеком, например, БПЛА самостоятельно могут определять направление и маршрут.

Компьютерное распознавание техники используется для обнаружения и идентификации таких объектов на фотографиях, видео и других изображениях. Это позволяет быстро и точно определять типы техники, оружия, зданий и других объектов.

Для этого используются различные методы машинного обучения, такие как нейронные сети, глубокое обучение, SVM и другие. В процессе разработки моделей компьютерного распознавания учатся на специализированных данных, включающих в себя фотографии и видео техники, а также информацию о их характеристиках.

Данные модели могут быть интегрированы в различные системы, например, беспилотные летательные аппараты, которые могут быстро сделать фото или видео техники и передать на обработку. Таким образом, компьютерное распознавание техники позволяет повысить эффективность разведывательной деятельности и улучшить принятие тактических решений.

Проблемой распознавания техники с помощью БПЛА занимается компания NeuroCore.

Модели искусственного интеллекта (ИИ) NeuroCore предварительно обучены и готовы к почти моментальному развертыванию. ИИ с дронов может идентифицировать любой объект, который мы его научим идентифицировать, будь то животные, люди или обычные предметы. Это дешевле, безопаснее и точнее, чем традиционные методы подсчета многочисленных активов с помощью ручного труда. Эти преимущества перевешивают затраты на развертывание.

ИИ берет в обработку данные сразу из нескольких источников:

• камеры наблюдения;
• дроны;
• спутники.

После того , как компьютерное зрение зафиксировало данные, оно обеспечивает точный подсчет людей, животных или объектов в потоке с помощью идентификация объекта или животного, которое оно обучено идентифицировать, и отправку данных лицам, принимающим решения.

Благодаря своей платформе компьютерного зрения модель используется в следующих задачах:

• Крупные фермы должны следить за большими стадами на большой территории.
• Национальные парки, заповедники и заповедники дикой природы должны иметь точный подсчет животных, которые у них есть.
• Большие склады, которые должны отслеживать тысячи коробок и товаров.
• Лаборатории для подсчета клеток.

К 2026 году мировой рынок коммерческих дронов ожидается в размере 34,5 млрд долларов с ежегодным ростом в 32%. С ростом доступности дронов для потребителей, количество снимков, полученных с них, также динамично увеличивается. Благодаря новым технологиям, компьютерные модели зрения становятся способными классифицировать изображения и обнаруживать объекты лучше или даже быстрее, чем человек.

Дроны или беспилотные летательные аппараты (БПЛА) используются в самых разных отраслях, включая:

• Природные ресурсы, для отслеживания популяций диких животных, мониторинга усилий по лесовосстановлению, отслеживания домашнего скота.
• Охрана, вести разведку и наблюдение.
• Экстренные службы, для поиска выживших или доставки медикаментов в отдаленные районы.

Интеллектуальные ассистенты могут значительно облегчить задачи операторов БПЛА и повысить эффективность и безопасность операций. Они способны обрабатывать огромные объемы данных, классифицировать информацию, анализировать образцы и предсказывать возможные события. Такие ассистенты могут стать надежными партнерами операторов, обеспечивая им важную поддержку в процессе принятия решений.

Для этих целей был разработан прототип интеллектуального ассистента БПЛА. Схема работы программы представлена на рисунке 1.

Рисунок 1. Схема работы программы интеллектуального ассистента БПЛА.

Для тестирования системы был использован дрон Mavic mini. Разработанная модель для передачи видеоизображения мастер-серверу использует только RTMP протокол.

RTMP (Real-Time Messaging Protocol) - это протокол передачи потокового видео и аудио данных в реальном времени через интернет.

RTMP использует два компонента для передачи данных: RTMP-сервер, который принимает потоковые данные от источника (например, дрона), и RTMP-клиент, который получает и воспроизводит эти данные или передает их другим пользователям. В качестве RTMP сервера был использован MonaServer.

Однако, стоит отметить, что RTMP протокол не является оптимальным выбором для передачи данных с БПЛА на сервер. В основном это связано с ограничениями, такие как высокая задержка.

Для решения задачи классификации объектов на изображения, была выбрана модель YOLO v.5. Набор данных состоит из 5 классов военной техники (Т-72, Т-72Б, МЛТБУ, УРАЛ, авт. “Тигр”). Размер оригинального набора - 300 изображений. После примененной аугментации набор увеличился до 3 тысяч изображений. Для аугментации применялись операции: поворот, сдвиг, поканальные изменение яркости и цвета, а также различные шумы. На рисунке 2 представлена демонстрация работы нейронной сети интеллектуального ассистента БПЛА.

Рисунок 2. Демонстрация работы нейронной сети интеллектуального ассистента БПЛА.

В дальнейшем планируется доработать алгоритм распознавания техники, улучшить работу интеллектуального ассистента для распознавания объектов при плохих условиях видимости, а также повысить точность распознавания объектов.

Подводя итоги, отметим, что ИИ позволяет БПЛА выполнять сложные задачи, которые раньше мог выполнять только человек. Хотя ИИ бесполезен без правильной настройки и интеграции в дрон, его возможности могут значительно расширить способности и эффективность БПЛА.

Список литературы

1. Перспективные области применения беспилотных летательных аппаратов Федосеева Н.А., Загвоздкин М.В: [Электронный ресурс]. URL: https://cyberleninka.ru/article/n/perspektivnye-oblasti-primeneniya-bespilotnyh-letatelnyh-apparatov/viewer. (Дата обращения 15.05.2023).
2. Компьютерное зрение для распознавания объектов с коптеров и дронов: [Электронный ресурс]. URL: https://neuro-core.ru/blogs/drone-object-detection (Дата обращения 10.05.2023).
3. Компьютерное зрение: от распознавания текста до изучения космоса: [Электронный ресурс]. URL: https://cloud.yandex.ru/blog/posts/2022/05/computer-vision (Дата обращения 07.05.2023).
4. Как ИИ применяется с промышленными беспилотниками: [Электронный ресурс]. URL: https://www.tadviser.ru/index.php/Новости:Как_ИИ_применяется_с_промышленными_беспилотниками (Дата обращения 15.05.2023).