УДК 004.056

Киберугрозы в искусственном интеллекте

Научный руководитель Артем Максимович Гельфанд – старший преподаватель кафедры защищенных систем связи Федерального государственного бюджетного образовательного учреждения высшего образования Санкт-Петербургского государственного университета телекоммуникаций им. проф. М. А. Бонч-Бруевича.

Нечипуровский Дмитрий Игоревич – студент факультета инфокоммуникационных систем связи Федерального государственного бюджетного образовательного учреждения высшего образования Санкт-Петербургского государственного университета телекоммуникаций им. проф. М. А. Бонч-Бруевича.

Аннотация: В статье рассматриваются возможные кибер-угрозы в системе искусственного интеллекта. С ростом кибер-угроз и угроз безопасности в цифровой среде важность роли искусственного интеллекта в кибербезопасности становится все более очевидной. Эффективное использование алгоритмов машинного обучения, автоматизация обнаружения и реагирования на кибератаки, решение этических вопросов, связанных с использованием искусственного интеллекта в этой сфере, являются ключевыми аспектами современной кибербезопасности. В данной статье рассматриваются кибербезопасность, определяются преимущества и угрозы в искусственном интеллекте, а также обсуждаются этические аспекты этого вопроса.

Ключевые слова: искусственный интеллект, кибер-угрозы в искусственном интеллекте, кибератаки, алгоритмы на основе искусственного интеллекта.

Искусственный интеллект позволяет машинам учиться на опыте, приспосабливаться к новым входным данным и выполнять задачи, подобные человеческим. Большинство примеров искусственного интеллекта, о которых мы слышим сегодня — от компьютеров для игры в шахматы до самоуправляемых автомобилей - в значительной степени зависят от глубокого обучения и обработки естественного языка.

Поскольку технология искусственного интеллекта продолжает развиваться, вполне вероятно, что в будущем возможны более изощренные и сложные кибератаки с использованием искусственного интеллекта. Например, генеративно-состязательная сеть (GAN), класс платформ ML, может использоваться для создания «глубоких подделок» путем замены или манипулирования лицами или голосами на изображении или видео. Алгоритмы на основе искусственного интеллекта также могут подготавливать убедительные фишинговые электронные письма. Искусственный интеллект также можно использовать для повышения эффективности вредоносных программ. Вредоносное ПО, управляемое искусственным интеллектом, может использовать методы обучения с подкреплением, чтобы совершенствоваться и проводить еще более успешные атаки. Злоумышленники могут использовать обучающие данные для создания «черного хода» в алгоритме искусственного интеллекта. Злоумышленники также могут использовать искусственный интеллект, чтобы решить, какую уязвимость, скорее всего, стоит использовать. Это всего лишь несколько примеров кибератак с использованием искусственного интеллекта, которые уже вызывают серьезную озабоченность.

Атака искусственного интеллекта (атака ИИ) — это целенаправленное манипулирование системой искусственного интеллекта с конечной целью вызвать ее сбои. В отличие от традиционных кибератак, которые вызваны «ошибками» или человеческими ошибками в коде, атаки искусственного интеллекта возможны из-за ограничений, присущих базовым алгоритмам искусственного интеллекта, которые в настоящее время не могут быть исправлены. Кроме того, атаки ИИ фундаментально расширяют набор сущностей, которые могут быть использованы для выполнения кибератак. Впервые физические объекты могут быть использованы для кибератак (например, атака ИИ может превратить знак «Стоп» в зеленый свет в глазах беспилотного автомобиля, просто поместив несколько кусков ленты на сам знак «Стоп»). Данные также могут быть использованы в качестве оружия новыми способами с помощью этих атак, что потребует изменений в способах сбора, хранения и использования данных.

Эти атаки могут принимать различные формы, которые наносят удар по различным слабым местам в базовых алгоритмах:

Атаки на ввод: манипулирование тем, что вводится в систему

искусственного интеллекта, с целью изменения выходных данных системы для достижения цели злоумышленника. Поскольку по своей сути каждая система искусственного интеллекта является простой машиной — она принимает входные данные, выполняет некоторые вычисления и возвращает выходные данные, — манипулирование входными данными позволяет злоумышленникам влиять на выходные данные системы.

Отравление атак: повреждение процесса, в ходе которого создается

система искусственного интеллекта, таким образом, что результирующая система работает со сбоями так, как хочет злоумышленник. Одним из прямых способов выполнить атаку отравления является повреждение данных, используемых во время этого процесса. Это связано с тем, что современные методы машинного обучения, лежащие в основе искусственного интеллекта, работают, «обучаясь» тому, как выполнять задачу, но они «учатся» из одного источника и только из одного источника: данных. Данные — это вода, пища, воздух и настоящая любовь. Отравить данные, отравить систему искусственного интеллекта. Отравление также может поставить под угрозу сам процесс обучения.

Поскольку системы искусственного интеллекта интегрируются в критически важные коммерческие и военные приложения, эти атаки могут иметь серьезные последствия, вплоть до жизни и смерти. Атаки искусственного интеллекта могут использоваться несколькими способами для достижения вредоносной конечной цели:

Нанести ущерб: злоумышленник хочет нанести ущерб, вызвав сбой

в работе системы искусственного интеллекта. В качестве примера можно привести атаку, направленную на то, чтобы заставить автономное транспортное средство игнорировать знаки остановки. Атакуя систему искусственного интеллекта таким образом, что она неправильно распознает знак «Стоп» как другой знак или символ. Злоумышленник может заставить автономное транспортное средство проигнорировать знак «Стоп» и врезаться в другие транспортные средства и пешеходов.

Что-нибудь скрыть: злоумышленник хочет избежать обнаружения

системой искусственного интеллекта. В качестве примера можно привести атаку, направленную на то, чтобы вызвать сбои в работе контент-фильтра, которому поручено блокировать размещение террористической пропаганды в социальной сети, что позволяет материалу беспрепятственно распространяться.

Снижение веры в систему: злоумышленник хочет, чтобы оператор

потерял веру в систему искусственного интеллекта, что в итоге приведет к отключению системы. В качестве примера можно привести атаку, в результате которой автоматическая сигнализация системы безопасности ошибочно классифицировала обычные события как угрозы безопасности, вызывая шквал ложных срабатываний, которые могут привести к отключению системы. Например, атака на систему видеонаблюдения с целью классифицировать проходящую мимо бездомную кошку или упавшее дерево как угрозу безопасности может привести к отключению системы безопасности, что позволит реальной угрозе избежать обнаружения.

Атаки на ввод приводят к сбоям в работе системы искусственного интеллекта, изменяя входные данные, подаваемые в систему. Это делается путем добавления «шаблона атаки» к входным данным, например, внесения небольших изменений в цифровую фотографию, загружаемую в социальную сеть.

В заключение стоит отметить, что атаки ввода не требуют, чтобы злоумышленник повредил систему искусственного интеллекта и атаковал ее. Полностью современные системы искусственного интеллекта, которые отличаются высокой точностью и никогда не подвергались компрометации целостности, наборов данных или алгоритмов, по-прежнему уязвимы для атак ввода. И в отличие от других кибератак, сама атака не всегда использует компьютер. Эти атаки особенно опасны, потому что паттерны атак не обязательно должны быть заметными и даже могут быть совершенно незаметными. Злоумышленники могут изменять лишь небольшой аспект входных данных таким образом, чтобы разрушить шаблоны, ранее изученные моделью. Для атак на физические объекты, которые должны быть зафиксированы датчиком или камерой перед передачей в систему искусственного интеллекта, злоумышленники могут создавать небольшие изменения, которые достаточно велики, чтобы их можно было зафиксировать датчиком. Для атак на цифровые объекты, которые подаются непосредственно в систему искусственного интеллекта, такие как изображение, загруженное в социальную сеть, паттерны атак могут быть незаметны для человеческого глаза. Это связано с тем, что в этой полностью цифровой среде изменения могут происходить на уровне отдельных пикселей, создавая изменения, которые настолько малы, что буквально невидимы для человеческого глаза.

Список литературы

Гудфеллоу, И., Бенгио, Ю., и Курвиль, А. (2016). Глубокое обучение. Издательство Массачусетского технологического института.
Рассел, С. Дж., и Норвиг, П. (2020). Искусственный интеллект: современный подход. Пирсон.
Шалев-Шварц С. И Бен-Дэвид С. (2014). Понимание машинного обучения: от теории к алгоритмам. Издательство Кембриджского университета.
Брандейдж, М., Авин, С., Кларк, Дж., Таннер, Х., Экерсли, П., Гарфанкел, Б., ... & Цейтцофф, Т. (2018). Злонамеренное использование искусственного интеллекта: прогнозирование, предотвращение и смягчение последствий. препринт архива arXiv: 1802.07228.
Амодей В., Олах С., Стейнхардт О., Кристиано Р., Шульман О. и Ман В. (2016). Конкретные проблемы безопасности ИИ. архивный препринт arXiv: 1606.06565.
Волкогонов В. Н., Гельфанд А. М., Деревянко В. С. Актуальность автоматизированных систем управления //Актуальные проблемы инфотелекоммуникаций в науке и образовании (АПИНО 2019). – 2019. – С. 262-266.
Гельфанд А. М. и др. Разработка модели распространения самомодифицирующегося кода в защищаемой информационной системе //Современная наука: актуальные проблемы теории и практики. Серия: Естественные и технические науки. – 2018. – №. 8. – С. 91-97.
Орлов Г. А., Красов А. В., Гельфанд А. М. Применение Big Data при анализе больших данных в компьютерных сетях //Наукоемкие технологии в космических исследованиях Земли. – 2020. – Т. 12. – №. 4. – С. 76-84.
Котенко И. В. и др. Модель человеко-машинного взаимодействия на основе сенсорных экранов для мониторинга безопасности компьютерных сетей //Региональная информатика" РИ-2018". – 2018. – С. 149-149.
Волкогонов В. Н., Гельфанд А. М., Карамова М. Р. Обеспечение безопасности персональных данных при их обработке в информационных системах персональных данных //Актуальные проблемы инфотелекоммуникаций в науке и образовании (АПИНО 2019). – 2019. – С. 266-270.