УДК 004

Обзор существующих атак на системы, основанные на искусственном интеллекте

Сивков Дмитрий Игоревич – аспирант факультета Безопасности информационных технологий Университета ИТМО

Калугина Алёна Сергеевна – аспирант факультета Безопасности информационных технологий Университета ИТМО

Аннотация: В данной статье проанализированы различные атаки на системы, основанные на искусственном интеллекте. Рассмотрены различные методы атаки, такие как атаки на обученные модели, атаки на системы автоматического принятия решений и атаки на системы идентификации и распознавания. Были исследованы основные уязвимости и угрозы, с которыми сталкиваются такие системы. Также в статье были предложены основные меры безопасности и рекомендации по защите от подобных атак.

Ключевые слова: атаки, искусственный интеллект, обучение моделей, системы автоматического принятия решений, идентификация, распознавание, уязвимости, меры безопасности.

Введение

Под искусственным интеллектом (ИИ) понимается раздел науки и техники, который специализируется на проектировании, а также, создании программ, способов выполнения ряда задач и алгоритмов, выполняемых в обыденной жизни человеком. Искусственный интеллект развивается достаточно быстро, внедряясь при этом во все области человеческой жизни. Таким образом, можно отметить, что одним из наиболее значимых достижений является способность ИИ машинному обучению. Это означает тот факт, что компьютерные программы могут иметь возможность извлекать знания из больших данных и систем, со временем улучшая функциональность. Благодаря такой возможности, искусственный интеллект получил возможность решать сложные задачи, как, например, идентификация образов, классификацию объектов, голосовое управление командами и др.

Также ИИ используется во многих прочих областях — медицина, автомобильная промышленность, финансы и технологии. В области медицины ИИ способны помогать в диагностике и лечении ряда заболеваний, а также, оптимизации специального медицинского оборудования. В области автомобильной промышленности ИИ используют с целью создания беспилотных автомобилей и оптимизации производственных процессов по их изготовлению. В области технологий ИИ используют с целью создать умные устройства, устройства, управляемые голосом и роботы.

Технологии начинают повышать нашу жизнь в значительной мере: от простой покупки до повышения качества медицинской помощи. Его ценность для бизнеса стала неоспоримой: почти 80 руководителей компаний, внедряющих ИИ, уже видят умеренную выгоду от него. Хотя широкое использование ИИ в бизнесе пока находится на стадии разработки, и вопросы о темпах и возможностях развития остаются огромными [1]. Исследование Глобального Института Искусственного Интеллекта свидетельствует о том, что к 2030 году искусственный интеллект может привести к дополнительному глобальному объему развития на 13,3 трлн. долл. [2].

Однако, хотя ИИ используется потребителями, и это ценность бизнеса, то он также приводит к многочисленным нежелательным и, порой, серьезным последствиям. И хотя в этой статье обращается внимание на искусственный интеллект, эти побочные эффекты и способы их предотвращения и профилактики применяются в одинаковой степени и для каждого продвинутого аналитика. Самые очевидные из них – нарушения и дискриминация, несчастные случаи, манипуляции, такие как политические системы, например [3].

Цель исследования – рассмотреть существующие атаки на систему ИИ и выяснить их характеристики.

Материалы и методы исследования

Установление основных значений для системы ИИ и предполагаемых нападений, которые, в свою очередь, могут быть использованы для произведения нелегального доступа и нанесения материального ущерба.

Результаты исследования и их обсуждение

Прежде всего, ниже приводятся пять критичных моментов, могущих привести к возникновению рисков, связанных с ИИ.

1. Трудности с обработкой и получением данных. Прием, сортировка, связывание и правильное использование данных становятся все более трудными, поскольку объем неструктурированных данных, получаемых из таких источников, как Интернет, социальные сети, мобильные устройства, датчики и Интернет вещей, увеличивается. В результате легко стать жертвой таких ошибок, как непреднамеренное использование или раскрытие конфиденциальной информации, скрытой среди анонимизированных данных. Например, хотя имя пациента может быть удалено из одного раздела медицинской карты, используемой системой искусственного интеллекта, оно может присутствовать в разделе записи врача. Такие соображения важно учитывать руководителям, поскольку они работают над тем, чтобы соблюдать правила конфиденциальности, такие как Общий регламент по защите данных Европейского Союза (GDPR) или Калифорнийский закон о конфиденциальности потребителей (CCPA), и иным образом управлять репутационным риском.
2. Проблемы с безопасностью. Еще одна возникающая проблема — это возможность мошенников использовать, казалось бы, не конфиденциальные маркетинговые, медицинские и финансовые данные, которые компании собирают для использования в системах искусственного интеллекта. Если меры безопасности недостаточны, можно связать эти нити качественнее, чтобы создать ложные личности. Хотя компании-мишени (которые в противном случае могли бы быть очень эффективными в защите личной информации) являются невольными соучастниками, они все равно могут столкнуться с негативной реакцией потребителей и регулятивными последствиями.
3. Сбои функционирования ИИ. Модели ИИ сами по себе могут создавать проблемы, когда они дают предвзятые результаты (что может произойти, например, если информация недостаточно представлена в данных, используемых для обучения модели), становятся нестабильными или дают выводы, к которым у пострадавших нет действенных средств правовой защиты. своими решениями (например, кто-то отказал в кредите, не зная, что можно сделать, чтобы отменить это решение). Например, когда поставщики представляют новые интеллектуальные функции — часто без особой необходимости — они также представляют модели, которые могут взаимодействовать с данными в системе пользователя, создавая неожиданные риски, в том числе создавая скрытые уязвимости, которыми могут воспользоваться хакеры. Подразумевается, что лидеры, считающие, что они в безопасности, если их организация не приобрела и не создала системы искусственного интеллекта или только экспериментирует с их внедрением, вполне могут ошибаться.
4. Проблемы с взаимодействием. Проблемы в автоматизированных транспортных, производственных и инфраструктурных системах. Несчастные случаи и травмы возможны, если операторы тяжелого оборудования, транспортных средств или других механизмов не понимают, когда системы должны быть отключены, или медленно отключают их, потому что внимание оператора сосредоточено на чем-то другом – это явная возможность в таких приложениях, как беспилотные автомобили. И наоборот, человеческое суждение также может оказаться ошибочным при отмене результатов системы.

За кулисами в организации, занимающейся анализом данных, ошибки сценариев, упущения в управлении данными и неверные суждения в данных обучения модели легко могут поставить под угрозу целостность, конфиденциальность, безопасность и соответствие требованиям. Персонал, работающий на передовой линии, также может непреднамеренно внести свой вклад, например, когда отдел продаж, более опытный в продажах определенной демографической группе, непреднамеренно обучает инструмент продаж на основе искусственного интеллекта, чтобы исключить определенные сегменты клиентов.

Приведенные примеры, классификации не только показывают будущие проблемы, но и помогают выяснить и определить приоритетность  риска и его основные причины [4].

Интеллектуальные технологии используются как для того, чтобы защитить от вредоносной атаки, но также для поддержки их: можно отметить тот факт, что технология имеет двустороннее предназначение [5].

Ниже будет дана классификация состязательных атак на ИИ.

Таблица 1. Классификация состязательных атак.

Виды атак	Описание
Атака с подавлением	Попытка остановить или подавить работу ИИ
Атака с искажением	Преднамеренное искажение данных с целью обмануть ИИ
Атака с переполнением	Переполнение входных данных буфера или памяти ИИ для выявления слабостей
Атака с отказом	Организация отказов и блокировки работы ИИ
Атака с перенаправлением	Манипуляция с целью перенаправления работы ИИ в некорректное направление
Атака с введением нежелательных данных в систему	Проникновение злоумышленника в систему и введение нежелательного кода или команды ИИ, изменяющего ИИ
Атака с маскировкой	Создание ложных или поддельных идентификаторов, чтобы обмануть ИИ

Таким образом, классификация состязательных атак на искусственный интеллект позволяет нам лучше понять природу и характер таких атак и разработать эффективные стратегии и системы защиты [6].

Другой пример – атаки, с целью уничтожить обучающие данные. Отравление – только один пример таких нападений. Отравление может быть разным [7]. Такая атака может быть и целевая, и нецелевая. Такие атаки также могут отличаться в зависимости от допустимого возможного воздействия на обучающую информацию. Например, возможно ли добавление новых помеченных данных или просто изменение меток существующих и так далее. ИИ не в состоянии самостоятельно оценить достоверность полученных данных, поэтому его можно обмануть. Злоумышленник может использовать эту уязвимость для передачи ИИ неверных или поврежденных данных, что приводит к неверным выводам или даже сбоям [8].

Существует четыре основных стратегии отравления [9]:

• Модификация знаков. Эти нападения позволяют пользователю изменять теги только в контрольных наборах образовательных данных, а не для произвольной точек. Обычно ограничение устанавливается на общую сумму модификации.
• Внедрение данных. У злоумышленника нет доступа к данным обучения и алгоритмам обучения, однако он может добавить в набор новых данных.[10]

Выводы

Приведенные выше примеры и классификация не только дают представление о будущих проблемах, но также полезны для выявления и определения приоритетности рисков и их коренных причин. Для предотвращения и защиты от атак, отравляющих ИИ, следует использовать различные меры безопасности. Важно проверить точность данных перед их использованием и убедиться, что в вашу систему не проникли вирусы или вредоносный код. Постоянный мониторинг и обновление вашей системы безопасности также является неотъемлемой частью предотвращения атак.

Основной идеей является внедрение нейронных сетей в алгоритм ИИ, который непрерывно будет анализировать данных и выявить аномалию, свидетельствующую о возможных атаках. Это будет способствовать оперативному предотвращению нежелательного воздействия на ИИ, а также минимизации рисков. Также ожидается использование статистических методов и машинного обучения, чтобы определить модели и поведение преступников. Когда система обнаруживает подозрительные действия, система автоматически осуществляет меры по их блокированию в ИИ, предоставляя информацию о попытках атаки ответственными лицами или организациями. Важный аспект данной технологии - активное ее обновление, адаптация к новому типу атак, так как злоумышленник постоянно совершенствует свой метод. Постоянные обновления системы защиты, внедрение новых алгоритмов способствует эффективной защите от новых угроз.

Заключение

В статье представлены примеры атак на системы ИИ, основанные на анализе предложенных классификационных признаков с учетом разных фаз, элементов и участников. В результате анализа было показано, что, несмотря на увеличение количества публикаций, необходимо уделять больше внимания сбору и представлению исторических данных, связанных с различными функциями кибербезопасности, для реализации практических решений кибербезопасности на основе искусственный интеллект.

Список литературы

1. Bhardwaj, M.D. Alshehri, K. Kaushik, H.J. Alyamani, M. Kumar, Secure framework against cyber-attacks on cyber-physical robotic systems, J. Electron. Imaging 31 (6) (2022).
2. Chithaluru, A.T. Fadi, M. Kumar, T. Stephan, Computational intelligence inspired adaptive opportunistic clustering approach for industrial IoT networks, IEEE Internet Things J (2023)
3. Горлов, Е.В. Современные атаки на системы искусственного интеллекта [Текст] / Е. В. Горлов. – СПб.: БХВ, 2019. – 180 с.
4. Орлов, Г.М. Угрозы и риски при использовании искусственного интеллекта: анализ и методы противодействия [Текст] / Г. М. Орлов. – М.: Издательство НИТУ "МИСиС", 2018. – 250 с.
5. Титов, В.А. Киберугрозы и методы обеспечения безопасности систем искусственного интеллекта [Текст] / В. А. Титов. – СПб.: Питер, 2017. - 140 с.
6. Намиот, Д.Е., Ильюшин, Е.А., Чижов, И.В. Военные применения машинного обучения //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 1. – С. 69-76
7. Петров, Е.С. Атаки на системы искусственного интеллекта: обзор и анализ [Текст] / Е. С. Петров. – М.: КНОРУС, 2017. – 110 с.
8. Намиот, Д.Е., Ильюшин, Е.А., Чижов, И.В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. – 2021. – Т. 9. – № – С. 35-46.
9. Лебедев, Ю.А. Кибератаки на системы искусственного интеллекта [Текст] / Ю. А. Лебедев. – М.: Издательский дом "Лань", 2019. – 140 с.
10. Смирнов, В.П. Методы защиты систем искусственного интеллекта от кибератак [Текст] / В.П. Смирнов. – М.: Изд-во РХТУ им. Д.И. Менделеева, 2018. – 170 с.