УДК 004.032.26

Встраивание водяных знаков в глубокие нейронные сети

Пикос Анастасия Владимировна – специалист кафедры Защищенных систем связи Санкт-Петербургского государственного университета телекоммуникаций имени профессора М. А. Бонч-Бруевича.

Таланов Юрий Андреевич – специалист кафедры Защищенных систем связи Санкт-Петербургского государственного университета телекоммуникаций имени профессора М. А. Бонч-Бруевича.

Дедкова Мария Геннадьевна – специалист кафедры Защищенных систем связи Санкт-Петербургского государственного университета телекоммуникаций имени профессора М. А. Бонч-Бруевича.

Аннотация: В последнее время в области глубоких нейронных сетей достигнут значительный прогресс. Обмен обученными моделями глубоких нейронных сетей сыграл важную роль в быстром развитии исследований и разработок этих систем. В то же время необходимо защищать права на совместно используемые обучаемые модели. С этой целью предлагается использовать технологию водяных знаков для защиты интеллектуальной собственности и выявления нарушений интеллектуальной собственности при использовании обученных моделей. Во-первых, формулируется новая задача: встраивание водяных знаков в глубокие нейронные сети. Во-вторых, предлагается общая схему встраивания водяного знака в параметры модели с использованием регуляризатора параметров. Такой подход не ухудшает производительность сетей, в которые помещен водяной знак, поскольку водяной знак встраивается в процессе обучения основной сети. Встроенный водяной знак не исчезает даже после тонкой настройки или обрезки параметров, водяной знак остается целым даже после обрезки 65% параметров.

Ключевые слова: цифровой водяной знак, вложение, Java, нейронные сети, стеганография, байт код.

В последнее время глубокие нейронные сети были значительно усовершенствованы. В частности, глубокие сверточные нейронные сети (DCNN), такие к а к LeNet, AlexNet, VGGNet, GoogLeNet и ResNet, стали стандартами де-факто для распознавания объектов, классификации и поиска изображений. Кроме того, было выпущено множество фреймворков глубокого обучения, которые помогают инженерам и исследователям разрабатывать системы на основе глубокого обучения или проводить повторный поиск с меньшими усилиями. Примерами таких фреймворков глубокого обучения являются Caffe, Theano, Torch, Chainer, TensorFlow и Keras.

Несмотря на то что эти фреймворки упростили использование глубоких нейронных сетей в реальных приложениях, обучение моделей глубоких нейронных сетей по-прежнему остается сложной задачей, поскольку требует большого объема данных и времени; для обучения очень глубокой модели ResNet на новейших графических процессорах на наборе данных ImageNet требуется несколько недель. Поэтому обученные модели иногда предоставляются на сайтах, чтобы облегчить опробование той или иной модели или воспроизведение результатов в научных статьях без обучения. Например, на сайте Model Zoo1 представлены обученные модели Caffe для различных задач с полезными инструментами. Тонкая настройка или трансферное обучение - это стратегия прямой адаптации таких уже обученных моделей к другому приложению с минимальным временем переобучения. Таким образом, обмен обученными моделями очень важен для быстрого прогресса как в исследованиях, так и в разработке систем глубоких нейронных сетей. В будущем могут появиться более системные платформы обмена моделями по аналогии с сайтами обмена видеоматериалами. Кроме того, могут появиться платформы цифровой дистрибуции для покупки и продажи обученных моделей или даже навыков искусственного интеллекта (например, Alexa Skills2), аналогичные Google Play или App Store. В этих ситуациях необходимо защищать права на совместно используемые обучаемые модели.

Для этого предлагается использовать технологию цифровых водяных знаков[1], которая используется для идентификации авторских прав на цифровой контент, такой как изображения, аудио- и видеоматериалы. В частности, общую схему встраивания водяного знака в модели глубоких нейронных сетей для защиты интеллектуальной собственности и обнаружения нарушений интеллектуальной собственности на обученные модели. Насколько известно, это первая попытка встроить водяной знак в глубокую нейронную сеть. Вклад данного исследования состоит в следующем:

• Встраивание водяных знаков в глубокие нейронные сети. Определены требования, эмпирические ситуации и типы атак для встраивания водяных знаков в глубокие нейронные сети.
• Общая схему встраивания водяного знака в параметры модели с использованием регуляризатора параметров. Подход не ухудшает производительность сетей, в которые встраивается водяной знак.

Для обеспечения достоверности в области изображений важно сохранить перцептивное качество исходного изображения при встраивании водяного знака. Однако в нейросетевой области сами параметры не важны. Вместо этого важно выполнение исходной задачи. Поэтому важно сохранить производительность обученной нейросети и не препятствовать обучению нейросети.

Что касается стойкости, то, поскольку изображения подвергаются различным операциям обработки сигнала, встроенный водяной знак должен оставаться в исходном изображении даже после этих операций. А самой большой возможной модификацией нейронной сети является тонкая настройка или обучение с передачей. Встроенный в нейронную сеть водяной знак должен быть обнаружим после тонкой настройки или других возможных модификаций.

Классификация ситуаций в области встраивания включает три основных типа, как представлено в таблице 1. Тонкая настройка указывает на то, инициализируются ли параметры при эмбеддинге с использованием уже готовых обученных моделей или нет. Доступность меток указывает на наличие или отсутствие меток для обучающих данных при эмбеддинге. .Процессы, такие как обучение с встраиванием, тонкая настройка встраивания и дистилляция встраивания, выделяются в контексте эффективного использования водяных знаков. Обучение с встраиванием представляет собой сценарий, при котором хост-сеть обучается с нуля, и внедрение водяного знака происходит в процессе, когда имеются метки для обучающих данных. Этот метод подразумевает создание модели "с чистого листа", в то время как водяной знак внедряется в процесс обучения, основываясь на размеченных данных. Тонкая настройка встраивания представляет собой случай, когда водяной знак внедряется в процесс тонкой настройки. В данном случае параметры модели инициализируются предварительно обученной сетью. Конфигурация сети в области выходного слоя может быть изменена перед тонкой настройкой, что обеспечивает адаптацию выхода конечного слоя к новой задаче.

Дистилляция встраивания представляет собой еще один важный сценарий, где водяной знак встраивается в процесс дистилляции[2]. Этот метод включает передачу знаний от более сложной модели к менее сложной, что способствует эффективному использованию водяных знаков в контексте обучения.Таким образом, классификация ситуаций в области встраивания включает в себя различные методы, которые предоставляют гибкие и эффективные подходы к использованию водяных знаков в различных обучающих сценариях.

Таблица 1. Реальные ситуации встраивания.

Регуляризатор встраивания

Встраивание водяного знака в сеть хоста может быть осуществлено путем прямой модификации весов[3] (обозначаемых как w) обученной сети, что является обычной практикой в области обработки изображений. Тем не менее, такой метод может привести к снижению эффективности работы сети-хоста в исходной задаче. Вместо этого предлагается встраивать водяной знак в процесс обучения сети-хоста для решения изначальной задачи, с тем чтобы наличие водяного знака не оказывало отрицательного влияния на работу сети-хоста в исходной задаче. Для достижения этой цели используется аметрический регуляризатор, который представляет собой дополнительный член в исходной функции стоимости для изначальной задачи. Функция затрат E(w) с регуляризатором определяется как:

     (1)

где E0(w) - изначальная функция стоимости, ER(w) - регуляризатор, налагающий определенные ограничения на параметры w, а λ - регулируемый параметр. Регуляризатор обычно используется для предотвращения переобучения в нейронных сетях, и стандартные методы включают L2-регуляризацию (или затухание веса), L1-регуляризацию или их комбинации.

Отличие от этих стандартных регуляризаторов[4], предложенный регуляризатор предполагает, что параметры w будут обладать определенным статистическим смещением, аналогичным водяному знаку в процессе обучения. Этот регуляризатор называется регуляризатором встраивания. Прежде чем предоставить определение регуляризатора встраивания, необходимо разъяснить, как извлекается водяной знак из w. При наличии (среднего) вектора параметров w ∈ RM и параметра встраивания X ∈ RT × M, извлечение водяного знака осуществляется проецированием w на X с последующим пороговым выравниванием по 0. Более формально, j-й бит извлекается следующим образом[5]:

     (2)

В данном контексте, предложенная функция потерь при встраивании вызывается "функцией потерь при встраивании". Возможно, вызывает недопонимание тот факт, что в нашей системе данная функция потерь при встраивании используется для обновления весов (обозначаемых как w), а не параметра встраивания X. В классическом перцептроне w является входным сигналом, в то время как X - параметром, подлежащим обучению. В нашем случае w представляет собой цель встраивания, в то время как X - фиксированный параметр. [6]

Такой подход не ухудшает производительность основной сети в изначальной задаче, как подтверждено в ходе экспериментов, поскольку глубокие нейронные сети, как правило, слишком параметризованы. Широко известно, что у глубоких нейронных сетей существует множество локальных минимумов, и все они, вероятно, имеют ошибку, близкую к ошибке глобального минимума. Следовательно, регуляризатор встраивания должен лишь направлять параметры модели в сторону одного из множества хороших локальных минимумов, чтобы конечные параметры модели сохраняли произвольный водяной знак.

Список литературы

1. Зимин А. Е., Косов Н. А. Обеспечение информационной безопасности в процессе создания и использования программ для ЭВМ //Актуальные проблемы инфотелекоммуникаций в науке и образовании (АПИНО 2017). - 2017. - С. 343-348
2. Ковалев И. А., Косов Н. А. Состязательные атаки в нейронных сетях //Актуальные проблемы инфотелекоммуникаций в науке и образовании (АПИНО 2021). - 2021. - С. 490-492.
3. Тимофеев Р. С., Косов Н. А. Сравнение методов обучения сверточных нейронных сетей //Актуальные научные исследования в современном мире. - 2021. - №. 6-1. - С. 97-102.
4. Косов Н.А., Мазепин П.С., Гришин Н.А. Применение нейронных сетей для автоматизации тестирования программного обеспечения. Наукосфера. 2020. № 6. С. 152-156.
5. Nagai Y, Uchida Y, Sakazawa S, Satoh S. Digital watermarking for deep neural networks. Int J Multimedia Inf Retr 2018; 7(1): 3-16.
6. Sakazawa S, Myodo E, Tasaka K, Yanagihara H. Visual decoding of hidden watermark in trained deep neural network. 2019 IEEE Conf on Multimedia Information Processing and Retrieval (MIPR) 2019: 371-374.