УДК 004.832.32

Применение искусственного интеллекта в сфере кинематографа при создании фильма

Сибилев Вадим Олегович – магистрант Донского государственного технического университета.

Аннотация: в статье рассматривается вопрос использования искусственного интеллекта в процессе создания фильма; указываются основные направления использования машинного обучения в рассматриваемой сфере, проводится анализ существующих систем, которые основываются на машинном обучении.

Ключевые слова: Машинное обучение, искусственный интеллект, области применения в кинематографе.

Введение: Искусственный интеллект активно проникает в бытовую жизнь каждого человека [1]. Пользователи и не догадываются какие функции в их смартфонах выполняются с использованием искусственного интеллекта. Распознавание лиц, улучшение автономности, оптимизация производительности, улучшение качества звука, размытие фона и выделение цвета на фотографиях, сегментация изображений и многое другое не могло бы выполнять свои функции качественно без использования искусственного интеллекта.

Искусственный интеллект применяется во многих специальностях. Например, ИИ начинает активно использоваться в сфере медицины. Для успешного лечения и точного установления диагноза необходимо изучить полную медицинскую историю пациента, включая снимки, анализы и протоколы осмотра, а также анамнез, содержащий всю необходимую информацию. Даже опытные врачи иногда сталкиваются с трудностями в оценке полной картины заболевания из-за несистематизированных данных в медицинской карте. Согласно данным Google, каждый десятый пациент сталкивается с проблемой неправильной интерпретации своего заболевания. Исследования показывают, что искусственный интеллект может быть решением этой проблемы. Компания Google уже внедряет свои технологии в некоторых медицинских учреждениях, где система Google Deepmind Health анализирует доступную информацию о симптомах пациента и предоставляет список рекомендаций. Врачи, используя подсказки этого искусственного интеллекта, могут более точно назначить пациентам соответствующее лечение.

Несмотря на успехи использования искусственного интеллекта в различных сферах, может показаться, что ИИ не место в творчестве, однако это мнение ошибочно. В творческих специальностях машинное обучение также активно применяется. Например, ИИ способен заменять часть изображения, лица людей или же генерировать на основе большой базы данных локации, которые могут быть использованы в кинематографе или геймдизайне.

Актуальность: Каждый день множество команд трудятся над созданием очередного фильма. На эти цели выделяется огромный бюджет и в итоге создатели кинокартины ожидают увидеть отличный результат в виде положительных отзывов и больших сборов после выхода фильма в прокат. Машинное обучение на основе множества факторов способно решить некоторое количество проблем, с которыми сталкиваются съемочные команды.

Целью настоящей публикации является попытка ее автора проанализировать применяемые методы использования машинного обучения в сфере кинематографа и выяснить на сколько эти методы целесообразно применять при создании фильма.

Результаты исследования: на первый взгляд и правда сложно представить где конкретно может быть использован искусственный интеллект в такой творческой сфере, как кинематограф. Режиссер вопреки многим использованным приемам ранее, может привнести что-то новое и рискованное, что и позволит выделить работу на фоне других. Сценарист также способен добавить ранее неопробованное в этом мастерстве. Выходит, машинному обучению не место в этой сфере? К счастью для таких специалистов искусственный интеллект не способен на риск и размышления. Машинное обучение способно проанализировать множество созданных ранее приемов различных специалистов и на основе уже имеющихся данных скомпилировать что-то своё. Разумеется, ИИ способен скопировать стиль написания сценария или способ режиссировать проект опираясь на особенности конкретного специалиста, но на создание чего-то радикально нового в таком случае рассчитывать не стоит.

Машинное обучение может пригодиться в тех случаях, когда необходимо создать новый искусственный мир. Человек хочет видеть во всех объектах что-то привычное ему из жизни. Неосознанно каждый зритель гораздо охотнее воспринимает формы объектов, которые могут действительно существовать. С этой работой и способен справиться искусственный интеллект. Исчезает необходимость в работе нескольких специалистов художников для этой задачи. ИИ проанализирует существующие локации нашей планеты, учтет особенности и создаст концепт нового чудного мира, которые необходим создателям кинокартины.

Также для новых созданных миров создаются и соответствующие персонажи. Во многих персонажах прослеживаются узнаваемые образы, которые проще воспринимаются зрителями. Компания Digital Domain использовала технологии машинного обучения для разработки персонажа Таноса в фильме «Мстители: Война бесконечности». Специалисты загружали изображения лица и информацию об особенностях мимики актера Джоша Бролина, исполнявшего роль антагониста, в программу искусственного интеллекта. На основе этой информации система создавала детальное изображение высокого разрешения и затем преобразовывала исходные данные в виртуального персонажа.

Создание визуальных эффектов во многих фильмах выходит на новый уровень после внедрения искусственного интеллекта для этих целей. Ранее требовались сплоченная команда и множество затраченного времени на то, что сейчас можно создать с использованием машинного обучения буквально в режиме реального времени. Мгновенные трехмерные аватары можно создавать с помощью ИИ [2]. Компания Pinscreen стремилась создать фотореалистичные и анимированные трехмерные аватары с детальными чертами лица и волос, используя изображения с мобильных телефонов пользователей. Для достижения этой цели они опирались на методы глубокого обучения, основанные на обширных данных обучения, которые могли быть как «полу-контролируемыми», так и «неконтролируемыми». Эти данные в сочетании с глубокими нейронными сетями использовались для предсказания правильных результатов, определяя, как должен выглядеть трехмерный аватар, включая выражение лица.

Результаты работы компании Pinscreen иногда сравнивают с «deepfake» - видео, где происходит смена лиц, популярные за счёт использования методов глубокого обучения для анимации лица известной личности, заставляя её произносить слова, которых она на самом деле не говорила, или появляться в местах, где она на самом деле не была. Эксперты отмечают, что для создания убедительной модели смены лица с использованием deepfake требуется значительный объем обучающих данных, например, видеозаписей человека. В отличие от этого, для успешного использования технологии Pinscreen достаточно одного входного изображения.

Использование методов машинного и глубокого обучения в создании CG-существ и материалов является относительно новым, но уже выглядит довольно многообещающим, именно поэтому многие компании интересуются этим направлением [3]. Ziva Dynamics изучают возможности машинного обучения, особенно в отношении своей решающей технологии в real-time, и предлагают программное обеспечение для моделирования под названием Ziva VFX.

Эта технология позволяет преобразовывать высококачественные оффлайн-симуляции, разработанные техническими директорами с помощью Ziva VFX, в эффективных персонажей реального времени.

Алгоритмы машинного обучения позволяют художникам интерактивно создавать высококачественных персонажей Ziva в режиме реального времени. Полученная модель в результате автономного моделирования, объединяется с репрезентативными данными анимации в процессе машинного обучения. Исходя из этого можно быстро приближать естественную динамику персонажа к совершенно новым позициям. Это приводит к быстрому интерактивному ассету персонажа, который обладает действительно согласованными формами, и все это умещается в относительно небольшом файле.

Создатели фильмов всегда надеются на высокие кассовые сборы и признание своего творчества со стороны зрителей. Среди множества сценариев необходимо выбрать тот, который получит наилучшие отзывы от публики. Однако кинематографисты не всегда могут справиться с этой задачей. Для прогнозирования успеха кинопроектов начали привлекать искусственный интеллект.

Компания ScriptBook разработала систему с таким же названием, основанную на машинном обучении: алгоритм анализирует текст сценария. ИИ определяет характеристики предполагаемой аудитории, такие как пол, раса, возраст, и прогнозирует потенциальные кассовые сборы фильма.

Эта разработка уже продемонстрировала свою эффективность. Она проанализировала 62 фильма от студии Sony Pictures, из которых ИИ правильно определил 22 из 32 неудачных проектов. Кроме того, программа с небольшой погрешностью предсказала кассовые сборы фильма «Пассажиры», прогнозируя $118 млн, в то время как реальные сборы составили немного менее $110 млн. Однако иногда у ScriptBook возникают ошибки. Например, платформа неверно предсказала, что музыкальная драма «Ла-Ла Ленд» соберет $59 млн, в то время как реальные сборы составили $446 млн.

После завершения создания фильма необходимо приступить к его продвижению и рекламе. Как и любой коммерческий продукт, фильм требует качественной и эффективной рекламной кампании. Задачи по продвижению фильмов все чаще поручаются искусственному интеллекту.

Американская компания 20th Century Fox разработала нейросеть Merlin Video, которая анализирует трейлеры вышедших фильмов, сравнивает их друг с другом и находит общие черты. Как итог своей работы, она предсказывает реакцию аудитории на рекламные ролики.

Кроме того, при создании рекламного видео для научно-фантастического фильма «Морган» студия задействовала суперкомпьютер Watson от IBM, оснащенный ИИ.

Первоначально машина проанализировала трейлеры 100 проектов и выяснила, что делает сцены лиричными или, наоборот, страшными. После этого в компьютер загрузили киноленту «Морган». Изучив ее, искусственный интеллект составил диаграмму развития действий, отобрал сцены для видео, установил их последовательность, а также подобрал подходящую музыку. Впоследствии специалист смонтировал полученный материал.

Разработчики не собираются останавливаться на достигнутом. Существует фильм, создание которого целиком и полностью возложено на искусственный интеллект. В 2018 году под руководством инженера из корпорации Google Росса Гудвина искусственный интеллект под именем «Бенджамин» за двое суток создал черно-белую короткометражку под названием "Zone Out". Алгоритм взял на себя все этапы кинопроизводства: сгенерировал сюжет, написал диалоги персонажей, определил эмоции актеров, смонтировал фильм, озвучил персонажей и выбрал музыкальное сопровождение. «Бенджамин» самостоятельно выбрал фрагменты из старых фильмов для своего проекта, наложил лица актеров на соответствующие сцены и передал выбранные эмоции.

Ранее Росс Гудвин и режиссер Оскар Шарп с помощью «Бенджамина» создали короткометражки «Sunspring» и «It's No Game». Для первой фильма искусственный интеллект написал сценарий, а для второго составил диалоги. Стоит отметить, что в 2017 году «t's No Game» заняла третье место на фестивале короткометражных фильмов Sci-Fi London.

Заключение: Очевидно, что некоторые специалисты с опаской относятся к машинному обучению и считают, что компьютеры способы лишить работы огромные сплоченные команды, которые занимаются созданием кинолент уже не один год. Однако искусственный интеллект нашел отклик и признание среди некоторых кинематографистов и многие использует его для выполнения различных задач, чем значительно ускоряют процесс выхода кинокартины на большие экраны.

В руках умелых специалистов машинное обучение способно на выполнение многих задач, которые лишь приукрасят и лучше раскроют задумку автора в новом продукте кинематографа.

Список литературы

1. Аверьянова Ю. А., Емельянов Р. В., Сташенко В. В., Строцев А. А. Оценка эффективности обучения нейронных сетей, реализующих выполнение функций автоматизированных систем управления // I-methods. 2017. Т. 9. № 4. С. 32–41.
2. Лучшие нейросети 2023 года: как сравнивают проекты и почему ChatGPT — лидер. [Электронный ресурс]. URL: https://blog. ycla.ai/top-6-nejrosetej-v-2023-godu/ (дата обращения: 27.11.2023).
3. Редько, В.Г. Эволюция, нейронные сети, интеллект: Модели и концепции эволюционной кибернетики / В.Г. Редько. - М.:Ленанд, 2019.- 224c.