Эволюция технологий создания цифровых двойников в кино

1. Концепция
2. Матрица (1999)
3. Возвращение Супермена (2006)
4. Скотт Пилигрим против всех (2010)
5. Логан (2017)
6. Терминатор: Темные Судьбы (2019)
7. Шан-Чи и легенда десяти колец (2021)
8. Заключение

Появление технологии создания цифровых двойников значительно расширило возможности кинематографа. Сегодня специалисты по визуальным эффектам «воскрешают» на экранах умерших актеров и других знаменитых людей, а также создают эпичные сцены, в основе которых лежат сложные трюки и условия, которые практически невозможно воссоздать в реальности. Так, благодаря развитию технологий, с каждым новым приобретенным опытом в сфере визуальных эффектов фильмы становятся все более захватывающими, при этом не теряя свою реалистичность.

На мой взгляд, задача создания реалистичного цифрового двойника является одной из самых сложных в сфере визуальных эффектов, так как она требует полного соответствия реальному прототипу, начиная от эмоций и выражений лица, заканчивая внешним обликом с разных ракурсов и при любом освещении. То есть в случае, если перед специалистами по визуальным эффектам стоит задача на основе внешности актера создать образ вымышленного мифического персонажа, например, то здесь как будто бы имеют место несущественные отклонения для поиска лучшего результата. Например, подбор структуры кожного и волосяного покрова или же цвет глазных яблок.

В случае же с созданием цифровой модели для ее использования в качестве замены во многих кадрах фильма, возможность замены тех или иных характеристик персонажа даже не рассматривается.

Основой работы является исследование технологий создания цифровых двойников в фильмах, где актеры не могли полностью присутствовать в кадре из-за особенностей сюжета, предполагавшего наличие сложных трюков или других обстоятельств, которые сложно воспроизвести в реальности. Благодаря расположению фильмов в хронологическом порядке можно проследить эволюцию технологий, что позволит прийти к выводу о том, какие методы оказались наиболее успешными и получили распространение для создания фотореалистичных образов людей.

Фильм является одним из наиболее ранних примеров использования цифрового двойника для создания действий, происходящих в виртуальной реальности, где привычные зрителю физические законы практически полностью подменены.

Здесь есть сцена «буллет-тайм» (bullet time), название которой, по предположениям, в дальнейшем стало обозначать все vfx сцены, в основе которых лежит съемка при помощи множества камер для создания эффекта «заморозки» действия.

Так, сначала в «Матрице» съемка актера происходила в павильоне на фоне хромакея. Движения Ривза снимались камерами по заданной траектории, а затем на основе отснятого материала актер и его действия были воссозданы в CG. Как объясняет в одном из своих интервью супервайзер по визуальным эффектам ЛАЛАЛА, создание 3d модели было необходимо для того, чтобы «заморозить» действие путем создания промежутков в движениях актеров и интегрируя в них движения цифровой копии. Действительно, ведь даже несмотря на то, что при съемке в павильоне актер имел поддержку, ее, как и силы пресса Ривза все равно бы не хватило для того, чтобы надолго «зависнуть» в таком положении неподвижно.

Ведущий супервайзер говорит о том, что здесь используется интерполяция — полученные кадры совмещают вместе с цифровым двойником, за счет чего длительность движения персонажа увеличивается относительно скорости перемещения камеры.

Так, цифровой двойник и его движения для этой сцены были созданы уже после съемки основных кадров в павильоне и стали скорее дополнением, чем основой. На самом деле, можно сделать предположение о том, что сегодня, скорее всего, имитация замедленного движения в кино создавалась бы полностью в CG.

Задача создать цифрового двойника Супермена была поставлена для того, чтобы снимать опасные трюки супергероя крупным планом, вблизи, а не только издалека. Разработкой CG модели персонажа в условиях его присутствия в различных экшн-сценах преимущественно занималась Sony Pictures Imageworks. Помимо создания цифровой версии актера, одной из самых сложных задач была разработка сложной системы симуляции ткани, благодаря которой накидка Супермена являлась бы самостоятельным элементом, не находящимся под влиянием физики основного пространства.

Брэндон Раут был отсканирован при помощи Light Stage 2 в Институте креативных технологий Университета Южной Калифорнии. Устройство состоит из 30 ксеноновых стробоскопических ламп, расположенных на вращающейся полукруглой штанге диаметром 3 метра. Лицо Раута было освещено с 480 позиций, чтобы охватить всевозможные направления падения на него света.

Движения актера, включая его руки, были отсняты шестью камерами Arriflex, а затем при помощи отснятого материала был создан цифровой двойник Супермена. Лицо смоделированного персонажа выглядело реалистично, потому что сложные характеристики отражения света кожей — пигментация, блеск, сияние, тени и тонкая структура поверхности — были синтезированы из отснятого материала. Так, отдельно кожа не дорабатывалась, а ее внешний вид полностью соответствовал кадрам с Light Stage 2.

Режиссер фильма поставил перед Imageworks особую задачу, которая заключалась в том, чтобы создать цифровую модель накидки так, чтобы ее можно было использовать и в сценах с реальным актером, и в CG кадрах. В итоге после долгих поисков для ее создания был использован Syflex, позволяющий создать подходящую под задачи симуляцию тканей.

Процесс работы над цифровым двойником включал в себя этапы съемки на площадке и проработки полета Супермена. Затем были созданны CG-кадры поведения персонажа, включая полеты и приземления, а также процесс его общения. Опираясь на недавний опыт создания vfx в фильме «Человек-паук», команда ставила перед собой цель улучшить точность итоговой детализации моделей с помощью USC Light Stage — было добавлено больше камер, расположение которых отличалось от того, что было в «Человеке-пауке». Особое внимание уделили мимике актера, движению его кожи и даже процессу образования морщин. Также для создания тестовых кадров было отсканировано тело Брэндон Раута и создан его костюм.

Используя захват движения (англ. motion capture), была также проведена видеосъемка для определения движения суставов в теле актера. Полученные результаты позволяли специалистам по визуальным эффектам увеличивать и уменьшать размер мышц персонажа. Такой подход позволял приводить модель к единому внешнему виду в условиях разного освещения, когда некоторый рельеф был незаметен. Так как отличительной особенностью внешности Супермена являются его мускулы, супервайзером по риггингу персонажей Артуром Грегори была разработана особая техника моделирования мышц, которая затем была использована супервайзером по CG-моделированию Эдвардом Тейлором.

Команда специалистов по визуальным эффектам также считала важным добиться реалистичности и в самом процессе применения персонажем его суперспособностей. Как отмечает Джонс, команда была озабочена тем, чтобы верно расположить центр тяжести у смоделированной копии. Было необходимо, чтобы нестандартные действия, совершаемые героем, выглядели убедительно. В итоге командой было принято решение разместить центр тяжести в области туловища, откуда и направлялась сила супергероя.

Для создания сцены, где Крис Эванс в роли Лукаса Ли кидает главного героя в башню-замок, находящуюся на заднем плане, в фильме был создан цифровой двойник главного героя — Скотта.

В финальном варианте это выглядит так, будто Лукас, держа за ноги Скотта, с большой силой отбрасывает его далеко. На самом деле, создание этой сцены началось с того, что Эванс кидает манекен ног, одетый в костюм Скотта. Это было создано для того, чтобы реквизит имел правдоподобное сопротивление при закручивании во время полета. Затем манекен был заменен цифровым двойником. На самом деле, несмотря на то, что при просмотре финального версии зритель может почувствовать вес летящего персонажа, ощущение неестественности физики происходящего все равно проскальзывает.

Так, цифровой двойник был создан и заанимирован на основе изначально отснятого материала с имитацией физики полета.

Еще одна сцена с использованием цифрового двойника — момент падения Скотта с высоты башни, который, по словам ведущего супервайзера визуальных эффектов, состоит из трех или четырех частей. Так, сначала было отснято падение каскадера, затем кадр приземления реального актера с использованием хромакея. В финале отснятые кадры были совмещены с созданным ранее цифровым двойником.

Для съемок особо жестоких и сложных сцен были созданы цифровые двойники для Хью Джекмана и Дафни Кин, исполняющих роли Логана и X-23 соотвественно.

Как заявляет Imagine Engine, созданные копии с высокой точностью воспроизводят мимику, эмоции и даже текстуру кожи актеров, что неудивительно, ведь сегодня вопрос реалистичности является ключевым в использовании компьютерной графики. Для моделирования волос использовали Yeti, а для реалистичного рендеринга кожи — Autodesk Arnold.

Image Engine прибегли к помощи Института креативных технологий Университета Южной Калифорнии, используя его технологию сканирования лица актеров в условиях разного освещения USC ICT Lightstage для получения данных о свойствах отражения кожи, создание лицевого рига (FACS expression rig) и последующей ручной анимации или анимации на основе motion capture. Так Image Engine было получено 64 различных динамических выражений лица, а также использовано 364 разных источников освещения для создания точного представления о том, как строение лица актеров взаимодействует со светом.