Как команда Thanos VFX оживила персонажей The Quarry (а затем убила их)

Разработчик игры Supermassive Games заслужил кучу похвал за свое интерактивное кинематографическое приключение в жанре ужасов « Дожить до рассвета », а затем выпустил «духовную преемницу» хита 2015 года — The Quarry . В игре игроки управляют группой вожатых лагеря, которые оказываются в осаде множества смертельных угроз — как человеческих, так и сверхъестественных — после того, как застряли в отдаленном кемпинге, где они провели лето.

Как и в « Дожить до рассвета », в «Карьере » представлены знакомые актеры, изображающие персонажей игры, с сочетанием передовых систем захвата производительности и технологий визуальных эффектов голливудского уровня, позволяющих актерам оживить своих игровых двойников и представить их. судьбы этих персонажей в руках игроков. Чтобы перенести работу актеров на съемочную площадку в ужасающий мир игры, Supermassive наняла оскароносную студию визуальных эффектов Digital Domain , наиболее известную своей работой по превращению Джоша Бролина в Таноса в « Мстителях: Война бесконечности» .

Digital Trends ранее говорил с командой Digital Domain о системе отслеживания лица Masquerade на основе искусственного интеллекта, которую они разработали для Infinity War , которая получила значительное обновление по сравнению с этим фильмом 2018 года. Теперь он возвращается в центр внимания в The Quarry , игре, созданной с использованием улучшенной системы Masquerade 2.0 студии. Креативный директор Digital Domain и супервайзер визуальных эффектов в The Quarry Аруна Инверсин и старший продюсер Пол «Пицца» Пьянецца объяснили, как сочетание новаторских технологий, умных приемов кинопроизводства и вдохновенного выступления актеров игры сделало последнее интерактивное приключение Supermassive таким захватывающим по своей сути. творческая команда, как и для игроков.

[Примечание: в этом интервью мы обсудим сюжетные линии The Quarry . Считайте это предупреждением о спойлерах, если вы еще не играли в игру.]

Цифровые тренды: еще в 2019 году мы обсуждали Masquerade, систему захвата лиц Digital Domain, разработанную для Таноса в « Мстителях: Война бесконечности» . Ваша команда создала Masquerade 2.0, чтобы сделать что-то похожее на The Quarry , но с большим количеством персонажей и гораздо большим количеством экранного времени. Какие были большие шаги на этом пути?

Аруна Инверсин: Thanos был самым широко разрекламированным продуктом, потому что это Marvel, но большая часть наших разработок [систем захвата лиц] началась еще в 2007 году, когда мы работали над «Загадочной историей Бенджамина Баттона» . Большая часть [нашей работы над этим фильмом] заключалась в том, чтобы во всем разобраться. После этого мы работали над «Троном: Наследие» , поэтому какое-то время мы подталкивали цифровых людей к полнометражным фильмам. Однако с Таносом и процессом Маскарада действительно произошел огромный скачок вперед.

Что позволяют делать Masquerade и Masquerade 2.0?

Инверсин: Это позволяет нам взять любую головную камеру, а затем управлять с ее помощью цифровым персонажем, цифровым лицом. Для Таноса это было интересно, потому что у нас была нечеловеческая постановка представления. И, конечно же, были аниматоры, которые сделали его Таносом. Тем не менее, в основе лежит игра Джоша Бролина. С тех пор мы работали над эффективностью в реальном времени — как сделать Masquerade более оперативным, более эффективным и более экономичным. И при этом мы придумали пару других продуктов. Masquerade 2.0 — это сочетание хедтрекинга и всех прочих, вспомогательных разработок, делающих его более эффективным. Есть улучшенное автоматическое отслеживание взгляда, более автоматизированное интеграционное отслеживание того, где точки находятся на лице, больше машинного обучения… Это десятикратное увеличение объема данных, которые мы можем передавать и с которыми можно взаимодействовать.

Общее время Таноса на экране составило 45 минут. Теперь мы можем предоставить 32 часа [производительности] для большего количества персонажей для The Quarry .

Каков общий процесс, когда вы собираете данные от актеров в чем-то вроде The Quarry ?

Пол Пьянецца: Мы отсняли 32 часа, но для начала делаем тренировочные сеты. Мы возьмем актеров и просканируем их данные. И из этого мы собираем около 60 секунд данных ROM (Range of Motion). Затем мы делаем сканирование всего тела. После этого мы делаем больше ROM и фиксируем больше форм лица, чтобы установить сходство 1:1 — как лицо движется и все такое. Это наша отправная точка. А потом, когда мы будем снимать каждый день, мы будем делать еще больше ROM-захватов по мере того, как они работают, так что съемочная площадка, с которой мы работаем, со временем становится все больше и больше.

Одно дело иметь весь этот сырой материал, но с какими проблемами вы обычно сталкиваетесь, пытаясь манипулировать и редактировать его в реальном времени для чего-то интерактивного, например, игры?

Инверсин: После того, как у нас есть все тренировочные наборы, одна из проблем заключается в том, что как только вы добавите игру актеров в микс, они не просто будут стоять вокруг и показывать вам, как двигается их лицо и тело. Они бегают, прыгают, борются с оборотнями и делают все, что угодно. И чтобы отследить это, мы придумали новые технологии, которые позволяют нам стабилизировать головную камеру и захватывать движение, не зависящее, например, от раскачивания головной камеры. Эти камеры довольно тяжелые, поэтому нам пришлось развивать стабилизацию и отслеживание камеры, а также систему машинного обучения, чтобы, когда персонаж бежит, вы видели, как его лицо движется под действием гравитации во время бега. Этот нюанс в исполнении в реальном времени — это то, чего вы не получите, если будете снимать лицо актера отдельно от его тела. Нам нравится снимать все одновременно, чтобы у актеров не только было такое взаимопонимание друг с другом, но и движение их лиц соответствовало тому, что они физически делают.

Пьянецца: И самое интересное, когда вы снимаете 32 часа на эти камеры, вы находите все возможные способы их поломки.

Инверсин: Верно? Кабели перед лицом, шлемы слетают… К счастью, у нас были действительно прозрачные отношения с Supermassive. Когда мы были на съемочной площадке и кричали Уиллу [Байлзу, режиссеру The Quarry ], что перед чьим-то лицом проложен кабель, или что головная камера выключена, или что-то еще, Уилл всегда предусмотрительно знал, нужно ли что-то делать. быть перестреляны, иначе он сказал бы: «Нет проблем. Я собираюсь обойти это».

Тонкие движения лица в игре завораживают — например, когда кто-то слегка щурится, чтобы показать, что он настроен скептически, или слегка двигает подбородком, что предполагает, что он нервничает. Как уловить этот уровень тонкости и удержать персонажей от зловещей долины ?

Пьянецца: Это одна из тех вещей, о которых мы постоянно говорим: несовершенства и тонкости, которые делают это реальным. Все, что мы захватили, было предназначено для этого. Вот почему у нас есть 32 часа материала на 4500 снимков. И когда вы настроите систему со всем этим материалом, вы получите все эти тонкости в игре актеров.

Инверсин: Одним из действительно замечательных преимуществ разработанной нами системы является то, что она признает, что тонкие движения — эти подергивания глаз и другие вещи, которые вы видели в игре, — действительно важны. Они исходят непосредственно от актера. Никакой дополнительной анимации поверх них нет. Таким образом, актеры знают, что их игра будет передана этому цифровому персонажу с высокой точностью. И со временем будет только лучше.

Итак, как вы справляетесь со сценами смерти в игре? Изменяют ли они способ записи выступлений или их перевода?

Inversin: Ну, во-первых, кого ты убил, когда играл? Кто умер на твоих глазах?

Во время моего прохождения умерли две вожатые, Эбигейл (Ариэль Винтер) и Кейтлин (Бренда Сонг), чем я на самом деле очень доволен, учитывая мое типичное первое число погибших в подобных играх.

Инверсин: Если бы это была сцена смерти Аби в эллинге, то она была бы одной из моих любимых. Уилл дал указания актерам, сказав: «Хорошо, тебе нужно встать здесь, Ариэль, и притвориться, что ты падаешь на колени и умираешь. И Эван [Эвагора, которая играет советника Ника Фурсилло в игре], вам нужно прыгнуть на нее, но не прыгать до конца, потому что в определенный момент вы станете оборотнем». И мы разыгрывали это на съемочной площадке. Ариэль кричит, падает на колени и падает. А потом Ник подпрыгивает и останавливается, и на этом все. Уилл такой: «Отличный вариант. Были сделаны." А потом они оба такие: «Подождите, что произойдет на сцене?» Но после того, как голова Аби оторвалась и камера вернулась к ее падению, это была настоящая съемка того, как она падает и умирает. Выражение ее лица в конце тоже было выражением, которое она сделала на съемочной площадке в своих последних муках. Это выражение полностью принадлежит ей. Они просто держали этот кадр. В тот день было весело.

Пьянецца: Люди тоже могут умереть по-разному, но вы можете сделать только два дубля за короткий промежуток времени, потому что иначе они потеряют голос из-за крика. Это было похоже на: «Хорошо, я должен снова умереть, так что давайте сейчас сделаем перерыв, чтобы я мог кричать больше позже». Нужно было запланировать кучу разных смертей, разбросанных по съемкам.

Инверсин: С Джастисом [Смит, который играет советника Райана] был отличный период в седьмой или восьмой главе, когда он был в доме Хакеттов и за ним гонялись. В тот день было немного безумно. Это было что-то вроде: «Хорошо, Джастис, сегодня ты умрешь шесть раз, и каждый из них будет ужасным».

Отслеживание всех перестановок сюжетных арок в такой игре может стать ошеломляющим.

Пьянецца: Это все Уилл. Это было действительно впечатляюще. Например, Дилан [которого играет Майлз Роббинс] может в какой-то момент лишиться руки из-за бензопилы или дробовика.

Я пошел с дробовиком.

Пьянецца: Итак, вы знаете эту сцену. Когда позже они снимали разные сцены, Уилл говорил: «Хорошо, теперь ты должен сделать это левой рукой, потому что ты мог потерять правую руку в этот момент». Он следит за всем в своем уме.

Как вы приспособили к процессу актеров, которые могли не быть знакомы с технологией захвата перформанса или интерактивными киноиграми?

Pianezza: У Digital Domain такая долгая история подобных вещей, поэтому мы могли бы показать им примеры того, что Бролин сделал, например, для Таноса. Мы сказали им: «Вы не должны переигрывать. Вы в хороших руках. Многое из того, что мы делаем в новых медиа, нетрадиционно, поэтому мы проводим много обучения для клиентов, актеров или кого-то еще. И в этом случае вы в основном передаете им, что это похоже на театр. Здесь нет крупных, широких и средних планов, потому что все это виртуально. По сути, у нас все эти камеры работают одновременно.

Инверсин: Многие актеры были действительно заинтересованы в процессе, и быть откровенным с ними и знать, что из этого может получиться, было действительно хорошо. Уилл отлично руководил ими, говоря: «Это похоже на театральную постановку. Мы можем поставить камеры где угодно». Этот репертуар и дух товарищества между актерами, зная, что они могут быть очень близки, говорить и играть, как в любой театральной постановке, были действительно важны для захвата персонажей. Пролог с Тедом Рэйми, Шивон Уильямс и Скайлер Гизондо был отличным моментом в ансамбле. Подшучивания взад и вперед так хороши, и это происходит из-за того, что эти актеры играют так, как будто это театральная постановка.

Как они отреагировали, когда увидели персонажей из своих выступлений?

Пьянецца: Что действительно здорово, так это то, что для того, чтобы людям было легче, мы можем привязать их действия к их собственному телу в игре в режиме реального времени, поэтому, если они двигают рукой, они видят, как персонаж в игре двигает их рукой. Особенно с актерами, которые никогда этого не делали, в этом есть аспект, который очень освобождает, потому что вам просто нужно один раз отлично сыграть. Вам не нужно останавливаться, заново освещать сцену или перемещать камеру и делать это снова и снова. Вы можете просто сказать: «Отличное выступление! Готово. Потому что все, что нас волнует, это игра актера. Мы можем разобраться с камерами, освещением и прочим позже.

Inversin: Возможность совмещения дублей дает свободу снимать быстро и позволяет актерам, режиссеру и команде думать о спектакле. На традиционной съемочной площадке вы ходите туда-сюда, меняете свет, камеры и так далее, начинаете и останавливаетесь. Иногда это выводит людей из настоящего. Это позволяет каждому действительно остаться там.

Где вы видите такие системы, как Masquerade, которые берут фильмы и игры в будущем? Какое будущее он создает для фильмов и игр?

Пьянецца: Я просто хочу, чтобы это интерактивное повествовательное пространство взорвалось. Многие люди с обеих сторон — игры и визуальные эффекты — любят и то, и другое. И это смешивает их таким прекрасным образом. Что мне действительно нравится, так это то, что вы создаете все это в цифровом виде, поэтому кемпинги в Hackett's Quarry существуют вечно. Если они захотят вернуться в этот мир в какой-то момент, вы можете это сделать, потому что он цифровой. Вам не нужно беспокоиться о получении разрешения на повторную съемку на месте, или о перестройке декораций, или о планах ночных съемок, или о чем-то еще, потому что все это цифровое. Все есть. Просто вернитесь и снова включите компьютер.

Inversin: Особенно большие возможности для DLC. Все активы на месте, так что по мере продвижения вперед вы можете делать подобные повторяющиеся вещи, и с теми же персонажами вы можете амортизировать стоимость разных эпизодов или глав. У вас может быть сериал ужасов, каждый эпизод которого происходит каждые пару месяцев, построенный вокруг этой группы персонажей, которые живут или умирают и меняются. Так что в этом легко увидеть кинематографический, интерактивно-повествовательный потенциал, и он довольно мощный. Мы только начинаем.

Supermassive Games и The Quarry от 2K теперь доступны для Windows, PlayStation 4, PlayStation 5, Xbox One и Xbox Series X/S.