Новейшая технология Byte «переносит» выражения и выражения одним щелчком мыши, каждый является актером.

Недавно ByteDance и Университет Цинхуа совместно запустили на GitHub новейшую технологию портретной анимации « X-Portrait 2 ».

В частности, X-Portrait 2 — это « модель передачи генеративных портретов », которая очень интуитивно понятна и проста в использовании: пользователям нужно только предоставить статический портрет и видео «спектакля» с изменениями выражений, и с помощью этой технологии вы можете «переносить» выражения. к портретам одним щелчком мыши, заставляя и первый « двигаться ».

Так:

Как вы можете видеть, нижний левый угол — это «статичный портрет», а нижний правый угол — «видео выступления». Функция X-Portrait 2 — заставить персонажа слева выглядеть почти так же, как и персонаж. справа .

Помимо « выражения », даже « поведение » представляет собой почти точную копию на уровне пикселей:

«Хитрость» и «непослушность», заключенные в бровях и улыбке, переданы точно.

Даже когда голова сильно покручена, X-Portrait 2 вполне работоспособен и выражение лица не искажается:

Более «прагматичный» сценарий использования заключается в том, что его можно использовать для « синхронизации губ », иногда для удовлетворения потребностей последующей модификации строк:

Воспроизведение не только точное, но и достаточно плавное и естественное. Издательство также называет это « высоковыразительной портретной анимацией ».

Очевидно, что эта модель может обеспечить межстилистическую и междоменную передачу выражения, охватывая реалистичные портреты и мультяшные изображения, она легко адаптируется и может использоваться для повествования в реальном мире, представления анимированных персонажей, виртуальных агентов и других визуальных эффектов;

Что касается спецэффектов постобработки для фильмов или анимации, X-Portrait 2, несомненно, значительно упрощает существующие процессы захвата движения, анимации персонажей и создания контента.

По сравнению с прототипом X-Portrait, обновления и инновации X-Portrait 2 невозможно переоценить.

X-Portrait 2 использует более совершенный кодировщик выражений , который обучен на крупномасштабном наборе данных. Он может более точно фиксировать и воспроизводить тонкие выражения персонажей, включая такие детали, как надутые щеки и хмурые взгляды. Восстанавливает сложность. выражения и повышает их реалистичность.

В то же время в X-Portrait 2 достигается эффективное разделение внешнего вида и действия , а это означает, что при переносе выражений сохраняются характеристики внешнего вида исходного изображения, а изменения выражений не влияют на основной внешний вид персонажа, улучшая естественность. и последовательность анимации.

Стоит отметить, что X-Portrait 2 также инновационно представляет модель генеративной диффузии , которая может обрабатывать изменения выражения лица под разными углами обзора, генерировать более плавные и реалистичные эффекты анимации и решать проблему, с которой могут столкнуться традиционные методы при изменении угла обзора. Возникает проблема несогласованности мимики.

Кроме того, X-Portrait 2 также расширяет возможности междоменной передачи выражений, а также реалистичность анимации и динамическое выражение.

По сравнению со своим ранее выпущенным конкурентом, Act-One от Runway, X-Portrait 2 впечатляет не меньше. Это также счастливое выражение «Хорошего дедушки». Эффект первого акта следующий:

Кажется, что достигнута только «миграция», и преувеличенность выражения явно смягчена, а также немного жестковата. Если вы закроете оригинальное видео, вы не сможете определить, кому оно имитирует.

Для того же выражения X-Portrait 2 создает следующий эффект:

Помимо более точного и тонкого воспроизведения мимики, мы словно способны чувствовать естественную « радость ». В этом сила X-Portrait 2.

По поводу преимуществ X-Portrait 2 разработчики сказали следующее:

По сравнению с современными методами, такими как X-Portrait и недавно выпущенным Runway Act-One, наша модель может точно передавать быстрые движения головы, небольшие изменения выражения лица и сильные личные эмоции. Эти аспекты имеют решающее значение для создания высококачественного анимационного контента, например, используемого в анимации и кинопроизводстве.

Давайте посмотрим на более интуитивное сравнение:

Очевидно, что по сравнению с оригинальным X-Portrait улучшение X-Portrait 2 заключается в том, что оно более « естественное и плавное », а по сравнению с Act-One X-Portrait 2 более « точное и деликатное ».

В любом случае запуск X-Portrait 2 продолжает продвигать возможную концепцию «замены захвата движения генеративным искусственным интеллектом» и делает ее более зрелой, на шаг ближе к коммерциализации.

# Добро пожаловать на официальную общедоступную учетную запись WeChat Aifaner: Aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.

Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo