Эта первая в своем роде видеомодель от китайской компании, занимающейся искусственным интеллектом, которая может точно управлять персонажами на минутном уровне, уже здесь WAIC 2024 |

SenseTime снова сделал что-то великолепное: он может создать одноминутное видео с помощью одной фотографии.

4 июля Vimi, первая модель генерации видео с большими управляемыми персонажами для пользователей C-конца, созданная SenseTime, была выбрана «Сокровищем зала», высшей наградой на выставке Всемирной конференции по искусственному интеллекту (WAIC). самый инновационный экспонат конференции.

Основываясь на новой большой модели SenseTime, Vimi может генерировать видео персонажей, соответствующее целевому действию, с помощью фотографии любого стиля и поддерживать различные методы вождения, которые могут использовать существующие видео персонажей, анимацию, звуки, текст и т. д. . Движется множеством элементов.

Благодаря быстрому развитию больших моделей и технологий генеративного искусственного интеллекта сделать фотографии «живыми» уже не составляет труда.

Однако существующие на рынке продукты по-прежнему имеют множество проблем в практическом применении, таких как неточное управление движением и выражением лица, плохая стабильность эффектов и ограниченная продолжительность видео, что ограничивает творческое пространство создателей видео.

Чтобы преодолеть эти узкие места, SenseTime запустила большую управляемую модель создания видео с персонажами — Vimi.

В отличие от технологии управления выражением изображения, которая может контролировать только движения выражения головы, Vimi может не только добиться точного управления выражением персонажей, но также контролировать естественные изменения тела персонажей на фотографиях в области половины тела и автоматически генерировать волосы, волосы. и волосы, соответствующие персонажам, меняются костюмы и фон.

В то же время Vimi также может разумно генерировать изменения света и тени, делая движения персонажей и визуальные эффекты плавными и естественными, а картинку — гармоничной и красивой.

Что еще более важно, Vimi может стабильно генерировать одиночные видеоролики с персонажами продолжительностью до 1 минуты без ухудшения или искажения с течением времени, полностью удовлетворяя потребность в долгосрочных стабильных видеороликах в сценариях развлечений и взаимодействия.

Ририксин официально заявил, что Vimi будет полностью открыт для пользователей C-конца, особенно для удовлетворения развлекательных и творческих потребностей пользователей-женщин.

Пользователям нужно только загружать изображения людей в высоком разрешении под разными углами, а цифровые аватары и фото-видео разных стилей могут создаваться автоматически.

Видеоперсонажи, сгенерированные Vimi, больше не представляют собой просто скучные движения лица, а сочетаются с жестами, конечностями, волосами и т. д. для формирования более полных и унифицированных движений персонажей, что позволяет создателям редактировать и воссоздавать на основе сгенерированных видеоматериалов.

Для пользователей, которые любят делать селфи, Vimi поддерживает различные развлекательные и интерактивные сценарии, такие как общение, пение, танцы и т. д. Для пользователей, которым нравятся смайлы, Vimi может создавать множество интересных смайликов персонажей с помощью одной фотографии; с различными способами игры и достижения творческой свободы.

Кроме того, Vimi также предоставляет различные стили генерации, такие как эстетический фотостиль и стиль фэнтези, позволяя пользователям путешествовать по разным измерениям и наслаждаться захватывающими визуальными эффектами, подобными блокбастерам.

В настоящее время в 80% видеороликов в отрасли в качестве основного контента используются персонажи. В то же время, с бурным ростом количества коротких видеороликов и платформ прямых трансляций, спрос на видеоролики с персонажами в качестве основного контента увеличился в геометрической прогрессии.

Однако на рынке ощущается нехватка продуктов AIGC, способных контролировать генерацию персонажного видео, что приводит к острой необходимости повышения эффективности создателей контента.

Можно сказать, что появление Vimi только что заполнило этот пробел, предоставив большинству создателей видео C-side простой и удобный в использовании инструмент создания, который можно широко использовать при создании коротких видеороликов с персонажами.

Более подробная информация о Вими будет представлена ​​на форуме искусственного интеллекта «Любовь без границ · Сян Синьли», организованном SenseTime 5 июля. APPSO также будет следить за отчетами.

В настоящее время Vimi открыла бронирование на официальном сайте SenseTime, и вы можете в этом убедиться.

Прилагается портал адресов бронирования: https://vme-int.softsugar.com/questionnaire/.

# Добро пожаловать на официальную общедоступную учетную запись WeChat aifaner: aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.

Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo