Кому нужна Сора, если у вас есть Meta Movie Gen?
В пятницу Meta представила Movie Gen , свой мультимодальный видеоИИ третьей волны. Он обещает «создавать пользовательские видео и звуки, редактировать существующие видео и превращать ваше личное изображение в уникальное видео», превосходя при этом аналогичные модели, такие как Gen-3 от Runway, Kling 1.5 от Kuaishou Technology илиSora от OpenAI.
Meta Movie Gen основывается на более ранних разработках компании, сначала на мультимодальных моделях Make-A-Scene , а затем на моделях основы изображения Llama. Movie Gen — это набор всех этих моделей — в частности, создания видео, создания персонализированного видео, точного редактирования видео и создания звука — которые улучшают детальный контроль создателя. «Мы ожидаем, что эти модели позволят использовать различные новые продукты, которые могут ускорить творческий процесс», — написала компания в своем объявлении .
Для генерации видео Movie Gen использует модель с 30B параметрами, которая выводит клипы длительностью до 16 секунд, хотя и со скоростью 16 кадров в секунду (fps). «Эти модели могут рассуждать о движении объекта, взаимодействии субъект-объект и движении камеры, а также они могут изучать правдоподобные движения для широкого спектра концепций», — сказал Мета, — что делает их самыми современными моделями в своей категории. » Используя ту же модель, Movie Gen может создавать персонализированные видеоролики для авторов из неподвижных изображений.
Meta использует вариант этой модели генерации видео, который использует как видео, так и текстовые входные данные для точного редактирования генерируемого контента. Это может повлиять как на локализованные изменения, такие как добавление, удаление или замена элементов, так и на глобальные изменения, такие как применение нового кинематографического стиля. Для генерации звука Movie Gen использует отдельную модель с 13B параметрами, которая может создавать до 45 секунд звука — будь то окружающий фоновый шум, звуковые эффекты или инструментальная партитура — при этом автоматически синхронизируя этот контент с видео.
Согласно официальному документу Meta , Movie Gen последовательно побеждает в A/B-тестах другие современные видеоИИ, включая Gen3, Sora и Kling 1.5, в категории создания видео. Он также превзошел ID-animator по созданию персонализированного видео и Pika Labs Sound Gen по созданию аудио. Он также во второй раз превзошел Gen3 по возможностям редактирования видео. Судя по демонстрационным видеороликам, которые мы видели до сих пор, Movie Gen значительно превосходит текущую серию бесплатных видеогенераторов .
Компания заявляет, что планирует «тесно сотрудничать с кинематографистами и создателями, чтобы интегрировать их отзывы», продолжая разработку этих моделей, но сразу же отметила, что не намерена вытеснять людей-творцов с помощью ИИ. «Мы делимся этим исследованием, потому что верим в способность этой технологии помочь людям выразить себя по-новому и предоставить возможности людям, у которых в противном случае их могло бы не быть», — написали в компании. «Мы надеемся, что, возможно, однажды в будущем у каждого будет возможность воплотить свои художественные замыслы в жизнь и создавать видео и аудио высокой четкости с помощью Movie Gen».