Теперь вы можете создавать видео с искусственным интеллектом прямо в Premiere Pro.

Adobe объявила в понедельник , что Firefly теперь может генерировать видео из изображений и текстовых подсказок, а также расширять существующие клипы. Новая функция в настоящее время распространяется для подписчиков Premiere Pro.

Функция создания видео дебютирует в ряде новых инструментов для Premiere Pro и веб-приложения Firefly. Например, Generative Extend от PP может добавлять до двух секунд добавленного материала AI к началу или концу клипа, а также вносить коррективы в середине кадра в положение камеры, отслеживание и даже сами объекты съемки.

Сгенерированное видео доступно в разрешении 720p или 1080p со скоростью 24 кадра в секунду (fps). Инструмент также может продлить звуковые эффекты клипа и окружающий шум на срок до 10 секунд, но не может сделать то же самое с разговорными диалогами или музыкальными сопровождением.

Веб-приложение Firefly получает два новых собственных инструмента искусственного интеллекта : инструменты преобразования текста в видео и изображения в видео, которые развертываются в ограниченной публичной бета-версии, и вы можете подать заявку на включение в список ожидания здесь . Они делают то, что, по их словам, они делают. Функция Text-to-Video создает короткие клипы в различных художественных стилях и позволяет авторам итеративно настраивать выходное видео с помощью элементов управления камерой веб-приложения.

Аналогичным образом, при преобразовании изображения в видео используются как текстовая подсказка, так и эталонные изображения, чтобы приблизить модель к тому, что задумал создатель, за меньшее количество итераций. Обе веб-функции создают видео продолжительностью до пяти секунд с разрешением 720p и частотой 24 кадра в секунду примерно за полторы минуты.

Хотя ни одна из этих новых функций генерации видео не является особенно новаторской ( Gen-3 от Runway , Movie Gen от Meta и грядущаяSora от OpenAI имеют почти идентичные функции и возможности), Firefly действительно предлагает своим пользователям преимущество перед другими моделями в том, что ее выходные данные являются «коммерческими». безопасный."

Adobe обучила свою модель Firefly изображениям Adobe Stock, контенту с открытой лицензией и контенту, являющемуся общественным достоянием, а это означает, что созданные ею результаты вряд ли повлекут за собой какие-либо иски о нарушении авторских прав. Если бы то же самое можно было сказать о конкурентах Runway , Meta и Nvidia .