Сложная Сора! Adobe запускает видеоартефакт AI — видео P из одного предложения.
В последнее время сфера видео с использованием искусственного интеллекта стала чрезвычайно оживленной, и Adobe только что присоединилась к этой схватке.
На конференции Adobe Max в этом году компания Adobe официально представила собственную видеомодель AI — Firefly Video Model, входящую в область генеративного искусственного интеллекта.
Меган Кин, главный менеджер по маркетингу продуктов Adobe, сказала, что запуск модели Firefly Video Model призван упростить и ускорить создание видео, а также расширить возможности видео по рассказыванию историй. Таким образом, эта модель содержит три интересные и практичные функции:
- Генеративное расширение
- Преобразование текста в видео (Вэньшэн видео)
- Преобразование изображения в видео (图生视频)
Среди них Generative Extend был интегрирован в Premiere Pro, профессиональное программное обеспечение для редактирования видео, разработанное Adobe; Text-to-Video и Image-to-Video только что выпустили бета-версии в веб-приложении Firefly.
Как следует из названия, если снятый вами видеоклип слишком короткий или в нем отсутствуют некоторые части, Generative Extend может помочь вам выполнить «генеративное расширение» в начале или в конце видеоклипа.
То есть, если нужный кадр недоступен или кадр обрезан слишком рано или слишком поздно, редактору достаточно перетащить начало или конец видеоклипа, а Generative Extend может автоматически заполнить генеративный контент, чтобы сохранить видео связное и плавное.
▲Демонстрация функции генеративного расширения видео Generative Extend (Источник изображения: Adobe)
Это означает, что если создатель видео получит «ненужный кадр» во время процесса съемки, ему, возможно, больше не придется возвращаться в исходное место для повторной съемки, и он может использовать Generative Extend для непосредственного расширения и восстановления исходного клипа.
В определенной степени это действительно помогает повысить эффективность создания видео — конечно, при условии, что качество клипов, расширенных с помощью Generative Extend, превосходное.
К сожалению, в настоящее время эта функция ограничена максимальным разрешением 1080p, а клипы можно продлевать максимум на две секунды.
Поэтому Generative Extend подходит лишь для внесения незначительных корректировок в видеоклипы, то есть может помочь пользователям лишь отремонтировать определенные детали, но не может заменить самих создателей для масштабных творений.
Generative Extend также может помочь пользователям вносить коррективы во время стрельбы, исправляя смещение прицела или другие неожиданные движения во время стрельбы.
Помимо видео, Generative Extend также можно использовать для плавного редактирования аудио. Он может продлить фоновые звуки в видео на срок до десяти секунд, но не диалоги или музыку.
▲Иллюстрация функции расширения звука Generative Extend (источник изображения: Adobe)
Если вы хотите сэкономить некоторые усилия в процессе создания видео, вы можете использовать функцию преобразования текста в видео для его непосредственного создания. Как и его «старые предшественники» Runway и Sora от OpenAI, пользователям нужно только ввести текстовое описание видео, которое они хотят создать, и оно может имитировать различные стили, такие как «настоящий фильм», «3D-анимация» и «покадровая анимация». Создавайте соответствующие видеоклипы.
Вот несколько видеоклипов, созданных с помощью функции преобразования текста в видео, чтобы вы почувствовали:
▲Текст подсказки: кинодрон пролетает над огромным красным марсианским ландшафтом, пролетая под нами, а горизонт становится красным, когда восходит солнце. В конце кадра солнце поднимается над горизонтом. (Источник изображения: Adobe)
▲Текст: крупный план фильма и детали портрета старика посреди ночной улицы. Атмосфера освещения унылая и драматичная. Цветовая гамма — синие тени и оранжевые блики. У мужчины чрезвычайно реалистично детализированная текстура кожи и видимые поры. Движения тонкие и нежные. Камера не двигается. Пленочное зерно. Старый анаморфотный объектив. (Источник изображения: Adobe)
▲Текст подсказки: перспективный снимок красивого патио в пастельных тонах в Мексике. Вода прозрачная и голубая, сверкающая в лучах вечернего солнца. Цвета теплые и волшебные, в волшебном стиле. Высокое качество, кинематографическое ощущение. (Источник изображения: Adobe)
В дополнение к реалистичным визуальным изображениям, похожим на кино, Text-to-Video также поддерживает создание некоторых «абстрактных» изображений. Например, его можно использовать для создания видеороликов, включающих такие элементы, как огонь, вода, утечки света и дым, и наложения их на существующие видеоролики, чтобы добавить визуальную глубину и интерес к существующему контенту.
▲Текст подсказки: утечка света в фильме на черном фоне, органическая текстура, реалистичность. (Источник изображения: Adobe)
▲Видеоклипы, созданные путем объединения приведенного выше видео с существующими видео (Источник изображения: Adobe)
Стоит отметить, что видеоклипы, созданные с помощью преобразования текста в видео, также можно дополнительно усовершенствовать с помощью ряда «элементов управления камерой», которые могут имитировать реальные ракурсы камеры, движение, расстояние съемки и т. д.
▲Параметры управления камерой (Источник изображения: Adobe)
Функция Image-to-Video идет еще дальше, позволяя пользователям добавлять «эталонные изображения» в процессе создания видео, чтобы создавать видеоролики, которые ближе к воображению пользователя.
Создатели видео могут начать с изображения и фотографии и использовать функцию «Изображение в видео» для непосредственного создания «B-roll» (термин для производства фильмов и видео, который относится к вспомогательному видео в дополнение к основному содержимому съемки (A- рулон) материал).
Пользователи также могут создавать полные крупные планы, загружая отдельные кадры видео и автоматически заполняя недостающие кадры с помощью функции «Изображение в видео».
▲Текст: Цветы покачивались на ветру, и на один из цветов приземлилась красивая бабочка. (Источник изображения: Adobe)
«Как мы все знаем, видео нельзя редактировать, поэтому они должны быть правдивыми».
Однако функция «кибер-римейка» Image-to-Video напрямую оставляет это предложение в прошлом. Это словно «рука Бога», позволяющая пользователям напрямую управлять и изменять видеоконтент (движения персонажей в видеоролике и т. д.). Рассмотрим следующий пример:
▲ Оригинальный видеоклип (Источник изображения: Adobe)
▲Измененный видеоклип, текст подсказки: рука космонавта в перчатке входит в кадр и отсоединяет один из желтых кабелей, создавая кинематографическое ощущение. (Источник изображения: Adobe)
В настоящее время функции Text-to-Video и Image-to-Video генерируют видеоклипы максимальной продолжительностью всего пять секунд и качеством до 720p и 24 кадров в секунду. Время создания видео составляет примерно 90 секунд, и Adobe разрабатывает «Турбо-режим», чтобы сократить это время.
Отсутствие качества генерации видео показывает, что пользователи пока не могут использовать Firefly Video Model для создания полноценного фильма, и на данный момент ее можно использовать только как творческий вспомогательный инструмент.
Adobe подчеркивает, что Firefly Video Model будет обучать модель только на лицензионном контенте (например, Adobe Stock) и общедоступном контенте, а не на контенте, предоставленном клиентами.
Кроме того, видео, созданные или отредактированные с помощью Firefly Video Model, могут включать сертификаты контента, которые предназначены для обеспечения подтверждения авторства для создателей и источников контента, а также помогают декларировать права использования и владения ИИ для обеспечения «коммерческой безопасности».
Заинтересованные читатели могут присоединиться к списку ожидания Adobe Firefly Video Model по следующей ссылке:
https://www.adobe.com/products/firefly/features/ai-video-generator.html
# Добро пожаловать на официальную общедоступную учетную запись WeChat aifaner: aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.
Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo