Большое обновление для видеогиганта с искусственным интеллектом! Вам не придется усердно писать слова-подсказки. Никогда еще не было такого способа создания видео.

В каком направлении можно катить видео с ИИ? Ответ Luma AI немного другой. Противник все еще отрабатывает одно движение за другим, но это похоже на то, как Фэн Цинъян обучает девяти мечам Дугу. Он уделяет внимание гибкости и может делать все, что хочет, например, струящиеся облака и текущую воду.

Luma AI, возможно, не так известна, как Keling и Runway, но по силе тоже находится в первом эшелоне. Ее видеомодель называется Dream Machine. Она была выпущена в июне этого года. Недавно она претерпела серьезное обновление. , что является самым большим импульсом с момента запуска продукта.

Он включает в себя два обновления: одно — выпуск собственной модели изображений Luma Photon, которая объединяет текст, изображения и видео в одном месте; другое — создание нового рабочего процесса для создания видео с помощью ИИ. Мы можем позволить ИИ просто генерировать видео. например, общение с ChatGPT без необходимости тщательно обдумывать подсказки.

Dream Machine предложила совершенно новый способ создания видео.

указывать путь https://dream-machine.lumalabs.ai/

Во время общения было создано видео.

Когда мы открываем Dream Machine, первое, что мы видим, — это «Доска», которую можно понимать как бесконечное творческое полотно. Здесь мы используем естественный язык для свободного создания изображений или видео.

Когда я запустил доску, моя подсказка была очень простой: «Создайте японского комического персонажа-саспенс-мальчика».

ИИ расширил мои слова-подсказки и сгенерировал сразу 4 картинки, но это не сработало, время было неподходящее.

Не имеет значения, просто введите в диалоговое окно еще одно предложение: «Поместите его на современный фон».

ИИ сказал, что понял, и создал еще 4 изображения. Тот, что вверху справа, идет один по темному переулку, близок к тому ощущению, которое я хочу, но мне все равно недостаточно, чтобы он поднял голову и показал свою. черты лица.

Это несложно, просто продолжайте настройку, забудьте о сложных словах-подсказках и просто играйте напрямую с ИИ.

Тот, что справа внизу, хорош, хотя изображение немного детское. Далее я хочу, чтобы ИИ сгенерировал видео, на котором главный герой ходит днем ​​и ночью по одному и тому же переулку.

Функция Dream Machine по генерации первого и последнего кадров видео подготовлена ​​для этой необходимости — мы выбираем первое и последнее изображения и позволяем ИИ завершить средний процесс.

Тогда нам нужно всего лишь позволить ИИ сгенерировать несколько дневных сцен на основе изображений, которые нас устраивают, а метод связи останется таким же простым и грубым. Два окончательно выбранных изображения имеют немного разные детали, но находятся в одном кадре.

Все готово, осталось только сгенерировать видео, и переход ИИ вполне естественен.

На этом этапе вы должны понять разницу между Dream Machine и другими инструментами для работы с видео.

Другие инструменты для видео обычно предоставляют текстовое поле для ввода слова-подсказки, а затем позволяют устанавливать такие параметры, как движение камеры и продолжительность. Установите один раз, сгенерируйте один раз.

Но интерфейс Dream Machine очень похож на взаимодействие с чат-ботом. Внизу находится поле ввода, в котором можно отображать изображения Винсента, изображения Туша, видео Туша и видео Винсента.

Профессиональные создатели могут продолжать писать традиционные слова-подсказки, но мы также имеем право «говорить человеческими словами». Давление, оказываемое ИИ, может понять контекст и помочь нам улучшить слова-подсказки. приблизительная идея, болтаем с ней, внося изменения и оптимизируя.

А поскольку Машина Мечты имеет форму бесконечного холста, мы можем генерировать ее неоднократно за сеанс, при этом материалы сохранятся и не будут перекрывать друг друга.

Наше мышление не будет ограничиваться подсказкой или видео, а будет течь, как вода, в этом процессе может возникнуть больше идей.

Больше управляемых изображений, больше управляемых видео

Новый рабочий процесс Dream Machine подобен стволу большого дерева, а некоторые его забавные и практичные функции подобны ветвям, которые дополняют друг друга и процветают.

Ключевую роль играет Luma Photon, последняя модель изображения, выпущенная Dream Machine.

Как создавать изображения, которые больше соответствуют нашей эстетике? Dream Machine поддерживает ссылки на стили и ссылки на символы.

Давайте сначала поговорим об эталоне стиля. Мы можем импортировать наши собственные изображения, и ИИ интегрирует стиль в творение. Чиновник привел пример: создание птичьей версии «Девушки с жемчужной сережкой» в стиле Мондриана.

Основываясь на этой идее, мы можем создать женщину-детектива по образу мужчины-детектива и обратиться к стилю «Звездной ночи» Ван Гога.

Когда второе измерение встречается с постимпрессионизмом, химическая реакция замечательна.

Функция ссылки на персонажа может обеспечить единообразие персонажа на одном изображении, чтобы персонаж мог появляться на большем количестве изображений и видео.

Маск — это ходячая библиотека материалов. Этот пример слишком простой. Я решил позволить Чжэнь Хуан телепортироваться в мир Гарри Поттера, чтобы посмотреть, сможет ли она по-прежнему иметь ауру 2,8 метра после смены сцены.

Результат немного сложно комментировать. Видно, что это лицо Чжэнь Хуань, но внешность императрицы соответствует местным обычаям, а черты ее лица, особенно глаза, стали более европейскими и американскими.

Фактически, Dream Machine может не искать дополнительных ссылок на изображения, а также предотвратить потерю фотографий и видео. В это время вам нужно использовать функцию «мозгового штурма», которая порекомендует стили некоторых художников на основе изображений. вы генерируете.

Точно так же, как сцену, где Чжэнь Хуань входит в Хогвартс, мы можем воссоздать ее в стиле Studio Ghibli.

Мало того, некоторые ключевые слова в подсказках заключены в рамки и могут быть заменены раскрывающимися опциями. Dream Machine называет их «концептуальными таблетками». Нам не нужно самостоятельно писать подсказки, и мы можем изменить художественное оформление. элементы стиля или изображения одним щелчком мыши.

Чтобы заменить «Гибли» на «Синкай Макото» и «Единорог» на «Дракон», достаточно всего нескольких щелчков мышью.

Модель Luma Photon построена на основе универсальной архитектуры Luma Transformer. Разработав собственную модель изображения, Luma AI может снизить зависимость от внешних моделей изображений, таких как Midjourney, а также решить проблему нестабильности видео Винсента.

Конечно, видео — это наша специальность, и Dream Machine также незаменима для управляемых функций, таких как движение камеры.

Смогут ли Чжэнь Хуан в Запретном городе и Чжэнь Хуан в Хогвартсе добиться плавного перехода? При использовании зум-объектива картинка получается динамичной, а персонажи не сильно деформируются. Можно получить 80 баллов.

Визуальное мышление, рассказывание историй

По совпадению, Runway также официально анонсировала свою модель генерации изображений Frame два дня назад, в тот же вечер, что и обновление Luma. Глядя на демонстрацию, можно увидеть, что она уделяет большое внимание эстетике и в настоящее время постепенно открывает возможности для Gen-. 3 Альфа.

Качество генерации изображения, эстетическая высота, последовательность и управляемость визуального стиля все больше ценятся визуальными моделями.

Это хорошо для создателей. Когда мы используем ИИ для графического дизайна и настройки персонажей, мы фактически создаем уникальный мир и рассказываем уникальную историю.

Кристобаль Валенсуэла, генеральный директор Runway, считает, что Runway — это не компания, занимающаяся искусственным интеллектом, а медиа- и развлекательная компания, и что эра компаний, занимающихся искусственным интеллектом, закончилась.

Он не принижает ИИ, напротив, он считает, что ИИ — это своего рода инфраструктура. Настоящая революция заключается не в самой технологии, а в том, чего она достигает: новых формах выражения, новых способах рассказывать истории и связях. подключить человеческий опыт. Новые методы. Это совпадает с эволюционным направлением Лумы.

После этого обновления генеральный директор и соучредитель Luma AI Амит Джайн дал Dream Machine интересное определение — партнер по визуальному мышлению.

Концепция немного абстрактна, но на самом деле он имеет в виду сделать визуальные творения, такие как изображения и видео, такими же простыми и интуитивно понятными, как общение в чате.

То, как мы взаимодействуем, влияет на то, как мы думаем. Рабочий процесс в стиле холста позволяет визуализировать идеи, записывать все творческие процессы и результаты, а также представлять полные идеи для создания видеороликов.

Бесконечный холст обычно чаще встречается в моделях изображений, таких как Recraft и Ideogram's Canvas. Холст Dream Machine более регулярный: материалы и вариации, созданные одними и теми же словами-подсказками, расположены горизонтально, а разные — вертикально.

Процесс общения, генерации и оптимизации заставит людей почувствовать, будто на холсте родился независимый маленький мир.

Сначала позвольте Dream Machine использовать гиперреалистичный стиль компьютерной графики из фильма, чтобы создать главного героя игры на фоне промышленных пустошей.

Затем используйте объемный кадр, чтобы оживить главного героя и создать ощущение пространства в окружающей среде.

Затем мы можем пообщаться с ИИ и позволить ИИ продолжать создавать различные внутренние и внешние сцены в мире пустошей, а также позволить ИИ предложить, как мы можем сделать его более апокалиптическим.

В каком-то смысле это полотно является местом действия наших личных историй.

Конечно, у Luma AI также есть много ошибок, в том числе, помимо прочего, использование изображения для достижения единообразия символов не является идеальным; точки подобны проточной воде, и изображения и видео все равно приходится рисовать повторно, поэтому модель изображения может генерировать точную информацию; Английский, но не говорю по-китайски…

Но смысл передан хорошо — меньше говорите о параметрах, используйте взаимодействие в качестве отправной точки и создайте инструмент для создания ИИ.

Лучшая видеомодель не только имеет более высокую скорость генерации, более управляемое движение камеры и более уникальную эстетику, но также должна обеспечивать лучший способ рассказывать истории, позволяя использовать текст, изображения и видео в качестве инструментов выражения идей.

Машина мечты, машина мечты.

Просто создавайте, как сказал Luma AI: «Не нужно писать сложные слова-подсказки, просто спрашивайте».

# Добро пожаловать на официальную общедоступную учетную запись WeChat Aifaner: Aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.

Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo