Забудьте о преобразовании текста в изображение; этот ИИ делает видео из ваших подсказок

Вы, вероятно, слышали об удивительных результатах, достигнутых с помощью искусственного интеллекта преобразования текста в изображение, такого как Dall-E , Stable Diffusion и Midjourney . Как и следовало ожидать, революция движется вперед, и следующей целью станут инструменты искусственного интеллекта для преобразования текста в видео.

Google и Meta дразнили свои возможности преобразования текста в видео в отчетах об исследованиях своих лабораторий искусственного интеллекта, но эта передовая технология не была доступна широкой публике. Если вы с нетерпением ждали возможности попробовать создавать целые видеоролики с помощью простой подсказки ИИ, теперь это ваш шанс благодаря QuickVid .

Прежде чем ваши ожидания поднимутся слишком высоко, важно понять, что это не эквивалентно созданию тысяч кадров Stable Diffusion и сборке их для создания видео или получению доступа к самым передовым системам искусственного интеллекта в мире для создания настоящего видео. Это очень раннее вступление в гонку за решение для преобразования текста в видео.

Первым шагом процесса для ИИ является создание сценария на основе вашей подсказки. Я протестировал систему, создав короткометражку на YouTube из следующих слов: «Видео о том, как дрон DJI пролетает над астронавтом на Марсе, и заканчивается кадром реакции удивленного астронавта».

ИИ написал полное повествование из 79 слов по моей подсказке, а затем синтезировал речь с выбором мужского или женского голоса. TechCrunch указал, что фоновое видео, выбранное для сгенерированного видео, взято из стандартной библиотеки, и, по-видимому, там было много кадров «космонавтов на Марсе».

В качестве сомнительного завершающего штриха QuickVid накладывает сценарий в качестве заголовков и добавляет эскизы изображений, созданные API Dall-E. Получившийся в результате короткометражный ролик YouTube, показанный выше,… интересен. Возможно, он лучше справился бы с более земными видео.

В интервью TechCrunch разработчик QuickVid сказал, что грядут улучшения, и в январе появятся дополнительные возможности персонализации. Со временем QuickVid также будет включать субтитры и вспомогательные аватары.

В следующем году может появиться гораздо больше решений для преобразования текста в видео, а также другие визуальные чудеса, такие как очки дополненной реальности и более совершенные гарнитуры виртуальной реальности. Это должно быть интересно.