Я использовал приложение для создания 3D-моделей на своем iPhone, и оно потрясающе здорово
Темпы инноваций в создании изображений искусственного интеллекта феноменальны. Одна компания — Luma Labs — представляет собой отличный пример практического, но чрезвычайно интересного использования новейших технологий, применяемых к 3D-изображениям.
Luma AI находится в стадии бета-тестирования на iPhone и в конечном итоге будет доступен и на Android. Я попал в группу бета-тестирования и могу поделиться информацией о том, что делает это замечательное приложение и как легко получить невероятные результаты.
Что такое Luma AI?
Luma AI — это приложение и сервис, разработанный Luma Labs. Он захватывает трехмерные изображения, используя технику, известную как Neural Radiance Fields (NeRF). Это похоже на технику трассировки лучей, которая делает графику в высококлассных играх такой реалистичной.
NeRF существуют уже несколько лет, но до недавнего времени существовали в основном в исследовательских учреждениях. С взрывным ростом генерации изображений ИИ, во главе с фотореалистичными рендерингами Dall-E , NeRF начинает изучать гораздо более широкая аудитория. Первая волна нового программного обеспечения NeRF требовала некоторых навыков разработчика и установки программных пакетов с GitHub , а затем обучения ИИ на наборе фотографий. Это было слишком много для обычного человека.
Luma Labs собирается значительно упростить этот процесс с помощью своего приложения Luma AI. От начала до конца всем процессом можно управлять с iPhone, а конечный результат также более доступен.
Совместимость Luma AI с iPhone
Поскольку Apple продемонстрировала возможности датчиков LiDAR для измерения 3D-глубины, можно ожидать, что Luma AI потребует более дорогого iPhone 14 Pro или iPhone 14 Pro Max для захвата 3D-моделей. Однако умные разработчики из Luma Labs вместо этого используют фотограмметрию. Это делает эту технологию совместимой с такими старыми iPhone, как iPhone 11.
В будущем приложение станет доступно для Android, а веб-версия уже находится в стадии бета-тестирования. В интервью генеральный директор Luma Labs Амит Джейн сказал, что приложение для iPhone будет готово к публичному выпуску через несколько недель.
Как использовать Luma AI
Чтобы использовать Luma AI, вы просто медленно кружите вокруг объекта на трех разных высотах. Наложение AR проведет вас через процесс, который займет несколько минут и станет проще после нескольких попыток, когда вы ознакомитесь с процессом. Вскоре вы сможете сфотографировать объект среднего размера, например стул, за пару минут.
Объект любого размера можно обрабатывать, потому что для Luma AI это просто серия изображений — независимо от того, насколько велик объект. Если вы обведете кружку, статую или здание, общая идея останется прежней.
Приложение сообщит вам, когда у него будет достаточно изображений, и когда это произойдет, появится кнопка «Готово». Вы также можете продолжать кружить и заполнять пробелы в облаке колец и прямоугольников AR , которые представляют фотографии, сделанные до сих пор. Приложение автоматически остановит захват, когда будет собрано идеальное количество фотографий. Существует также режим произвольной формы, который позволяет делать еще больше фотографий под разными углами и с разных расстояний. Вы можете увидеть процесс в видео на YouTube, которое я создал ниже. Это приложение для iPhone, так что это портретное видео.
Обработка — это следующий шаг, который происходит на серверах Luma Labs. Примерно через час готовый NeRF будет доступен в приложении в нескольких различных формах. Первое представленное изображение представляет собой сгенерированное видео, показывающее пролет объекта в его естественной среде. Следующая интерактивная версия позволяет вращать изображение, перетаскивая палец или мышь по изображению.
Самое впечатляющее, что объект захвата, извлеченный из фона, также доступен. С помощью этого представления вы можете поворачивать 3D-объект по любой оси и увеличивать масштаб, чтобы рассмотреть его поближе. Резкость зависит от того, сколько изображений было собрано и насколько медленным и стабильным был процесс захвата.
Все время становится лучше
Luma Labs очень быстро обновляет приложение и сервис. В течение недели после получения приглашения на бета-тестирование были добавлены две мощные новые функции, которые значительно расширяют возможности. Первый — это вариант веб-загрузки, который позволяет снимать видео без приложения, а затем загружать его на веб-сайт Luma Labs для обработки. Результаты появляются онлайн и в приложении.
Это означает, что можно использовать любой из режимов камеры iPhone, снимать видео с помощью специальной камеры или даже записывать видео с помощью очков дополненной реальности, таких как Ray-Ban Stories. Например, видео с дрона становится еще более эпическим, когда вы можете сгладить движение и изменить направление после того, как вы уже приземлились. Luma Labs поделилась хорошим примером, показывающим вид с воздуха на осенние листья в этом твите.
Осень в Пало-Альто прекрасна! https://t.co/EwNkiv0DQV pic.twitter.com/hdd7iBLYgV
– Luma AI (@LumaLabsAI) 22 октября 2022 г.
Другая новая функция открывает возможности 3D-редактирования, рисования и 3D-печати. 3D-сетки можно экспортировать с текстурами в формате OBJ или GLTF. Они не оптимизированы, но их можно просматривать с неповрежденными текстурами даже с помощью онлайн-программы просмотра, такой как бесплатный веб-сайт с открытым исходным кодом Online3DViewer .
Также можно открыть 3D-файлы в редакторе сетки, таком как бесплатный MeshLab с открытым исходным кодом, чтобы удалить любые случайные артефакты, которые выглядят как плавающие капли, а также очистить и упростить модель перед экспортом в различные форматы. Фигурка, показанная выше, имеет высоту около трех дюймов и была создана моей женой Трейси для ее бизнеса ALittleCharacter . Luma AI запечатлел удивительное количество деталей в скульптуре и бревне, на котором она стояла. Журнал также мог быть выбран и удален MeshLab.
Плюсы и минусы 3D-сканирования
Кайл Брасселл поделился демонстрацией десертов с вечеринки, упомянув, что он попросил взрослых дождаться своих угощений, чтобы он мог запечатлеть это как цифровую диораму.
Вчера вечером использовал @LumaLabsAI на вечеринке по случаю дня рождения, заставил кучу взрослых не есть десерт, поэтому я мог кружить вокруг стола со своим телефоном, чтобы 3D-ИИ мечтал о настройке, как очень крутой человек pic.twitter.com/sP0vVPB3yx
– Кайл Рассел (@kylebrussell) 30 октября 2022 г.
Хотя Luma AI может обрабатывать видео, он использует неподвижные изображения для построения трехмерной сцены. Это означает, что если объект движется, это может снизить качество или четкость изображения. Трехмерное изображение сидящего человека, как показано в твите Альберта Бозесана, будет хорошим. В том же твите второй снимок скульптуры показывает, что происходит, когда внутри сцены происходит движение. На заднем плане изображены люди, которые шли рядом с объектом, в виде искаженных форм.
Взял сегодня два @LumaLabsAI #NeRF у баварского озера. Отличный способ запечатлеть воспоминания, похоже на отчет меньшинства. # Тегернзее pic.twitter.com/HLC0ekF7uD
– Альберт Бозесан (@AlbertBozesan) 30 октября 2022 г.
Luma AI цена и доступность
Luma AI в настоящее время находится в стадии бета-тестирования, и приглашения периодически рассылаются через учетную запись компании в Twitter . Если у вас есть совместимый iPhone и вы заинтересованы в этой технологии, возможно, вы сможете получить ранний доступ. На веб -сайте Luma Labs также есть список ожидания.
Генеральный директор Luma Labs Джейн указал, что цены еще не определены и зависят от того, насколько широкой окажется пользовательская база и как будут использоваться результаты сканирования. Основываясь на этих заявлениях, может быть профессиональная подписка с более расширенными функциями и персональная подписка за меньшие деньги. В настоящее время он останется бесплатным для использования.