Meta запускает 3D-модель Винсента «Блокбастер», генерирующую 3D-материалы за одну секунду

Компания Meta официально выпустила исследовательскую работу, представляя систему 3D-моделей Vincent под названием Meta 3D Gen, которая может генерировать высококачественные 3D-ресурсы из текста менее чем за минуту.

Технические характеристики:

• Высокоскоростная генерация: 3DGen может генерировать предварительные 3D-ресурсы всего за 30 секунд, а последующий этап уточнения текстур занимает всего 20 секунд, что значительно повышает эффективность создания 3D-активов.

• Поддержка физически основанного рендеринга (PBR): 3DGen поддерживает PBR, что имеет решающее значение для воспроизведения эффектов освещения 3D-ресурсов в реальных приложениях.

• Высокая точность: 3D-модели, созданные с помощью 3DGen, оцененные профессиональными 3D-художниками, превосходят существующие коммерческие и некоммерческие методы с точки зрения точности и визуального качества при сложных текстовых подсказках.

Создавайте реалистичные 3D-модели всего за два шага

В документе рассказывается, что Meta 3D AssetGen использует двухэтапный дизайн для создания 3D-моделей по сравнению с традиционными методами генерации 3D-объектов:

в частности:

Первый этап: этап преобразования текста в изображение (синяя часть на рисунке ниже): генерируем 3D-сетку и текстуру на основе текстовых подсказок, прогнозируем 6-канальное изображение, изображающее 4 вида объекта с цветами тени и альбедо.

Второй этап: этап преобразования изображения в 3D состоит из двух этапов.
Сначала 3D-реконструктор (называемый MetaILRM) выводит трехмерное поле SDF, которое преобразуется в сетку с текстурированным материалом PBR (оранжевая часть на рисунке ниже).

Эти материалы затем дополнительно улучшаются с помощью средства улучшения текстуры для восстановления деталей, которые могли быть потеряны при входном представлении (зеленый цвет на изображении ниже), тем самым улучшая визуальное качество и детализацию модели.

Несколько индексов для количественной оценки материалов и света

С точки зрения технической реализации, Meta 3D AssetGen использует формулы VolSDF с различными гиперпараметрами для рендеринга значений SDF и получения непрозрачности 3D-точек.

Во время обучения модель оптимизируется за счет минимизации потерь при многопредставленном рендеринге, но поскольку физически точный рендеринг очень дорог, мы обходим сложное уравнение рендеринга, напрямую используя исходные поля PBR для контроля прогнозируемых аналогов.

Этот вид PBR относится к «физически-ориентированному рендерингу», который представляет собой физически обоснованный рендеринг.

Он моделирует физическое поведение света на поверхности объекта, принимая во внимание влияние освещения, свойств материала и факторов окружающей среды на внешний вид объекта. Он может рассчитывать отражение, рассеяние и рассеивание света на основе различных характеристик. поверхность объекта, такая как шероховатость, металлическое ощущение и т. д., поглощает. Для достижения более реалистичных и точных эффектов рендеринга.

В Meta 3D AssetGen материалы PBR используются для повышения реалистичности 3D-моделей. В частности, материал PBR обладает следующими ключевыми свойствами:

• Альбедо: относится к цвету и яркости поверхности объекта, который определяет внешний вид объекта при различных условиях освещения.
• Металличность: указывает степень металла на поверхности объекта. Объекты с сильным металлическим ощущением будут иметь более очевидный металлический блеск.
• Шероховатость (Roughness): описывает гладкость поверхности объекта и влияет на диапазон светорассеяния на поверхности. Чем выше шероховатость, тем шире светорассеяние и мягче блики.

Материалы PBR на самом деле интегрируются и представляют собой серьезное достижение в области 3D-контента, созданного ИИ. Считается, что можно решить давнюю проблему между контентом, генерируемым ИИ, и профессиональными 3D-рабочими процессами, плавно интегрируя созданные ИИ материалы в существующие рабочие процессы. Ускорить создание виртуальных сред и цифровых двойников можно в различных отраслях.

Исследователи также представили технологию Meta 3D TextureGen, состоящую из непрерывной сети, которая объединяет модели генерации текста с 3D-семантическими условиями в 2D-пространстве, чтобы за короткое время объединить их в полную карту UV-текстур высокого разрешения. Генерируйте высококачественные текстуры. для сложной геометрии.

В экспериментальной части исследователи использовали для обучения набор данных из 140 000 сеток различных семантических категорий, созданных 3D-художниками. Также было проведено обширное исследование пользователей, сравнивающее Meta 3D AssetGen с другими методами преобразования текста в 3D с поддержкой PBR в отрасли, которое показало, что Meta 3D AssetGen предлагает значительные преимущества с точки зрения визуального качества и контроля материалов:

AssetGen обеспечивает улучшение расстояния между фасками на 17 %, улучшение LPIPS на 40 % и является очень удобным для пользователя по сравнению с лучшими в своем классе конкурентами в отрасли на сопоставимых скоростях, включая те, которые поддерживают PBR. Из 72 %.

Крис Маккей, основатель и главный редактор Maginative, прокомментировал:

Потенциальные возможности применения этой технологии огромны. Разработчики игр могут использовать 3D Gen для быстрого создания прототипов окружения и персонажей, что значительно ускоряет процесс разработки. Компании, занимающиеся архитектурной визуализацией, могут создавать подробные 3D-модели зданий и интерьеров на основе текстовых описаний, упрощая процесс проектирования. В сфере виртуальной и дополненной реальности 3D Gen позволяет быстро создавать иммерсивные среды и объекты, потенциально ускоряя разработку приложений Metaverse.

Очевидно, что новая технология Meta обеспечивает возможность реалистичного представления 3D-моделей при различных условиях освещения. Она имеет большой потенциал в области 3D-графики, анимации, игр и AR/VR и окажет большое влияние на игры, кино, телевидение и т. д. даже помощь в разработке продукта.

Это может стать первым шагом на пути к другому уровню моделирования мира.

# Добро пожаловать на официальную общедоступную учетную запись WeChat Aifaner: Aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.

Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo