Посмотрите, как Meta демонстрирует отслеживание виртуальной реальности всего тела с помощью всего лишь гарнитуры Quest
Meta Reality Labs делает большие успехи в рендеринге аватаров с помощью последних достижений, сочетающих машинное обучение (ML) с данными датчиков от гарнитур Quest VR, чтобы показать ваше тело полностью, включая руки, ноги, туловище и голову. В результате получается очень реалистичное и точное представление поз и движений человека в гарнитуре Quest 2.
Это довольно удивительно, поскольку для оценки движения и положения ног использовались только положения и ориентация гарнитуры Quest VR и двух ее контроллеров. Для этой замечательной системы не используются никакие трекинговые ленты на ногах и внешние камеры. Ученый-исследователь Meta Research Александр Винклер поделился в Твиттере несколькими видеороликами, а также ссылками на научную статью на arXiv и видео на YouTube с более подробной информацией.
В научном смысле это известно как отслеживание движения от разрозненных датчиков, и машинное обучение особенно хорошо подходит для извлечения значимой информации из очень небольшого количества, если существует достаточно зависимостей между тем, что известно, и неизвестным. Поскольку мы размахиваем руками для равновесия при ходьбе и беге, движение рук является хорошим индикатором того, что обычно делают ноги. В сочетании с наклоном и направлением головы система машинного обучения может очень точно предсказать большинство движений человека.
Более традиционные подходы к отслеживанию конечностей основаны на дополнительном оборудовании, таком как отражающие маркеры, размещенные на ваших ногах и туловище, которые идентифицируются внешними камерами, или браслеты с беспроводными маяками, которые носят в разных местах на ваших ногах для передачи данных о положении и движении.
Хотя эти методы работают, они обычно продаются как аксессуары, которые стоят дороже и плохо поддерживаются в большинстве приложений и игр. Если Meta сможет добиться таких хороших результатов с гарнитурой Quest 2, разработчики с большей вероятностью будут встраивать отслеживание тела в свои игры и приложения.
Несмотря на эти значительные достижения, Meta Reality Labs признает, что необходимо проделать дополнительную работу. Если вы двигаетесь достаточно быстро, модель машинного обучения не сможет правильно определить вашу позу. Компьютеру трудно оценить необычные позы, и если в виртуальной среде есть препятствия, которых не существует в реальности, движение не будет соответствовать. Однако общий эффект кажется очень хорошим, и было бы неплохо улучшить возможность видеть полное тело вместо плавающих торсов при общении с друзьями в виртуальной реальности.
Надеюсь, эта технология скоро будет готова к запуску. Поскольку анонс гарнитуры Meta Quest Pro ожидается всего через несколько недель, время для аватаров в полный рост кажется идеальным. Meta Quest Pro может отслеживать движение глаз и выражение лица, обеспечивая улучшенное ощущение присутствия для ваших друзей, семьи и коллег, которое может быть значительно улучшено в ближайшем будущем.