Самые мощные AR-очки здесь! Десятилетний сверхсекретный проект Меты: вашим следующим мобильным телефоном могут стать очки

Как будут выглядеть очки в будущем? Я не знаю, сколько людей это себе представляло.

Он примерно такого же размера, как и сейчас, при навигации превращается в движущийся HUD. Во время видеозвонков динамическое изображение собеседника подвешивается в воздухе. Линзы могут отображать весь нужный вам контент… Во всяком случае, похоже. тем, которые носили Вегета и Железный Человек.

Сегодня рано утром компания Meta выпустила Orion, первые умные очки AR, которые приближают нас к этому идеальному продукту. Хотя AR-очки выпускались одна за другой в последние несколько лет, общие черты также очевидны: либо они имеют единственную функцию и представляют собой всего лишь мобильный проектор, либо они громоздки и дороги, совершенно непригодны для массового рынка.

По сравнению с предыдущими продуктами, менее громоздкий внешний вид Meta Orion и встроенные функции AR снова вселили надежду на внедрение AR-очков.

Более того, Meta Connect 2024 — важный узел десятой годовщины конференции Цукерберга — также принес и другие новые гаджеты:

• Умные очки Meta Orion – потрясающий дебют, лидирующие в отрасли в области дополненной реальности;
• Выпущены головные MR-очки Meta Quest 3S. «Молодежная версия» Quest 3 не нова, но дешевле;
• Meta AI продолжает модернизироваться, чтобы обеспечить удобство использования оборудования с головным дисплеем;
• Новые функции искусственного интеллекта Meta Ray-Ban: перевод в реальном времени, персональные предложения по экипировке, а также помощь в запоминании парковочных мест.
• Представлена ​​первая большая модель Meta с открытым исходным кодом Llama 3.2 с мультимодальными возможностями.

Аппаратное обеспечение AI+ — неизбежная тема для всех продуктов бытовой электроники в этом году. Так как же Meta сочетает свои собственные большие модели с новым оборудованием? Как выглядят долгожданные умные очки Meta Orion? Давайте посмотрим.

Первые AR-очки Meta – это ошеломляющий дебют, продукт завтрашнего дня, на то, чтобы который «пошёл ва-банк», понадобится десять лет.

По мнению Цукерберга, очки должны быть лучшим «футуристическим» устройством.

До этого кобрендинговые очки Ray-Ban Meta, вышедшие на массовый рынок и добившиеся хороших результатов, успешно подтвердили признание рынком умных очков.

Но можно сказать, что этот продукт достиг лишь половины цели Meta: Ray-Ban Meta в основном обеспечивает звук, фотографию и некоторые функции искусственного интеллекта. Проще говоря, это по-прежнему традиционное устройство, которое носят на глазах.

Полный продукт, который Цукерберг называет «безупречным», — это первые умные очки дополненной реальности Meta Orion. После десяти лет секретной разработки и инвестиций в миллиарды долларов сегодня их наконец вытащили из ящика конфиденциальности. Истинное лицо Лушаня было раскрыто.

Первое впечатление от этих очков, естественно, заключается в том, что дизайн внешнего вида очень близок к обычным солнцезащитным очкам, что сразу же создает большой разрыв между ними и существующими на рынке «большими и грубыми» конкурирующими продуктами.

Потому что очки тоже должны хорошо выглядеть.

Конечно, это также связано с тем, что Meta не решила объединить все компоненты в одну форму очков. Meta Orion состоит из трех частей: корпуса очков, браслета для отслеживания рук и «вычислительного модуля» размером с пульт дистанционного управления. Все три соединены беспроводным способом.

Это «разделенное» решение в сочетании с более легким магниевым материалом, используемым в корпусе, позволяет корпусу очков Orion достигать удивительного веса – 98 граммов. Для сравнения: новые очки дополненной реальности Spectacles от Snap, выпущенные на прошлой неделе, весят 226 граммов.

Что еще более впечатляет, так это то, что Orion, имеющий тонкий и легкий корпус, может работать от батареи около 2 часов, в то время как более толстые и тяжелые очки могут работать только 45 минут.

Что касается возможностей AR-проекции, которые являются основой очков, Orion во многих аспектах добился «далекого прогресса».

Линза Ориона представляет собой не стеклянный дисплей, а линзу из карбида кремния. Миниатюрный проектор на оправе излучает свет в волноводе, а волновод проецируется на линзу, тем самым отображая виртуальный AR-контент (Чжао) с разной глубиной и размером. называет это «панорамой»).

Согласно тестам The Verge, Meta Orion имеет поле зрения до 70 градусов, что может быть AR-очками с самым широким полем зрения в отрасли.

Согласно существующим демонстрационным видеороликам, пользователи могут носить очки, чтобы открывать несколько окон приложения Meta Horizon для многозадачности, или использовать Meta AI для идентификации и маркировки вещей в реальном мире.

Даже если перспектива пользователя отходит от этих окон, эти виртуальные проекции всегда будут «существовать», ожидая, пока взгляд пользователя снова вернется.

Что касается качества и четкости проецируемого изображения, то для чтения картинок и текста это не проблема, но использовать эти очки для просмотра фильмов вам пока не захочется.

Хорошие социальные навыки Меты также объединились с очками AR, чтобы создать новые трюки. Друзья по вызову предстанут перед вами в виде голографического проекционного изображения, но на данный момент это все еще относительно грубо.

Orion также имеет обращенную внутрь камеру, которая сканирует лицо пользователя и создает в реальном времени модель для видеозвонков с пользователем телефона.

Что касается взаимодействия, Meta Orion поддерживает отслеживание глаз, управление жестами и голосовое управление AI. Ношение соответствующего браслета позволяет выполнять более сложные операции с жестами.

Этот браслет может распознавать некоторые жесты: сжимание указательного пальца большим пальцем для выбора содержимого; сведение среднего и большого пальцев для вызова или скрытия средства запуска приложений; прижатие большого пальца к закрытой ладони для выполнения жеста подбрасывания монеты для прокрутки вверх или вниз; , в целом очень естественно.

Стоит отметить, что браслет также обеспечивает тактильную обратную связь, чтобы вы знали, был ли жест успешно распознан, устраняя болевые точки в текущем МР-взаимодействии.

Принцип работы этого браслета заключается в считывании нервных сигналов, связанных с жестами, с помощью электромиографии. The Verge даже отметила, что это «немного похоже на чтение мыслей».

С помощью этого браслета пользователи могут использовать взгляд как указатель на интерфейсе Orion, а щипать пальцем как щелчок. Что еще более важно, если вы хотите использовать очки AR в общественных местах, вам больше не придется неловко ». отдавать приказы в воздух»» или «показывать пальцем», взаимодействие также можно завершить, держа руки в карманах.

Мета-ИИ, который уже начал проявляться в очках Ray-Ban, также был объединен с AR для создания нового игрового процесса и теперь может дополнительно взаимодействовать с реальным миром.

На самом деле The Verge использовала Orion, чтобы быстро идентифицировать и маркировать ингредиенты на столе, и попросила Meta AI создать рецепт молочного коктейля на основе этих ингредиентов.

Хотя Цукерберг заявил, что Meta Orion — это продукт для потребителей, нынешнее устройство Orion все еще является прототипом и доступно только некоторым разработчикам и опытным пользователям, включая старого друга Дженсена Хуанга.

Цукерберг объявил цену Quest 3S через десять секунд после своего появления. Это редкость среди запусков электронных продуктов, но мне все равно приходится вздыхать. Приятно сразу перейти к делу и сосредоточиться только на ключевых моментах.

В целом Meta Quest 3S на самом деле представляет собой «молодежную версию» Quest 3 со стартовой ценой 299,99 долларов США (приблизительно 2108 юаней) за 128 ГБ и 399,99 долларов США (приблизительно 2810 юаней) за 256 ГБ.

Судя по конфигурации, Quest 3S оснащен процессором Snapdragon XR2 Gen 2, той же модели, что и Quest 3, а также поддерживает отслеживание рук.

Посмотрев пресс-конференцию, я почувствовал, что вместо названия Quest 3S правильнее было бы назвать его улучшенной версией Quest 2. Ранее сообщалось, что в качестве более «экономичного» варианта Quest 3S по-прежнему использует тот же объектив, что и Quest 2, а общий корпус будет толще, чем у Quest 3.

Хотя Quest 3S не так хорош, как Quest 3, с точки зрения аппаратной конфигурации, он в основном такой же, как и его старший брат, с точки зрения экосистемы программного обеспечения. Quest 3S также может получить богатые развлекательные и офисные функции в HorizonOS.

После выпуска Quest 3 в прошлом году отзывы были неоднозначными. Наиболее критикуемым из них является высокая задержка и серьезные искажения после включения перспективы видео. Цукерберг сказал, что после года оптимизации и улучшений текущий опыт значительно улучшился. , особенно в трех аспектах функциональности виртуальной реальности: отслеживании рук и адаптации программного обеспечения.

Теперь пользователи могут напрямую преобразовывать 2D-веб-страницы в иммерсивные офисы в обоих продуктах, как в Vision Pro, и размещать открытый на устройстве интерфейс в любом месте пространства.

Кроме того, режим театра в Quest 3S позволяет расширить отдельный интерфейс до театра с гигантским экраном, а диапазон экрана можно расширить, чтобы охватить все пространство. Просмотр фильмов с эффектом погружения не является чем-то новым для наголовных дисплеев. То, к скольким источникам фильмов и платформам он может быть адаптирован, является основой опыта каждого продукта.

Quest 3S поддерживает все основные европейские и американские медиа-платформы. Netflix, YouTube и Amazon Prime можно использовать для просмотра фильмов в режиме кинотеатра.

Фильмы и игры — это основные развлечения для VR-гарнитур. Дополнительные функции на этой основе часто могут отражать производительность самого продукта. На конференции также была анонсирована новая функция Quest 3S — Hyperscale.

Пользователи могут использовать свой мобильный телефон для сканирования контуров комнаты и расстановки мебели, а затем реконструировать сцену реставрации почти 1:1 в Quest 3S.

Судя по демонстрации на пресс-конференции, реставрация сцены действительно хорошая, шероховатостей и искажений не так много. В будущем появится еще одна платформа для иммерсивного просмотра дома онлайн или посещения музеев или исторических мест, не выходя из дома. дом. . Но помимо этого, каковы практические аспекты восстановления сцены? Как внедрить технологию с учетом различных условий каждого региона — сложная проблема, на которую Meta и Quest должны ответить в будущем.

Полное название Меты — метавселенная, что означает метавселенная. Изменение названия Facebook на Meta продемонстрировало решимость Цукерберга исследовать новые технологии, и Meta стала первым технологическим гигантом, вошедшим в метавселенную. Таким образом, «Метавселенная» стала обязательной частью каждого нового выпуска продукта Meta, даже несмотря на то, что в этой области они натолкнулись на множество препятствий.

Цукерберг сообщил на пресс-конференции, что Meta Quest 3S запустил расширенные функции для захватывающего социального взаимодействия. Пользователи Quest теперь могут создавать аватары на устройстве, играть друг с другом в игры, заниматься фитнесом или ходить на онлайн-концерт.

С выпуском Quest 3S компания Quest 2/Pro также объявила о полном прекращении производства. Кроме того, цена Quest 3 также снижена с 649 до 499 долларов США. Новый продукт будет поставляться после 15 октября.

Выпущена версия Llama 3.2: мультимодальные возможности позволяют очкам иметь глаза

По сравнению с Meta Quest 3S, который практически не изменился и даже имеет уменьшенные характеристики, новые возможности Meta AI являются более инновационными.

Цукерберг объявил на пресс-конференции, что Meta AI официально запустила голосовую функцию. Пользователи могут задавать вопросы Meta AI или общаться другими способами через Messenger, Facebook, WhatsApp и Instagram и получать смоделированные голосовые ответы.

Мало того, тембр голоса ИИ можно выбирать независимо, и вы можете использовать голоса ИИ, в том числе таких знаменитостей, как Джуди Денч, Джон Сина, Аквафина и Кристен Белл.

Цукерберг также продемонстрировал голосовую функцию на месте. Вообще говоря, скорость ответа при диалоге довольно высокая, а содержание ответов относительно точное. Тон голоса звучит на шаг ближе к вопросам и ответам реального человека, а сам диалог. можно прервать в любой момент. Вставьте новую тему или вопрос.

Хотя в процессе было несколько ошибок, это нормально для технологии, которую исследуют и развивают. Сам Цукерберг много раз от этого не уклонялся, как он сам говорил: «Так часто бывает в демо-версиях».

Кроме того, с помощью функции AI Studio пользователи также могут самостоятельно создавать соответствующих персонажей AI в соответствии со своими потребностями, хобби и т. д. Это может помочь нам создавать смайлики, давать предложения о поездках и, конечно же, вести ежедневные беседы.

Однако, судя по эффекту, следующая функция перевода ИИ более практична. В настоящее время терминалы, оснащенные Meta AI, могут поддерживать голосовой перевод в режиме реального времени. Два докладчика на пресс-конференции завершили мгновенный разговор на разных языках (английском и испанском), надев очки Meta Ray-Ban.

Meta Ray-Ban может улавливать голос собеседника через микрофон и быстро переводить его на родной язык владельца. Хотя скорость перевода на каждом языке не низкая, предложения немного длиннее, а время ожидания все равно немного неудобное. , и Мета-ИИ иногда вмешивается в разговор.

Эффект перевода речи другого онлайн-видео будет еще лучше. По сравнению с приведенным выше переводом в реальном времени я бы назвал его «расширенной функцией перевода». Meta AI может переводить голос онлайн-видео в голос другого языка. Что еще более мощно, он может прекрасно восстанавливать тон, тембр и даже акцент говорящего в оригинальном видео при разговоре по-английски в разных странах.

Ряд обновленных функций Meta AI, представленных на пресс-конференции, на самом деле имеют общее ядро: Llama 3.2.

В июле этого года Meta только что анонсировала модель Llama 3.1. Проще говоря, сверхбольшая Llama 3.1 405B — это самая мощная модель Meta на сегодняшний день, а также самая мощная большая модель с открытым исходным кодом в мире. самая мощная большая модель в мире Модель.

Я не ожидал, что Llama 3.2 появится всего через два месяца.

Llama 3.2 — это первая модель искусственного интеллекта Meta с открытым исходным кодом, включающая две визуальные модели (11B и 90B) и две облегченные модели простого текста (1B и 3B), что означает, что она обладает мультимодальными возможностями и то есть может обрабатывать текст и изображения. в то же время, а легкая текстовая модель может напрямую понимать содержимое ввода пользователя локально.

Благодаря новым возможностям Llama 3.2 многие устройства, оснащенные крупными моделями, также имеют более широкий спектр практических сценариев. В дополнение к упомянутой выше функции перевода AI, Meta Ray-Ban с визуальными возможностями теперь может более глубоко помогать людям в их работе и повседневной жизни.

Вы можете напрямую попросить Meta Ray-Ban приготовить вкусные напитки из авокадо. Вам даже не нужно упоминать авокадо в предложении, просто используйте местоимения, такие как «этот», потому что его можно увидеть.

Я не знаю, сколько людей забыли, где они припарковали свою машину в торговом центре. Если вы также частый посетитель и забываете номер парковочного места, Meta Ray-Ban теперь может помочь вам записать номер парковочного места, чтобы вы могли его записать. можете получить соответствующую информацию в любое время, если вы ее забудете.

Наберите номер на плакате и отсканируйте QR-код в брошюре, чтобы подобрать подходящий повседневный наряд… Короче говоря, с помощью камеры на очках, недавно обновленной визуальной модели и других возможностей искусственного интеллекта Meta Ray-Ban может почти появляются в каждом уголке вашей жизни.

Именно благодаря существованию этой камеры стал возможен брак Be My Eyes и Meta. Be My Eyes — это платформа общественного благосостояния, которая объединяет слепых или слабовидящих людей со зрячими волонтерами и компаниями с помощью видео в реальном времени и искусственного интеллекта. С помощью онлайн-видеозвонков в реальном времени волонтеры/организации могут помочь людям с ограниченными интеллектуальными возможностями. непосредственная трудность.

Развитие технологий не только повышает ценность жизни подавляющего большинства людей, но и в значительной степени восполняет недостающую часть особых групп, тем самым делая жизнь каждого более удобной. Здесь раскрывается значение технологий.

Рассвет следующего поколения вычислительных устройств уже здесь

Хотя мы уже давно ждали очков Meta Orion, когда Цукерберг достал настоящий телефон, он все равно подарил нам давно утраченное «удивительное чувство» от новых технологических продуктов.

Это чувство изумления вызвано не только тем, что план будущего, изложенный Meta, достаточно привлекателен, но и тем, что фактический эффект этого продукта очень близок к оценке The Verge после его реализации:

Это не мираж и не реальный продукт. Это где-то посередине.

В этом также заключается разница между «Орионом» и многими фантастическими идеями, которые исследовала Мета: это не концепция, которую трудно вывести из лаборатории, а продукт завтрашнего дня, который Мета выбрала «всё», идеальное сочетание ИИ и МР.

Это лучшее устройство искусственного интеллекта: оно может видеть то, что видит пользователь, слушать то, что слышит пользователь, и может комбинировать сценарии реальной жизни пользователя, чтобы давать более эффективные ответы.

Это также идеальный способ взаимодействия и связи: не нужно ограничиваться маленьким экраном или тяжелой гарнитурой. Виртуальный и реальный миры тесно интегрированы друг с другом и могут взаимодействовать в любое время и в любом месте.

В отрасли уже сложилось мнение, что вычислительные устройства, такие как мобильные телефоны, достигли конца своего жизненного цикла, и Apple, Meta и даже OpenAI изучают следующее поколение вычислительных устройств;

Хотя это все еще прототип, ответ Meta, Orion, в настоящее время кажется хорошим. Что касается того, станет ли он следующим массовым интеллектуальным терминалом после мобильных телефонов, все еще много неизвестных, но Цукерберг полон уверенности в этом. .

Очки и голограммы станут повсеместным товаром. Если мы сможем убедить всех в мире, у кого уже есть очки, перейти на очки с искусственным интеллектом и MR, то это будет один из самых успешных продуктов в мировой истории, и я думаю, что он пойдет еще дальше.

*Су Вэйхун также внес свой вклад в эту статью.

# Добро пожаловать на официальную общедоступную учетную запись WeChat Aifaner: Aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.

Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo