Как интеллектуальная камера Surface Hub 2 использует искусственный интеллект переосмыслить встречи

Microsoft инвестирует в свой бренд Surface, чтобы сделать его более важной частью пространства для встреч на рабочем месте, и всплеск гибридной работы сделал это еще более важным.

Surface Hub 2 и Surface Hub 2S являются плодами этой работы, но Microsoft теперь использует их с умной камерой Surface Hub 2 Smart Camera. Он разработан, чтобы сделать собрание более удобным для людей, находящихся в комнате с Surface Hub 2 и Hub 2S, а также для тех, кто участвует удаленно.

У меня была возможность побеседовать с Дэйвом Аллесом, вице-президентом Surface Division в Microsoft, о новой камере и будущем удаленной работы.

Обслуживает толпу

Для начала Аллес рассказал мне о наследии Surface Hub и продуктов Surface в целом. «Начиная с Surface Duo, Surface Pro или Surface Go, многие продукты Surface отлично подходят для мозгового штурма и сеансов совместной работы в реальном времени, что позволяет очень легко переходить от PowerPoint к доске и обратно», — сказал он.

Затем он рассказал о смарт-камере Surface Hub 2 и о том, что это другой продукт для Microsoft. По собственным данным Microsoft, с марта 2020 года среднестатистический пользователь Teams увеличил время еженедельных собраний более чем на 200%. Большинство этих собраний были незапланированными.

Microsoft рассматривает эту тенденцию как возможность создавать продукты и инновации в программном обеспечении, чтобы помочь большему количеству людей выполнять свою работу и заставить всех чувствовать, что они могут участвовать в собраниях.

«Нам нравится думать, что мы разрабатывали гибридные решения до пандемии. Мы думаем, что это очень долговременное изменение, и важность удаленных участников для всех видов встреч постоянно растет, а Surface Hub в сочетании с устройствами с поддержкой стилуса становится мощным инструментом», — сказал Аллес.

Именно поэтому смарт-камера Surface Hub 2 отличается от любой другой веб-камеры на рынке. Он четко фиксирует, кто говорит перед Surface Hub 2 или 2S, и что еще может происходить в комнате. Он крепится к верхней части Surface Hub 2 или Surface Hub 2S с помощью магнитов и помещается в корпус из обработанного алюминия. Он также использует обработку сигналов, искусственный интеллект и оптику для улучшения ваших собраний Teams — даже для тех, кто физически может не находиться в помещении.

Не говоря уже о причудливых разговорах, это означает, что камера может изменять кадр, регулировать освещение и обеспечивать широкий угол обзора. Все это происходит без каких-либо деформаций, искажений или проблем с глубиной резкости, с которыми могут столкнуться традиционные веб-камеры. Это даже если кто-то выходит или входит в комнату, подходит или взаимодействует с дисплеем.

«Все камеры ПК, которые вы видите, сфокусированы на диапазоне, который не подходит для сценария, когда вы встаете и ходите по комнате. Для Surface Hub вы находитесь в фокусе или конференц-зале, и у нас есть линза, которая гарантирует, что мы можем держать людей в чистоте. Мы также можем иметь в кадре гораздо больше людей, в то время как конструкция камеры ПК предполагает наличие одного пользователя», — пояснил Аллес.

Больше, чем веб-камера

Но как это работает? Ну, это благодаря 12-мегапиксельному датчику с объективом с полем зрения 136 градусов, который может одновременно удерживать объекты вблизи и вдали, независимо от размера или конфигурации конференц-зала. Камера также способна обрабатывать 1 терафлоп вычислительной мощности или триллион вычислений с плавающей запятой в секунду.

Был даже разработан алгоритм для автоматической компенсации наклона, искажения и широкоугольной коррекции, чтобы объекты выглядели так, как они выглядят в реальной жизни. Microsoft говорит мне, что частично позаимствовала эту идею из голливудских фильмов, поэтому движения и масштабирование, которые улавливает камера, не слишком агрессивны для людей на другом конце звонка.

Далее Аллес объяснил, что углы обзора смарт-камеры Surface Hub 2 делают ее уникальной. Фактическое поле зрения составляет более 180 градусов, поэтому камера может видеть за Hub 2, на котором она установлена. Затем программное обеспечение обрезает изображение, чтобы получить угол 136 градусов, чтобы ваше лицо было четко видно, если вы стоите рядом с камерой. Возможность иметь четкость как на короткой, так и на большой глубине резкости одновременно — еще одна вещь, которая делает его уникальным.

«Что мы действительно хотели сделать, так это получить сверхширокое поле зрения и датчик, который позволял бы четко видеть лица, если бы кто-то стоял прямо рядом с лицевой панелью Surface Hub 2, или даже мог бы видеть человека, стоящего в в задней части длинного конференц-зала. Мы усовершенствовали все технологии, будь то стекло, сенсор или вычислительные возможности, чтобы их можно было приспособить к этим случаям», — сказал Аллес.

«У каждой второй камеры есть определенная точка фокусировки, и тогда вещи, которые находятся далеко от этой точки фокусировки, становятся размытыми. Мы уникальны в мире тем, что у нас очень четкие лица одновременно и далеко, и близко», — добавил он.

Все это звучит круто, поэтому вам может быть интересно, будет ли камера работать на вашем ПК. Я спросил, и Аллес сказал, что смарт-камера Surface Hub 2 предназначена только для Surface Hub 2 или Surface Hub 2 S. Она несовместима с ПК из-за системы крепления, в которой используется штекер USB-C нестандартного размера и POGO. затыкать.

Программное обеспечение и алгоритмы внутри камеры также специально настроены для сценариев конференц-зала с открытым пространством и несколькими людьми. Microsoft потребуется перенастроить алгоритм камеры, чтобы она фокусировалась на близких людях. Есть небольшой шанс, что это произойдет.

«Это возможный вариант, кажется, есть большой интерес, и я уверен, что мы об этом поговорим, но мы не собираемся предлагать его на ПК», — сказал Аллес.

Цена и доступность

Смарт-камера Surface Hub 2 уже доступна для покупки на всех рынках, где Surface Hub продается за 800 долларов. Он также будет поставляться в комплекте с 85-дюймовым Surface Hub 2 с 31 мая по цене 22 000 долларов. Он также сочетается с несколькими обновлениями для Microsoft Teams, а также доски, PowerPoint и Outlook.

Все функции предназначены для проведения встреч и работают намного более естественно для гибридных работников. В частности, для устройств Surface Hub 2 и Teams Rooms, включая Front Row в Teams . При этом видеогалерея появляется в нижней части экрана, поэтому участники в комнате могут видеть удаленных коллег лицом к лицу, как если бы они находились в одной комнате. Кодовая база для Whiteboard также была унифицирована, поэтому Whiteboard на Surface Hub выглядит и работает так же, как Whiteboard в Windows.

Завершают новости, связанные с конференциями, Teams Rooms. Он также получает улучшения: если вы присоединяетесь к собранию в комнате Teams, вам будет предложено включить видео на ноутбуке, чтобы вас могли четко видеть удаленные участники независимо от того, где вы находитесь в комнате. Ваше видео будет скрыто от экрана в передней части комнаты, а также из галереи людей, присоединяющихся с сопутствующих устройств в комнате. Microsoft рассказывает о тенденциях в гибридной работе и за ее пределами в своем отчете Work Trend Index 2022 года .