Перевод Huawei HDC2021 на язык жестов горит. Почему «она» может быть такой изобретательной?

Необходимо переосмыслить Huawei, как твердую, так и мягкую.

22 октября в озере Суншань, Дунгуань, официально открылась конференция разработчиков Huawei Developer Conference 2021 (Вместе). В своем программном выступлении компания Huawei официально представила новую многотерминальную, кросс-OS, полнофункциональную функциональную возможность мобильных основных сервисов Huawei HMS Core 6, и разработчики Создайте, поделитесь и выиграйте новую экосистему HMS. Но он принадлежит не только разработчикам, он может принадлежать каждому из нас. Базовые программные технологии недалеко от нас.

HMS Core (Huawei Mobile Core Services) – это набор открытых возможностей программного и аппаратного обеспечения Huawei. Он работает в операционной системе и использует различные открытые возможности для предоставления широкого спектра услуг. Являясь важной частью экосистемы HMS, HMS Core объединяет разработчиков и пользователей, давая разработчикам возможность эффективно разрабатывать и внедрять инновации в приложения, одновременно улучшая взаимодействие с пользователем.

Если вы сравниваете это со строительством дома, Huawei предоставляет строительные материалы и инструменты, такие как кирпич, плитка, бетон, стальные прутья, грузовики, стекло и т. Д. Что касается строительства деревянных домов в сельской местности, загородных вилл или универмагов в центре города, разработчик решает.

Хотя HDC2021 – это конференция, предназначенная в основном для разработчиков, есть также много новостей вне круга общения.Например, переводчик языка жестов, сопровождающий прямую трансляцию конференции, отличается от живого перевода, который мы видели в нижнем левом углу телестанции. Переводчик, присланный Huawei, на этот раз. Она – «цифровой человек». «Она» действительно достигла ловкости. Разум основан на «алгоритме машинного перевода», а ловкость исходит из «мультимодального цифрового алгоритма создания человека». .

Этот переводчик жестового языка не только демонстрирует новейшие технологии Huawei, но и является базовой технологией, которая может принести пользу многим разработчикам. Если разработчик пожелает, он может использовать аналогичный переводчик жестового языка в своем собственном приложении, как и Huawei. .

Этот переводчик языка жестов является конкретным проявлением важной способности только что выпущенного HMS Core 6.

К 2021 году HMS Core 6 уже избежал ограничений разработки мобильных приложений, так что, помимо ограничений, где можно расширить его стадию?

Чем HMS Core 6 может помочь разработчикам?

После того, как мы поймем, что такое HMS Core 6, мы сможем понять, на что он способен? На этот раз перевод на язык жестов является конкретным проявлением возможностей HMS Core 6. Фактически, технология, лежащая в основе этого, называется SignPal Kit. Поскольку за ней стоит Kit (набор инструментов), это означает, что разработчики могут использовать ее для выполнения больше вещей. Короче говоря, служба языка жестов (SignPal Kit) предоставляет возможность генерировать язык жестов, который может переводить текст в плавные, естественные данные о движениях языка жестов, которые соответствуют привычкам выражения в группах с нарушениями слуха в режиме реального времени, помогая собирать информацию. безбарьерные инновационные приложения.

Более серьезные, чем предполагалось, последние данные Всемирной организации здравоохранения показывают, что около 466 миллионов человек во всем мире страдают от потери слуха по инвалидности, что составляет почти 5% населения мира. Поэтому помогите этим людям легко использовать электронные устройства для достижения Доступность информации – чуть ли не одна из важных социальных обязанностей крупных компаний. SignPal Kit – это инструмент, позволяющий научить людей ловить рыбу, но завершить его непросто. Во-первых, Huawei завершила разработку собственной языковой модели предварительного обучения, алгоритма машинного перевода и мультимодального цифрового алгоритма генерации движения человека. В то же время он работал с Советом по исследованиям доступности информации., И в сотрудничестве с педагогическим факультетом Пекинского педагогического университета интегрировал экспертные знания в лингвистике языка жестов для создания когерентных и естественных поз тела, жестов и выражений языка жестов. .

В настоящее время в нем содержится более 10 000 слов, а уровень точности превышает 90%. Разработчики также могут настроить трехмерное изображение персонажа, чтобы выразить естественные и плавные движения рук, позы тела и выражения лица, соответствующие человеческим привычкам.

Возможность 3D-моделирования (3D Modeling Kit) – еще одно важное обновление HMS Core 6. На самом деле, возможность 3D-моделирования не нова, но на этот раз разница в том, что для эффективного создания 3D с помощью мобильного телефона требуется только обычная камера RGB. Модель.

Главное – снизить «порог». За последние несколько лет я видел много оборудования для 3D-сканирования и моделирования на многих технологических выставках. Все они громоздкие и дорогие, но теперь они полагаются только на обычный смартфон. Вкупе с этим 3D Modeling Kit, он может поддерживать сегментацию фона объекта.Реконструированная модель не имеет фона, а края более четкие и чистые. Самым простым сценарием для этой возможности должно быть приложение для покупок. Теперь я хочу увидеть полную картину продукта, с восемью или девятью фотографиями или с видео. Теперь можно сгенерировать 3D-модель для отображения продукта в трех измерениях. Конечно, эта возможность не ограничивается сценами покупок. Многие игровые объекты часто моделируются на основе реальных объектов, а затем перерисовываются. Естественно, что набор для 3D-моделирования также может быть удобен для разработчиков игр.

HMS Core 6 имеет несколько новых возможностей, которые приносят пользу разработчикам игр: отслеживание света в среде AR, Computer Graphics Kit (комплект для графических вычислений) и Scene kit (графический движок).

Если способность трехмерного моделирования должна сделать реальное более реальным, то эти новые возможности должны сделать виртуальное реальным. Чтобы достичь погружения в опыт AR, требуется визуальная согласованность между виртуальным объектом и реальным объектом, иначе это заставит людей действовать. Отслеживание освещения среды AR от Huawei – первое, что реализовало возможность виртуального и реального слияния на сантиметровом уровне. Оно может оценивать условия окружающего освещения в сочетании с механизмом рендеринга, так что объекты, виртуализированные с помощью AR, могут иметь те же эффекты света и тени, что и реальные. объекты.

Computer Graphics Kit (набор для расчета графики) является первым, кто обеспечивает эффекты динамической дымки на мобильном терминале; Scene kit (графический движок) первым использует технологию трассировки лучей на мобильных устройствах для имитации реальных эффектов отражения и преломления света, ранее обработанные Сцены, которые страдают от головной боли, например отражения озера и зеркальные отражения, могут быть смоделированы. В то же время реализм, обеспечиваемый комплектом Scene (графический движок), также включает эффекты столкновения, падения и вращения 3D-модели. Он также может обеспечивать специальные эффекты постобработки, такие как заливка, глубина резкости и размытие при движении. Короче говоря, во многих случаях графические задачи на самом деле являются физическими проблемами. В конце проблемы физики это проблема математики.

На пресс-конференции Huawei серии P50 была представлена ​​технология усиления сигнала, называемая гетерогенной коммуникационной технологией AI. Будучи лидером в области технологий Huawei, эта технология также открыта для всех разработчиков вместе с HMS Core 6, помогая пользователям добиться стабильности на высоких скоростях. опыт работы с сетью, этот опыт распространяется на Wi-Fi и мобильные сети. Например, моя игра нуждается в обновлении. Пакет обновления имеет 2G. Если сетевой комплект в гетерогенной технологии связи AI не подключен, это может занять более десяти минут в сети 4G, но с сетевым комплектом с помощью многопоточной загрузки, интеллектуального алгоритма фрагментации, может ускорить скорость загрузки, благодаря технологии прозрачного сжатия, можно уменьшить объем загружаемых данных, два наложены друг на друга, окончательная загрузка может быть через несколько минут. И после входа в игру эта технология также может играть роль, так что задержка игровой сети значительно сокращается, пока ваши руки могут не отставать от вашего мозга, реакция телефона может не отставать.

В качестве крупного обновления HMS Core 6 имеет множество новых возможностей, и это, конечно, сложно охватить одной статьей, но я сказал так много, на самом деле есть только одно направление: использовать практические возможности, чтобы помочь разработчикам решать практические задачи. проблемы и, в конечном итоге, улучшить взаимодействие с пользователем. Например, Audio Editing Kit может отображать различные компоненты звука в заданном пространственном положении для достижения новейших пространственных звуковых эффектов; функция навигации на уровне полосы движения платформы Petal Maps Platform может сделать навигацию более точной и гуманной; модуль микросхемы безопасности а модуль услуг доверительного управления может помочь в среде приема цифровых юаней и сделать транзакции безопасными и быстрыми …

Среди этих многочисленных возможностей некоторые предназначены для решения старых проблем, таких как проблемы со скоростью сигнала и сети; в то время как некоторые из них ориентированы на будущее кросс-платформенных и кросс-устройств, таких как возможности 3D-моделирования со сверхнизким порогом, отслеживание света среды AR и т. Д. И так далее; есть также такие, которые имеют и то, и другое и имеют характер общественного благосостояния, такие как услуги языка жестов и цифровые человеческие технологии.

С точки зрения цифровых двойников, HMS Core 6 может быть применен даже к концепции «мета-вселенной».

Раньше мы писали «Metacosm нуждается в« безумие инфраструктуры »», в котором записаны многие производители, которые построили инфраструктуру для Metaverse на ранней стадии концепции, такие как Unity, Nvidia, Epic и так далее. Наша основная мысль заключается в том, что, если мы говорим о реальном опыте метавселенной 30 лет спустя, мы сожалеем, что не можем дать его сейчас. Если вы говорите о небольшом условии реализации на пути, ведущем к его видению, то технические специалисты, вероятно, смогут предложить осуществимое решение. В конце концов, когда многие условия будут постепенно выполнены, опыт мета-вселенной будет не за горами.

Это путешествие по сбору песка в башню.

Однако иногда собирая песок, собираясь вместе, в конце концов, это все равно рыхлый песок. Для этого требуются различные инструменты разработки, чтобы эффективно собирать песчинки вместе и формировать окончательную форму.

Metaverse не хватает концепций и видений, но не хватает вычислительной мощности, высокоскоростных сетей с малой задержкой, не хватает платформ, не хватает, так сказать, контента, низкопорогового 3D-моделирования в HMS Core 6, прямой трансляции на языке жестов + цифрового человека AR, отслеживание освещенности окружающей среды, технология отслеживания света мобильных устройств и лепестковые карты – все это технологии, которые могут внести будущий контент в концепцию мета-вселенной и стать базовыми возможностями.

Будущее слишком далеко, каково практическое значение HMS Core 6?

Многие люди ошибочно понимают, что метавселенная примерно равна виртуальной реальности, и это виртуальное пространство имеет мало общего с реальным миром.

Но на самом деле, с точки зрения технических экспертов, в своем конкретном процессе реализации чистое виртуальное пространство является лишь его частью; органическое сочетание с физическим миром, которое обычно называют киберфизической системой CPS, или цифровым двойником, может быть более эффективно.Точно выражайте технологическую тенденцию и исходное намерение технологии, основанной на людях.

В конечном итоге все объекты в физическом пространстве, включая их атрибуты, поведение и отношения, необходимо смоделировать в цифровом виде и сопоставить с киберпространством, чтобы физическое пространство стало объектом, который можно вычислить в киберпространстве. Но что еще более важно, результаты вычислений в киберпространстве также необходимо сопоставить с физическим пространством, чтобы повысить возможности людей в реальном мире.

Следовательно, если мы не говорим о концепции будущего, а говорим только об одной из основных логик развития Интернет-технологий, на самом деле, это «сделать физическое пространство вычислительным объектом в киберпространстве и усилить человеческие возможности в этом пространстве». реальный мир."

В этом процессе разработки есть бесчисленное множество проблем, которые необходимо решить, и области, которые необходимо охватить. Например, анимация мобильного телефона, от начальной линейной анимации до нелинейной, которая соответствует интуитивным ощущениям людей и соответствует физическим законам реального мира, является примером прогресса.

Таким образом, переходя от плоских 2D-моделей к стерео-3D, вы можете улучшить взаимодействие с приложением для покупок; отслеживание окружающего освещения в AR и технология отслеживания света мобильных устройств могут помочь улучшить качество мобильных игр, так что мобильные игры больше не будут просто тереться об экран. .

Прямая трансляция на языке жестов + цифровой человек имеет два значения инклюзивности: помочь людям с ограниченными возможностями лучше оценить достижения технологического развития и помочь разработчикам служить этой группе людей. Гениальный перевод на язык жестов на HDC2021 может существовать в любом мобильном телефоне.

Если фраза «превратить физическое пространство в вычислительный объект в киберпространстве и усилить возможности человека в реальном мире» слишком амбициозна, тогда прямая трансляция на языке жестов + цифровые человеческие технологии является подходящим примером этого предложения. Huawei HMS Core, разработчики и пользователи сделали это грандиозное предложение на небольшом, но важном перекрестке.

Когда таких примеров будет становиться все больше, экология HMS начнет формироваться.

К настоящему времени Huawei зарегистрировала более 5,1 миллиона разработчиков по всему миру, и более 173 000 приложений интегрировали HMS Core по всему миру. HMS Core можно найти в веб-приложениях, быстрых приложениях, а также в приложениях и сервисах, таких как Android и HarmonyOS, а также на мобильных телефонах, планшетах, смарт-экранах, смарт-часах и автомобилях.

На этот раз HMS Core 6 дополнительно раскрыл инновационные возможности и функции в пяти областях графики, мультимедиа, искусственного интеллекта, служб приложений и системы (графика, мультимедийный контент, искусственный интеллект, службы приложений и системы) и выпустил 9 новых наборов. . Подобно быстрому запуску HarmonyOS, текущее ядро ​​HMS охватывает в общей сложности семь областей и 69 комплектов, что существенно помогает сообществу разработчиков.Конечно, эти возможности в конечном итоге служат массовым пользователям.

Как упоминалось в начале, HMS Core предоставляет кирпичи, плитки, бетон, стальные стержни, грузовики, стекло и другие строительные материалы и инструменты, чтобы помочь разработчикам строить дома, но на самом деле мы также можем представить, что возможности HMS Core 6 могут быть возможно После оказания помощи разработчикам в строительстве дорог, прекрасной отделке и ландшафтном дизайне, воображение HMS ecology не ограничивается набором домов, но может быть ярким городом или даже более захватывающим. Красочная вселенная.

# Добро пожаловать, чтобы подписаться на официальную учетную запись Aifaner в WeChat: Aifaner (идентификатор WeChat: ifanr), более интересный контент будет предоставлен вам как можно скорее.

Ai Faner | Исходная ссылка · Посмотреть комментарии · Sina Weibo