Apple Watch выпустили воздушные жесты! Вот история этого Эксклюзив

Вчера вечером Apple официально выпустила watchOS 10.1, добавив Double Tap в два новых Apple Watch — вы можете управлять экраном с воздуха одним касанием кончиков пальцев: вырезать песни, отвечать на звонки и отвечать на сообщения WeChat. Две недели назад я позвонил за границу менеджеру по продукту Apple Watch и рассказал об истории этого мощного жеста.

«Жесткая философия» — это колонка Ай Фанера, посвященная проектированию аппаратного обеспечения. Мы надеемся снять внешнюю оболочку технологий и параметров и исследовать истоки дизайна и гуманитарных наук.

«Дважды коснитесь друг друга двумя пальцами», новая функция новых Apple Watch этого года не является внезапным вдохновением менеджера по продукту, а исходит из того, что понятно каждому пользователю — «те моменты, когда вы можете только нажать кнопку часов». своим носом».

В эксклюзивном интервью iFan'er инженер-программист watchOS Дэвид Кларк прямо заявил, что с Apple Watch всегда возникают какие-то неудовлетворительные взаимодействия:

Телефонный звонок раздается, когда вы гуляете с собакой. Вы спешите на следующую встречу с Маком в одной руке, когда внезапно получаете сообщение от коллеги. Таймер на ваших часах срабатывает, пока вы выпекаете, но ваша другая рука покрыта яичной жидкостью, и вы не хотите к ней прикасаться.

Эрик Чарльз, менеджер по продукту Apple Watch, сказал, что эти нерешительные моменты на самом деле отнимают у пользователей больше времени, чтобы подумать о том, как действовать. Команда хотела предоставить надежный и интуитивно понятный способ обеспечить бесперебойную работу без необходимости дополнительных операций, когда это необходимо.

Обратите внимание на жестовое взаимодействие Apple Watch, потому что у всех есть «ситуационная инвалидность».

Прототип «Два пальца постукивают друг по другу» можно отнести к 2015 году, менее чем через год после выпуска Apple Watch.

В патентном документе под названием «Ввод движений и жестов с носимого устройства» Apple пытается изучить возможность использования датчиков сухожилий и движений скелета в качестве команд ввода.

Шесть лет спустя эти интерактивные исследования привели к появлению вспомогательного сенсорного управления (AssistiveTouch) в watchOS 8. Пользователи могут управлять часами в воздухе с помощью четырех жестов: сжать, сжать дважды, сжать кулак и дважды сжать кулак.

В рамках специальных возможностей управление жестами в то время должно было решать следующие проблемы:

Как пользователю управлять Apple Watch, если у него только одна рука?

Один из принципов дизайна Apple — учитывать точку зрения каждого.Они считают, что к людям с ограниченными возможностями не следует относиться по-разному в зависимости от их роста и что люди с ограниченными возможностями должны иметь равные права на использование продуктов.

Но в официальном документе по дизайну взаимодействия определение Apple «инвалидности» необычно :

Каждый может испытать инвалидность. Помимо инвалидности, с которой большинство людей сталкивается с возрастом, существуют также временные нарушения слуха, такие как кратковременная потеря слуха из-за инфекции, и ситуационные нарушения, такие как неспособность слышать в шумном поезде. все в разное время.

Телефоном можно управлять одной рукой, но Apple Watch изначально создавались для фиксации на запястье пользователя: когда вы касаетесь экрана, обе руки фактически заняты.

В каком-то смысле у каждого пользователя Apple Watch есть только одна рука, и все они испытывают «ситуационную инвалидность».

Для решения этой проблемы есть всего два варианта: управление голосом и жестами. Управление жестами, основанное на физических движениях, очевидно, более естественно, оно не зависит от кнопок и элементов управления интерфейса и особенно подходит для устройств с узкими экранами, таких как Apple Watch.

Фактически, Apple Watch первого поколения поддерживали функцию «поднимите запястье, чтобы проснуться», что установило базовую парадигму взаимодействия жестов.

Apple изучила различные движения рук, включая некоторые сложные жестовые операции.

«Дважды коснуться друг друга двумя пальцами» наконец-то выделилось из множества жестовых решений, поскольку соответствовало двум критериям:

• Простой и интуитивно понятный
• ясная цель

Первый не требует порога обучения, а цель явно требует, чтобы действие отражало намерение пользователя, а не было результатом случайного прикосновения.

По этой же причине «Дважды коснуться двумя пальцами» можно активировать только при включенном экране. Эрик объясняет, что если пользователь не видит экран, он может не знать, каким был ответ.

Небольшой баг в датчике сердечного ритма неожиданно породил "постукивание двумя пальцами друг о друга"

«Дважды коснитесь друг друга двумя пальцами» кажется простым, просто сложите два пальца вместе, но принцип работы довольно сложен.

«Нажмите друг на друга двумя пальцами» основано на алгоритме, построенном с помощью машинного обучения, а данные поступают от трех датчиков: акселерометра, гироскопа и оптического датчика сердечного ритма. Датчик распознает характеристики небольших движений и изменений кровотока при двойном постукивании по руке и пальцу, тем самым точно получая истинное намерение пользователя.

Оптический датчик сердечного ритма является незаменимой деталью. Хотя он не предназначен для управления жестами, за годы исследований команда обнаружила, что ежедневные движения запястья пользователя изменяют контакт между запястьем и датчиком сердечного ритма, даже при малейшем зазоре. Все это отразится на данных, получаемых датчиком сердечного ритма.

Его мышьяк, дорогая. Это неожиданное открытие позволило команде выявить связь между жестовыми операциями и датчиками сердечного ритма. Без этих промежутков жест «дважды коснитесь двумя пальцами друг друга» может оказаться невозможным.

Как сказал Дэвид:

Тот же датчик, одни и те же данные, мы можем достичь совершенно разных целей.

В отличие от жестового управления вспомогательной функцией, которая выполняется на центральном процессоре, «Двойное касание двумя пальцами» вызывает четырехъядерный нейросетевой движок чипа S9, что повышает точность обнаружения алгоритма на 15%.

Это может объяснить, почему старые Apple Watch не поддерживают «двойное касание двумя пальцами», а вспомогательные сенсорные жесты также гораздо менее надежны.

В процессе разработки команда столкнулась со многими проблемами. Например, как вы гарантируете, что каждый пользователь получит единообразный опыт, когда сталкивается с небольшими различиями в типах телосложения, длине конечностей и даже жестах? Как преодолеть помехи, вызванные беспроводными сигналами Bluetooth и LTE?

Дэвид упомянул, что команда собрала большой объем данных внутри компании для обучения модели машинного обучения.Модель удалит ненужный шум и обеспечит надежность обнаружения жестов в различных сценариях, особенно в нестационарных сценах.Может точно обнаруживать жесты.

То, что вы можете сделать с помощью «Двух пальцев, постукивающих друг по другу», зависит от основного действия.

После решения проблемы алгоритма Apple все еще необходимо разработать механизм на уровне программного обеспечения, чтобы определить, что может сделать «два пальца, постукивающие друг по другу».

В своем опыте работы с Apple Watch Series 9/Ultra я упомянул, что объект операции «дважды коснуться друг друга двумя пальцами» не имеет заранее определенного направления. В отличие от масштабирования, которое всегда приводит к эффекту масштабирования. А двойное нажатие двумя пальцами друг на друга приведет к разным результатам в разных приложениях.

Согласно теории обработки информации при взаимодействии человека с компьютером, в процессе взаимодействия с интерфейсом будет происходить непрерывная двусторонняя обработка информации между пользователем и машиной. Установленная обратная связь поможет повысить удовлетворенность работой и снизить порог использования и наоборот.Влияет на эффективность и опыт.

Решение Apple состоит в том, чтобы настроить логические основные действия для разных приложений в разных сценариях. Например, при входящем звонке самое логичное действие — ответить на него, а нажать еще раз — положить трубку. Для уведомлений WeChat наиболее логичным способом должен быть ответ, поэтому нажатие двумя пальцами может напрямую активировать функцию преобразования голоса в текст, а затем снова коснуться двумя пальцами, чтобы завершить отправку.

Наш принцип – вам не нужно слишком много думать, вы просто действуете тогда, когда вам нужно.

После месяца использования я обнаружил, что по сравнению с жестами внутри приложения мгновенная обратная связь с помощью жестов для уведомлений более практична, особенно в сценариях с высокой частотой приложений, таких как телефонные звонки и WeChat. Первое — это всего лишь вишенка на торте, а второе — своевременная помощь.

Это также дает разработчикам больше возможностей для воображения. Когда я спросил разработчиков, как использовать Double Tap для улучшения работы с программным обеспечением, Дэвид дал мне ответ, который был у меня на уме: реагировать на уведомления.

Разработчики могут использовать существующие API уведомлений, чтобы разместить наиболее важные операции в нужном месте. Таким образом, когда приходит уведомление, пользователь может напрямую щелкнуть двумя пальцами, чтобы завершить операцию.

Проблема, решаемая с помощью «постукивания друг друга двумя пальцами», как раз и является первоначальной целью разработки Apple Watch.

Журнал Wired документирует малоизвестную историю разработки Apple часов Apple Watch. Поколебавшись с определением продукта, команда наконец осознала причину существования Apple Watch — смартфоны разрушают вашу жизнь.

Кевин Линч, технический руководитель программного обеспечения Apple Watch, говорит, что люди носят с собой телефоны и часто смотрят на экран. Люди издеваются над теми, кто сидит со своими телефонами за обеденным столом только для того, чтобы лезть в карманы каждый раз, когда их телефон звонит или вибрирует.

В конечном итоге команда решила создать устройство, которым вы не будете и не сможете пользоваться часами подряд, устройство, которое отфильтровывает большую часть информации и предоставляет вам только самую важную информацию.

Если создание продуктов, которые вызывают у пользователей зависимость, является основной логикой коммерческих компаний, то Apple Watch могут стать первым устройством Apple, направленным против внимания.

На сайте разработчика Apple подчеркивает, что суть Apple Watch заключается в Moment. В предыдущем интервью Кевин Линч даже установил ограничение по времени для этого момента: сокращено с последних 10 секунд до 2 секунд.

Рождение «Двух пальцев друг к другу» — это шаг вперед для Apple Watch к избавлению от помех. Во многих случаях мне больше не нужно использовать другую руку для управления часами, и мне не нужно постоянно доставать телефон для получения интенсивных уведомлений о сообщениях.

Apple Watch, возможно, не смогут полностью освободить наши руки и не станут идеальным оружием против информационной перегрузки, но они открывают новую перспективу, которая имеет значение: когда поток информации сопровождается беспокойством, а не только поворотом событий. глухие, мы тоже Как спокойно ладить с машинами.

# Добро пожаловать на официальную общедоступную учетную запись aifaner в WeChat: aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.

Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo