Как одна компания наделяет ваши умные часы Wear OS суперспособностями
«Речь идет о создании следующего сенсорного экрана», — сказал Ото Пентикайнен, генеральный директор компании Doublepoint , представляя Digital Trends ее увлекательную систему управления жестами нового поколения. Лучше всего это можно представить себе как функцию Apple Double Tap на стероидах.
Я поговорил с Пентикяйненом по видеозвонку во время выставки CES 2024 , чтобы узнать больше.
Больше, чем приложение
Возможно, вы уже видели приложение Doublepoint, запущенное для Wear OS, под названием Wow Mouse , на выставке CES 2024, но это только начало того, над чем работает компания. Wow Mouse добавляет управление жестами в умные часы Wear OS, фактически превращая их в мышь на запястье, которая использует движения пальцев и запястья для управления. Но Wow Mouse — это относительно простая демонстрация того, над чем работает Doublepoint.
«Мы предлагаем нечто гораздо более комплексное, — сказал Пентикайнен, когда его спросили о приложении Wow Mouse, — и мы можем сделать гораздо больше, чем просто одно касание. Самое важное, на что способно наше нынешнее оборудование, — это сжимать и удерживать, что означает, что вы действительно можете прокручивать объекты, а также манипулировать ими».
Doublepoint называет эти «микрожесты», и они включают в себя все: от касания для выбора, касания для прокрутки и двойного касания. Наличие дополнительных жестов, выходящих за рамкижеста двойного касания Double Tap, очень привлекательно и объясняет суть того, почему Пентикяйнен сравнил эту технологию с сенсорным экраном, поскольку она повторяет многие из тех же жестов, которые мы уже используем на них.
Итак, как работает система Doublepoint?
Как работают эти жесты
«То, как работает обнаружение микрожестов, отличается от отслеживания рук на основе компьютерного зрения», — объяснил Пентикайнен, используя знакомое сравнение. «При этом камера вычисляет положение вашей руки, и она делает это каждую миллисекунду или любую другую частоту кадров, когда ваши пальцы касаются друг друга. Чтобы обнаружить прикосновение, мы используем инерционный измерительный блок».
Блок инерциальных измерений (IMU) звучит как специальное аппаратное обеспечение, но на самом деле он просто включает в себя акселерометр, гироскоп и магнитометр. Другими словами, основные датчики, которые есть почти во всех умных часах и других носимых устройствах .
«Он ищет вибрацию, возникающую, когда ваши пальцы касаются друг друга», — сказал Пентикайнен, после чего алгоритмы Doublepoint отличают эту вибрацию от любой другой вибрации, возникающей при движении пальцев. Однако инновационный жест «свести и удерживать», который очень необычен и имеет решающее значение для привлекательности алгоритма, немного отличается и гораздо сложнее.
«Для сжимания и удержания нам также необходимо знать, когда ваши пальцы сведены вместе, и для этого мы фактически используем мониторинг сухожилий. Мы используем оптический датчик сердечного ритма, чтобы смотреть не на мышцы, а на сухожилия, которые соединяют ваш палец с мышцей, и именно движение сообщает нам, когда вы перестаете прикасаться», — сказал он.
Конфигурация и точность
Частично успех Apple Double Tap заключается в том, что он работает без какой-либо настройки или настройки, а также отличается высокой точностью. А как насчет системы Doublepoint?
«Мы с самого начала хотели сделать одним из наших преимуществ то, что нам не потребуется никакая конфигурация, и когда вы ее включите, она начнет работать мгновенно. Это означает, что нам нужен процесс сбора данных от широкого круга людей и принятия во внимание соответствующих факторов, таких как индекс массы тела (ИМТ), возраст и уровень мелатонина. Нам удалось достичь очень, очень хорошего уровня точности. Почти в диапазоне 97-98%. Конечно, впереди еще много работы», — сказал он.
Что также интересно, умные часы с распознаванием жестов Doublepoint могут быть сопряжены с другими устройствами Bluetooth, например с устройствами с отслеживанием глаз, поэтому они работают вместе. Это делает подобные системы управления более естественными и более конфиденциальными, поскольку нет необходимости в распознавании голоса в качестве резервного или альтернативного варианта.
Компания Qualcomm заинтересована
В управлении жестами нет ничего нового , но нет никаких сомнений в том, что система Double Tap от Apple в последнее время вновь пробудила к ним интерес. И, скорее всего, больше внимания к этому привлечет только после выпуска гарнитуры Vision Pro , поскольку другие конкурирующие системы могут попробовать новые и разные вещи, чтобы сделать управление гарнитурами более простым и интуитивно понятным. Поэтому, вероятно, неудивительно, что Qualcomm заинтересовался технологией Doublepoint.
«У нас есть вендорское соглашение с Qualcomm», — сообщил Пентикайнен. «Это означает, что идея состоит в том, чтобы встроить наши алгоритмы в чипы Qualcomm, и они, конечно, сегодня предоставляют эти чипы множеству различных поставщиков часов и фитнес-трекеров».
Помимо Qualcomm, компания также работает с производителями датчиков над внедрением своего алгоритма в сам датчик. Кроме того, есть собственная эталонная платформа для умных часов компании, которая, по словам Пентикайнена, «предназначена для того, чтобы дать людям представление о том, что мы можем сделать с [алгоритмами], и показать, как мы встроим это в продукт».
Вскоре?
Означает ли это, что скоро появятся новые умные часы с технологией жестов и сжатия и удерживания от Doublepoint, которые позволяют прокручивать, смахивать, изменять значения, такие как громкость или яркость?
«У нас нет подтвержденных графиков того, когда наши партнеры смогут вывести свою продукцию на рынок, но я бы сказал, что в настоящее время эти вещи развиваются очень быстро», — сказал Пентикайнен.
Несколько раз во время нашего короткого разговора Пентикайнен сравнивал систему управления жестами Doublepoint и сенсорный экран, а в конце мы более подробно объяснили, почему он это сделал.
«По сути, сенсорный экран появился на телефоне, и теперь мы видим его повсюду», — сказал он. «Это позволило использовать все виды новых устройств. В прошлом году Apple удвоила усилия по распознаванию жестов, и они, по сути, показали, что жесты станут жизненно важным способом улучшения. Что касается нас, мы просто хотим предоставить эту возможность как можно большему количеству компаний, используя, по нашему мнению, новый сенсорный экран».
Хотя нам придется дождаться появления умных часов с технологией Doublepoint, вы можете опробовать базовую версию через приложение Wow Mouse , которое можно загрузить через Google Play для выбранных умных часов Wear OS прямо сейчас.