Достаточно ли смотреть на подбородок? А вот и ожерелье, которое распознает безмолвные языки

Представьте, что вы сидите в конференц-зале или библиотеке, где вы можете услышать треск иголок и выпалить: «Сири, посмотри на завтрашнюю погоду», что может быть неуместно.

Что делать, если человек не может говорить или должен вести себя тихо, но ему нужно дать инструкции умному устройству?

С этой целью Ченг Чжан, доцент кафедры информатики Корнельского университета, и Руидонг Чжан, докторант, разработали ожерелье под названием «Speechin» .

Основываясь на движениях челюсти, он фиксирует «изображения деформации шеи и кожи лица», чтобы распознавать немую речь и в настоящее время распознавать простые фразы на английском и китайском языках.

Инфракрасная камера SpeeChin установлена ​​на напечатанном на 3D-принтере «футляре для ожерелья», который висит на серебряной цепочке, а камера направлена ​​на подбородок владельца. Для повышения устойчивости разработчики спроектировали «крылья» по бокам и поместили монету на дно.

В дополнение к этому SpeeChin также оснащен микропроцессором, аккумулятором и модулем Bluetooth.

Используя алгоритмы, основанные на машинном обучении, устройство может определить, какие команды пользователь произносит молча, на основе движений челюсти пользователя, и передать эти команды на сопряженный смартфон, как Siri в другой форме общения.

Чтобы избежать проблем с конфиденциальностью, SpeeChin будет приседать только под подбородком и не будет указывать прямо на лицо пользователя.

В первоначальном испытании с участием 20 участников (10 говорящих по-английски, 10 говорящих на китайском) исследователи измерили исходное положение их челюстей, а затем использовали дифференциальные изображения, чтобы научить SpeeChin распознавать простые команды.

10 англоязычных участников молча произнесли 54 команды, включая числа, интерактивные команды, команды голосового помощника, команды пунктуации и команды навигации, как и 44 команды от других 10 участников, говорящих на китайском языке.

Получается, что SpeeChin распознает команды на английском и китайском языках со средней точностью 90,5% и 91,6% соответственно. Исследователи говорят, что у устройства есть потенциал для изучения паттернов безмолвной речи человека.

Исследователи также попросили шестерых участников произнести про себя 10 фраз на китайском и 10 английских фраз во время ходьбы. У исследования был низкий уровень успеха, главным образом потому, что головы участников двигались непредсказуемым образом.

Зачем делать распознавание молчаливой речи в виде ожерелий? Один исследователь заявил о цели своего исследования:

Мы думаем о колье как о форме, к которой люди привыкли, а не о накладных наушниках, которые могут быть неудобными; что касается тихого голоса, люди могут подумать: «У меня уже есть устройство распознавания голоса на моем телефоне». Но вам нужно говорить за некоторых людей и ситуации, когда вы не можете.

Стоит отметить, что SpeeChin внешне похож на NeckFace . NeckFace, устройство, представленное в прошлом году Ченгом Чжаном и его командой из SciFi Lab, непрерывно отслеживает выражение лица с помощью инфракрасной камеры для захвата изображений челюсти и лица ниже шеи и создания 3D-реконструкций полного выражения.

NeckFace может быть особенно полезен в области психического здоровья, поскольку он отслеживает настроение людей в течение дня. Хотя люди не всегда показывают эмоции на своих лицах, количество изменений в выражении лица с течением времени может указывать на перепады настроения.

NeckFace также можно использовать в других сценариях, таких как виртуальные встречи, когда параметры фронтальной камеры недоступны, определение выражения лица в сценариях виртуальной реальности и многое другое.

Если SpeeChin будет развиваться дальше, количество вариантов его использования также увеличится, включая среды, которые должны быть тихими, неузнаваемо шумные среды и людей, которым не хватает языковых навыков.

#Добро пожаловать на официальный аккаунт Айфанер в WeChat: Айфанер (WeChat: ifanr), в ближайшее время вам будет представлен более интересный контент.

Love Faner | Исходная ссылка · Просмотреть комментарии · Sina Weibo