Я превратил свое лицо в игровой контроллер, и вы тоже можете

На Google I/O ИИ был темой на протяжении всего мероприятия, но была объявлена ​​еще одна революционная вспомогательная технология, которая позволяет вашему лицу управлять компьютером вместо использования мыши. Google Project GameFace буквально превращает ваше лицо в игровой контроллер. Если даже самая лучшая мышь или трекбол оказываются сложными или невозможными, это бесплатное приложение может значительно улучшить ваш опыт работы с компьютером.

Сообщение в блоге Google описывает, как проект GameFace был вдохновлен тяжелым положением стримера видеоигр Лэнса Карра , у которого мышечная дистрофия. Пожар привел к потере дорогой мыши Карра с отслеживанием головы, которая позволяла ему продолжать играть.

Google работал с Карром над разработкой Project GameFace — решения, использующего стандартную веб-камеру и работающего на любом ПК с Windows. Вы можете скачать приложение из проекта или форка GitHub и настроить его под свои нужды, если знаете Python.

Я установил и попробовал. Моя встроенная веб-камера работала для управления указателем, но ее слишком сильно затмевало соседнее окно, чтобы хорошо определять мои брови и рот. Я подключил Insta360 Link, который включает в себя технологию отслеживания лица для панорамирования и наклона при перемещении. Две технологии идеально сочетались друг с другом, и после тонкой настройки все заработало отлично.

Скорость курсора была слишком высокой, поэтому я снизил значение по умолчанию с 40 до 15 по вертикали и 20 по горизонтали. Благодаря этим настройкам я мог перемещать указатель мыши в любую точку экрана, просто поворачивая и наклоняя голову. Это не отслеживание взгляда. Кажется, он следует за моим носом.

Приложение распознает шесть жестов лица: открыть рот, рот влево и вправо, поднять левую и правую бровь и опустить правую бровь. Непонятно, почему нижняя левая бровь не вариант. Эти настройки жестов в сочетании с движением головы для управления направлением позволяют относительно легко связывать клавиши и щелчки мыши, позволяя вам играть в игру или управлять компьютером, используя только свое лицо.

Здесь есть много возможностей для улучшения. В идеале группы привязок жестов и скорости курсора должны быть сохранены для каждого приложения, чтобы вам не приходилось искать единую конфигурацию, которая работает для всех. Также было бы удобнее требовать подтверждающий щелчок с обратным отсчетом для возврата после настройки скорости курсора. Мне потребовалось несколько минут, чтобы приручить мой дикий указатель мыши, когда я впервые включил отслеживание лица.

В целом, Project GameFace — замечательная адаптация, которая должна значительно облегчить жизнь многим людям, которые в противном случае с трудом могли бы ориентироваться на компьютере или играть в игры. Больше технологических компаний должны использовать преимущества управления жестами с помощью веб-камеры .