Как два приложения превращают смартфоны в навигационные устройства для слепых
Впервые я стал свидетелем проблем инвалидности, когда поступил в колледж в 2016 году. Мои товарищи по общежитию приехали со всей Азии и Африки, преследуя разные карьерные пути и хобби, каждый из которых имел свою культурную самобытность и жизненный опыт.
Тогда целое крыло моего общежития было отведено для слепых студентов и сверстников с ограниченным зрением. Встреча с ними в переулках, по пути в столовую или в колледж — и ведение их к месту назначения, рука об руку — быстро стало повседневной рутиной.
Короткие беседы всегда были увлекательными, а запоминание ими целых томов стихов на урду никогда не переставало меня удивлять. Во время экзаменационного сезона я регулярно работал писателем, пока мои друзья рассказывали ответы.
Для меня это был откровенный опыт, но особенно выделялись два аспекта. Первым было постоянное присутствие смартфонов в их жизни. Во-вторых, несмотря на то, что он считался национальным университетом, на территории всего кампуса полностью отсутствовала помощь инвалидам, особенно слепым жителям или гостям.
Эти недостатки варьируются от незапланированной инфраструктуры до отсутствия вспомогательного технологического стека. Саиф Хан, архитектор, рассказал мне, что не существует каких-либо стандартных директив, позволяющих сделать здания доступными для слепых. «Лучшее, что мы делаем, — это строим пандусы для людей с ограниченными возможностями», — рассказал Digital Trends Хан, владеющий студией Pause Design Studio в столице Индии.
Ситуация мрачная по нескольким причинам. Доктор Ариф Вакар, который много работал со слепыми людьми, говорит мне, что даже в академических кругах медицинских наук основное внимание уделяется лечению, а не решению существующих проблем.
«Мы не делаем ставку на технические инновации. А это означает, что реальные проблемы продолжают сохраняться без универсального решения. Помощь в навигации — одна из них», — говорит Вакар.
Новый способ помощи слепым людям
Команда из Калифорнийского университета в Санта-Крузе хочет использовать приложения для смартфонов, чтобы помочь слепым людям ориентироваться в зданиях. Примечательно, что эти приложения не требуют какой-либо предварительной технической настройки и требуют только внутренних датчиков телефона. Здесь даже модуль камеры не является частью уравнения.
Роберто Мандучи, профессор информатики и инженерии Калифорнийского университета в Санта-Крус, возглавил разработку этих приложений, которые помогут слепым пользователям перемещаться внутри здания с помощью звуковых сигналов. Самое удобное и самое безопасное — то, что пользователям не нужно держать телефон во время работы.
Подумайте об этих двух приложениях — Wayfinding и Backtracking — как об эквиваленте GPS для навигации в помещении. Однако, в отличие от других попыток, требующих предварительно установленных датчиков в зданиях или ненадежного GPS, этим приложениям для обеспечения навигации нужны только датчики, встроенные в телефон.
В частности, команда использовала показания инерциальных датчиков — акселерометра, гироскопа и магнитометра — для измерения прогресса навигации. Хотя голосовые сигналы в основном зависят от динамиков смартфона, приложения также можно подключить к умным часам.
За пять метров до каждого поворота приложения информируют пользователя о предстоящем изменении направления. В то время как приложение Wayfinding помогает с входом и навигацией, приложение Backtracking использует план первоначального путешествия и просто меняет его, чтобы предоставить необходимые указания.
В ближайшем будущем команда надеется интегрировать в приложения технологии компьютерного зрения. Это позволит пользователям щелкнуть изображение своего окружения, когда они окажутся в сложном месте, и попросить ИИ описать мир вокруг них.
Это видение похоже на то, как современные чат-боты с искусственным интеллектом теперь могут обрабатывать изображения , позволяя пользователям просто наводить камеру, а ИИ анализирует ее.
Как все это работает
В рамках испытаний в команде Калифорнийского университета в Санта-Крусе было семь слепых участников, которые использовали приложение Wayfinding для перемещения по маршрутам, в общей сложности состоящим из 13 поворотов. Затем они использовали приложение Backtracking, чтобы проследить свой первоначальный путь на обратном пути.
Эти приложения не зависят от какой-либо внешней инфраструктуры и не требуют от пользователей удерживать телефоны в определенном положении для сбора данных из окружающей среды. Приложения работают нормально, даже когда телефон надежно спрятан в кармане.
Это решающая победа с точки зрения удобства. «Слепые путешественники обычно используют длинную трость или собаку-поводыря, поэтому одна рука уже занята маневрированием трости или удерживанием собаки», — говорится в исследовательской статье, опубликованной в журнале ACM Transactions on Accessible Computing .
Для приложения Wayfinding команда протестировала два отдельных алгоритма: Azimuth/Steps и RoNIN. Первый заимствован из концепции отслеживания шагов, создавая двумерный вектор шагов для каждого записанного шага и информацию о направлении, извлекаемую из встроенного компаса телефона.
Для оценки положения пользователя применяется система «счисления пути». «Это похоже на старую навигационную технику, которая рассчитывала путь корабля, используя компас для определения курса и лаг (веревку с несколькими регулярно расположенными узлами) для определения скорости», — объясняет Мандучи. «Вы восстанавливаете путь корабля, рисуя линию на карте на основе измеренного курса и скорости».
Алгоритмические ошибки — или «дрейф» — неизбежны. Чтобы противостоять этому, команда использовала метод, называемый фильтрацией частиц, который в основном используется для пространственного отслеживания. В этом случае фильтрация частиц использовалась для добавления определенных корректирующих ограничений, чтобы избежать этого дрейфа.
«Мы не можем пересекать стены (если мы не Супермены). Добавление этих предварительных ограничений (на основе базовых планов этажей) резко снижает эффект дрейфа», — рассказывает Мандучи Digital Trends.
Алгоритм RoNIN в основном использовался для обеспечения отказоустойчивости и сравнительного анализа, и в ходе тестирования он требовался только один раз. Для определения кратчайшего маршрута приложения используют систему Apple GameplayKit — платформу, которая преимущественно используется для создания игр. Примечательно, что у Apple уже есть инфраструктура карт помещений, доступная для разработчиков.
Команда также использовала элементы управления на базе смарт-часов на Apple Watch, используя сочетание элементов управления, включая сенсорное смахивание, движение Digital Crown и VoiceOver. Приложения предупреждают пользователей о следующем повороте, неправильной схеме движения, близлежащих ориентирах и о выходе на новый сегмент маршрута.
Команда выразила уверенность в том, что в приложении используется метод инерциальной локализации, главным образом потому, что он доступен и не требует какой-либо внешней инфраструктуры для предоставления услуг навигации. Однако Мандучи говорит мне, что Wayfinding и Backtracking — это «всего лишь экспериментальные приложения, до дистрибутивной версии еще далеко».
Примечательно, что команда рассматривает возможность использования открытого исходного кода через платформу Центра исследований программного обеспечения с открытым исходным кодом UCSC. Однако публичный релиз может занять некоторое время, чтобы решить «несколько практических вопросов», говорит Мандучи. К сожалению, одна из этих проблем носит фундаментальный характер.
Большое предостережение
Удобство — постоянная тема этих двух приложений, и, похоже, нет жестких аппаратных ограничений. Я спросил, требуется ли приложениям определенный уровень кремниевой огневой мощи во время тестирования или есть ли у готового приложения базовый уровень производительности.
Мандучи рассказал мне, что от родного оборудования не ожидается такой производительности, поскольку команда тестировала два приложения на iPhone X, вышедшем восемь лет назад. Можно с уверенностью предположить, что, когда оба приложения будут опубликованы, большинство владельцев iPhone смогут с легкостью их запускать.
Теперь приложение Wayfinding основано на наличии планов этажей. Было бы бесполезно, если бы в каталоге приложения не было сохраненного плана этажа. Более конкретно, планы этажей зданий необходимо подавать в векторизованном формате.
Команда Мандучи уже преодолела одну сторону этого важного препятствия. «Мы создали веб-приложение , которое упрощает векторизацию плана этажа в любом существующем формате, чтобы его можно было использовать в нашем приложении», — рассказал Мандучи Digital Trends. Он говорит, что в ближайшем будущем они планируют опубликовать веб-приложение.
Реальным препятствием является наличие карт зданий, векторизованных или иных. «Наш опыт показывает, что планы этажей общественных зданий неравномерны, и доступные планы этажей могут быть в различных форматах», — говорит мне Мандучи.
Эту проблему можно решить только при добровольном участии или если государство решит вмешаться. «Как архитектор, я даю своим клиентам план этажа или цифровую карту-схему в формате PDF, потому что это то, что им нужно увидеть. На самом деле, огромные векторные карты в файлах IMDF им бесполезны», — говорит мне Хан.
Он подчеркивает, что здесь нет такой вещи, как жесткая коммерческая тайна, но большинство архитектурных фирм или организаций не будут делиться векторными 3D-картами. «Думайте об этом как об интеллектуальной собственности, о чем-то, что является основой моей работы», — говорит мне Хан.
Эти векторные карты обычно создаются в требовательных приложениях, таких как Revit или AutoCAD, и их можно просматривать или манипулировать ими только с помощью этих приложений. Таким образом, нет смысла делиться ими в любом случае, поскольку клиенту нужна только карта этажа, которую он может открыть и понять, например, рисунки в простом PDF-файле или цифровом листе.
Даже если нынешний владелец определенного здания согласится предоставить копию карты для таких приложений, как Wayfinding, ему сначала придется найти архитектора или проектную фирму, стоящую за ней. Они могут иметь или не иметь возможность делиться друг с другом по причинам логистики, контракта или по любой другой причине, защищенной законом.
Однако ситуация становится еще сложнее для зданий, находящихся в ведении государственных учреждений. Это может быть что угодно: от ближайшей государственной больницы до местной станции метро. Подача заявки на получение разрешения и получение разрешения на доступ к векторным картам может оказаться длительным и утомительным процессом.
В Индии, например, университетские кампусы, общественная инфраструктура и правительственные учреждения были построены в британскую колониальную эпоху. Найти карту или даже архитектурный план этажа было бы все равно, что найти иголку в историческом стоге сена.
Единственным путем вперед было бы профессиональное их цифровое перенанесение на карту, что было бы еще одним масштабным мероприятием. На данный момент открытый исходный код кажется единственным значимым путем вперед, поскольку это, по крайней мере, гарантирует, что приложения Wayfinding и Backtracking смогут оказывать помощь в навигации в любом значимом качестве.
«Нет никаких архитектурных условий для слепых. Никаких обязательных правил не существует», — говорит мне Хан. «Эти приложения, по крайней мере, предлагают жизнеспособное исправление маршрута, позволяющее обойти эти ошибки».