Функция Apple iOS 18 может изменить способ использования iPad

Нет сомнений в том, что новый iPad Pro по-прежнему остается лучшим планшетом для чтения, игр, просмотра видео и рисования. Но с добавлением чипа M4, Magic Keyboard и Apple Pencil Pro iPad стал ближе к ноутбуку, чем когда-либо.

Итак, станет ли iPad в будущем постепенно MacBook с сенсорной функциональностью?

Ответ, вероятно, нет.

В последней версии iOS 18 Apple использует эту «функцию доступности», чтобы предсказать новое будущее взаимодействия с iPad.

Отслеживание взгляда: от Vision Pro до iPad

Недавно Apple анонсировала новую функцию «отслеживания глаз», добавленную в ее операционную систему iPadOS 18. Эта, казалось бы, незаметная функция размещена в верхней части вводной страницы.

Говоря об отслеживании взгляда, многие люди сначала могут подумать о Vision Pro, ранее выпущенном Apple. Одной из наиболее выдающихся особенностей этого устройства является то, что оно использует отслеживание взгляда вместо традиционной ручки.

Пользователи могут управлять приложениями, перемещаться по меню и даже играть в игры, двигая глазными яблоками, не полагаясь на прикосновения или внешние устройства, что значительно повышает удобство использования и демонстрирует прелесть этого интерактивного метода.

В основном это связано с конструкцией нескольких инфракрасных камер и двухчипами M2 и R1, распределенными в Vision Pro, что позволяет использовать технологию обработки изображений для извлечения функций, связанных с движениями глаз, и достижения отслеживания движений глаз путем построения моделей.

Важным изменением формы выпущенного недавно нового iPad Pro является перемещение камеры с узкой стороны на длинную.

Матричный проектор, сенсорный элемент прожектора, фронтальная камера и инфракрасная камера в модуле камеры соединены с новым чипом M4, который теперь, похоже, открывает путь для последующих планов.

В описании обновления также показано, что функция отслеживания глаз Apple полностью реализована на устройстве с помощью машинного обучения, а это значит, что она не требует какого-либо дополнительного оборудования и может быть использована сразу на всех устройствах под управлением iPadOS 18, что подтверждает одно мнение.

В настоящее время признанные в отрасли методы отслеживания глаз включают отслеживание глаз на основе внешнего вида и отслеживание глаз на основе двумерного картирования.

Первый в основном использует изображения лиц или глаз в качестве входных данных для извлечения признаков, а затем связывает эти особенности с направлением взгляда посредством машинного обучения. Этот метод прост и требует только камеры, но для построения точной модели, которая правильно интерпретирует направление вашего взгляда, требуется много обучающих данных.

Другой метод отслеживания глаз, основанный на бинарном картировании, в основном определяет движение глаз путем анализа изменений относительного положения глазного яблока и отражения роговицы.

Поскольку положение пятна отражения роговицы не меняется при движении глазного яблока, его можно использовать в качестве ориентира для движения зрачка, а направление реализации рассчитывается на основе изменений их относительных положений.

Во время калибровки вам необходимо смотреть на определенные точки на экране, и система запишет эти точки и данные вашего глаза для построения картографической модели. Затем, когда вы посмотрите куда-то еще, система может использовать эту модель, чтобы точно знать, куда вы смотрите.

На самом деле сейчас кажется, что принцип отслеживания взгляда не очень сложен, и существующих аппаратных условий достаточно для удовлетворения потребностей. Но на самом деле Apple прошла долгий путь для достижения этой функции.

Последний шаг в многолетнем планировании

Еще много лет назад Apple начала использовать сетевые таланты и технологии в области отслеживания взгляда.

В 2013 году Apple приобрела PrimeSense у Израиля, который обеспечивал поддержку технологии управления движением Microsoft для Xbox Kinect.

Эта компания выпустила очень маленькую 3D-камеру под названием Capri, которую можно встроить в мобильные телефоны, планшеты и другие устройства. Вот что PimeSense продемонстрировал на Google I/O 2013:

Также был выпущен так называемый в то время «самый маленький в мире чип 3D-сенсора». Благодаря хорошей производительности и компактным размерам его можно использовать на многих электронных устройствах, таких как мобильные телефоны и телевизоры.

В 2017 году Apple приобрела SensoMotoric Instruments, опытную компанию в области технологий отслеживания взгляда из Германии. Когда-то она была крупнейшим в мире производителем оборудования для отслеживания взгляда.

Опираясь на серию аппаратного и программного обеспечения для отслеживания глаз, представленную «Money Capture», Apple впервые в том же году использовала функции отслеживания глаз в своем Face ID, чтобы повысить безопасность разблокировки.

В последующие годы информация о патентных заявках Apple, связанных с отслеживанием глаз, продолжала просачиваться, и Apple также продолжала исследования. Это не только способствовало развитию метода взаимодействия Vision Pro, основанного на отслеживании глаз, но и породило бесконечные исследования по отслеживанию глаз на других устройствах. Возможно устройство Apple.

Будущее отслеживания взгляда

По сравнению с традиционными методами взаимодействия (мышь, клавиатура, касание и т. д.) айтрекинг имеет ряд преимуществ:

• Естественный и интуитивно понятный: айтрекинг использует естественные движения человеческого глаза для взаимодействия и не требует дополнительного рабочего оборудования. Пользователям нужно только посмотреть на цель, чтобы выполнить соответствующую операцию, что снижает стоимость обучения и делает взаимодействие более интуитивным.
• Повышение эффективности: глазные мышцы — одни из самых быстро реагирующих мышц человеческого тела. Благодаря отслеживанию движений глаз пользователи могут быстрее выбирать элементы интерфейса и управлять ими, сокращать движения рук и повышать скорость и эффективность работы.
• В сочетании с другими методами ввода: отслеживание взгляда можно комбинировать с другими методами ввода, такими как голосовое управление и операции с жестами, чтобы обеспечить более широкие и гибкие методы взаимодействия.
• Многозадачность: пользователи могут использовать управление отслеживанием взгляда без ненужных движений только при выполнении других задач (например, вождении или ходьбе) или одновременном выполнении нескольких задач, что повышает эффективность работы.
• Анализ данных и персонализация. Отслеживание взгляда может предоставить ценные данные о внимании и интересах пользователя. Эти данные можно использовать для оптимизации дизайна интерфейса, доставки рекламы и персонализации пользовательского опыта, делая систему более интеллектуальной и удобной для пользователя.
• Дополненная реальность (AR). В среде AR отслеживание глаз может обеспечить более захватывающий и естественный интерактивный опыт. Пользователи могут выбирать виртуальные объекты и управлять ими, глядя на них, что повышает удобство работы с пользователем.

Именно благодаря этим преимуществам он продемонстрировал большой потенциал во многих конкретных сценариях.

Например, во многих играх отслеживание взгляда не только обеспечивает более удобные операции, но и дает игрокам лучшее ощущение погружения, позволяя игрокам управлять игровыми персонажами и взаимодействовать с ними просто посредством реализации.

Кроме того, после реализации функции отслеживания глаз разработчики также могут настраивать многие параметры, такие как освещение сцены и изменение перспективы на основе данных о движении глаз, чтобы адаптироваться к личным визуальным привычкам пользователя и сделать игровой экран более реалистичным.

Социальное взаимодействие в игре также может использовать виртуальных персонажей для реализации различных состояний действий, которые меняются в реальном времени вместе с лицом игрока, например, направление, моргание, щурение и т. д., обогащая эмоциональное выражение персонажа и улучшая погружение в игру со всех сторон. аспекты.

Помимо игр, возможно, стоит ожидать изменений, которые эта технология принесет в повседневную жизнь.

После выпуска Vision Pro важным сценарием применения являются образовательные, медицинские и другие сценарии. Нет сомнений, что это применимо и к iPad, реализующему отслеживание взгляда.

В областях профессиональной подготовки, таких как пилотное моделирование и хирургическое моделирование, движения глаз студентов отслеживаются для оценки скорости и точности принятия решений.

Отслеживание взгляда может предоставить учителям обратную связь в режиме реального времени о сосредоточенности и понимании учащихся во время обучения, помогая разрабатывать персонализированные стратегии обучения и улучшать содержание курса.

Есть также некоторые сценарии, которые очень подходят для взаимодействия с отслеживанием взгляда, например домашняя обстановка. Благодаря отслеживанию движений глаз iPad может стать центральной консолью «умного дома» для управления домом или обеспечения лучшего интерактивного взаимодействия, когда под рукой есть другие вещи или руки грязные;

Хотя потенциал применения отслеживания взгляда огромен, некоторые представители отрасли сомневаются в безопасности этой технологии.

Данные показывают, что данные глаз человека будут включать в себя различную информацию, такую ​​как возраст пользователя, пол, раса, эмоциональное состояние, личностные качества и т. д.

Джон Вилласенор, основатель и содиректор Института технологий, права и политики Калифорнийского университета в Лос-Анджелесе, сказал:

Когда технология отслеживания взгляда станет зрелой, она будет собирать еще больше информации: что мы читаем в Интернете и даже как мы это читаем. Например, видели ли мы рекламу на веб-странице, какое-то время думали о ней и, наконец, не смогли на нее нажать? Как движутся наши глаза, когда мы читаем всю веб-страницу? Какие слова, фразы или темы мы предпочитаем или избегаем? Будет ли в будущем реклама, отображаемая перед нами, зависеть не только от того, что мы купили, но и от состояния движения наших глазных яблок?

Очевидно, что если мы сможем понять продолжительность взгляда пользователя и предпочтения фокуса в сочетании с данными из нескольких измерений, таких как размер зрачка и саккады, несомненно, будет точнее «угадать, что вам нравится», а также сложность конфиденциальности. защита также будет. Будет немедленно повышена.

В этом отношении ответ Apple заключается в том, чтобы разместить весь захват и интерпретацию на устройстве без необходимости использования другого внешнего оборудования, такого как очки, специально предназначенные для сбора данных о движении глаз, и Apple не сможет видеть ничего, захваченного камерой.

Однако в нынешнем контексте, когда пользователи уделяют все больше внимания конфиденциальности и безопасности, а утечки информации происходят время от времени, решить проблемы пользователей все еще может быть сложно, и это также может стать важным фактором, который делает сложно реализовать функции отслеживания взгляда.

Кроме того, существует более серьезная проблема: как обеспечить, чтобы отслеживание взгляда работало стабильно и точно в различных условиях и могло быть адаптировано для людей, которые носят очки или имеют особые характеристики глаз и т. д.

А поскольку глаза людей часто движутся очень быстро, движения зачастую нерегулярные или скачкообразные, что также является важной проблемой, которую должно решить отслеживание взгляда.

В ответ на эту проблему Apple может использовать ИИ для ее решения.

Стерлинг Криспин, бывший сотрудник Apple, ответственный за разработку Vision Pro, однажды сказал в Твиттере, что Apple использует много нейробиологии для разработки некоторых своих ключевых функций, таких как использование искусственного интеллекта для прогнозирования рабочего поведения пользователей:

Модель ИИ пытается предсказать, любопытны ли вы, отвлечены, напуганы, сосредоточены, вспоминаете ли вы прошлый опыт или другие когнитивные состояния. Это можно сделать с помощью отслеживания глаз… измерений.

Он также сказал, что это произошло главным образом из-за:

Ваши зрачки реагируют еще до того, как вы щелкнете, отчасти потому, что вы ожидаете, что что-то произойдет после щелчка. Таким образом, биологическая обратная связь с мозгом пользователя может быть создана путем обнаружения поведения глаз пользователя и попытки изменить дизайн пользовательского интерфейса, чтобы создать больше ожидаемой реакции зрачка.

Он также взволнованно сказал, что такая обратная связь с отслеживанием взгляда, включающая в себя алгоритмы искусственного интеллекта и обратную связь в реальном времени, превращает его в «грубый интерфейс мозг-компьютер», что очень круто.

Расширение функциональности iPad и изменение его статуса

Конечно, описание того, как отслеживание взгляда становится «интерфейсом мозг-компьютер», может быть немного преувеличено, но нельзя скрыть его потенциал для расширения методов взаимодействия.

Когда iPad появился на свет, на него возлагались большие надежды, но многие люди до сих пор считают его «iQiyi после покупки». Основная причина заключается в отсутствии взаимодействия.

В этом отношении Apple действительно приложила немало усилий, таких как добавление Apple Pencil и Magic Keyboard, что в некоторой степени можно рассматривать как попытку Apple обогатить методы взаимодействия с планшетами.

Однако эти усилия, похоже, коренным образом не изменили затруднительное положение iPad. В конце концов, если вы хотите использовать клавиатуру, почему бы просто не выбрать MacBook? Хотя Apple Pencil и исследовал потенциал формы iPad в профессиональной сфере, он ограничен узкой профессиональной сферой и не может стать ключом к спасению iPad.

Кроме того, поиск новых взаимодействий с помощью «функций доступности» всегда был для Apple важным способом раскрыть потенциал продукта и обеспечить новые прорывы.

Например, функция двойного щелчка в Apple Watch Series 9 позволяет распознавать движения пальцев и управлять часами, не прикасаясь к ним. После запуска она была хорошо принята многими пользователями, но она также была спрятана в углу «вспомогательных устройств». прикосновение» в течение длительного времени.

Взаимодействия, очень похожие на отслеживание взгляда, на самом деле скрыты в списке «Функций специальных возможностей» Apple. Например, в «Функциях специальных возможностей» многих компьютеров Mac появился «Указатель управления головой», и пользователи могут использовать голову для перемещения. контролировать движение указателя.

С обновлением iOS 18 также очень вероятно, что отслеживание взгляда переместится из угла «Вспомогательного касания» в центр сцены и через некоторое время станет важной функцией, которую вы используете каждый день. Открывайте новое. Интерактивная эпоха iPad.

Возможно, не только пальцевое управление – это будущее iPad.

# Добро пожаловать на официальную общедоступную учетную запись WeChat Aifaner: Aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.

Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo