Вскоре Microsoft может позволить Copilot видеть весь ваш экран, но это неплохо.

Microsoft тестирует новую функцию на Copilot, и на этот раз она появится на ПК. Copilot Vision , недавно выпущенный на мобильных устройствах, теперь доступен для тестирования на ПК, и его возможности одновременно впечатляют и немного пугают. Microsoft также расширяет возможности поиска файлов с помощью искусственного интеллекта.

Copilot Vision позволит приложению видеть все на вашем экране — если вы этого захотите. Вы можете поделиться окнами браузера, всем своим рабочим столом или даже игрой, чтобы получать отзывы от Copilot в режиме реального времени. После запуска вы выберете, каким окном браузера или приложением вы хотите поделиться с Copilot, и с этого момента вы сможете общаться с Copilot так же, как с агентом технической поддержки. Вы можете прекратить обмен в любой момент.

Microsoft поделилась снимком экрана этой функции, на котором виден файл Word, которым поделились с приложением. Вы можете разговаривать с Copilot Vision голосом или текстом, и говорят, что приложение проведет вас через весь процесс того, что вы пытаетесь сделать.

The Verge продемонстрировал демо-версию Copilot Vision, которая была доступна для тестирования во время вечеринки по случаю 50-летия Microsoft . Вы могли видеть, как Copilot отвечает на вопросы во время игры в Minecraft , давая пользователю советы, что делать с определенными предметами. Он также помогал пользователю редактировать видео в Clipchamp, выделяя что-то на экране. Последняя часть — подсветка — еще не включена в эту бета-версию, но со временем она будет доступна.

Microsoft также делает поиск файлов в Windows более естественным. Приложение Copilot скоро сможет помочь вам найти файлы на вашем компьютере. Вы можете задавать такие вопросы, как «Можете ли вы найти мое резюме», и второй пилот будет знать, что искать. К счастью, вы можете настроить разрешения для того, что Copilot имеет, а что ему не разрешено видеть.

Согласно объявлению в блоге Microsoft Windows, эти функции будут доступны инсайдерам Windows в США. Это означает, что мы не сможем опробовать их все, и для распространения Copilot Vision на более широкую аудиторию может потребоваться некоторое время.