Это единственная функция искусственного интеллекта Google I/O 2024, которую мне не терпится использовать.

Основной доклад Google на конференции I/O 2024 был насыщен множеством новых функций искусственного интеллекта, которые благодаря Gemini появятся на настольных и мобильных устройствах. Появятся новые способы поиска в Google с помощью видео и мультимодальных запросов, а смартфоны в конечном итоге получат сверхспособности искусственного интеллекта через камеру с Project Astra .

Но есть одна функция, которая мне очень запомнилась: «Спросите фотографии с помощью Близнецов» в Google Фото.

Во-первых, что такое Близнецы?

Прежде всего, что такое Близнецы ? По сути, это семейство моделей искусственного интеллекта Google, в которое входят Gemini Nano, Gemini Pro и Gemini Ultra. Короче говоря, это версия OpenAI от Google и собственные модели GPT, такие как ChatGPT .

Gemini может понимать и генерировать текст, как и другие большие языковые модели (LLM), такие как GPT OpenAI. Однако Gemini может сделать немного больше — он понимает, обрабатывает и объединяет другие формы информации, такие как изображения, видео, аудио и даже код.

Для Android-смартфонов используется Gemini Nano , который работает локально на самом устройстве. Благодаря модели Gemini Nano существующие функции, такие как Circle to Search, станут еще лучше благодаря возможности помогать ученикам с домашними заданиями по физике и математике.

Он также будет еще лучше учитывать контекст того, что сейчас отображается на вашем экране, поскольку вы сможете задавать Gemini вопросы о видео, которое вы смотрите, или о длинном PDF-файле, который вы просматриваете, вместо того, чтобы прокручивать десятки страниц. Gemini Nano даже предоставит вашему смартфону мультимодальные возможности, например, поисковые запросы с несколькими запросами в одном.

Ask Photos with Gemini — одна из многих новых функций Gemini, анонсированных на I/O 2024, и она появится в Google Photos позднее в этом году. Короче говоря, вы можете осуществлять поиск в своей огромной библиотеке фотографий, используя более разговорный подход, а не ключевые слова.

В демонстрации Google I/O Google показал, что можно просто спросить: «Какой у меня номерной знак?» или «Когда моя дочь научилась плавать?» чтобы показать фотографии, отвечающие этим запросам.

Он даже идет еще дальше с такими запросами, как «Покажите мне, как продвигается плавание моей дочери». Подобные запросы заставляют Gemini просматривать ваши фотографии по дате и контексту для получения соответствующего результата.

Когда на сцене показали «Спросите фотографии с Близнецами», я был взволнован и не могу дождаться, чтобы получить его в свои руки.

ИИ-компаньон родителя

Я стала мамой чуть больше двух лет. Но за это время я сделал больше фотографий, чем когда-либо прежде, потому что мне нравится запечатлевать все маленькие моменты моей дочери, будь то просто ее милость и глупость или те важные вехи, которые я хочу запечатлеть на фото или видео. Имея iPhone 15 Pro емкостью 1 ТБ и бесчисленное количество телефонов Android, которые я тестирую, я всегда фотографирую свою дочь.

Вы можете подумать, что это излишне – возможно, так оно и есть. Но у меня не так много фотографий, а тем более видео моего детства от родителей. Они не запечатлели все мои особые моменты, и у меня остались лишь смутные воспоминания, ничего сверхподробного или конкретного. Благодаря всем современным технологиям, они помогли мне убедиться, что у моей дочери будут визуальные свидетельства ее детства.

Хотя я делаю фотографии и видео, чтобы поделиться ими с членами семьи и избранными друзьями, в основном я фиксирую эти моменты, потому что хочу оглянуться на них позже. Ищу ли я просто быстрый способ поднять себе настроение, чтобы вызвать улыбку на лице, или когда я дряхлая старушка и мне нужно прогуляться по переулку памяти, я довольно часто просматриваю свои визуальные воспоминания.

С помощью Ask Photos with Gemini мне не терпится попросить его показать мне успехи моей дочери в различных жизненных событиях. Например, в августе этого года мы отправляем ее в детский сад. Я бы хотела попросить Близнецов показать мне ее успехи в школе или просто показать мне все ее «первые дни» каждого учебного года. Или когда она учится ездить на велосипеде, я вижу ее прогресс в переходе от тренировочных колес к полноценному велосипеду. Черт возьми, Близнецы могли бы даже показать мне, как моя дочь каждый год задувает свечи на своем праздничном торте.

У меня очень много возможностей использовать Ask Photos, но это лишь несколько идей, которые приходят на ум. И хотя это полезно для родителей, когда речь идет о важных событиях их детей, оно также отлично подходит и для других вещей. Я вижу, что использую его для своих юбилеев, праздников и даже для своих домашних животных.

Конечно, сейчас я мог бы просмотреть все свои фотографии и выполнить поиск по лицам и ключевым словам. Но Ask Photos with Gemini кажется гораздо более простым, быстрым и естественным способом сделать это. А когда у вас есть фототека, насчитывающая более 50 000 фотографий и видео, я мог бы использовать более простой способ поиска по ней.

Я не могу дождаться, чтобы использовать это

Ask Photos — не единственная функция Gemini AI, которую Google продемонстрировал на Google I/O 2024. И хотя она мне больше всего нравится из-за ее практичности, есть и другие интересные вещи, которые я хочу проверить.

Например, проект «Астра» показался интригующим. Я часто использую телефон, чтобы сфотографировать что-то, что хочу сохранить на будущее и узнать больше, например растения и цветы. Но с Astra вы получите все возможности искусственного интеллекта прямо в камере, и он сможет рассказать вам о том, на что вы смотрите, в режиме реального времени. И хотя Google не анонсировала никаких умных очков , Project Astra показал, что в какой-то момент это будет невероятная функция в умных очках.

Мне также очень хотелось бы проверить мультимодальные запросы на подсказки в поиске Google на базе Gemini. Я не из тех людей, которым нравится что-либо планировать, поэтому, если Google может сделать всю работу за меня, то я полностью за. И хотя я не думаю, что оповещения о мошенничестве в реальном времени будут для меня очень полезными (я все равно никогда не отвечаю на телефонные звонки), для других это будет очень полезная функция.

Позднее этим летом приложение Ask Photos with Gemini должно появиться в Google Photos, и мне не терпится его попробовать.