Я попробовал средство для удаления фона с фотографий в iOS 16, и оно меня поразило
Apple представила множество функций в iOS 16 . К ним относятся улучшения в системных приложениях, таких как «Сообщения», «Карты» и Safari, настраиваемый экран блокировки и многое другое. Но одной из самых интересных функций является возможность автоматического удаления фона с изображений, что дает вам редактирование в стиле Photoshop всего за пару нажатий.
Это интригующая функция, которая сочетает в себе годы исследований и разработок в области ИИ. Вы можете отделить объект от фона изображения, просто удерживая его и вставляя в сообщения, Telegram, Safari и т. д. Я пробовал эту функцию на самых разных фотографиях. Некоторые были сняты на цифровую зеркальную камеру, другие — на камеру смартфона с портретным режимом и без него. Я также тестировал изображения объектов, домашних животных и многие другие изображения в сложных условиях. Попробовав эту функцию на 10 разных изображениях, результаты говорят сами за себя.
Объекты
На первом изображении наушники Sony WF-1000XM4 . Снимок был сделан на цифровую зеркальную камеру, на которой были выделены наушники и их футляр, а упаковка размыта. Я постучал по упаковке и ухватился за нее, и система оказалась достаточно умной, чтобы распознать объект в фокусе. ИИ точно удалял фон с четкими краями там, где было достаточно света, но боролся с тенями корпуса и наушников.
Я выбрал это второе изображение, потому что я снял его с эффектом портретного режима на iPhone, что придало снимку художественный вид. iOS 16 шустро понял тему и взял трубку рукой. Хотя мне бы хотелось иметь возможность выбрать только телефон, а не экономить руку, он отлично справился с краями. Здесь нет жалоб.
Домашние питомцы
Редактор нашего раздела, Джо Маринг, прислал мне это изображение своей собаки в фокусе с фоном вдали. Я нажал на собаку, чтобы убрать ее с фона, и это сработало с первой попытки. Стоит отметить, что наряду с краями собаки, края его пояса были дискретно смещены от фона. В общем, впечатляющая работа.
В то время как ИИ хорошо справлялся с хорошо освещенными сценами, мы с Марингом раздвинули границы возможного с помощью этого изображения его кота, сидящего сбоку от окна. Изображение сложное по двум причинам. Во-первых, это в помещении, поэтому в некоторых местах вокруг кошки не хватает света. Во-вторых, солнечный свет падает на голову кота, что могло сбить с толку догадки iOS 16. Но это не так. Новая функция Apple переместила кота с фона с четкими краями даже в слабоосвещенных областях, таких как его хвост.
Далее еще одна фотография кошки в помещении, но на этот раз ее гладит человек. Мы волновались, что iOS 16 будет выбирать объекты на заднем плане рядом с объектом, но вместо этого она выбрала человеческую руку. Было бы намного лучше, если бы у нас была возможность стирать части изображения, которые нам не нужны — мы надеемся, что Apple работает над этим. Конечный результат, конечно, неплох, но это пример того, что еще есть место для улучшения.
Люди
Я заметил, что в iOS 16 было намного проще удалить объект с фона, когда изображение было снято в портретном режиме. Например, фотография выше была сделана в портретном режиме на iPhone 12. Он неплохо сохранил края — даже волосы. Но по какой-то причине iOS 16 создала эффект цветения внизу. Это могло быть связано с тем, что портретный режим мог размыть эту область, но, тем не менее, это странная аномалия.
Здесь iOS 16 проделала достойную работу по удалению отражения лица человека на заднем плане. Но если вы сидите с кем-то, и вы оба находитесь на одной оси, он выберет вас обоих. Например, я обрезал себя на этом изображении, но рука человека, сидящего рядом со мной, не могла быть удалена, даже когда я постукивал по себе, чтобы поднять объект с фона. Вышеприведенное изображение не было снято в портретном режиме, но iOS 16 по-прежнему неплохо справляется с краями.
Это изображение было снято на Huawei P50 Pro , который имеет один из лучших портретных режимов на смартфоне. Но его обманули в районе моих очков и волос. iOS 16 пошла с данными портретного режима, чтобы очень четко обрезать края, но ошиблась в тех же областях, где камера не справлялась. Края вокруг волос могли бы быть намного лучше.
Напротив, это изображение было снято на DSLR, и iOS 16 была достаточно умна, чтобы держать ноутбук рядом со мной. С волосами он работал намного лучше, чем на предыдущем изображении, обрезая края без нежелательного фона.
Одна из областей, где средство удаления фона в iOS 16 борется, — это когда есть толпа. На фото выше отличный пример. Его нажали на iPhone 12 во время концерта в условиях слабого освещения. Несмотря на то, что вблизи лица он неплохо справлялся, он не мог отличить объект от различных рук в толпе. Опять же, было бы неплохо, если бы Apple дала нам возможность стирать ненужные объекты, чтобы исправить эти маленькие ошибки. Но вы можете сделать так много, нажав и удерживая, что заставляет нас скучать по 3D Touch еще больше.
Невероятный старт
В целом, средство удаления фона в iOS 16 отлично справляется с хорошо освещенными сценами. Он хорошо работает с домашними животными и объектами, чтобы очистить фон от краев, но похоже, что Apple в основном полагается на данные портретного режима, чтобы поднять объект с фона. В результате, когда изображение не снято в портретном режиме — или что-то блокирует объект — iOS 16 сбивается.
Хотя это обоснованные жалобы, важно рассматривать все это в контексте. Это первая доступная версия средства удаления фона Apple в первой бета-версии iOS 16 для разработчиков . Поскольку официальный запуск iOS 16 ожидается не раньше сентября или октября, у Apple есть несколько месяцев, чтобы настроить и усовершенствовать эту функцию перед ее публичным дебютом. Учитывая, насколько хороша эта функция на такой ранней стадии, интересно подумать, какой она будет через несколько месяцев.