MIT и новый IBM от A.I. инструмент для редактирования изображений позволяет рисовать с помощью нейронов
Будь то автоматическая пометка объектов на изображениях или возможность настраивать освещение и отделять объекты от фона с помощью «портретного режима » на iPhone , нет сомнений в том, что искусственный интеллект является мощной силой в современных инструментах для редактирования фотографий.
Но что, если бы можно было сделать еще один шаг и использовать новейшие передовые технологии для разработки, возможно, самой амбициозной (и по-своему творческой) программы рисования в мире — той, которая выходит за рамки простого прикосновения? или холодно анализировать ваши существующие фотографии?
С такой программой все, что нужно было бы сделать человеку, чтобы убрать неприглядную линейку автомобилей, запятнавших изображение его семейного дома, — это обойти его кистью. Как по волшебству, транспортные средства будут заменены фотореалистичным травянистым банком. Хотите убрать этот бомбардировщик из одной из ваших фотографий? Нет проблем: просто нажмите, чтобы выбрать их, и они исчезнут вместо вспомогательного полюса, который выглядит так, будто он всегда был там. Как насчет добавления подлинно древней двери на фотографию старой церкви? Нажмите и все готово. Вы поняли идею.
Это то, что исследователи из Массачусетского технологического института и IBM работают над созданием удивительной новой технологической демонстрации, которую они называют «GAN Paint Studio». Описанные ее создателями описываются как предоставление возможности «рисовать нейронами» — имея в виду искусственные нейроны нейронная сеть машинного обучения — это один из самых потенциально преобразующих инструментов для редактирования фотографий, которые когда-либо создавались.
Это позволяет пользователям загружать изображение по своему выбору, а затем изменять любой его аспект по своему желанию, будь то изменение размера объектов или добавление совершенно новых элементов и объектов. Думайте об этом как о фотошопе для «глубокого поддельного» поколения , хотя в настоящее время это скорее подтверждение концепции, чем готовый продукт.
Будущее креативных инструментов
«То, что мы создали с помощью этой работы, является отправной точкой, чтобы показать, как могут работать креативные инструменты в будущем», — сказал Digital Trends Хендрик Стробелт , научный сотрудник MIT-IBM Watson AI Lab. «Мы начали с нейронной сети [называемой] GAN, которая может создавать свои собственные изображения определенной категории, например кухонные изображения, и проанализировали, какие внутренние части сети отвечают за создание какой функции. Это позволило нам изменить изображения, создаваемые сетью. Мы «рисовали» на них. Новинка, которую мы добавили, заключается в том, что вы можете загрузить свое собственное изображение этой категории и изменить его с помощью кистей, которые не просто рисуют штрихи, но на самом деле рисуют семантически значимые единицы — например, деревья, кирпичную текстуру или купола ».
GAN, или Generative Adversarial Network, является одним из самых мощных инструментов, используемых в генеративном искусственном интеллекте. GAN противопоставляет две искусственные нейронные сети. Одна сеть генерирует новые изображения, а другая пытается выяснить, какие изображения генерируются компьютером, а какие нет. Со временем этот порождающий состязательный процесс приводит к тому, что сеть «генератора» становится достаточно хорошей при создании изображений, чтобы каждый раз успешно обманывать «дискриминатора». GAN — это технология искусственного интеллекта, которая, как изве
стно, продавалась за большие деньги на аукционе Christie's в 2018 году.
Система, разработанная исследователями MIT и IBM, демонстрирует некоторые полезные способности. Немного похожий на Deep Dream , инструмент создания триповых изображений, разработанный исследователями Google несколько лет назад, он демонстрирует впечатляющее понимание того, какие изображения сочетаются друг с другом. В результате обучения обширному архиву изображений он приобретает понимание основных правил, регулирующих отношения между объектами. Например, попросите его добавить объект в небо, и он не будет рисовать окно — поскольку он знает, что окна обычно (или никогда) не находятся там.
Как отмечает Стробелт, GAN Paint Studio пока не совсем готова к прайм-тайму. Хотя представители общественности могут попробовать его использовать , еще предстоит проделать большую работу. Примечательно, что демонстрационная версия в настоящее время имеет низкое разрешение. Тем не менее, он демонстрирует огромные перспективы технологии.
Сложная фантазия
«Самые забавные части [технологии] на самом деле, когда ваше воображение бросает вызов», сказал Strobelt. «Попробуйте добавить дверь к изображению Палаццо Веккьо; это немного ошеломляет, если вы знаете это место. Система далека от совершенства, и не все изображения могут быть одинаково хорошо изменены. По-прежнему необходимы исследования по оптимизации всех частей. Например, когда модель GAN пытается представить входную модель, она вполне может использовать неправильные семантические единицы для воспроизведения признаков — она может просто создать дверь из древовидных единиц. Выяснение того, когда и как это происходит правильно или неправильно, на самом деле очень интересная будущая работа ».
Как только со временем GAN становятся лучше, Strobelt считает, что откроются приложения для GAN Paint Studio. «Очевидной первой идеей был бы редактор фотографий с этими семантическими кистями и ластиками», — сказал он. «Это может помочь вам, например, редактировать фотографии из отпуска. Это также может позволить архитекторам быстро создавать варианты встраивания их строительных конструкций. Разработчики игр могут [также использовать его] для более быстрой модификации карт уровней ».
Если бы такая технология могла быть добавлена к видеоэффектам, она также оказалась бы чрезвычайно мощной. Это позволило бы помещать объекты в кадры одним нажатием кнопки. Если режиссер поймет, что он забыл включить фоновый элемент, имеющий решающее значение для сюжета, в законченную сцену, его можно быстро добавить — без необходимости в текущих дорогостоящих и длительных процессах визуальных эффектов.
Стробелт решительно заявляет, что он не считает GAN Pain Studio действительно креативной и независимой . «Нет», сказал он решительно. «Я вижу это как продвинутый инструмент, чтобы помочь людям, которые думают, что они не творческие, чтобы бросить вызов этой мысли».
Опять же, что такое творчество? Как и во многих других аспектах нашей жизни, таких как работа, в которую мы верим, могут выполнять только люди , кажется, что ИИ готов задавать большие вопросы.