Ненавидите мозаику? Google говорит, что вы можете “исправить” это

Научно-фантастический фильм «Бегущий по лезвию», выпущенный в 1982 году, представляет собой 2019 год, полный технологий киберпанка: небо полно летающих машин, и люди могут использовать машину с большим экраном (Эспер) для выполнения множества невероятных задач.

Когда главный герой Рик Декард проследил местонахождение клонов, он использовал Эспера, чтобы раскопать некоторые подсказки, которые не были замечены невооруженным глазом.

Рик засунул в Эспера подозрительную фотографию, найденную на месте происшествия, и снова и снова увеличил угол фотографии неразрушающим образом, и, наконец, нашел андроида Джуру в отражении зеркала.

Воображение научно-фантастических произведений действительно ограничено технологиями того времени. Компьютеры стали популярными только в 1982 году. «Бегущий по лезвию» не предполагал, что появление Интернета изменило образ жизни человека, и не мог представить, что это Имитационные технологии однажды были заменены цифровыми технологиями.

Тем не менее, его представление о технологии увеличения изображения без потерь очень развито, что до сих пор является трудной проблемой, которую предстоит решить.

Вы также могли столкнуться с такой ситуацией: после вечеринки друзья сделали групповое фото вместе, а затем увеличили масштаб, чтобы увидеть лицо старого одноклассника или марку напитка в тот вечер, когда я вернулся, но то, что я увидел, было размыто. Мозаика.

Это потому, что, когда мы увеличиваем фотографию до определенной степени, локальное разрешение уже очень низкое, и все, что мы видим, – это изображения, состоящие из пикселей.

Можем ли мы извлечь дополнительную информацию об изображении из тривиальных «мозаик», подобных фантастике 30-летней давности?

В блоге, недавно опубликованном командой Google AI, упоминается новый алгоритм изображения, который очень близок к видению «Бегущего по лезвию».

Невероятное увеличение разрешения

Насколько велика фотография размером 64 х 64 пикселя? Если использовать 12-мегапиксельную фотографию, сделанную на iPhone в качестве шаблона, она составляет лишь около трети своего размера. При отображении на экране высокой четкости вы увидите только полную «мозаику».

В эпоху цифровых технологий каждое изображение, которое мы видим на экране, состоит из плотно упакованных пикселей. Чем больше пикселей на единицу площади составляет изображение, тем выше разрешение и четче изображение.

Исследователи искусственного интеллекта Google думают, можно ли извлечь достаточно информации об изображении из низкого разрешения, использовать машинное обучение, чтобы максимально восстановить исходное изображение, увеличить разрешение изображения и получить четкое изображение?

В своем недавно опубликованном блоге Google показал результаты своих последних исследований, которые очень шокируют эффектом – с помощью двух разных алгоритмов фотографии размером 64 x 64 пикселя можно восстановить до разрешения 1024 x 1024 пикселя, а также детали. Эффект очень реалистичен.

Следует отметить, что фотографии, восстановленные Google с помощью алгоритмов машинного обучения, обязательно будут иметь некоторые отклонения от исходных фотографий, но когда мы не можем получить исходную сцену (например, старые фотографии в прошлом), происходит «восстановление», то есть как можно ближе к реальности Фотографии действительно ценные.

Согласно Google, восстановление «мозаичного» фото состоит из двух процессов – «уничтожения» и «реорганизации».

Во-первых, чтобы максимально подробно изучить графические детали «мозаичного» пиксельного блока, исследователи Google сначала обработают тестовые образцы с помощью алгоритма гауссовского шума, чтобы получить «карту снежинок», полностью состоящую из шума, которая выглядит как немного как и предыдущий аналог ТВ. Картинка по сигналу.

Затем исследователи используют алгоритмы нейронной сети, чтобы обратить процесс разрушения гауссовского шума и синтезировать новые данные изображения с помощью процесса обратного восстановления, а также максимально уменьшить шум из чистого шумового изображения для получения четкого изображения.

Принцип восстановления изображения не сложен, но задействованный алгоритм не прост. Для восстановления большого изображения высокой четкости «однозначное восстановление» исследователи Google предложили алгоритм сверхвысокого разрешения SR3 и модель каскадной диффузии. CDM. Повысьте точность восстановления за счет обучения сравнению изображений большого размера.

Стоит отметить, что, хотя мы всегда использовали термин «мозаика» для обозначения изображений с низким разрешением, большими пикселями и низким разрешением, это существенно отличается от реальных закодированных фотографий.

Причина, по которой алгоритм восстановления Google может сделать изображения с низким разрешением четкими, по сути, основана на правильной информации об изображении, содержащейся в самом изображении, путем сравнения и сопоставления бесчисленных изображений в огромной базе данных и, наконец, моделирования приблизительного заполнения пикселей.

Когда фотография размазана мозаикой, информация об изображении, содержащаяся на фотографии, изменится.

Проще говоря, алгоритм мозаики состоит в том, чтобы случайным образом выбрать цвет пикселей в области с фиксированным интервалом, а затем получить среднее значение всех пикселей в области и заполнить его новым цветом в квадрате.

После кодирования исходная информация о пикселях теряется, и получается только информация об ошибках, вычисленная случайным образом. В это время позвольте машинному обучению восстановить ее, точно так же, как просить его дать правильный ответ на совершенно неправильный вопрос. невозможно ответить.

Поэтому, если кто-то хочет использовать алгоритм Google для добычи некоторой стертой личной информации, он может развеять эту идею.

Вы вошли в будущее

Алгоритм восстановления HD от Google, вероятно, будет наконец применен к программам обработки изображений Google, таким как Google Photos, Snapseed и т. Д. Он станет одним из наших инструментов для редактирования фотографий, таких как HDR, коррекция угла обзора и другие алгоритмы.

Возвращаясь к фильму «Бегущий по лезвию», Эспер на самом деле очень интересная машина, это своего рода сплав аналоговых и цифровых технологий.

С одной стороны, он очень продвинутый, люди могут управлять им с помощью голоса и достигать увеличения без потерь; с другой стороны, он очень старомоден, с четким большим экраном, но все же структурой ЭЛТ, процесс импорта фотографий сканировать с физических фотографий.

В соответствии с эффектом фильма, Эспер может быть определенной координатой фотографии с фиксированной точкой, а затем увеличивать фотографию с помощью точной линзы (микроскопа). Глядя на это сейчас, можно увидеть, что идея усиления без потерь очень продвинута, но технология моделирования, очевидно, не является реалистичным будущим.

Для современных людей мобильные телефоны и компьютеры в руках – это каждый «эспер».

Теперь, когда фотографии уже завершили эволюцию полностью цифрового рабочего процесса, нетрудно увеличить фотографии с помощью цифровых технологий. Другими словами, вы действительно вошли в «будущее», описанное в «Бегущем по лезвию».

Сверхвысокое разрешение изображения всегда было горячей темой исследований в области компьютерного зрения. Такие компании, как Adobe, разрабатывают соответствующие технологии обработки изображений, которые применяются в программах обработки графики, таких как Photoshop и Lightroom.

В качестве примера возьмем Photoshop. После импорта изображения в формате RAW вы можете выбрать функцию «Суперразрешение» в функции «Расширенное». Программное обеспечение будет ссылаться на аналогичный контент, чтобы улучшить текстуру изображения и увеличить разрешение изображения. в 4 раза Весь процесс занимает около минуты.

Из фотографий до и после повышения контрастности видно, что резкость фотографий значительно улучшилась после увеличения разрешения, а также стали четкими некоторые нечеткие и неузнаваемые детали.

Adobe упомянула в техническом блоге, опубликованном в марте этого года, что алгоритм сверхвысокого разрешения, который он использует, также прошел много тренингов по машинному обучению и постоянно совершенствуется и совершенствуется.

Есть ли смысл взрывать разрешение картинок? Возможно, сделав фотографию, вы не будете увеличивать ее, чтобы вникать в каждую деталь, но когда вам нужно распечатать эту фотографию, разрешение изображения фотографии напрямую определяет максимальный размер печати.

Это особенно важно для фотографов. Иногда при съемке пейзажей с помощью широкоугольного объектива орел летает по небу. Детали орла с перьями не могут быть запечатлены с помощью широкоугольного объектива. Есть возможность получить снимок ты хочешь.

Adobe использовала 2,5-мегапиксельную фотографию в своем блоге в качестве примера и использовала функцию сверхвысокого разрешения, чтобы увеличить ее до 10 миллионов пикселей, чтобы из нее можно было распечатать «приличную» фотографию. Adobe описывает этот процесс как «цифровой зум». "

Сравнивая алгоритмы Adobe и Google, между ними есть некоторые различия. Adobe требует фотографий в формате RAW, которые сохраняют большой объем исходной информации для расчетов, в то время как алгоритм Google может восстанавливать фотографии на основе очень приблизительной информации.

В настоящее время оба алгоритма еще не полностью сформированы, и требуется много машинного обучения для повышения точности вычислений и восстановления.

Но можно сказать наверняка, что в ближайшем будущем технология сверхвысокого разрешения станет одной из самых популярных технологий обработки изображений, помогая людям избавиться от ограничений телеобъективов и другого оборудования и записывать каждую деталь и каждый момент жизни. Чтобы увидеть мир чище, мы не перестаем исследовать.

# Добро пожаловать, чтобы подписаться на официальную учетную запись Aifaner в WeChat: Aifaner (идентификатор WeChat: ifanr), более интересный контент будет предоставлен вам как можно скорее.

Ai Faner | Исходная ссылка · Посмотреть комментарии · Sina Weibo