Новое «теневое» исследование MIT использует тени, чтобы увидеть, что камеры не могут
Искусственный интеллект может скоро помочь видеокамерам увидеть ложь за пределами того, что может видеть объектив, используя тени. Исследователи из Лаборатории компьютерной науки и искусственного интеллекта (CSAIL) Массачусетского технологического института (MIT ) разработали алгоритм, который «видит» то, что находится вне видеокадра, путем анализа теней и затенения, создаваемых объектами вне поля зрения. Исследование « Слепой обратный перенос света методом глубокой матричной факторизации» было опубликовано сегодня, 6 декабря.
Алгоритм работает почти как чтение теневых кукол в обратном порядке — компьютер видит тень в форме кролика и затем может создать оценку объекта, который создал эту тень. Компьютер не знает, что это за объект, но может дать приблизительную форму фигуры.
Исследователи использовали тени и геометрию, чтобы научить программу предсказывать перенос света или движение света в сцене. Когда свет попадает на объект, он рассеивается, создавая тени и блики. Исследовательская группа работала над тем, чтобы «расшифровать» этот свет по шаблону затенения, теней и бликов. Дальнейшее уточнение помогло компьютеру оценить наиболее правдоподобную форму из всех потенциальных возможностей.
С пониманием того, как движется свет, алгоритм может затем создать грубую реконструкцию объекта, который создал эту тень, даже если сам объект фактически не присутствует в видео. Алгоритм основан на двух нейронных сетях, одна для «расшифровки», а другая для генерации видеопотока того, как этот объект выглядит.
Алгоритм создает точечный силуэт фигуры и способ ее перемещения. Этого недостаточно для создания шпионской камеры, которая заглядывает за углы, но это помогает сделать те сцены из CSI, где следователи извлекают детали, которых раньше не было, немного более правдоподобными.
Исследователи предполагают, что с дальнейшей доработкой технология могла бы использоваться для таких приложений, как улучшение видения автомобилей с самостоятельным вождением. Считывая информацию о тенях, автомобиль потенциально может увидеть объект, который собирается пересечь дорогу, еще до того, как он попадет в поле зрения камеры. До этого приложения еще далеко — исследователи говорят, что в настоящее время процесс восстановления загадочного объекта занимает около двух часов.
Исследование основано на аналогичной работе других исследователей Массачусетского технологического института, которые использовали специальные лазеры, чтобы увидеть, что камера не может . Новое исследование работает без какого-либо дополнительного оборудования, кроме камеры, компьютера и программного обеспечения.