Поделиться
Искусственный интеллект научился делать цветные снимки лиц в темноте
Специально разработанный алгоритм позволяет реконструировать цвет изображений, снятых за пределами видимого человеком диапазона электромагнитного излучения. Пока его применение ограничено снимками лиц.
В неполной темноте
В Университете Ирвина (США) разработана система для камер, которая может получать полноцветные изображения даже почти в полной темноте. Секрет, в сущности, прост: камера снимает в инфракрасном диапазоне, а затем система искусственного интеллекта преобразует изображение в цветное — так, как его видел бы человеческий глаз.
Человек способен видеть в относительно узком диапазоне волн — от 300 до 700 нанометров. Диапазон более 700 нанометров относится к инфракрасной области; человеку она доступна только с помощью специальных технических средств. Инфракрасные камеры широко распространены, но, как правило, снимать они могут только черно-белые изображения.
Исследователи из Университета Ирвина снабдили свою систему алгоритмом искусственного интеллекта, который «раскрашивает» черно-белое изображение, полученное с инфракрасной камеры.
Алгоритм был обучен на основе изображений, сделанных черно-белой камерой, чувствительной и к видимому спектру, и к области, близкой к инфракрасной. Этот набор изображений состоял из фотографий лиц, сделанных при освещении с разной длиной волн, в том числе в красном свете (604 нм), зеленом (529 нм), синем (447 нм), а также в инфракрасном диапазоне при длинах волн 718, 777 и 807 нм.
«Обычные камеры формируют видимые для человеческого глаза изображения из синих, зеленых и красных пикселей, — пояснили исследователи. — Мы решили проверить, можно ли комбинацию инфракрасных иллюминентов, полученных в красном и околоинфракрасном диапазоне, обработать с использованием систем глубокого обучения, чтобы реконструировать изображение так, будто бы оно было создано при свете видимого спектра. Мы создали контролируемый визуальный контекст с ограниченным количеством пигментов, чтобы проверить нашу гипотезу относительно способности алгоритма глубинного обучения воссоздавать в видимом для человека диапазоне сцены, снятые в околоинфракрасном освещении и для человеческого глаза невидимые».
Первый шаг
Исследователям удалось настроить сверточную нейросеть так, чтобы она предсказывала изображения видимого спектра на основе информации, полученной только в околоинфракрасном диапазоне. Представленное исследование его авторы называют только первым шагом.
«Для реконструкции цветовой информации из отдельных изображений или комбинации снимков, сделанных в разных диапазонах волн, мы оценивали результативность следующих архитектур: базовой линейной регрессии, сверточной нейронной сети, аналогичной U-Netи U-Net-GAN, сети, усиленной состязательными потерями», — пояснили исследователи.
Система позволяет довольно эффективно воспроизводить в цвете изображения лиц, снятых в невидимом для человека спектре, но только лицами ее результативность пока и ограничивается. Однако эксперты надеются, что со временем машину можно будет натренировать на любые разновидности изображений.
«Говорить о практической применимости данной системы преждевременно, — считает Алексей Водясов, технический директор компании SEQ. — Думаю, коммерческие реализации появятся лишь через относительно продолжительное время и поначалу будут иметь довольно ограниченную эффективность и сферу применения. Сам подход выглядит перспективным, по крайней мере, но применяться он будет, скорее всего, только в каких-то узкоспецифических областях».
Короткая ссылка
