Нейросеть воссоздала 3D‑объекты из отражений в глазах

В основе технологии лежит нейросеть NeRF от NVIDIA. Она компилирует ряд двухмерных фотографий объекта с разного ракурса и генерирует трехмерную картинку.

Ученые использовали рефлективную природу глаз, которые в движении фиксируют все вокруг себя. Метод анализирует положение роговицы, освещение, текстуру радужной оболочки и ряд других параметров. В рамках эксперимента исследователи пробовали использовать реальные и искусственно созданные портретные снимки людей с разным цветом глаз.

Геометрия роговицы примерно одинаковая у взрослых людей, поэтому на изображении можно вычислить ее размер в пикселях. Кроме того, нейросеть «запоминает», как выглядит текстура радужной оболочки. Так алгоритм может отделить радужную оболочку и всю лишнюю информацию от реконструкции отраженной картинки.

Технология требовательная — для качественной 3D-реконструкции нужны изображения или видео в высоком качестве.