一种利用瞳孔反射图像进行3D构建的技术「Seeing the World through Your Eyes」已经发布。

Seeing the World through Your Eyes

从少数人的肖像照片中，利用眼睛的反射来计算所观察对象的3D重建！

人眼的反射特性，作为了解我们周围世界如何呈现的信息来源，一直没有得到充分重视。通过拍摄正在移动的人的眼睛，可以利用眼睛反射收集到相机直视范围之外场景的多个视图。本论文使用包含眼睛反射的肖像图像，重建相机视线前方的3D场景。
这项任务之所以困难，原因在于1）准确估计眼睛姿态的困难，2）眼睛虹膜与场景反射纹理的纠缠。本方法联合优化角膜姿态、表示场景的辐射场以及观察者眼睛虹膜的纹理。此外，为了提高重建质量，提出了针对虹膜纹理模式的简单正则化先验处理。通过使用拍摄了各种瞳色人群的合成图像和真实世界图像进行多种实验，证明了利用眼睛反射重建3D场景的方法的可行性。

健康成年人的角膜形状几乎相同。因此，只要数出图像中角膜的像素尺寸，就能准确计算出此人的眼睛位置。利用这一认识，从相机发射光线并使其反射到近似的眼球形状上，从而训练利用眼睛反射的辐射场。为了避免虹膜出现在重建中，同时学习用于虹膜纹理的2D纹理图，并执行纹理分解。

通过在合成场景中放置真实的眼球模型，可以仅利用眼球反射进行完整的场景重建。

虽然如果瞳孔中的信息不是高画质就很难实现，但从稍微高分辨率的照片中，似乎就能轻易锁定情境。说到底，这项技术似乎很难想到什么正面的应用场景……真是进入了一个惊人的时代。
目前项目页面已经公开，但代码似乎尚未公开。

链接

Seeing the World through Your Eyes

Paper page – Seeing the World through Your Eyes