问鼎Nature！斯坦福大学Gordon Wetzstein教授团队提出全息增强现实眼镜 原创

近日，斯坦福大学Gordon Wetzstein教授团队提出一种将反向设计的介质表面波导与人工智能驱动的全息显示相结合的近眼显示设计，能够以紧凑的眼镜形式呈现全彩色3D增强现实。 新兴的空间计算系统能够将数字信息无缝叠加在用户所观察到的物理环境上，为娱乐、教育、通信和培训等各个领域提供变革性的体验。然而，由于增强现实（AR）显示器的光学投影部件庞大且无法准确呈现虚拟内容的三维深度线索等因素，其广泛应用受到限制。为此，研究人员提出了一种全息增强现实系统，该系统利用反向设计的全彩色介质表面光栅、紧凑的色散补偿波导几何结构和人工智能驱动的全息算法克服了这些挑战。这些元件经过共同设计，消除了空间光调制器和波导之间需要庞大准直光学元件的需求，并在紧凑的设备形态中呈现出鲜艳、全彩色的3D增强现实内容。为了在原型中提供前所未有的视觉质量，研究人员开发了一种创新的图像形成模型，将物理准确的波导模型与使用相机反馈自动校准的学习组件相结合。独特的纳米光子介质表面波导和人工智能驱动的全息算法的共同设计，代表了在紧凑的可穿戴设备中创造引人注目的3D增强现实体验的重大进展。

比较现有增强现实眼镜

传统的增强现实眼镜使用振幅空间光调制器，例如有机发光二极管或微型发光二极管，需要一个投影器为基础的光学引擎，其厚度通常至少与投影镜头的焦距相同。全息增强现实眼镜设计使用相位空间光调制器，可以非常靠近入射光栅，从而使设备形态最小化。此外，与传统的增强现实眼镜不同，该全息设计可以为虚拟内容提供完整的三维深度线索。

反向设计的介质表面波导

该系统的波导几何结构被设计成适应红、绿、蓝波前的不同传播角度。具体而言，几何结构被约束为保持全彩色3D全息图所需的独立自由度，通过将所有三种颜色的传播波前耦合出来的方式实现。

该系统的介质表面光栅具有优化的纳米尺度特征（如左图所示），可以高效地将光散射进入和出离我们的波导。介质表面的周期（Λ）和高度（H）分别为384纳米和220纳米。右图所示的归一化磁场图示出了红色（638 nm）、绿色（521 nm）和蓝色（445 nm）波长在出射耦合器处经由介质表面光栅的衍射情况。黑色箭头表示入射和衍射光的波矢。比例尺：400 nm。

扫描电子显微镜图像展示了介质表面设计的成功制造。比例尺：2 μm（左图），200 nm（右图）

学习的物理波导模型

研究人员构建了一个学习的物理波导模型，通过将波导的物理特性（绿色高亮显示）与从相机反馈中学习得到的人工智能组件（橙色高亮显示）相结合，准确预测系统的输出。研究人员通过分析推导得到的物理项包括照明聚焦光照射空间光调制器和频率相关系数，用于模拟波导内的传播。该系统学习得到的组件包括参数化的空间映射，用于表征制造的介质表面光栅的衍射效率变化，以及用于建模内容相关的非理想特性的卷积神经网络，例如空间上变化的空间光调制器的非线性响应。该模型是完全可微的，使得可以在运行时使用简单的梯度下降计算全息计算机生成的相位图案，以实现任意目标场景的渲染。

在这里，研究人员比较了使用传统的自由空间传播模型和学习得到的物理波导模型生成的相同场景的视频全息图像。这个比较展示了解析波导模型和人工智能算法混合的重要性，以实现高质量的全彩色全息图像。

这个例子展示了增强现实眼镜设计如何独特地呈现全彩色的3D视频全息图像。在空间光调制器上显示的相位调制图案产生一个波前，通过波导传播，重构出眼镜中一个完整的3D场景视图。

在这个3D增强现实场景中，虚拟机器人、魔方和自行车与真实的玩具鸭子和动作人物一起呈现。移动摄像机以聚焦不同的物体，以突出展示如何通过波导在不同深度呈现3D增强现实内容。

值得注意的是，用于生成这些全息图像的我们全息增强现实眼镜的组件可以适应可穿戴形态，正如下面的3D打印原型所示：

论文：https://www.nature.com/articles/s41586-024-07386-0

​源代码：https://github.com/computational-imaging/holographic-AR-glasses

译自（有删改）：https://www.computationalimaging.org/publications/holographicar/

谁是Gordon Wetzstein？

Gordon Wetzstein是斯坦福大学电气工程系副教授，兼任计算机科学系副教授。他是斯坦福计算成像实验室的负责人，也是斯坦福图像系统工程中心的教职人员联合主任。Wetzstein教授的研究涉及计算机图形学、视觉、人工智能、计算光学和应用视觉科学的交叉领域，其研究在下一代成像、可穿戴计算和神经渲染系统等方面具有广泛的应用。Wetzstein教授是Optica的会士，并获得了众多奖项，包括IEEE VGTC虚拟现实技术成就奖、NSF CAREER奖、Alfred P. Sloan奖学金、ACM SIGGRAPH显著新研究人员奖、总统早期科学家和工程师奖（PECASE）、SPIE早期职业成就奖、电子成像年度科学家奖、Alain Fournier博士学位论文奖，以及许多最佳论文和演示奖项。

本文转载自公众号AIGC最前线   

原文链接：​​​https://mp.weixin.qq.com/s/vsJwUBlDE33IDe4AHLBq7g​​​