斯坦福大学Nature：超表面 + AI = “真”三维AR眼镜

增强现实（augmented reality，AR），早已经不再是小说或者影视作品中的科幻技术，从十多年前的谷歌眼镜，到如今的苹果Vision Pro，众多科技公司已经在推动可穿戴AR设备走入千家万户。

谷歌眼镜（上）与苹果Vision Pro。图片来源于网络

科技巨头们的愿望很丰满，但现实却很骨感，发布时轰动一时的谷歌眼镜最终未能在消费市场获得成功和广泛应用，三年之后项目就戛然而止。类似的，据报道称由于需求降幅“严重超出预期”，苹果公司已经下调了Vision Pro 2024年的出货量。这些产品市场表现低于预期的原因有很多，比如，价格昂贵、应用开发不匹配，但对使用者体验影响最大的要数设备笨重配戴不舒适，以及视觉体验差，容易感到疲劳甚至恶心。

Vision Pro侧面图。图片来源于网络

Vision Pro不算电池重600-650 g，整个产品就像是个大号的滑雪镜（上图），尽管已经比很多头盔式的AR头显设备轻巧了不少，但佩戴时间长了肯定也不会太舒服。为啥这些AR设备不能设计的更轻便一些呢？这要从原理说起。简单点讲，为了实现近眼显示，波导图像组合器（waveguide image combiner）是AR眼镜最有前途的解决方案之一。当前的波导设计要求投影光学元件的厚度与投影透镜的焦距成正比（下图a），这导致了设备体积不可能太小，而且光学系统不可能太简单；此外，该系统仅能在与佩戴者眼镜固定距离处显示二维图像，导致佩戴者视觉真实感降低和身体不适可能性增加（比如眼睛疲劳和恶心）。与之相比，全息技术被认为是终极的3D显示方案，可利用超薄光学薄膜产生逼真的3D效果，研究者也开始尝试将数字全息技术应用于AR显示。这些方法很有前途，但目前还无法实现紧凑的形状和高质量的3D图像，以适应未来空间计算（spatial computing）应用的需求。

AR显示设备设计原理。图片来源：Nature

近日，美国斯坦福大学Gordon Wetzstein教授课题组在Nature 报道了一种全息AR显示系统（上图b），使用协同设计的全彩超表面光栅、色散补偿波导结构和人工智能（AI）驱动的全息算法的独特组合，消除对空间光调制器（SLM）和波导之间大体积准直光学器件的需求，并以紧凑的设备形状呈现出生动逼真的全彩3D AR效果。为了提高视觉质量，他们还开发了一种新的图像形成模型，该模型结合了物理精确的波导模型与使用相机反馈自动校准的学习组件，提升了AI驱动全息算法的性能。基于3D打印，他们制备了一个与常规眼镜类似的全息AR眼镜原型（下图），一系列实验表明该全息AR眼镜可以提供视觉上令人满意的3D观看体验，轻便，适合长时间佩戴。

3D打印的全息AR眼镜原型。图片来源：Nature

具体来说，这种AR显示系统将无透镜全息光引擎与优化的超表面波导结合在一起，用于紧凑的全彩光学透视（optical-see-through, OST）AR显示应用。与其他波导相比，该光学系统使用逆向设计的超表面光栅耦合器，在全彩3D全息图像的中继方面具有独特的优势，具有高均匀性和高透光效率。在AR、虚拟现实（virtual reality, VR）和可穿戴设备等应用中，超表面已被证明比传统的折射和衍射光学元件具有更优秀的衍射效率、光谱选择性、Q因子和透射率。在本文中，作者不仅优化了器件并展示了超表面的新应用，而且还协同设计了整个光学系统，包括高折射率玻璃波导和超表面光栅耦合器，以实现与全息AR显示系统的兼容。

逆向设计超表面的设计和评价。图片来源：Nature

近来的工作中，波导全息技术多被用于非透视VR，但由于其图像质量差，应用范围有限。为了应对这一挑战，作者开发了一个数学模型，使用物理精确建模技术和AI相结合来描述波导中相干波的传播。该模型的可学习组件使用相机反馈自动校准，显著推动了最近AI驱动的全息算法的进步。利用该系统，作者使用单个OST AR波导获得了高质量的全彩多平面3D全息图像。与相关的光学设计相比，该系统以紧凑形状实现了超高的全彩图像质量，既能在视觉上满足用户，又不会像以前的方法那样导致疲劳，使真正的3D全息AR眼镜成为可能。

激光同步的3D AR视频结果。图片来源：Nature

虽然现在只是一个原型，但这种技术有望改变从游戏和娱乐到培训和教育等多个领域。论文第一作者、博士生Manu Gopakumar说：“人们可以想象，外科医生戴着这种眼镜来计划一个精细或复杂的手术，或者飞机机械师用它来研究最新的喷气发动机。” ^[1]

“我们的头显在外看来就像一副普通的眼镜，但佩戴者通过镜片看到的是一个丰富的世界，包含鲜活逼真的全彩3D计算图像。”Wetzstein教授表示，“全息显示一直被认为是终极的3D技术，但它从来没有取得过巨大的商业突破……也许现在就是那个等待多年的时刻……” ^[1]

原文（扫描或长按二维码，识别后直达原文页面，或点此查看原文）：

Full-colour 3D holographic augmented-reality displays with metasurface waveguides

Manu Gopakumar, Gun-Yeal Lee, Suyeon Choi, Brian Chao, Yifan Peng, Jonghyun Kim & Gordon Wetzstein 

Nature, 2024, DOI: 10.1038/s41586-024-07386-0

参考资料：

1. AI and holography bring 3D augmented reality to regular glasses

https://news.stanford.edu/2024/05/08/3d-augmented-reality-regular-glasses/ 

（本文由焰君供稿）