清华大学Optica | 神经光瞳工程傅里叶叠层成像

在科研和医疗领域，我们常常希望显微镜能同时拥有“鹰眼”的锐利和“鱼眼”的广阔。然而，一个长久以来的痛点在于：当视野扩大，图像的边缘总会变得模糊不清，就像用广角镜头拍集体照，边上的小伙伴面部总是模糊不清。

为了解决这一难题，课题组在Optica上发表了关于“神经光瞳工程傅里叶叠层成像（NePE-FPM）”的研究。该技术的核心创新在于，利用隐式神经表征替代了传统的、基于像素的光瞳函数模型，并舍弃了相干传递函数的约束。这一转变使得FPM重建过程中，能够通过动态调控的“神经光瞳”来智能校正边缘视场的像差。实验结果表明，该方法实现了高达1149 lp/mm的全视场均匀分辨率，解决了边缘视场重建困难的难题，为大规模、高精度的显微观测提供了新技术路径。

传统FPM技术有一个基本假设，即无论光线从哪个角度来，成像系统的“瞳孔”在频率空间的位置是固定不变的。这在小视野中心区域没问题，一旦来到视场的边缘，光路实际上已经“歪”了，固定的在频谱中心的光瞳在重建过程中无法捕捉到正确的高频信息，导致重建结果存在严重伪影。

NePE-FPM的妙招，则允许光瞳函数可以在傅里叶面“自由行走”。课题组采用一个“哈希表+神经网络”构成的隐式神经表征模型来代替传统的固定瞳孔。如图1所示，该方法基于特征域相位恢复，利用图像的梯度特征实现FPM的重建。与传统方法不同的是，NePE-FPM的光瞳函数在重建过程中，会根据不同区域的特点，动态地、平滑地在频率空间里“探索”，主动去“捕捉”那些即将丢失的重建信息，从而实现对边缘视场的正确重建。

图1：NePE-FPM重建原理示意图

打个比方，传统FPM如同一个所有乐手都固定在座位上的交响乐团，边缘声部的细节难免模糊。而NePE-FPM则像引入了一位可以在乐团中自由走位的首席独奏家，他能够移动到任何需要强调的声部附近，确保每一处演奏的细节都清晰、精准，使整首乐曲完美无瑕。如图2所示，利用隐式神经表征构建的光瞳函数在最初初始化为位于中心的圆形低通滤波器，随着迭代重建进行，光瞳函数的位置逐渐偏离中心位置，重建的图像分辨率逐渐提升。

图2：NePE-FPM重构过程。左: 重构的样品；右: 重构的光瞳

为了加快NePE-FPM重建速度，课题组研发了一套高度优化的GPU并行计算方案，同时提升神经光瞳函数的表征效率和FPM的重建速度。在光瞳函数表征方面，利用多尺度哈希编码查询与浅层全连接网络相结合的隐式神经表征，浅层全连接网络的隐藏层共2层，每层64个神经元。如图3所示，以单个尺度下的哈希表查询为例，整个图像平面被划分为N×N的网格（N=3），根据待计算位置的坐标，确定其所在网格的四个顶点索引，并直接从哈希表中查询这些顶点对应的特征向量。随后，通过对这四个顶点的特征向量进行插值，得到该位置对应的最终特征向量。该向量随后输入到浅层全连接网络，经解码后即可得到对应的光瞳函数复振幅。

图3：多尺度哈希表对空间坐标进行编码

如图4所示，相较于传统采用正弦位置编码的隐式神经表征，包括5层隐藏层的网络，每层256个神经元，这套多尺度哈希表方法能实现更高的重建效率。

图4：隐式神经表征效率对比。左：传统基于MLP方法；右：本文采用基于多尺度哈希表方法

上述多尺度哈希查找表和课题组前期研发的基于CUDA的FPM重建过程深度融合，并嫁接到MATLAB的自动微分框架中，提升重建效率。在RTX3090显卡上重建一张2048×2048像素的图像，仅需0.3秒。相比传统的CPU计算，速度提升了15倍以上，这使得NePE-FPM从一项前沿算法，能有潜力蜕变为一个可用于临床和高通量筛查的工具。

论文中展示了与多种主流算法的直接对比：

组织切片：如图5所示，在边缘区域，特征域FPM的重建组织结构存在模糊伪影，而NePE-FPM则能清晰地分辨出每一细胞，图像对比度显著提升。

USAF分辨率板：在存在相位曲率的公开数据集上测试。如图6所示，由于相位曲率存在，基于PIE系列的重建算法无法正确重建USAF分辨率靶标的结构，这也与文献[1]报道的一致。而NePE-FPM是少数几个能成功重建出清晰振幅和相位的方法，条纹清晰，边界锐利。

图6：在公开数据集^[1]上的对比结果

定量相位成像：课题组使用“双隐式神经表征”模型，分别建模样本和光瞳函数，并利用正弦函数作为最后的激活函数。如图7所示，由于正弦函数可以促进稀疏性，“双隐式神经表征”重建的相位图片背景均匀，相位图像对比度高。此外隐式神经表征可以促进图像恢复的像素连续性，“双隐式神经表征”方法实现了无阶梯伪影的高质量相位恢复，这对于观察无色透明的生物细胞至关重要。

图7：双隐式神经表征对样品进行重建

当前方法存在未来潜在的发展方向：

• 从2D到4D的进化：未来的模型可以将光瞳从当前的2D频率空间，升级为同时包含空间和频率信息的4D模型，从而直接建模整个视场内的像差变化。

• 速度提升空间：随着GPU硬件的迭代（如从RTX 3090升级到RTX 4090），重建速度预计还能有60%的提升空间。

Whole-field, high-resolution Fourier ptychography with neural pupil engineering. Shuhe Zhang, Liangcai Cai* Optica 12(10) 1615-1624 (2025)

https://doi.org/10.1364/OPTICA.575065

相关程序与实验数据可以在GitHub获取

https://github.com/THUHoloLab/Neural-Pupil-Engineering-FPM