Menu 

Menu
  1. 首页
  2. 行业新闻
  3. 快速空间变化解卷积

快速空间变化解卷积

Image

技术背景：
许多现代的成像系统集成了解卷积(deconvolution)算法，用于实现图像质量提升以及增强成像系统的能力。光学器件的缺陷可能会在无意中让图像模糊(如像差)，解卷积可以在计算上消除其中的一些模糊。在显微镜中，解卷积可以减少离焦荧光，从而产生更锐利的三维图像。另外，还可以将分布式点扩散函数(PSF)有意设计到成像系统中，从而获得如单帧高光谱成像、单帧三维成像这样的能力。在这种情况里，采用多路复用的光学器件通过将物空间中的每一点映射到成像传感器上的分布式模式以将二维和三维信息编码，然后利用解卷积算法从模糊或编码的测量来重建编码的清晰图像或体积。
现有的解卷积算法应用场景有限。现今已有多种解卷积算法。经典的有Wiener滤波(属于closed-form方法)、Richardson-Lucy和快速迭代收敛阈值算法(属于迭代优化方法)等。但是现有的解卷积方法往往需要精心挑选的先验信息(如total variation和native sparsity)来提高图像质量。除此之外，这些方法通常假设系统是平移不变的(即图像的所有部分具有相同的模糊核)。平移不变系统的前向模型可以用物体和PSF的卷积来有效描述。然而实际上，大多数成像系统在整个视场内的模糊是变化的，即有着空间变化的PSF(主要由随视场变化的像差引起)。这激发了空间变化解卷积方法的应用。但是目前的大多数空间变化解卷积算法计算量大、计算慢，不适于实时图像重建。而且，它们重建的图像质量也不佳，这种现像在具有大空间范围PSF的高度多路复用成像系统、选择不当的先验等情况下更明显。虽然已有基于深度学习的解卷积方法被证明可以提高图像质量和重建速度，但是迄今为止，这些深度学习方法依赖于平移不变PSF近似，且不能很好的推广到具有视场变化像差的光学系统。
快速迭代收敛阈值算法：fast iterative shrinkage-thresholding algorithm(FISTA)
技术要点：
基于此，美国加州大学伯克利分校的Kyrollos Yanny(一作)和Laura Waller等人提出了一种基于深度学习的快速、空间变化解卷积方法，命名为MultiWienerNet。该方法与具有空间变化模型的迭代方法相比，速度提高了625-1600倍，并且优于现有的假设平移不变的基于深度学习的方法。
1)MultiWienerNet由多个可学习的Wiener解卷积层和一个U-Net组成；
2)Wiener解卷积层执行多个傅里叶空间解卷积，每一个解卷积具有来自特定视场点的不同PSF，从而产生多个中间图像，这些中间图像上锐利纹理区域不同；
3)将中间图像输入U-Net，网络将这些图像融合提炼，生成最终的锐利解卷积图像；
4)可学习的Wiener解卷积滤波器用在视场中几个位置采集到的PSF初始化，然后在训练过程中学习到最佳的滤波器和噪声正则化参数。
Image
图1、MultiWienerNet架构。pipeline包含两个部分：1）可学习的multi-Wiener解卷积层用系统已知的空间变化PSF初始化，然后输出一组解卷积的中间图像 2）一个U-Net精炼步骤，将中间图像组合并精炼成单个输出图像。在训练过程中，使用仿真数据联合优化这两个部分。训练完成后，将实验数据送入优化好的MultiWienerNet，实现快速空间变化解卷积。
实验结果：
Image
图2、仿真和实验结果
附录：

Image

参考文献：Kyrollos Yanny, Kristina Monakhova, Richard W. Shuai, and Laura Waller, "Deep learning for fast spatially varying deconvolution," Optica 9, 96-99 (2022)
DOI：https://doi.org/10.1364/OPTICA.442438

本文注明来源为其他媒体或网站的文/图等稿件均为转载，如涉及版权等问题，请作者在20个工作日之内联系我们，我们将协调给予处理。最终解释权归旭为光电所有。

Science长文综述：什么是科学学Science长文综述：什么是科学学 Optica：基于超构表面的偏振成像与边缘检测Optica：基于超构表面的偏振成像与边缘检测 Nat. Photonics|荧光显微的原位超分辨引擎Light杰青作者优秀论文展（8） Light杰青作者优秀论文展（7）Light杰青作者优秀论文展（7） Light杰青作者优秀论文展（3）Light杰青作者优秀论文展（3） Light杰青作者优秀论文展（5）Light杰青作者优秀论文展（5） Light杰青作者优秀论文展（4）Light杰青作者优秀论文展（4）