Menu 

Menu
  1. 首页
  2. 行业新闻
  3. 前沿 | 深度学习赋能活细胞超分辨成像

前沿 | 深度学习赋能活细胞超分辨成像

前沿 | 深度学习赋能活细胞超分辨成像
撰稿人 | 钱佳铭，左超

 

论文题目 | Ensemble deep learning-enabled single-shot composite structured illumination microscopy (eDL-cSIM)

作者 | 钱佳铭，王春耀，吴洪军*，陈钱*，左超*

完成单位 | 南京理工大学智能计算成像实验室，南京理工大学智能计算成像研究院，江苏省视觉传感与智能感知重点实验室

研究背景

 

      细胞是生命活动的基本单位，其内部亚细胞结构与动态交互对维持生物体的正常功能至关重要。近年来，以结构光照明显微术（SIM）1、随机光学重建显微术（STORM）2和受激发射损耗显微术（STED）3为代表的荧光超分辨成像技术突破了阿贝衍射极限[图1]，使活体亚细胞结构的高分辨率观测成为可能。其中，SIM凭借快速全场成像、低光损伤以及对常规荧光探针的良好兼容性，成为活细胞长时程超分辨成像的重要工具4,5。

 

图1 荧光超分辨成像技术的原理示意图。(a) 受激发射损耗显微术的原理示意图；(b) 单分子定位显微术的原理示意图；(c) 结构光照明显微术的原理示意图。

 

      然而，传统SIM通常需采集多个方向和相位的调制图像（通常≥9帧），该多帧成像模式对样品运动较为敏感，限制了其在高速动态成像中的适用性6。此外，SIM重建质量依赖于对照明参数的精确估计，在低信噪比下易产生重建伪影，导致成像保真度降低7。近年来，深度学习技术在SIM中的应用为提升成像效率与质量提供了新思路8,9。然而，现有方法在成像稳定性、空间分辨率及系统复杂度等方面仍存在挑战，亟需发展更高效、稳健的低帧数SIM成像策略，以满足高时间分辨率、低光损伤条件下快速、长时程活细胞超分辨成像的迫切需求。

 

导读

 

      近日，南京理工大学陈钱、左超教授课题组提出了一种基于集成学习的单帧复合结构光照明超分辨显微成像技术（eDL-cSIM）。该方法通过六光束干涉复合照明策略将超分辨信息调制集成至单帧图像中，从而显著降低了成像所需帧数与光照剂量；在此基础上引入集成学习技术实现了横向分辨率达100nm的单帧高质量超分辨图像重建。eDL-cSIM在成像速度、重建质量及环境鲁棒性等方面均优于传统物理驱动的重建方法，且在多种样本类型与结构特征下展现出良好的泛化性。该技术已成功应用于活体亚细胞结构的动态观测，为实现快速、长时程超分辨显微成像提供了有力支撑。相关研究成果以“Ensemble deep learning-enabled single-shot composite structured illumination microscopy (eDL-cSIM)”为题发表于 PhotoniX 期刊，论文第一作者为南京理工大学博士后钱佳铭，硕士生王春耀为共同第一作者，通讯作者为南京理工大学左超教授、陈钱教授及吴洪军讲师。

 

主要研究内容

 

      传统SIM技术面临两大核心挑战：一方面需要采集多帧不同调制方向的原始图像，显著制约了时间分辨率；另一方面在低信噪比环境下易产生重建伪影，严重影响了成像质量。为解决上述问题，研究人员从编码方案和重建算法两个层面进行了创新突破：在照明编码方面，设计了一种基于六光束干涉的复合结构光照明策略，利用多角度空间频率调制模式的并行编码实现了超分辨信息在单帧图像中的高效集成调制，将光子效率提升至传统编码方案的9倍。在图像重建方面，构建了融合Transformer模块的集成神经网络架构，通过多模型协同学习策略，从单帧复合图像中重建出横向分辨率达100nm的高质量超分辨图像。实验结果表明，eDL-cSIM在多种生物样本（如BPAE细胞、蛔虫切片、植物茎横截面等）和亚细胞结构（如线粒体、微管、肌动蛋白等）成像中均展现出卓越的重建性能和优异的泛化能力。在活体COS-7细胞线粒体的成像中，该方法成功捕捉到线粒体融合与分裂的动态生物学过程，为深入研究线粒体动态平衡及其在各种疾病发病机制中的作用提供了强有力的新型观测工具，展现出在活细胞超分辨成像领域的广阔应用前景。

 

技术突破与创新

 

      在典型的SIM光学系统中，照明光场由准直激光经空间光调制器产生的±1级衍射光干涉而产生。在该模式下，单次照明仅能调制与条纹方向正交的频谱分量。为实现各向同性的横向超分辨，需采集三个方向（间隔120°）的照明场[图2(a)和2(b)]，导致对样品运动较为敏感并制约了成像速度。为突破这一限制，本研究提出了一种基于六光束干涉的复合结构光照明策略。该方案的核心在于将时序域的多方向照明压缩至空间域，通过同时产生六个不同方向的衍射光束，取代传统的两光束干涉模式[图2(c)和2(d)]。具体实现上，研究人员采用三个方向标准光栅图案的叠加照明，在保持原有光学装置不变的前提下，通过单次曝光实现了对样品全场超分辨信息的有效调制[图2(e)-2(g)]。针对复合照明调制下超分辨重建的病态逆问题，研究人员引入集成学习策略，通过多模态特征融合构建复合图像与超分辨图像间的伪映射关系。同时，采用部分卷积和跨层连接等策略提升网络效率，在保持高质量重建性能的基础上，推理速度提升40%以上。

 

前沿 | 深度学习赋能活细胞超分辨成像
图2 六光束干涉复合结构光照明的原理示意图。(a) 用于滤出±1级衍射光的的掩模板；(b) 基于双光束干涉的经典照明方案；(c) 基于六光束干涉的复合照明方案；(d) 在样品表面发生的六光束干涉；(e) 叠加三个方向标准光栅图案的复合照明图案；(f) 原始照明图像的频谱信息；(g) 采用复合结构光照明方案的SIM系统。

 

      为验证eDL-cSIM的重建性能，研究人员开展了集成学习策略的消融实验。结果表明，该策略通过融合多源特征显著提升了图像保真度[图3(a)-3(g)]。尤其在低信噪比区域，eDL-cSIM有效抑制了传统方法中因失焦背景产生的伪影，实现了更高质量的超分辨重建[图3(e)与3(f)]。在推理速度方面，经轻量化后的集成网络将单次预测时间从4.95秒降至2.54秒，降幅达48.89%，而训练时间仅比单网络增加23.68%[图3(h)和3(i)]。

 

前沿 | 深度学习赋能活细胞超分辨成像
图3 基础网络与集成网络对BPAE细胞线粒体图像的预测结果。(a) 复合照明图像与宽场图像间的对比；(b)-(d) 基础网络1-3的预测结果；(e) 集成网络的预测结果；(f) 使用PCA-SIM7从9张常规照明图像中获取的真值图像；(g) 不同网络的预测结果沿e中浅蓝色线的强度分布曲线；(h) 基础网络与集成网络在轻量化前后进行一个epoch的训练时间及模型预测时间；(i) 不同基础网络和集成网络的损失函数收敛曲线；(j) 对集成学习策略的消融实验结果。

 

      研究人员进一步对比了eDL-cSIM与两种先进的深度学习方法（APCAN10和FESTN8）在SIM重建中的性能。如图4所示，面对复合图像中严重的频谱混叠问题，APCAN和FESTN的重建质量受到影响，而eDL-cSIM能够预测出更高质量的超分辨图像。定量分析表明，eDL-cSIM在图像保真度和空间分辨率方面均优于对比方法[图4(d)和4(e)]。在COS-7细胞微管、蛔虫样本等未见数据的测试中，eDL-cSIM仍然获得了最佳的重建质量和保真度，验证了其良好的泛化能力和环境鲁棒性[图5]。

 

前沿 | 深度学习赋能活细胞超分辨成像
图4 使用不同的深度学习方法对BPAE细胞进行的对比实验。(a) 复合照明图像、宽场图像及eDL-cSIM获得的超分辨图像间的对比；(b), (c) 通过不同方法（FESTN8、APCAN10、eDL-cSIM和PCA-SIM7）获得的(a)中白框及黄框区域的宽场图像、复合照明图像和超分辨图像；(d) 不同方法获得的超分辨图像与真值间的SSIM分布；(e) 不同方法获得的超分辨结果分别沿(b)、(c)中浅蓝色线的强度分布曲线。

 

前沿 | 深度学习赋能活细胞超分辨成像
图5 使用不同的深度学习方法对COS-7细胞微管及蛔虫样本进行的对比实验。(a) COS-7细胞微管的宽场图像与eDL-cSIM获得的超分辨图像间的对比；(b), (c) 通过不同方法（FESTN8、APCAN10、eDL-cSIM和PCA-SIM7）获得的(a)中黄框及白框区域的宽场图像、复合照明图像和超分辨图像；(d) 不同方法获得的超分辨结果沿(b)和(c)中黄线和蓝线的强度分布曲线；(e) 不同方法获得的超分辨结果与真值间的SSIM和PSNR分布；(f) 蛔虫样本的宽场图像和eDL-cSIM获得的超分辨图像间的对比；(g), (h) 不同方法获得的(f)中黄框和白框区域的宽场图像、复合照明图像和超分辨图像；(i) 不同方法获得的超分辨结果沿(g)和(h)中黄线和蓝线的强度分布曲线；(j) 不同方法获得的超分辨结果与真值间的SSIM和PSNR分布。

 

      单帧成像特性与高质量重建性能使eDL-cSIM特别适用于活细胞的超分辨动态观测。为了验证这一点，研究人员将其应用于对活体COS-7细胞线粒体的成像，并捕捉到线粒体融合与分裂的精细动态过程[视频1]。这些动态事件为研究线粒体动态行为及其在神经退行性疾病、糖尿病和肿瘤等人类疾病中的作用提供了重要线索。

 

 
 

 

 
 
 
视频1 eDL-cSIM对活体COS-7细胞线粒体的动态超分辨重建结果。

 

观点评述

 

      本研究提出了一种基于集成学习的单帧复合结构光照明显微成像方法（eDL-cSIM），通过六光束干涉复合照明实现了各向同性频谱调制，并借助融合多源特征的集成神经网络，有效解决了单帧图像重建所面临的病态逆问题。该方法将成像速度提升至传统SIM的9倍，在不同样本类型中均展现出优异的重建质量和泛化性能。未来，eDL-cSIM可通过迁移学习与数据增强，拓展至更多样本类型与显微成像平台。进一步结合物理模型约束与网络轻量化策略，有望构建实时、稳定且泛化性强的单帧SIM超分辨成像系统，为活细胞动态研究与前沿生物医学应用提供更具潜力的成像方案。

 

附注

 

      本文提供了eDL-cSIM网络代码、相关数据及用户指南，请阅读论文原文及相关补充材料以获取有关本文更多的详细内容。

 

1. Gustafsson, M. G. L. Surpassing the lateral resolution limit by a factor of TWo using structured illumination microscopy. J. Microsc. 198, 82–87 (2000).

 

2. Rust, M. J., Bates, M. & Zhuang, X. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM). Nat. Methods 3, 793–796 (2006).

3. Klar, T. A., Jakobs, S., Dyba, M., Egner, A. & Hell, S. W. Fluorescence microscopy with diffraction resolution barrier broken by stimulated emission. Proc.Natl. Acad. Sci. 97, 8206–8210 (2000).

4. Li, D. et al. Extended-resolution structured illumination imaging of endocytic and cytoskeletal dynamics. Science 349, aab3500–aab3500 (2015).

5. Chen, X. et al. Superresolution structured illumination microscopy reconstruction algorithms: a review. LightSci. Appl. 12, 172 (2023).

6. Müller, M., Mönkemöller, V., Hennig, S., Hübner, W. & Huser, T. Open-source image reconstruction of super-resolution structured illumination microscopy data in ImageJ. Nat. Commun. 7, 10980 (2016).

7. Qian, J. et al. Structured illumination microscopy based on principal component analysis. eLight 3, 4 (2023).

8. Wu, H. et al. Single-frame structured illumination microscopy for fast live-cell imaging. APL Photonics 9, 036102 (2024).

9. Qiao, C. et al. Evaluation and development of deep neural networks for image super-resolution in optical microscopy. Nat. Methods 18, 194–202 (2021).

10. Fan, J. et al. High-Fidelity Reconstruction of Structured Illumination Microscopy by an Amplitude-Phase Channel Attention Network With Multitemporal Information. IEEE Trans. Instrum. Meas. 72, 1–13 (2023).

免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间联系我们，我们将协调进行处理，最终解释权归旭为光电所有。

基于光响应手性超结构的动态多维全息复用基于光响应手性超结构的动态多维全息复用 量子计算机有什么用？《时代》封面文章：可以解决无数问题量子计算机有什么用？《时代》封面文章：可以解决无数问题 中红外波段超构透镜研究进展中红外波段超构透镜研究进展 利用飞秒激光的GHz脉冲串模式在硅衬底上构建二维表面结构利用飞秒激光的GHz脉冲串模式在硅衬底上构建二维表面结构 新设备丨大视场微型化双光子荧光显微成像系统通过技术验收新设备丨大视场微型化双光子荧光显微成像系统通过技术验收 2023 年度狄拉克奖揭晓2023 年度狄拉克奖揭晓 杨原牧课题组报道基于超构透镜的快照式确定性复振幅成像技术