Menu

Menu

  1. 首页
  2. 行业新闻
  3. 前沿进展 | 汪凯巍团队在《CVPR》报道极端场景成像系统高速对焦技术

前沿进展 | 汪凯巍团队在《CVPR》报道极端场景成像系统高速对焦技术

近日,浙江大学光电科学与工程学院汪凯巍、白剑教授团队在极端环境高速对焦领域取得了新进展。团队将事件相机提供的高时间分辨率亮度变化信息与灰度图像的空间二阶导相结合,提出并实现了一种事件辅助的一步到位自动对焦方法Event Laplacian Product (ELP),能够实时确定正确的对焦运动方向以及是否达到准焦位置,避免了传统对焦方法中的“拉风箱”问题,将对焦时间缩短了三分之二。研究团队在实验中验证了ELP方法在运动以及低于0.5lux的黑暗场景下的鲁棒性,确保了在夜间、手持拍摄等场景下的稳定表现。该研究成果理论坚实、方法简单有效,为高速对焦任务提供了全新可靠的解决方案。

 

相关研究成果以“One-Step Event-Driven High-Speed Autofocus”为题,已被人工智能及计算机视觉领域最具影响力的国际顶级会议(CCF-A类)Conference on Computer Vision and Pattern Recognition (CVPR2025)接收。

研究背景

 

传统基于对比度的自动对焦方法通常依赖于在准焦位置附近反复采样,受制于图像采集帧率,在黑暗环境下会产生明显的“对焦拉风箱”效应,极大地延长对焦时间。现有的相位对焦法(PDAF)虽然可以有效地提升对焦速度,但在较暗的光照环境下表现不佳。

 

近年来,事件相机(event camera)凭借其极高的时间分辨率(可达到微秒级)、低延迟特性及良好的低光适应性,具有在高速对焦领域应用的潜力。事件相机通过检测每个像素的亮度变化,提供了比传统帧式相机更为高效的动态场景捕捉能力。然而,现有的事件驱动对焦方法仍然需要捕捉完整的对焦堆栈,才能从中搜索出准焦位置,这意味着对焦过程仍然需要经历一次“拉风箱”,导致对焦时间过长。

因此,如何实现一种无需反复采样搜索、无需采集完整对焦堆栈并能够在低光、复杂运动场景下精确快速对焦的方法成为研究的重点。基于这一目标,团队将给予明确场景纹理、但帧率低的灰度图像,与高时间分辨、但仅能提供亮度变化信息的事件,结合起来,同时解决了仅基于图像和仅基于事件的自动对焦法中存在的局限,真正实现了一步到位的自动对焦。

研究亮点

 

前沿进展 | 汪凯巍团队在《CVPR》报道极端场景成像系统高速对焦技术
图 1 在不同离焦位置的ELP函数值、事件帧与图像帧以及图像的拉普拉斯

 

团队首先推导了对焦过程中,像面上的离焦图像的时间一阶导与空间二阶导之间的潜在关系,其中时间一阶导满足:

 

前沿进展 | 汪凯巍团队在《CVPR》报道极端场景成像系统高速对焦技术
其中F(x,t)是潜在的准焦图像,而h(x,t)是离焦高斯模糊核,其核大小满足:

 

前沿进展 | 汪凯巍团队在《CVPR》报道极端场景成像系统高速对焦技术
而空间二阶导满足:

 

前沿进展 | 汪凯巍团队在《CVPR》报道极端场景成像系统高速对焦技术
以此可以构造一个指示函数:

 

前沿进展 | 汪凯巍团队在《CVPR》报道极端场景成像系统高速对焦技术
可见,s(t)的函数值符号仅与高斯模糊核的变化率符号α有关。当图像逐渐清晰,模糊核变小,即α<0时,s(t)为正,反之为负。

 

在事件相机自动对焦场景下,研究团队构造了ELP函数:

并通过检测ELP(t)的符号是否为正确定对焦马达是否向着准焦位置(即使图像更加清晰)的方向运动,并通过检测符号从正到负的突变确定达到了准焦位置,并使对焦马达停止运动。

 

图1使用一个简单的例子直观地说明了ELP方法的一步对焦原理:在对焦运动过程中,当图像逐渐清晰时,蓝色的负事件会产生在特征边缘的暗部一侧(即图像的拉普拉斯为正的区域),从而产生正的ELP值;而当对焦马达越过准焦位置,图像逐渐变得模糊时,红色的正事件又会产生在相同位置,从而产生负的ELP值。另外,越靠近准焦位置,事件越集中地产生在图像拉普拉斯幅度较大的位置,从而使得ELP绝对值在准焦位置更大。以上的原因导致了ELP函数会在准焦位置附近发生函数值从正到负的显著突变,这种突变可以被轻松检测到,且具有唯一性。

ELP方法的好处在于:1.在对焦马达实时运行的过程中,即能从ELP值的符号判断是否选择了正确的对焦方向,避免了南辕北辙;2.一旦检测到ELP值的符号突变,即说明达到了准焦位置,无需在此附近反复寻焦以达到最佳的清晰度。以上的两点共同促成了ELP的一步到位对焦法。

前沿进展 | 汪凯巍团队在《CVPR》报道极端场景成像系统高速对焦技术
图 2 纯事件的一步到位对焦法原始数据及流程。

 

在ELP方法中灰度图像是必需提供的信息,但其并不需要过高的帧率,团队在实验中验证,即使只有一帧离焦的灰度图像作为参考,也足以ELP方法精确快速地确定准焦位置。

 

本工作不仅通过事件辅助,可以为CMOS图像传感器(CIS)的高速对焦服务,还可以通过结合本团队的前期工作“事件时域映射成像(EvTemMap)”技术,为纯事件传感器(DVS)的高速对焦服务。图2展示了纯事件的一步到位对焦法原始数据及流程:1.在对焦前的20ms时间内,事件相机利用EvTemMap实时得到一帧高动态范围(HDR)的灰度图像;2.当用户选择待对焦区域后,对焦马达启动,利用步骤1中得到的灰度图像以及对焦事件计算实时的ELP值;3.当检测到ELP值突变时,停止对焦马达,完成一步到位的对焦。

前沿进展 | 汪凯巍团队在《CVPR》报道极端场景成像系统高速对焦技术
图 3 在DAVIS346及Prophesee EVK4两款真实事件相机上的对焦性能表现

 

本团队使用主流的两款事件相机DAVIS346(带灰度图像输出)及Prophesee EVK4(仅事件输出)在不同光照条件(0.5lux~2000lux)以及不同运动情况下进行了验证。在真实数据集中,ELP方法相较于事件对焦领域目前最佳方法PBF,缩短了近2/3的对焦时间,精度分别提升了24倍(DAVIS346数据集)和22倍(EVK4数据集)。此外,在仿真数据集中,团队还定量验证了,即使在幅度为20pixel/s的剧烈抖动情况下,ELP方法仍然能保证低于一个焦深的对焦误差,并显著优于对比方法PBF和EGS。

 

总结与展望

 

综上所述,团队成功开发了一种在低光、运动场景下依然适用的事件辅助一步到位高速对焦方法。基于这个方法,并结合团队的前期工作,团队还设计了一种纯靠事件运行的一步到位高速对焦系统,适合在纯事件相机上运行。本方法有望在手机摄影、高端相机摄影面向复杂场景的高速对焦、跟焦、追焦任务中发挥重要作用。此外,该方法还可以推广至自动对焦的相关其他视觉应用中,如基于对焦的深度估计等任务。

 

论文/作者信息

 

该论文的完成单位为浙江大学光电科学与工程学院。论文通讯作者为汪凯巍教授,第一作者为博士生鲍宇涵博士生高少华与硕士生李文勇也为论文工作做出了重要贡献。该研究得到了国家自然科学基金、国家重点研发计划等项目的资助。

 

论文链接

 

https://arxiv.org/pdf/2503.01214

 

免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间联系我们,我们将协调进行处理,最终解释权归旭为光电所有。