Menu 

Menu
  1. 首页
  2. 行业新闻
  3. OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
1

 

研究背景

 

Science

 

Technology

    三维（3D）成像已广泛应用于生物医学、测量、考古学和高动态范围（HDR）成像等领域。研究人员提出了几种不同的3D成像方法，飞行时间、立体视觉和光度立体。其中，基于条纹投影的立体视觉匹配方案因其高精度、高速和成本效益而广泛应用于工业领域的3D测量。

 

在3D成像方面，傅里叶单像素成像技术已实现用于3D重建，但使用光栅进行叠加调制的解决方案不易实现，并限制了投影和图案的数量。单像素3D成像的标准方法主要包括飞行时间（TOF）和立体视觉。前者需要使用调制脉冲激光光路，并使用CS重建多个深度图以实现3D成像，能够进行绝对和长距离测量，但需要大量的计算。相比之下，后者通过校准相机之间的几何位置来进行3D重建，这种方法成本低，更适合工业应用。

在此，相移和傅里叶变换轮廓术（FTP）是立体视觉中广泛使用的3D成像方法。解决方案可以与单像素相机结合完成系统校准，那么就可以仅使用单点探测器实现3D成像。

2

 

文章亮点

 

Science

 

Technology

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
    本文完成了伪单像素相机校准（PSPC）方法，而不需要在单像素3D成像系统中对机械结构进行高精度定位(对比Opt Lasers Eng.Volume 140, May 2021, 106532)。通过多步相移求解物体的3D点。借助外部相机和DMD（伪相机）之间的映射过程，校准单点探测器和数字投影仪之间的内部和外部矩阵。该方法使用外部摄像头实现高精度校准。在完成校准并移除相机后，该系统是一个简单的单像素采样重建结构。该方法简单、高效、实用。

 

3

 

主要研究内容

 

Science

 

Technology

    在方案的选择当中，SPI分为前调制(DMD放在照明光源与物体之间)与后调制(DMD放在照明光源与物体之后)，基于所提出的PCSC方法，为了防止投影的变形条纹与使用预光学调制器产生的正弦条纹重叠，影响相位展开的精度，在此我们使用后调制方案。同时也有相关论文证明在光干扰环境中，后调制的成像质量总是优于前调制(Opt.Laser Technol. Volume 152, August 2022, 108140)。具体成像方案如下图：

 

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
    本文中的单像素3D系统由两个分支组成，校准分支和单像素成像分支

 

1

 

校准分支

 

    校准分支的功能部分是完成数字光投影仪（DLP）内DMD1和DMD2之间空间位置的校准。使用配备双向远心透镜的相机，我们实现了DMD1表面的成像。然后，我们使用映射算法将图像从相机坐标转换为DMD1坐标。我们认为DMD1表面上的图像和通过单像素重建获得的图像是等效的。如果我们完成DMD1和DLP之间的校准，我们就达到了系统的校准。投影仪独立于单像素相机的结构，可以放置在空间中的任何地方。

 

首先，匹配CMOS与DMD1

 

    DMD的内部由数十万个微镜单元组成，整体结构非常接近CMOS。通过设计映射功能，可以实现DMD的微镜和CMOS的像素之间的一一对应。

 

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
根据图中的坐标映射示意图，DMD微镜阵列和图像探测器像素阵列之间的对应关系在理论上是一种空间映射关系。因此，二者之间的关系可以用变换矩阵R来表示：

 

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
此外，考虑到实际应用过程中，光学路径偏差以及器件的折叠光路变形，为了补偿映射误差，本文使用了一种非线性整体拟合映射算法。利用设计的棋盘，建立真实棋盘角点与CMOS成像角点之间的映射关系，依据建立的关系，使用相应的曲线进行拟合：

 

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
上述模型可以帮助我们进行高像素级坐标映射，并在DMD1坐标系中获取微镜阵列的图像。

 

其次，匹配DMD1与DMD2

 

    由于DMD1坐标中的图像未知，因此DMD1可以与相机相等。此外，由于DMD2的图像已知，我们可以使用双目视觉理论来计算其中的内部和外部参数。

 

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
    双目立体视觉的原理原理主要基于世界坐标系，相机坐标系，图像坐标系，像素坐标系之间的转换关系，坐标系的转化思想是寻找DMD2坐标系与DMD坐标系之间的旋转矩阵R与平移矩阵T，具体坐标系得转换关系，读者可参阅读全文。

 

上述方法是基于坐标映射的伪单像素相机校准（PSPC）理论的基础。在这种情况下，微镜之间的匹配通过双眼立体视觉模型实现了极线约束（双目立体视觉中的像素匹配约束），如上图所示。

最后，校准参数的缩放

 

    DMD1决定了单像素系统的最高分辨率。数字微镜器件的解决方案比构建的单像素图像更高。因此需要将DMD微镜阵列分成块，如图所示：

 

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
这样一来，就需要改变对应的DMD1的内参矩阵H1。

 

2

 

单像素成像分支

 

    单像素成像分支使用相机镜头和中继镜头的组合在DMD1的表面上进行成像。DMD1加载了不同的掩模图案序列，以用光强度调制图像。最后，使用聚光透镜将调制光收集到单点探测器的中心。全内反射（TIR）棱镜的目的是减少光能的损失。中继透镜的功能是延长相机镜头的成像距离。这部分主要是完成数据采集和图像重建。

 

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
    单像素成像是影响三维重构质量的重要因素，高分辨的高分辨率重建图像更有助于提高相位解缠和定位的精度。单像素的图像分为两部分：信号采集和图像重建。在此使用了一种正弦变换基，并利用压缩感知理论，结合单像素y=Ax模型，重建了条纹图像，利用相移条纹原理重建了物体的三维图像（如上图）。

 

此外，在本文中，还对比了几种压缩感知算法重建结果的差异，得出了TVAL3算法重建结果优于其他CS算法的结论。

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
基于上述的理论，文中进行了相应实验验证(简述)：

 

首先，匹配CMOS与DMD1

 

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
其次，匹配DMD1与DMD2

 

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
球体、台阶和石膏肖像的亚毫米级重建

 

OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
OE:一种基于双目立体视觉匹配的高精度3D-SPI校准方法
「READING」

 

    总之，我们设计了一个基于结构光条纹投影和PSPC校准方法的单像素3D成像系统，并验证了该系统的测量精度。我们首次使用结构光双目立体匹配完成了单像素3D重建。这种校准方法使用更高分辨率的DMD来辅助单点探测器计算图像坐标和世界坐标的变换矩阵，从而提高了3D重建精度。我们对标准台阶、标准球体和石膏肖像的3D点云进行了计算，并在有限数量的采样点下实现了台阶和球体的亚毫米测量精度。

 

4

 

观点评论

 

Science

 

Technology

该方法首次使用结构光双目立体匹配完成了单像素3D重建。这种校准方法使用更高分辨率的DMD来辅助单点探测器计算图像坐标和世界坐标的变换矩阵，从而提高了3D重建精度。

 

1

 

引入双目立体视觉，提前对系统进行标定（系统的精度完全决定于前期DLP与DMD匹配的精度）

 

文章出处

 

发表期刊：Optics Express

 

论文链接：https://doi.org/10.1364/OE.484189

免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间联系我们，我们将协调进行处理，最终解释权归旭为光电所有。

微观世界的快门：阿秒科学回顾 | 光学15邀 Plair活性微生物的实时监测Rapid-CPlair活性微生物的实时监测Rapid-C Default Thumbnail国内量子科技公司全览（2021更新版） Default Thumbnail超短等效波长的等倾干涉 亮点 | 基于相干相位谱实现随机涨落涡旋光场的分数拓扑荷测量亮点 | 基于相干相位谱实现随机涨落涡旋光场的分数拓扑荷测量 同济大学陈鸿教授组设计新型平面拓扑绝缘体超构表面同济大学陈鸿教授组设计新型平面拓扑绝缘体超构表面 2D图像输入实时学习生成3D逼真全息图的端到端方法2D图像输入实时学习生成3D逼真全息图的端到端方法