1
IDS 3D 视觉立体相机
2
目录：
1. 摘要 ................................................................................................. 3
2. 常用立体视觉配置 .................................................................... 3
3. 校准 ................................................................................................. 4
3.1深度知觉计算处理步骤 .................................................... 5
3.2 矫正 ......................................................................................... 5
3.3 立体匹配 ............................................................................... 7
3.4 投影变换 ............................................................................... 9
3.5 特定于应用程序的处理 ............................................... 10
3.6 N10 立体相机 .................................................................. 10
3.7 Nxlib 立体处理库 ........................................................... 10
4. Ensenso N10立体相机信息 .............................................. 11
5. Ensenso N10立体相机特征 .............................................. 12
3
1. 摘要 本文主要深入分析使用立体相机的深度知觉主要处理步骤、常用立体视觉配置以及使用Nxlib立体处理库的Ensenso N10 立体相机。（深度知觉是指人对物体远近距离即深度的知觉，它的准确性是对于深度线索的敏感程度的综合测定。）
2. 常用立体视觉配置
立体视觉的深度知觉是基于三角测量原理，我们并排放置两个相机，利用投影光学系统可使两个相机视野在所需求的物距发生重叠，通过每个相机拍摄的图片，我们可以捕捉到不同视角的场景，如图1所示：
图（1）
4
对于两个相机图像中的每一个可见表面点，在3D空间有两条光线连接使用每个相机投射中心的表面点，为了获取捕捉场景的3D位置我们大体上需要完成以下两个任务，**我们需要确定左边相机图像的表面点在右边相机图像的哪里显示，其次**知道左右相机图像的关联像素交叉点，当我们假定相机彼此之间相互关联后，在校准处理时几何计算仅运行一次。
3. 校准
两个相机系统的几何形状可通过立体校准处理被预先计算出来，**我们需要一个校准对象（一个使用已知大小图像交错式或点模式的二维校准板），然后我们捕捉立体像对（像对：从不同摄站摄取的具有重叠影像的一对像片。可以利用立体像对进行立体观察判读及测图等工作），这样即可展示不同位置图案、两个相机的距离及其定位，我们可以使用每个像对形成的图案点的像素位置和它们在校准板上的已知位置用于计算所有观察图像的3D模型和立体相机的准确模型，这个模型包含了每个相机的固有参数（比如焦距）、失真及外在参数，也就是在左右相机之间的三维空间里旋转及变换，我们可以使用三角形校准数据上的对应点来鉴定两个相机图像和恢复关于相机三维坐标度量标准。
5
3.1深度知觉计算处理步骤 该处理步骤可分为3个部分，且**计算出像对的每个像素的3D位置，这些步骤**实时执行以让每个捕获的立体图像能获得3D点云（点云是在同一空间参考系下表达目标空间分布和目标表面特性的*点集合）或场景表面。
3.2 矫正
为了能够三角定位成像点我们需要鉴定左右相机图像的对应影像部分，考虑到左边图像有一个小的图像分块，我们可以简单的搜索右边相机的整块图像来充分匹配，这将耗费大量的时间以至任务无法即使完成，参照图3中的示例图像，圆锥体尖端是在左边图像的较上方位置，直观感觉似乎并不需要在右边图像的下半区搜索锥尖，事实上由于两个投影相机的几何形状我们可以允许将搜索范围限制在右边图像中的一堆线上，这些线我们称之为核线。 图2显示了一些手绘的对应点及它们的核线，在原始相机图像上面核线会因为相机光学导致的扭曲而发生弯曲，沿着这些曲线对应搜索将会非常缓慢和复杂，在校准过程中我们可以去除图像扭曲由此未失真的图像可产生直的核线。
6
尽管产生了直的核线但由于其在不同的图像区域有不同的方向，这就导致图像平面（相机芯片）既不能*共面也不能拥有相同的方向，为了进一步加快对应搜索速度我们可以使用相机几何校准和对图片应用额外透射转换，这样核线可与扫描线2对齐，这一步骤我们称之为“矫正”，圆锥体白色尖端区域搜索现在能通过寻找与右边图像相同的扫描线并找到较佳匹配的位置来实现，以后进一步的处理均仅针对矫正过的图片。
图2
7
图3
3.3 立体匹配
对于在左边相机图像的每个像素，我们现在可以搜索捕捉同样对象点右边图像的相同扫描线上的像素，由于单个的像素值不足以区分并找到与之相对应的像素，我们通常使用一个比较小的窗口（比如7x7pixels）进行匹配以此来替代同一行的右边图像的所有窗口，一般来说我们不需要搜索整行，仅需搜索左边图像上的横坐标上的有限数量的像素点并与附近对象点略加对照，这样既加快了匹配速度也限制了三角测量点的深度范围，如果发现了一个足够**的匹配对象，我们就可以通过右边相应的像素点关联出左边的像素点，这种关联将被存储在视差图（横坐标像素之间位移）中。
上述匹配方式我们称之为局部立体匹配，因其仅使用每个像素的局部信息，显然这种匹配方式仅适用于同一扫描线上
8
的图像部分能够被充分区分的时候，所以局部匹配方式在图像部分不明显或很复杂的时候将不再适用，除了局部匹配这种方式外我们还有其他的方式-“全局立体匹配”，全局立体匹配也可利用邻近像素信息，这种匹配方式不再只是寻找个别像素点来做匹配处理，而是尝试能够马上分配左右相机图像的所有像素点，全局立体匹配也考虑到了由于图像表面平滑使得大多邻近的像素往往具有类似的深度，对比局部立体匹配，全局立体匹配方式更加复杂并需要更强的处理能力，但是它需要很少的纹理数据并能给出更**的处理结果，尤其针对对象边界处理这块优势更为明显。
图4
9
3.4 投影变换
不管是使用哪一种匹配方式，较终均是左右相机图像像素点的关联，可通过视差图中存储的关联值在右边相机图像中找到相对应的位置，图4说明了这一观念，然后我们可以再次利用相机的几何参数在校准期间将像素值转换为实际的X、Y、Z坐标值，这种转换我们称之为“投影变换”，在图1中，左右相机图像交叉后每个关联的像素的X、Y、Z轴的数据称为“点云”，它通常可以作为三维图像来保存，也能保留图像像素网格的邻近像素点数据，一个可视化的点云如图5所示：
图5
10
3.5 特定于应用程序的处理
以上三种处理步骤**在立体像对里被实现以获得完整的3D点云场景，点云也需要做进一步处理以达到一些特定的应用处理，它可以靠着一个已知的对象（以前的点云或CAD模型）来匹配场景表面，假如这部分正好坐落于场景的表面位置，该对象的完整位置及转动均能够被计算出来。
3.6 N10 立体相机
正如前面所提到的，所有的立体匹配技术均需要一个特征显着的对象以获得左右相机图像的对应关系，Ensenso N10立体相机因此集成了一个额外的纹理投影装置，在图像捕获期间纹理投影装置会使用高度结构化的图案来剔除在立体匹配步骤中的模棱两可的区块以此来增加对象本身的纹理特征，投影仪可利用硬件触发信号和相机同步以达到在捕捉运动对象的时候可确保一致的像对。
3.7 Nxlib 立体处理库
NXlib库与N10相机和全部立体处理途径（包括校准）相互联系，它结合了使用全局匹配技术的纹理投影并提供密集、高质量的点云，严谨的全局匹配算法可利用所有处理器核心达到实时性能。
11
4. Ensenso N10立体相机信息
Ensenso N10工作原理依赖于一种新的方式—“投射纹理立体视觉”，该相机使用两个全局快门方式的CMOS芯片和一个可在捕获对象上投射随机光电图形的图像投影仪，这种方式的核心优势在于能够在多个相机之间操作并可以**的捕获非结构化的对象表面。 Ensenso N10严格按照工业标准制造，相机内用于3D表面匹配装置使用了MVTec HALCON接口，这样只需要花费不到十分钟的时间即可立即使用。 使用**提供的软件接口可以轻松的创建相机应用程序，当操作多个相机的时候，软件包也可让你输出一个包含相机数据的3D点云，同时使用多个相机可让你捕获到一个场景的多个面，从而减少阴影效果并扩张视野。 Ensenso N10相机工作距离为280-1400mm，该款相机可捕获静态和动态图像，其帧率高达30帧/秒。
使用投射纹理立体视觉处理方式，投影仪可在场景上投射出一个静态、高对比度的纹理，针对那些不明显或很模糊的对象亦可相应的增加其结构特征，结合部分全局匹配图像对比算
12
法Ensenso N10几乎可以捕获全部的视野表面，该系统需工作在脉冲红外光线并对外部光线抗干扰能力很强的环境中。 Ensenso N10使用铝合金外壳，体积为150x45x45mm，该款相机带有可锁定USB线的螺纹、一组GPIO可用做触发输入和输出（12-24V），一个软件包（支持MVTev HALCON接口，一个面对对象开发的API函数），可方便客户较短时间完成其应用程序设计。
5. Ensenso N10立体相机特征
? USB2.0接口
? 紧凑的铝合金外壳：150x45x45mm
? 低功耗：2.5W
? 两个全局快门CMOS芯片和图形投影仪
? 相机/3D图像分辨率：752*480 pixel
? Z轴分辨率：0,1 -1,2mm
? 满分辨率下相机帧率可达30fps
? 工作距离：280-1400mm
? 如需要使用多镜头相机可输出一个3D点云
? 使用投影纹理立体视觉可捕捉结构不明显的对象表面
? 可捕捉静态及动态图像
13
? 软件包（windows及linux）
? HALCON接口和C++ Demo
? 重量：400g

深圳市英泰立诚电子有限公司专注于IDS工业相机,IDS相机,CCD,远心镜头,CMOS,FA镜头等