螺纹元件复杂表面测量难误差大？3D视觉技术了解一下→
视觉/图像重磅干货，第一时间送达
螺杆式挤出机是高分子材料加工的核心装备，其塑化系统关键部件螺杆和螺筒及其之间的间隙决定了高分子材料的混合质量，进而影响最终的产品质量。
高分子材料中通常加入玻纤、矿物粉体、助剂等使其满足功能性需求，采用挤出加工具有连续生产的显著优势；但是，挤出机的螺杆和螺筒在高温下受到物料的物理和化学作用，逐渐产生磨损、凹坑、点蚀等，特别是在增强、阻燃的高分子体系中更为明显，这导致了螺杆和机筒的间隙变化。
挤出机的螺杆和机筒间隙是挤出产品品质稳定最关键的技术指标，其决定着物料热加工历程的停留时间分布，停留时间分布越小说明原料混炼时间越接近一致，产品品质越稳定。相比机筒，螺杆更容易发生磨损、腐蚀，生产中通常对螺杆（螺纹元件）进行检测评估，但是其复杂曲面的外形导致难以进行全面的精准测量。
现场对螺纹元件的检测常使用游标卡尺进行，但仅能做特征区域点与点的尺寸，测量范围和精度有限；使用三坐标测量仪可以比较精确测量任意点，但在实际使用过程中，传统的三坐标测量机对环境温度、湿度、气源气压有一定要求，且测量效率较低；对于螺纹元件表面的点蚀，三坐标接触式测头自身半径的问题也会影响测量结果。
另外，三坐标仪可精确得到特征位置点、线的尺寸，但是难以表达出螺纹元件的曲面结构，不能对螺纹元件的表面区域进行全轮廓检测和评估。
本研究开发一种基于3D视觉技术的挤出机螺纹元件复杂表面自动测量系统。通过分别搭载有3D相机和夹取装置的双协作机械臂末端相互姿态变换配合，完成对螺纹元件不同角度的深度图像采集，使用三维重建技术，经系统软件处理，成功得到了挤出机螺纹元件的三维测量模型，进一步对具体区域或平面进行提取，使用点、线、面等特征计算评估螺纹元件的状态，进而监测和管控螺杆与螺筒的间距，从而管控挤出加工的产品质量。
一
3D视觉测量原理
系统使用双目结构光3D相机采集深度图像，该相机将双目立体视觉测量和结构光测量两种方法相结合，在完成双相机的空间位置获取后，对获得的编码图案进行解码，从而获得物体上各点的三维数据。同时该相机回避了传统立体视觉中稠密匹配和编码结构光中投影仪标定这2个难点，简化了对应点匹配算法的复杂度，提高了三维测量的精度。3D视觉测量原理如图1所示。
二
3D视觉技术的螺纹元件自动测量系统设计
3D视觉技术的双螺杆挤出机螺纹元件复杂表面自动测量系统用于基于3D视觉的螺纹元件的三维非接触式测量。该系统主要由硬件系统和软件系统组成，如图2所示。
2.1
硬件系统
3D视觉技术的自动测量硬件系统主要由3D相机、双协作机械臂、工控机以及夹取装置等组成，如图3所示。本研究采用的3D相机是LMI公司自带结构光发射器的双目结构光相机3210，其X与Y方向上的分辨率为0.06~0.09mm，Z方向上的分辨率为4.7μm。协作机械臂是AUBO公司的i5系列六自由度机械臂，与电动夹爪配合使用，从内花键孔夹取螺纹元件进行其表面测量。
本系统以3D相机采集的深度图像中螺纹元件的位置坐标为引导，调用机械臂控制库控制搭载夹取装置的机械臂1到指定位置夹取螺纹元件，然后将被夹取的螺纹元件移动到3D相机镜头内，接着控制相机和螺纹元件间的相对姿态，实现对螺纹元件多方位、无死角的深度图像采集，再使用三维重建技术得到螺纹元件的整体三维模型，最后通过系统软件处理测量数据并存档、显示。系统工作流程如图4所示。
2.2
软件系统
本文采用 Qt Creator 平台进行3D视觉技术的挤出机螺纹元件复杂表面自动测量软件系统开发，软件功能主要分为通信模块、机械臂控制模块、图像处理模块和数据输出模块。
通过软件控制，实现对螺纹元件的复杂表面进行自动的非接触式的测量，并得到该螺纹元件的平面面积、两点间的长度等数据。软件通信模块通过TCP通信传递数据，分别向机械臂、3D相机发送控制命令以及获得图像数据并实时显示，图像数据经过图像处理和数据输出模块，最终得到测量数据并存档、显示。软件效果如图5所示。
三
3D视觉检测实现
3.1
图像预处理
由于3D相机直接得到的图片包含噪声（椒盐噪声、高斯噪声），以及图像包含背景等额外的信息，故从相机直接得到的点云图片不能直接用于后续的拼接和重建。本文通过高斯滤波算法进行过滤，能有效去除图像的高斯噪声。
针对图片背景等干扰信息的影响，由于直接从3D相机采集到的是深度图，即背景跟检测物的高度信息不一致，通过常规的阈值分割算法加上图像中螺纹元件的形状特征作为筛选条件，可以有效去除背景干扰。图像预处理如图6所示。
3.2
形成3D点云图
通过Halcon中的gen_image_surface_first_order算子，可以分别构造X以及Y方向上的平面图，平面图的参数Xoffset、Yoffset、Xresolution、Yresolution在相机内参表中获得，确定点云图的X-Y方向的坐标范围；再通过scale_image算子以及Zoffset、Zresolution参数可以得到螺纹元件Z方向上的实际高度图，最后通过xyz_to_object_model_3d算子对3个方向上的高度图进行融合，可以得到从3D相机采集到的螺纹元件3D点云图。流程如图7所示。
3.3
螺纹元件三维重建
螺纹元件的3D重建难度主要体现在：螺纹元件在点云融合的过程中，会因其对称性造成误匹配；螺纹元件表面存在凹坑与复杂曲面，对于深度方向的检测精度较高，测量难度大。
为了解决上述两个问题，本文通过增加点云采集的频率来保证螺纹元件点云融合的准确性以及增加对于凹坑及复杂曲面测量的精度，一共通过20张点云图来重构螺纹元件。重建的流程如图8所示。
3.4
螺纹元件特征测量
通过构建剖面去截取螺纹元件的三维图，可以得到螺纹元件的2D截面图。对于2D截面图的面积以及两点之间的距离测量，可以表征出螺纹元件每个模块的磨损情况。具体流程如图9所示。
四
双机械臂协作路径规划及实现
4.1
位姿变换
4.1.1 三维空间位姿描述
空间中存在某点，描述该点的位置和方向，分别可用位置矢量和旋转矩阵来表示，因此空间中刚体的位姿，即可用数学矩阵的形式进行完整地描述。首先让物体B与某一坐标系{B}连接在一起，使{B}的坐标原点重合于物体B的特征点，如质心等，然后选择参考系{A}为参照，则坐标系{B}原点的位置和方向，可分别用
和
来表示，即：
（1）
（2）
式中：A为坐标系{A}；B为坐标系{B}。
因此刚体B在三维空间的位姿F可表示为：
（3）
4.1.2 坐标系变换
在双臂协作的过程中，被测物和相机分别处于不同的三维坐标系中，当处在不同的坐标系当中时，对某点进行具体的描述也是不同的，需要用数学公式来表示两个坐标系之间的相互关系。
机械臂2以经典的D-H法建模，再经过一系列的坐标变换，即可得到机械臂2末端相对于其基座标系的位姿变换 R2TH2 。
由于两个机械臂基座中心安装在一条直线上且距离已知，可得机械臂2基坐标系相对于机械臂1基坐标系的变换 R1TR2 ，从而机械臂2末端坐标系相对于机械臂1基坐标系的变换 R1TH2 为：
（4）
式中：R1为机械臂1基坐标系；R2为机械臂2基坐标系；H2为机械臂2末端坐标系。
4.2
路径规划
本文设计的3D视觉技术的挤出机螺纹元件复杂表面自动测量系统通过两个协作机械臂相互协作来实现对螺纹元件不同角度的深度图像采集。双臂协作采用主从协调控制方式，首先指定搭载相机的机械臂1为主机械臂，另一机械臂2为从机械臂，然后依据操作对象的位置和姿态信息对主机械臂进行轨迹规划，并在此基础上制定从机械臂的运动轨迹。路径规划流程如图10所示。
五
实验数据及处理
首先选取1个完好的剪切式螺纹元件，如图12所示，分别使用本系统和三坐标测量仪对其各个平面的长轴进行测量，得到测量结果如表1所示。
然后再选取1个磨损的螺纹元件，使用本系统分别对2个螺纹元件的每个平面面积进行测量，得到测量结果如表2所示。由表1～2可知，系统能准确地测量螺纹元件，并可从线、面等特征计算评估其磨损程度，且误差不超过±0.5%。
六
结束语
本文搭建了一种基于三维重建技术的螺纹元件自动测量系统，提出以双机械臂协作来采集深度图像的方法，通过三维点云数据重构了被测螺纹元件的三维模型，实现了螺纹元件全轮廓、任意区域的准确测量。
通过重复性实验，并与理论值以及三坐标仪的测量相对比，本系统测量螺纹元件操作简便、用时较短，且测量误差在±0.5%以内，解决了生产过程中的难题，快速、高效地评估和管控螺纹元件，对实际生产和产品品质产生积极作用。
本文针对现有图像采集的问题提出了一些创新的思路和方法，对其他复杂结构曲面外形的结构件的三维测量提供了参考，具有一定的研究意义和推广应用价值。
作者
李东，蒋状，梁家睿（金发科技股份有限公司，广州 510663）。本文发表于《机电工程技术》。