0 序 言焊接自动化生产设备逐渐投入使用，这样既能降低公司劳动力成本，也提高了焊接的质量与速度. 另外，近年来，机器视觉技术逐步成熟起来，带有视觉传感系统的机器人逐渐被应用于焊接领域.视觉传感系统可以有效地避免示教机器人示教的缺点，实时地对焊缝进行自动识别. 根据照明光源的种类，焊接采用的视觉传感器可以分为被动视觉传感器和主动视觉传感器两种.其中在主动视觉中，结构光的使用颇为普遍. 该任务的重点主要在于焊点的识别上，即辅助激光和焊缝的交点. 该种方法具有非接触，获取信息丰富且精度高等特点. 因此，从这种含有强烈弧光噪声污染的图像中准确地、快速对焊点实现精确定位一直是国内外学者的研究热点. 实际中，由于焊接过程有很多未知的因素，所采集到的图像结果给后续的识别造成了很大的困难. 所以，只有在特定情况下且信息采集设备能够充分满足算法要求的时候，传统的焊点识别方法才能准确. 但是在复杂的环境下，例如获取的信息是残缺的，噪声污染严重、外界干扰较大时，如果只考虑像素、颜色或纹理等简单的基本特征，其识别系统的鲁棒性下降，识别精度较差. 另外，由于这类算法中需要很大程度的人为参与，例如局部阈值化、背景差分、角点检测、模版匹配及边缘提取等，因此这类算法的自主性不强，需要根据各种情况人工选取阈值和相关参数，智能性较差，且泛化能力差. 为了解决特征提取的泛化性问题，提出利用卷积神经网络提取的抽象特征来进行焊点的定位. 对于特征的提取，自2012年以来，深度学习在网络结构的深度和宽度上分别有不同造诣，此类网络主要有VGGnet[1]，GoogLeNet[2]，ResNet[3]等. 另外，针对深度神经网络提取到的深度特征，将其用于区域定位的任务中，也已逐步发展，算法主要有Faster RCNN[4]，Mask RCNN[5]，YOLO[6]等，该系列网络均由 Ross等人所提出，紧接着同一作者提出利用不同尺度的特征进行定位的想法，即建立一个金字塔型的特征组FPN运用到不同的任务[7]. 与区域定位不同，特征点的定位中，正样本的数量和负样本的数量差距巨大，网络模型较难收敛，而且训练得到的参数泛化性差. 因此，在系统中采用基于高斯分布的热力图作为训练的样本标签，而对于热力图的生成，提出基于反卷积的特征金字塔网络(FPN-D)，将ResNet50提取的不同尺度的特征，均映射成所需的特征点热力图，并将之级联在一起得到最终的热力图，对此热力图进行处理，可以准确地得到焊点的位置. 其中，不同尺度之间是通过反卷积之后进行级联，并对级联后的特征图进行反卷积，再进行下一级的级联，与利用上采样的方式将不同尺度的热力图进行级联(FPN-U)[7]相比，该种方法遵循卷积的自然反过程，并非直接级联，通过试验比较，该系统的焊点识别效果较传统方法和简单的基于上采样的FPN网络效果都要好，而且鲁棒性更强，处理一张图片时间约为85 ms，能够达到自动焊接的实时性要求. 1 基于结构光的焊点智能识别系统设计1.1 系统结构设计该焊缝识别测量系统的传感器主要是由CCD摄像机、镜头、红光一字型半导体激光器、滤光片组成. 如图1所示，激光器中的点光源通过柱状镜的折射形成线结构光，投射到钢板表面，当遇到坡口时激光会出现凹陷状况，并向摄像机的视野范围反射，CCD相机采集该反射的结构光，在图像中成像，形成可以反映焊缝坡口形状的二维图像. 然后通过智能识别算法得到图像中焊点的位置，并根据摄像机、激光器与焊件之间的距离关系得到具体要焊接的坐标. 在系统中，只涉及到了二维图像中的焊点坐标识别. 大学生往往喜欢与志同道合，有相同兴趣爱好的人处事，这也有利于他未来的职业发展，他们正需要一个专业的平台来结交益友。  图 1 系统结构 1.2 基于模版匹配的特征点识别算法模版匹配旨在一幅图片中找到与模版相似的区域，即计算模版和待检测图片之间的相似度，按照相似度的计算方式不同，该试验中共考虑了6种方式，分别为差值平方和匹配、标准化差值平方和匹配、相关匹配、标准相关匹配、相关匹配和标准相关匹配. 在焊接环境理想即弧光干扰较小，且激光痕迹明显，如图2a所示. 为该6种模版识别方法的识别结果(不同颜色标出). 当干扰较大的情况下，其识别效果急剧下降，如图2b. 该种情况下，由于模版的选择对结果影响很大，而在背景干扰较大时，与模版的相似度会降低，或者出现和模版相似度较高的虚假区域信息，导致识别误差较大.另外，由于以上几种方式都需要人工选取模版，其鲁棒性较差，而大多传统的视觉识别方式都需要人为的参与，且人为设定的信息和策略不具有泛化性和适应性，更缺乏智能性. 因此，在该系统中使用了基于卷积神经网络的焊点智能识别的算法，提高系统的鲁棒性.  图 2 理想环境和弧光干扰下模版匹配识别结果 2 基于卷积神经网络的焊点智能识别算法该识别网络分为三个部分：特征提取、热力图生成(FPN-D)和热力图的最终处理. 特征提取网络是基于预训练的ResNet50进行微调，热力图的生成是利用反卷积及级联将不同尺度特征所生成的特征图全部考虑在内得到最终的输出. 在训练过程中，无需对整个网络输出的热力图进行处理，但是需要利用标注焊点的位置做出理想的热力图用于训练，而在测试中，由于热力图并不是理想的，需要对其进行阈值化处理得到最终的位置信息. 该方法的网络整体框图如图3所示，其中尺度1和尺度2一样，因此其后的反卷积变为卷积操作.  图 3 整体结构图 2.1 特征提取网络文中方法的特征提取网络基于分类的卷积神经网络ResNet50的卷积部分，ResNet具有其它卷积神经网络无法比拟的深度，而且深度增加的同时还能够保证网络性能不会退化，与VGG等类型的网络相比，虽然深度增加很多，但是网络的计算量却大大降低了. 该网络结构分明且不同尺度之间均相差2倍，适合金字塔特征中对不同尺度的考虑，其网络结构如图4所示，其中每个block都是一个残差网络，每一个尺度下的卷积块都由多个残差网络集成，尺度2到5分别由3，4，6，3个残差网络构成. 也就是从那次，我的书娟姨妈坚定了她的信念，无论赵玉墨变得如何不像赵玉墨，她一定会找到她和她十二个姐妹的下落。有些她是从日本记者的记载中找到的，有些是她跟日本老兵聊出来的，最大一部分，是她几十年在江苏、安徽、浙江一带的民间搜寻到的。  图 4 Resnet50 特征提取网络  设每个残差网络的输入为 2.2 基于反卷积的特征金字塔网络—热力图的生成对于某个特定尺度的特征，首先通过一个卷积核为1的卷积层得到尺度的热力图信息，然后和前一尺度的热力图级联，得到包含两个尺度的热力图信息，最后通过反卷积将尺度变为原来的二倍运用到下一个尺度的热力图信息的获取中，通过这种方式可以综合考虑所有尺度的信息，而且与上采样的方式相比[7]，更接近卷积的特征提取的反过程，具体结构如图5.  图 5 每一尺度下热力图生成的过程 由式(1)可知卷积层定义为  其反向传递时的梯度可由下式求得，即 式中： 省级政府应当充分尊重国务院的立法权，既要防止省级政府规章与行政法规的抵触，也要避免省级政府规章在进行执行性立法时的重复。属于《中华人民共和国宪法》第89条规定的国务院职权范围内的事项，以及具有全国性、共同性、基本性且极为重要的行政管理事项和由中央政府直接管理的事项，应由国务院制定行政法规，对属于本行政区域内的行政管理事项，宜由省级政府规章规定。 其梯度计算方式变为 基于反卷积结合FPN得到的网络为FPN-D网络结构，基于上采样的FPN为FPN-U[7]，图6为FPN-U及FPN-D的网络差别. 两者都基于Resnet50输出的不同尺度的特征信息，利用1 × 1的全卷积得到相应尺度的热力图，但是在和前一尺度进行级联的时候不同. FPN-U直接将两个尺度的热力图相加，再进行3 × 3的卷积，而最终每个尺度的热力图利用上采样，进而级联在一起，得到最终的热力图信息. FPN-U存在几个问题，首先较小尺度的热力图的上采样方法比例会很大，导致其信息是冗余且不合理的. 另外，直接将两个尺度的热力图信息相加不能同等于考虑到两者热力图的信息. 而FPND利用反卷积将3 × 3的卷积和上采样结合在一起，并将尺度的热力图信息和上一尺度的热力图信息级联在一起，综合考虑两者的信息. 图 6 FPN-U 和 FPN-D 的区别 最终得到的热力图信息需要用理想的热力图进行修正，即训练如图7所示. 理想的热力图是以特征点为中心的高斯分布得到的，设 纠错输出编码(Error Correcting Output Codes，ECOC)[1]作为一种分解策略，已成为解决多类分类问题的第一方案.编码矩阵的构造作为纠错输出编码多类分类的第一步，很大程度上决定了其分类性能的好坏.由于事前编码忽略了样本数据包含的类别信息，分类性能无法达到最佳.因此，如何构造符合问题域的编码矩阵成为研究的重点. 图 7 原始焊接图和理想热力图 式中： 2.3 损失函数及模型训练该网络最终的输出为预测的热力图 对于网络参数的更新，采用随机梯度下降的方式 信念是指对某一事物坚定的看法,它反映了一个人随时为实现一定的思想和原则而斗争的准备[12]。教育信念是教师个体所确信的，能够对其教育教学行为起到直接和间接支配作用的相互关联，相互支持的价值判断系统[13]。在教育教学实践中，教育信念能够使教师始终保持正确的教育理念和执行规范的教育行为，让其在思想和行为上遵循自己所信奉的教育原则。拥有坚定教育信念的教师通常坚信某种教育原则或模式，并将其内化为个人信念，落实在自己的实践教学中。 式中： 将手术病理检查结果作为诊断金标准。当感兴趣区域小于病灶大小的两倍时,诊断准确87个,准确率为56.49%;误诊67个,误诊率为43.51%。当感兴趣区域大于等于病灶大小的两倍时,诊断准确96个,准确率为62.34%;误诊58个,误诊率为37.66%。两种超声弹性成像检查方法对乳腺病灶的诊断结果有明显差异(P<0.05)。 3 试验结果该试验的运行环境为Intel E5-26202.10 GHz CPU，其中内存8 GB RAM以及一个GeForce GTX 1080Ti GPU. 网络的实现基于pytorch框架，ResNet50提取特征的网络是基于在ImageNet数据集上预训练的模型. 训练数据来自于焊接现场拍摄，每张图片大小均为646 × 482. 3.1 网络超参数的设置该网络的训练参数主要包括：初始学习率 3.2 焊点识别结果及分析文中分别对不同弧光下的金属焊件进行了测试，由于不同条件下材料的反光性也不一样，造成识别的困难也不相同. 该试验中，当弧光较亮时，焊点清晰，但是弧光干扰较多，当弧光较暗时较难分辨焊点的具体位置. 为了验证FPN-D网络的鲁棒性，将FPN-D和传统的模版匹配的方法及FPN-U进行了比较. 表 1 训练参数设置 参数 设置值- 40° ～ + 40°batchsize 8images/BZ_93_400_587_421_612.png0.90.00001images/BZ_93_400_657_421_690.pngimages/BZ_93_398_736_423_761.png 3.2.1 深度神经网络与模版匹配的比较 在理想的焊接环境中深度神经网络及模版匹配均能识别出焊点的位置. 6种模版匹配方法(不同颜色标出)见图2a，图8为FPN-U及FPN-D的识别结果图. 图 8 理想焊接环境识别结果 实际的焊接过程很少出现图2a中理想的情况，因此需进一步测试在一定弧光干扰情况下各种方法的识别结果. 如图2b所示，弧光的扰动使得模版和待测图片不一致，因此出现较大的识别误差，甚至无法找到焊点的具体位置，但是深度神经网络的识别结果依然很准确，如图9所示，因此，两者的鲁棒性相比，前者较强. 3.2.2 FPN-U与FPN-D的比较 关于孤儿就业，民政部等15个部门出台的《关于加强孤儿救助工作的意见》指出，“劳动和社会保障部门及有关部门应当对城镇登记失业的适龄孤儿按规定提供职业培训补贴和免费职业介绍，并落实小额担保贷款政策，鼓励和帮助其自谋职业和自主创业；县、乡（镇）政府和村民委员会要积极扶持法定劳动年龄内有劳动能力但未就业的农村孤儿从事农业生产活动，或引导和帮助其进城务工，劳动保障部门要按规定落实相关就业服务政策。” 大脑神经功能调节法是指患者在多样化活动的干预下，由于大脑广泛区域神经过程交替活动，使脑细胞得到了锻炼，逐渐增加了大脑神经活动的兴奋过程和抑制过程的相互诱导作用 （这种作用在患者患病期间因大脑负担过重而被减弱了）。到了夜间，大脑中经过白天兴奋性活动的许多神经中枢都发生了负诱导作用，并迅速成弥漫性抑制。所以，“常夜难眠”就变成“长夜好眠”了。 他给罗衫搭一辆出租车，站在原地不动。罗衫钻上车，又摇开车窗，问，你当初完全有理由拒绝她……你为什么要自讨苦吃？西双笑着，挥手向她告别，出租车于是无声地扎进流淌着的紫雾之中。 图 9 弧光扰动环境中识别结果 为了对比FPN-U和FPN-D的效果，将两者的训练损失函数呈现了出来，由图10可看出，FPNU的损失函数下降较快，而FPN-D由于反卷积的存在，其损失函数下降较慢. 但是两个网络在最终都能够收敛，FPN-U的收敛值要略低于FPN-D的收敛值. 图 10 FPN-U 与 FPN-D 的损失函数 FPN-U网络的收敛速度较快，且收敛值略低，但是在某些特殊的环境中，其识别结果不如FPND，如图11所示的两种情况，在第一种情况下，FPN-U无法找到焊点的位置，因此FPN-U网络存在一定的过拟合. 当环境复杂，焊点信息变化较大且不明显的时候，FPN-U的鲁棒性会降低. 因此上采样所造成的特征信息冗余不容忽视，可见FPNU泛化误差较大，而反卷积很好的解决了此冗余的问题，因此泛化误差较小. 图 11 FPN-U 与 FPN-D 识别效果对比图 3.2.3 算法的实时性 为了测试算法的实时性，试验中共进行了255张图片的测试，测试图片大小和训练集一样，共用时21.83 s. 因此，该算法的速度能够达到11.68帧每秒(FPS). 根据应用中的焊接速度，该算法能够满足实际应用要求. 4 结 论(1)针对自动焊接系统中焊点的识别问题，提出利用残差卷积神经网络提取出的不同尺度的特征映射成热力图，从而进行准确定位的思路. 该模型将ResNet50作为特征提取网络，能够从图像中提取到不同尺度的特征，随后利用反卷积和级联的策略将特征映射成热力图，通过对热力图的分析得到最终的焊点位置. (2)该模型的创新点主要有：将焊点的识别转化成热力图的识别任务；利用不同尺度的特征进行特征点的定位；利用反卷积的方式将不同尺度的识别结果进行级联. 通过试验证明，该方法鲁棒性较强，在弧光较为杂乱的干扰情况下，依然能够保持识别效果，并且算法处理速度为11.68帧每秒(FPS)，能够达到实际应用的实时性要求. 参考文献： [1]Karen Simonyan, Andrew Zisserman. Very deep convolutional networks for large-scale image recognition[C]//International Conference on Learning Representations, 2015： 1 - 14. [2]Christian Szegedy, Wei Liu, Yangqing Jia, et al. Going deeper with convolutions[C]//The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015： 1 - 9. [3]Kaiming He, Xiangyu Zhang, Shaoqing Ren, et al. Deep residual learning for image recognition[C]//The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016： 770 - 778. [4]Shaoqing Ren, Kaiming He, Ross Girshick, et al. Faster R-CNN：towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems 28, 2015： 1 - 9. [5]Kaiming He, Georgia Gkioxari, Piotr Dollar, et al. Mask RCNN[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017(99)： 1 - 1. [][] [6]Joseph Redmon, Santosh Divvala, Ross Girshick, et al. You only look once： unified, real-time object detection[C]//The IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2016： 779 - 788. [7]Tsung-Yi Lin, Piotr Dollar, Ross Girshick, et al. Feature nyramid networks for object detection[C]//The IEEE Conference on Com-puter Vision and Pattern Recognition (CVPR), 2017： 2117 - 2125. |
|
|
，输出为
，令残差为式中：
为残差网络的参数；
为卷积函数. 因此该网络得到的特征为残差特征
