基于图像识别的螺栓松动监测方法研究.docx

《基于图像识别的螺栓松动监测方法研究.docx》由会员分享，可在线阅读，更多相关《基于图像识别的螺栓松动监测方法研究.docx（18页珍藏版）》请在第一文库网上搜索。

1、基于图像识别的螺栓松动监测方法研究目录前言1 .基于FaSter RCNN的螺栓目标识别1. 1 Faster RCNN 简介2. 2数据集制作3. 3结果与修正2 .基于图像识别的角度计算方法2.1 透视误差修正2.2 2基于CA 边缘检测与霍夫变换的角度计算方法2.3 角度修正3 .结果与总结3.1 误差分析3.2 总结与展望Ws：螺栓连接结构在实际工程中具有极为广泛的应用，从常见的土木工程类应用, 如钢架、桥梁、铁轨到航空航天领域导弹、卫星的板间连接，螺栓连接件已经广 泛存在与生活的各个角落。对于具有较高结构安全性能指标要求的重要部件来说, 螺栓部件的自身安全显得极为重要。事实上，由于螺

2、栓连接处复杂的摩擦动力学现象，在结构面对各类冲击、振 动与动态载荷时，可能在结构未产生任何实质损伤时造成螺栓松动、预紧力消失 的情况。并且，由于材料结构的疲劳效应,长期的载荷作用下材料形变引起沉降、 蠕变和弛豫现象，同样会导致螺栓松动、预紧力消失。为结构带来安全隐患。目前，针对螺栓松动的检测方法主要分为直接法与间接法。直接法即为直接测量螺栓预紧力的相关参数，例如通过扭矩仪测量扭矩，在 螺栓上集成应变片测量螺栓栓头对连接板的压力，但此类测量方法效率低、成本 大，实际中往往仅应用与重要板件的连接部位监测。间接法即通过各类传感器数据间接反应螺栓连接的状况，主要分为机电阻抗 法、超声导波法与振动法三大

3、类。其中，机电阻抗法是依据阻抗参数对结构变化 的高敏感性，当螺栓结构松动时，阻抗测量值能够有较明显变动。超声导波法是 测量散射波波速与频率，通过分析波速与频率的变化判断螺栓结构是否松动。振 动法则是测量结构的振动响应，由响应谱分析螺栓结构是否松动。这些方法均需 要安装相应的传感器元件，其优势是针对单一螺栓的检测结构灵敏度较高。但数 据采集较困难，且对多螺栓结构无能为力。而基于视觉的螺栓松动监测方法更加适用与大型集成的螺栓连接板件，其数 据获取简单便捷，且不需要在结构中安装类似其他传感器的数据采集模块，不会 对结构的自身特性产生任何影响。视觉的螺栓松动监测方法从原始采集的数据图像到得出螺栓的松动

4、角度主 要需要两大类工作：1 .螺栓区域的目标识别。即确定与区分各个螺栓的所处区域。使得目标识别的结果中有且仅包含一个 螺栓，便于后续的角度检测。当前，针对螺栓区域的目标识别主要有两类方法，其一是通过螺栓表面的 一些特定特征进行目标识别，例如螺母端螺栓图片中往往有明显的中心圆特 征，这些明显的几何特征可以通过opencv的图像处理方法确定特征位置， 如图，只要确定了中心圆位置，再通过预知半径即可得到螺栓目标位置。其二是通过深度学习方法进行目标识别，由于不同螺栓规格的差异，其表 面特征难以统一，故采用针对固定特征的识别方法并不适用，而深度学习方 法可以针对不同螺栓训练以提取螺栓的共有特征，方法适

5、用性更高。并且, 深度学习方法已经在此类图像处理领域展现出了强大特征提取与目标识别 能力。2 .对区域内的单个螺栓进行角度计算。得到该螺栓的实时角度。对前步提取到的螺栓区域进行特定的图像处理操作，获取螺栓边缘信息, 再通过边缘信息求得螺栓的旋转角度。1 .基于Faster RCNN的螺栓目标识别目标识别是指将某个或多个特殊目标从整体背景中区分出来的操作。其核心 问题是获取特殊目标区分于背景的“特征”，再通过分类器识别。当前，目标识 别算法主要分为两类，一类是One-Stage检测如SSD, YOLO等，一类是Two-Stage 检测如RCNN, Faster RCNN等。其主要区别在于，Two

6、-Stage检测方法分“两步”， 有一个独立的候选框生成算法，用于框选可能的目标区域，其框选区域精确度更 高，但相应的，算法耗时更长。本文对螺栓目标的角度监测是长周期监测，并不像目标追踪等需要极快的处 理速度。相反，若框选区域不够精确，则会导致后续图像处理中部分边缘信息无 法提取，进而影响整体检测精度。1. 1 Faster RCNN 简介Faster RCNN是RoSS B. Girshick在2016年提出的针对标准R-CNN网络与 FaStRCNN网络的改进。其将整个目标识别过程的特征提取、目标框选取、目标 框修正与结果分类整合在了一个网络结构中，使其在训练速度、识别精度上均得 到了较大

7、的提升。图示即为标准的FaSter RCNN结构，其主要分为三个部分：Conv IayerS即特征提取层。该层采用CNN卷积神经网络对原始图像进行特 征提取，输出特征图。Region Proposal Networks即候选框区域生成网络。进行目标识别的重要步 骤之一就是如何框选出目标的位置与大小，由于目标在原始图像中的尺寸大小不 一，且不同目标的形状也不一致，故如何生成对目标的框选是目标识别中的重要 问题。ROI pooling与classifier完成最后的分类与修正操作。Faster RCNN的具体流程如下：输入图像进行大小重整后进入主干特征提取网络，需要注意Faster RCNN的 图

8、像大小重整并不会对图像原始比例进行修改以造成图像失真，而是按比例放缩 后对空白区域补0。本文所采用的主干特征提取网络为AIeXNet网络架构，由于 本文的分类特征并不复杂，相较ReSNet其训练速度更快，足以满足本文的识别 需求。经过CNN网络后，即生成了原始图像的特征图。而后续的RPN网络即在特征 图上生成候选框，估计目标在特征图中的位置。RPN网络采取了设定预设框，再 通过对预设框进行修正的方法生成目标识别的建议框。其中，在指定预设框时，RPN网络的目的是尽可能兼顾不同目标的大、中、 小尺度，同时尽可能包含不同的长宽比以适应针对不同目标的识别框选。本文选 用的是如下9类预设框，即三种不同大

9、小、三种不同长宽比的矩形框。（预选框anchor应尽量包含各个尺度特征）此时，预设框在特征图上逐点遍历，判断目标是否存在与预选框之中。同时，由于提前指定的预选框并不能完美匹配所有目标尺寸，故RPN网络还 会进行预选框修正操作。下面简单介绍其修正原理：需要提前声明，图像处理中，矩形框通常用四维向量表示：（%w,h）前两项 表示窗口中心点坐标，后两项表示窗口的宽和高。对下图而言，假设框A为未经过修正的预选框，框G为真实目标框，修正算 法即想找到一种映射变换，使得框A尽可能的向框G靠拢。G,即原始框Z=(4I Ay/w，4D；真实框G= (.GxfGyfGwf Gh)f找到一种变换F,使得F(ZXI

10、Zy,4WIZ九)=G,t Gry, Grw, j) Gyf Gwf Gh)先通过平移调整中心点坐标:Gj = Aw dx (-A) + AxG，y A dy(A) + 42/再通过缩放调整宽高:G，- exp(4y(4)G,h= Ah exp(通)即RPN网络的修正过程所需要的学习参数即为上式的四个偏差未知量。当输 入的预选框A与真实框G的偏差较小时，可认为该变换过程为线性变换，通过线 性回归方式预测四个变换参数。即:d* (A) = Wj 0(A)通过预选框修正后即可得到与真实框更接近的预测框区域。接下来即为分类，通过前文提取到的预选框区域特征，分类该预选框属于哪 种目标，针对本文即是分类

11、其属于背景还是螺栓区域。同时再次应用选框修正算 法，对最终的预测分类结果再次进行选框修正，获取更高精度的最终预测框。1. 2数据集制作试验件：本文选用的实验件为IOCm*10Cm打孔板件，螺栓为M6螺栓若干。需要留意的是，考虑到实际工程需要,螺栓连接部分往往跟随板件进行防锈处理，本文采取了常见的灰色防锈漆处理,即减小了背板与螺栓件的区分度，一定程度增大了图像识别的难度。数据集为不同距离下的螺栓拍摄图片。55张共记230个螺栓区域。r r，吃 rOljPgO2-jpg。3 JPg04jpg05*g叫 PgO7.jpgOjpg09JPg10pg11pg12JPgm V i 1 17jP91&jP9

12、19彻两Pe21*gMP9?川92川”IaJpg14JPg25 g26ipg27gflp9Z9.jp9刈用31.jpg32g45.jpg叫 Pg47jpg43pg53JPgMjpg55,jpg49jpg50,jpg5 Ljpg5Zpg1. 3结果与修正学习率：le-2le-5le-3初步应用FaSterRCNN网络训练验证，调整训练参数如学习率、迭代次数设置，同时，考虑到部分螺栓的先验信息，添加以下结果约束:1 .仅输出预测概率大于90%的框选区域；2 .仅输出框大小为80*80120*120大小的区域；3 .重复区域仅输出高预测值框；训练集修正：1 .取消空螺栓干扰2 .取消背景干扰（透视变

13、换消除背景边），提高精确度3 .灰度化输入图像，减小通道数，提升训练速度。最终结果表格：训练样本数检测出的总数正确数错误数漏检个数完美结果数1032275352331301094730300017703030002010030300022125303000201503030001518030300017其中，错误样本即框选样本中不包含任意一条可用的螺栓边界，漏检样本即 为测试集中存在未能识别的螺栓样本，正确样本为检测结果包含螺栓边界（可能 存在部分角点的漏选，但不影响后续的角度识别），完美样本为检测框完美的框 选了螺栓整体，见下图：正确结果完美结果2.基于图像识别的角度计算方法在进行前文处理后

14、，即得到了螺栓目标区域的坐标（居/WG）；本节即探讨如 何通过图像识别方法对包含单螺栓的区域进行角度估计。由于角度是一个相对值，即在我们针对螺栓进行角度预估时，需要有一个参 考线，即螺栓相对于该参考线的旋转角度是多少。故本节首先将通过透视变换拉 伸原始图像区域，消除透视误差的同时引入该参考面即为背板底边。2.1 透视误差修正透视现象广泛存在于视觉方向，由于在采样螺栓图片时，不能保证摄像头完 全正对于螺栓区域正上方，此时，相对靠近摄像头的区域将会被拉伸，远离摄像 头的区域将会被压缩。而原始的螺栓平面，当我们将其看为正六边形时，由于透视变换的影响，其 拉伸于压缩现象会使得六边形边长变化、各边夹角变

15、化，为后续的角度检测带来 误差。故我们希望找到一种矩阵变换，建立原始图像与正视图像的变换矩阵，实现 从原始图像到正视图像的转化过程，消除透视现象的误差。（如下图）获取该矩阵需要原始图像四点，与变换后正视图像对应四点的坐标，其两坐标系的转换关系可由下式求解：m 11m3m2m22m32m3x?23 y加33_|1X1 *x+ml2*y + ml3Y = ?2I *x + m22*y + 加 23Z =加31*x + w32*y + 33,_X_ wl 1 *xwl2*ywl3Z ?31 *xw32+j + w33,Y w21 *xw22* yw23y=:Z 631 *x + m32*y +加 33