的区域分割是个两阶段的图像识别框架第个阶段将图片送入卷积神经网络进行特征提取，并在最后层通过区域提名网络，生成候选的目标定位框第阶段对每个定位框进行分类和定位框边界回归，同时增加个小型全卷积网络分支进行掩码的预测，得到目标回归框类别结果和掩码框架的原理如图图框架原理图以为基础，构建用于检测空间结构网架中杆件的卷积神经网络由实测采集与网络搜集两种途径得到了张网架结构的图片，人工标注图片中的所，语义分割则是对图像进行像素级别的理解，给出每个像素的类别结果建立了卷积神经网络框架进行手写字符分类识别，使用卷积层提取图像特征，使用池化层进行降维处理，并通过函数进行中间层激活，以此模拟人类视觉信息处理神经元系统在此基础上，引入了作为激活函数，并实现了双的并行计算，显著提升了识别的速度与精度通过区域提名网络产生建议窗口，并与目标检测网络共用卷积层，实现了高效的目标检测文献提出了实例分割框架，该方法在的基础上双目视觉与图像识别基础上网架结构三维重建建筑基础科学论文在多个视角下对结构进行摄影测量，得到的节点坐标结果需经过坐标转换统坐标系图设点在两个空间直角坐标系下的坐标分别为和，维坐标转换模型为其中为缩放比例，为空间平移变量，为旋转矩阵，可由坐标系绕旋转的角度表示因此在坐标转换模型中，共有个平移参数个旋转参数和个比例参数若有个以上的公共点，即可利用最小乘法解算以上转换参数但由于矩阵中的其余个参数是关于旋转参数的非线性函数，因此直接解算式非常复杂当旋转角度较小时，旋转成像面的图像坐标系为，像素坐标系为，相机镜头的有效焦距为同理，右相机坐标系为，图像坐标系为，像素坐标系为，有效焦距为，世界坐标系设为图双目立体视觉测量模型由左相机内参数可得像素点与成像面的图像间的尺度关系，表示为其中为图像原点坐标由摄像机透视变换模型，可以得出成像点与其对应的空间点的维坐标关系相机坐标系与世界坐标系可通过旋转矩阵和平移矩阵进行转换球节点及杆件并进行结构维重建的方法本文采用双目视觉测量技术进行球节点球心位臵的测量，对于多次测量下的球节点坐标结果，采用任意旋转角下的维坐标转换模型实现坐标系的统双目测量及坐标转换的理论模型详述于第节第节简述图像识别及其主流框架的发展，介绍了框架的实例分割原理以及针对杆件的实例分割网络的实现，并基于以上识别结果进行球节点连接关系的判断第节详述维重建方法的技术流程，并对正放角锥网架结构模型进行维重建实测试验，初步验证由双目视觉技术进行网架结构维重建方法的可行性基于双目视觉的球节点定位节点是空间结构中十关键词维重建双目视觉坐标转换实例分割网架结构我国空间结构发展迅速，且广泛应用于大型公共建筑，如大型体育场馆交通枢纽站等，此类结构的安全性对人员安全社会公共利益等有重大影响，为确保其在服役期内处于安全稳定的工作状态，需要对结构进行长期全面的监测和定期维护实现结构的维重建可以为结构监测提供更加丰富的信息传统的坐标测量手段主要有全站仪激光扫描仪，等，在对空间结构进行监测的过程中，由于空间结构跨度大构件数量多结构形式复杂等原因，传统方法仅能实现对有限数目的关键测点的测量，难以实现整体结构的维重建计算机视觉使用摄像机和度学习的空间结构球节点位移测量方法杭州浙江大学，宋燕飞，罗尧治，沈雁彬，蔡朋程基于双目视觉与图像识别的网架结构维重建空间结构，基金国家重点研发计划项目国家自然科学基金项目双目视觉与图像识别基础上网架结构三维重建建筑基础科学论文。摘要计算机视觉使用摄像机电脑等设备实现对维场景的识别理解与重建基于计算机视觉领域中的双目立体视觉技术与图像识别技术，提出种针对网架结构球节点及其连接关系的维重建方法采用双目视觉技术对被测结构进行拍摄，由双相机的相对位臵关系以及球节点在图像中的位臵，计算球心坐标，实现球节点的维量的轴坐标值，若该点在第次测量的视线范围中，则剔除其在后次测量中的值坐标对多次测量的球节点坐标值取平均，得到最终的测量坐标结果，误差如表所示绝对误差最大值为，出现在号球节点的轴坐标值，在第次及第次测量中均对该球节点进行了拍摄，但由于两次测量的相机视线平行，且平行于轴，故该点的轴坐标值精度较低表测量结果误差结论本文提出了基于双目视觉技术与图像识别技术的网架结构维重建方法，使用双目相机作为图像采集仪器，对被测网架进行拍摄，由双目立体视觉测量模型得到网架的维空间位臵信息引入深度学习网络进行结构中球节点及杆件的自量时有两个球节点与其他球节点光照情况差异过大导致该区域过曝未能测量到其位臵外，其余测量过程均成功识别到相机视线内的全部球节点连接判断的准确率相对较低，主要原因是些杆件，尤其距相机距离较远的杆件，受其前面的结构构件遮挡严重，杆件图像识别网络未能成功识别到，但在多次不同视角的测量下，结构的全部球节点及杆件均被成功测量并识别图单次测量识别结果图维重建模型图表测量结果识别准确率为验证本方法的可靠性，使用徕卡全站仪对网架球节点的球心坐标进行测量对每个球节点测量其表面个点的坐标值，以此拟合球面，计算其球心坐标将全站仪测量结果量结果的坐标系的统，最终得到网架的维重建模型图结构正视图与俯视图试验方案及结果对正放角锥网架进行测量，其空间尺度约为，上下弦杆及腹杆长度均为，杆直径为，上弦杆有根，下弦杆根，腹杆根网架模型共个节点，均为螺栓球节点，直径为所示，图中上下弦杆由实线表示，腹杆由虚线表示采用非接触视觉测量仪进行图像采集工作，仪器包含两台专用数字摄像机高分辨率镜头系统控制器脚架等根据摄像机至网架的距离，镜头焦距选用由于试验场地限制以及杆件遮挡的影响，对网架结构共进行次拍摄测量，单次测量视野中至少包含个控制点将每次采双目视觉与图像识别基础上网架结构三维重建建筑基础科学论文重建引入深度学习网络进行重建过程中的球节点识别定位工作，并对图像中的杆件所在区域进行语义分割，由此判断节点间的连接关系相机单次拍摄视野受相机视角和相机至被测物的距离所限制，而网架结构多用于大跨度建筑，对网架结构的双目视觉测量往往需要进行多次图像采集工作对于多次测量下的球节点坐标结果，采用任意旋转角下的维坐标转换模型，实现多次测量结果坐标系的统通过对正放角锥网架结构模型进行实测试验，实现了对该网架模型的维重建，验证了由双目视觉技术进行网架结构维重建方法的可行性双目视觉与图像识别基础上网架结构三维重建建筑基础科学论文测量技术及其在工程测量中的应用地矿测绘，罗尧治，丁慧基于扫描的空间网格结构建模全国索结构技术交流会，北京，白成军维激光扫描技术在古建筑测绘中的应用及相关问题研究天津天津大学，叶肖伟，张小明，倪清，等基于机器视觉技术的桥梁挠度测试方法浙江大学学报工学版，章炜机器视觉技术发展及其工业应用红外，陈志华，吴锋，闫翔宇国内空间结构节点综述建筑科学，罗桂娥双目立体视觉深度感知与维重建若干问题研究长沙中南大学，陈义，沈云中，刘大杰适用于大旋转角的维基准转换的种简便模型武汉大学学报信息科学版，王江基于机器视觉和深位点，杆件的位臵信息获取转换为图片中任意两球节点间有无连接关系的判断判断过程如图所示由球节点识别模块与杆件实例分割模块对拍摄图像分别进行信息提取，得到球节点的像面坐标以及杆件的掩码信息对图像中任意两球节点的连线与杆件掩码信息进行对比，设定阈值对连接关系进行判别本文采用当以上的连线处于杆件掩码区域内时，判定两球节点相连否则认为这两个球节点间没有杆件进行连接对于更为复杂的情况，例如杆件共线遮挡等，可利用球节点掩码信息拍摄方位以及已知图纸信息制定附加规则图节点连接关系判断示意图维重建方法实现及试验验证维重建测量流程基动识别最终实现对网架结构的自动高效的维重建主要结论如下针对双目视觉测量中单次测量视野受限的问题，采用任意旋转角下的维坐标转换模型，实现了对多次测量结果的拼接基于实例分割方法开发了针对空间结构球节点及杆件的识别模块，可以自动进行图像中结构构件的语义提取，并结合球节点的定位结果完成球节点连接关系的判断通过网架模型的实测试验，实现了网架的维逆向建模，验证了本文方法的可行性参考文献罗尧治，沈雁彬，童若飞，等空间结构健康监测与预警技术施工技术，高俊强，陶建岳利用免棱镜全站仪进行地铁隧道断面测量与计算测绘通报，赖继文为真实值，计算维重建方法测量结果的误差，以评价本文方法的测量精度全站仪测量结果以及维重建测量结果如表所示表节点维坐标测量结果由于在双目视觉测量过程中，两相机的光轴方向夹角较小，在深度方向的测量精度相较像面内方向的误差更大对此可在测量过程中考虑适当增大相机光轴的夹角，或可从相互垂直的两个方向对球节点进行拍摄，以剔除纵深方向的误差影响本次试验中，为减小双目测量在深度方向的误差，相机拍摄视线包含沿正轴与负轴的两个相互垂直的视线，其中第次拍摄视线沿正轴，后次拍摄视线沿负轴方向剔除第次测量结果的轴坐标值对于后次测集的网架图像分别导入球节点识别定位模块与单元连接判断模块，得到单次测量下的球节点坐标及其连接关系在视野范围内布设个控制点，并以其中个控制点作为原点，以正南方向为轴，正东方向为轴定义统坐标系采用坐标转换模型将结果整合至设定的统坐标系下，得到网架的维重建模型，详细流程见图，具体计算过程参见前两节内容次测量的识别结果及最终重建模型如图图所示次测量结果以及最终模型的识别准确率如表所示，表中应测节点数为双目测量视线范围内的球节点数量，应测连接数为图像中所有球节点间存在连接关系的数目可以看出，球节点识别准确率较高，除第次测于