．，．，．，，．，．，．，．，．，．，．，，曲明．，．，．，．浙江工业大学硕士学位论文．,．，．，．，．，．，,．，．，．，。，．，．，．，．，．，．，．，．，浙江工业大学硕士学位论文致谢在本文结束之际，谨向所有帮助和支持我的老师和同学致以诚挚的谢意!感谢我的导师陈胜勇教授在这两年的硕士时光中给予的悉心指导与关怀。在我学习的过程中陈老师给了我巨大的支持和帮助，我的每个进步，都凝聚着陈老师的心血。陈老师以敏锐的洞察力渊博的知识严谨的治学态度和生活朴实的作风为我树立了工作与学习的榜样，在科研学术上给予了我充分的思考空间，并且时常创造性的让我表达自己的想法，这些锻炼将使我受益匪浅。在此，谨向陈老师致以我最真诚的敬意!同时，感谢边林洁老师，王鑫老师，刘盛老师，张剑华老师在学术上的谆谆教导，在科研和竞赛项目中给与了我宝贵的意见，在学业和生活上对我的悉心照顾。感谢管秋老师和其他研究组老师在我的日常研究报告和论文答辩过程中提出的宝贵意见和建议，值此本文完成之际，谨向老师们表示深深的感谢!感谢视觉研究组实验室学识渊博风趣幽默的师兄弟们，因为能和你们在起，我的科研时光才能够更加的丰富多彩。感谢王月辉，童汉阳，邵琪克师兄在我刚进实验室给予我的关心和照顾，感谢我们实验室级的位好兄弟，实验室同学们的内部讨论，激发了我很多研究的灵感，特别是毛小俊张自然金俊杰，通过和他们的沟通交流，为我的课题研究以及论文撰写提供了极大的帮助，感谢再次感谢实验室所有的师兄弟们!感谢浙工大航模队的队员们，作为队长感谢他们直以来对我工作的支持，没有他们的努力和坚持，航模队不会有现在的规模，很多项目和试验也不会如此的顺利作为战友，感谢团队成员大家相互的鼓励，帮助，让我体验到了团队的温暖和强大的凝聚力。最后，我要将此文献给我最亲爱的父母和家人，是他们给了我继续深造学习的条件，感谢家人直对我的支持与鼓励，让我不断克服各种困难，他们永远是我人生路上奋进的动力!感谢直默默鼓励支持我的女友，是她让我体会到责任，有了前行的动力，是她路的陪伴，让我体验幸福。祝他们身体永远幸福安康!浙江工业大学硕士学位论文参加的科研项目攻读学位期间参加的科研项目和成果面向移动目标的智能化视频侦查综合平台联合研发，国家科技计划港澳台科技合作专项，．。机器视觉与图像理解，国家自然科学基金，。超精度视频内容三维重建，国家自然科学基金，．。机器人自主视觉行为规划和复杂环境三维建模，浙江省自然科学基金，．。基于无人机航拍图像的室外场景三维重建技术研究作者谢榛学位授予单位浙江工业大学本文链接。特征检测算法．特征提取算法由于年提出，该特征建立在尺度空间理谢的基础之上，其具有尺度不变性，旋转不变性，对于光照变化和图像几何变换也具有很强的鲁棒性。特征点提取过程可以分为尺度空间建立及图像极值检测特征点精准定位计算特征方向构建特征描述子。具体过程在多篇论文中都有阐述，在此不做浙江工业大学硕士学位论文过多的说明。在的基础上出现了，等改进算法，主要在时效性上对进行了改进，同时对强化了对光照的鲁棒性，改进了在模糊和宽基线场景下表现。特征点检测分析考虑到无人机航拍图像视点高，视角广，无法人为的控制光照，存在定的运动模糊的特点，同时考虑户外场景重建的主体大都为建筑物等几何构型明显的物体，根据以上特征提取算法的特点，对其进行处理时效和特征点分布的试验，以得到种能够较好的应用与航拍图像特征提取匹配的算法。，萨，图．多种特征提取算法校园航拍图像测试结果浙江工业大学硕士学位论文表．多种特征提取算法结果比较对照组图书馆理学楼运行时间特征点运行时间特征点个数个数在航拍图像的对照试验中，用两组校园航拍图像进行试验分析，从算法效率比较，算法处理效率较高，其次，最慢，但若使用基于的那么从效率上来说则具有定的优势。从整体特征提取效果比较，各个算法提取的特征点分布类似，基本能找到关键区域的关键点比如建筑物中多边形的角点亮暗区别明显的部位。对于细节部位进行对比，算法的特征点相对更加丰富，边缘性较好，算法角对于型的特征提取效果比较好，算法提取特征点的提取效果般，但在尺度和旋转不变形上具有明显的优势。根据以上测试特出针对航拍图像，各个算法具有各自定的优势，介于提取特征点的尺度，光照不变形比较符合航拍的特点，同时用加速或者基于其改进的弥补其速度效率上的不足。考虑到和算法对于建筑物的几何特征提取上有定的优势，根据重建场景的差别，也可以将和作为本文重建系统的特征检测算法。同时为了更好的的能够体表征出建筑物的几何外形，同时提升算法的效率和匹配率，本文根据以上的实验结果提出了基于直线分割检测特征点提取算法改进。基于直线分割检测特征点提取算法改进直线作为基础的图像信息，可以作为基础的工具用来分析相对复杂的图形。可以用来协助处理计算机视觉，图像处理的相关的问题，如立体视觉分析，碰撞检测”，图像理解和卫星图的索引化阳。线段检测是个已经经过较长研究了的计算机视觉问题。般标准的方法是先用边缘检测算法检测边缘特征点，然后利用变换将超过阂值的边缘作为线段。但变换存在着些较大的缺陷，如它并没有考虑边缘点的方向，阂值调整繁琐，同时在检测边缘密度较大图像的时候会有较多的误检测。近几年在这个问题上出现了有较大改进的算法，如．把阈值的问题进行了深入的研究，在控制误报率上有较多大的改进。该方法基于霍尔木兹原理，根据最小外接矩形内的所有浙江工业大学硕士学位论文像素数和其内的对齐点数的比例，来判定这个是否是个直线段。判定的准则使用的是和方法。．在此基础上，根据．根据领域的梯度方向确定线段的思想，提出从个像素到线段的像素合并，并加入误差控制，提出了，种线性时间复杂度，精度高，误报率低并且无需人为调整参数的线段分割算法。在此基础上，本文提出种基于直线局域控制的特征检测优化算法，结合的线段检测的思想，首先获得待重建场景的几何边缘信息，将其作为特征点检测的先验知识，用以改进航拍图像中建筑物等几何结构明显场景的边缘特征点提取。基于直线局域控制的特征检测优化算法主要流程图．直线局域控制的特征检测优化算法主要流程图其中关键步骤如下将像素与其领域内具有相同或满足定倾斜角阈值的像素点包括在同直线支持区域内。第步主要进行的是个区域生长算法。图．展示了该过程。每个区域开始只有个象素，计算图像中各个区域的梯度角度为在该象素角度。然后，以个像素为起点，测试其领域，领域中与起点像素有类似方向的像素则该被添加到的直线支持区域。之后以此迭代，在每次迭代中，该区域的角度由区域中所有像素的角来定义，如公式．所示。篇㈣Ⅲ浙江工业大学硕士学位论文图根据像素梯度方向分布图将近似方向的点包含到同个直线支持域根据直线支持区域估计得到最优近似的线段区域。该想法最早由．提出，用质心是用来作为这个矩形的中心，并且将转动惯性轴作为矩形的方向。梯度幅值被作为像素的质量，所以梯度大的点更加对应于边缘。验证直线支持区域中的各线段。对于条线段，验证的步骤就是计算对齐的点的数量，对齐点指的是具有和直线方向有类似角度的点，这个角度差小于。将图像上所有的潜在的线段进行该测试，那些满足对齐点数阈值的线段将保持为有效的线段。通过以上的方法，可以提取出图像中的线段。这类线段能够表征场景的几何信息，但同时也存些误检测的线段。根据建筑物自身的特点，利用长度阈值来筛选以检测出的线段，提取满足长度阈值的线段，然后由这些线段及其领域组成特征提取的先验区域。利用特征提取算子在先验区域进行特征点的检测，将特征点用描述子进行特征描述。誊薰口弱黼姗舶轴。图．图书馆航拍图线段检测后统计的线段长度直方图图．直线检测结果左图和根据长度阈值剔除噪声线段后的结果右图结合优化过后的线段检测结果，能够较好的表征建筑物场景的边缘信息。浙江工业大学硕士学位论文．算法的实验对比与分析采用算法进行特征提取，挑选了多组航拍图像进行测试。测试组中的图未使用直线区域先验控制，图使直线间区域先验控制。各组的测试结果如下原图直接提取直线区域约束后提取直线提取后形成的直线区域模板图图书馆正面直线区域先验控制下的特征提取结果原图直接提取直线区域约束后提取图书馆背面直线提取后形成的直线区域模板图．图书馆背面直线区域先验控制下的特征提取结果浙江工业大学硕士学位论文原图直接提取直线区域约束后提取直线提取后形成的直线区域模板图．理学楼钟楼直线区域先验控制下的特征提取结果表．直线区域先验控制下的特征提取算法结果比较对照组无先验控制直线区域先验控制特征点个数特征点个数图书馆正面图书馆背面稻理学楼钟楼根据以上测试，由于使用的是特征提取算法，提取的时间相差不大，但经过直线区域先验控制，原图中非建筑物边缘的特征基本被滤除，特别是些树木，远处的背景等。浙江工业大学硕士学位论文．本章小结本章主要研究了图像预处理的相关理论，将航拍图像能够适用于般的框架中。本文提出了种分层筛选的关键帧筛选方法，能够将从航拍视频中筛选出适合三维重建的关键帧，通过实验得出结论关键帧的提取能够提升三维重建的效率，并且在定程度上提升细节的精度。针对关键帧提取，本章研究了现有常用的特征提取算法，提出了种基于直线区域先验的特征提取方法，提升了建筑物几何信息的表达，同时提升了算法效率。浙江工业大学硕士学位论文第章三维重建系统实现及结果分析．系统框架系统三维重建流程航拍获取的图像可以较好的适用于重建框架，但也有些需要调整和注意的地方。基于目前相对成熟的方法框架，结果将航拍图像进行预处理，使得可以较好的应用于框架。系统的重建流程如图．所示图．基于航拍图像的三维重建系统流程系统开发框架航拍图像室外场景三维重建系统整套框架可以分为三个部分无人机图像采集端，移动控制端，服务器图像分析处理端。各部分具体功能如下无人机图像采集端包含飞行器部分和机载图像采集部分。可以根据控制端指令完成飞行，获取待重建场景航拍图像。服务器图像分析处理端对于输入的航拍图像尽心进行分析运算，包括关键帧筛选，特征提取与匹配估计相机参数和场景稀疏重建，场景稠密重建并将结果返回给展示呈现端。移动控制端负责进行与飞行器的交互，作为地面站控制系统，同时可以作为三维场浙江工业大学硕士学位论文景的展示端，显示重建结果，实现部分交互操纵。无人机飞行器及机载设备数据传输设图像处理系统及控制系统图．基于航拍图像的三维重建系统架构．系统主要模块系统开发框架在前几章对图像序列三维重建方法分析改进的基础上，本文结合航拍图像三维重建的特点设计实现了套完整的三维重建系统，在第四章对于无人机飞行器及地面站控制系统已经进行了阐述，本节对软件系统的框架及开发环境进行进步的介绍。本文基于无人机航拍图像的室外场景三维重建系统的重建部分主要分为三个图像预处理，特征提取匹配，相机估计及稀疏重建和稠密三维重建四个部分。图像预处理部分主要包括从