学校代码学号面向实现的视频头肩检测与跟踪算法研究专业控制科学与工程姓名肖华军指导教师赵曙光答辩日期年月日东华大学信息科学与技术学院万方数据东华大学学位论文原创性声明本人郑重声明我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品及成果的内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。学位论文作者签名日期年月日万方数据东华大学学位论文版权使用授权书学位论文作者完全了解学校有关保留使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印缩印或扫描等复制手段保存和汇编本学位论文。保密，在年解密后适用本版权书。本学位论文属于不保密。学位论文作者签名指导教师签名日期年月日日期年月日万方数据面向实现的视频头肩检测与跟踪算法研究面向实现的视频头肩检测与跟踪算法研究摘要行人检测与跟踪是智能视频分析领域中个重要的研究课题。由于人体的头肩呈现比较固定的类似形状和不易被遮挡等优点，为行人的准确检测和跟踪提供了先决条件。本文对运动人体目标的检测与跟踪问题在单个固定摄像头的场景下进行了研究与分析，其主要工作内容如下描述首先，提取运动目标方面，分析了几种典型的运动目标检测方法。对于视频监控系统中固定背景情形下，采用背景相减法提取运动目标。背景差分后，首先利用归化颜色信息消除运动目标的阴影，然后使用数学形态学方法修复前景图像和去噪。其次，头肩检测方面，针对单特征辨识度较低和头肩尺度多样性问题，本文提出了使用梯度方向直方图和局部二值模式的串行融合特征来对头肩图像进行描述，融合后的特征送入支持向量机，并且通过的方式对其进行训练，得到最终的头肩判别模型，该方法使检测效果得到了提升。然后，头肩跟踪方面，本文选用了基于粒子滤波的跟踪算法使用了加权彩色直方图当作头肩的描述方式，其利用头肩区域直方图和中心点初始化滤波器，实现了对人体头肩的跟踪。最后，针对平台，借助函数库中离线训练的万方数据面向实现的视频头肩检测与跟踪算法研究分类器进行了头肩检测算法的移植与优化的工作，取得阶段性成果。关键词头肩检测与跟踪特征融合粒子滤波算法移植与优化万方数据.,.,.,.,.万方数据万方数据目录绪论.课题研究背景和意义国内外研究现状本文主要工作与组织安排.运动目标提取与处理运动目标提取阴影去除形态学处理本章小结.头肩检测的特征提取与机器学习方法方向梯度直方图特征.局部二值模式特征.支持向量机本章小结.基于多特征融合的头肩检测样本的特征计算样本的特征计算和串行特征融合.实验流程与分析.本章小结.基于粒子滤波的人体跟踪粒子滤波理论.粒子滤波跟踪.粒子滤波头肩跟踪算法实现.本章小结.头肩检测的移植与优化软件开发平台介绍万方数据.算法的移植算法的优化本章小结.总结与展望.工作总结展望.参考文献.攻读学位期间的研究成果致谢.万方数据面向实现的视频头肩检测与跟踪算法研究绪论.课题研究背景和意义视觉是人类认知世界的重要途径。它具有很强的直观性，这是其它信息所不能替代的，计算机视觉就是视觉信息直接体现。计算机视觉的研究目的是赋予计算机拥有对场景环境进行感知理解和处理的能力，从而代替人去完成相应的工作。智能视频监控结合了模式识别图像处理与计算机视觉等学科知识对连续的图像序列进行运动目标的检测与跟踪以及对目标行为的描述和分析。视觉人体运动分析的目的是在视频序列图像中检测识别跟踪人体，并从中得到人体的运动参数，进步地可以依据得到的运动参数进行分析，对他们的行为作出理解与描述。视觉人体运动分析包含了多个学科的知识，其涉及计算机图形学图像处理模式识别人体运动最优化理论以及概率论与数理统计等学科。然而，人体的检测与跟踪是人体运动分析的个重要研究分支。目前检测与跟踪的目标包含人体的整体和局部两个方面，其中的局部目标是腿手臂头肩人脸头部。人体运动的检测与跟踪在远程视频会议智能视频分析与监控包括人脸识别异常行人分析等多个方面以及基于内容的图像存储与检索等领域都具有广泛的应用实践和潜在的商业经济价值。然而，由于人体是非刚性目标，容易受衣着姿态等的不同和周围环境的不断变化而影响，使得采用单的特征或模板来表征人体的检测性能不是很理想。同时，人体检测自身很难做到在视频图像中每帧都能准确检测到人体，这样在需要对检测到的人进行连续察看的情况下，便需要对人体进行跟踪。而运动人体的头肩部分，由于受人体运动的影响较小，且不易被遮挡，为运动人体的检测与跟踪提供了先决条件。.国内外研究现状目前，研究人员在视频序列中目标的检测与跟踪方面做了大量而深入的分析与研究，并给出了很多有效的方法，但是由于背景的变化目标的相互遮挡等多方面原因，给研究者们的工作带来很大的困难与挑战。从提取到的运动区域中将万方数据面向实现的视频头肩检测与跟踪算法研究对应于人体头肩的部分识别出来这便是人体头肩检测的任务。由于不同的运动区域可能对应于不同的运动目标，这样会导致部分的误检，于是运动目标的正确检测与识别是非常必要的。人体头肩检测是个拥有较高的理论和应用实践价值的研究课题，随着学者们的不断深入研究，各种新颖的优秀的检测方法也不断涌现。但整体来分析主要分为两大类，第类基于知识的方法和第二类基于统计学习的方法。第类的头肩检测方法通过定的先验知识规则来描述人体头肩，其中常见的先验知识有颜色肤色轮廓等，并按照这些规则判别个区域内是否包含人体头肩。第二类是种典型的头肩检测方法，该方法通过构造模板来进行人体头肩描述，其头肩模板包括颜色形状及其组合等多种形式。等人提出基于头部和脸部颜色进行建模的方法，首先利用混合高斯建模把运动目标提取出来，然后利用和颜色空间对头发和人脸皮肤建立的模型进行头部的匹配。等人提出利用骨架图的方法检测头肩，该方法首先是前景图像的提取，然后用骨架描述前景图像，接着在骨架图中找到人体的头部。等人假定头肩为俯视图像并接近圆形，通过圆检测头肩轮廓，然后把检测到的轮廓与颜色空间的颜色直方图匹配，从而实现头肩的检测与定位。在实际应用场景中，选用基于知识的方法检测准确度并不高，其主要原因是现实中的头肩颜色轮廓等先验知识存在较大差异，无法用统的形式来描述。但是我们可以选用基于统计模式识别的方法，通过对大量样本的学习来获得头肩的描述规则，自动分析头肩与非头肩的细微差别。基于统计模式识别的方法是通过对大量头肩与非头肩样本的学习得到组头肩模型参数，然后用这个模型参数来判断图像中的每个子区域是否包含头肩，从而实现头肩检测的目的。如等人提出基于特征的级联分类器和局部特征的分类器的先粗后细的筛选来检测头肩.通过级联的积分通道特征进行头肩检测等人采用和特征融合，送入构造头肩检测分类器等等。运动人体头肩跟踪问题属于运动物体跟踪的研究范畴，它其实是个状态预测问题，在视频图像连续帧之间，借助数学工具建立运动目标的轮廓纹理色彩等特征的匹配模型，其中卡尔曼滤波粒子滤波贝叶斯估计是跟踪中通常使用的数学工具，并在这些数学工具的基础上提出了许多跟踪算法。典型的跟踪方法包含以下四种基于模型区域轮廓和特征的跟踪。.,.等人提出了为人体运动学创建多层次的模型，实现视频序列中运动目标人体的跟踪。.,.等人首先采用高斯分布模型对人体和背景建模，然后将属于人体的像素分别给出其对应身体的不同部分，最后室内单人的整体跟踪是通过跟踪身体各个部分对应的小块区域来实现的。.等人选取万方数据面向实现的视频头肩检测与跟踪算法研究了以卡尔曼滤波理论为基础的主动轮廓方法来实现跟踪非刚性运动目标。.选取运动轮廓的角点作为特征点，然后对于提取的征点在连续视频图像帧之间选用以位置与点的曲率值的距离准则进行匹配以实现人体跟踪。运动人体目标检测与跟踪技术包括了计算机视觉中低层次技术的特征提以及高层次技术的图像理解知识的应用，其存在的主要难点有人体目标具有非刚体属性，其表现的姿态各不相同，对其描述很难建立个统的模型由于人体衣着与装扮的各异，此时人体轮廓有可能会被人体的背包和帽子之类的装扮明显改变，使得依靠人体轮廓形状判断的方法在定程度上会失效。在复杂场景下，行人的相互自身遮挡问题以及背景环境的变化等都会很大程度上影响人体轮廓的提取与识别。本课题旨在深入理解和掌握视频人体头肩检测与跟踪的原理和方法的基础上，分析和比较现有的常用人体头肩检测与跟踪算法，从中选择较适于实现的算法，予以编程实现实验和改进同时针对平台，对上述改进算法进行移植与优化。.本文主要工作与组织安排主要研究工作本文构建了个对行人头肩部位检测与跟踪的视频监控系统，同时在平台上对检测算法的移植和优化做了相关工作，取得阶段性成果。系统整体框架如图.所示。图.系统框架运动目标的提取本文采用了背景差分法对运动区域进行了检测，背景差分得到前景图像后，首先使用归化颜色信息消除运动目标的阴影，然后采用数学形态学方法修复前景图像和去噪，提高目标提取的准确性。头肩检测针对单特征辨识度较低和头肩尺度多样性问题，本文提出了使用梯度方向直方图和局部二值模式的串行融合特征来对头肩图像进行描述，融合后的特征送入支持向量机，并且通过的方式对其进行训练，得到最终的判别模型，该方法使检测效果得到了提升。头肩跟踪采用的基于粒子滤波的跟踪算法使用了加权彩色直方图作为头万方数据面向实现的视频头肩检测与跟踪算法研究肩的描述方式。利用头肩区域直方图和中心点初始化滤波器，最后实现了对头肩目标的跟踪。针对平台，借助函数库中离线训练的分类器进行了头肩检测算法的移植与优化的工作，取得阶段性成果。内容组织安排第章绪论。对本课题的所研究的背景意义以及国内外的研究现状进行了阐述，最后对本文的工作内容和组织安排结构给出了说明。第二章分析了目前运动目标检测的些常用的方法，基于视频监控系统中背景固定的特性，本文采用了背景差分来检测运动目标，然后采用基于彩色空间归化颜色信息消除运动目标的阴影，最后用数学形态学处理填补目标的空洞和滤噪。第三章阐述了典型的特征描述方法特征和特征，分析了其特征设计的主要思想，对机器学习做出总结。第四章提出了使用梯度方向直方图和局部二值模式的串行融合特征来对头肩图像进行描述，融合后的特征送入支持向量机，并且通过的方式对其进行训练，得到最终的判别模型，该方法使检测效果得到了提升。第五章分析粒子滤波的基本原理和算法流程，使用了加权颜色直方图作为头肩的描述方式。利用头肩区域直方图和中心点初始化滤波器，实现了基于粒子滤波的人体头肩部分跟踪。第六章针对平台，借助函数库中离线训练的分类器进行了头肩检测算法的移植与优化的工作，取得阶段性成果。第七章总结与展望