数据量急剧膨胀今天显然是个挑战。设想个用户搜索其他用户上传有关篮球运动视频，那么他搜索结果只会是那些已经被标注为“篮球”视频，而大量没有被标注视频是不会被搜索到，因此基于内容而不是文本标注图像和视频检索成为个重要发展趋势。基于内容视频检索技术是由用户提供检索样本，系统通过处理获得样本特征并在数据库中进行相似性匹配，返回检索结果过程，现有检索方法有基于关键帧和基于片段方法等。此外，基于视频人体行为识别在运动分析虚拟实现医疗辅助等方面也有广泛应用，这里不再详细介绍。国内外研究现状正是由于人体行为识别技术广阔应用前景，这领域正受到越来越多研究者关注，也受到政府和行业支持。美国国防高级研究项目署主导以大学等众多高校参与视觉监控项目，研究用于军用及普通民用场景自动视频监控技术。万方数据目录第章绪论研究背景与意义国内外研究现状行为识别般框架相关工作介绍行为识别问题挑战性本文内容和结构第二章时空兴趣点检测与运动区域提取时空兴趣点检测角点检测兴趣点检测特征点检测运动区域提取时间差分法背景减除法光流法本章小结第三章运动背景中时空兴趣点检测光流场计算光流法金字塔光流法块匹配光流法兴趣区域提取运动检测轮廓提取本章小结第四章兴趣点特征描述局部特征描述子描述子描述子描述子描述子兴趣点光流轨迹本章小结第五章基于词袋模型行为建模词袋模型词典构建均值聚类最大互信息聚类支持向量机分类器实验分析常用数据库介绍实验分析本章小结万方数据第六章总结与展望工作总结未来展望参考文献附录攻读硕士学位期间撰写论文致谢万方数据南京邮电大学硕士研究生学位论文第章绪论第章绪论视觉是人类获取信息主要途径，人类通过感观获取认知信息中约有来自视觉。随着科技进步，人们希望机器也能获得看和理解能力，即通过摄像机和计算机获取相关视觉信息，并建立具有环境感知能力人工智能系统，这构成了计算机视觉主要研究内容。人体行为识别是计算机视觉领域中重要研究课题，它通过对视频数据处理和分析，使计算机能够自动理解场景中目标行为并用自然语音描述出来，是沟通底层数据和高层语义理解桥梁。研究背景与意义计算机和互联网深刻影响着我们生活。随着摄像机手机和其他具有摄像功能终端设备普及，网络上视频和图像数据呈爆炸式增长。据报道，年用户每分钟上传到视频时长达到小时，相比年前小时增长了，相比五年前小时增长了倍。另方面，视频监控系统也在我们城市交通公共安全工业生产中发挥着越来越重要作用。年，我国城市报警与监控系统“工程”建设完成，监控摄像头遍布大街小巷，昼夜不停监视和录像，在改善社会治安同时，也产生了海量视频数据。尽管视频数据量增长是惊人，但是对这些视频数据分析工作仍然有限，目前计算机视觉系统分析处理能力远不能满足需求，例如在大型数据库中检索些特定镜头仍需要人工查找，互联网上视频搜索也几乎全部依靠文本标注，如何让计算机自动“理解”视频内容成为项紧迫任务。人类活动总是视频记录主要内容，人体行为识别受到越来越多研究者关注。顾名思义，人体行为识别就是通过对视频数据进行整理计算和分析，从数据中提取人动作行为和事件，进而让计算机获得视频数据理解能力。基于视频人体行为识别应用广泛，典型应用有智能监控人机交互视频检索等，下面分别对它们进行简要介绍。智能监控视频监控系统应用广泛，如道路交通行人车辆监测，重要机密部门安全保卫，公共场所事态监控等。传统视频监控采用人工监视和事后查验方式。个视频监控系统通常有多个摄像头，监控人员在面对多个监控画面时往往力不从心，而由于人力限制，更多视频数据被保存起来等待事后查验，使得监控处于“监而不控”状态，不能在第时间阻万方数据南京邮电大学硕士研究生学位论文第章绪论止突发事件，而且事后需要查看大量视频资料才能找到需要信息。为了解决这些问题，智能监控系统受到越来越多重视。智能监控系统可以自动实时不间断对视频画面进行监视，对场景中目标进行检测识别跟踪和分析，发现特定异常事件如越界游荡遗留逆向运动等并发出警报，不仅能为用户提供实时高效信息，减少人工成本和数据存储压力，还能提醒相关人员在第时间处理异常事件。人机交互人机交互是指人与计算机之间通过种方式进行信息交换，完成操作与反馈过程。语音识别技术丰富了人机交互方式，可是在些场合例如在嘈杂环境中，人们希望机器也能够识别出人动作指令并做出反馈。基于动作识别人机交互方式得到了广泛关注，并逐步走进我们生活。年月微软为其游戏主机发布体感设备，它是种三维体感摄像机，同时融入了即时动态捕捉人脸识别语音识别等功能，可以精确追踪用户动作，用户仅用动作就可以完成和主机互动。基于这项技术，最近微软亚洲研究院和中国科学院计算机技术研究所合作，通过研发个手语识别系统，能够把手语动作转换为常人能够理解语言。视频检索目前文本检索技术已经相对成熟，但是对于图像和视频检索仍然依靠文本标注，这对视频数据量急剧膨胀今天显然是个挑战。设想个用户搜索其他用户上传有关篮球运动视频，那么他搜索结果只会是那些已经被标注为“篮球”视频，而大量没有被标注视频是不会被搜索到，因此基于内容而不是文本标注图像和视频检索成为个重要发展趋势。基于内容视频检索技术是由用户提供检索样本，系统通过处理获得样本特征并在数据库中进行相似性匹配，返回检索结果过程，现有检索方法有基于关键帧和基于片段方法等。此外，基于视频人体行为识别在运动分析虚拟实现医疗辅助等方面也有广泛应用，这里不再详细介绍。国内外研究现状正是由于人体行为识别技术广阔应用前景，这领域正受到越来越多研究者关注，也受到政府和行业支持。美国国防高级研究项目署主导以大学等众多高校参与视觉监控项目，研究用于军用及普通民用场景自动视频监控技术。,万方数据南京邮电大学硕士研究生学位论文参考文献łł边肇祺,张学工模式识别第二版北京清华大学出版社ł万方数据南京邮电大学硕士研究生学位论文附录攻读硕士学位期间撰写论文附录攻读硕士学位期间撰写论文李燕王博，基于压缩感知数据压缩与检测，计算机技术与发展王博李燕，视频序列中时空兴趣点检测及其自适应分析，计算机技术与发展，已录用。万方数据南京邮电大学硕士研究生学位论文致谢致谢随着论文写作完成，我研究生生涯也即将结束。在南京邮电大学三年，是我人生中最重要时光，不仅完成了专业知识学习，个人也获得了很大成长。在这里向我老师同学及家人致以诚挚谢意。首先感谢我导师赵君喜教授。赵老师在我学习和研究过程中，给予了悉心指导和帮助，他学识渊博治学严谨，不仅教会我专业理论知识，还有求真务实认真严谨作风，使我受益匪浅。在论文选题撰写和修改过程中，赵老师也给予了极大帮助，感谢他耐心指导和谆谆教诲。还要感谢我父母。感谢你们含辛茹苦不辞辛劳养育，正是你们无私奉献爱，使我有勇气面对困难和挫折，使我有不断前行动力。感谢我同学和朋友们，有幸与你们共同学习共同进步，你们使我研究生生活丰富而多彩。最后感谢在百忙中评阅论文和参加答辩各位专家教授和老师，谢谢你们！万方数据基于时空兴趣点人体行为识别方法研究作者王博学位授予单位南京邮电大学引用本文格式王博基于时空兴趣点人体行为识别方法研究学位论文硕士单位代码密级硕士学位论文论文题目基于时空兴趣点人体行为识别方法研究王博赵君喜教授应用数学信息处理理论与应用理学硕士二零四年四月学号姓名导师学科专业研究方向申请学位类别论文提交日期万方数据万方数据南京邮电大学学位论文原创性声明本人声明所呈交学位论文是我个人在导师指导下进行研究工作及取得研究成果。尽我所知，除了文中特别加以标注和致谢地方外，论文中不包含其他人已经发表或撰写过研究成果，也不包含为获得南京邮电大学或其它教育机构学位或证书而使用过材料。与我同工作同志对本研究所做任何贡献均已在论文中作了明确说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担切相关法律责任。南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文复印件和电子文档允许论文被查阅和借阅可以将学位论文全部或部分内容编入有关数据库进行检索可以采用影印缩印或扫描等复制手段保存汇编本学位论文。本文电子文档内容和纸质论文内容相致。论文公布包括刊登授权南京邮电大学研究生院办理。涉密学位论文在解密后适用本授权书。研究生签名日期研究生签名导师签名日期万方数据摘要人体行为识别是计算机视觉领域最活跃课题之，它通过图像处理模式识别等方法，对图像或视频数据进行处理分析，从而建立底层数据和高层语义理解之间联系，在人机交互智能监控等领域有广阔应用前景。基于时空兴趣点行为识别方法是目前较为流行方法，它通过检测像素值在时空邻域有显著变化兴趣点并从中提取底层特征对行为建模。由于时空兴趣点提取是局部特征，不易受视角变化部分遮挡等影响，使这方法具有较好鲁棒性。本文采用时空兴趣点方法解决运动背景下人体行为识别问题，主要做了以下工作提出了新兴趣区域提取方法。本文兴趣区域包括光流场在时间域变速区和空间域散度场涡量场运动边界，这些区域有明确物理意义，可以反映前景运动特征。另外为了增强算法鲁棒性，将图像轮廓作为光流兴趣区域补充，用阈值控制二者影响，获得最终兴趣区域。在兴趣区域内检测兴趣点可以有效抑制运动背景影响。提出了基于兴趣点光流轨迹多特征融合方法，包括点轨迹特征描述子。它们表现了兴趣点邻域表观形状信息局部运动信息和相对运动信息，有很好区分能力并对运动背景有定抑制能力。采用词袋模型为行为建模，在词典构建时采用了二次聚类，先用均值聚类，这是基于兴趣点表观相似性聚类，然后进行最大互信息聚类，这是基于兴趣点与行为相关性聚类。两次聚类可以有效提高码本质量，得到更紧致更有区分能力词典。实验表明，本文方法可以有效提高运动背景下人体行为识别正确率。关键词行为识别，时空兴趣点，光流场词袋模型，最大互信息聚类万方数据万方数据目录第章绪论研究背景与意义国内外研究现状行为识别般框架相关工作介绍行为识别问题挑战性本文内容和结构第二章时空兴趣点检测与运动区域提取时空兴趣点检测角点检测兴趣点检测特征点检测运动区域提取时间差分法背景减除法光流法本章小结第三章运动背景中时空兴趣点检测光流场计算光流法金字塔光流法块匹配光流法兴趣区域提取运动检测轮廓提取本章小结第四章兴趣点特征描述局部特征描述子描述子描述子描述子描述子兴趣点光流轨迹本章小结第五章基于词袋模型行为建模词袋模型词典构建均值聚类最大互信息聚类支持向量机分类器实验分析常用数据库介绍实验分析本章小结万方数据第六章总结与展望工作总结未来展望参考文献附录攻读硕士学位期间撰写论文致谢万方数据南京邮电大学硕士研究生学位论文第章绪论第章绪论视觉是人类获取信息主要途径，人类通过感观获取认知信息中约有来自视觉。随着科技进步，人们希望机器也能获得看和理解能力，即通过摄像机和计算机获取相关视觉信息，并建立具有环境感知能力人工智能系统，这构成了计算机视觉主要研究内容。人体行为识别是计算机视觉领域中重要研究课题，它通过对视频数据处理和分析，