者提出了自己看法，并对各个领域视频或者通用视频进行了尝试，大致把视频分成四个层次帧镜头场景视频，有些为了更好地从物理镜头到语义场景过渡，在镜头和场景中间增加了镜头组中间层次。万方数据基于情境和效用视频结构挖掘这些方法主要区别在于对镜头特征选取不同。视频与图像相比，增加了时间特征运动特征和音频，在选取镜头特征时，除了静态图像特征主要表现在关键帧特征外，还必须选取相关时间运动特征如镜头间活动性，否则就不能反映视频动态变化。除了这两部分必须特征外，为了提高结构挖掘性能和健壮性，有时还需要辅之以音频文字识别语音识别人脸探测等。采用聚类算法及处理方式不同，在挖掘过程中般要用到次到两次聚类如镜头聚类镜头组聚类场景聚类等，有些简单地采用传统数据聚类算法直接聚类有些根据视频时基特征，采用带时间约束聚类算法，并且对时间度量函数也不样，有些采用时间窗，映射到逻,万方数据基于情境和效用视频结构挖掘,万方数据基于情境和效用视频结构挖掘目录摘要目录第章绪论研究背景视频结构挖掘研究现状视频结构挖掘相关理论基本概念视频挖掘概念视频结构挖掘概念视频挖掘主要技术路线及难点视频挖掘主要技术路线视频挖掘难点研究内容及结构安排研究内容结构安排第二章视频基本结构挖掘视频基本结构视频镜头分割像素比较法基于直方图算法基于直方图算法关键帧提取基于镜头边界方法基于视频内容方法基于运动特征方法基于聚类方法基于压缩域方法其他方法基于情境镜头分析万方数据基于情境和效用视频结构挖掘视频场景分割时间受限聚类方法时间自适应分组法镜头重叠链接算法效用函数第三章视频结构语法挖掘视频结构语法视频数据预处理镜头分割特征提取视频结构模式挖掘传统关联规则挖掘视频结构关联规则挖掘视频结构语法模式分析第四章视频结构语义挖掘视频结构语义镜头语义概念挖掘视频高层结构语义事件挖掘第五章实验与结论视频基本结构分析读取视频基本信息视频镜头处理视频场景处理视频基本结构目录视频语法分析本章小结第六章结束语参考文献附录攻读硕士学位期间发表学术论文致谢万方数据基于情境和效用视频结构挖掘第章绪论研究背景随着信息技术发展，图像视频等多媒体数据已逐渐成为信息处理领域主要形式。近年来，基于关系数据库数据挖掘，在理论研究和实际应用方面都取得了长足发展，有力促进了视频等非结构化多媒体数据挖掘研究。多媒体数据获取和采集技术高速发展，推动了多媒体数据库巨大增长。多媒体数据挖掘主要处理隐式信息提取多媒体数据关系或者其他没有显式存储模式。由于非结构化特点，多媒体数据管理成为数据挖掘领域重要任务之，其主要挑战就是处理多媒体数据复杂结构，例如图像多媒体文本信息视频和音频数据等。年月，小组举办了首次以“视频挖掘”为主题国际会议。较有影响国际会议从年开始举办“多媒体数据挖掘和管理”国际专题研讨会，国际会议也从年开始举办“视频挖掘”国际专题研讨会。由此可见，视频挖掘在国外科研单位已经受到较为广泛重视。视频是种视觉时基媒体，其中蕴涵着大量潜在信息和知识，面对越来越多视频资源，人们迫切需要从大量视频中快速有效发现这些信息和知识。过去大量研究放在基于内容视频信息检索方面，虽然在种程度上解决了信息检索和信息资源发现问题，但是仅仅从信息存取这个层次对于些问题解决是不够，不能从视频数据中分析出有价值知识。为此需要更高层次研究新方法，也就是视频挖掘。视频挖掘就是在对视频数据及其内容尽可能不做前提要求情况下，从大量视频数据中，发现有效新颖有价值可理解模式，即知识，得出事件关联和发展趋势，为用户提供求解层次辅助能力。视频信息结构化是有效视频信息库及其信号处理关键，过去虽然有很多方法来分析和结构化视频，但只能获得视频基本结构，很难抽取视频结构中语法和语义信息，缺乏视频内容结构语法和语义描述。本课题研究针对视频内容结构语法和结构语义，能够从更高层次表现视频构造模式和知识，实现视频快速随机接入。万方数据基于情境和效用视频结构挖掘视频结构挖掘研究现状数据挖掘概念和方法融入多媒体领域后，关于多媒体数据挖掘研究相继出现。具体如医学图像挖掘卫星图像挖掘电影视频挖掘交通监控视频挖掘等。部分学者认为提取视频内容及其语义信息就是视频挖掘，而有学者则认为视频内容模式才是视频挖掘结构。视频数据作为多媒体数据挖掘个内容，作为数据挖掘新研究方向，其形成时间比较短，虽然已经有很多研究视频挖掘方面文献甚至原型系统，但是很少有文献能够全面探讨视频挖掘研究范围，其概念定义还不能够非常统和明确。下面介绍视频结构挖掘国内外研究现状。研究小组在年月，该小组专门就视频挖掘主题举办了次国际会议。部分学者认为视频挖掘技术就是视频流基于内容分析快速有效通用方法。该小组目前在研究音频挖掘以及交叉特征挖掘，认为音频挖掘可用于语音视频，交叉特征挖掘可以根据场景中视频和语音特征提取出知识，从而解决人物标识问题。三菱电子研究实验室该小组根据数据挖掘技术也提出了视频挖掘概念，认为视频挖掘就是从视音频中无监督挖掘各种人们感兴趣模式。挖掘过程是在尽可能不需要先验知识前提下进行内容自适应处理或弱监督处理。大学数字视频与多媒体实验室该小组从年开始关注语义事件模式挖掘，认为利用层次化模型或聚类统计等方法就可以进行无监督挖掘。大学多媒体信息组该小组认为认为视频挖掘就是从大规模视频数据库中找出预先不知道关联关系和模式过程。大学计算机与信息科学系该小组认为视频挖掘就是采用些图像和视频处理技术，从视频中提取信息，例如相似视频查找以及特定事件检测。国内视频挖掘技术研究仍处在起步阶段，文献认为视频挖掘就是通过综合分析视频数据视听特征时间结构时间关系和语义信息，发现隐含可理解视频模式，得出视频事件趋势和关联，提高视频管理智能程度。从视频结构挖掘来看，尽管没有对视频结构挖掘提出系统概念框架，在视频基本结构方面还是有不少学者提出了自己看法，并对各个领域视频或者通用视频进行了尝试，大致把视频分成四个层次帧镜头场景视频，有些为了更好地从物理镜头到语义场景过渡，在镜头和场景中间增加了镜头组中间层次。万方数据基于情境和效用视频结构挖掘这些方法主要区别在于对镜头特征选取不同。视频与图像相比，增加了时间特征运动特征和音频，在选取镜头特征时，除了静态图像特征主要表现在关键帧特征外，还必须选取相关时间运动特征如镜头间活动性，否则就不能反映视频动态变化。除了这两部分必须特征外，为了提高结构挖掘性能和健壮性，有时还需要辅之以音频文字识别语音识别人脸探测等。采用聚类算法及处理方式不同，在挖掘过程中般要用到次到两次聚类如镜头聚类镜头组聚类场景聚类等，有些简单地采用传统数据聚类算法直接聚类有些根据视频时基特征，采用带时间约束聚类算法，并且对时间度量函数也不样，有些采用时间窗，映射到逻,万方数据基于情境和效用视频结构挖掘,陆海斌,杨卫平基于镜头和情节视频非线性组织计算机学报,彭德华,申瑞民,张同珍基于内容检索中视频分割技术及新进展计算机工程与应用庄越挺,潘云鹤,吴飞网上多媒体信息分析与检索清华大学出版社郭威基于内容视频检索中关键帧提取方法研究及实验系统开发吉林大学,黄昆仑,白蔚视频帧率上转换技术综述数字通信世界万方数据基于情境和效用视频结构挖掘,栾悉道,谢毓湘,应龙,基于模型新闻视频摘要技术研究系统仿真学报,ń,文军,曾璞,徐建军,多模态特征融合新闻视频故事分割方法小型微型计算机系统姜帆,章毓晋新闻视频场景分段索引及摘要生成计算机学报万方数据,万方数据基于情境和效用视频结构挖掘,基于情境和效用视频结构挖掘摘要多媒体技术快速发展产生了大量视频数据，人们对视频信息使用已越来越频繁，但由于视频长度及其非常丰富内容使得很难对视频进行高效浏览和查找。因此，我们希望建立个目录型视频结构，将整个视频划分为若干层级，对些关键信息建立索引，使用户可以像浏览书本目录结构样浏览视频，快速选择所需要内容。多媒体技术发展也促使各高校逐渐加大使用视频方式记录校园内发生诸项事务，本文针对校园内拍摄原始视频素材，提出种基于情境和效用视频结构目录生成方法，经过镜头边界检测基于情境镜头处理关键帧提取场景聚类计算各场景效用值，生成视频基本结构目录，并在此基础上进行视频结构语法挖掘。本文创新点如下提出基于情境镜头处理。视频作为种时基媒体，具有很大不稳定性，摄像机移动和镜头动作并没有统化标准和规范，拍摄出新闻素材不免有些“废镜头”。视频素材通常占很大空间，在处理时也用时较长，通过基于情境镜头处理，分析镜头时长与关键帧之间关系，能够有效去除这些“废镜头”，提高后续分析效率。提出通过构造效用函数，计算各场景效用值来生成视频基本结构目录。通过镜头分割基于情境镜头处理关键帧提取以及场景聚类得到各场景，通过构建效用函数，计算各个场景效用万方数据基于情境和效用视频结构挖掘值，并通过设立合理阈值，可以获取对于表达视频整体内容更有意义场景来构建视频目录。在视频基本目录结构之上，利用多层次分析和多模式融合方式来分析视频结构语法和语义，将镜头场景中提取多模式特征图像声音文字作为后续语义提取模型输入，并将高层语义分解成系列可识别低层原型，及各低层原型和高层语义约束关系，低层基本事物与低层特征可直接产生映射，以此来解决视频低层特征到视频高层语义之间“语义鸿沟”。综上所述，论文主要工作集中在基于情境和效用视频结构挖掘，建立了视频结构目录，从视频基本结构结构语法和结构语义三个层次探讨视频挖掘方法与应用。这些成果具有定实践价值，对于校园内视频数据挖掘产生积极影响。关键词视频结构挖掘情境效用函数视频目录语法挖掘万方数据基于情境和效用视频结构挖掘,万方数据基于情境和效用视频结构挖掘