,目录目录第章绪论研究工作的背景与意义国内外研究现状和发展态势本文主要研究内容及创新点本文结构安排第二章基于的虚拟视合成虚拟视合成技术深度量化虚拟视合成概述深度图中噪声对虚拟视合成的影响视差在视点间预测编码技术中的应用本章小结第三章三维视频深度图空域维视频的优势所在，其能够利用纹理信息和深度信息生成任意视点位置的虚拟视图像供人们观看和欣赏，进而实现了视点的自由选择和视差的自适应调节。虚拟视合成技术的核心是基于深度图像的绘制技术此技术的本质是像素点从二维图像平面到真实三维空间位置的几何映射。在映射过程中，深度图和纹理图中的噪声会严重影响虚拟视合成质量，进而影响三维视频的整体质量。本章首先对虚拟视合成技术进行比较详细的介绍。随后根据虚拟视合成的原理，分析纹理图和深度图中噪声对虚拟视合成结果的影响，并通过实验加以说明。最后对本章进行总结。虚拟视合成技术深度量化图基于深度的三维视频中的纹理图和深度图基于深度的三维视频内容由纹理图和深度图组成，纹理图反映了场景中物体的纹理特征，而深度图则反映了物体到相机的距离，如图所示。理想的深度数据应由无穷多个的深度级构成，但此种数据表达方式会给数据的存储与传输带来巨大障碍。在深度数据实际存储与应用中，通常截取物理深度范围的个区间，电子科技大学硕士学位论文并将该区间的实际深度量化成比特的离散深度级，进而获得深度图像。方面，此种方法由于量化过程的存在可以大幅度节省数据存储空间，越小，深度图中包含的总数据量越小，反之亦然。另方面，由于纹理图中的纹理信息也是通过量化产生的，此种方法可以使深度数据和纹理数据在形式上保持致，进而对深度和纹理数据进行更有效处理。图深度量化示意图如图所示，在深度量化的过程中通常将所截取范围内的最小实际深度量化为最大值，而将最大实际深度量化为最小值。可以采用多种量化函数，其中为量化后深度值，为实际深度值。通常为递减函数，即物体与相机的实际距离越近，量化后的深度值越大，反之越小。例如，组织采用的比特的深度量化与反量化函数为其中和分别为截取的物理深度区间范围的最小深度值和最大深度值，。这里需要注意的是上述量化和反量化函数为非线性函数，距离相机较近的深度范围量化更加精细，这更符合人类的视觉习惯。第二章基于的虚拟视合成虚拟视合成概述通过上述深度量化过程可以生成实际应用的深度图，该深度图的数据存储方式与纹理图致，可方便的用于虚拟视合成中。虚拟视合成就是利用纹理图和深度图合成虚拟视点纹理图这里主要对纹理图的虚拟视合成进行介绍，深度图的合成方式及基本原理与纹理图致。如图所示，虚拟视合成通常分为如下两个步骤进行。三维投影，将个或多个参考视点的纹理图通过系列几何变换投影到虚拟视点，构成幅或多幅投影图像。空洞填补，在三维投影之后，由于实际空间中物体遮挡关系的存在，投影图像中会出现无法映射的区域，即空洞区域，可以通过空洞填补相关技术对空洞区域进行补偿。在空洞填补过程中，若参考视点有多个，可首先利用得到的多个投影图像进行空洞像素的相互补充，即视点融合，然后再对剩余的空洞区域进行填补。图虚拟视合成步骤三维投影三维投影是虚拟视合成技术的核心环节，利用像素点在图像平面坐标位置信息其对应的深度信息和相应的相机参数，通过几何变换实现图像平面上像素点与三维空间中对应点的相互映射。三维投影主要包含两个过程像素点从参考视图像平面到三维空间的投影，即二维到三维的转换像素点从三维空间到虚拟视图像平面的投影，即三维到二维的转换，如图所示。电子科技大学硕士学位论文,,,图三维投影过程示意图对于参考视图像平面上的像素点这里为归化参数，其在真实三维空间世界坐标系中对应的点为。相互投影关系为其中为的深度像素值，和为参考相机的参数。为参考相机的内部参数矩阵，反映了从相机坐标系到成像平面坐标系的旋转与平移，其中包含的变量和分别为水平和竖直方向上的归化焦距像素厘米，,为图像平面基准点中心点的位置坐标。为相机的旋转矩阵，表示从相机坐标系到世界坐标系的旋转。为相机的平移矢量，表示从相机坐标系到世界坐标系的平移。利用公式，可将从图像平面投影到世界坐标系，进而求出的位置第二章基于的虚拟视合成与上述的方法相似，与虚拟视图像平面上点的相互投影关系为其中为的深度值，和为虚拟相机的参数。利用公式和公式，可以求出像素点从参考视图像投影到虚拟图像中的位置，即如公式所示，参考视图像中像素点到虚拟视图像的投影求解非常复杂，相机参数精度会影响计算结果。对于基于深度的三维视频系统，参考视图像与虚拟视图像的对应的相机参数往往相同，由于光轴的朝向以及竖直和纵深方向的坐标位置也与相机视点保持致，视点间的差异主要体现在水平坐标的变化上。也就是说，虚拟相机的位置是由参考相机的位置经过水平平移得到的，这种三维视频相机位置的设置方法与人的双眼相似，通常称为维平行排列。根据上述相机排列方式，公式中的各分量有如下关系,因此，公式可以化简为即由于相机采用维平行排列时相等，其他相机排列下不定相等，电子科技大学硕士学位论文相机只在水平方向上进行平移，则利用公式可以得到和之间的视差矢量,为利用公式求解的视差就可以方便快速的将像素点从参考视图像投影到虚拟视图像中，进而完成三维投影过程。视点融合在虚拟视合成过程中，当待合成的虚拟视点位于两个参考视点左右参考视点之间时，可利用两个参考视点的参考图像分别投影生成两个虚拟图像。可以将这两个投影图像进行相互融合，方面此种方式可以对产生的空洞信息进行填补，另方面对虚拟图像质量进行优化。视点融合通常可以通过如下三种方式实现。线性加权将左右参考视图像经过投影得到的虚拟图像进行线性加权，其权重由虚拟视点位置到参考视点位置的临近性决定，两个相邻视点间位置越临近，权值越大，反之权值越小。其中为待投影的虚拟视图像中的像素点，为从右视点投影到位置的像素点的纹理像素值，为从左视点投影到位置的像素点的纹理像素值，为融合结果为左参考视点和虚拟视点之间的距离为右参考视点和虚拟视点之间的距离。根据权值计算方法的不同，可以衍生出多种视点融合算法，不同权值的计算方法产生的融合效果也各有不同。主从方式以其中个参考视作为主要参考视，另个参考视点则作为辅助参考视，尽量保持主要参考视到虚拟视的投影结果，并利用辅助参考视到虚拟视的投影结果对其进行补充增强。此方法中主要参考视的选择会影响虚拟视合成结果，通常选取参考图像质量更好且与虚拟视较近的参考视作为主要参考视。此外当两个参考视点与虚拟视距离较近时，此方法可以有效的对空洞进行填补，且合成图像对比度高。电子科技大学硕士学位论文论文题目三维视频滤波及预测编码技术研究学科专业信号与信息处理学号作者姓名王昕指导教师朱策教授分类号密级注学位论文三维视频滤波及预测编码技术研究题名和副题名王昕作者姓名指导教师朱策教授电子科技大学成都姓名职称单位名称申请学位级别硕士学科专业信号与信息处理提交论文日期论文答辩日期学位授予单位和日期电子科技大学年月答辩委员会主席评阅人注注明国际十进分类法的类号。独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名日期年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印缩印或扫描等复制手段保存汇编学位论文。保密的学位论文在解密后应遵守此规定作者签名导师签名日期年月日摘要摘要三维视频是多媒体领域的研究热点。近些年，人们将反映物体与相机距离的深度图引入传统三维视频中，形成了基于深度的三维视频系统。利用虚拟视合成技术，此系统可以生成任意视点位置的虚拟视图像。虚拟视合成利用深度信息求得视点间的视差，进而将像素点映射到虚拟视图像平面。在此过程中，深度噪声会引起视差计算错误，导致合成视的几何失真，深度图滤波方法是三维视频的主要研究方向之。此外，三维视频所包含的巨大数据量是制约其普及的关键因素，人们已提出多种基于视差的视点间预测编码方法来提高编码效率，但这些方法仍有待优化。本文围绕上述内容开展了如下研究工作。深度图空域滤波方法指出像素点的相关性由它们在真实空间中对应点的相关性决定，从三维空间位置临近性纹理相似性和运动致性三个方面对像素之间的相关性进行建模，提出了三维空间距离纹理运动三边滤波方法。将纹理图从彩色空间转换到彩色空间以充分利用视频中的色度信息，并根据纹理相似性确定参与滤波的像素点，进而提出深度图边界修复滤波方法。深度图空时域滤波方法在空域滤波的基础上，从三维空间位置临近性纹理相似性和时间临近性三个方面对空时域像素之间的相关性进行建模，提出了三维空间距离纹理时间深度图空时域滤波方法。针对滤波过程中纹理图和深度图可靠性难以判断这问题，通过联合利用纹理和深度信息，引入了像素向量的定义，并利用像素向量的相似性对像素的相关性进行建模，进而对最终参与滤波过程的空时域参考像素点进行筛选，并利用中值滤波方法得到滤波结果，实现了的基于像素向量的深度图空域时域滤波方法。基于深度的分块预测方法视点间预测优化发现了此预测方法将无用的模式标志位不可能使用此模式的情况写入码流的漏洞，并利用此模式分块为非正方形这特点，对其码流写入方法进行修正。上述空域和空时域滤波方法取得了较好的滤波效果，提高了虚拟视合成结果的质量。此外，所提出的码流写入优化方法也有效提高了编码效率。关键词基于深度的三维视频，虚拟视合成，空域滤波，空时域滤波，三维视频编码优化,