于美国手语识别，交互采用个位置跟踪器及三个互相垂直的摄像机作为手语输入设备，完成了个孤立词的识别，识别率为。利用数据手套等典型传感设备的方法中，的和在年完成了个操纵机器人的手势控制系统用作为手语输入设备，识别由个孤立词构成的词汇集，正确率为。面对如此多的新型用户接口，有分析家指出简便性和直观性是其是否成功的关键标准在我国，哈尔滨工业大学的吴江琴高文等给出了与的混合方法作为手语的训练识别方法，以增加识别方法的分类特性和减少模型的估计参数的个数，将混合方法应用于有个传感器的型号数据手套的中国手语识别系统中，孤立词识别率为，简单语句级识别率为。接下来高文等又选取型号数据手套作为手语输入设备，并采用了为系统的识别技术，即利用个随时间变化的具有个分量的混合元混合密度来模型化手语信号，可识别中国手语字典中个词条，识别率为。与基于的识别系统比较，这种模型的识别精度与模型的识别精度相当，其训练和识别速度比的训练与识别速度有明显的改善。他们为了进步提高识别沈阳理工大学学士学位论文速度，识别模块中选取了多层识别器，可识别中国手语字典中的个词条，识别率为。与基于单个的识别系统比较，这种模型的识别精度与单个模型的识别精度基本相同，但其识别速度比单个的识别速度有明显的提高。年在国际上他们首次实现了词以上的连续中国手语识别系统。另外，清华大学祝远新徐光裕等给出了种基于视觉的动态孤立手势识别技术，借助于图像运动的变阶参数模型和鲁棒回归分析，提出种基于运动分割的图像运动估计方法，基于图像运动参数，构造了两种表现变化模型分别作为手势的表现特征，利用最大最小优化算法来创建手势参考模板，并利用基于模板的分类技术进行识别，对种手势的识别率超过在进步研究中，他们又给出了有关连续动态手势的识别，融合手势运动信息和皮肤颜色信息，进行复杂背景下的手势分割，通过结合手势的时序信息运动表现及形状表现，提出动态手势的时空表现模型，并提出基于颜色运行以及形状等多模式信息的分层融合策略抽取时空表观模型的参数。最后，提出动态时空规整算法用于手势识别，对种手势，平均识别率高达。台湾大学的等人利用单个数据手套作为手语输入设备，可识别台湾手语课本中的个基本词条，识别率为。沈阳理工大学学士学位论文手势识别研究综述手势的定义由于手势本身具有多样性和多义性，具有在时间空间上的差异性加上不同文化背景的影响对手势的定义是不同的。这里把手势定义为手势是人手或者手和臂结合所产生的各种姿势和动作，它包括静态手势指姿态，单个手形和动态手势指动作，由系列姿态组成。静态手势对应模型参数空间里的个点，而动态手势对应着模型参数空间里的条轨迹，需要使用随时间变化的空间特征来表述。手势和姿势的主要区别在于姿势更为强调手和身体的形态和状态而手势更为强调手的运动。手势识别的意义目前，手势识别技术的应用在当前是比较热门的研究课题，已经有了相当丰富的手势识别理论研究，并有不少的应用实践。由于人们的研究目的需求不同，在具体的处理方面就产生了不同的处理技术。将计算机手势识别技术应用于图书馆虚拟现实导航系统之中，使用户能够身临其境的以自然的方式，在虚拟的场景中获得真实的感受成为种可能。用手势进行人机交互十分自然高效。以人手直接作为输入手段与其它输入方法相比较，具有自然性简洁性和丰富性直接性的特点。因此，用计算机来识别手势提供了个更自然的人机接口。使用计算机手势识别技术去识别用户输入的手势动作，并根据其识别的结果去驱动图书馆虚拟现实导航系统，用户将摆脱诸多外部硬件设备的限制，解放身体，自由的在空间中以简单的手势动作驱动应用。因此，研究手势识别技术的实现，并使用计算机手势去操作图书馆虚拟现实导航系统具有现实意义。手势识别的主要内容针对手势输入技术和方法的研究，采用基于计算机视觉的手势输入方法，识别自然手势，使人机交互更加灵活方便。逐分析手势识别各环节的技术，对手势图像进行处理分割特征提取匹配，选取合适技术，设计图书馆虚拟现实导航系统方案。沈阳理工大学学士学位论文结合以上各项研究成果，应用开发工具，构建图书馆虚拟现实导航系统。实验以上研究的各项关键技术，并进行评测和验证。手势识别的方法在基于形状特征的识别算法中，我们在边界图像的基础上根据手势区域的形状特征对手势图像进行粗分类，按照手势图像中手指的方向及数目把手势图像分成向上向右向下等类别，然后分别在边界图像和二值图像的中提取手势图像面积周长重心距等特征，构成维特征向量，最后采用类似度进行模板匹配，实现对字母手势的细分类在基于傅立叶描述子的识别算法中。首先采用八邻域搜索法对二值化的手势图像进行边缘检测，得到连通的手势外轮廓，然征分析的手势识别及其应用屈燕琴，李昕，卢夏衍上海大学机电工程与自动化学院摘要针对复杂背景下的手势识别容易受到环境干扰造成的识别困难问题，通过分析手势的表观特征，提出并实现了种可用于自然人机交互的手势识别算法。该算法基于深度图像实现手势区域分割，然后提取手势手指弧度指间弧度手指数目等具有旋转缩放不变性的表观特征，运用最小距离法实现快速分类。并将该算法成功运用于实验室三指灵巧手平台，达到了理想的控制效果。实验表明该算法具有良好的鲁棒性，针对九种常用手势，平均识别率达到。关键词计算机视觉深度图像手指弧度表观特征手势识别导言近年来自然人机交互技术越来越多地受到人们的重视，取得了快速的发展进步。相比于传统的人机交互输入工具，如键盘鼠标游戏杆等，人的姿态手势语音等是更加自然直观的交流方式。所以，近年来人脸识别表情识别手势识别以及体势识别等由于符合人际交流习惯，均成为的重要课题并取得重大进展。其中手势无论是日常生活中还是虚拟现实中，都是种常用的自然而直观的交流方式，符合人类交流般行为习惯，是很受亲睐的交互方式之。手势识别是自然人机交互技术的个重要课题，但由于手势本身的多样性多义性以及视觉本身的不确定性，使得基于视觉的手势识别成为个极富挑战的和多学科交叉的研究课题。般基于视觉的手势识别过程可分为三个阶段手势分割手势特征提取和手势分类。本文按照上述三个阶段，提出种利用深度图像实现复杂背景下的手势识别的方法，具体做法是首先，在手势分割阶段，设定动态分割阂值实现手势分割，在深度图像中像素是以物体距离摄像机物理距离为度量的，所以分割时设定动态距离作为分割阂值，得到粗略手势分割图像其次，在特征提取阶段，利用数学形态学边缘提取算法求得手势重心和手势轮廓，计算手指弧度手指数目等表观特征用于识别然后，在手势沈阳理工大学学士学位论文识别阶段，利用少量的己有样本建立样本库，利用最小距离法实现快速分类识别。最后，将该手势识别算法成功地运用于三指灵巧手控制系统。实验结果表明，该方法取得了较高的识别率。手势识别本文选用微软公司的传感器作为视频输入，共有三个镜头，中间的镜头是彩色摄像机，左右两边镜头分别为红外线发射器和红外线摄像机，共同构成深度感应器，可以生成具有深度的灰度图像。其深度图像像素以物体离传感器的距离度量，距离越远像素值越大，黑色代表无穷近，白色代表无穷远。其实际可探测的距离为。，其中误差较小，为左右。手势分割由采集的深度图像，当采样大小为时，采样速度可以达到。每帧深度图像其像素均为,的数据。为更好地分割出手部区域，本文将图像逐像素进行灰度直方图统计，转换为灰度阶，同时可以去除图像重影。灰度直方图统计图像中具有每种灰度级的像素个数，反映出图像中每种灰度出现的频率。经过灰度直方图量化处理后，通过得到粗略手部区域质心点,。将区域质心深度像素值转换为空间实际距离，以此距离作为手部动态分割的阂值。分割公式如下以上述方法进行手部区域分割，得到初步分割二值图，但该二值图序列存在明显的边缘噪声及少量非手部区域噪声同距离噪声等，对其做形态学滤波并填充孔洞，同时利用的,滤除二值图序列中与手势区域不连通区及小而积区域，得到精确分割序列。形态学滤波流程如图所示。实验所得部分分割结果如图所示。沈阳理工大学学士学位论文图流程图图处理后的图手势表观特征分析及提取手势表现特征分析从手势识别的建模方法来讲，主要有基于手臂模型的手势建模和基于表观的手势建模。本文采用表观建模的方式。般基于图像表观的手势识别方法是直接从图像中提取表观特征，如轮廓矩区域矩直方图等参数，而人手是个关节式的复杂变形体，随着关节的运动，手的形状不断变化，所以手势特征参数构造应具有定的相对不变性，在旋转与缩放情况下要能有效实时识别。为实现旋转与缩放条件下快速有效识别，本文提取具有旋转缩放不变性的手指弧度指间弧度和手指弧度数目分别作为手势的识别特征。根据人手特征，人手为手掌连接五根手指，通过关节和手掌的变动产生不同手势，不同手势其手指弧度个数是不同的，且手指弧度和指间弧度也不相同，并且同种手势在不同层区域手指弧度的个数是不同的同种手势的手指弧度取决于人的手指粗细，不受其他环境影响同种手势其指间弧度取决于手指分开的角度，但当其中个手指间弧度较大平滑腐蚀扩张消去无关的域沈阳理工大学学士学位论文时其他手指间弧度减小，本文均综合单层手指弧度指间弧度和弧度个数的总和予以考虑。手势特征提取手势识别中使用何种手势特征对识别结果的好坏具有极其重要的影响。本文提取具有旋转平移缩放不变性的手指弧度指间弧度手指数目作为识别特征。手势特征提取步骤如下针对分割的二值图像，运用构求取距参数得到手势重心点。计算手势边缘距离手部区域重心点最大值，以重心点为圆心，以值为半径做外接圆，对当前手势的最大外接圆区域由内而外进行等距离划分本文将其等分，即以，以手势区域中心为圆心做同心圆，同心圆半径每次递加直到最大圆半径为定义,为分层层数，为第层的圆轨迹。计算第层圆轨迹，上手指弧度和指间弧度。以人手质心为极坐标极点，以极坐标方式遍历圆轨迹上像素发生变化的点，分别为白色像素变化为黑色像素的点和黑色像素变化为白色像素的点，记录像素发生变化的像素点的角度，进而计算手指弧度和指间弧度。弧度的数目即是手指手腕与手掌连接的分支总和，根据手腕处宽度远大于手指处宽度，计算各个分支宽度平均值，以宽度最大值对应手腕处分支，其他为手指分支，则手指的数目为。但是，手指长度不，根据划分情况外层的手指数目将会减少，故分层记录手指数目用于识别。手势识别实验旋转不变性验证为验证上述算法所提取的特征具有旋转不变性，邀请实验者在前做手势，识别时并不限定左右手，不限定手势的方向。实验识别的图像如图和图所示，图图分别为手势的左右手手势，图图分别为手势的左右手手势。界而上显示的图像左边为实时采集的深度灰度图，右边为手势分割二值图，并在二值图上显示识别的结果。沈阳理工大学学士学位论文图手势图沈阳理工大学学士学位论文图手势图由图和图可以看出，当手势旋转定角度时，该识别系统可以完成识别由图和图可以看出，当从左手手势变换为右手手势时，该手势识别系统亦可以完成识别。同时，亦可以看出图和图变换了四种不同背景，该系统均能完成识别工作。沈