请选择继续玩或者退出沈阳理工大学学士学位论文附录英文原文文献沈阳理工大学学士学位论文沈阳理工大学学士学位论文沈阳理工大学学士学位论文沈阳理工大学学士学位论文附录中文翻译基于表观特征分析的手势识别及其应用屈燕琴，李昕，卢夏衍上海大学机电工程与自动化学院摘要针对复杂背景下的手势识别容易受到环境干扰造成的识别困难问题，通过分析手势的表观特征，提出并实现了种可用于自然人机交互的手势识别算法。该算法基于深度图像实现手势区域分割，然后提取手势手指弧度指间弧度手指数目等具有旋转缩放不变性的表观特征，运用最小距离法实现快速分类。并将该算法成功运用于实验室三指灵巧手平台，达到了理想的控制效果。实验表明该算法具有良好的鲁棒性，针对九种常用手势，平均识别率达到。关键词计算机视觉深度图像手指弧度表观特征手势识别导言近年来自然人机交互技术越来越多地受到人们的重视，取得了快速的发展进步。相比于传统的人机交互输入工具，如键盘鼠标游戏杆等，人的姿态手势语音等是更加自然直观的交流方式。所以，近年来人脸识别表情识别手势识别以及体势识别等由于符合人际交流习惯，均成为的重要课题并取得重大进展。其中手势无论是日常生活中还是虚拟现实中，都是种常用的自然而直观的交流方式，符合人类交流般行为习惯，是很受亲睐的交互方式之。手势识别是自然人机交互技术的个重要课题，但由于手势本身的多样性多义性以及视觉本身的不确定性，使得基于视觉的手势识别成为个极富挑战的和多学科交叉的研究课题。般基于视觉的手势识别过程可分为三个阶段手势分割手势特征提取和手势分类。本文按照上述三个阶段，提出种利用深度图像实现复杂背景下的手势识别的方法，具体做法是首先，在手势分割阶段，设定动态分割阂值实现手势分割，在深度图像中像素是以物体距离摄像机物理距离为度量的，所以分割时设定动态距离作为分割阂值，得到粗略手势分割图像其次，在特征提取阶段，利用数学形态学边缘提取算法求得手势重心和手势轮廓，计算手指弧度手指数目等表观特征用于识别然后，在手势沈阳理工大学学士学位论文识别阶段，利用少量的己有样本建立样本库，利用最小距离法实现快速分类识别。最后，将该手势识别算法成功地运用于三指灵巧手控制系统。实验结果表明，该方法取得了较高的识别率。手势识别本文选用微软公司的传感器作为视频输入，共有三个镜头，中间的镜头是彩色摄像机，左右两边镜头分别为红外线发射器和红外线摄像机，共同构成深度感应器，可以生成具有深度的灰度图像。其深度图像像素以物体离传感器的距离度量，距离越远像素值越大，黑色代表无穷近，白色代表无穷远。其实际可探测的距离为。，其中误差较小，为左右。手势分割由采集的深度图像，当采样大小为时，采样速度可以达到。每帧深度图像其像素均为,的数据。为更好地分割出手部区域，本文将图像逐像素进行灰度直方图统计，转换为灰度阶，同时可以去除图像重影。灰度直方图统计图像中具有每种灰度级的像素个数，反映出图像中每种灰度出现的频率。经过灰度直方图量化处理后，通过得到粗略手部区域质心点,。将区域质心深度像素值转换为空间实际距离，以此距离作为手部动态分割的阂值。分割公式如下以上述方法进行手部区域分割，得到初步分割二值图，但该二值图序列存在明显的边缘噪声及少量非手部区域噪声同距离噪声等，对其做形态学滤波并填充孔洞，同时利用的,滤除二值图序列中与手势区域不连通区及小而积区域，得到精确分割序列。形态学滤波流程如图所示。实验所得部分分割结果如图所示。沈阳理工大学学士学位论文图流程图图处理后的图手势表观特征分析及提取手势表现特征分析从手势识别的建模方法来讲，主要有基于手臂模型的手势建模和基于表观的手势建模。本文采用表观建模的方式。般基于图像表观的手势识别方法是直接从图像中提取表观特征，如轮廓矩区域矩直方图等参数，而人手是个关节式的复杂变形体，随着关节的运动，手的形状不断变化，所以手势特征参数构造应具有定的相对不变性，在旋转与缩放情况下要能有效实时识别。为实现旋转与缩放条件下快速有效识别，本文提取具有旋转缩放不变性的手指弧度指间弧度和手指弧度数目分别作为手势的识别特征。根据人手特征，人手为手掌连接五根手指，通过关节和手掌的变动产生不同手势，不同手势其手指弧度个数是不同的，且手指弧度和指间弧度也不相同，并且同种手势在不同层区域手指弧度的个数是不同的同种手势的手指弧度取决于人的手指粗细，不受其他环境影响同种手势其指间弧度取决于手指分开的角度，但当其中个手指间弧度较大平滑腐蚀扩张消去无关的域沈阳理工大学学士学位论文时其他手指间弧度减小，本文均综合单层手指弧度指间弧度和弧度个数的总和予以考虑。手势特征提取手势识别中使用何种手势特征对识别结果的好坏具有极其重要的影响。本文提取具有旋转平移缩放不变性的手指弧度指间弧度手指数目作为识别特征。手势特征提取步骤如下针对分割的二值图像，运用构求取距参数得到手势重心点。计算手势边缘距离手部区域重心点最大值，以重心点为圆心，以值为半径做外接圆，对当前手势的最大外接圆区域由内而外进行等距离划分本文将其等分，即以，以手势区域中心为圆心做同心圆，同心圆半径每次递加直到最大圆半径为定义,为分层层数，为第层的圆轨迹。计算第层圆轨迹，上手指弧度和指间弧度。以人手质心为极坐标极点，以极坐标方式遍历圆轨迹上像素发生变化的点，分别为白色像素变化为黑色像素的点和黑色像素变化为白色像素的点，记录像素发生变化的像素点的角度，进而计算手指弧度和指间弧度。弧度的数目即是手指手腕与手掌连接的分支总和，根据手腕处宽度远大于手指处宽度，计算各个分支宽度平均值，以宽度最大值对应手腕处分支，其他为手指分支，则手指的数目为。但是，手指长度不，根据划分情况外层的手指数目将会减少，故分层记录手指数目用于识别。手势识别实验旋转不变性验证为验证上述算法所提取的特征具有旋转不变性，邀请实验者在前做手势，识别时并不限定左右手，不限定手势的方向。实验识别的图像如图和图所示，图图分别为手势的左右手手势，图图分别为手势的左右手手势。界而上显示的图像左边为实时采集的深度灰度图，右边为手势分割二值图，并在二值图上显示识别的结果。沈阳理工大学学士学位论文图手势图沈阳理工大学学士学位论文图手势图由图和图可以看出，当手势旋转定角度时，该识别系统可以完成识别由图和图可以看出，当从左手手势变换为右手手势时，该手势识别系统亦可以完成识别。同时，亦可以看出图和图变换了四种不同背景，该系统均能完成识别工作。沈阳理工大学学士学位论文实验结果为验证上述算法实际性能，邀请实验者在不同背景不同光线下在摄像机前做手势，对图中九种常用手