选项卡用于配置传感器硬件，服务器，显示首选项和手势互动。

最初，手势开始作为个简单文本窗口，用户可以设置个输入动作和相应输出命令。

然而，用户反应这个接口效用是有限，因为它目前还不清楚如何能直观地结合在个单手势多输入动作和输出命令。

此外，太多骨骼关节名称和输出命令对用户来说是个很大负担。

通过迭代测试，我们开发了针对使用手势设计了个更直观用户界面。

手势有个输入列表和个输出列表，每个列表可以包含任意数量项目。

项目为纯英文表达，从而很容易被非技术用户理解，并通过下拉菜单进行编辑和构建见图。

每个项目也”算法。

虽然这可以应用于视频游戏场景，在游戏里用户希望用来识别几个不同手势，它们不适合于用在临床环境中，其中个别运动基于患者要求微调是必不可少。

例如，要对运动康复有益，临床医生必须精确地指定运动阈值手势激活，使被诱发运动只是超出了舒适运动范围，但仍在患者执行能力之内。

因此，在该论文中描述方法目是为非技术用户在运行时对于不模糊低级运动力学调整。

我们方法也许是最概念上类似于基于时空有限状态机手势识别方法，我们用简单英语表达简单列表来描述他们时空属性。

人体运动表示利用动画虚拟角色已经导致了各种高水平标记语言用于同步手势，面部表情设计行为发展和口语对话。

实例包括虚拟人标记语言，虚拟形象身体标记语言，以及众多其他语言见览表。

虽然这种语言是用于设计该口头和非口头通信字符是有用，身体行为通常被表示为将通过逆运动学计算预先记录动画文件或高级行为例如指向对象。

因为它们通常不包括规格为代表身体运动本身力学，它们不适合于实时用户界面设计手势输入。

这也许是更多信息来研究人运动表示从其他领域。

运动分析是个普遍语言来描述人体运动，包括低级别肌肉属性和高层次表现力功能。

适用用户界面灵活动作和手势交互骨架工具包虽然最初源自于研究舞蹈，已经被应用到各种领域，如分析受中风困扰个体运动。

定义运动四个组成部分既包括运动和非运动特点身体，空间，精力和形状。

虽然这种方法提供了丰富分析语言来描述人体运动，也非常复杂认证程序通常需要很多时间全面研究既包括理论和框架应用程序。

由于我们目标是提供个运动表示服务于非技术用户，它不需要低水平肌肉解剖，也不需要高级分析和复杂概念。

因此，我们重点是确定个相对简单纯英文格式来表示运动运动学方面，而无需使用解剖术语。

软件框架最初版本发布于微软发布后不久年底并支持组手势交互，如延展手臂来激活按键。

之后，该工具包中鼠标控制功能随后被添加。

用于产生虚拟输入事件想法是由提出，映射信号从各种硬件设备，诸如任天堂到键盘，鼠标和游戏杆命令输入到模拟器。

另个类似解决方案是，它允许使用浮动手和个“手掌点击和拖动”来对应应用程序和游戏鼠标控制。

然而，据我们所知，是第个定义了个简单但功能强大动作语法，并以直观方式提供非技术为导向用户界面设计手势识别方案软件工具包。

．系统概述被设计成在深度感应摄像机骨架跟踪库和最终用户应用之间中间件。

目前支持硬件设备，包括使用微软传感器，并使用来自骨架跟踪库中任何兼容传感器。

图.说明该工具包架构。

为了使该工具包功能更加优越，与每个骨架跟踪通信时动态选择，并在运行时加载单独模块。

每个模块读取来自其相应跟踪数据转换成个通用骨架数据结构。

因此，可轻松扩展通过增加新模块，并且可以支持未来设备和软件库。

适用用户界面灵活动作和手势交互骨架工具包图架构包含了深度感应摄像头和个动作识别模块，发送模拟键盘和鼠标事件到活动窗口中模拟器模块和服务器定位每个骨骼关节位置和方向骨架数据模块加入到网络应用。

旦骨架已经从传感器读取，然后在动作识别模块处理此数据。

根据正在执行操作，其核心应用程序然后调用发送模拟键盘和鼠标事件到活动窗口仿真器模块。

应用包括图形用户界面，其允许用户创建自定义手势方案并结合这些动作对应特定仿真器事件。

例如，用户可以选择当用户倾斜到左边到定度数来发送个“左箭头键按下”事件参照图。

因此能够指定任意数量手势，其中每个都包含手势输入条件和输出用户界面命令，激活时要生成用户定义列表。

因此，允许用户控制应用程序和游戏肢体动作，尽管这些接口只接受来自标准键盘和鼠标设置输入。

该方法用于表示手势输入，并为任意用户界面产生输出。

下面两节中会进行适用用户界面灵活动作和手势交互骨架工具包更详细描述。

图.手势创建界面屏幕截图。

当用户通过度倾斜到左侧指定示例手势激活。

当用户执行该操作，左箭头键事件被发送到与当前操作系统所运行应用程序。

当用户返回到原来位置，相应键事件被发送除了模拟键盘和鼠标事件，还使用虚拟现实外设网络服务器来定位每个骨架关节，这是已经成为用于促进虚拟现实应用和身体之间通信流行标准网络接口位置和方向跟踪设备。

这允许开发人员使用相同标准协议来读骨架数据到他们设备里。

为了实现该目标使用了两个虚拟世界开发环境，工作室及从所述虚拟现实工具包。

所述是由可以起或单独移动三个窗口构成用于配置工具包，用于显示传感器数据和控制台信息，用于显示信息给用户参见图。

主窗口被分成四个选项卡用于配置传感器硬件，服务器，显示首选项和手势互动。

最初，手势开始作为个简单文本窗口，用户可以设置个输入动作和相应输出命令。

然而，用户反应这个接口效用是有限，因为它目前还不清楚如何能直观地结合在个单手势多输入动作和输出命令。

此外，太多骨骼关节名称和输出命令对用户来说是个很大负担。

通过迭代测试，我们开发了针对使用手势设计了个更直观用户界面。

手势有个输入列表和个输出列表，每个列表可以包含任意数量项目。

项目为纯英文表达，从而很容易被非技术用户理解，并通过下拉菜单进行编辑和构建见图。

每个项目也个测试部分遵循着相同协议。

根据告知意见，参与者和患者被提供些关于系统是如何运行，和提供将要进适用用户界面灵活动作和手势交互骨架工具包行游戏信息。

参与者和临床医生都参与到游戏之内绘制手势过程。

基于他们知识和他们舒适程度和他们不同手势。

测试会从分钟不等在长度.小时，这取决于所述时间限制医生参与者，时间设计量取手势，技术难度和游戏数量尝试。

会议期间，与会代表和医生被要求提供意见和反馈系统和他们经验。

以下测试会话完成时，两个参与者和临床医生也被要求提供反馈会话和改进建议系统。

该研究人员还指出，技术上困难和潜在变化是基于他们经验系统。

反馈是分析和修订建议进行优先排序和些接下来测试环节之前实施。

其它修改加到未来变化列表。

共有六个参与者和四个医生在多个测试参加会议。

定制当应用程序最初是很难用因为不存在个交互个别患者简单方法用于评估具有病人测试单个运动姿势，然后执行多个手势起而不必设置不同文件。

这增加了时候努力和失望，并进入测试手势有关。

在此基础上反馈，我们增加能力，使并禁止在飞行姿态。

而个简单修改，这功能节省时间大量评估，并造成较少挫折感为评估器和患者。

评估人员能够设计手势来激活各种跨越不同而变化键盘和鼠标命令游戏，例如，有些游戏需要个按钮保持，其他需要个快速按下个按钮和释放或多个按钮印刷机临门。

对于后者情况，也难以为患者快速连续重复姿态多次。

这初步反馈提供动机添加循环行为不断产生输出事件。

然而，仍然有个问题，当个第三方软件或游戏有多个规则个按钮例如，“跳”可能从键只需按下个按钮，但是“高跳”结果或飞，可能会导致只有当键被按下多个次临门。

这意味着相同键必须是通过不同手势控制来执行这些操作。

而在当前设置不是不可克服，这也提供复杂附加层，我们未来计划在解决这问题。

用手势来控制第三方个主要困难应用程序和网络浏览器网页游戏是应用程序不仅需要击键玩游戏，但常常需要通过菜单设置复杂导航游戏，在游戏过程中，以增加功能，层次最高，等等。

目前，无法直观地支持导航通过这些菜单用许多不同选择，因此评估员必须介入使用键和鼠标。

而评估表明，控制鼠标光标能力与是个良好开端朝着解决这互动挑战，但与复杂菜单有很多选择这种变得繁琐，也不可能对大多数电机受损病人。

在将来，有可能检测到何时文本菜单是通过计算机视觉技术在屏幕上显示在屏幕上，然后自动瞄准特定区域使通过手势输入菜单选择更加直观。

使通过手势输入菜单选择更加直观。

当在浏览器播放时，使用鼠标控制功能，播放器不局限于有源游戏窗口因此，很难对些患者留内游戏区域，造成挫折，并提供个限制，并且少配合游戏体验。

评估人员建议即，能够限制鼠标或内限制鼠标适用用户界面灵活动作和手势交互骨架工具包由用户识别区域例如，由图中盒该鼠标可以移动会是在这种情况下有帮助。

该功能目前正在为未来版本中实现该工具包。

最后，评估还建议，未来版本可以用组预编程默认可扩充手势可被调整和修改对个人用户和应用程序。

当我们收集速度有多快更多信息通过使用现实世界从业者，我们计划来分析这些数据，识别可以提供有用常见手势自动。

总来说，病人使用使得研究人员和临床医生可以通过网页浏览和游戏，以及其他第三方应用来检测病人限制和反常表现。

任务锁定性评估已经给我们提供了很重要反馈，但是还未在这些特定组内进行相关测试，使得我们能够提高可行性。

尽管在未来工作中还存在着许多改进需要作出得以增加运动损伤用户使用，仍然可以提供系列可行性来提供病人和第三方应用游戏交互，但这在过去简直是个挑战。

．结论在本文中，我们描述了个核心机制用于手势互动设计，提供了个综合工具包，用于基于身体控制用户界面调整。

通过提供手势设计工具，对于非技术用户也是简单明了，以此同时提高了利用第三方应用能力，不仅仅在娱乐方面是非常有用，同时对于研究人员和临床医生在康复领域也是非常有用。

虽然旨在利用兼容深度传感器，如微软，我们希望能够支持其他类型全身跟踪硬件来获得更复杂和强大骨架数据，手和手指跟踪数据，但是，定义规则集过程可能变得更加复杂。

因此，在未来，我们打算开发图形用户界面来自动生成规矩集通过录制手势或者人体运动视觉效果。

探索结合微调功能和手势识别混合方法。

该工具包可提供免费下载并且可以非限制性使用该工具包。

从最初发布到现在，有了更大普及，这最令人兴奋结果就是社区成员贡献了很多创造性和新颖用途。

在建立了现有用户群，我们相信我们简单移动设计理念，将进步赋予爱好者，研究人员和从业者更大创造力。

”算法。

虽然这可以应用于视频游戏场景，在游戏里用户希望用来识别几个不同手势，它们不适合于用在临床环境中，其中个别运动基于患者要求微调是必不可少。

例如，要对运动康复有益，临床医生必须精确地指定运动阈值手势激活，使被诱发运动只是超出了舒适运动范围，但仍在患者执行能力之内。

因此，在该论文中描述方法目是为非技术用户在运行时对于不模糊低级运动力学调整。

我们方法也许是最概念上类似于基于时空有限状态机手势识别方法，我们用简单英语表达简单列表来描述他们时空属性。

人体运动表示利用动画虚拟角色已经导致了各种高水平标记语言用于同步手势，面部表情设计行为发展和口语对话。

实例包括虚拟人标记语言，虚拟形象身体标记语言，以及众多其他语言见览表。

虽然这种语言是用于设计该口头和非口头通信字符是有用，身体行为通常被表示为将通过逆运动学计算预先记录动画文件或高级行为例如指向对象中文字，单词，英文字符出处，.适应用户界面灵活动作和手势交互骨架工具包学部院电子信息与电气工程学部专业生物医学工程适用用户界面灵活动作和手势交互骨架工具包适应用户界面灵活动作和手势交互骨架工具包摘要我们提供种灵活动作和铰接式骨架工具包，它是种中介软件框架集全身与虚拟环境交互视频游戏和其他用户界面。

此工具包提供了个完整端到端解决方案，包括个图形用户界面来创建自定义手势，传感器配置，骨骼跟踪动作识别和各种输出机制控制第三方应用程序，允许任何应用程序来用手势控制，即使它不支持来自运动传感器输入。

为了实现简单易懂动作设计，我们定义了个代表人类手势使用语法规则集，这个语法规则集对应基本时空动作。

这些规则虽然在概念上很简单，但是可以实现和顺序相结合形成复杂手势交互。

除了展示系统体系结构和我们设计手势交互方法，我们还描述了两个案例研究，评估使用控制第人称角色游戏和提高计算接口可访问性对于伤残群体。

因此，这项工作是重要步，使手势交互更加方便实现对于开发者，研究人员和爱好者。

关键字自然交互手势用户界面视频游戏中介软件．介绍在低成本深度传感技术最新进展