在运动捕捉系统中识别用户意图
2020-01-10

在运动捕捉系统中识别用户意图

本发明提供了在运动捕捉系统中识别用户意图的系统和方法。用于方便在运动捕捉系统中与应用交互的技术允许个人在没有手动设置的情况下容易地开始交互。深度相机系统跟踪物理空间中的个人,并评估该个人参与应用的意图。可评估诸如位置、姿态、移动和语音数据等因素。可评估深度相机的视野中的绝对位置,以及相对于另一个人的位置。姿态可以包括面向深度相机,指示交互意愿。移动可以包括朝向或远离物理空间中的中央区域移动、走过视野、以及当一般站在一个位置时发生的移动,如四周移动一个人的手臂、摆姿势、或将重量从一只脚移到另一只脚。语音数据可包括音量以及由语音识别检测到的单词。

提供系统存储器143来存储在引导进程期间加载的应用程序数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器。媒体驱动器144对于多媒体控制台100可以内置或外置。应用程序数据可经由媒体驱动器144访问,以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其它高速连接等总线连接到I/O控制器120。

图5描绘了用于允许个人与运动捕捉系统交互的方法。步骤500包括跟踪运动捕捉系统的视野中的个人的移动和位置。步骤500的进一步细节结合图6a_c来提供。判定步骤502确定该个人是否打算参与应用。步骤502的进一步细节结合图7a-d和IOa来提供。一般而言,步骤502可基于一个或多个变量来确定一个人具有指定意图的概率,且在该概率足够高时触发结果动作。

图1Of描绘了在图1Oe之后当第二个人在使用简档和化身参与应用时代替第一个人时的示例显示。

任选地,在联网方法中,多个人从不同位置并发地参与应用。例如,第一和第二朋友可分别在他们的家具有单独的第一和第二运动捕捉系统。他们可安排在同一时间开始在虚拟空间中交互。当第一个人通过移动他或她的身体来控制视野中的第一化身而参与应用时,第一运动捕捉系统跟踪第一运动捕捉系统的视野中的第一个人的身体。第一运动捕捉系统还经由网络从第二运动捕捉系统接收数据,在第二个人通过移动他或她的身体来控制虚拟空间中的第二化身而从远程位置参与应用时,第二运动捕捉系统跟踪第二运动捕捉系统的视野中的第二个人的身体。响应于数据,第一应用在显示器上随第一化身一起在虚拟空间中显示第二化身,并且在第二个人继续通过移动他们的身体来控制第二化身而参与应用时更新显示。第二运动捕捉系统可以类似地经由网络从第一运动捕捉系统接收数据,使得第二个人可以在他或她的显示器上同时查看两个化身。由此,两个人都经历相同的音频-视觉输出。

作为特定于应用上下文的参与意图的一个示例,考虑与瑜伽练习相关的应用,在这一情况下坐着的姿态可能表示参与意图而非脱离意图。此外,用于确定参与或脱离意图的准则可以基于诸如年龄、性别、身体健全等级或伤残等因素来调整。例如,较慢的人的移动可以是参与意图,而较快的人的移动则不然。

图7b描绘了如图7a的步骤700所讨论的,在其中相对于预定义位置来评估个人的位置的视野的示例。

自动生成的并与个人相关联的化身可以基于所检测到的个人的特性,如其高度、宽度、骨架模型、来自个人的衣服的RGB色彩数据等等,以及诸如语音语调和音量等可任选的音频特性。或者,可以提供默认的通用化身。个人还可能使用适当的用户界面来修改自动生成的化身。个人不必通过任何类型的手动设置过程来配置化身,并且因此能够使用化身在没有延迟的情况下开始与应用交互。在某些应用中,可在化身探索虚拟空间时修改其外观或其他特征。化身的特征还可与在虚拟空间中获得或丢失的能力(例如,“力量”)有关。在某些情况下,个人使用真实或游戏金钱来为化身购买特征,并且通过化身在虚拟空间中的动作来赢得或输掉特征。简档数据也可包括化身的特征或其他特性。当个人停止参与应用并且稍后返回时,可以访问简档数据来将该个人以及他或她的化身还原到当该个人脱离时存在的状态。

图1Ob描绘了两个人参与应用,且具有显示器上的虚拟空间的共同视点的示例。在显示器1002中,来自图1Oa的个人1024与先前在视野外的个人1022相连。基于先前讨论的各种因素,个人1022被确定为具有参与应用的意图。结果,在显示器1002上靠着个人1024的化身1025提供对应的化身1023。在这一情况下,显示器向个人1022和1024提供虚拟空间的公共视点,如先前结合图8b的步骤814所讨论的。

显示器1000提供了其中化身1025站在路1008上的虚拟世界的示例。化身1025具有对应于个人1024的形状的形状。提供了具有代表性透镜1012的深度相机系统1010,以及在虚线1019和1020之间的对应的视野1021。一个人1022在视野外,且因此无法由深度相机系统1010在视觉上检测到。另一个人1028坐在椅子1030中。另一个人1024面向深度相机系统站着。另一个人1026走过视野。基于先前讨论的各种考虑事项,个人1022基于他或她的位置在视野外可能不被认为具有参与应用的意图,且可能甚至不被识别为存在。个人1028类似地基于他或她的位置(朝向视野1021的背面和侧面)以及姿态(坐着的姿态),且身体轮廓面向深度相机系统,可能不被认为具有参与应用的意图。