美国专利商标局今天正式公布了授予苹果公司的36项新专利。在该报告中,我们重点关注了苹果在3D手跟踪系统方面的专利,该跟踪系统将用到像iPhoneX的TrueDepth这样的深感摄像头。除了在FaceID和AR应用程序上使用,苹果希望不断拓展TrueDepth摄像头的应用,让其能识别手势动作。该举动可能作为一种全新的输入方法,可用于隔空绘画等。
今天苹果获得的另一个专利涵盖了苹果在量子点显示器方面的工作。不过,专利仅关注了LCD而非OLED;尽管他们已决定生产一台苹果高清电视,但这点仍然很重要。我们以我们所列的剩余专列清单中苹果公司今日获得的专利作为对本周苹果专利报告的总结。
苹果公司大举推出的iPhoneX全新TrueDepth摄像头,可能只是最初的一款AR应用。苹果可能会决定通过增加手势输入将其运用到iDevices和Macs上。今年7月,苹果发布了一份题为“展现苹果与微软竞相在电脑、家用电器等设备上引入手势系统的专利”,该报告概述了微软在PC和SurfacePro平板电脑上使用的微软项目Prague。
苹果公司利用点阵投影仪率先在FaceID上实现了这一技术,因此苹果的竞争对手们现在必须要加把劲与苹果竞争,以更快的速度拓展该技术才能赶上苹果的步伐。但目前来看,苹果仍位居领先地位,且空中手势很可能会成为现实,这在一定程度上要归功于今天授予苹果的专利。
授予专利:使用深感摄像头的3D手部跟踪系统
苹果的新专利涵盖了他们在计算机视觉和机器学习领域有关的发明,尤其是使用深度序列的三维手部跟踪。
由于我们以前从报道过这项专利的专利申请,该专利的到来似乎有些突然,所以我们将为您提供一些专利背景和总结。
苹果的专利背景介绍中提到,“在人机交互领域(HCI),研究人(即用户)与计算机之间的界面并理解用户希望与计算机交互的意图和愿望是一个非常重要的问题。如果处理得当,HCI可以通过多种模式输入(如语音、触摸、肢体手势、图形用户界面(GUIs))和其他外围输入设备(如键盘、鼠标、触控笔等),实现用户友好型的交互方式。
识别人类动作的能力,特别是手势动作,对理解用户在各种应用程序中的意图和愿望是非常重要的,这与HCI紧密相关。
该发明提出了一种全新的三维手部踪系统和方法。
深度图具有图像形式,它利用像素值表示地形信息,而不是利用场景中物体的亮度和/或颜色来表示。深度图可能被称为“3D图”、“深度图像”、“深度序列”或“3D图像”。
深度图可以经过处理,对场景中的物体及其组件进行分割、识别和本地化。具体来说,根据多个区块(即区域)中的像素深度值可以从深度图提取描述符(例如所谓的“特性”,该内容将在下文作进一步详述),这些区块分布在被识别场景物体的各个位置上(例如人的手)。深度图对人类形态的识别(即类似于人体部位的三维形状结构)以及确定这些部位可能在帧数中不断变化的姿态的能力,可能会成为控制计算机应用的一个方法。
在下列苹果专利图1A中,我们可以看到一个示例样本像素对,用于计算深度图上的深度差异特征;图1B举例说明了用于计算深度图上的深度差异特征的示例像素对。
在上文中的苹果专利图5中,我们可以看到使用深度序列进行三维手部跟踪的示例过程。
苹果公司公布的发明中涵盖了各种系统、方法和程序存储设备,它们可以发出指令,让一个或多个摄像头和/或处理单元使用深度序列进行三维手部跟踪。
这些公开专利中的技术,可应用于一切带有摄像头和显示器的电子设备,如数码相机、数码摄像机、手机、个人数据助理(PDAs)、便携式音乐播放器、监视器,以及台式机、笔记本电脑和平板电脑显示器。
三维手部跟踪在人机交互(HCI)领域将有很大应用潜力。许多应用程序,如隔空绘画、用户交互控制、手语交流等,可能会从稳定的手部跟踪应用程序中获益。有了手部跟踪,就能在视频图像中发现并跟踪手部的三维位置,以及在有多个手部的场景中特定识别(ID)一只手的动作。
手部跟踪器也可能被用于更细致的应用,如姿势和手势检测(比如通过分析手指在手上的位置),但这项专利并未作更详细的讨论。
苹果公司的第9811721号专利最初是在2015年第二季度提交的,今天由美国专利和商标局发布。
今日授予苹果的剩余专利