在今年九月份TimCook和美国广播公司的独家访谈中,他提到:“增强现实可以让我们两个人在谈话的时候,能从视觉上分享一些虚拟的物体,比如共同看到我们正在谈论的东西,或者是另一个参加讨论但是不在场的人,增强现实对面对面交流可以有很多很酷的提升。AR还需要一段时间来走上正道,但是我认为这些尝试很有意义。“
虽然库克这些看法很有趣,但是确实很混沌不清,只提出了这个概念:两个人面对面交流的时候能共同看到一些虚拟物体来增强交流。然而今天,美国专利商标局宣布,苹果又发起了一项专利申请,是一个虚拟交互式通知栏系统,并且可能会用在未来苹果TV的AR用户体验上面,看来库克对这个畅想可能是打算玩儿真的了。
虽然这项虚拟交互系统专利看起来更像是基于iPad等iOS设备的,但在专利中苹果花了大量工作讨论了虚拟交互系统在未来苹果TV上的应用。
专利中尤其明确了“这个电子设备能够有选择的在屏幕上显示通知栏,包括物体的图像。通知栏和图像可以同时在另一个不同地点的不同设备行出现,如下图。“比如这个通知栏在第一个用户家中的电视屏幕上显示的同时,也会显示在另一个用户的电视或其他显示设备上。
苹果详细解释了上图展示的工作流程,用户A和用户B可能在视频聊天,然后用户A手中拿了一个东西,在用户A的小屏幕(628A)和用户B的视频聊天窗口(606B)里可以看到。然后A的设备可以识别A手里拿的这个物体,然后把物体的图片显示在通知栏上,在A和B的设备上都可见,就这样,A和B能在视频的时候看到同样的虚拟通知栏,以及里面显示的物体。
为了让用户能通过电视进行视频聊天,上图还显示了苹果TV会和一个外接摄像头耦合,并且这个摄像头还可能装有一些列光学传感器,比如RGB图像传感器、图像深度传感器、红外(IR)图像传感器等,并且还能识别一些空中的手势动作。
苹果还明确了具体是怎样的手势:“电子设备可以接收读取空中手势,来拒收、增加以及替换图像。这些手势包括用户举起手,掌心面对摄像头,然后向上下左右方向移动手掌。“如下图。
这个相机还能让用户扫描他们拿着的物体,并录入系统中,然后传送到他们视频聊天对象的虚拟通知栏上进行分享。
这个系统的整个框架如下图:
苹果这项专利是去年第三季度开始申请的,专利号20160344972,今天才被美国专利商标局发布。看来库克对于文章开头提到的AR增强面对面交流的设想并非空谈。