本周，美国专利商标局正式授予苹果公司一项专利，该专利最初于 2020 年 4 月提交，涉及苹果 Vision Pro 的配件设备。更具体地说，这是一种虚拟触控板配件，用户可以在虚拟世界或游戏中使用它来移动和/或与物体交互。
此外，系统还可以具有一个投影系统，将虚拟对象投射到物理环境中，例如，作为全息图或投射到物理表面上，这样，使用该系统的人就能感知到叠加在物理环境上的虚拟对象。
苹果公司首先指出，现在与虚拟对象进行交互的技术对于用户来说可能是繁琐和不直观的。苹果公司的发明涵盖了使用多个设备系统进行远程触摸检测的技术，包括放置在桌面等物理表面上的外围设备。利用这些技术，用户可以通过对物理表面进行触摸来与虚拟对象进行交互。
系统将使用图像传感器跟踪显示器相对于物理环境中一个或多个固定物体的位置和方向。在某些实施例中，系统使用对内（例如，面向用户）的图像传感器进行注视追踪和/或手部动作追踪，例如，可用于控制用户的虚拟化身。
此外，该系统还可以有一个投影系统，将虚拟物体投射到物理环境中，例如，作为全息图或投射到物理表面上，这样，使用该系统的人就可以感知到叠加在物理环境上的虚拟物体。
苹果专利图 1A-1B 描述了用于各种 CGR 技术的示例系统；图 2 展示了一个系统示例，该系统包括一个头戴式显示设备和一个用于实现远程触摸检测的外围设备。
图源：patentlyapple
更具体地说，苹果公司的专利图 2 展示了系统 #200，包括外围设备 #200A 和头戴式显示器 (HMD) 设备 #200B。
外围设备包括摄像头传感器 #210（例如图像传感器 #108）和运动传感器（例如方向传感器 #110）。此外，HMD 设备 #200B 本身也可以是系统 #100 的一个实施例。
苹果公司的系统 #200，包括外围设备 #200A 和 HMD 设备 #200B，能够在桌面或普通桌子表面 #206 上实现精准的远程触摸检测，以便与使用 HMD 设备显示的 CGR 环境中显示的 UI 元素进行交互（例如，控制、操作、激活、选择）。
在某些实施例中，系统 #200 能够配置为三角度系统（例如，外围设备 #200A 上的一个摄像头传感器和 HMD 上的两个摄像头传感器）。
在一些实施例中，系统 #200 包括外围设备 #200A （例如，没有摄像头传感器），它发射红外光，由 HMD 上的摄像头传感器检测。
在某些实施例中，系统不包括外围设备，而是依靠 HMD 设备使用深度感应技术执行远程触摸检测。
图源：patentlyapple
苹果专利图 3 展示了一个提示用户纠正错误状况的通知示例；图 4-5 展示了一个在 CGR 环境中进行远程触摸检测的示例。
此外，苹果专利图 3 说明了用户通过 HMD 的透明或半透明显示屏查看 CGR 环境的视角。在某些实施例中，HMD 的显示屏是不透明的，因此用户是通过视频查看物理环境。
图源：patentlyapple
苹果专利图 6 和图 7 展示了在 CGR 环境中进行远程触摸检测的其他示例。在图中可以看到用户如何使用虚拟触控板，通过一个简单的手势就能将照片横向移动到直立位置。
苹果公司的专利图 11-12 展示了另一个系统示例，该系统包括一个头戴式显示设备和一个外围设备，用于通过红外线发射器而不是摄像头来检测物体，从而实现远程触摸检测。
更具体地说，苹果公司指出，在某些实施例中，外围设备 #200A 包括红外线发射器 #220，它发射红外线以实现远程触摸检测。
虚拟触控板将支持传统上已知的触控板手势，如轻点、双击、拖动、轻弹、捏、展开、按压、旋转等。
想了解更多详细的专利信息，请查阅苹果公司的授权专利 11714540。
来源：patentlyapple
