近日，美国专利商标局公布了苹果公司的一项专利申请，再次深入解释了在设置苹果 Vision Pro 测试眼睛参数时，基于视网膜成像和注册系统的视力追踪技术。
苹果公司在其专利背景中指出，现有的眼动追踪技术会分析从用户眼睛反射并通过图像传感器捕捉到的闪光。一些头戴式系统可能包含眼动追踪技术，利用位于设备边缘（如眼镜框）的光源投射的光线来分析闪光。眼动追踪系统可能无法准确确定观看者的注视深度，也无法实时跟踪用户的注视深度。因此，最好能为头戴式系统提供一种方法，精准地确定用户专注于场景的哪个部分（哪个距离或“深度”），以评估眼睛的特征（如注视方向、眼睛朝向、识别眼睛的虹膜等）。
基于视网膜成像的视差跟踪
苹果公司的专利涵盖了基于视网膜成像确定和跟踪眼睛特征（如眼睛调节距离或深度）的设备、系统和方法的各种实施方案。眼睛调节的变化会在视网膜图像中产生两种效应，即缩放和散焦。在某些方面，一种方法可以获取视网膜图像，获得注册图像，并根据模糊（如点扩散函数 PSF）和/或几何缩放确定用户相对于注册图像的适应性。
通过确定（提高准确度）用户集中在场景的哪个部分（例如，哪个深度）以及用户的适应程度，可用于改进眼动追踪并增强XR体验。
此外，跟踪适应性可用于更好地实时了解用户的精准行为，并相应地调整 XR 体验。在某些方面，跟踪适应可用于将内容（例如虚拟内容）的感知深度调整为用户当前适应的深度。
本专利的一个创新方面可以体现在以下方法中：在具有处理器的电子设备上，产生从眼睛视网膜上反射的光；从图像传感器接收视网膜部分的图像，该图像对应于从眼睛视网膜散射的光的多个反射、 获取与第一容纳状态相对应的眼睛表征，该表征代表视网膜的至少一部分，并根据视网膜部分的图像与眼睛表征的比较来跟踪眼睛特征。
在某些方面，眼睛的表示包括视网膜至少部分的映射。
在某些方面，生成视网膜至少部分的映射包括在用户(i)将眼睛调节到注册深度，和(ii)扫描通过代表定义视场的注视角空间时，获取用户眼睛的注册图像，并基于组合两个或多个眼睛注册图像的至少一部分，生成视网膜至少部分的映射。
在某些方面，基于视网膜部分的图像与眼睛表征的比较来跟踪眼睛特征，包括估计特征的散焦程度。在某些方面，根据焦点像素来估计特征的散焦程度。
在某些方面，根据视网膜部分的图像与眼睛表征的比较来跟踪眼睛特征，包括锐化视网膜部分的图像质量，以及根据锐化视网膜部分的图像质量所需的镜头移动来确定散焦程度。
下面的苹果专利图 8 是结合了其眼动追踪系统的头戴式设备（HMD/Vision Pro）的示例框图；图 2 展示了眼动追踪系统的示例；图 6 是跟踪眼球特征的注册过程方法的流程图。
图源：patentlyapple
关于苹果公司的专利，图 2 展示了眼动追踪系统的示例环境 #200。该示例环境的系统使用光源 #210，例如产生红外光的 LED 环（例如 HMD 或 iPad 上的光源 #34）。
此外，眼动追踪系统还包括图像传感器 #220（例如，用于观察用户眼睛视网膜上的散射光，以获取视网膜 #47 的图像 #230。如图所示，获取的图像提供了眼睛血管的视图。
此外，或者在某些实施方案中，获取的图像还可以提供除血管以外的其他信息，例如其他可检测的视网膜特征。在某些实施方案中，如图所示，图像传感器 #220 嵌入光源 #210 （例如，HMD 上的 LED 环）内或与光源 #210 保持一致。
在某些实施方案中，如图 2 所示，光源 #220（例如 LED 或类似装置）在用户调节视力时（例如视角 α 202a）照亮用户眼睛视网膜的表面。然后，当光线从视网膜表面反射时，图像传感器 #210 获取基于视网膜的注视跟踪图像（例如，图像 #230 的 #235 部分显示了与视角 α #202a 相关的位置视角 α #202b）。
例如，在注册过程中，用户可能会被指示将视线聚焦到显示屏远处的某个特定位置（例如，聚焦到 1.5 米外的某个位置）。特定位置也可以设置在设备的显示屏上。如果用户将设备戴在头上（例如 HMD），那么该位置可能会出现在显示屏上非常远的地方（例如，盯着一个小点，这样目光可能会望向无限远处）。光源发出的光波经眼睛视网膜反射后，被探测器（如图像传感器）检测到，从而获取视网膜表面的图像数据。图像传感器的镜头可以聚焦到无限远，这样当与眼睛的光学系统结合时，视网膜表面就会清晰地成像到图像传感器上（例如，当眼睛聚焦到无限远时，这是放松的健康眼睛的默认情况）。
下面的苹果专利图 3 展示了一个眼动追踪系统的示例用户适应光学效应；图 4 展示了跟踪眼球特征的系统流程图。
图源：patentlyapple
想要了解更多专利细节，可查看苹果的专利申请 20230309824。
来源：patentlyapple
