Quest 3 开发人员现在可以集成三个主要的新功能来改进虚拟现实和混合现实。
Inside-Out Body Tracking （IOBT） 和 Generative Legs 将于 12 月推出。 通过 Depth API 实现混合现实的遮挡以前是一项实验性功能，这意味着开发人员可以对其进行测试，但不能在 Quest Store 或 App Lab 版本中发布。
这三项功能均作为 Unity 和 Native** V60 SDK 的一部分提供。 同时，v60虚幻引擎集成包括深度API，但不包括IOBT或Generative Legs。
IOBT 使用 Quest 3 的侧面摄像头（面朝下）通过先进的计算机视觉算法跟踪用户的手腕、肘部、肩膀和躯干。
IOBT 可防止反向运动学 （IK） 估计手臂位置，这通常是不正确和不舒服的，因为系统只是根据用户头部和手的位置进行猜测。 当开发人员集成 IOBT 时，用户看到的是手臂的实际位置，而不是估计值。
这种上半身跟踪还允许开发人员将拇指摇杆运动锚定到身体的方向，而不仅仅是头部或手部，并且可以执行新的动作，例如俯身在壁架上，并将其逼真地显示在化身上。
IOBT 仅适用于用户的上半身。 对于下半身锻炼，Meta 推出了 Generative Legs。
Generative Legs 使用“尖端”的 AI 模型来估计腿部位置，这是该公司多年来一直在研究的一项技术。
在 Quest 3 上，由于使用上半身跟踪作为输入，Generative Legs 提供了比以前的头戴式设备更真实的估计，并且它还适用于 Quest Pro 和 Quest 2，只有头部和手部跟踪。
但 Generative Legs 只是一个估计器，而不是一个跟踪器，所以虽然它可以检测跳跃和蹲下，但它不会捕捉到很多实际动作，比如膝盖抬起。
IOBT 和 Generative Legs 共同实现了 VR 中的全身跟踪，称为全身合成，无需外部硬件。
Meta 此前宣布，全身合成将可用于 Supernatural、Swordsman VR 和 Drunken Bar Fight。
在外媒的Quest 3评测中，混合现实动态遮挡的缺失受到了严厉的批评。 虽然虚拟对象可以出现在房间设置扫描生成的原始场景网格后面，但它们总是出现在移动物体（如手臂和其他人）的前面，即使是在更远的距离上，这看起来也不自然。
开发人员已经可以使用手部跟踪网格来实现手部的动态遮挡，但很少有人这样做，因为手腕和手臂显示器并不完美。
新的深度 API 为开发人员提供了由头戴式设备角度生成的每帧的粗略深度图。 这可用于实现遮挡，既可用于移动对象，也可用于场景网格中可能尚未捕获的静态对象的更精细细节。
动态遮挡将使混合现实在 Quest 3 上看起来更自然。 然而，头戴式设备的深度感应分辨率非常低，因此它无法捕捉到手指之间的空间等细节，并且用户会看到物体边缘周围的缝隙。
深度图也只建议大幅调整 4 米，之后“精度明显下降”，因此开发人员可能还想使用场景网格进行静态遮挡。
开发者可以通过两种方式实现遮挡：硬遮挡和软遮挡。 硬遮挡基本上是免费的，但边缘是锯齿状的，而软遮挡有 GPU 成本，但看起来更好。
但是，在这两种情况下，遮挡都需要使用 Meta 的特殊遮挡着色器或在自定义着色器中专门实现它。 它远非一键式解决方案，开发人员可能需要付出很多努力。
除了遮挡之外，开发人员还可以使用深度 API 在混合现实中实现基于深度的视觉对象，例如雾。