苹果在 WWDC 2020 期间介绍了面向 iOS 14 和 macOS Big Sur 开发者的视觉框架更新，现已支持图像和视频中的人体与手部姿势检测。应用程序可借此分析目标人物的姿势、动作和手势，为潜在的交互体验开辟了更多的可能。由官方提供的示例可知，健身应用将可自动追踪用户是否有效地完成了锻炼动作。

手势检测有望带来用户与 App 交互的新方式，比如安全培训 App 可帮助员工检查其是否学习到位、媒体编辑软件亦可基于姿势的相似性而找到对应的照片或视频。

此外苹果官方演示了一个人如何在半空中捏起拇指和食指，然后在不触碰 iPhone 屏幕的情况下进行绘制。

App 开发者能够基于新的视觉框架，在比出特定手势的用户手上覆盖显示相应的图形或表情符号。

或者在相机应用中引入这一功能，当检测到用户比出手势时自动触发拍照。

此前苹果已经在 ARKit 中提供了类似的功能，但仅限于增强现实会议类应用，并且只能在兼容的 iPhone 或 iPad 设备上使用后置摄像头来实现。

现在，新版视觉框架可在一个场景中检测多只手或多人的身体动作。但在用户佩戴了手套、弯腰、倒立、穿着长袍、靠近画面边缘、或部分被遮挡的情况下，效果有可能打一定的折扣。