Meta展示了在使AR真正有用的关键技术上取得了新的进展
Meta最近推出了Segment Anything Model(SAM),旨在为基于计算机视觉的“目标分割”设定新的标准。目标分割是在图像或视频中识别和分离物体的过程,这对于AR体验至关重要。然而,由于显示器的各种形状、尺寸和颜色,使计算机视觉系统在识别时面临一定挑战。
SAM是一个通用的分割模型,可以识别任何图像或视频中的任何物体,即使这些物体和图像类型在训练时没有见过。SAM可以通过用户的输入来自动和交互式地分割物体,并与AR头盔上的眼球追踪结合使用,提高识别效果。这项技术的成功部分来源于Meta收集的大规模训练数据集,其中包含了1000万个图像和10亿个已识别的物体形状。
Meta将该训练数据集命名为SA-1B,并向其他研究人员发布。他们希望这种可提示的分割研究以及大规模数据集的发布将加速图像和视频理解的研究,并为AR、内容创作、科学领域和普通人工智能系统等领域带来更广泛的应用。