/ Roadtovr / 0浏览

Facebook 开源了“Detectron”计算机视觉算法以用于增强现实研究。

Facebook本周宣布开源了Detectron,这是该公司基于深度学习框架的计算机视觉目标检测算法平台。该公司表示开源该项目的动机是为了加快计算机视觉研究的进展,Facebook的团队正在使用该平台进行各种应用,包括增强现实。

在我最近一篇详细介绍当前增强现实面临的三大挑战的文章中,我指出实时物体分类是最大的障碍之一:「让计算机视觉理解’杯子’而不仅仅看到一个形状是一个非常复杂的问题。这就是为什么多年来我们看到了许多AR演示,人们在物体上贴上标记点以实现更细致的追踪和交互的原因。为什么这样难?首先的挑战是分类。杯子有成千上万种形状、大小、颜色和质地。有些杯子具有特殊属性,适用于特殊用途(如烧杯),这意味着它们用于非常不同的场所和环境中的完全不同的事物。想想编写一个算法,能够帮助计算机理解所有这些概念,只是为了在它看到杯子时能够认出它。再想想编写一段代码,仅凭视觉区分杯子和碗的差别是多么困难。」

我还谈到了“深度学习”技术——这种技术涉及“训练”计算机来解释它所看到的,而不是手动编程进行检测——是解决实时物体分类问题的潜在答案之一。Facebook本周开源了他们自己的目标检测算法,这一举措可能加速开发出能够实现实时物体分类的系统,从而使增强现实真正有用。

实际与周围环境进行交互的增强现实需要对我们周围的事物有一定的认知。例如,如果您戴着AR眼镜并且希望能够在炉子上方投射出炉温的信息,以及在冰箱上漂浮的AR清单显示您快要没了什么食物,那么您的眼镜需要知道炉子和冰箱长什么样;考虑到炉子和冰箱的种类繁多以及它们所处的位置和环境的多样性,这是一项非常具有挑战性的任务。

Facebook的人工智能研究团队等人一直在使用深度学习来解决物体检测的问题,使计算机能够推断场景中存在的物体。该公司基于Caffe2深度学习框架的目标检测算法名为Detectron,现在任何人都可以在GitHub上进行实验。Facebook希望通过开源Detectron能够让全球的计算机视觉研究者进行实验并持续改进状态。

项目的GitHub页面上这样写道:“Detectron的目标是为目标检测研究提供高质量和高性能的代码库。它的灵活性使其能够支持快速实现和评估新的研究成果。”

这些算法可以分析视频输入,并能够对场景中的离散对象进行猜测。研究项目如《检测和识别人物与物体互动》(Gkioxari等),已经使用Detectron作为理解环境中与物体一起执行的人类动作的基础,这是朝着让计算机足够理解我们正在做什么以提供有价值信息的方向迈出的一步。

“在开源Detectron的公告中,公司写道:‘Detectron可应用于各种应用领域,包括增强现实和社区完整性。’并没有明确指出哪些团队将使用Detectron进行增强现实,但一个明显的猜测是Oculus,其首席科学家迈克尔·阿布拉什最近详细地谈到了增强现实将如何以及何时改变我们的生活。”

0

  1. This post has no comment yet

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注