Nweon

根据映维网的报道，谷歌利用AI技术实现了视频背景分离，这涉及到语义图像分割技术。语义图像分割是指将诸如“道路”、“天空”、“人”、“狗”等语义标签分配到图像中的每个像素，从而实现新的应用，比如在Pixel 2和Pixel 2XL人像模式中的合成浅层景深效果和实时视频分割。 谷歌在GitHub上开源了最新的语义分割模型DeepLab-v3+，这个模型是基于强大的卷积神经网络（CNN）骨干体系架构构建的，旨在应用于终端设备。谷歌分享了Tensorflow模型训练与评估代码，以及预先训练的Pascal VOC 2012和Cityscapes基准语义分割任务模型。 自Deeplab模型首次出现以来，谷歌对CNN特征提取器、对象比例建模、情景信息同化、训练过程和硬件软件进行了优化，推出了DeepLab-v2和DeepLab-v3。在DeepLab-v3+中，谷歌添加了简单有效的解码器模块，以细化分割结果。谷歌还将深度可分离卷积应用于空间棱锥面缓冲池和解码器模块，形成更快速、更强大的语义分割编码器-解码器网络。 谷歌希望通过与社区分享他们的系统，帮助学界和业界的其他团体更容易地进行复刻、优化系统，以及为这一技术设想新的应用。

Unreal Engine是一款流行且功能强大的游戏开发引擎，它在许多VR和AR游戏中被广泛使用。最新发布的Unreal 4.19版本为VR/AR开发者和创作者带来了一系列优化和全新功能。这些功能包括Unified Unreal AR Framework，该框架允许开发者在iOS和安卓移动设备上开发AR应用程序时只需采用单一的开发路径，无需为不同平台构建不同版本的应用程序。此外，Unreal还提供了Unified Unreal AR Framework Project Template，其中的HandheldAR Blueprint提供了一个完整的示例项目来演示最新的功能。此外，Unreal Engine 4.19引入了Live Link功能，为流式广告提供了一个通用界面，用户可以引入第三方平台的动画数据，例如运动捕捉，通过Live Link用户可以捕捉来自Rift和Vive等头显运动控制器的信息。

德国传感器技术公司Bosch Sensortec最新推出的BMI085 IMU在上海电子展上亮相，该IMU主要用于增强现实（AR）和虚拟现实（VR）硬件。这款IMU采用了3轴16位MEMS加速度传感器和3轴16位MEMS陀螺仪，并将其集成在体积为3mm x 4.5mm x 0.95mm的立方体中，以实现更逼真的体验。Bosch声称此IMU可以实现低于3毫秒的延迟，并且由于闭环陀螺仪和加速度计的低噪声设计，系统非常稳定。此外，新款IMU还与之前的BMI055兼容，降低了集成的难度。这款IMU的目标是解决AR和VR界面中的晕动症和沉浸感问题，这些问题通常由于头部运动和屏幕响应之间的延迟引起。由于晕动症是AR/VR行业的重大挑战，因此以减轻晕动症为目标的技术解决方案变得迫切。

根据最新公布的专利，Magic Leap正在开发一种手语与文本翻译的方法，以帮助聋哑人士进行交流。该专利描述了一种混合现实系统，能够识别和翻译手语，并将翻译信息显示给设备用户。这种技术不仅可以实现手语人士与非手语人士之间的无缝沟通，还可以帮助全球范围内的手语用户进行有效的交流。 该专利还涵盖了文本翻译功能，可将用户环境中的文本识别和修改，并以修改后的文本来覆盖原始文本。这种功能可以解决外国旅行者的语言障碍。 此外，该专利还提到了改善文本显示质量的方法，包括调整字体大小和增加文本清晰度的标志。 尽管Magic Leap的主要市场是游戏和娱乐领域，但这些基本的辅助功能可以帮助他们进一步融入大众生活，并使其产品更加必不可少。

开发者Abhishek Singh为iPhone和iPad等移动设备开发了《街霸2》的AR版本。游戏可以在桌上或真实街道上进行，支持多人模式。Singh利用ARKit将内容瞄定在水平表面，玩家可以将手机指向同一个表面并加入战斗。Singh表示愿意在App Store上发行这款游戏，但需要首先解决版权问题。这个实验展示了MR/AR的无限可能，在未来有可能看到真正的多人MR/AR版《街霸》在世界各地的街道上出现。作为经典游戏的粉丝，希望在AR中看到更多经典游戏的复活。

谷歌日前在Steam上免费发布了名为《Welcome to Light Fields》的PC VR应用，旨在展示谷歌用于驱动下一代VR内容的新兴技术。相比于360度照片和视频，谷歌的光场技术可以捕捉整个场景，并在观看时允许用户自由移动头部，从不同角度浏览场景。通过光场技术，用户可以在动态的环境中移动头部，感受到真实世界的运动。然而，这种技术也存在一些限制，例如文件大小和场景的不完美之处。《Welcome to Light Fields》的静态光场场景总共约6GB，这在规模化普及方面仍然是个挑战。尽管如此，该应用仍然为光场技术的展示提供了一个不错的范例。

Tobii宣布与高通合作，为基于高通骁龙845移动VR平台的VR/AR头显提供眼动追踪技术。双方将共同创建完整的参考设计和开发套件，包括眼动追踪算法和硬件设计。此合作能带来以下功能和益处：1）注视点渲染，设备可以确定注视点位置，实时将高清图形处理能力应用于该位置，提升显示屏的清晰度和设备的效能、续航能力和便携性；2）瞳距，设备可以自动定位图像与用户的瞳孔对齐，适应不同用户，提高虚拟现实和增强现实的视觉质量；3）手眼协调，将眼睛与双手和控制器协调一致，实现自然的交互和沉浸；4）互动式眼睛交流，设备实时追踪注视点，创作者可以表达眼睛交流这一基本维度，为社交提供全新的沉浸式媒介。 作为SOC供应商，高通旨在成为头显设备厂商的关键技术合作伙伴。对Tobii而言，此合作证明了将眼动追踪技术集成至VR/AR头显的需求和效益。值得注意的是，国内眼动追踪技术厂商七鑫易维也曾获得过高通的战略性投资。

英国初创公司Blue Vision Labs已完成了由谷歌风投（Google Ventures）领投的1450万美元融资，使其累计融资达到1700万美元。自2011年成立以来，Blue Vision Labs一直致力于研发支持多人同时使用增强现实（AR）的技术。如今，他们开始介绍该技术的具体产品信息。Blue Vision Labs致力于实现一种"联机AR"的概念，即多个智能手机用户可以同时感知相同的增强现实环境，类似于多用户场景下的AR游戏《Pokemon Go》。与当前的AR应用不同的是，Blue Vision Labs不开发自己的联机AR应用程序，而是与开发者合作赋予他们实现联机AR的能力。谷歌风投的合伙人Tom Hulme表示对Blue Vision Labs的投资印象深刻，他认为联机AR可以在导航应用中具有重要价值，例如寻找无指定GPS位置的地点。他认为这种技术可以让人们在大规模游戏中共同管理和互动。

联想和谷歌宣布将合作研发两款全新的VR硬件产品，分别是Lenovo Mirage VR Camera和Lenovo Mirage Solo VR Headset。Lenovo Mirage Solo是首款无需连接智能手机的Daydream VR一体机，售价为399美元。Lenovo Mirage VR Camera是一款操作简单的VR相机，售价为299美元。这两款设备都基于谷歌最新的视频格式VR180。根据电商网站B&H Photo的商品信息，这两款设备预计将从5月11日开始上市。这一时间选择与谷歌的I/O大会在5月8-10日举行相吻合，参会人员将有机会在会后立即购买这两款产品。目前，B&H Photo和亚马逊已经开始提供设备的预购，但亚马逊显示“暂时没货”。

美国混合现实（Mixed Reality，以下简称MR）初创公司Magic Leap近日发布了一份关于游戏设计师的招聘启事。该公司最近完成了由沙特主权基金领投的4.61亿美元融资，使得其融资总额超过23亿美元。招聘启事表示，游戏设计师将加入Magic Leap Studios团队，该团队致力于创造全新且激动人心的MR体验，改变人们对数字内容的看法。这表明，无论Magic Leap最终推出什么样的产品，该公司仍专注于游戏领域。在增强现实（Augmented Reality，以下简称AR）和虚拟现实（Virtual Reality，以下简称VR）领域，游戏是激发早期采用者的最佳方式之一。Magic Leap的工作地点位于美国佛罗里达，这里也是许多开发团队的所在地，例如艺电（EA）旗下的Tiburon工作室。这使得Magic Leap能够从当地丰富的游戏人才市场中招募人才，或者吸引来自世界其他地区的人才。由于拥有巨额资金，Magic Leap显然可以为大量的MR游戏提供足够的开发资金。