Nweon

Oculus在今年的Facebook开发者大会上展示了音频到面部动画技术的最新进展。该技术允许通过任何语言的口语实时驱动面部动画。Oculus宣布这项技术将在最新的Oculus Lipsync Unity集成更新中向开发者开放。Oculus Lipsync是一种Unity集成，用于将虚拟角色的唇部动作同步至语音。它通过离线或实时分析音频输入，预测可用于将虚拟角色或非玩家角色的嘴唇动画化的一组发音嘴形。视觉音素是嘴唇和面部的姿势，对应于特定的语音。Oculus Lipsync将音频输入映射至包含15个视觉音素目标的空间，并描述了发音产生的面部表情。Oculus在演化中加入了深度学习算法和时间卷积网络模型，实现了更高的精度预测视素。通过与艺术家和面部姿势专家的合作，Oculus制作了一套新的视素参考图像来驱动逼真的面部动画。这些更新为开发者提供了利用最先进的唇形技术来驱动虚拟角色和非玩家角色的能力，使Oculus Lipsync更强大、更具表现力和更易于使用。

MR体验学习曲线中最困难的部分之一在于技术转变仅仅只是拼图的一块，需要大量的设计调整。世界构建是MR体验的重要方面，传统世界构建侧重于制作完全数字化的世界，而混合现实体验的重点是将内容带入现实世界，并与真实世界相融合。MR体验的边界不再局限于屏幕，用户需要适应内容可以出现在任意位置和方向的全新概念。用户在MR中的角色也发生了改变，他们成为内容创作者进入他人世界的客人。因此，尊重用户的环境和规则变得非常重要。设计MR体验时，需要考虑用户的交互方式和环境，并以一种能够建立用户信任和个性化交互的方式进行设计。对开发者和消费者来说，探索MR媒介的路径就像是学习数学，每个阶梯都建立在前一个阶梯之上，让大脑适应更加更新的方式思考。

根据一份调查，大约60%-80%的截肢者在截肢后会出现幻肢综合症，即患者感觉自己仍然有控制“幽灵”肢体的能力，甚至可能出现疼痛、瘙痒、抽搐和做手势的欲望等不舒服的情况。近期，瑞士洛桑联邦理工学院的科学合作团队开始使用虚拟现实（VR）技术来帮助截肢者接受未来的假肢。通过VR片段与现实世界的同步，研究人员触摸残肢的关键区域，而VR片段则能实时显示虚拟手部正接受刺激，从而提供更长、更准确的幻肢感觉。这使得患者能够更容易地接受假肢，甚至有些患者能感受到幻肢长成新肢体的效果。瑞士洛桑联邦理工学院的研究人员表示，他们演示了如何将视觉和触觉结合起来，以诱导截肢者的大脑感知假肢的具现，并表示这种模拟可以成为一种治疗方法，帮助患者永久地适应他们的假肢。

微软在Build Day 1开发者大会上展示了全新的Project Kinect for Azure传感器套件，其中包含了微软下一代的深度摄像头和专为边缘AI设计的处理能力。该传感器套件将利用Azure AI来提高性能与操作，并实现完全手部追踪和高保真空间映射。这款第四代Kinect传感器将用于下一代微软HoloLens设备。新的传感器套件具有更高的像素数目和灵敏值，同时支持大动态范围和全局快门等特性。目前的HoloLens设备采用第三代Kinect深度感知技术，而下一代HoloLens将采用Project Kinect for Azure，集成微软的智能云和智能边缘平台。微软还表示，他们将同时采用下一代全息处理单元，并支持板载深度学习，以降低AI算法成本和实现更智能的边缘计算。微软表示，他们期待开发者利用Project Kinect for Azure来创造实用、智能和有趣的解决方案。虽然微软尚未发布下一代HoloLens，但该设备已经度过了自己的“两岁生日”，因此相信发布日期不会太远。

HTC宣布Vive无线升级套件开始预售，该适配器可使VR用户摆脱繁琐的数据线，同时满足HTC Vive和Vive Pro的性能要求。Vive无线升级套件零售价格为2488元（299美元），安装只需几分钟。Vive Pro用户需要额外购买兼容包，其中包括连接数据线、泡沫衬垫和Vive Pro的附属设备。Vive Pro完整无线升级套件零售价格为3076元（360美元）。 HTC Vive美洲总经理Daniel O’Brien表示，通过整合工程专业知识，并获得合作伙伴英特尔和DisplayLink的支持，他们实现了无线VR体验的愿景。 Vive无线升级套件使用英特尔的WiGig规格在6米范围内运行，并具有150度的传感器视场。通过DisplayLink的XR编解码器，在无干扰的60Ghz频段运行，能够提供低延迟、高性能和长续航能力。套件包含一张Intel WiGig PCIe连接卡，需要插入电脑的PCIe槽。 适配器由HTC QC 3.0 PowerBank供电，也可用作智能手机充电包。零售包装附带一个PowerBank，额外的PowerBank可在Vive官网购买。 此外，购买Vive无线升级套件的用户还可获得为期两个月的Viveport订阅服务，可以访问近500款游戏，包括《寻找黎明》。

开发者面对不断涌现的新VR/AR技术、设备、工具包和平台时，需要应对软件、功能和业务优先级的问题。Unity开发者在处理丰富多样的功能和服务时常常面临困扰，目前Unity正在通过对XR播放器设置和API类的支持来解决这些问题。然而，开发者仍然需要使用更高级别的工具包来满足项目中的实际设备需求。 文章提供了5个建议来应对这些挑战。首先，使用附加场景来加载设备特定的player rig。其次，为特定于SDK的预制件使用条件响应对象。第三，应用条件组件以实现特定于SDK的行为。第四，将特定于设备的输入事件映射到应用程序语义事件。第五，排除SDK文件夹以避免编译器和生成冲突。 此外，文章介绍了Parkerhill BridgeXR工具包，它是一个帮助应用程序独立于设备的插件，包括场景、预制件、组件和输入事件的管理工具。这些工具可以帮助开发者在Unity项目中管理多个SDK，构建独立于设备的应用，避免SDK碎片化的问题。

谷歌的自动驾驶汽车项目Waymo的自动驾驶汽车行驶里程已经超过800万英里。这个数字虽然令人印象深刻，但与虚拟现实中的里程相比只是九牛一毛。Waymo的高级软件工程师詹姆斯·斯托特表示，他们每天在模拟中行驶800万英里。他们的虚拟车队中共有25000辆汽车，运行在谷歌的数据中心。斯托特和他的团队在一个虚拟世界中行驶了惊人的50亿英里，称之为“Carcraft”，类似于《黑客帝国》中的虚拟现实。通过模糊测试，Waymo的自动驾驶汽车可以应对各种挑战，增强其驾驶能力。与人类驾驶员相比，Waymo的“司机”不会感到疲倦，能够通过360度感知处理车辆行驶中的各种困难。Waymo计划在2018年和2019年实现商业化，重点关注安全性和多功能性。对斯托特而言，最大的回报是让他的父母能够乘坐无人驾驶汽车。

魔乐（Magic Leap）旗下的应用程序Create允许用户在AR中用虚拟对象填充现实世界。在使用前需要进行建立WorldMesh的操作，通过扫描真实世界环境来支持虚拟元素。在菜单中，用户可以选择不同的内容选项，如画笔、贴纸、积木块、小工具、角色和世界等，并可以利用控件进行抓取、冻结、克隆、擦除等操作。虚拟对象的样式简单而富有想象力，目的是提供乐趣和体验创建AR环境的愉悦。然而，Create应用程序存在一些缺点，如视场限制、虚拟对象被裁剪、控制器追踪笨拙等。虽然Create应用程序目前主要用于娱乐体验，但随着生态系统成熟，将有可能看到更丰富逼真的Create环境。作者认为，魔乐一号（Magic Leap One）在公众中更容易被接受，因为它看起来更像一种辅助设备而不是监控技术。总体来说，Create应用程序部分实现了将VR的沉浸体验带到AR中的目标。

谷歌与IMAX公司将停止合作开发VR摄影机。IMAX表示他们目前暂停了Imax VR摄影机的开发，并将继续审查试点计划的可行性。IMAX在2017年开设了7家全球范围内的VR中心，但关闭了其中两家，并计划在未来数个月内决定其余5家VR中心的未来。消息人士透露，终止VR摄影机开发的决定实际上来自谷歌，因为谷歌正在将注意力转向增强现实，并于2017年年底取消了项目。谷歌和IMAX最早在2016年宣布合作开发VR摄影机，他们计划开发一款影院级别的VR摄影机，支持3D 360度内容体验。双方共同参与了大约60人的项目，其中IMAX提供了设计高端相机的经验，谷歌贡献了针对VR内容的云端拼合解决方案。此前，谷歌还与GoPro和小蚁合作开发了VR相机。尽管谷歌专注于AR应用与体验，但他们仍然在继续研究电影制作技术。

旧金山风投机构罗森伯格基金（Rothenberg Ventures）创始人迈克尔·罗森伯格被美国证监会指控挪用投资者资金，现已达成和解。根据和解协议，罗森伯格的经纪和投资咨询牌照被吊销，但他可以再次申请。美国证监会指出，罗森伯格挪用近200名投资者的数百万美元资金，包括使用700万美元的垫底费支持个人商业投资，并支付私人聚会和高端度假胜地等活动。罗森伯格尚未回应指控。和解协议中，罗森伯格并未承认或否认指控，民事指控罚款由联邦地区法院决定。Rothenberg Ventures是一家声名显赫的风投机构，但在2016年遭遇了一系列指控和员工离职风波，包括被美国证监会调查。此外，由于拒绝支付薪水，多名员工向加州法院投诉，据说他们同时参与了证监会的调查。罗森伯格基金管理的资金超过5亿美元，但早在一年前，他们已经耗尽了所有资金，并通知所有员工（除律师外）进行无薪休假。