Insider Insider

Nweon

nweon 文章

〔英文字幕〕Oculus Connect 6主论坛演讲Keynote

Oculus Connect 6已经在2019年9月底结束,但是我们最近才为首日和次日的主题演讲配上了英文字幕。字幕制作过程非常复杂,期间遇到了很多问题,包括识别、时间轴、排版、校准和电脑性能问题,多次重做。总共花费时间预计超过10个工作日。以下是两个视频的链接,如果无法播放,请先开启浏览器的Flash支持。字幕可能还存在一些错误,但我们不打算进行更正了。另外,关于Oculus Connect 6的主题演讲视频汇总,请查看旧文章,但很多视频没有字幕,或者只有机器生成的字幕。

2020年02月07日美国专利局新申请AR/VR专利报告

《映维网》近期报道了一批AR/VR专利。其中,Oculus的专利是关于具有相干复制性的可穿戴式显示器。这个专利描述了一种显示器,它使用复制元件将入射光复制成多个子光束,然后通过光学干涉形成图像。 Magic Leap的专利包括多个方面,如安全交换密码签名记录、LED光学显示器的热特性和校准、纳米光栅方法和装置、根据用户分类选择深度平面的多深度平面显示系统以及显示设备的子网格标定方法和系统。 其他公司的专利涵盖了不同领域,如Facebook的定制化头相关传递函数、光学畸变效果渲染、音频系统的个性化、谷歌的头显和波导显示器技术、微软的映射数据共享和混合现实对象放置等。 此外,还有苹果、索尼、英特尔等公司的专利,涉及创意相机、媒体合成器、头戴式显示器、虚拟现实等多个方面。这些专利展示了AR/VR行业的创新发展趋势。这篇文本是关于英特尔公司的专利申请。其中包括了多个专利,涉及到了不同的XR技术。以下是每个专利的简要描述: 《英特尔专利:全景视频的建议视口指示》:该专利描述了一种方法,用于生成建议的视口指示并将其发送以用于全景视频。 《英特尔专利:计算环境中视频流的点云自适应分辨率和视点预测》:该专利描述了一种装置,用于根据用户与显示器相关联的观看位置来预测视频流的相关部分,以提高视频流的传输效果。 《英特尔专利:3D Blob分类和传输的系统和方法》:该专利描述了一种装置,用于处理Blob的三维点数据,并进行分类和传输。 《英特尔专利:体三维稀疏表示》:该专利描述了一种装置,用于将点云数据集投影到多自由度空间中,并与处理器融合。 《英特尔专利:点云操作》:该专利描述了一种装置,用于在点云数据集中执行三维场景的分离和聚类。 《英特尔专利:用于校正计算环境中伪影和对象清晰度的优化沉浸式媒体内容管道》:该专利描述了一个用于提取场景中对象的语义数据,并传输处理对象的内容模型的装置。 《英特尔专利:消除投影噪点和基于点的渲染》:该专利描述了一个用于消除投影噪点并进行基于点的渲染的装置,以提高图像质量。 《英特尔专利:点云视点和可扩展压缩/解压缩》:该专利描述了一种装置,用于对点云数据集进行视点预测和压缩。 《英特尔专利:用于编码宽视角视频的球形旋转》:该专利描述了一种方法,用于将编码视频进行旋转以生成解码视频的视图。 《英特尔专利:基于点的渲染和消除投影噪点》:该专利描述了一个装置,用于进行基于点的渲染和消除投影噪点,以提高图像质量。
2020年02月07日美国专利局新申请AR/VR专利报告

Facebook为PyTorch发布3D对象库:PyTorch3D

Facebook人工智能研究院(Facebook AI Research FAIR)最近发布了一个名为PyTorch3D的开源库,该库允许研究人员和开发者结合深度学习和3D对象进行研究。其中,Facebook还开源了Mesh R-CNN,这是一个于2019年发布的模型,能够根据室内空间图像的2D形状渲染3D对象。PyTorch3D受到了Mesh R-CNN和研究院最近的3D研究的启发。对于出现在混合现实或虚拟现实中的3D对象或场景的渲染来说,3D方面的研究非常重要,同时也可以应对一系列的AI挑战,如帮助自动驾驶汽车理解附近对象的位置。PyTorch3D提供常用的3D运算符、用于3D数据的损失函数以及用于创建3D对象的微分网格渲染器。Facebook AI Research工程师Nikhila Ravi表示,PyTorch3D还包含微分渲染API、一定的CUDA支持以及异构批处理功能,这些都是其他现有的3D库中所不具备的。通过PyTorch3D,研究人员可以结合PyTorch中现有的深度学习系统,快速进行3D规划研究,减少时间和专业知识的消耗。
Facebook为PyTorch发布3D对象库:PyTorch3D

开发者用WebXR可视化新型冠状病毒疫情信息

麻省理工学院毕业生兼XR战略分析师Michael DiBenigno开发了一个名为《nCoV-2019 Tracker》的WebXR应用,用于提供关于新型冠状病毒肺炎的基本信息和传播路径。该应用与《华尔街日报》发布的2D图表信息相似,引用了约翰·霍普金斯大学系统科学与工程中心以及美联社收集的数据。《nCoV-2019 Tracker》提供与疫情相关的交互式时间表和每个国家报告的感染数量。用户可以通过智能手机或PC查看,但使用AR/VR头显可以最大化数据的可视化效果。该应用可以帮助用户了解新型冠状病毒肺炎的传播速度和爆发地区,而不仅仅限于武汉地区。这个跟踪器是使用FlowImmersive构建的,这是一个数据可视化平台,帮助用户使用AR/VR设备更深入地分析数据。用户可以在各种平台上使用这款应用,但推荐使用沉浸式头显,如微软的HoloLens和Magic Leap等。用户只需打开WebXR兼容的浏览器并点击提供的链接即可使用该应用。
开发者用WebXR可视化新型冠状病毒疫情信息

LYNX创始人解释MR头显R-1独特光学设计

LYNX是一家初创公司,最近发布了一款名为R-1的MR一体机。该设备采用了独特的光学设计,使用了透视AR功能和高通骁龙XR2芯片。这款设备主要面向企业应用,预计今年夏天发售,售价为1500美元。该设备的光学元件被称为"四叠反射折射自由曲面棱镜",比一般的VR头显透镜复杂,但具有更强的光学性能和隐藏其他元件的优势。通过将显示器图像分成四个部分,并在眼动追踪摄像头周围重新组装图像,可以实现不可见的眼动追踪。R-1配备了90Hz 1600×1600的LCD显示屏,且透镜与图像部分重叠,使得可以进行超级采样。R-1的水平视场为90度,面向B2B和一些B2C应用,但也会出售给个人用户。预计R-1将基于Android的底层基础,但还不清楚具体的OS环境和公司是否计划构建自己的软件分发平台和实体店面。
LYNX创始人解释MR头显R-1独特光学设计

Facebook:新冠状病毒疫情影响Quest生产制造

新冠状病毒疫情对AR/VR行业产生了影响。除了企业等待疫情缓解以复工外,许多线下娱乐中心也停业。目前,HTC和Facebook公告了疫情对他们公司运营的影响。HTC表示,新冠状病毒对公司的财务业务没有重大影响,并公布了台湾和大陆子公司的防疫措施。Facebook也公告了疫情影响,他们预计新冠状病毒将对硬件生产带来额外影响,但将采取预防措施,并密切关注疫情,以尽快恢复生产能力。此外,原计划于2月12日举行的Pico新品发布会也已宣布延期,具体方案待公布。
Facebook:新冠状病毒疫情影响Quest生产制造

Valve:2020年奋力打造 SteamVR 2.0

在年度回顾中,Valve表示他们正在努力开发SteamVR 2.0版,其中包含多项客户体验优化。Valve还回顾了2019年的VR发展,包括推出了自己的头戴式显示器和控制器Valve Index,并于6月开始向顾客发货。Valve Index旨在提供高保真的VR体验,但SteamVR也支持其他多种头戴式显示器,如HTC Vive、Cosmos、Oculus Rift、Rift S、Pimax、Razer OSVR、三星Odyssey和其他Windows混合现实头戴式显示器。 在软件方面,SteamVR在过去一年中进行了超过百次测试更新,并发布了十多个“小数点版本”。这些更新主要着重于稳定性修复,并增加了对Oculus Rift S的支持以及在AMD GPU上的运动平滑。此外,VR视图窗口、音频管理和设置等方面也进行了重大优化。 Valve还宣布将于2020年3月发布《半衰期:爱莉克斯》。
Valve:2020年奋力打造 SteamVR 2.0

Unity 2019.3开始提供Quest实验性Vulkan支持

Unity于2019年3月提供了面向Oculus Quest的实验性Vulkan支持。Vulkan是一个底层图形API,提供了比OpenGL ES更大的灵活性和更低的渲染成本。与OpenGL ES不同,Vulkan是无状态API,减少了驱动执行错误检查的工作量。Vulkan的灵活性对VR开发者非常有价值,提供了增强的性能和控制。然而,由于Vulkan仍存在一些问题,质量和性能尚未准备好支持已发行的Quest应用,因此被标记为实验版本。Unity 2019.3正转向新的XR管理模型,结合使用Oculus XR Plugin和XR Plugin Management系统后,Unity将仅提供Vulkan支持。目前尚不能保证所有应用程序都能获得性能优化,并且在结合使用Vulkan和Universal Render Pipeline时可能存在功能和性能错误。Oculus计划在实验期间收集社区反馈,解决问题并提升稳定性,最终将Vulkan作为官方推荐的Quest开发图形API。
Unity 2019.3开始提供Quest实验性Vulkan支持

曾经的AR独角兽Daqri倒闭,专利资产挂牌出售

据报道,咨询公司Hilco Streambank和Rock Creek Advisors正在销售增强现实技术开发商DAQRI的相关资产。DAQRI是一家AR技术开发商,为120多家企业客户提供专业级增强现实解决方案。其专利组合主要通过头戴式硬件和软件平台实现商业化。Rock Creek Advisors的执行经理Jim Gansman表示,DAQRI开发的专利技术为构建和商业化世界一流的AR解决方案奠定了基础,并提供了将技术扩展到其他领域的机会。Hilco Streambank首席执行官Gabe Fried表示,DAQRI的技术不仅在增强现实领域具有潜力,还可以应用于工业领域的AR眼镜、自动驾驶汽车、游戏、人工智能、消费电子产品、数字内容创建和3D数字地图等领域。对于对DAQRI的专利产品组合感兴趣的买家,可以在2020年3月31日之前提交收购要约。
曾经的AR独角兽Daqri倒闭,专利资产挂牌出售

VR的过去、现在和未来——OC6之后VR将何去何从

生态建设对于VR的发展至关重要。虽然硬件层面的技术突破是VR发展的必然趋势,但生态建设(即内容库的发展)同样重要。过去,在Oculus平台上,硬件升级迭代导致内容的兼容性问题。为解决这个问题,Facebook在2019年的OC6大会上宣布了“Quest前向兼容”的保证,即向开发者保证他们研发的Quest内容将兼容下一代Oculus Quest头显。这项保证确保了Quest内容库不会出现大面积的兼容性断层。此外,扎克伯格强调了培养开发者社区和丰富内容库的重要性,他认为Oculus Quest是实现VR时代的重要起点。未来,AR/VR行业可能会出现一个抱团联盟,各厂商联合提供最佳技术组合以与Facebook竞争。可以预见,VR 2.0时代将会是AR/VR的巅峰戏剧,并且还有很多优秀厂商在追赶Facebook的步伐,值得资本支持。文章讨论了AR/VR的市场发展和技术发展。作者指出,未来属于6DoF(六自由度)一体式VR设备,例如Oculus Quest。文章还讨论了VR的定义和技术要求,包括使用光学技术显示三维立体图像和实现维度提升和感知提升。在技术发展方面,作者认为一体式VR和系留VR最终有可能融合起来,特别是当移动网络云服务成熟时。作者还提到了短焦VR头显的发展,指出只有在具备一篮子技术(例如空间扫描建模、空间定位追踪)的情况下,短焦VR头显才会有前景。文章最后强调了对行业领先者的尊重和合作的重要性。
VR的过去、现在和未来——OC6之后VR将何去何从