Nweon

Unity宣布推出了两款全新的生成式AI产品：Unity Muse创作平台和Unity Sentis引擎。这两款产品目前在内测阶段，计划于今年下半年发布。Unity Muse是一个加速实时3D应用和体验创建的AI平台，可用于沉浸式虚拟现实和增强现实的创作。它提供了易用性和灵活性，允许开发者和美术创造独特的视觉、音频效果和交互式场景。Muse的目标是帮助用户使用自然语言输入，在Unity编辑器中轻松创建内容。其中，Muse Chat是Muse平台的重要功能，用户可以通过它快速搜索相关信息，并得到有效建议。此外，Muse还能根据文本提供流畅的创作效果，例如输入"后空翻"，数字角色就可以流畅地做出相应动作。 Unity Sentis是一个跨平台解决方案，将AI模型嵌入到实时3D引擎中。它将神经网络技术与Unity结合，能够直接在最终用户平台上增强游戏性能和其他功能，无需复杂的云端托管。Sentis可以在移动设备、PC、Web、主机和VR/AR头显上本地运行。 总的来说，Unity Muse和Unity Sentis的发布将为用户提供更多创作实时3D内容的工具和技术。

从技术角度来说，最新的PSVR 2现在已经可以作为PC VR头显使用，但是它自身没有追踪功能。iVRy团队表示他们最近通过Twitter宣布，他们已经能够在PSVR 2上以120Hz的频率显示SteamVR，并公布了一张在PSVR 2上运行《半衰期：爱莉克斯》的截图。 然而，破解PSVR 2并不容易。由于PSVR 2的设计限制，它无法直接连接到电脑的显卡，也无法使用标准的DisplayPort over USB-C信号。此外，追踪工作也十分困难，因为PSVR 2采用内向外追踪，并且需要对摄像头数据格式进行逆向工程。 尽管如此，iVRy团队取得了一些突破，他们开始试验DisplayPort Sniffer Board来确定PSVR 2进入VR模式的确切视频输入格式。然而，目前这种方式无法实现机载追踪，用户仍需使用第三方追踪器。 总结来说，目前PSVR 2可以在PC上作为VR头显使用，但需要额外的硬件支持。iVRy团队计划进一步改进他们的解决方案，并将Raspberry Pi Pico Board作为潜在的适配器模板。

Adobe宣布Substance 3D Modeler（beta版），用于建模和雕刻的工具已经上架Meta Rift Store，并支持Rift、Rift S，以及通过Link兼容Quest 2和Quest Pro。Substance 3D Modeler每月9.99美元或每年99.99美元，也可免费试用。从7月中旬开始，从亚马逊购买Meta Quest & Adobe Creators Bundle套装的新用户将有资格免费订阅Substance 3D Modeler一年。 Substance 3D Modeler的核心是Sparse Distance Field（SDF），它允许用户专注于建模和雕刻，而无需担心多边形计数或拓扑。用户可以从零开始创建或导入现有模型，然后将其转换为粘土开始雕刻。 Adobe团队表示，他们希望将Modeler带到Meta Rift Store，为了更好地支持Quest 2、Quest Pro和Touch Pro控制器，并与VR社区更密切互动。他们正在努力改进体验，确保用户可以在VR和桌面版本之间无缝切换，并考虑在用户界面和场景交互中保持一致性。 Medium by Adobe将继续在Meta Store中免费提供下载和使用，而Substance 3D Modeler通过改进能够处理更复杂、更高分辨率的对象和场景。对于VR游戏或应用开发者来说，Modeler可以用于构思和概念设计，以及创建3D模型，并且Adobe正在改进导出管道以简化下游工作流程。 Adobe团队认为，VR可以推动3D模型创作的普及，因为VR为创作者提供了更直接的联系和沉浸感，让创作过程与眼手运动之间更加直接连接，这符合人类的根本愿望和基本价值。

在这些文献中，团队提出了多项创新的研究成果，涵盖了视频压缩、自然语言辅助手语识别、神经视频编解码器、图像编辑、文本到图像生成、Vision Transformers、掩码图像建模、序列到序列学习、开放词汇语义分割、流式视频架构、多平面图像、半监督动作识别、蒸馏模型、两阶段视频对象分割、布局生成、视频追踪、VR场景重建、人物模型等领域。 这些研究成果提出了一系列创新方法和技术，通过使用神经网络、Transformer模型、蒸馏技术等实现了在视频压缩、图像生成、语义分割、动作识别、VR场景重建等领域的优化和性能提升。这些方法不仅在实验中展现了卓越的性能，还提供了新的数据集和评估基准，促进了相关领域的研究和发展。今年的CVPR计算机视觉会议中，微软共发表了40份论文。其中一些论文包括：1）一项通用的多模态基础模型BEiT-3，在视觉和视觉语言任务方面都取得了优异的表现；2）关于掩码图像建模的研究，发现数据规模和训练时间对模型性能有重要影响；3）一种通过扩散网络生成3D数字身体化身的模型；4）从虚拟标记中估计3D人体网格的研究；5）一种用于3D线图绘制的库，通过引入线三角测量的结构先验来提高线重建的效果；6）使用混合姿势的外观建模方法来生成人脸的高保真可视化；7）一种跨语言手语检索方法，可以在手语视频和文本之间建立语义对齐；8）通过深度频率滤波技术来提高深度神经网络的泛化能力；9）一种用于线段检测和细化的方法，通过深度图像梯度来生成准确的线段；10）一种改进的DETR模型，通过混合匹配分支和一对多匹配分支的结合来提高准确性。这些研究涵盖了计算机视觉的多个领域，展示了微软在该领域的研究和创新能力。

《映维网Nweon》报道，根据Valve官方的言论，他们一直在研发新的迭代产品，而根据早前的消息，这款设备可能被命名为Deckkard。根据YouTube用户布拉德·林奇（Brad Lynch）的分析，根据对SteamOS和SteamVR的数据挖掘，Valve的下一代VR设备本质上可以充当一个高端Steam Deck，并允许用户玩所有的PC游戏。据悉，Valve在Steam Deck操作系统中添加了一系列与VR相关的更新，这表明Valve可能会推出一款运行x86 APU的头显，以实现完整的一体机体验。对Valve来说，无线VR一体机将是一个重大升级。在Github中增加的字符串显示，Valve的下一款头显不仅是VR设备，而且是一款可以玩所有游戏的高端Steam Deck设备。这一进展有望使Valve的Deckard成为玩家必备的头显，如果Valve解决了高质量游戏的问题，他们就有机会将自己的下一款VR产品推向主流。

映维网Nweon于2023年发布了一款14K ppi的红色Micro LED显示器。该显示器使用量子点QD工艺制造，直径为1.37微米，间距为1.87微米，具有高像素密度、亮度、对比度、色域和能效。Mojo Vision团队表示，该产品克服了波长和视觉挑战，是业界首款红色Micro LED显示器产品。团队强调，在同一基片上制造非常小的红、绿、蓝Micro LED对于有效实现全彩微型显示器至关重要。他们表示，通过这种尺寸和规格，实现真正的红色显示器，而不是倾向于橙色的显示器，使他们的产品能够满足或超过当前AR/VR产品性能和形状的要求。当前显示技术在AR/VR头显中面临的挑战是在不同环境光线下动态提供最佳亮度和对比度。而这款Micro LED显示器能够在所有环境条件下为AR和XR提供丰富的设备功能，是克服高性能全彩Micro LED显示器挑战的一大步。

Meta最近在印度启动了一个新的混合现实项目，并向五家印度初创公司提供高达25万美元的资金，帮助它们利用Presence平台构建相关的MR应用和服务。Presence是一个拥有机器感知和人工智能功能的工具集，旨在帮助用户在物理世界中无缝融合虚拟内容，构建逼真的混合现实、交互和语音体验。入选的五家印度开发者团队将能接受Meta Reality Labs专家的指导，并能够将他们的产品上传到Quest App Lab，在项目结束时，Meta将帮助优选团队联系当地的风投基金。Meta表示，这个项目旨在培育印度XR生态系统的创新，帮助印度建立XR生态系统，并为印度开发者提供一个通过创新走向全球的机会。此外，Meta还在印度宣布了许多支持XR发展的计划，包括投资100万美元支持印度工商联合的XR开源计划以及5000万美元的投资用于XR技术项目和第三方研究。

据福布斯报道，新加坡初创公司Brilliant Labs已完成了300万美元的融资。投资者包括Oculus创始人布伦丹·艾瑞比、Siri创始人亚当·齐亚、Pebble创始人埃里克·米吉科夫斯基以及Plug & Play Ventures等。Brilliant Labs成立于2019年，专注于开发基于AI的AR可穿戴设备，已为普通眼镜研发了附加式AR模组开源解决方案Monocle。Monocle是一种可以夹在任何一副眼镜镜片上的小型圆形装置，具备摄像头、麦克风、蓝牙连接和触控按钮，并可以将数字内容叠加在现实世界视图中。设备内置ChatGPT扩展，允许开发者构建与ChatGPT和其他生成式人工智能应用程序交互的内容体验。Brilliant Labs计划利用这次融资进一步扩大团队，并开发新的AR可穿戴设备，旨在推动人工智能和增强现实的交叉融合。

高通近日为骁龙Spaces发布了一项名为Dual Render Fusion（双渲染融合）的全新功能。该功能允许开发者将2D移动应用扩展成3D体验，将智能手机的简单性和熟悉性与AR眼镜的数字叠加能力融合在一起。开发者可以使用Dual Render Fusion来构建骁龙Spaces应用程序。这项技术允许在智能手机和兼容的AR眼镜上同时渲染应用程序。通过Dual Render Fusion，用户可以使用熟悉的手机界面和手势，在增强现实中选择并查看内容。这样可以实现更加沉浸式的空间体验，同时保留了用户熟悉的控制方式。高通认为Dual Render Fusion对于推动人机交互向空间体验的转变非常重要，用户可以从额外的空间XR体验中获益。开发者可以使用Dual Render Fusion来开发引人入胜的XR应用，将现有的Unity移动应用和演示内容快速移植到XR平台，而无需大量修改代码。

6月28日，玩出梦想(YVR)品牌在2023世界移动通信大会(MWC上海)上展示了其自研的手势识别技术，为观众带来了更自然、真实、具有想象力的未来空间交互体验。YVR品牌是一家国内科技品牌，以自研技术实力推动中国数字经济的发展，全力推动三维信息技术革命。手势识别作为未来XR交互的主流技术趋势之一，能够实现更自然、直观、有效的交互形式，引起了苹果、Meta等行业巨头的关注。YVR品牌在精确度、稳定性、流畅性等方面达到了行业领先水平，已经支持了裸手点击、滑动等动作的远场交互场景。YVR品牌表示，更自然的交互方式是技术发展的必然方向，手势识别功能将助力虚拟世界和现实世界的深度融合，未来还将在更多场景中应用手势识别技术。YVR品牌作为拥有全栈式研发能力的独立研发团队，正持续推动三维信息技术革命，构建虚拟现实与真实世界的融合未来。