三星是首个正式宣布基于新发布的Android XR的MR头显的合作伙伴。该设备的代号为“莫汉计划”,计划于2025年向消费者发布。我们提前体验了早期版本。
注意:目前三星和谷歌尚未分享有关该头显的关键细节,如分辨率、重量、视场以及价格。在我的试用中,我也不能拍摄照片或视频,所以目前我们只有一张官方的图像。
如果我告诉你“莫汉计划感觉像是Quest和Vision Pro的混搭”,你可能可以大概理解它有很多重叠的功能。但我不仅仅是做个大致的比较。单从头显的外观来看,可以清楚地看出它在设计上借鉴了Vision Pro的重要元素。从颜色到按钮布局再到校准步骤,都让人不难联想到市场上的其他产品。
而在软件方面,如果我告诉你“请设计一个将Horizon OS和VisionOS融合在一起的操作系统”,你设计出的就是Android XR。我可以说你很成功地完成了任务。
莫汉计划和Android XR确实非常像是两个其他主要头显平台的延续。
但是这并不是为了说某个公司从其他公司那里偷东西的文章。科技公司总是互相借鉴好的想法和设计,有时候还会在借鉴的过程中改进它们。只要Android XR和莫汉计划汲取了其他产品的优点,避免了缺点,这就是对开发者和用户来说的胜利。
而且,许多优点似乎确实存在。
对于三星莫汉计划的硬件来说,它是一款外观不错的设备,毫无疑问。它继承了Vision Pro的“护目镜”风格外观,还有一个可连接的电池包(上图未显示)。
但与Vision Pro采用软头带设计(如果没有第三方升级,我觉得它会相当不舒适)不同,三星的头显采用了一个带有调节旋钮的硬头带,整体的人体工学设计与Quest Pro相当接近。这意味着它具有适用于AR的开放式外设设计。与Quest Pro类似的是,头显上配有一些磁吸式挡板,供那些希望完全沉浸式体验的用户使用。
虽然莫汉计划的外观包括很多按钮布局(和形状)与Vision Pro非常相似,但是它没有外部显示屏来显示用户的眼睛。Vision Pro的外部“EyeSight”显示屏受到很多批评,但是我认为这是一个有吸引力的功能,而且我真的希望莫汉计划也能有这样的功能。从Vision Pro过来,不能“看到”戴头显的人,感觉有点尴尬,尽管他们可以看到你。
三星对于头显的技术细节一直守口如瓶,坚称它仍然是一个原型机。然而,我们了解到该头显采用了Snapdragon XR2+ Gen 2处理器,这是Quest 3和Quest 3S芯片的更高性能版本。
在我的试用中,我能够了解到一些细节。首先,该头显采用了具有自动IPD调整功能的平板透镜(由于集成了眼球追踪)。视场感觉上似乎比Quest 3或Vision Pro要小,但在我对不同的前额垫选择进行尝试之前,我不能确定这一点,因为前额垫的选择可能会使我的眼睛更接近透镜,从而获得更宽广的视野。
然而,从我试用的情况来看,视场感觉上确实较小,尽管足以提供沉浸感,并且由于显示屏边缘亮度递减,甜蜜点也感觉较小。再次强调,如果透镜更接近我的眼睛,这一点可能会有所改善,但我目前的感觉是,从透镜的角度来看,Meta的Quest 3仍然领先,其次是Vision Pro,莫汉计划则稍逊一筹。
虽然三星已经确认莫汉计划将配备自己的控制器,但我还没有看到或试用过它们。据说他们还没有决定控制器是否会默认与头显一起销售,还是单独出售。
所以在我试用这款头显时,我首先注意到的是我的手看起来非常清晰。据我记忆,这款透视摄像头的图像似乎比Quest 3更清晰,而且比Vision Pro的动态模糊要少(但我只能在良好的光线条件下进行测试)。然而,考虑到远处的物体看起来不那么清晰,它几乎感觉就像透视摄像头的焦点大约在手臂长度处。
继续阅读第二页:关于Android XR内部 »
关于Android XR
无论是硬件还是软件方面,正如前面所说,Android XR立即就可以与Horizon OS和VisionOS相比较。你会看到与Vision Pro相似的“主屏幕”,上面有一个透明背景的应用图标。观看并捏合选择一个应用程序后,会弹出一个浮动面板(或几个),其中包含该应用程序。打开主屏幕的手势也相同(看着你的手掌然后捏合)。
系统窗口本身更接近Horizon OS而不是VisionOS,背景大多是不透明的,并且可以通过触摸整个面板周围的无形边框来任意移动窗口。
除了普通应用程序,Android XR还可以进行全沉浸式体验。我看到了Google地图的VR版本,它与Google Earth VR非常相似,允许我选择全球任何地方进行参观,包括能够看到以3D模型呈现的大城市、街景图像以及新加入的室内空间的体积捕捉图像。
虽然街景视图是以单眼360度图像的形式呈现,但体积捕捉图像是实时渲染的并且可以完全探索。谷歌表示这是一种高斯贴花解决方案,尽管目前我还不清楚它是基于现有的标准谷歌地图上已有的室内摄影生成的,还是需要全新的扫描。虽然它的清晰度不像你从光线测量扫描期望的那样高,但也不错。谷歌表示这个捕捉图像是在设备上运行的,而不是通过流媒体传输的,预计在未来图像的清晰度会提高。
谷歌还对Android XR进行了更新,包括将现有库中的任何2D照片或视频自动转换为3D的功能。在我简短的试用时间内,这些转换效果看起来非常令人印象深刻,质量与Vision Pro上的相同功能相似。
YouTube是谷歌更新以充分利用Android XR的另一个应用程序。除了在一个大而弯曲的显示屏上观看常规平面内容外,您还可以观看该平台现有的180度、360度和3D内容。并非所有内容都是高质量的,但很好的是,这些内容没有被遗忘,并且随着更多的头显能够观看这种类型的媒体,内容肯定会增加。
谷歌还向我展示了一个YouTube视频,该视频最初是以2D拍摄的,但自动转换为3D以在头显上查看。效果非常不错,质量似乎与Google Photos的3D转换技术相当。目前还不清楚这是否是需要YouTube创作者选择生成的功能,还是YouTube会自动进行转换。我相信还有更多的细节会陆续发布。
目前最突出的优势
从硬件和软件的角度来看,Android XR和莫汉计划都非常像是市场上已有产品的谷歌版。但它 clearly 相对于目前的任何其他头显平台来说最擅长的领域是对话人工智能。
谷歌的AI助理Gemini(特别是“Astra计划”的变种)可以直接从主屏上调出。它不仅可以听到你的声音,还可以连续地看到你看到的真实世界和虚拟世界。它对你的话语和视觉的持续感知使其更聪明、更好地集成,并且比当前头显上的AI助理更擅长进行对话。
是的,Vision Pro有Siri,但Siri只能听到你的声音,而且主要专注于单一任务,而不是对话。
Quest有一个试验性的Meta AI助理,可以听到你的声音,并看到你所看到的真实世界。但它对你所看到的虚拟内容没有概念,这导致了一种奇怪的脱节感。Meta表示这将最终发生变化,但目前它就是这样工作的。为了“看到”事物,你必须问它一个关于你的环境的问题,然后静止不动地等待它发出“快门”声音,然后开始思考那个图像。
另一方面,Gemini在你所看到的真实和虚拟世界中得到了更接近低帧率视频的内容;这意味着不需要尴尬的停顿来确保你正在直接看着你所问的东西。相比之下,它得到了一个更连续的视频观看体验。
Gemini在Android XR上也有记忆功能,这在上下文理解方面使其更有优势。谷歌表示它有10分钟的滚动存储,并保留“过去对话的关键细节”,这意味着你不仅可以参考你最近讨论过的事情,还可以参考你以前看到的事情。
我看到了一个现在已经变成常见AI示例的演示:你在一个房间里,房间里有很多东西,你可以问关于这些东西的问题。我试图用一些机警的问题来干扰系统,但它避开了这些转移。
我使用Android XR上的Gemini让它翻译一块用西班牙语书写的标牌成英文。它很快给我快速的翻译。然后我让它翻译附近的另一块标牌成法文,尽管这块标牌本身就是法文的。Gemini对此毫无问题,并正确地指出:“这个标牌已经是法文的了,它说[xyz]”,它甚至用法国口音说出了法文单词。
我继续询问房间里的其他物品,并且在问完标牌的几分钟后,我问它:“之前那块标牌说的是什么?”它知道我在谈什么,并读出了西班牙语标牌的内容。然后我说:“之前那一个呢?”……
几年前,这个问题“之前那一个呢?”对于任何AI系统来说都是一个极具挑战性的问题(对于许多系统来说仍然如此)。正确回答这个问题需要我们对话的多层次的上下文理解,以及对我刚刚询问的事物与我们之前谈论的另一件事物之间关系的理解。
但它确切地知道我指的是什么,并迅速将西班牙语标牌的内容读给我听。令人印象深刻。
Gemini在Android XR上还可以做更多,不仅仅是回答一般性问题。目前尚不清楚它在推出时将有多深入,但谷歌向我展示了一些Gemini实际上可以控制头显的方式。
例如,要求它“带我去艾菲尔铁塔”会在头显上弹出一个沉浸式的Google Maps视图,让我可以以3D视图看到它。由于它既能看到虚拟内容又能看到真实内容,我可以继续进行相当自然的对话,询问一些问题,比如“它有多高?”或“它是什么时候建造的?”
Gemini还可以获取它认为是对你的问题的正确答案的特定YouTube视频。因此,当你看着虚拟的艾菲尔铁塔说出“显示一段从地面看到的视频”时,会弹出一个YouTube视频来展示你所要求的内容。
可以预见,Gemini在Android XR上应该还能完成大多数手机AI能够完成的一般助理任务(如发送短信、撰写电子邮件、设置提醒等),但是我们将看到它在XR特定功能方面能达到多深入。
在头显上,Gemini在Android XR上感觉就像是当前头显上的AI助理的最佳版本(包括Meta目前在Ray-Ban智能眼镜上的功能),但苹果和Meta无疑也在朝着类似的能力努力。谷歌能够保持领先地位的时间有待观察。
莫汉计划上的Gemini在进行空间生产力时感觉是一个很好的附加价值,但其真正的命运可能在更小、日常佩戴的智能眼镜上,这也是我试用的另一款产品……但后续文章会详细介绍。