The Voices of VR Podcast
主持人介绍
你好，我的名字是Ken Bai，欢迎收听《The Voices of VR Podcast》。这是一个关注沉浸式叙事结构和形式以及空间计算未来的播客。你可以在patreon.com/voicesofvr上支持这个播客。
节目的内容
今天的节目是关于一个名为Tonevok的实时音频反应音乐作品《音天之旅》。实际上，这件现场音乐作品来自日本。今年所有的现场音乐作品都是日本的，这也是Raindance Immersive 2025展上所提到的。这个作品由一个名为Tonevok的团队创作，团队成员是Voxakai和Artone。
我与翻译Riku VR合作，她可以翻译Voxoke所说的话，而Artone则在聊天中打字，她一边阅读日文，一边将其翻译成英文。我想以我亲身体验的形式呈现这个节目。
我还想提到，在这个作品中，与Apple Blossom一样，Voxakai使用了一种着色器，可以使用视频来编码像素信息。具体来说，就是对每个像素编码信息，然后使用常规视频压缩，这实际上是以快速方式传递大量数据的最有效方法。他们能够实时翻译这些数据，并在不同的着色器中访问这些数据。这是Voxelk在做的工作，但与Apple Blossom的着色器所做的空间数据和屏幕效果不同，VoxelK在使用MIDI数据上进行类似的处理。
这种实时的音频反应可视化在VRChat的上下文中也很有趣，他们通过将音频结合成视频，并将MIDI的输出实时编码到同一视频中，然后将该视频流入VRChat，能够实现对这场现场演出的实时解码。这场演出由Artone提供MIDI信息，进而对不同仪表盘进行实时视觉表现。因此，我们在今天的《The Voices of VR Podcast》中将讨论这一切及更多内容。
访谈部分
此次与Voxelk和Artone的访谈，由RikuVR进行日语翻译，发生在2025年7月2日星期三，作为我更广泛的Raindance Immersive 2025报道的一部分。接下来，我们直接开始吧。
Voxelk的自我介绍
嗨，大家好。我们是一个音乐单位，称自己为实时音频视觉表演单元。Artone现场弹奏合成器，即兴创作音乐，而MIDI数据则随音频一起发送。对此，我生成视觉效果。Artone在观看视觉效果时，会改变他的表演方式，而我也会相应改变视觉效果。
关于虚拟现实的背景
Artone，你能否谈一下你进入虚拟现实的背景？
嗨！在进入VRChat之前，我开发了Oculus Quest的应用程序，并发布了一款飞行模拟器，可以在天空中飞翔，不过那只适合单人游戏。我希望制作一个多人游戏应用，让朋友们可以一起飞翔。但技术壁垒太高，我很难实现。后来我发现，在VRChat中是可以实现这一点的。这就是我来到这里的原因。
关于表演的创意起源
我们第一次项目的名字是“Tony Hawk”，开始于2019年2月。当时，我正在开发Japaniland，其中一个我创建的世界叫做MIDI粒子世界，那是唯一一个与音乐相关的世界。在这个MIDI粒子世界中，连接MIDI设备进行键盘或电子鼓演奏时，粒子会应答出现。我邀请我的朋友们来玩，也就是在那时Artone来访，这是Tanavak的开始。
表演的挑战与灵感
对于这次Raindance Immersive的表演，独特之处在于我们将日本地形再现与现场音调表演结合。这是我们第一次同时展示这两者，我想问Artone能否谈谈他用VRChat中工具进行实时作曲的过程。
是的，Voxel声响的世界会随着我的MIDI和音效反应，并产生各种动态效果。所以在其中表演总是令人愉快。
技术和自动化系统的探索
你能谈谈你如何将MIDI转换为视觉效果的过程吗？是完全自动化的，还是有实时决策的？
我发现在我们的表演中，人类在控制，但这还不够。所以我也使用自动化系统来创建表演。我已经在实验MIDI系统大约五年了。最早我尝试过在VRChat中使用MIDI检测系统，但存在问题，因为MIDI信号和音频是通过不同的路径传输的，这导致视觉与声音之间出现延迟。
因此，我开始尝试不同的方法。我第一个目标是使音频和视觉效果完美同步。于是我建立了一个将MIDI数据转为视觉图像的系统，目前我让Artone读取MIDI数据，然后他将音频和MIDI信号发送至Voxel的世界，并通过视频流传输到该世界中。
程序创新和潜力的思考
在谈论未来的潜力时，你们如何看到虚拟现实技术能够实现的内容？
对于我来说，我觉得加入虚拟现实后，我的世界扩展了，因为现在我周围是其他创作者，他们充满想象力。他们的存在形成了一种协同效应，将所有事物推向更高的水平。
结束语
在Raindance Immersive中能成为提名者让我受益匪浅。我希望越来越多的海外朋友能看到我们的表演。这是一个美好的机会，而我真心希望未来可以为国际观众带来更多表演。
如今，VRChat的未来取决于用户生成内容的快速发展。只要我们所用的硬件能够进步，我相信它会不断扩展。
非常感谢你们今天收听这一期的《The Voices of VR Podcast》。如果你喜欢这个播客，请告诉朋友，并考虑成为Patreon的会员。因为这是一个自愿捐助的项目，你可以在patreon.com/voiceofvr上加入感谢您收听！