港科大轻量级Transformer模型实现VR晕动症93%高精度实时预测
香港科技大学(广州)团队开发了一种轻量级的跨模态学习框架,旨在实时预测虚拟现实中的晕动症。该模型结合生物信号和视频数据,采用基于transformer的编码器和PP-TSN网络,通过跨模态融合模块生成视频感知的生物信号表示。实验表明,该方法在准确性和及时性上均表现优异,达到93.13%的预测精度。研究强调个性化模型的重要性,并指出未来需要扩展数据集和优化模型以提高适用性。
Insider
nweon 文章