Meta开源AI模型ImageBind,助力创造身临其境多感官体验
Meta最近开源了一种名为ImageBind的全新AI模型,它能够将六种不同模态的数据(包括文本、音频、视觉数据、温度和运动读数)对齐到一个公共空间,实现跨模态搜索和互动。例如,通过提供一张海浪的图片,ImageBind可以检索到海浪的声音;如果提供老虎的图片和瀑布的声音,系统可以生成一个老虎行走在瀑布前的视频。该模型目前只是一个研究项目,暂时没有直接的消费者应用,但它可以为创作身临其境的多感官体验提供帮助。此外,Meta表示未来的模型可以添加其他感官输入流,包括触摸、语音、嗅觉和大脑功能磁共振信号。这种多模态AI模型的发展将使人工智能系统能够像当前的文本输入一样交叉引用各种不同的数据,并提供更丰富的环境和动作体验。对于沉浸式内容创作而言,随着相关技术的提升,AI将提供巨大的帮助,并带来数量和质量方面的极大提升。