利用NeRF,谷歌研究通过简单文本生成3D图像
谷歌最近介绍了Dreamfusion,这是一个利用2D数据训练出来的模型,可以根据简单的文本提示生成相应的3D图像。Dreamfusion是Dream Fields的进化版,它结合了NeRF生成3D视图和CLIP评估图像内容的能力。通过文本输入,未经训练的NeRF模型从单个视点生成随机视图,并通过CLIP进行评估,并将反馈用作NeRF模型的校正信号。这个过程重复多达20000次,直到生成与文本描述匹配的3D模型。与Dream Fields相比,Dreamfusion最大的区别在于计算损失的方法。Dreamfusion使用了谷歌预训练的2D文本图像扩散模型Imagen来计算损失。研究人员引入了一个图像采样方法SDS,通过在参数空间而不是像素空间中采样,并对生成的图像进行优化,用作扩散模型的训练样本。与Dream Fusion不同,Dream Fields需要3D数据进行训练。与Dream Fields相比,Dreamfusion可以创建更高质量、深度和法线的可重照明3D对象,并且可以将多个Dreamfusion生成的3D模型合并到一个场景中。谷歌研究团队表示,“我们的方法不需要3D训练数据,同时不需要对图像扩散模型进行修改,这证明了预处理图像扩散模型的有效性”。