Meta专利分享Quest用机器学习实现低分辨率编码传输,高分辨率解码显示
根据美国专利商标局公布的一份名为“Enhancing the resolution of a video stream”的Meta专利申请,介绍了一种优化视频传输分辨率的方法。该方法利用机器学习模型对图像进行低分辨率处理和传输,然后再进行上采样以提高分辨率。
在该方法中,计算设备可以访问视频帧的第一分辨率图像,并基于第一帧和第二帧的第一分辨率图像计算第一运动矢量。然后,利用第一运动矢量将与第一帧相关联的第二分辨率图像扭曲以生成与第二帧相关联的第二分辨率扭曲图像。接着,计算设备可以基于与第二帧相关联的第一分辨率图像生成与第二帧相关联的第二分辨率中间图像,并通过在第二分辨率图像平面中插值填充空白像素。最后,计算设备可以使用机器学习模型处理第一分辨率图像和第二分辨率扭曲图像,并根据调整参数调整第二分辨率中间图像的像素以重建第二分辨率重建图像。
这种方法可以在节省成本的同时将低分辨率处理和传输的图像提升至较高分辨率。这对于XR行业中需要高分辨率图像的应用场景非常有价值。