研究团队为突破XR边缘计算瓶颈,提出高效DiT模型压缩方案
伊利诺伊大学厄巴纳-香槟分校的研究团队探讨了在资源受限的边缘设备上高效实现Diffusion Transformer(DiT)的方法。团队采用知识蒸馏技术,提出两种蒸馏方法Teaching Assistant (TA)和Multi-In-One (MI1),并进行设计空间探索,重点在于优化深度、宽度和注意力头等设计参数。尽管TA略优于基线,研究表明,基于原则设计的模型在训练成本上更具优势。研究为高效DiT在边缘设备的实际应用提供了关键指导。