AI推理优化

TIDE：面向MoE扩散大语言模型的I/O感知专家卸载推理系统

本文介绍了TIDE系统，该系统针对混合专家（MoE）架构的扩散大语言模型（dLLM）在资源受限设备上的部署挑战，通过I/O感知的专家卸载策略实现高效无损推理。