HodgeCover：基于高阶拓扑覆盖的稀疏混合专家模型压缩新方法
原帖
**HodgeCover：高阶拓扑覆盖驱动稀疏混合专家模型的压缩**
_HodgeCover: Higher-Order Topological Coverage Drives Compression of Sparse Mixture-of-Experts_
> 本文提出了一种名为HodgeCover的新方法，用于无需重训练的稀疏混合专家（MoE）模型压缩。研究指出，现有压缩方法存在一个结构盲区：三个专家可能两两兼容，但在合并时会形成不可约的循环障碍。作者将此障碍数学化为“调和核”，并利用Hodge分解从边障碍信号中精确隔离该核。基于此，HodgeCover算法贪心覆盖调和临界边和三元组临界三角形，并结合权重剪枝。实验表明，在激进的专家缩减场景下，该方法在专家缩减轴上匹配了当前最优基线，在混合压缩前沿上表现领先，并能独特地平衡所有四个Hodge分量的保留质量，证明了揭示MoE结构调和核对于压缩器选择的重要性。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-18 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.13997)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
本文提出HodgeCover方法，用于无需重训练的稀疏混合专家（MoE）模型压缩。该方法将现有压缩方法中的结构障碍数学化为“调和核”，并利用Hodge分解进行精确隔离。实验表明，该方法在激进专家缩减场景下性能领先，并能平衡Hodge分量的保留质量。
答案说明
HodgeCover是一种无需重训练的MoE压缩方法，通过识别并处理模型中的“调和核”障碍来实现高效压缩。它在专家缩减和混合压缩方面表现优异。
这篇帖子回答的问题
- HodgeCover方法如何解决现有MoE压缩方法中的结构盲区？
核心观点
- HodgeCover算法通过贪心覆盖调和临界边和三元组临界三角形，并结合权重剪枝，实现了无需重训练的MoE模型压缩。
FAQ
- Q: HodgeCover方法的核心数学工具是什么？
- A: Hodge分解，用于从边障碍信号中精确隔离“调和核”。
关键实体
- HodgeCover
- 稀疏混合专家（MoE）模型