E-PMQ：基于合并权重锚定的专家引导式后合并量化
原帖
**E-PMQ：基于合并权重锚定的专家引导式后合并量化**
_E-PMQ: Expert-Guided Post-Merge Quantization with Merged-Weight Anchoring_
> 本文提出了一种名为E-PMQ的后合并量化框架。该框架旨在解决将多个专家模型合并后进行量化时，性能下降的问题。它通过利用原始专家模型的权重作为引导目标，并引入“合并权重锚定”技术来稳定校准过程，从而在低比特（如4-bit）部署中有效保留合并模型的集成能力。实验表明，在多项任务合并的CLIP和FLAN-T5模型上，E-PMQ显著提升了量化后模型的性能。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-19 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.16882)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
本文介绍了一种名为E-PMQ的后合并量化框架，旨在解决将多个专家模型合并后进行量化时出现的性能下降问题。该框架通过利用原始专家模型权重作为引导目标，并引入“合并权重锚定”技术来稳定校准过程，以在低比特（如4-bit）部署中保留合并模型的集成能力。实验表明，该方法在多项任务合并的CLIP和FLAN-T5模型上显著提升了量化性能。
答案说明
E-PMQ是一种后合并量化框架，通过专家模型权重引导和合并权重锚定技术，解决了多专家模型合并后量化时的性能下降问题，能在低比特部署中保留模型能力。
这篇帖子回答的问题
- 什么是E-PMQ？
- E-PMQ如何解决多专家模型合并后量化的性能下降问题？
核心观点
- E-PMQ框架通过利用原始专家模型的权重作为引导目标并引入“合并权重锚定”技术，来稳定后合并量化过程。
- 实验表明，E-PMQ在多项任务合并的CLIP和FLAN-T5模型上，显著提升了量化后模型的性能。
FAQ
- Q: E-PMQ的核心思想是什么？
- A: E-PMQ的核心思想是利用原始专家模型的权重作为引导目标，并通过“合并权重锚定”技术来稳定后合并量化过程，以保留多专家模型合并后的集成能力。
- Q: E-PMQ在哪些模型上进行了实验验证？
- A: 根据文章，E-PMQ在多项任务合并的CLIP和FLAN-T5模型上进行了实验验证，并显著提升了量化后模型的性能。
关键实体
- E-PMQ
- 后合并量化
- CLIP
- FLAN-T5