PEFT-Arena：从稳定性-可塑性视角理解参数高效微调
原帖
**PEFT-Arena：从稳定性-可塑性视角理解参数高效微调**
_PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective_
> 本文提出一个名为PEFT-Arena的新基准，用于全面评估参数高效微调（PEFT）方法。它不仅关注下游任务精度，还强调对预训练模型原有能力的保留，即评估‘稳定性-可塑性’的权衡。研究发现，在参数预算相当的情况下，正交微调（Orthogonal Finetuning）方法在稳定性和可塑性之间取得了最佳平衡（帕累托最优）。论文还从权重空间和激活空间的几何视角分析了不同方法的效果差异，并指出最终监督微调（SFT）检查点常会过度适应目标任务而损害通用能力，最后通过路径回退技术展示了后置改进的可能性。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-28 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.28819)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
本文提出PEFT-Arena基准，用于全面评估参数高效微调方法，不仅关注下游任务精度，还强调对预训练模型原有能力的保留，即评估‘稳定性-可塑性’的权衡。
答案说明
PEFT-Arena是一个新基准，用于评估参数高效微调方法。研究表明，在参数预算相当的情况下，正交微调方法在稳定性和可塑性之间取得了最佳平衡（帕累托最优）。
这篇帖子回答的问题
- PEFT-Arena基准主要评估参数高效微调方法的哪些方面？
- 在参数预算相当的情况下，哪种参数高效微调方法在稳定性和可塑性之间取得了最佳平衡？
核心观点
- PEFT-Arena基准强调对预训练模型原有能力的保留，评估‘稳定性-可塑性’的权衡，而不仅仅是下游任务精度。
- 在参数预算相当的情况下，正交微调方法在稳定性和可塑性之间取得了最佳平衡（帕累托最优）。
FAQ
- Q: PEFT-Arena基准的主要特点是什么？
- A: PEFT-Arena是一个新基准，用于全面评估参数高效微调方法，不仅关注下游任务精度，还强调对预训练模型原有能力的保留，即评估‘稳定性-可塑性’的权衡。
关键实体
- PEFT-Arena
- 正交微调（Orthogonal Finetuning）
- 参数高效微调（PEFT）