LoRA微调中的参数记忆定律研究
原帖
**LoRA如何记忆？LLM微调中的参数记忆定律**
_How LoRA Remembers? A Parametric Memory Law for LLM Finetuning_
> 该研究探讨了大型语言模型（LLM）使用LoRA微调时的参数记忆机制。作者通过LoRA作为探测工具，在潜在空间中系统量化精确的参数记忆能力，提出了参数记忆定律（Parametric Memory Law），即损失减少与有效参数和序列长度之间的幂律关系。在词元层面分析发现，预测概率p\>0.5是贪婪解码下逐字回忆的充分条件。基于此，研究引入了MemFT策略，通过阈值引导优化动态调整训练资源分配，以提升记忆保真度和效率。论文代码将在GitHub上开源。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.30260)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
该研究探讨了LLM使用LoRA微调时的参数记忆机制，提出了参数记忆定律，并介绍了提升记忆效率的MemFT策略。
答案说明
研究通过LoRA作为探测工具，量化了LLM微调中的参数记忆能力，发现损失减少与有效参数和序列长度呈幂律关系，并提出MemFT策略优化资源分配。
这篇帖子回答的问题
- LoRA微调中参数记忆定律的核心发现是什么？
- MemFT策略如何提升LLM微调的记忆效率？
核心观点
- 该研究提出了参数记忆定律，揭示了LoRA微调中损失减少与有效参数和序列长度之间的幂律关系。
- 研究发现，在词元层面，预测概率p>0.5是贪婪解码下逐字回忆的充分条件。
FAQ
- Q: 什么是参数记忆定律？
- A: 参数记忆定律是指损失减少与有效参数和序列长度之间的幂律关系。
- Q: MemFT策略的作用是什么？
- A: MemFT策略通过阈值引导优化动态调整训练资源分配，以提升记忆保真度和效率。
关键实体
- LoRA
- 参数记忆定律
- MemFT策略