Fast-Slow Training (FST): 新范式解决大语言模型持续学习能力退化问题
原帖
**学习快与慢：迈向持续适应的大语言模型**
_Learning, Fast and Slow: Towards LLMs That Adapt Continually_
> 该研究提出了一种名为“快-慢训练”（FST）的新范式，旨在解决大语言模型（LLM）在持续学习中的能力退化问题。FST将提示优化视为“快速权重”（快速适应任务），将模型参数视为“慢速权重”（学习通用能力），并在训练中交替更新。实验表明，在数学、代码和推理等多个基准上，FST在数据效率、性能上限、模型可塑性（持续学习新任务的能力）以及与基础模型的KL散度保持等方面均优于仅更新参数的方法。该工作为构建更适应性强、可扩展的通用人工智能系统提供了新思路。
**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-05-16 03:13（北京时间）
- **原文**：[打开原文](https://gepa-ai.github.io/gepa/blog/2026/05/11/learning-fast-and-slow)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
该研究提出快-慢训练（FST）范式，通过将提示优化视为快速权重、模型参数视为慢速权重并交替更新，以解决LLM在持续学习中的能力退化问题。实验表明FST在数据效率、性能上限、模型可塑性及与基础模型KL散度保持方面均优于仅更新参数的方法。
答案说明
快-慢训练（FST）通过交替更新提示（快速权重）和模型参数（慢速权重），在持续学习场景中提升了大语言模型在数学、代码和推理等多个基准上的性能表现和可塑性。
这篇帖子回答的问题
- 什么是快-慢训练（FST）？它如何工作？
- 快-慢训练（FST）相比仅更新参数的方法有哪些优势？
核心观点
- 快-慢训练（FST）通过区分快速权重（提示优化）和慢速权重（模型参数）的交替更新，为解决大语言模型持续学习中的能力退化问题提供了新范式。
- 根据实验，FST在数据效率、性能上限、模型可塑性及与基础模型的KL散度保持方面均优于传统仅更新参数的方法。
FAQ
- Q: 快-慢训练（FST）的核心思想是什么？
- A: FST的核心思想是将提示优化（快速权重）和模型参数（慢速权重）分离并交替更新，以同时实现任务快速适应和通用能力学习。
- Q: FST解决了LLM的什么问题？
- A: FST旨在解决大语言模型在持续学习中出现的能力退化问题。
关键实体
- 大语言模型（LLM）
- 快-慢训练（FST）