**HuggingFace 论文：通过扰动公开文档合成数据提升 LLM 上下文学习能力**

_Learning to Learn from Context: Synthetic Training from Perturbed Public Documents_

> 该研究提出一种无需人工标注的合成训练管线，通过对高质量公开文档进行微小扰动以规避预训练记忆，生成依赖上下文的推理样本。利用该管线训练的学生模型在 CL-bench 上表现优异，Qwen3.6-35B 模型性能从 13.7% 提升至 24.6%，接近万亿参数前沿模型水平，并显著增强了长上下文理解与指令遵循能力。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.33642)