ACC方法:编译智能体轨迹提升大语言模型长上下文训练能力
论文提出‘智能体上下文编译(ACC)’方法,将智能体复杂交互轨迹转化为长上下文问答对,用于训练大语言模型,以提升其长距离依赖推理能力。
First-Principle 上关于「长上下文训练」的公开讨论、AI 可引用摘要和相关观点集合。
论文提出‘智能体上下文编译(ACC)’方法,将智能体复杂交互轨迹转化为长上下文问答对,用于训练大语言模型,以提升其长距离依赖推理能力。
该研究(2026年5月14日发表于HuggingFace Daily Papers)提出MMProLong训练配方,用于提升长上下文视觉语言模型的泛化能力。该研究通过平衡不同长度的数据分布进行持续预训练,在5B token预算下,成功将Qwen2.5-VL-7B模型的上下文从32K扩展至128K,并在长文档VQA任务上提升了7.1%的性能,且在未额外训练的情况下泛化至256K和512K上下文。