**混合语言模型跨模型记忆交接:4B到9B无需重读目标前缀** _LatentPort: Beyond KV Cache - Cross-Model Tran
原帖
**混合语言模型跨模型记忆交接:4B到9B无需重读目标前缀**
_LatentPort: Beyond KV Cache - Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay_
> 该研究演示了混合语言模型间的持久化循环推理状态跨模型交接:将Qwen3.5 4B的实时记忆直接传递给同架构的9B模型,接收方无需重读历史上下文。仅迁移注意力KV存在较大差距,加入Gated DeltaNet(GDN)持久状态包后,教师强制负对数似然(NLL)降低0.747 nats/token,64篇PG19文档全部改善;直接复用循环与卷积状态优于所测试的学习式GDN映射。经额外434,176参数校正后,在64篇新网页文档上续写损失仅比原生9B高0.076 nats/token,JS散度为0.022,原生上下文恢复率(NCR)达0.918,且处理的历史前缀token数为零。局限:仅验证单向、单一几何匹配的Base模型对与4K教师强制续写;近原生门槛未通过,16K分支未运行,自由生成等价性与通用状态接口仍未得到证明。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-09-23 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.25053)