**CDB：实现循环语言模型深度自适应推理的高效批处理**

_Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching_

> 针对循环语言模型（Looped LMs）因不同Token循环次数不同导致无法标准批处理的问题，提出连续深度批处理（CDB）方法。CDB通过在循环步骤间动态重组批次、管理KV缓存及预测Token退出时机，实现了高效调度。实验表明，该方法在Ouro和Huginn模型上实现了高达99%的理论最大加速，且全循环架构比包含大量非循环层的架构更适用于深度自适应推理。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-28 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2608.09444)