**Dory1.0-4B：一款弹性深度循环 GPT 模型，以 40 亿参数超越更大规模模型**

_Dory1.0-4B: A Looped Normalized-GPT_

> 论文介绍了 Dory1.0-4B，这是一款基于归一化 Transformer（nGPT）架构的 40 亿参数循环语言模型。该模型采用弹性深度设计，通过可变次数的循环推理来适应不同的计算预算。在 6 万亿 token 的训练数据上，Dory1.0-4B 在代码、智能体及长上下文等基准测试中表现优异，其性能平均超越了 Qwen3.5-9B 和 Gemma 4 系列等更大规模的模型。此外，增加循环次数能显著提升准确率并提高 token 效率，同时通过优化 KV 缓存机制有效降低了显存占用。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-04 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.03998)