**循环模型设计新范式：Huginn 架构在 MoE 模型中全面超越 Ouro**

_Towards Looped Models Done Right, Part I: Topology, Input Injection, Recurrent-State Design_

> 研究通过对比不同循环架构，发现“前奏 - 循环块 - 尾声”的三明治结构（Huginn 风格）能显著提升上下文提取与推理任务表现。输入注入主要增强知识检索，而随机初始化与分离的 H/L 状态效果不佳。在 7.3 亿参数及 3360 亿 token 规模下，Huginn 全面优于 Ouro；该优势同样迁移至混合专家模型（MoE）。在匹配训练与推理 FLOPs 的条件下，Huginn 仅需 112 层前馈 MoE 模型 25% 的驻留参数，却在多项基准测试中保持竞争力或实现超越。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-19 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.23036)