**次二次架构对比：xLSTM 在复杂序列任务中展现优势**

_On Subquadratic Architectures: From Applications to Principles_

> Transformer 虽主导序列建模，但其二次注意力成本高昂。次二次架构提供了可扩展的替代方案，但哪种设计最有效尚不明确。本研究比较了 xLSTM、Mamba-2 和 Gated DeltaNet 三种方法，在代码预训练、模型蒸馏和时间序列基础模型预训练等复杂依赖任务上评估，发现 xLSTM 整体性能最优。通过统一公式分析，xLSTM 的门控机制实现了更灵活、稳定的记忆修正，该优势在受控的长度泛化合成任务中得到验证。结果表明，xLSTM 在复杂任务上的增益源于其稳健的状态跟踪与积累能力。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-11 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.12364)