**Complex KDA：扩展参数范围让 Kimi Delta Attention 表达力更强**

_Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention_

> 论文提出 Complex KDA（CKDA），指出 KDA 只需将参数范围扩展——门控允许取值于 \[-1,1\]、delta 规则系数 β 允许取值于 \[0,2\]——就能用单次 delta 变换结合通道级门控提供的第二次反射实现 2D 旋转，从而在保持对角加秩一、非扩张等稳定性与效率优势的同时，达到 DeltaProduct\_2 的状态跟踪表达力。作者刻画了 CKDA 的表达能力，证明每个正交的对角加秩一矩阵都恰好是 CKDA 的转移矩阵；单层 CKDA 可跟踪任何同构于 SO(3) 子群的有限群，并比同类对角加秩一线性 RNN 少用一层。实验显示，两种范围扩展结合后在 S\_3、S\_4 和周期性音频续写任务上取得最佳长度外推；语言建模中 CKDA 优于 Transformer 与其他线性 RNN，与 KDA 基线相当，并展现出良好的扩展趋势。代码与模型已开源。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-22 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.24797)