**Taylor-Calibrate：混合线性注意力蒸馏的原则性初始化方法**

_Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation_

> 将预训练Transformer转换为混合线性注意力模型（如Gated DeltaNet）时，直接复制参数易导致初始动力学状态不佳，需大量蒸馏数据修复。Taylor-Calibrate方法利用教师模型的注意力统计信息，通过泰勒引导设置值投影、记忆时间尺度等参数，并进行逐层对齐，大幅提升零样本学生模型性能（提升高达88倍），并将达到匹配恢复目标所需的训练令牌数减少4.9至9.2倍。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-19 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.16429)