**LoL:运行时自适应编排 Transformer 层,统一参数复用与稀疏性** _Library of Layers (LoL): Adaptively
原帖
**LoL:运行时自适应编排 Transformer 层,统一参数复用与稀疏性**
_Library of Layers (LoL): Adaptively Ordering Transformer Layers at Runtime_
> 本文提出 Library of Layers (LoL) 架构,首次实现 Transformer 层在推理阶段的动态顺序编排。LoL 仅需一个超参数即可在参数复用与稀疏性之间无缝切换,统一了稠密、深度循环及混合专家模型的优势。实验表明,LoL 在文本预训练及数独、迷宫等推理任务中表现优异,并能根据语言特征或安全约束自适应调整计算路径,为构建可动态组合计算图的智能模型提供了新范式。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-11-03 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2611.03526)