**DeepMem：通过多尺度架构实现字节级语言模型的深度记忆与高效推理**

_Going Deeper With Memories_

> 针对字节级语言模型计算成本高昂的问题，研究提出了 DeepMem 架构。该模型采用因果多尺度设计，将语义压缩与精确字节保留分离，利用可逆子带变换构建序列层次，并通过无损载体和显式细节侧带保持字节身份。DeepMem 在 FineWeb-Edu 和 PG19 数据集上优于同等规模的字节级 Transformer，在多语言任务中表现最佳，同时在代码建模和推理任务上保持竞争力，其瓶颈优化使计算量大幅降低。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-11-04 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.05255)