**Cola2：通过连续语义压缩与平衡离散生成实现自适应分层语言建模**

_Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation_

> 论文提出了 Cola2 框架，该框架联合研究了连续语义压缩、重建与生成的平衡以及连续 - 离散自适应。通过无辅助损失的负反馈控制压缩率，并利用块因果掩码扩散解码器及分类器自由引导策略，实现了紧凑且具有预测性的潜在表示。实验表明，该模型在约 2100 亿训练 token 上表现优异，其未收敛检查点在多个任务上的平均得分甚至超过了预训练参数量超过 43 倍的 Llama-3-8B，验证了连续潜在分层语言生成的潜力。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-23 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.31305)