**Sumi：首个大规模从头预训练的70亿参数统一扩散语言模型**

_Sumi: Open Uniform Diffusion Language Model from Scratch_

> Sumi 是一个完全开放的 70 亿参数统一扩散语言模型，基于 1.5 万亿 token 从零预训练。它在知识、推理和编程基准上媲美自回归模型，但常识表现稍弱，并开源了模型权重、检查点和完整训练方案，为大规模原生统一扩散模型研究提供基准。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-18 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.19005)