**Mellum2：面向软件工程的120亿参数MoE语言模型技术报告**

_Mellum2 Technical Report_

> 本文介绍了Mellum 2，一个开源120亿参数MoE语言模型，每个token激活25亿参数，专为软件工程（如代码生成、调试、工具调用等）优化。模型采用MoE架构，结合滑动窗口注意力等技术，并在10.6万亿token上预训练，支持128K上下文。后训练包括监督微调和强化学习，提供直接回答和显式推理两种变体。在多项基准测试中表现竞争力，同时以25亿参数模型的计算开销运行。模型在Apache 2.0许可下发布。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-01 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.31268)