**测量开放大型语言模型中的最大激活值**

_Measuring Maximum Activations in Open Large Language Models_

> 一项研究系统测量了27个现代开源大语言模型（涵盖8个系列、多种架构如Dense、MoE、视觉语言模型）的最大激活值。研究发现，激活值的动态范围差异巨大，跨越近四个数量级，且受模型家族、架构（如MoE模型激活峰值显著低于同等规模的密集模型）和训练阶段影响，并非仅由参数规模决定。研究强调，最大激活值是模型的关键属性，应在发布开放权重模型时进行测量和报告，以指导低比特量化等部署工作。论文提供了统一测量代码。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-19 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.15572)