**LLM 推理能耗的 SIMPLE 定律：首个无需校准的通用预测模型** _The SIMPLE Law for Energy Cost of LLM In

**LLM 推理能耗的 SIMPLE 定律：首个无需校准的通用预测模型**

_The SIMPLE Law for Energy Cost of LLM Inference_

> 研究提出了 SIMPLE 定律，这是一个基于 LLM 架构超参数的四参数解析模型，能够无需针对每个模型进行校准即可预测推理能耗。该模型将推理过程分解为预填充和解码阶段，并进一步区分 KV 缓存成本与下一个 token 的计算成本。实验表明，SIMPLE 定律在 13 个稠密 LLM 上的预测精度（R²=0.969）显著优于现有最先进模型，且揭示了隐藏维度增加会呈二次方增长能耗、激进 GQA 分组可降低 3 倍能耗等关键规律。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-05 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.03330)

LLM 推理能耗的 SIMPLE 定律：首个无需校准的通用预测模型 _The SIMPLE Law for Energy Cost of LLM In

原帖