**省钱推理：利用提示缓存降低长对话AI成本**

_Saving Money on Inference_

> Merrilin.ai博客介绍了如何通过提示缓存削减推理开销。在长阅读助手等场景中，重复前缀（如系统提示、书籍元数据）迫使模型反复计算，产生巨额费用。通过缓存注意力层的键值对（KV Cache），重复上下文仅按缓存读取计费，仅新内容按完整推理收费，显著降低成本。文章借助Transformer注意力机制图解了缓存原理，并分享了该技术在Merrilin阅读助手上的实际应用与成效。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：tip
- **发布时间**：2026-06-09 20:49（北京时间）
- **原文**：[打开原文](http://blog.merrilin.ai/engineering/2026/saving-money-on-inference)