**缓存预热导致深度推理结果不一致:Benny Labs 提出两种修正方案**

_When a Warm Cache Changes the Answer in Reduced-Depth Inference_

> Benny Labs 指出,在结合“深度减少”与“前缀缓存”的混合模型推理中,若缓存处于预热状态,会导致后续请求的输出与冷启动请求不一致。研究通过实验发现,这种不一致源于推理引擎在特定边界(如 784 个 token)处恢复缓存,而文档后续部分在不同请求中经历了不同的深度计算。为此,团队提出了两种修正方案:一是将深度减少区域对齐至引擎的真实复用边界;二是将文档的深度计划随缓存条目一同存储并在每次请求时重新应用,从而确保输出结果的完全一致。

**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:ai-products
- **发布时间**:2026-11-21 23:58(北京时间)
- **原文**:[打开原文](https://bennylabs.org/ai-in-its-infancy)