**Galahad:通过字节级精确记忆实现 LLM 一次性读取成本** _Working Around the Compute Ceiling: Byte-E
原帖
**Galahad:通过字节级精确记忆实现 LLM 一次性读取成本**
_Working Around the Compute Ceiling: Byte-Exact Memory in Galahad Makes LLM Reading a One-Time Cost LLM Reading a One-Time Cost_
> 针对 Transformer 模型每次请求重复计算已读文档的算力浪费问题,研究提出 Galahad 内存层。该方案通过 Taliesin 缓存 KV 状态和 Blaise 保留原文,实现跨请求的字节级精确状态复用。实验显示,在 97k token 语料库中,Galahad 将推理准确率从 10% 提升至 100%,耗时降低至 0.6 秒,能耗降低 90% 以上,且恢复状态与原始计算比特级一致,成功将 LLM 服务从无状态推向有状态推理。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-01 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.39358)