**LLM 预填充性能误区：为何扩散模型经验难以直接迁移？**

_LLM prefill, what we got wrong_

> 文章指出，将扩散模型的工程经验直接应用于 LLM 预填充（Prefill）存在误区。尽管两者都涉及大量并行计算，但在本地化 AI 项目 Local Code 的开发中发现，预填充受限于 SSD 带宽而非纯计算。实测显示，在 M5 Ultra 芯片上，若每次预填充需加载完整量化权重，SSD 速度会导致 4-5 倍的延迟。作者建议通过基于“需加载专家数量”的动态策略，而非固定的提示词长度阈值，来优化权重加载效率。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-11-11 22:33（北京时间）
- **原文**：[打开原文](https://engineering.drawthings.ai/p/llm-prefill-what-we-got-wrong)