**Show HN:Thaw – 为运行中的LLM提供Git分支功能(支持代理分叉,跳过预填充)** _Show HN: Thaw – Git branch
原帖
**Show HN:Thaw – 为运行中的LLM提供Git分支功能(支持代理分叉,跳过预填充)**
_Show HN: Thaw – Git branch for a running LLM (fork agents, skip prefill)_
> Thaw是一个开源工具,专为大型语言模型(LLM)设计,类似于Git的分支功能,允许开发者分叉正在运行的LLM会话。它通过快照实时会话(包括权重、KV缓存、调度器状态和前缀哈希)并创建多个独立的子分支来跳过预填充步骤,从而大幅提升多代理推理、强化学习(RL)rollouts和并行编码代理的效率。该项目在H100 GPU上展示了显著的性能提升,将分支时间从冷启动的约340秒减少到热池的约0.88秒,实现了约400倍的摊销成本降低。Thaw支持vLLM和SGLang,采用Apache-2.0许可证,适用于需要并行探索、会话迁移或高效RL训练的团队。
**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:ai-models
- **发布时间**:2026-05-31 06:07(北京时间)
- **原文**:[打开原文](https://github.com/thaw-ai/thaw)