**Together Compiler：首个持续运行的智能体编译器，AI 推理性能最高提升 2.6 倍**

_Together Compiler_

> 针对 AI 工作负载频繁变化及现有系统难以持续优化的挑战，Together AI 推出了 Together Compiler（TKCC）。该系统通过持久化引擎降低启动开销、双层测量机制确保评估保真度以及智能体成本模型优化 GPU 并行方案，实现了真正的持续优化循环。在 InferenceX 基准测试中，TKCC 在最新前沿模型上的每秒词元数（TPS）最高提升 2.6 倍，并在低延迟推理方面达到最先进水平，显著优于静态优化配置。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-11-06 21:34（北京时间）
- **原文**：[打开原文](https://www.alphaxiv.org/abs/2611.together-compiler-continual-ai-inference)