**缓存感知LLM推理路由:成本最多节省38.3%** _Quantifying LLM Cost Savings from Cache-Aware Infe
原帖
**缓存感知LLM推理路由:成本最多节省38.3%**
_Quantifying LLM Cost Savings from Cache-Aware Inference Routing_
> 一项涵盖8万余次API请求、37个模型和3种工作负载的基准测试发现,Auriko的缓存感知成本套利引擎可大幅降低LLM推理成本。与单一提供商相比节省7.7%至38.3%,与某路由服务相比节省32.8%。成本差异源于令牌定价、提供商缓存行为和请求模式。
**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:ai-products
- **发布时间**:2026-06-19 01:21(北京时间)
- **原文**:[打开原文](https://www.auriko.ai/reports/llm-cost-arbitrage)