硬件加速

Cerebras 为 Kimi K2.6 万亿参数模型提供企业级高速推理

Cerebras 宣布在企业试用中运行 Kimi K2.6 万亿参数开源模型，在其硬件上实现每秒近 1,000 个 token 的推理速度，比次快的 GPU 云服务快 6.7 倍。对于 10,000 token 输入的请求，Cerebras 仅需 5.6 秒，比官方端点快 29 倍。该模型在编程和智能体任务中表现优异，被认为是闭源前沿模型的开源替代。