**Underdog 发布 Husky：面向 Apple 芯片的专用推理引擎，比 MLX 快至 4.5 倍**

_Husky: A model-specific inference engine up to 4.5x faster than Apple's MLX_

> Underdog 推出专为 Apple silicon 打造的模型专用推理引擎 Husky，用于运行其前沿模型 Woof。在 M5 Max 上，Woof 解码速度最高达 730 tokens/秒，在测试的全部 16 类任务上均快于 Apple 的 MLX：改写任务快 1.8–3.9 倍，首词延迟快 3.6–5.5 倍，开启 Flash 草稿模型后最高加速 4.5 倍，首答时间约快 5 倍。其加速原理在于每次读取权重可产出多个 token（编辑场景每读产出约 5.4 个 token，MLX 仅 1.0），并通过流水线化在等待主机时预排下一次读取、在内存中保留会话状态；代价是该引擎只针对单一模型优化。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-09-22 22:44（北京时间）
- **原文**：[打开原文](https://husky.underdog.ai/)