**Quail：联合优化 AI-SQL 查询规划与 LLM 推理的高吞吐引擎**

_Building an Ultra-High Throughput AI-SQL Engine_

> AI-SQL（AI 函数）让 SQL 能直接调用 LLM 处理非结构化数据，但逐行执行会带来成千上万次模型调用，成本极高。作者提出 Quail（Query-Aware Inference Layer），让查询计划直接控制 LLM 推理，并针对开源权重模型联合优化查询规划与模型推理，而非把海量相关请求拆成独立调用交给 vLLM。在他们构建的 QUAIL-B 基准上（29 条查询），Quail 平均比调优过的 vLLM 基线快 1.84 倍，最高达 14 倍（BIO-4 上快 14.04 倍）；不过在 AGENT-1 上 vLLM 反而更快，Quail 耗时为其 2.32 倍。项目已开源并提供在线演示。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-09-25 06:56（北京时间）
- **原文**：[打开原文](https://fsdatalab.github.io/blog/introducing-quail)