**推测执行技术降低端侧语音智能体工具调用延迟** _Hiding Tool Latency in On-Device Cascaded Voice Agen
原帖
**推测执行技术降低端侧语音智能体工具调用延迟**
_Hiding Tool Latency in On-Device Cascaded Voice Agent through Speculative Execution_
> 该论文提出一种针对端侧级联语音智能体的推测工具执行方法。通过预测部分ASR假设中的工具请求,在语音接收期间并行执行工具并缓存结果,从而隐藏工具延迟。结合基于规则的验证机制以处理用户自我修正,并保留LLM直接调用工具作为兜底。在Android语音助手实测中,该方法将中位首音频时间从5.79秒降至4.60秒,显著提升了响应速度与延迟稳定性。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-07 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.07641)