**Whisper 幻觉检测与缓解：基于隐表示引导和稀疏自编码器**

_Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders_

> 本文针对 Whisper 模型在静音等无语音音频上生成幻觉文本的问题，提出利用其内部表示进行检测与缓解。通过提取音频编码器激活值，并评估原始激活空间和稀疏自编码器（SAE）潜变量空间，发现两者均线性编码幻觉相关信息，且判别力集中在稀疏特征子集并随编码器深度增强。提出两种引导策略：激活空间引导与 SAE 潜变量空间引导。在非语音测试集上，SAE 引导使 Whisper small 幻觉率从 72.63% 降至 14.11%，Whisper large-v3 从 86.88% 降至 27.33%，语音数据词错率仅轻微下降，性能接近微调方法。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.07473)