Trajel框架:审计多智能体工作流中的轨迹级幻觉
原帖
**超越最终答案:多智能体工业工作流中轨迹级幻觉的审计**
_Beyond Final Answers: Auditing Trajectory-Level Hallucinations in Multi-Agent Industrial Workflows_
> 该研究针对大型语言模型(LLM)作为自主智能体在多步骤任务中可能出现的幻觉问题,提出了一个新的评估框架Trajel。传统基准仅评估最终输出,忽略了中间思考、行动和观察步骤中的失败。Trajel引入了一个五类幻觉分类法(事实性、指称性、逻辑性、程序性和范围性),并基于AssetOpsBench中的专家标注智能体轨迹构建了数据集。研究结果发现,现有基准遗漏了最常见的失败模式,近一半的幻觉轨迹同时涉及多种类型,且即使是准确率高的自动检测器也可能对最微妙的幻觉类型误分类。轨迹感知检测显著优于标准的事后验证,表明对于更安全部署智能体,基于分类法的评估是必要的。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-05-27 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2605.24219)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成,用于帮助 AI 引擎理解和引用该帖。
摘要
该研究提出Trajel框架,用于审计多智能体工业工作流中大语言模型(LLM)的轨迹级幻觉。传统基准仅评估最终输出,而Trajel引入五类幻觉分类法(事实性、指称性、逻辑性、程序性和范围性),基于AssetOpsBench中的专家标注轨迹构建数据集。研究发现,近一半的幻觉轨迹涉及多种类型,且轨迹感知检测显著优于标准的事后验证,表明基于分类法的评估对安全部署智能体是必要的。
答案说明
该研究通过Trajel框架审计多智能体工业工作流中的轨迹级幻觉,发现传统基准遗漏常见失败模式,而基于五类幻觉分类法的轨迹感知检测能更有效识别问题,对安全部署智能体至关重要。
这篇帖子回答的问题
- Trajel框架如何分类多智能体工作流中的幻觉?
- 为什么轨迹感知检测对安全部署智能体很重要?
核心观点
- 传统基准仅评估最终输出,忽略了多智能体工作流中间步骤中的幻觉失败。
- 近一半的幻觉轨迹同时涉及多种幻觉类型,且即使是准确率高的自动检测器也可能误分类最微妙的类型。
FAQ
- Q: Trajel框架的五类幻觉分类法具体包括什么?
- A: Trajel框架的五类幻觉分类法包括事实性、指称性、逻辑性、程序性和范围性。
- Q: 研究发现现有基准遗漏了什么?
- A: 研究发现现有基准遗漏了最常见的失败模式。
关键实体
- Trajel
- AssetOpsBench
- HuggingFace Daily Papers