表征优于路由：克服多时间尺度PPO中的代理目标黑客攻击
原帖
**表征优于路由：克服多时间尺度PPO中的代理目标黑客攻击**
_Representation over Routing: Overcoming Surrogate Hacking in Multi-Timescale PPO_
> 该论文指出，在多时间尺度的强化学习算法（如PPO）中，简单融合多折扣因子信号会导致严重算法缺陷，如代理目标黑客攻击和近视退化。作者提出了一种目标解耦架构：在Critic端保留多时间尺度预测以进行辅助表征学习，而在Actor端严格隔离短期信号，仅基于长期优势更新策略。实验表明，该方法在LunarLander-v2环境中显著提升了性能，消除了策略崩溃并避免了局部最优陷阱。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-26 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2604.13517)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
论文指出，在多时间尺度PPO中，简单融合多折扣因子信号会导致代理目标黑客攻击和近视退化。作者提出一种目标解耦架构，在Critic端保留多时间尺度预测以进行辅助表征学习，而在Actor端严格隔离短期信号，仅基于长期优势更新策略。
答案说明
该论文提出通过在Critic端保留多时间尺度预测用于辅助表征学习，并在Actor端严格隔离短期信号、仅基于长期优势更新策略，来克服多时间尺度PPO中的代理目标黑客攻击和近视退化问题。
这篇帖子回答的问题
- 多时间尺度PPO中的代理目标黑客攻击是什么问题？
- 论文提出如何克服多时间尺度PPO中的代理目标黑客攻击？
核心观点
- 简单融合多折扣因子信号会导致代理目标黑客攻击和近视退化等严重算法缺陷。
- 目标解耦架构（Critic保留多时间尺度预测用于表征学习，Actor仅基于长期优势更新策略）能显著提升性能并避免策略崩溃。
FAQ
- Q: 什么是代理目标黑客攻击？
- A: 论文指出，在多时间尺度强化学习算法中，简单融合多折扣因子信号会导致代理目标黑客攻击，这是一种严重算法缺陷。
关键实体
- PPO
- LunarLander-v2
- HuggingFace Daily Papers