PPO算法

表征优于路由：克服多时间尺度PPO中的代理目标黑客攻击

论文指出，在多时间尺度PPO中，简单融合多折扣因子信号会导致代理目标黑客攻击和近视退化。作者提出一种目标解耦架构，在Critic端保留多时间尺度预测以进行辅助表征学习，而在Actor端严格隔离短期信号，仅基于长期优势更新策略。