TTPO、ES与GRPO

古人评今事：AI推理优化之TTPO、ES与GRPO

该简报以古人庙算喻今日AI推理优化，评述TTPO、进化策略（ES）与GRPO三种方法。TTPO无需标签即可通过非对称目标函数蒸馏agreeing rollout并惩罚disagreeing rollout；ES虽参数漂移大，但稀疏大幅更新可避免灾难性遗忘；GRPO虽流行，却易陷熵坍缩。作者主张求推理之广当不随众议，独断大局。