**S3AC：稳定、选择性且可扩展的演员 - 评论家架构助力大模型推理**

_S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning_

> 针对长思维链（CoT）推理中无评论家方法缺乏 Token 级信用分配及评论家训练困难的问题，研究提出了 S3AC 框架。该框架通过实用的评论家训练策略，结合难度感知的提示采样（DAPS），实现了 Token 级优势估计与提示级基线评估。实验表明，S3AC 在从 1.5B 到 397B 参数量的模型上均优于现代 GRPO 变体，并在 35B 模型上实现了单轮次训练，克服了现有无评论家基线在初期增益后性能下降的局限。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-10-27 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.35518)