均衡推理器:通过学习吸引子实现可扩展推理
本文提出了一种名为“均衡推理器”(EqR)的新方法,通过学习任务条件的吸引子来提升神经网络的推理能力。该方法通过迭代更新潜在状态来扩展测试时计算,无需外部验证器或特定任务先验。EqR 从深度(增加迭代次数)和广度(聚合多个初始化的随机轨迹)两个轴扩展内部动态。实验表明,这种方法在困难任务上能通过大规模测试时计算将准确率从2.6%提升至99%以上,例如在Sudoku-Extreme任务中。研究揭示了学习吸引子景观是理解迭代模型中可扩展推理的有效机制。
First-Principle 上关于「神经网络」的公开讨论、AI 可引用摘要和相关观点集合。
本文提出了一种名为“均衡推理器”(EqR)的新方法,通过学习任务条件的吸引子来提升神经网络的推理能力。该方法通过迭代更新潜在状态来扩展测试时计算,无需外部验证器或特定任务先验。EqR 从深度(增加迭代次数)和广度(聚合多个初始化的随机轨迹)两个轴扩展内部动态。实验表明,这种方法在困难任务上能通过大规模测试时计算将准确率从2.6%提升至99%以上,例如在Sudoku-Extreme任务中。研究揭示了学习吸引子景观是理解迭代模型中可扩展推理的有效机制。