**规范先行：预注册实验显示规格框架让五个模型的 AI 生成代码缺陷从 148 降至 23**

_Specs cut defects in AI-generated code from 148 to 23 across five models_

> 这篇预注册论文测试了一个更窄的假设：当提示中携带“规格”（一段固定前言，说明结果必须满足什么）时，生成代码质量会提升。作者预注册了假设、反驳条件、分析代码和一次性生成规则，用来自五个厂商的五个前沿模型跑 50 个金融、医疗、保险场景的后端任务，每个任务分别以“裸提示”和“附加 267 词规格框架”两种方式各生成一次（共 500 份输出）。9 个基于 AST 的确定性检查器与完全不了解该框架的 Bandit 安全扫描器独立打分。结果显示：规格框架在全部五个模型上都减少了缺陷（每任务平均减少 0.16 至 0.70 个发现，所有 Holm 校正符号检验均显著，所有自助法置信区间均不含零）；两种方式结果不同时，框架组在 100 次中胜出 95 次，且在任何领域都未使任何模型变差。Bandit 在裸提示组发现 53 个中高危问题，框架组仅 11 个，方向对每个模型一致。效果在模型自身默认行为最弱的场景最大——框架补上了模型缺失的纪律性。全部输出、提示、检查器、评分代码与预注册文件均已附 DOI 公开，便于复现。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：论文
- **发布时间**：2026-09-23 11:33（北京时间）
- **原文**：[打开原文](https://arxiv.org/abs/2609.23270)