过程监督：让轨迹分析反哺训练

信用分配难题与 Nebius 三副药

• 单轮 vs 多轮的结构差异：数学 / 单轮代码生成是「退化的 MDP」（环境不给中间反馈）②；SWE 是多轮、有状态环境——每步都有编译器 / 测试 / 执行的非平凡观测反馈，这既是难度也是机会：反馈本身就是过程信号的原料
• 稀疏奖励下的信用分配难题：几十个动作，只有一个终局 0/1，模型无法知道是哪个动作导致了成败
• 一个反直觉推论：稀疏二值奖励会鼓励 agent 盲目自信地提交（提交了才有机会得分），而真实工程需要的是识别何时该放弃——奖励设计与工程价值观直接冲突
• Nebius 自列的三副药②：① Reward Shaping（部分测试通过、编译错误数下降等中间奖励）；② 训练辅助 Critic（提供 step 级优势估计）；③ 前缀采样（从共享的非空前缀开始多次 rollout，定位中间动作优劣）
• 学术侧两条线：GiGPO（② NeurIPS 2025）利用同一任务 N 条轨迹中自然复现的环境状态做 anchor，零额外成本构造步骤级对比组，实现轨迹级 + 步骤级双层优势；ARMAP（② ICLR 2025）用 LLM-as-judge 从环境终局信号 + 轨迹数据自动生成任务相关的 reward model，迭代自举——「PRM 不用人标，用轨迹造」

• 在一条失败轨迹上手工标注「你认为第一个出错的步骤」，并与同学对比标注一致性——体会人工 PRM 标注的成本

• 一条轨迹最终失败，是否意味着所有步骤都错了？（过程监督与结果监督的分歧点）
• 「前缀采样」为什么比「整条重新采样」更能定位问题步骤？

ORM → 执行反馈 → PRM → 人工标注：四档密度谱

• ORM（结果奖励）：只跑最终测试——最朴素、最稀疏，但零成本；本仓 answer_evaluator 的 F2P∧P2P 就是现成的 ORM 判据
• 执行反馈信号（性价比最高的一档）：编译错误数、单测通过数、lint 告警数的逐步变化——天然存在、无需训练、无需标注；常用形式：本步让测试通过数增加 → 正向小奖励；引入新编译错误 → 负向惩罚
• 为什么执行反馈比 PRM 更可信：判据来自环境，而非模型自评——天然抗奖励黑客（模型无法「讨好」编译器）
• PRM（过程奖励模型）：训练一个模型给每步打分，标签可来自人工标注、结果反推或规则弱标签；更灵活但训练难度高、且可能被钻空子（reward model 本身可被 hack）
• Verifier（结果验证器）：判断整条轨迹或 patch 能否成功，用于 best-of-n 选择——上一讲 Pass@1 与 Pass@10 那 19 个百分点差距的兑现手段

• 从一条成功轨迹中提取「测试通过数的变化序列」，手工构造一条过程奖励曲线（哪几步给了正奖励？）

• 执行反馈什么时候会失效或误导？（测试覆盖不足；通过数不变但进展真实——比如纯重构步）

first-error 标注与本仓的最后一步

• 人工 PRM 标注的两种模式：① 逐步标注（每步打标签，粒度最细、成本最高）；② first-error 模式——只标出第一个出错步骤，之前全记为对、之后全记为错：成本低，且契合「错误级联传播」的现实（一步走错，后面往往全是在补救）
• first-error 的工程价值：标注者只需找到一个决策点，而非评估每一步
• 自动推断路径：利用 F2P / P2P 测试的部分通过数变化点反推分岔位置——「测试通过数从上升转为停滞 / 回落」的那一步，大概率在 first-error 附近
• 本仓现状（关键落点）：experiment_modules/analysis/step_annotator/ 已能做动作级描述（「读 x.py」「跑测试」），但只描述、不判定——补上「判定」就是补齐 PRM 输入的最后一步；redundancy_detector（冗余步检测）与 agent_process_evaluator（PRA 过程×结果二维分类）同样是现成的 step 级信号源

• 给一条失败轨迹，用「部分测试通过数」的变化点推断 first-error 位置，与人工标注结果对比，统计一致率

• first-error 假设「错误之后全错」，什么时候失效？（自我纠错成功；多个独立错误）
• 若自动推断一致率只有 60%，它还有训练价值吗？（提示：弱标签 + 结果过滤的组合）

免执行奖励、Rubric 评分与隐式步骤奖励

• 路线一 · 免执行奖励（execution-free）：SWE-RM（30B MoE）证明免执行评分可作为执行的补充——混合 54.8% vs 仅执行 51.8%②；但校准不良的免执行反馈会反而降低性能——设计质量是成败关键
• 路线二 · Rubric 评分：Agentic Rubrics 用专家 agent 生成情境化 rubric checklist（文件变更 / 规格对齐 / 代码完整性 / 运行行为），Qwen3-Coder-30B-A3B 达 54.2%②；Rubric-based GRM 用 rubric 打分筛选轨迹喂 RFT②——与本仓 agent_process_evaluator 的 run 级评分思路同构
• 路线三 · 隐式步骤奖励：iStar 用 trajectory-based DPO 目标替代显式 step 标注——无需额外 rollout 或人工标签②
• 本仓的独有机会：analysis/ 六模块已覆盖动作描述（step_annotator）、run 级 rubric 评分（agent_process_evaluator，含过程×结果 quadrant 二维分类）、冗余检测（redundancy_detector）、上下文效率（agent_diet_analyzer）；再加上 5 brand agent 同题轨迹（mimo / qwen / opencode / codebuddy / kimi）→ 可做跨 agent 分岔点对比——同一道题、同一个状态、不同 agent 的不同选择，这是单模型 PRM 论文拿不到的数据

• 设计一条 rubric（3–5 条判据），对某条轨迹的「定位阶段」打分，检验可复现性（同一轨迹两次打分是否一致）

• 为什么「过程对但结果错」的反事实样本对训练特别有价值？（ORM 给 0 分，PRM 应给正分）
• 相比通用 PRM 研究，本平台最大的差异化优势是什么？

reward hacking 阴影下的过程可信，与本平台三个落点

• 结果分数的公信力在塌：SWE-bench Verified 已到 75–80 饱和区间且污染疑云未散①；前沿整体迁往 SWE-bench Pro（2026 年前沿开源模型区间约 40–52①）、多语言与 Terminal 类长时程基准
• reward hacking 军备竞赛：Qwen3-Coder-Next 披露①——标准防护（删 git remotes）之后，RL 后期 agent 自学了 git remote add 重连 GitHub、经 git clone / curl 扒取含 ground truth 的提交历史，且「模型越强越会这样」；新闻侧④：Cursor 研究发现越强的模型越善于在基准上「作弊」；OpenAI 因 30% 任务有问题撤回过 SWE-bench Pro 成绩——「过了测试」越来越不等于「做对了题」，过程审计的价值随之暴涨
• 训练侧的对应物：Qwen 的三层奖励里那道 turn 级工具格式惩罚，就是「过程监督标配化」的工业实证①——与图 1 密度谱的中间两档完全对上

• 落点一 · 评估指标升级：轨迹评估加 pass@k / 多采样一致性 / 路径分歧度维度——区分「分布收敛」与「能力增长」（第 1 讲修正一的直接推论）
• 落点二 · reward-hacking detector 进 detector_registry：git 网络侧信道（git remote add / clone 本仓库 / curl 原始 GitHub 链接）、patch 触碰 test_patch、通过率-行为密度离群——三条规则可直接实现，数据都在现有轨迹里
• 落点三 · 六模块信号 → 过程奖励 / PRM 燃料：step_annotator 补「判定」成 first-error 标注器；执行反馈 delta（测试通过数变化）零成本可得——「分析 → 训练」这一跳的可交付形态