第 05 章 · 轨迹分析

给 Agent 做体检

结果只告诉你对不对，轨迹告诉你为什么——这一章讲怎么把一条轨迹拆开、量化、打标，再喂回训练。本平台的立身之本。

① 双维度结果 + 过程

→

② 轨迹解剖 turn / step

→

③ 浪费分类四类典型

→

④ 量化评估 PRA · judge

→

⑤ 反哺训练闭环的起点

按 → 开始 · 节点可点击直达

05-A · 双维度

只看结果，等于只看体温

1

结果维度：%Resolved——对不对一个布尔值、一个百分比——重要，但信息量到此为止

2

过程维度：轨迹——怎么做的直达还是绕路、花了多少、卡在哪里——改进的线索全在这

3

两条轨迹可以同为 resolved，价值天差地别 第 02 章的 A/B 对比——结果维度完全无法区分它们

过程维度怎么下手？先学轨迹的解剖结构

深挖评测与判分 ↗

05-A · 轨迹解剖

一条轨迹的身体结构

结构	含义
turn	一轮完整交互——含零或多个 step
step	一次模型请求 + 它调用的工具
工具调用	名称、参数、返回——每一步的完整证据
度量	token、耗时、步数——成本与节奏
结尾	model_patch + 判分结果——答卷与成绩

主流 harness 普遍采用 turn / step 两层结构（如 DeepSeek Harness）——分析工具照这个骨架建模

深挖轨迹怎么读 ↗

05-A · 轨迹解剖

读轨迹三步法

1

先看结果：resolved 与否失败轨迹先分堆——失败的原因常与成功路径不同

2

再看节奏：步数曲线、循环模式步数随时间怎么涨、有没有原地打转的「循环签名」

3

后看细节：关键转折、卡壳点哪一步定位到根因、哪一步开始跑偏——精确定位到 step

读多了会发现——浪费是有套路的

深挖轨迹怎么读 ↗

05-B · 浪费分类学

浪费的四张面孔

重复读同一文件读 N 遍记忆失效的直接外显——第 03 章截断/挤出的后遗症

无效命令跑了也白跑装环境失败重试、路径打错重 cd——产出为零的步骤

绕路方向错了不自知在错误的模块里深挖半天——最后靠回头才找对地方

过度验证改一行测十遍反复全量跑测试求安心——谨慎过度也是浪费

分类之后——浪费就能数出来

深挖浪费分类学 ↗

05-B · 浪费分类学

浪费是可计数的

1

浪费步占比 = 无效步 ÷ 总步数一条 60 步的轨迹若有 40 步浪费——占比 67%，一目了然

2

token 浪费率：花在无效动作上的 token 浪费不仅慢——每一步都真实花钱

3

跨 Agent、跨模型可比较 同样 resolved，A 浪费 8%、B 浪费 60%——这是结果维度给不出的排名

浪费之外，还有更宏观的「稳定性」问题

05-C · 量化评估

PRA：过程可靠性评估

1

不止一次做对，还要次次做对同一道题采样 N 次——成功率与波动一起看

2

可靠性 = 结果维度的方差视角 平均分高但方差大 = 赌运气；平均分稳 = 真会

3

过程可靠性还要看过程的稳定性 成功的 N 条轨迹路径是否收敛——收敛说明方法可复现

量化靠规则够吗？——规则快而糙，语义要靠 judge

深挖 PRA 过程可靠性 ↗

05-C · 量化评估

双通道：启发式 + LLM judge

启发式通道规则：快而糙

重复读检测：同路径 ≥ N 次
超长输出：单步工具输出超阈值
零成本、可全量跑、结果确定

LLM judge 通道语义：准而贵

「这一步有效吗」「转折在哪」——语义判断
规则写不出来的浪费模式它能认
按 token 计费——抽样跑、结果有噪声

两通道互补——这正是本仓 analysis 栈的设计

05-C · 量化评估

轨迹也能 Lint

1

像代码 lint 一样检查轨迹 代码有坏味道，轨迹也有——坏步骤一查一列

2

规则集：每种浪费一条规则 重复读、超长输出、空转……规则可增可减、可开可关

3

产出：问题清单 + 精确位置 「第 23 步重复读 utils.py（第 4 次）」——定位到 step 级

Lint 规则越积越多——怎么管理？

深挖轨迹 Linting ↗

05-C · 量化评估

检测器注册表

1

检测器可插拔——启发式和 LLM judge 都是检测器统一接口：吃轨迹、吐发现——实现方式自由

2

registry 统一注册、统一调度 按需组合：全量跑便宜的、抽样跑贵的

3

新检测器 = 新分析能力，零改核心 发现新的浪费模式？注册一个检测器就上线——本仓 detector registry 的设计

分析的产出往哪去？——训练

05-D · 反哺训练

分析是演化闭环的眼睛

1

过程标签 → SFT 样本筛选 A 级轨迹优先入库、C 级挑有学习价值的——第 02 章的标注落到实处

2

浪费定位 → 过程奖励的候选 哪些步骤该惩罚——分析栈给出的位置就是 reward shaping 的抓手

3

闭环：评测 → 分析 → 构造 → 训练 → 再评测 看不见过程就改不好过程——观测是演化的前提

Agent 的故事讲完了——最后一章，回到人

深挖测试价值悖论 ↗

05 · 终章

观测是演化的前提

1

轨迹 = Agent 的黑匣子，分析 = 体检 append-only 的事实基础 + 结构化的拆解方法

2

浪费可分类、可计数、可折算成钱 重复读、无效命令、绕路、过度验证——四类起步

3

双通道 + 可插拔检测器——分析能力随研究生长 启发式打底、LLM judge 补语义、registry 管生态

最后一章：AI 越强，人往哪里去？——人机协作

下一章 · 人机协作 →