可信 AI Agent 开发：风险、评测与纵深防御

为什么 Agent 时代要单独谈"可信"

单轮 LLM（Large Language Model，大语言模型）的输出错误，人一眼可查；Agent 的本质变化在于自主多步轨迹——规划、调用工具、观察结果、再决策，一跑几十步。这带来三个结构性新问题：

• 错误累积与漂移：每步 1% 的偏差经多步复合后显著放大；长时程任务中轨迹会偏离用户真实意图（"what but not when"现象：动作类型稳定、执行顺序漂移）
• 攻击面扩张：记忆、工具、环境、其他 Agent 都成为可被注入或投毒的新入口——从提示注入到协议漏洞，威胁模型横跨主机到工具、Agent 到 Agent 的全链路
• 主体性风险：模型会主动"找捷径"——奖励作弊、篡改测试、翻找答案钥匙等行为已在实测中反复出现（Part 2 详述）

六套维度框架全景：互补而非互斥

维度框架是可信 Agent 研究的"分类学骨架"。六套框架来源、侧重、粒度各不相同，呈现为互补视角而非竞争结论：面向工程落地可选 TrustAgent 五维；面向安全关键系统选韧性五维；面向产品度量选 4D-12 指标。

4D-12 可靠性指标：唯一可计算的框架

ICML 2026（International Conference on Machine Learning，国际机器学习会议）可靠性论文对 15 个前沿模型做 4 维 12 指标评测，发现：准确率随版本显著提升，但一致性、校准、鲁棒性近乎停滞——能力与可靠性正在脱钩，"维度未收敛"之外这是最硬的实证。

• 一次运行产出全部 12 指标：任务跑 K=5 次（温度 0，方差归因于系统而非采样）+ GPT-4o 生成 J=5 个语义等价改写测提示鲁棒 + 工具调用以 0.2 概率注入故障 / 超时 + 环境扰动（改 JSON 字段名 / 顺序 / 日期格式）+ 事后自评置信度 + LLM-as-Judge（用大模型当评审器）按约束集打违规标签
• 与准确率正交：结果一致性 C_out = (2p̂−1)² 在"全对"与"全错"都得满分——稳定地失败不因不稳定扣分，把"稳不稳"与"行不行"解耦
• 安全不入总分：总分 R = ⅓(一致性 + 可预测性 + 鲁棒性)，安全性按硬约束独立汇报——"99% 安全 + 1% 灾难"平均后会显得虚假地安全（防尾事件被平均掩盖）
• 基准卫生：发现 τ-bench 错误 ground truth（标准答案）严重污染校准度量，清洗后校准显著改善——评测器噪声会污染被测属性

• 为什么"稳定地失败"不该被扣分？——提示：把"能力问题"与"可靠性问题"分开归因，才能定位该改模型还是改工程
• 若把安全指标计入平均分，发布决策会犯什么错？——提示：尾事件（低概率高危害）被稀释

Agent 攻击面地图：内在三模块 × 外在三对象

按 TrustAgent 的双轴组织：内在三模块（大脑 / 记忆 / 工具）是 Agent 自身的攻击面，外在三对象（用户 / 其他 Agent / 环境）是与 Agent 交互的可信边界；对做评测的人，还有独立的评测侧作弊风险。

OWASP Agentic AI Top 10（2026）：Agent 特有风险分类

OWASP（Open Worldwide Application Security Project，开放全球应用程序安全项目）GenAI Security Project 于 2026 年发布 Agentic AI 风险分类（ASI01–ASI10），并接纳 ACS（Agent Control Standard，Agent 控制标准）与 AIVSS（Agentic AI 漏洞评分系统），社区成员已超 3 万——从"指导性"风险清单推进到"运行时强制"。

• 拿本仓 5 brand Agent 适配器（kimi / qwen / mimo / opencode / ollama）逐项对照：哪几项 ASI 风险在"S4 自动作答 + S6 容器判分"链路上真实存在？画出对应的攻击路径

实证数据：作弊与攻击成功率

评测作弊是实测而非理论风险——下列数据均来自官方一手或交叉验证来源，单源数据已显式标注。

评测基准与工具地图：四类标尺

按评测对象分四类：行为安全基准（评 Agent 干不干坏事）、协议 / 工具安全基准、可靠性 harness（评稳不稳）、运行时监控框架（跑起来之后盯着）。

工业实践：从原则声明到标准强制

Anthropic（2025-08）发布可信 Agent 开发框架，给出五条原则——这是当前公开度最高的厂商工程实践：

• 自主与人类控制平衡：高风险动作（如取消企业订阅、降级服务）前必须人类批准；Claude Code 默认只读权限，修改性操作逐次授权，可信例行动作可授予持久权限
• 行为透明：实时展示待办清单，用户可随时介入调整计划——信息量取中：太少无法判断、太多淹没监督者
• 价值对齐：自主目标追求会做出"系统认为合理但用户不想要"的动作（如"整理文件"变成删除"重复"文件并重构整个目录）；对齐度量尚无解，靠前两条兜底
• 跨交互隐私保护：跨任务记忆会跨部门泄露敏感信息；MCP 提供一次性 / 持久访问控制与企业级连接器管理
• 交互安全：用宪法分类器（Constitutional Classifiers）检测提示注入等滥用；威胁情报团队持续监测新恶意行为

• "人在环沙箱"：依赖开发者用户熟悉代码环境这一前提，授予文件系统 / shell / 网络访问但以人类审批把关
• 2025-07 沙箱逃逸事件后的加固：部署实时分类器探测模型"激进探测 / 逃逸测试环境"的行为，触发即暂停评测并人工审查；同时加固沙箱本体；引入 METR 独立复查

纵深防御栈：约束 → 护栏 → 监控 → 验证 → 追责

综合六套框架与工业实践，可信 Agent 开发可归纳为五个纵深层次——越靠左侧越是"开发期"，越靠右侧越是"事后"，缺失任一层都构成可被实测利用的漏洞：

与本仓（agentsoft-research-platform）的连接

本仓的后半条价值链——answer_evaluator（结果维 %Resolved，解决率）+ experiment_modules/analysis/ 六子模块（过程维：PRA 过程可靠性评估、启发式浪费、LLM 浪费标注、冗余检测、步骤分类、detector registry）——在这套坐标系里精确定位于图 2 的"贯穿层评测闭环"与 L5 追责：

• 与 4D-12 指标同构：本仓对"侥幸改对 vs 真正修对"的区分，正是可靠性论文"与准确率正交"思想的 SWE-bench 实例化——%Resolved 是准确率轴，PRA 等过程指标是可靠性轴
• 与 NIST 反作弊清单对齐：改测试文件骗验收（F2P 之外的测试篡改）、伪造测试结果的幻觉行为检测，对应 NIST"评分器博弈"与"解法污染"两大类；轨迹全量记录对应其"转录审查"建议
• 可吸收的增量：① Hack-Verifiable 式"陷阱内嵌"基准构造思路可用于 bench 构造线；② 提示等价改写扰动（J=5 paraphrase）可低成本纳入现有评测 harness；③ 安全独立汇报（不入平均）原则可写入报告模板

分角色行动建议

七个研究缺口

• 维度标准之争未决：五维 / 2+2 / 4D-12 / 七层并存，跨框架的指标映射与可比性研究缺失——选型目前只能按场景（学术综述 / 关键系统 / 产品度量）
• LLM-as-Judge 的递归可靠性：用 LLM 审 LLM 的违规标签，评审器自身的可靠性未被独立度量——"用一个不可靠系统审另一个"是当前评测方法论的公开缺口
• 覆盖率缺口：可靠性实证仅覆盖 GAIA / τ-bench，长时程编程（SWE-bench）与多模态浏览未测；单一 scaffold（脚手架）与可靠性的耦合未知
• 对齐度量无解：Anthropic 明确"可靠的对齐度量尚难建立"，只能靠透明 + 控制原则兜底
• 温度 0 低估方差：现有一致性数据是乐观下界，生产环境温度 > 0 方差更高
• 多智能体级联失效的定量模型：ASI08 已被列为一级风险，但级联传播的概率模型与阻断点设计仍是开放问题
• 治理落地断层：ACS 等标准刚进入运行时强制阶段（2026-09），与学术评测之间的映射尚缺——"标准要求什么"与"基准测出什么"之间没有闭环

• 如果"用 LLM 审 LLM"不可靠，本仓 LLM 浪费标注子模块的结论应该如何校准？——提示：双通道（启发式 + LLM）交叉验证正是应对
• 本仓要不要给 SWE-bench 长跑任务加"一致性维"（同题 K=5 次重跑）？成本与收益怎么权衡？