主题
第 16 章 Agent 行为生成与质量验证 · 面试能讲版
核心观点 + 逻辑框架 + Simulation 全景（治理篇第 4 章 · 治理四件套收官）
▍速览
一句话版（开场，约 20 秒）
Agent Simulation 用可控环境换可验证行为。角色外部标准、失败自然代价、身份连续三样制度前提都缺位时，模拟是唯一立刻能做的验证：边界是授权与后果，不是实现方式；Spec→Manifest→Run→Result 一条对象链，Harness 五项职责五项不做，交付证据材料而非质量结论——三道证据检查之后，才轮到 Evaluation 判定和治理门禁授权。
一段话版（展开，约 90–120 秒）
治理篇前三个维度让 Agent 可见、有边界、有台账，再补第四个维度：行为在上线之前可验证。为什么需要模拟？医疗系统的可靠性装置——执业资格卡入口、SOP 约束过程、复盘沉淀教训、模拟器训练罕见场景——共同点不是保证每个医生每次都正确，而是用一个可靠系统约束一个不可靠内核。Agent 正好相反：推理可能幻觉、工具可能调错、参数可能越界，Harness、工具协议、编排分工就是外部可靠结构。Agent 比人类少三样制度前提：角色没有外部标准、失败没有自然代价、身份不连续；补齐任何一样都以年计，模拟不依赖它们，只需要一个能安全失败的环境——这就是当下唯一能做的那件。定义：用软件承载被测 Agent 运行时所处的外部世界，可反复启动、可配置、无真实后果；用户模拟承载人（会记错金额的顾客、会撤回的审批人），环境模拟承载外部条件（工具与 API、数据与业务状态、文件、模型服务、外部事件、时间本身）。边界是授权与后果，不是实现方式：不触达未授权生产、不产生不可控真实副作用——连隔离真实后端仍在仿真；全替身但路由到生产账户，那是事故。三种执行模式：全替身（回归、可复现最高）、混合（端到端集成）、隔离真实依赖（服务栈验证、保真最高），结论不可跨模式混用。SUT 不进仿真：推理、工具选择、参数构造、异常处理属被测对象；替换前问一句，是考察的内容就不能换，是设定的条件就必须换。数据契约是一条对象链：Scenario Spec→Manifest（不可变、启动锁定）→Run（Task→Session→Event）→Run Result（Records·Artifacts→Observations→Evidence→Completeness）；triggers 是计划、Event 是事实；Run 四状态独立——执行状态、仿真有效性、证据完整性、任务质量，不压成一个成功/失败。Harness 做五件事（解析场景、编排 Run、替身隔离、记录关联、环境清理）、不做五件事（任务生命周期、鉴权权限、遥测采集、质量评分、发布决策）——正反一体防膨胀；用户模拟器 Persona 三层 + Hybrid（状态机定意图、模型生成表达、事实与披露校验）+ 质量五维；环境模拟器要求事实一致（API 返回=数据库状态）、超时按三位置精雕（未发送/已发送未提交/已提交响应丢失）、Run 级隔离、复现三层次（配置/事件/统计）、故障注入四步记录（计划/生效/命中/恢复）。场景与资产分开版本化：场景是允许多条合理路径的声明式规格，资产是独立版本化的构建产物；用户与环境联合建模五维度保证同一张订单三侧一致；Scenario Spec 十个字段组从测什么问到怎么评价。交付侧最关键：Run Result 是证据材料不是质量结论——运行完成、任务成功、允许发布是三个独立结论；三道证据检查（记录完整性/运行有效性/证据充分性），证据不足输出不可判定，这是诚实结论；同一证据包有七种用途；零违规不是零风险——n 次零违规的置信上界近似 3/n；Testing Gate 汇总证据但不是发布决定者，治理节点拿证据决策、例外审批留痕。最后：仿真结论建立在会过期的假设上，校准靠事件驱动（接口变更/故障复盘/用户结构变化），不按固定周期。
- 一个命题：模拟=用可控环境换可验证行为；三样制度缺位下的唯一当下方案
- 一条边界：授权与后果，不是实现方式；SUT 不进仿真
- 一条对象链：Spec → Manifest → Run → Result（证据三层分离）
- 五做五不做：Harness 正反一体，防止膨胀成总控制器
- 三道检查：记录完整性 · 运行有效性 · 证据充分性；不可判定=诚实结论
一句话（收尾）
Simulation 的终点，是 Evaluation 与治理门禁的起点——交付证据，不做判决；治理四件套至此完整：可观测看见行为、安全约束行为、资产盘点行为、模拟验证行为。
▍逻辑框架（记忆卡片）
① 命题：用可控环境换可验证行为
可靠性是系统设计出来的，不是个体保证出来的：医疗系统用资质卡入口、SOP 约束过程、复盘沉淀教训、模拟器训练罕见场景——用一个可靠系统约束不可靠内核。Agent 就是那个不可靠内核（幻觉/调错/越界），Harness、工具协议、编排分工是外部可靠结构。Agent 比人类少三样制度前提：角色外部标准、失败自然代价、身份连续——补齐以年计，模拟不依赖它们，只需要一个能安全失败的环境，是唯一当下就能做的验证。
退款案例：客服五样保障→Agent 全归零 · 第五样（演练）当下可重建
② 定义、边界与三种执行模式
- 定义：用户模拟（承载人：用户/对手方/协作方）+ 环境模拟（承载外部条件：工具/数据/文件/模型服务/外部事件/时间）——世界可保存、可修改、可重放，无真实后果
- 边界是授权与后果，不是实现方式：不触达未授权生产账户/数据/网络、不产生不可控真实副作用——连隔离真实后端仍在仿真；全替身但路由到生产账户=事故
- 三种模式：全替身（回归·可复现最高）/ 混合（端到端集成）/ 隔离真实依赖（服务栈验证·保真最高）——结论不可跨模式混用
- SUT 不进仿真：推理/工具选择/参数构造/异常处理属 SUT，替换即移出回路；内容不能换、条件必须换——替身机制按开放度选：脚本/录制回放/规则/状态机/模型生成/混合
③ 数据契约：对象链与证据层次
- 对象链：Scenario Spec（场景规格）→ Manifest（不可变运行配置，启动锁定全部资产版本）→ Run（1..N Task → 1..N Session → Event 原子执行事实）→ Run Result（Records 原始记录 · Artifacts 产物 · Observations 事实性观测 · Evidence 证据引用 · Completeness 完整性）
- 证据三层分离：records → observations → evidence；criterion→evidence_refs→verdict 由 Evaluation Result 建立，不属于 Run Result——同一份 records 供重评分/合规/回归各自组织判断，不被上一轮结论污染
- 生命周期闭合：启动时锁定 Manifest（重建条件），运行中才知道的事实进 Run Result（核对事实）；triggers 是计划、Event 是事实，不共享名字
- Run 四状态独立：执行状态（completed/crashed/cancelled）· 仿真有效性（valid/violated/unchecked）· 证据完整性（complete/partial）· 任务质量（独立 Evaluation 给出）——一次完整有效的 Run 完全可能产生错误金额，不压成一个成功/失败
④ Harness：五项职责五项不做 + 两张账
- 做五件事：解析场景（Spec→Manifest）· 编排受控 Run（装载/运行/终止/收敛/清理）· 管理替身与隔离 · 汇集记录引用（关联 Trace/Artifact）· 环境清理复位
- 不做五件事：任务生命周期管理（SUT 职责）· 鉴权与权限决策（Gateway/安全框架）· 遥测采集（可观测性）· 质量评分判定（Evaluation）· 发布决策（治理门禁）——收进来就从执行引擎膨胀成总控制器
- 三线数据流：交互流（消息/工具请求/可见事件）· 控制流（装载/初始化/故障/终止/清理）· 证据流（Trace/状态/产物/控制记录）
- 两张账：事件联动账（同一事件在用户/Agent/环境三方状态与时点，回答撤回到底生效没有）；时间分离账（业务日历时间/仿真逻辑时间/单调时钟/墙钟时间四者不可混用）
⑤ 用户模拟器：Persona 三层 + Hybrid + 质量五维
- 模型三层：Persona（角色底色：专业度/表达偏好/行为倾向）· 认知状态（她知道什么，允许与客观状态不同——真实状态与用户认知两份都留）· 行为策略（Reaction Rules+状态机+时钟驱动耐心）
- Hybrid 工程主流：意图选择交状态机（确定节点），自然语言表达交模型（符合 Persona 措辞），输出经事实校验+披露规则校验；探索运行放宽分支、回归运行锁定约束
- 质量五维：角色一致性（每条消息）· 反应规则符合率（每次触发）· 信息可见性遵守（每次披露）· 目标终止规则符合率（每个 Run）· 行为分布多样性（每批次）——生成与评分用不同模型
⑥ 环境模拟器：事实一致 · 超时三位置 · 隔离与复现 · 故障注入
- 事实一致：API 返回=数据库状态来自同一事实模型——create_refund 受理后 get_refund 必须查到
- 超时三位置：请求未发送（测重试退避）/ 已发送未提交（测等待与查询确认）/ 已提交响应丢失（测重复提交防护与状态核实——申请已受理、Agent 没收到回执，会不会核实后再提）
- 隔离与复现：Run 级隔离（独立工作区/账户数据/会话）；复现三层次：配置复现（同样实验再来一次）/ 事件复现（同样路径再走一遍）/ 统计复现（结论稳不稳）
- 故障注入四步记录：计划注入 → 执行器生效 → 目标命中 → 恢复验证——"注入了"和"生效了"是两件事，四步缺一结论不可信
⑦ 场景与资产：联合建模 · 十字段组 · 材料与生成
- 场景 vs 资产：场景=一次受控执行的声明式规格（允许多条合理路径，不是脚本也不是随机）；资产=场景引用的独立版本化构建产物（用户策略/初始数据/工具契约/模拟器配置/评估规格）
- 联合建模五维度：实体与事实绑定（同一张订单）· 信息可见性（认知与环境可不同，两侧内部各自一致）· 动作入口与状态归属 · 事件触发与时序 · 目标演化与结果要求
- Scenario Spec 十字段组：identity / sut / user / environment / interaction / participants / events / execution / evaluation_ref / provenance
- 材料四方向 + 生成四机制：声明（需求政策）/ 实现（源码配置）/ 观察（生产会话 Trace）/ 异常（事故缺陷）；模板填充→规则派生→LLM 辅助→混合生成（锁结构+LLM 提变化+校验器筛选，工程主流）
⑧ 证据交付与适用边界
- 证据材料≠质量结论：运行完成、任务成功、允许发布是三个独立结论；退款申请数=1 是观测，Agent 是否正确处理是判断——前者是 Simulation 终点，后者是 Evaluation 起点
- 三道证据检查：记录完整性（材料在不在）→ 运行有效性（条件成立没有）→ 证据充分性（够不够支撑评价项）；证据不足输出不可判定——诚实结论好过硬评
- 同一证据包七种用途：质量评估重评分 · 缺陷定位归因 · 版本回归门禁 · 复现回放 · 场景提取补充 · 模拟器质量治理 · 性能成本分析
- 统计边界：n 次零违规的违规率单侧 95% 置信上界近似 3/n——300 次零违规约 1%，不是零；Testing Gate 汇总证据但不是发布决定者，治理节点拿证据决策，例外审批留痕
- 假设会过期：用户模型是假设、场景来自已知失败模式；仿真成功率上升而生产人工接管持续增加=假设过期信号；校准靠事件驱动（接口变更/故障复盘/用户结构变化），不按固定周期
▍逻辑全景图（Agent Simulation：从制度缺位到治理门禁）
示意 · 按第 16 章正文重构，并入原书图 16-3 的三道证据可用性检查
三样制度前提缺位 → 模拟是唯一当下可做；Harness 五做五不做，证据三层分离，三道检查后才轮到判定与授权
- Harness 引擎
- 用户/环境模拟
- 对象链与证据
- 评估与门禁
示意 · 按第 16 章正文重构（原书另有图 16-1 质量工程架构、16-2 Harness 技术架构、16-3 三道证据检查流程、16-4 Testing 应用闭环）
▍书中关键图（SVG 重绘版 · 示意）
图 16-2 Simulation Harness 技术架构：编排层为骨架，用户模拟器与环境模拟器为两翼，SUT 在回路中不被替换
示意 · 依原书图 16-2 Harness 技术架构重构（两翼/骨架结构为原图要素）；图 16-3 的三道证据检查已并入上方『逻辑全景图』