主题
调优篇认知总图 · 数据飞轮驱动的持续调优
核心观点 + 逻辑框架(调优篇 · 第 17–24 章)
▍速览
一句话版(开场,约 20 秒)
Agent 怎么持续调优?一条数据飞轮:模型层先把推理成本和延迟降下来(第 17 章),Agent 层用评估、数据、优化三件事闭环转起来(第 18 章);运行过程沉淀成轨迹、运行时处理、黄金数据集三类数据资产(第 19/20/21 章);评估发现问题、用 Badcase 和实验验证改进(第 22 章);把验证过的方法受控采用、让走通的方法稳定复用(第 23 章);最后扩展到全球边缘并让数据回流(第 24 章)。
一段话版(完整表达,约 90 秒)
调优篇回答一个核心问题:Agent 上线之后怎么持续变好。第一层是模型调优(第 17 章)——推理框架的 PD 分离、KV Cache、连续批处理与投机解码,配合 SFT/Agentic RL/蒸馏三类训练方法,目标是把 Token 成本与响应延迟降下来,这是所有上层优化的底座。第二层是 Agent 调优总览(第 18 章)——调优不是零散改 Prompt,而是让"持续评估→数据沉淀→优化→回流运行"的数据飞轮转起来:Evaluator 持续评估体系持续发现问题,Trajectory Dataset 沉淀运行数据,优化落在 Prompt、模型、工具、Skill、Workflow、Harness 与经验召回上。数据层三章:轨迹数据(第 19 章)讲清楚一条轨迹该怎么检索与阅读——Trace/Session/关键词/语义搜索定位,工具失败、耗时偏高、业务质检三类问题各有落点,失败例与正常例都保留;运行时数据处理(第 20 章)用 Pipeline 把原始运行数据加工成可评估的样本,涵盖字段投影/扩展/条件过滤、实例构建、精确/近似/语义去重、随机/分组采样与语义聚类、LLM/智能体标注、文本统计与周期执行;黄金数据集(第 21 章)把少量高质量、覆盖关键场景的样本建成回归材料,四步建集、字段设计、选题五类、三种用法,版本留档可追溯。改进层两章:第 22 章讲 Badcase 驱动的优化——用评估器在真实样本上试评,挑出值得修的失败样本,配对照实验验证改进是否真的有效,再接入 Agent 持续评估;第 23 章讲受控自进化——先选一类值得反复做好的任务建经验库,把经验接入 Agent 并亲自验证召回,用实验决定召回多少、什么时候用,把稳定方法资产化为 Skill/SQL/Script/Workflow,用失败样本推动 Skill 与 Harness 改进,最后按成熟度从人工选候选走向受控自动采用,每次采用确认四件事并保留回退。空间延伸(第 24 章)——全球化后调优延伸到边缘:延迟不对称、成本不透明、安全前置、内容适配四个方向,评估扩展到全球交付质量,性能成本靠就近接入与语义缓存,内容与安全在边缘分发拦截,生产验证用真实全球流量补充仿真,企业沿三阶段渐进演进。收口的话:调优的终点不是模型变强,而是任务更稳定地完成、团队能说明每一项改进为什么值得保留。
- 一个飞轮:持续评估 → 数据沉淀 → 优化 → 回流运行
- 三类数据资产:轨迹 · 运行时处理(过程数据)· 黄金集(回归评测基线)
- 两个抓手:Badcase 发现问题 + 实验验证改进(第 22 章)
- 一个闭环:受控自进化——经验库 → 召回 → 实验 → 资产化 → 受控采用(第 23 章)
- 一个延伸:边缘四维度 → 五能力 → 三阶段(第 24 章),数据回流评估
一句话(收尾)
数据飞轮的价值最终体现在任务更稳定地完成——团队调整的是具体使用方法,而不是笼统地判断"经验有没有用"。
▍逻辑框架(记忆卡片)
① 篇命题:让 Agent 持续变好,靠数据飞轮而非零散改 Prompt
调优篇把 Agent 上线后的持续改进组织成一条主线:模型层降成本(第 17 章)→ 总览层转飞轮(第 18 章)→ 数据层沉淀资产(第 19/20/21 章)→ 改进层发现问题并受控采用(第 22/23 章)→ 空间层扩展到全球(第 24 章)。五层依次递进、数据回流形成闭环;判断标准始终回到业务——排障看根因与证据、代码看测试、报告看口径。
评估驱动 · 数据沉淀 · 受控采用 · 全球延伸
② 第 17 章 · 模型调优:先降推理成本与延迟
- 推理性能:PD 分离(Prefill/Decode 分开部署与调度)、KV Cache、连续批处理与投机解码——响应变快、Token 变省,是所有 Agent 调优的底座
- 训练方法:SFT 固化已有示范 / Agentic RL 环境反馈优化策略 / 模型蒸馏迁移能力降本,三者可组合
- 验收:候选模型在完整 Agent 中过五门禁(接口兼容/目标收益/能力回归/运行预算/安全硬门禁),灰度四阶段上线,回滚完整发布单元而非单模型权重
第 17 章回答"模型层面能省什么";第 18 章起回答"Agent 行为层面怎么改"。TTFT 与 Token 成本贯穿全篇。
③ 第 18 章 · Agent 调优总览:数据飞轮
- 调优总览把 Agent 上线后的改进组织成飞轮:持续评估 → 数据沉淀 → 优化 → 回流运行;Evaluator 持续评估持续产出问题信号
- Trajectory Dataset:运行轨迹统一进数据集,成为评估、优化、回归的共同原料;模块按运行事实、评估标注、实验反馈三段衔接
- 改进方向:Prompt / Model / Tool / Skill / Workflow / Harness / 经验召回——先判断问题出在哪一层,再决定改哪一处
第 18 章是调优篇的"地图":评估发现问题、数据提供原料、优化落地各方向、回流闭环;后续六章都是这张地图的展开。
④ 第 19 章 · Agent 轨迹数据:过程数据怎么记、怎么管
- ATIF 结构:步骤 / 消息 / 工具调用与观察 / 运行指标 / 来源扩展——缺失任何一个都难以复现与归因
- 检索与阅读:TraceID 精确查、SessionID 看连续交互、关键词/语义搜索定位;先看输入输出,再看步骤数、工具调用、Token 与耗时概览
- 三类问题落点:工具失败 / 耗时或 Token 偏高 / 业务质检;失败例与正常例都保留,候选样本经业务确认后再进黄金集
轨迹是数据飞轮的原料来源——没有完整轨迹,第 20 章的加工和第 21 章的黄金集都无从谈起。
⑤ 第 20 章 · Agent 运行时数据处理:把原始数据加工成可评估样本
- Pipeline 处理模块:字段投影/扩展/条件过滤 · 实例构建 · 精确/近似/语义去重 · 随机/分组采样与语义聚类 · LLM/智能体标注 · 文本统计 · 单次/周期执行
- 字段设计:input / output / agent_trajectory 与 trace 字段映射,加工后的样本要能被评估器直接消费
- 质检闭环:抽检 + 人工复核 + 失败回流,样本质量问题在进入评估前被拦截
第 20 章是把"运行时原始日志"变成"评估可用样本"的加工厂;第 21 章在其上做精选。
⑥ 第 21 章 · Agent 黄金数据集:回归与评测的稳定基线
- 建集四步:候选集收集 → 字段说清题目与标准 → 业务确认典型题 → 复核选入黄金集;选题五类:高频 / 已发生 / 边界高风险 / 原本正常题 / 表述多轮
- 字段设计:input 题目 / expected_output 参考答案 / rubric 评分要求 / scenario 场景 / source_ref 来源——可评估、可追溯、可更新
- 三种用法:校准评估器 / 比较版本(基线 vs 候选)/ 回归检查(防退化)
黄金集贵精不贵多:覆盖关键场景的少量样本,价值高于大量低质样本;版本留档让改进可对比、可回滚。
⑦ 第 22 章 · Agent 优化 Badcase:发现问题并验证改进
- 评估发现问题:配置评估器(输入映射 + 评估指标),在真实/黄金样本上试评,找出表现不佳的任务
- 选 Badcase:同种遗漏选代表性几条,同时保留边界场景与正常任务验证退化,避免只改善投诉样本却损害常规回答
- 配实验验证:同一批样本、同一评估口径下比较基线 vs 候选——"一致条件"是结论可信的前提;验证通过再接回 Agent 持续评估
第 22 章是"改进从哪来":Badcase 提供问题,实验提供证据;多模态场景用三层证据链(输入层/过程层/结果层)评估。
⑧ 第 23 章 · 受控自进化:让走通的方法被稳定采用
- 经验库质量门禁:先选一类值得反复做好的任务,建经验库并检查"解决什么问题 / 建议什么动作 / 什么条件下适用"三件事
- 接入与实验:装召回 Skill、配置、授权,亲自验证一次召回(口头说参考了经验≠真实调用);用 Baseline 对照实验决定召回阈值/数量/时机/位置/要求
- 资产化与受控采用:稳定方法沉淀为 Skill/SQL/Script/Workflow;失败样本推动 Skill/Harness 改进;按成熟度三档(手动/半自动/受控自动)渐进,每次采用确认四件事并保留回退
第 23 章是"改进怎么落地":从发现问题到受控采用,改进必须可解释、可回退、可审计。
⑨ 第 24 章 · 边缘运行时与全球优化:空间延伸与数据回流
- 四维度:延迟不对称(网络传输是物理瓶颈)/ 成本不透明 / 安全前置(DDoS·Bot·PI 初筛到边缘)/ 内容适配(HTML→MD)
- 五能力:边缘评估(性能/成本/安全/体验四维)· 性能成本(就近接入/传输优化/语义缓存)· 数据驱动(ESA 观测 + 平台归因/修改/灰度验证/回流)· 内容分发与边缘安全(版本钉扎/区域适配/WebMCP;DDoS·WAF/Bot·AI 护栏三层)· 生产验证(真实流量观测+灰度回滚,与仿真互补)
- 三阶段:基础设施增强 → 能力部署到边缘 → Agent 原生部署边缘(两级运行时 EdgeFunction+RegionFunction);选择"最低充分架构",边缘评估数据回流 Region 评估闭环
第 24 章是调优篇的收口:飞轮从 Region 走到全球,边缘数据回流评估,闭环在空间维度上闭合;同时为结语"Agentic OS"愿景铺垫基础设施。
四维度 · 五能力 · 三阶段 · 数据回流
▍逻辑全景图(调优篇主线:模型层 → 总览飞轮 → 数据三支柱 → 问题改进 → 全球延伸)
一条数据飞轮贯穿八章:评估发现问题、数据提供原料、改进受控落地、边缘回流评估
- 模型层与总览
- 数据三支柱
- 问题与改进
- 全球延伸
示意 · 按第 17–24 章主线重构:模型层 → 飞轮总览 → 数据三支柱 → Badcase 改进 → 受控自进化 → 全球延伸,回流闭合