主题
第 21 章 · Agent 黄金数据集
核心观点 + 逻辑框架（调优篇 · 黄金集：经过业务确认的题目与判断标准，可反复使用）
▍速览
一句话版（开场，约 20 秒）
黄金数据集是一组经过业务确认的任务：既有题目，也有判断任务是否完成的依据。它把"临时找问题、凭印象判断"变成"同一批题检验每次修改"——改 Prompt、补 Skill、调知识库、换模型时都拿同一批题验证，再通过版本留档、校准评估器、回归检查让价值反复兑现。
一段话版（完整表达，约 90 秒）
黄金数据集的"黄金"指题目与标准可信：既有题目，也有判断任务是否完成的依据——知识问答用参考答案和必须覆盖的要点，操作任务说明业务应达到的状态，代码任务包含测试与验收条件。Agent 曾经答错的任务，只要补齐正确要求同样能成为黄金样本，这类题往往比漂亮的成功回答更能帮助改进。Dataset 是管理题库的地方：一行一道题，一列放题目、回答、评分要求；支持上传文件、从轨迹导入、空白开始、字段管理、AI 标注、版本管理和发起评估实验。建集四步：先建候选集集中收集值得检查的问题（customer_service_candidates），再用少量字段把题目和标准说清楚——input 题目、actual_output 原回答、expected_output 参考答案、rubric 评分要求、scenario 场景、source_ref 来源；参考答案给合格示例，rubric 说明必须做到什么，开放任务不要求逐字一致；先手工确认几条典型题发现标准分歧（功能介绍要不要使用建议、操作指导是否必须给入口），再让 AI 标注扩大整理范围，预标注只减少整理工作、黄金标准仍由业务确认；完成复核后把确认题选进黄金集（customer_service_gold_v1），证据暂缺或争论中的样本留在候选集，确认有问题的样本补齐正确要求后成为 Badcase。选题五类：高频问题、已发生问题、业务边界与高风险、原本正常的题、表述变化与多轮问题——只收集低分题看不到正常能力退化，只收集常见问题漏掉代价高的少数；用场景列看哪类缺代表，优先补空缺；写明任务起始条件，重新做题从约定初始状态出发。三种用法：校准评估器（好/坏/边界回答看机器评分是否与业务一致）、比较版本（黄金集上发起实验，基线+候选同题对比，先看逐题再看总体）、回归检查（升级前重复运行重要题）。版本管理：比较前创建只读快照留档，比较期间不追加修改；规则变化改题建新版本；关键安排是把参与改写 Prompt/Skill 的题与独立检查效果的题分开，反复查看过的题已参与调优，要另留新验证题。
- 定义 黄金集=经业务确认的题目+完成判断依据；"黄金"=可信
- 建设 候选集→六字段（input/回答/参考答案/rubric/场景/来源）→手工+AI→复核入黄金集
- 选题 高频/已发生/边界高风险/正常题/表述多轮；优先补空缺
- 用法 校准评估器 / 比较版本 / 回归检查，价值来自反复使用
- 留档 版本快照；参与改写的题与独立验证的题分开
收尾
一份从未进入评估、实验或发布检查的数据集，即使整理得很精细，也还没有参与改进 Agent。
▍逻辑框架（记忆卡片）
① 命题：黄金数据集 = 题目 + 判断依据
- 黄金数据集是一组经过业务确认的任务：既有题目，也有判断任务是否完成的依据——知识问答=参考答案+必须覆盖要点；操作任务=业务应达到的状态；代码任务=测试要求与验收条件
- "黄金"指题目与标准可信：Agent 答错的任务补齐正确要求同样可成黄金样本，比只收集漂亮的成功回答更能帮助改善
- 价值来自反复使用：改 Prompt、补 Skill、调知识库、换模型时拿同一批题检验效果
"黄金集"是团队赋予数据的用途，不需要等待一种特殊的数据集类型——它本质上是一张专门用于评估与调优的业务表。
② Dataset 的日常能力
- 建集：上传 CSV/Excel/JSONL（已有题库）/ 从轨迹数据导入（投诉失败任务变候选）/ 从空白开始（专家写关键案例）/ Pipeline 持续收集
- 补标准：字段管理加列（参考答案/Rubric/场景），数据详情编辑记录
- 批量整理：AI 标注（分类/预筛选）+ 标注管理（按统一要求逐条复核）
- 留档与使用：版本管理创建版本（可重复比较的一版）/ 发起评估、发起实验 / 导出交付
第一版可以很简单：先把团队最关心的任务放进来，补清楚如何判断，再逐步增加标签与管理规则。
③ 建黄金集四步
- 1 建候选集：集中收集值得检查的问题（真实咨询+低分回答）；来源=已有表格上传 / 轨迹详情加入 / Pipeline 持续写入 / 空白开始由专家补边界情况
- 2 字段把题目和标准说清楚：input / actual_output / expected_output / rubric / scenario / source_ref（见④）
- 3 先手工确认几条，再 AI 扩大：逐条阅读补参考答案与评分要求，几条典型题先讨论发现标准分歧；AI 标注按"功能介绍/操作指导/异常处理"分类或标"可能遗漏步骤"，预标注只减少整理工作，黄金标准仍由业务确认；补缺失标签选"跳过已有结果"，业务分类体系整体变化时才重新标注覆盖
- 4 完成复核进黄金集：标注管理逐条判断（答案是否正确/遗漏哪类/是否需补证），确认后筛选勾选加入 customer_service_gold_v1，核对字段映射保留题目/参考答案/rubric/来源；证据暂缺或争论中留在候选集补齐后再收入
需要进入实验的参考答案与 rubric 必须填到约定字段——"这题应当这样答"只留在讨论里，实验不会自动使用它。
④ 字段设计：题目与标准分开写
- input：题目=用户原始问题，必要时补任务前提
- actual_output：原回答，供分析错误与人工复核
- expected_output：参考答案=合格示例（开放任务不要求逐字一致）
- rubric：评分要求=必须覆盖什么、怎样判分、哪些错误不可接受；参考答案与评分要求可以一起用
- scenario / source_ref：场景分类（功能介绍/操作指导/异常处理）与来源（轨迹/文档版本/人工编写）
rubric 示例（操作指导题）：按四项检查每项 0.25 分——①说明如何准备并选择评估数据；②说明如何选择或创建评估器；③说明输入/输出/轨迹的字段映射；④说明如何运行评估、查看解释并处理低分样本；编造产品能力或操作入口另标记不通过。**演示最初把两道题要求写在同一评估器，改为数据集 rubric 列逐题填写后，低分能对应到具体遗漏内容。**另一类"有哪些功能"题参考重点：说明观测/数据处理/评估实验/经验使用等能力及用途；评分重点看是否覆盖用户关心的能力、是否解释能解决什么问题、是否含不准确承诺。
⑤ 题库怎么选才对业务有帮助
- 高频问题：影响大量用户的日常体验（功能介绍/接入方式/常用配置）
- 已发生过的问题：检查修复是否持续有效（回答遗漏步骤/引用过期功能）
- 业务边界与高风险：防止少量但代价大的错误（无权限操作/不存在的能力/敏感信息）
- 原本表现正常的题：发现改动带来的退化（过去能完整回答的标准操作）
- 表述变化与多轮：检查是否只适配一种问法（简称/补充条件/上下文追问）
只收集低分题看不到正常能力退化；用场景列看哪类堆得多、哪类缺代表，优先补空缺比不断增加近似问题更有价值。涉及实际操作要写明任务起始条件（"订单满足退款条件"作新任务输入，工具报错是分析材料）；同一句问题因账号权限/产品版本/上下文不同答案可能不同，选题保留区别。第一批不必很多，但每道题要有人能解释为何保留、怎样判定。
⑥ 建好以后三种用法
- 校准评估器：取人工确认过的好/坏/边界回答发起评估，看机器评分是否与业务一致；坏回答得高分先查字段与题目要求是否清楚——黄金集在这里是"校准题"
- 比较版本：黄金集发起实验，题目给被测 Agent、参考答案与 rubric 给评估器、新回答作为被评价对象；先跑基线再跑候选，先看逐题变化再看总体趋势——一道关键操作题仍失败不能因平均分提高忽略；候选方案执行同一批题，要同时比较结果、成本与耗时，按自己业务选型，不只看通用榜单
- 回归检查：历史故障/重要流程/一部分正常题列为回归范围，升级前重复运行或定时调度持续检查；同一条黄金样本可同时承担黄金与回归两种用途，不必复制数据
黄金强调题目与标准的质量，回归强调反复使用的目的；需要独立发布节奏或不同权限时再分成多个数据集。
⑦ 随业务更新题库，保留比较依据
- 正式比较前创建版本（v1.0+描述：按本月产品文档确认），历史版本视图只读快照，发起评估实验回到最新数据
- 直接用法：为本轮比较准备独立黄金集 → 确认后创建版本留档 → 比较期间不追加不修改；日常 Pipeline 继续写候选集，新题复核后进下一版
- 规则变化：改受影响题目与要求再建新版本；参考产品文档记适用版本，外部文件保留可重取副本；导出时确认是当前筛选结果还是全量
- 关键安排：参与改写 Prompt/Skill/提炼经验的题，与独立检查效果的题分开——反复查看并据此修改的题已参与调优，须另留新验证题
业务人员补真实需求与正确要求、研发用题库验证修改、测试运营跟踪回归——一次咨询、投诉或失败留下的不只是排障记录，还是下一轮改进可直接使用的题目与标准。
▍逻辑全景图（黄金集建设闭环：候选集 → 标准 → 复核 → 使用 → 留档 → 回流）
从"收集值得检查的问题"到"同一批题检验每次修改"，再经版本留档与新题回流形成长期资产
- 建设（候选→标准→复核）
- 使用（校准/比较/回归）
- 留档与回流
示意 · 按第 21 章正文重构：建设四步、三种用法与版本留档
▍书中关键图（SVG 重绘版·示意）① 题库选题五类
| 选题类别 | 作用 | 典型例子 |
|---|---|---|
| 高频问题 | 影响大量用户日常体验 | 功能介绍 · 接入方式 · 常用配置 |
| 已发生问题 | 检查修复是否持续有效 | 回答遗漏步骤 · 引用过期功能 |
| 边界与高风险 | 防止少量但代价大的错误 | 无权限操作 · 不存在的能力 · 敏感信息处理 |
| 原本正常 | 发现改动带来的退化 | 过去能完整回答的 · 标准操作问题 |
| 表述变化 / 多轮 | 检查是否只适配一种问法 | 简称 · 补充条件 · 上下文中的追问 |
| 选题总则 | 只收集低分题看不到正常退化，只收集常见题漏掉高代价少数——五类都要有代表 | 优先补空缺优于不断增加近似问题 |
| 起始条件 | 同一句问题因账号权限 / 产品版本 / 上下文不同答案可能不同，选题保留区别 | 操作题写明任务起始条件：重新做题从约定初始状态出发；测试失败恢复时设置相同失败检查点 |
示意 · 按原书表 21.4 题库选题重绘