📊 A09-可观测与评测 · 全貌思维导图 演示 09B
7 篇 → 7 板块 · 自动播放 + 手动步进
待播放
📊 章节逻辑合并(7 篇 → 7 板块)
◎ 核心 · 验收层
看见了 + 好不好 + 会不会被骗
① 链路追踪
01 LLM 决策纳入 Span · 双轨制 · 采样分级
② 成本可观测
02 Cache 命中率 · 三级归因 · 模型路由降本
③ LLM-as-Judge
03 三种方案 · 四类偏差 · 三层数据集 · 四维指标
③ 评估体系进阶
03 CI/CD 门禁 · A/B 统计检验 · Critic 闭环
④ 测试策略
04 四层金字塔隔离非确定性 · Mock LLM
⑤ 确定性与可复现
05 四个随机来源 · 四层策略 · 版本漂移
⑥ 反指标博弈
06 Goodhart 定律 · 三道防线 · 每周审计
⚡ 加载完成,点击播放或使用 ⏮⏭ 逐步学习 · 点击左侧节点直接跳板块
⚡ 运行时动作
💡 知识讲解
未到
当前
已走

✅ 收束 · 知识点一句话总结

A09 是 A 卷的验收层,回答三个问题:看见了 / 好不好 / 会不会被骗。一条主线串起全卷:① 链路追踪把 LLM 决策纳入 Span——记录单位从 HTTP 调用变成 LLM 决策/工具执行,最小字段决定可回溯性:step/decision/token 之外必须带 prompt_hash/context_ref/error_class,缺一个事后就补不回来;开发态 Studio 逐节点调试、生产态 Micrometer 聚合,Trace 爆炸靠采样分级(异常全量/正常摘要)+ Prompt 指纹(SHA256 入低成本存储)兜底;② 成本大头在 Prompt Cache 命中率——命中部分单价只有未命中的 10%,按此计价命中率 90% vs 50% 的比值约 2.9 倍,不是 3-5 倍(3–5 倍只在命中价≈5% 时近似成立;把 2.9 写成 3–5 倍是把不同假设混在了一起);三级归因(Agent/用户/任务)定位花钱方,基线×3 + Token 占比抓死循环,模型路由四策略(静态/语义/级联/降级)降本;③ LLM-as-Judge 是方法不是体系——体系 = 三层数据集(Golden/Adversarial/Production)+ 四维指标(完成率×0.5+工具效率×0.2+安全×0.2+成本×0.1)+ CI/CD 门禁(>0.75 上线 / 0.60-0.75 Review / <0.60 阻止);Judge 有四类偏差(自我偏好抬 5-15%/位置/长度/风格),靠多 Judge 投票+人机交叉+位置随机化校准,每次事故变成一条断言;④ 测试用四层金字塔隔离非确定性——快照测 Prompt、单测测工具、Mock LLM 把非确定性系统测成确定性逻辑(核心创新)、E2E 每周跑不阻塞 PR;⑤ 确定性是分层控制不是消灭随机——工具选择/参数提取强制 temperature=0,工具结果缓存+Checkpoint 重放才是真确定性,警惕模型版本漂移这个最被低估的来源;⑥ 反指标博弈是必然的——Goodhart 定律:指标成为目标就不再是好指标;三道防线(多维指标互锁/对抗评估/影子指标)缺一不可,公开↑+影子↓ = 在博弈,且是每周审计+演化对抗的持续共同进化。
Cache 命中 约 2.9 倍差(按 10% 计价)
QS 门禁 0.75/0.60
四层金字塔 隔离随机
三防线 防刷分