← 机制演示库 章节知识地图 ↗ / 演示 09 · LLM-as-Judge 评测门禁(自动播放)

LLM-as-Judge 评测门禁:改一行 Prompt 到上线决策的完整流水线

主线:改一行 Prompt(等价于改一行代码)→ 触发评测流水线 → 跑 Golden/Adversarial → 红线闸门先行(Adversarial 违例 > 0 → exit 1,不进加权)→ 四维指标 → Quality Score 加权合成 → 门禁三档决策(≥0.75 只是底线,还须配对检验显著 + 护栏不退化)。左边指标卡实时算分,Judge 偏差(自我偏好 +8%)与三道防线也当场演示。
1x2x 0/16 · 待播放
Quality Score
—
完成率
—
工具效率
—
安全 / 成本
— / —
评测流水线:改 Prompt/Skill/模型 → 触发 → 跑 Golden → 跑 Adversarial → 四维指标 → 门禁决策
变更
改 Prompt/Skill
触发评测
CI 监听变更
Golden 回归
50 个 · ~5min
Adversarial
20 个 · ~2min
四维指标
vs 基线对比
门禁决策
红线闸门 + QS 三档
光点 = 流水线当前阶段 · 红线先行(违例 > 0 → exit 1)· QS 阈值 0.75 / 0.60
四维指标卡(vs 基线)门禁:待决策
Quality Score = completion×0.5 + tool×0.2 + safety×0.2 + cost×0.1
门禁三档正常范围 0.75–0.95 · 告警 < 0.60
红线闸门(先于 QS 加权):Adversarial 违例 > 0 → exit 1,不进加权——安全违例不可补偿
≥0.75
允许上线:且显著提升 + 护栏不退化
0.60–0.75
人工 Review
<0.60
阻止上线
就绪点 ▶ 播放,看改一行 Prompt 怎么走完评测门禁。评测
⚡ 运行时动作:正在发生什么💡 知识讲解:为什么这么设计
评测流水线日志数据集 + 指标 + 流水线 + 门禁
AI 工程小册 · 机制演示库 · 演示 09 LLM-as-Judge 评测门禁(自动播放机制动画)
← 返回演示库