主题
设计检查清单
上线前逐项核对。不适用的划掉,不要为了打勾而补设计。
边界与定位
- [ ] 写清平台“做什么、不做什么”并得到业务与基础设施团队确认;每个场景有业务 owner,每个能力有技术 owner。
- [ ] 明确平台不替代核心系统、不替代业务判断。
- [ ] 明确哪些场景不上平台,避免所有需求都进平台排期。
定义态
- [ ] Skill、MCP、知识库、模型路由都可版本化、可 diff、可回滚。
- [ ] 定义态只写元信息,不执行代码,不持有运行态凭证。
- [ ] 发布有评审、灰度与回滚;生产会话固定版本,不被定义态变更直接影响。
运行态
- [ ] 会话与 Pod 解耦,Pod 回收后会话可恢复。
- [ ] Pod 按执行类型分池,不按用户独占。
- [ ] 冷池、热池、回收阈值有数据支撑。
- [ ] 任务状态、依赖和结果外置,不保存在 Pod 内存;检查点、幂等键、超时和取消完整。
- [ ] 追加消息能正确路由到原任务或新任务。
能力供给
- [ ] 每个 MCP 有 owner、用途、数据级别、风险等级和版本。
- [ ] 工具粒度单一,读写分离,参数服务端二次校验。
- [ ] Skill 有输入输出契约、执行类型、依赖声明和失败路径。
- [ ] Skill 发布双审,灰度后全量,旧版本保留迁移窗口。
- [ ] 知识库有分层、来源、版本、时效和权限标记;检索前做权限过滤,多路召回有融合和重排。
- [ ] 能力有下线流程,废弃标记和依赖通知可执行。
上下文与记忆
- [ ] Guard 顺序是权限 → 安全 → 相关性,再注入。
- [ ] 记忆分层,写入有抽取、归因、去重和过期。
- [ ] 规划状态、权限记录、待审批动作永不压缩。
- [ ] 压缩后能校验目标、权限和证据是否完整。
- [ ] 租户、业务域、用户、任务、环境隔离明确。
- [ ] 每轮生成 Manifest,可解释模型看到了什么。
安全
- [ ] 默认拒绝出站,白名单按需放行;工具级 RBAC,权限随任务收窄,会话结束回收。
- [ ] 密钥不进沙箱,凭证定期轮换,异常可吊销。
- [ ] 沙箱按风险分级,高风险用强隔离。
- [ ] 不可逆操作强制人工确认,审批有超时处理。
- [ ] 审计只追加,能按 trace 还原调用链。
- [ ] 第三方 MCP / Skill 走允许列表、版本钉住和 kill switch。
评测与门禁
- [ ] 评估对象覆盖结果、轨迹、工具、安全和成本。
- [ ] 数据集包含 Golden、Regression、Edge、Adversarial,线上失败持续进入回归集。
- [ ] L1 / L2 / L3 门禁阈值明确,安全对抗零容忍。
- [ ] Bad Case 能归因到具体层,并跟踪修复。
- [ ] 线上指标跌破阈值能自动降级或回退。
可观测与运维
- [ ] trace 贯穿网关、会话、Pod、工具和模型调用。
- [ ] 记录步数、token、成本、终止原因和证据引用。
- [ ] 池水位、分配等待、热池命中、恢复次数可监控。
- [ ] 有模型不可用、向量库超时、Pod 批量回收、审计失败的演练。
- [ ] 有 Runbook,值班不依赖个别专家。
上线后的日常机制
- [ ] 定时任务与在线流量分池,高频巡检走零 Token 路径;错过触发有显式补跑策略并配合幂等键。
- [ ] 收到 SIGTERM 的顺序是拒新请求 → 摘流 → 等在途 → 写检查点 → 退出。
- [ ] 自动回滚同时看指标、窗口和样本量,且整包回退。
- [ ] 知识库换版用影子索引验证、别名切换、旧版延迟清理;限流、排队、舱壁、熔断参数明确,熔断带半开探测。
落地
- [ ] 五阶段各有交付、验收指标、owner 和回退方式,上一阶段不达标不进入下一阶段。
- [ ] 成本从第一天按租户、场景、技能归集。
- [ ] 建与买有明确判断,不重复造通用组件。
- [ ] 低使用、高成本或高风险场景有退出机制。
出问题时怎么分诊
清单是静态的,事故是动态的。先按现象定分支,再按分支定位到层,最后才动配置——顺序反了会把一次可归因的退化变成一堆无法复现的修补。
六条路径的第一个动作里没有一条是“改提示词再试一次”。三个必须回答的判断:错误范围决定是隔离问题还是共性问题;步数是否增长决定是控制问题还是资源问题;是否与变更相关决定是回滚还是修代码。归因不到层就动手改配置,等于把故障现场一起改掉了。
红线
- [ ] 业务配置不能降低 Constitution 级规则。
- [ ] 审计日志不能删除或修改。
- [ ] 高危工具不能与写操作自动组合。
- [ ] 模型输出不能作为“完成”的唯一证据。
- [ ] 提示词不能替代权限、网络和沙箱边界。
适用:企业级 Agent 平台设计评审 | 初稿 2026-10