| 业务域 | 日调用 | 成功率 | P99延迟 | 日均Token | 状态 |
|---|---|---|---|---|---|
| 金融投研 | 523 | 96.2% | 1.2s | ¥312 | 健康 |
| 智能客服 | 412 | 93.8% | 0.8s | ¥198 | 健康 |
| 供应链 | 348 | 94.1% | 1.5s | ¥337 | 注意 |
| 模型 | 路由占比 | 平均延迟 | 成功率 | 日均调用 |
|---|---|---|---|---|
| GPT-4o | 42% | 1.1s | 97.3% | 540 |
| Claude-3.5 | 28% | 0.9s | 95.6% | 360 |
| DeepSeek-V3 | 18% | 0.6s | 92.1% | 230 |
| Qwen-72B | 12% | 0.5s | 89.8% | 153 |
| 时间 | 级别 | 来源 | 描述 | 操作 |
|---|---|---|---|---|
| 10:23 | 严重 | 供应链-库存查询 | P99延迟飙升至 4.2s | |
| 09:47 | 警告 | DeepSeek-V3 | 成功率降至 88.3% | |
| 08:15 | 提示 | Token 预算 | 金融投研究域Token消耗接近月度预算80% |
| 场景 | 业务域 | 成功率 | SLA达标 | 日均调用 | 状态 | 操作 |
|---|---|---|---|---|---|---|
| 反洗钱调查助手 | 风控 | 96.2% | 99.5% ✓ | 48 | 健康 | |
| 智能客服 | 零售 | 93.8% | 99.2% ✓ | 412 | 健康 | |
| 供应链预警 | 供应链 | 94.1% | 99.0% ✓ | 32 | 注意 | |
| 投研分析助手 | 金融投研 | 96.8% | 98.8% ⚠ | 523 | SLA预警 | |
| 运维巡检助手 | 运营 | 99.6% | 99.8% ✓ | 120 | 健康 |
| 服务名称 | 版本 | 语言 | 协议 | 安全级别 | 数据分级 | 业务域 | 关联Agent | 状态 | 操作 |
|---|---|---|---|---|---|---|---|---|---|
| aml-investigate-server | v2.1.0 | Python | stdio | L3 受控 | D3 敏感 | 金融投研 | 已上线 | ||
| realtime-stock-server | v1.3.2 | TypeScript | SSE | L2 内部 | D2 内部 | 金融投研 | 已上线 | ||
| email-sender-server | v1.0.4 | Python | stdio | L2 内部 | D2 内部 | 智能客服 | 已下线 | ||
| supply-chain-tracker | v3.0.1 | Go | HTTP | L1 公开 | D1 公开 | 供应链 | 已上线 | ||
| knowledge-retriever | v1.2.0 | Python | stdio | L2 内部 | D2 内部 | 知识管理 | 评审中 |
🔴 L3 受控级别 — 高安全要求
含高度敏感数据,需审批授权。评审流水线6阶段(格式→安全→功能→合规→集成→上线审批),安全评审和合规评审为强制阻断关卡。
| 优先级 | 智能体 | MCP 服务 | 工具 | 动作 | 条件 | 操作 |
|---|---|---|---|---|---|---|
| P1 | aml-investigator | aml-investigate-server | investigate_company | Allow | 业务域=金融投研 | |
| P2 | * | email-sender-server | send_email | Deny | 数据分级≥D3 | |
| P3 | customer-service-bot | realtime-stock-server | get_stock_price | Allow | 限流 30 QPM |
Skill 市场 iflytek/skillhub
Skill 注册、上传、分发、查找、创建、灰度发布全流程闭环
| Skill 名称 | 类型 | 业务域 | 版本 | 依赖工具数 | 日调用 | 成功率 | 人工介入 | 状态 |
|---|---|---|---|---|---|---|---|---|
| 运维故障定位 | workflowLangGraph | 运营 | v2.1 | 3 | 423 | 96.2% | 12% | active |
| 智能客服 | supervisorLangGraph+A2A | 零售 | v1.8 | 5 | 2,100 | 93.6% | 18% | active |
| 信贷审批辅助 | supervisorADK Java A2A | 对公 | v1.3 | 8 | 187 | 91.5% | 28% | active |
| 反洗钱调查 | supervisorADK Go A2A | 风控 | v0.9-beta | 12 | — | — | — | pending_review |
| 临时数据分析 | autonomousLangGraph | 跨域 | v1.5 | 2 | 361 | 93.6% | 18% | active |
| 监管报送 | workflown8n | 风控 | v1.0 | 6 | — | — | — | draft |
我方定制(~15%): 三层治理审核前置(Spring Boot Filter) · Agent Runtime注册回调 · 安全评审流水线对接
| 意图标签 | 置信度阈值 | 优先级 | 说明 |
|---|---|---|---|
| aml_investigate | ≥ 0.85 | P1 | 反洗钱调查请求 |
| suspicious_transaction | ≥ 0.80 | P2 | 可疑交易告警触发 |
| compliance_check | ≥ 0.75 | P3 | 合规审查请求 |
| 字段 | 类型 | 必填 | 说明 | 来源 |
|---|---|---|---|---|
| customer_id | string | 必填 | 客户唯一标识 | 用户输入 |
| transaction_ids | string[] | 必填 | 可疑交易ID列表 | 告警系统 |
| investigation_type | enum | 可选 | 调查类型: 重点/一般 | 用户选择 |
| context | object | 可选 | 上游对话上下文 | Agent传递 |
| 字段 | 类型 | 说明 | 下游消费 |
|---|---|---|---|
| risk_score | float(0-1) | 综合风险评分 | 审批流路由 |
| investigation_report | markdown | 调查报告全文 | HITL审批 |
| evidence_chain | object[] | 证据链: [{交易,关联人,金额,原因}] | 合规存档 |
| recommendation | enum | 处置建议: 报告/冻结/上报 | 调查员决策 |
| hitl_required | boolean | 是否需要人工审批 | 审批引擎 |
| 触发条件 | HITL级别 | 审批人 |
|---|---|---|
| 风险评分 > 0.7 | L3 审批型 | 合规官 |
| 风险评分 > 0.9 或金额>500万 | L4 双人复核 | 信贷经理+风险经理 |
| 三层治理拦截(合规红线命中) | L4 双人复核 | 合规总监+法务 |
title: "反洗钱调查助手"
summary: "反洗钱调查辅助,帮助调查员完成客户画像、交易链路分析、可疑模式识别和风险评估"
version: 0.9.0
execution_mode: supervisor
read_when:
- intent: aml_investigate, confidence ≥ 0.85
- intent: suspicious_transaction, confidence ≥ 0.80
input:
customer_id: string (required)
transaction_ids: string[] (required)
investigation_type: enum (optional)
output:
risk_score: float(0-1)
investigation_report: markdown
evidence_chain: object[]
dependencies:
mcp: [aml-investigate, knowledge-search]
kb: [反洗钱案例库, 监管规则库]
skill: [合规审查Skill]
constraints:
data_classification: confidential (D3)
hitl_rules: [{risk_score>0.7 → L3}, {risk_score>0.9 → L4}]
output_filter: [三层治理, PII脱敏, 事实校验, WORM]
max_iterations: 15 | token_budget: 50000
---
## 执行步骤
### Step 1: 客户画像构建
调用 query_customer_profile → 获取客户基本信息 → 构建画像摘要(≤500token)
### Step 2: 交易链路分析
调用 analyze_transaction_chain → 追踪资金流向 → 输出证据链
### Step 3: 案例比对 & 模式识别
检索反洗钱案例库(语义+KG) + 监管规则库 → 匹配相似案例 → 规则命中列表
### Step 4: 风险评估 & 三层治理过滤 ⚡决策点
综合评分 → 三层治理三层过滤 → 判断HITL级别 → 输出risk_score
### Step 5: 报告生成 & 输出
格式化为 investigation_report + evidence_chain + recommendation
| 版本 | 发布时间 | 灰度路径 | 关键变更 | 状态 | 操作 |
|---|---|---|---|---|---|
| v1.9 | 2026-07-09 | 灰度5% → 观察中 | +多轮对话优化 · +FAQ缓存命中 · +免责声明自动追加 | 灰度中 | |
| v1.8 | 2026-06-15 | 5% → 20% → 50% → 100%(全量) | +RAGFlow 4通道检索 · +话术推荐 · +HITL L2确认 | 全量 | |
| v1.7 | 2026-05-20 | 5% → 20% → 100%(全量) | +DeepSeek-V3路由 · +FAQ直命中免LLM | 已废弃 | — |
| v1.5 | 2026-04-01 | 直接全量(简单场景) | 初始版本 · 单轮对话 · Qwen3-72B | 已废弃 | — |
智能体中心 LangGraph + ADK + 自托管沙箱
智能体创建、编排、挂载、配置全流程闭环
🔄 Workflow 工作流型
🏗️ Supervisor 主管编排型
🧠 General 通用智能体
🤝 Multi-Agent-as-Tool
底层: 统一LangGraph编排,运行时抽象层 抽象层保证经典运行时 → 原生图运行时切换零感知
| 决策项 | 自主权限 | 安全限制 | 配置 |
|---|---|---|---|
| 知识检索 | 自主 | 相关性>0.7才注入,PII自动脱敏 | |
| 工具调用(读) | 自主 | standard级工具可自主调用 | |
| 工具调用(写) | 必须HITL | privileged/写入类需审批 | |
| 数据输出 | 受限 | Guard三层校验后才输出 | |
| 跨域访问 | 禁止 | 运营域不可访问对公域数据 |
优势: 轻量快速迭代,单Agent最简单 · 风险: 自主决策边界需严格配置,否则可能越权
| Agent | 注册为Tool名 | 调用方式 | 信任层级 | 跳数 | 操作 |
|---|---|---|---|---|---|
| investigate_aml | Python·本地 | L1 直接信任 | 1跳 | ||
| assess_credit | Python·本地 | L1 直接信任 | 1跳 | ||
| check_compliance | Go·A2A | L2 间接信任 | 2跳 |
自动注入,无需手动挂载。
任务分解→委派→汇聚→判断
Python · 本地调用
Go · A2A桥接
Java · A2A桥接
| 工具 | 功能 | 安全级别 | 执行环境 | 说明 | 来源 |
|---|---|---|---|---|---|
| get_current_time | 获取当前时间 | standard | 本地函数 | ISO8601时间戳 | 内置 |
| calculator | 数学计算 | standard | 本地函数 | 基础运算、百分比、日期计算 | 内置 |
| file_reader | 文件读取 | restricted | 沙箱自托管沙箱 | CSV/PDF/Excel/图片,脱敏后返回 | |
| code_sandbox | 代码执行 | restricted | 沙箱自托管沙箱 | Python/Shell,deny-all egress | |
| kb_search | 知识库检索 | standard | RAGFlowRAGFlow | 自动检索已挂载KB,4通道+重排+Guard | |
| format_output | 格式化输出 | standard | 本地函数 | 表格/列表/Markdown | 内置 |
| chart_generator | 图表生成 | standard | 沙箱自托管沙箱 | ECharts/Matplotlib图表 |
kb_search: 自动关联已挂载KB,Guard三层校验后才注入上下文
| 层 | 规则 | 执行 | 触发 |
|---|---|---|---|
| Constitution | deny-all egress | hard 阻断 | 所有沙箱出站 |
| Constitution | 特权操作必须HITL | hard 阻断 | 写入/删除类工具 |
| Guidance | 运营域不可访问对公域数据 | hard 阻断 | 跨域工具调用 |
| Guidance | confidential数据需审计 | soft 告警 | 访问机密级数据 |
| Context | 相关性>0.7才注入 | soft 过滤 | 知识检索结果 |
| Context | PII检测后脱敏 | hard 阻断 | 所有外部数据 |
知识库管理 RAGFlow + Milvus + MinIO
知识库创建、文档摄入、FAQ管理、版本控制、多模态支持
| 知识库 | 类型 | 业务域 | 数据分级 | 文档数 | chunk数 | 支持格式 | 召回率 | 版本 | 状态 | 操作 |
|---|---|---|---|---|---|---|---|---|---|---|
| 反洗钱案例库 | 案例库 | 风控 | D3 受限 | 324 | 1,240 | PDF,Word,Excel | 85% | v3.2 | active | |
| 监管规则库 | 制度库 | 风控 | D3 受限 | 156 | 856 | PDF,Word | 82% | v2.1 | active | |
| 运维知识库 | 技术文档 | 运营 | D2 内部 | 210 | 980 | PDF,Wiki,Markdown | 78% | v1.5 | active | |
| 客服FAQ库 | FAQ | 零售 | D2 内部 | — | 2,400 | FAQ对,Excel | 92% | v4.0 | active | |
| 产品手册库 | 多模态 | 零售 | D1 公开 | 45 | 320 | PDF,图片,表格 | 76% | v1.0 | building |
| 标注维度 | 标签集 | 用途 |
|---|---|---|
| 风险等级 | 高危中危低危 | 相似案例风险预估 |
| 行业类型 | 房地产/制造业/贸易/金融 | 行业特征匹配 |
| 处置结果 | 处罚/警示/合规/正常 | 处置方案推荐 |
| 案例来源 | 行内/监管/法院/行业 | 可信度权重 |
| 问题 | 答案 | 来源 | 命中 | 准确率 |
|---|---|---|---|---|
| 信用卡年费怎么减免? | 消费满6次免次年年费... | 人工 | 1,247 | 96% |
| 贷款利率是多少? | 根据LPR浮动... | AI生成 | 832 | 88% |
| 如何开通手机银行? | 下载APP→注册→绑定... | 人工 | 2,100 | 94% |
FAQ检索: 问题向量化→用户query语义匹配→Cross-Encoder精排→直接返回答案(不需LLM,延迟<50ms)
变更同步: 行内文档管理更新→自动触发摄入→T+1入库·监管文件外网爬取→安全评审→脱敏导入→T+3入库
版本对比: kb_version_diff工具自动对比差异
观测中心 LangFuse + Phoenix + OTel
全链路可观测: 调用量、工具轮数、检索命中、Token消耗
| 智能体 | 日调用 | 成功率 | avg工具轮数 | avg检索命中 | avg Token | avg延迟 | 人工介入 | 操作 |
|---|---|---|---|---|---|---|---|---|
| 423 | 96.2% | 4.1 | 82% | 12,500 | 8.3s | 12% | ||
| 2,100 | 93.6% | 2.3 | 92% | 5,200 | 4.7s | 18% | ||
| 187 | 91.5% | 5.8 | 78% | 28,000 | 15.7s | 28% | ||
| 361 | 93.6% | 3.2 | — | 8,700 | 6.4s | 18% |
跨语言Trace: OTel(Python/Go/Java)→OTel Collector→LangFuse(全量)→Phoenix(采样评估)
| 规则名 | 监控指标 | 阈值 | 持续时间 | 通知渠道 | 触发动作 | 关联Agent | 状态 | 操作 |
|---|---|---|---|---|---|---|---|---|
| P99延迟飙升 | P99延迟 | >3s | 持续5min | 飞书+短信 | 触发运维故障定位Agent | 生效 | ||
| 成功率下降 | 成功率 | <90% | 持续10min | 飞书 | 熔断+切Fallback模型 | 生效 | ||
| Token预算超80% | 域Token消耗/域预算 | >80% | 实时 | 飞书+邮件 | 告警+限流降级 | 生效 | ||
| 可疑交易标记 | AML-Agent风险评分 | >70分 | 即时 | 飞书+短信 | 触发HITL L3审批 | 生效 | ||
| 三层治理 Constitution拦截 | 三层治理拦截次数 | >0(任何拦截) | 即时 | 飞书+安全中心 | 记录审计+通知安全官 | 生效 |
评测 & BadCase Phoenix + LLM-as-Judge
评测数据集、BadCase归因、回归测试、发布门禁
| ID | 场景 | 输入 | 预期 | 评分 | 难度 |
|---|---|---|---|---|---|
| G01 | 故障定位 | Redis集群告警... | 根因=配置变更,处置=回滚 | rubric | ★★★ |
| G02 | 信贷审批 | 企业贷款申请... | 风险等级=中,建议额度... | rubric | ★★★★ |
| G03 | FAQ | 信用卡年费怎么减免? | 消费满6次免次年年费 | exact_match | ★ |
Phoenix角色: 从LangFuse导入采样数据做RAG检索质量分析、LLM输出质量、幻觉检测、实验对比
| ID | 智能体 | 错误类型 | 描述 | 根因归因 | 修复 | 操作 |
|---|---|---|---|---|---|---|
| BC-042 | 工具选择错误 | 根因分析应调用log-search但选了db-query | 1.LLM置信度仅0.65(低) 2.log-search描述不清 3.Guard未拦截 | 修复中 | ||
| BC-038 | 幻觉 | 声称"信用卡免年费"但政策已变更 | 1.FAQ库v3.8未更新 2.检索命中旧版本(deprecated未过滤) | 已修复 | ||
| BC-015 | 越权 | 访问了对公域客户数据 | 1.权限Guard遗漏 2.ACL规则未覆盖跨域 | 已修复 |
| 触发事件 | 触发范围 | 回归集 | 门禁级别 | 阻断条件 | 状态 |
|---|---|---|---|---|---|
| KB版本更新 | 关联此KB的所有Agent | Golden Set | L1 功能回归 | 通过率<90%阻断发布 | 生效 |
| Agent配置变更 | 变更的Agent | Golden + Regression | L2 质量+安全 | BadCase率>5%阻断 | 生效 |
| MCP权限变更 | 使用此MCP的Agent | Golden Set | L1 功能回归 | 核心场景失败阻断 | 生效 |
| 模型路由切换 | 使用此模型的Agent | Golden + Regression | L2 质量+安全 | 成功率降幅>3%阻断 | 生效 |
| 门禁级别 | 通过标准 | 执行频率 | 阻断条件 |
|---|---|---|---|
| L1 功能回归 | Golden Set通过率≥90% | 每次发布前 | 核心场景失败→阻断发布 |
| L2 质量+安全 | Golden≥95% + Regression≥90% + 安全对抗0失败 | 每周+发布前 | BadCase率>5%→阻断 |
| L3 人工评审 | 业务专家评审10%样本 | 每月 | 评审不合格→阻断 |
企业治理 三层治理 + eBPF + WORM
多租户隔离、数据分级、分布式部署、审计日志、RBAC
2,100任务/日
资源配额:30%GPU
Milvus collection:retail_物理隔离
187任务/日
资源配额:25%GPU
Milvus collection:corp_物理隔离
312任务/日
资源配额:35%GPU
Milvus collection:risk_物理隔离
423任务/日
资源配额:10%GPU
Milvus collection:ops_物理隔离
跨域协作: 通过"数据服务API"走正式跨域数据共享流程,有审批有审计
| 时间 | 操作者 | 操作 | 结果 | Guard层 | 完整性hash |
|---|---|---|---|---|---|
| 10:32 | 信贷审批Agent | query_customer_profile | 阻断 | Constitution | sha256:a3f2... |
| 09:15 | 运维故障Agent | log-search调用 | 通过 | — | sha256:b7c1... |
| 08:47 | 智能客服Agent | kb-search检索 | 通过 | Context | sha256:d4e5... |
3× 经典运行时 Pod (Phase1-2)
3× LangGraphNative Pod (Phase3+)
6× Redis Cluster
PG HA主从
Kafka 3 Broker
Qwen3-72B FP8 + DeepSeek-R1-14B INT4
+ bge-large + bge-reranker
vLLM统一推理vLLM PagedAttention
PVM模式·单节点1000+密度
热池50-100预启动
eBPF deny-all egress自托管沙箱
| 特性 | 全局状态 | 灰度范围 | 依赖条件 | 操作 |
|---|---|---|---|---|
| 多Agent编排(A2A) | 已上线 | 100% | Agent Center + MCP 网关 | |
| DeepSeek-R1推理模式 | 灰度 | 5% | 模型路由中心 | |
| KG检索通道 | 开发中 | 0% | RAGFlow + Neo4j | |
| 自动回归测试 | 已上线 | 80% | 评测中心 | |
| PII自动脱敏 | 已上线 | 100% | 安全合规中心 |
调度中心 Cron + Pod Pool + HPA
Cron调度、事件触发、定时任务管理 · Pod Pool 状态见 运行态监控
| 任务名 | Cron表达式 | 关联智能体 | 触发条件 | 重试策略 | 最近执行 | 状态 | 操作 |
|---|---|---|---|---|---|---|---|
| 每日风险报告生成 | 0 8 * * * | 定时 | 3次重试·间隔5min | 2026-07-10 08:00 ✓ | active | ||
| 每周知识库更新检查 | 0 9 * * 1 | 定时 | 2次重试 | 2026-07-07 09:00 ✓ | active | ||
| 每月监管报送 | 0 10 1 * * | 定时+HITL L4 | 人工审批后重试 | 2026-06-01 10:00 ✓ | active | ||
| 告警触发故障定位 | — | Prometheus告警→事件 | 3次·间隔10min | 2026-07-10 09:32 ✓ | event |
幂等保护: 每次执行带idempotency_key,防止重复触发 · 超时自动终止 · 失败进死信队列
场景模板市场 一键场景 · 组合编排
预置场景一键部署,Agent+Skill+KB+MCP组合模板
| 场景名称 | 业务域 | 组件组合 | 复杂度 | 部署次数 | SLA | 状态 | 操作 |
|---|---|---|---|---|---|---|---|
| 反洗钱调查助手 | 风控 | AML-Agent + 反洗钱KB + aml-investigate MCP + 合规审查Skill | 复杂 | 4 | 99.5% | 已上线 | |
| 智能客服 | 零售 | CS-Agent + 客服FAQ KB + email-sender MCP + 话术推荐Skill | 中等 | 6 | 99.2% | 已上线 | |
| 供应链预警 | 供应链 | Supply-Agent + supply-chain-tracker MCP + 风险评估Skill + 运维KB | 中等 | 2 | 99.0% | 灰度 | |
| 投研分析助手 | 金融投研 | Invest-Agent + realtime-stock MCP + 投研KB + 数据分析Skill + chart_generator | 复杂 | 3 | 98.8% | 已上线 | |
| 运维巡检助手 | 运营 | Ops-Agent + 运维KB + Prometheus告警事件 + 诊断Skill | 简单 | 5 | 99.8% | 已上线 | |
| 监管报送 | 合规 | Report-Agent + 监管规则KB + 文件生成Skill + HITL审批 | 中等 | 1 | 100% | 测试中 | |
| 信贷审批辅助 | 对公 | Credit-Agent + 信贷KB + credit-evaluate MCP + 审批流Skill + HITL L4 | 复杂 | 2 | 91.5% | 已上线 |
反洗钱调查助手
AML交易调查全流程 · Supervisor多Agent协作 · 合规审查闭环
Supervisor · LangGraph+ADK
RAGFlow · 语义+KG · 5,200条案例
RAGFlow · 关键词0.4 · 380条法规
三层治理 Guard · D3级 · 28条规则
query_customer_profile · 3个API
实时监控
Supervisor调度
MCP查询
KB检索
Skill判定
合规官审批
上报/结案
模型路由中心 LiteLLM + Fallback Chain
LLM选型、路由策略、Fallback链、Token预算分配、模型性能监控
| 模型 | 提供商 | 参数量 | 上下文窗口 | 单价(输入/输出) | 数据分级 | 适用场景 | 状态 |
|---|---|---|---|---|---|---|---|
| DeepSeek-V3 | DeepSeek | 685B MoE | 128K | ¥0.5/¥2/Mtoken | D2 内部 | 客服·运维·通用 | 在线 |
| Qwen3-72B | 云厂商 | 72B | 128K | ¥2/¥6/Mtoken | 内部部署 | 投研·风控·复杂推理 | 在线 |
| GPT-4o | OpenAI | — | 128K | $5/$15/Mtoken | D3 受限 | 多模态·高级推理 | 在线 |
| Qwen3-8B | 本地部署 | 8B | 32K | 免费(自有GPU) | D1 公开 | 简单问答·路由兜底 | 在线 |
| DeepSeek-R1 | DeepSeek | 685B | 128K | ¥1/¥4/Mtoken | D2 内部 | 数学推理·代码生成 | 灰度 |
| Claude-3.5 | Anthropic | — | 200K | $3/$15/Mtoken | D3 受限 | 长文分析·合规审查 | 待审批 |
| 业务域 | 主模型 | Fallback链 | 路由条件 | 熔断阈值 | 操作 |
|---|---|---|---|---|---|
| 风控 | Qwen3-72B | Qwen3-72B → DeepSeek-V3 → Qwen3-8B | 数据分级≥D2 · 含推理 | P99>3s 或 成功率<95% | |
| 智能客服 | DeepSeek-V3 | DeepSeek-V3 → Qwen3-8B | 数据分级≤D2 · 简单问答 | P99>2s 或 成功率<90% | |
| 金融投研 | Qwen3-72B | Qwen3-72B → DeepSeek-R1 → GPT-4o | 数据分级≥D2 · 含数学推理 | P99>5s 或 成功率<98% | |
| 运维巡检 | Qwen3-8B | Qwen3-8B → DeepSeek-V3 | 数据分级≤D1 · 快速响应 | P99>1s |
主模型
Fallback 1
Fallback 2 · 兜底
全部失败
| 业务域 | 月度预算 | 已消耗 | 消耗率 | 超额策略 | 主模型占比 | 操作 |
|---|---|---|---|---|---|---|
| 金融投研 | ¥50万/月 | ¥39.2万 | 78% | 降级到Qwen3-8B | Qwen3-72B 85% | |
| 智能客服 | ¥30万/月 | ¥21万 | 70% | 限流30QPM | DeepSeek-V3 90% | |
| 风控 | ¥20万/月 | ¥14.8万 | 74% | 降级+人工审批 | Qwen3-72B 80% | |
| 运维 | ¥5万/月 | ¥2.1万 | 42% | 不限(本地模型) | Qwen3-8B 95% |
| 模型 | 调用量(今日) | P50延迟 | P99延迟 | 成功率 | Token/调用 | 熔断状态 |
|---|---|---|---|---|---|---|
| Qwen3-72B | 1,240 | 0.8s | 2.1s | 97.8% | 2,400 | 正常 |
| DeepSeek-V3 | 8,420 | 0.6s | 1.8s | 94.2% | 1,800 | 正常 |
| GPT-4o | 320 | 1.2s | 4.2s | 88.3% | 3,200 | 观察中 |
| Qwen3-8B | 12,400 | 0.3s | 0.8s | 99.6% | 600 | 正常 |
成本预算管理 成本归属 · 精确核算
按域/租户/Agent/模型多维度成本核算、预算分配、超额熔断
| 业务域 | 模型成本 | 存储成本 | 计算成本 | 总成本 | 预算 | 消耗率 | 超额策略 | 趋势 |
|---|---|---|---|---|---|---|---|---|
| 金融投研 | ¥35.2万 | ¥2.4万 | ¥1.6万 | ¥39.2万 | ¥50万 | 降级Qwen3-8B | ↑ 稳 | |
| 智能客服 | ¥18.5万 | ¥1.2万 | ¥1.3万 | ¥21万 | ¥30万 | 限流30QPM | ↑ 稳 | |
| 风控 | ¥13.2万 | ¥0.8万 | ¥0.8万 | ¥14.8万 | ¥20万 | 降级+审批 | ↑ 快 | |
| 运维 | ¥0(本地) | ¥0.6万 | ¥1.5万 | ¥2.1万 | ¥5万 | 不限 | ↓ 降 |
| Agent | 本月调用 | 平均Token/调用 | 模型成本 | 占比 | 优化建议 | 操作 |
|---|---|---|---|---|---|---|
| 1,240 | 3,200 | ¥18.7万 | 24.3% | 短问答切Qwen3-8B省¥12万/月 | ||
| 856 | 2,400 | ¥6.8万 | 8.8% | 推理步骤可缓存减少重复调用 | ||
| 12,400 | 800 | ¥14.9万 | 19.4% | 直接命中免LLM省¥8万/月 | ||
| 3,200 | 400 | ¥0(本地) | 0% | 已使用本地模型,无外部成本 | ||
| 420 | 1,600 | ¥4.2万 | 5.5% | 监控类可用轻量模型 |
安全合规中心 三层治理 Guard + PII Masking + Audit
内容安全过滤、PII脱敏、审计日志检索、合规报告、数据分级管控
| 层级 | 规则名 | 作用域 | 触发动作 | 命中次数(今日) | 状态 |
|---|---|---|---|---|---|
| Constitution | 禁止泄露客户身份信息 | 全局 | 阻断 + 告警安全中心 | 3 | 生效 |
| Constitution | 禁止输出未授权投资建议 | 全局 | 阻断 + HITL审批 | 1 | 生效 |
| Guidance | 风控域回答必须引用监管条文 | 风控域 | 重写 + 加引用标注 | 8 | 生效 |
| Guidance | 客服域回答必须带免责声明 | 客服域 | 追加免责声明 | 12 | 生效 |
| Context | 投研域回答限制在最近30天数据 | 投研域 | 截断 + 提示时效 | 5 | 生效 |
| 时间 | Agent | 触发规则 | 用户输入摘要 | 拦截动作 | 处理人 | 操作 |
|---|---|---|---|---|---|---|
| 10:23 | Constitution: 禁止泄露客户身份 | "请告诉我张三的贷款金额" | 阻断 | 系统自动 | ||
| 09:47 | Guidance: 投资建议需合规审查 | "推荐我买XX股票" | 重写+审批 | 合规官张XX | ||
| 08:15 | Context: 免责声明追加 | "这个利率是多少" | 追加免责 | 系统自动 |
| PII类型 | 检测方法 | 脱敏策略 | 适用数据分级 | 示例 | 状态 |
|---|---|---|---|---|---|
| 客户姓名 | NER(Presidio) + 姓名库 | 替换为"客户XXX" | D2及以上 | 张三 → 客户A001 | 生效 |
| 身份证号 | 正则(18位) + 校验 | 保留前3后1,中间掩码 | D3及以上 | 310***\*\*\*\***1 | 生效 |
| 银行卡号 | 正则(16-19位) | 全部掩码 | D3及以上 | \*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\* | 生效 |
| 手机号 | 正则(11位) | 保留前3后4 | D2及以上 | 138\*\*\*\*5678 | 生效 |
| 金额 | NER + 金额模式 | 范围化(区间替代精确值) | D3及以上 | ¥5.2万 → ¥5-6万区间 | 生效 |
Presidio+NER
按分级策略
| 时间 | 操作 | 主体 | 对象 | 数据分级 | 结果 | SHA-256 | 合规 |
|---|---|---|---|---|---|---|---|
| 2026-07-10 10:23:01 | 三层治理拦截 | AML-Agent | 客户身份查询 | D3 | 阻断 | a3f2...8b1c | ✓ |
| 2026-07-10 09:47:15 | LLM调用 | 投研分析 | Qwen3-72B | D2 | 成功 | 7d1e...4a9f | ✓ |
| 2026-07-10 08:15:22 | PII脱敏 | 智能客服 | 手机号138****5678 | D2 | 脱敏成功 | e5b3...2c7d | ✓ |
| 报告类型 | 周期 | 覆盖范围 | 生成时间 | 合规率 | 关键发现 | 状态 |
|---|---|---|---|---|---|---|
| 月度合规审查 | 2026年7月 | 全部Agent+全部场景 | 2026-07-01 | 98.6% | 3次Constitution拦截均合规处理 | 已生成 |
| PII脱敏审计 | 2026年7月 | 全部PII检测记录 | 2026-07-01 | 100% | 所有D3级数据均已脱敏 | 已生成 |
| 季度安全评估 | 2026 Q2 | 安全事件+权限变更+数据跨境 | 2026-04-01 | 99.2% | 无数据泄露事件 · 无跨境违规 | 已生成 |
用户权限中心 RBAC · LDAP/OAuth · 数据分级绑定
角色管理、权限矩阵、团队管理、认证对接、API密钥
| 角色 | 数据分级权限 | 用户数 | |||||
|---|---|---|---|---|---|---|---|
| 平台管理员 | D1-D4 全量 | 创建/编辑/删除/发布 | 注册/审核/授权 | 创建/管理/删除 | 配置/执行/审批 | 查看/导出/配置 | 3 |
| 业务开发 | D1-D3(按域限制) | 创建/编辑(本域) | 申请使用 | 创建(本域)/查询 | 执行(本域) | 查看(本域) | 18 |
| 运维监控 | D1-D2 | 查看/配置(非编辑) | 查看状态 | 查看/更新数据 | 执行/查看结果 | 查看+告警 | 5 |
| 审计查看 | D1(只读) | 只读 | 只读 | 只读 | 只读 | 全量查看/导出 | 2 |
| 团队/租户 | 业务域 | 成员数 | Agent数 | 数据分级范围 | 月度预算 | 隔离策略 | 操作 |
|---|---|---|---|---|---|---|---|
| 风控团队 | 风控 | 6 | D1-D3 | ¥20万 | Milvus collection风控_ · PG schema risk_ · MinIO bucket risk | ||
| 零售银行 | 零售 | 12 | D1-D2 | ¥30万 | Milvus collection retail_ · PG schema retail_ · MinIO bucket retail | ||
| 金融投研 | 金融投研 | 8 | D1-D3 | ¥50万 | Milvus collection invest_ · PG schema invest_ · MinIO bucket invest | ||
| 运营中心 | 运营 | 4 | D1-D2 | ¥5万 | Milvus collection ops_ · PG schema ops_ · MinIO bucket ops |
| 密钥名 | 关联角色 | 关联团队 | 数据分级范围 | 创建时间 | 过期时间 | 调用次数(本月) | 状态 | 操作 |
|---|---|---|---|---|---|---|---|---|
| risk-api-key | 业务开发 | 风控团队 | D1-D3 | 2026-03-01 | 2026-09-01 | 1,240 | active | |
| ops-monitor-key | 运维监控 | 运营中心 | D1-D2 | 2026-05-01 | 2027-05-01 | 3,200 | active |
📋 审批工作台 HITL · Human L1/L2/L3 角色体系
审批员核心操作界面:待审批任务、AI推理过程查看、审批决策记录 · Human是Agent Team一等成员
| 紧急度 | 审批类型 | Agent/Skill | 审批人角色 | 触发事由 | AI建议 | 等待时间 | 操作 | |
|---|---|---|---|---|---|---|---|---|
| 紧急 | HITL L3 · 合规审批 | L1 Admin 张明远 | 风控 | 反洗钱调查完成 · 需合规官确认调查结论 | 建议通过 AI置信度0.92 | 1h 23min | ||
| 一般 | HITL L3 · 根因确认 | L2 Team 李运维 | 运营 | 根因分析完成 · 等待运维工程师确认处置方案 | 建议通过 AI置信度0.85 | 3h 10min | ||
| 一般 | HITL L4 · 双人复核 | L3 Worker 王合规 + 赵风控 | 合规 | 月度监管报送数据 · 需合规官+风险官双人复核 | 需人工判断 | 5h 42min |
超时机制: L3级4h未审批→升级到上级 → L4级24h→升级到合规总监
审批后动作: 通过→自动执行后续步骤+审计记录 · 驳回→Agent重新分析+告警 · 补充→Agent补充后重新提交
| 时间 | 审批类型 | Agent | 业务域 | AI建议 | 审批决策 | 审批意见 | 审批耗时 | SHA-256 |
|---|---|---|---|---|---|---|---|---|
| 10:45 | HITL L3 | AML-Agent | 风控 | 建议通过 | ✓ 通过 | 可疑交易特征确认,同意上报 | 8min | a3f2...8b1c |
| 09:30 | HITL L2 | 运维故障定位 | 运营 | 建议通过 | ✓ 确认 | 根因确认,同意回滚 | 2min | 7d1e...4a9f |
| 08:20 | HITL L3 | 投研分析 | 金融投研 | 需判断 | ✕ 驳回 | 投资建议需合规审查后再发 | 15min | e5b3...2c7d |
| 07:10 | HITL L4 | 监管报送 | 合规 | 建议通过 | ✓ 双人复核通过 | 数据准确,同意报送 | 22min | f1a8...6d3e |
| 场景 | 数据分级 | HITL级别 | 触发条件 | 审批人 | 超时策略 | 状态 | 操作 |
|---|---|---|---|---|---|---|---|
| 反洗钱调查 | D3 | L3 审批型 | 调查结论生成后·风险评分>70 | 合规官 | 4h→升级合规总监 | 生效 | |
| 信贷审批 | D3 | L4 双人复核 | 审批额度>500万 | 信贷经理+风险经理 | 24h→升级分管行长 | 生效 | |
| 运维处置 | D2 | L2 确认型 | 处置方案生成后·影响>10用户 | 运维工程师 | 2h→自动通过+告警 | 生效 | |
| 监管报送 | D3 | L4 双人复核 | 报送数据生成后 | 合规官+风险官 | 24h→升级合规总监 | 生效 | |
| 投资建议 | D2 | L3 审批型 | 涉及具体投资标的推荐 | 合规官 | 4h→自动驳回 | 生效 |
数据飞轮 Pipeline + Dataset + Experience
Trace→Pipeline→Dataset→评估→优化 全自动化闭环 · 数据资产管理见 数据资产管理
| 飞轮路径 | 触发源 | 改善目标 | 本月流转数 | 验证通过率 | 平均周期 | 效果指标 |
|---|---|---|---|---|---|---|
| Agent→观测→评测→KB | Agent调用Trace | 知识补缺入库 | 18 | 89% | 1.5天 | |
| Agent→观测→评测→Skill | 成功率下降 | Skill逻辑修复 | 5 | 80% | 2.8天 | |
| Agent→观测→评测→模型 | P99延迟超标 | 模型路由调整 | 3 | 100% | 0.5天 | |
| 评测→审批→策略 | HITL驳回决策 | Guard规则更新 | 7 | 86% | 3天 | |
| Skill→Agent | Skill灰度完成 | Agent配置自动更新 | 2 | 100% | 1天 | |
| 观测→成本→模型 | 成本超80% | 模型降级/限流 | 4 | 75% | 0.3天 |
| 回流路径 | 数据来源 | 数据类型 | 本周流转 | 本月累计 | 处理延迟 | 成功率 | 效果度量 | 操作 |
|---|---|---|---|---|---|---|---|---|
| 评测 → 知识库 | 知识缺失案例 + 检索失败query | 18条 | 67条 | 1.5天 | 89% | KB召回率 ↑13% (72%→85%) | ||
| 评测 → Skill | 逻辑缺陷 + 灰度指标异常 | 5条 | 19条 | 2.8天 | 80% | 成功率 ↑2% (88%→95.3%) | ||
| 评测 → 模型路由 | 延迟超标 + 模型不适配案例 | 3条 | 11条 | 0.5天 | 100% | 成本 ↓12% · P99 ↓1.2s | ||
| 审批 → Guard规则 | 人工纠正决策 + 风险评分修正 | 7条 | 28条 | 3天 | 86% | 三层治理拦截率 ↑5% | ||
| Skill → Agent配置 | Skill版本升级通知 + 配置变更 | 2条 | 8条 | 1天 | 100% | 零中断升级 | ||
| 成本 → 模型降级 | Token成本数据 + QPM限流事件 | 4条 | 15条 | 0.3天 | 75% | 月成本 ↓8% |
| 规则名称 | 触发条件 | 触发阈值 | 改善动作 | 改善目标模块 | 验证方式 | 状态 | 操作 |
|---|---|---|---|---|---|---|---|
| BadCase→KB自补缺 | 评测BadCase标记为"知识缺失" | ≥3条同类BadCase | 自动生成KB补充任务 → 人工复核 | 自动回归测试 + 召回率对比 | 启用 | ||
| 成功率下降→Skill灰度暂停 | Skill成功率连续3天下降 | 下降≥5% 或 低于90% | 暂停灰度发布 + 触发Skill诊断 | 灰度组vs基线组成功率对比 | 启用 | ||
| P99延迟→模型路由调整 | Agent P99延迟超过阈值 | P99 > 3s 连续2小时 | 自动调整模型路由(降级到更快模型) | 延迟指标恢复 + 成本影响评估 | 启用 | ||
| 成本超限→模型降级限流 | 月Token成本达到预算80% | 月成本 ≥ 80%预算 | FAQ/简单场景路由到免费模型 + QPM限流 | 成本趋势 + 服务质量SLA监控 | 启用 | ||
| HITL驳回→Guard规则更新 | HITL审批驳回率异常上升 | 驳回率 > 10% 或 单场景>15% | 触发Guard规则诊断 + 阈值调整建议 | 驳回率下降 + 拦截率提升 | 需审批 | ||
| 灰度完成→Agent自动更新 | Skill灰度达到100%全量 | 灰度比例 = 100% 且 指标达标 | 自动更新关联Agent的Skill版本配置 | Agent成功率无下降(回滚保护) | 启用 |
Prompt 工程中心 Prompt = AI的源代码
Prompt版本管理、A/B测试、效果追踪、模板市场 —— Prompt生命周期工程化
| 指标 | v1 (归档) | v2 (灰度) | v3 (生产) | 变更因果 |
|---|---|---|---|---|
| 成功率 | 91.5% | 93.8% | 96.2% | +不确定标注→减少盲目断言 |
| 幻觉率 | 7.8% | 4.2% | 1.6% | +数值校验指令→数值幻觉↓5.2% |
| 平均轮次 | 4.1 | 3.8 | 3.2 | +证据点要求→减少低质量调用 |
| 人工介入率 | 28% | 22% | 16% | 结论更明确→HITL↓ |
| 指标 | 值 |
|---|---|
| 成功率 | 96.2% |
| 幻觉率 | 1.6% |
| 数值偏差 | 0.3% |
| 样本量 | 338次 |
| 指标 | 值 | vs A |
|---|---|---|
| 成功率 | 97.8% | ↑1.6% |
| 幻觉率 | 0.8% | ↓0.8% |
| 数值偏差 | 0.05% | ↓0.25% |
| 样本量 | 85次 | — |
| 模板名称 | 业务域 | 适用Agent类型 | 关键指令 | 引用次数 | 平均效果 | 操作 |
|---|---|---|---|---|---|---|
| 金融数值校验Prompt | 跨域 | Supervisor / Autonomous | 数值二次校验+偏差标注+来源引用 | 14 | 幻觉↓82% | |
| 反洗钱调查Prompt | 风控 | Supervisor | 可疑模式识别+证据链+HITL决策 | 8 | 成功率96.2% | |
| 信贷风险评估Prompt | 对公 | Supervisor | 风险评分+阈值路由+双人复核 | 6 | 成功率91.5% | |
| 不确定结论标注Prompt | 跨域 | 所有类型 | 强制标注[不确定]+置信度+替代方案 | 22 | 盲目断言↓67% |
| 变更事件 | 变更内容 | 评测结果 | 生产效果(7天) | 业务方反馈 | 因果判定 |
|---|---|---|---|---|---|
| v1→v2 | +不确定结论标注 | 幻觉率7.8%→4.2% | 幻觉率↓3.6% | "结论可信度提升" | ✓ 确认因果 |
| v2→v3 | +数值二次校验+证据点最低3个 | 幻觉率4.2%→1.6% | 数值偏差↓0.25% | "数值终于准确了" | ✓ 确认因果 |
| 实验#12 | +金融数值专校验 | 数值偏差0.3%→0.05% | 进行中(Day3) | 待收集 | ⏳ 实验中 |
合规审计追溯中心 AI决策可解释性追溯
"Agent为什么做出这个推荐?"——推理链路溯源、三层治理过滤日志、数据分级追踪、合规报告
合规官审批
| 证据点 | 来源 | 引用详情 | 贡献权重 |
|---|---|---|---|
| 短期内多笔大额同受益人 | KB §3.1 | 3天3笔→同一受益人,820万 | 0.35 |
| 3个相似案例命中 | KB 反洗钱案例库 | #47(0.87), #112(0.82), #203(0.75) | 0.25 |
| 贸易公司法人关联异常 | KB §5.2 | 法人关联3个异常账户 | 0.22 |
| 交易链路异常模式 | MCP analyze_transaction_chain | 资金流向集中、时间压缩、金额递增 | 0.18 |
| 时间 | Agent | 过滤层 | 原始输出 | 过滤结果 | 拦截/标注 |
|---|---|---|---|---|---|
| 14:32:18 | AML-Agent | 合规红线 | 命中§3.1+§5.2 | 通过(标注) | 2条红线命中,标注但未拦截 |
| 14:32:18 | AML-Agent | PII脱敏 | 客户姓名: 张XX | 通过(脱敏) | 姓名→[已脱敏],身份证→[已脱敏] |
| 14:32:18 | AML-Agent | 事实校验 | 金额820万 | 通过(一致) | 源数据核对: 820万 ✓ |
| 14:28:03 | Credit-Agent | 合规红线 | 建议利率4.5% | 拦截! | §2.3利率低于最低标准4.8% |
D3
PII脱敏 ✓
D3→D2(脱敏后)
| 时间 | 违规描述 | 处置 |
|---|---|---|
| 01-14 | D3 KB数据被D1级Agent(临时数据分析)引用 | 已阻断 + 告警 |
| 01-12 | CS-Agent(零售D2)调用aml-investigate MCP(风控D3) → 跨域越权 | 已阻断 + MCP网关拒绝 |
| 数据项 | 来源 | 当前值 | 合规标准 |
|---|---|---|---|
| AI决策可追溯率 | 审计追溯中心 | 100% | ≥99% |
| HITL覆盖率 | 审批工作台 | 98.2% | ≥95% |
| 三层治理过滤覆盖率 | 三层治理日志 | 100% | 100% |
| 数据分级违规次数 | 数据分级追踪 | 2次/7天 | 0次/月(目标) |
| PII泄露事件 | PII脱敏日志 | 0 | 0(红线) |
评测基准 & 数据集管理 AI评测的生命线
场景化评测数据集、版本管理、自动回归评测、对抗性测试、业务方反馈回流
| 数据集 | 业务域 | 题目数 | 版本 | 覆盖场景 | 上次评测 | 操作 |
|---|---|---|---|---|---|---|
| 反洗钱调查基准 | 风控 | 100题 | v3.1 | 画像/交易/模式/风险 | 01-15 96.2% | |
| 信贷审批基准 | 对公 | 80题 | v2.0 | 风险评估/阈值/审批/HITL | 01-13 91.5% | |
| 智能客服对话基准 | 零售 | 50题 | v1.5 | FAQ/情绪/话术/满意度 | 01-14 93.6% | |
| 金融数值校验基准 | 跨域 | 60题 | v1.0 | 金额/利率/日期精度 | 01-16 99.2% |
| 触发事件 | 数据集 | 评测结果 | vs上次 | 门禁 | 操作 |
|---|---|---|---|---|---|
| Prompt v2→v3 | 反洗钱100题 | 96.2% | ↑2.4% | ✓ 通过 | |
| Skill v1.2→v1.3 | 信贷80题 | 91.5% | 持平 | ⚠ 灰度观察 | |
| KB反洗钱v3.1→v3.2 | 反洗钱100题 | 96.4% | ↑0.2% | ✓ 通过 |
| 门禁项 | 阈值 | 说明 |
|---|---|---|
| 成功率vs上次 | ≥持平 | 不允许成功率下降 |
| 幻觉率vs上次 | ≤持平 | 不允许幻觉率上升 |
| 新增BadCase | ≤3个 | 严重BadCase不超过3个 |
| D3级场景 | 强制HITL审批 | 风控/合规必须人工审批 |
| 对抗类型 | 测试集规模 | 防御机制 | 通过率 |
|---|---|---|---|
| Prompt注入 | 150题 | 三层治理指令检测+角色边界 | 98.7% |
| 越狱攻击 | 80题 | 三层治理安全边界+话题约束 | 97.5% |
| 数据投毒 | 50题 | KB版本管控+事实校验 | 94.0% |
| 角色冒充 | 40题 | 身份校验+MCP ACL | 99.2% |
| 信息提取 | 60题 | PII脱敏+输出过滤 | 99.8% |
| 时间 | 业务方 | 反馈类型 | 量化记录 | 回流状态 |
|---|---|---|---|---|
| 01-16 | 调查员张伟 | "风险评分偏高" | AI评分0.82 vs 人工0.65 → 偏差0.17 | ✓ 已回流 +3题 |
| 01-14 | 信贷经理王强 | "建议冻结过于激进" | AI冻结率35% vs 人工12% | ⏳ 待回流 +5题 |
幻觉检测 & 纠正 金融零容忍
事实校验、数值校验、逻辑一致性、幻觉标记 —— 金融场景对AI幻觉容忍度极低
| 时间 | Agent | 幻觉类型 | 原始输出 | 纠正 | 来源校验 |
|---|---|---|---|---|---|
| 01-16 | Credit-Agent | 数值幻觉 | 贷款金额500万 | 实际50万 → 偏差10倍 | 源数据核对不一致 → 三层治理阻断 |
| 01-14 | AML-Agent | 事实幻觉 | 引用法规"银保监2024年第8号" | 法规不存在 | KB检索未命中 → 标注[不确定] |
| 01-13 | CS-Agent | 逻辑矛盾 | 先说"建议保留"后说"建议冻结" | 自相矛盾 | 一致性检查 → 重新推理 |
| 数值类型 | 校验方法 | 容忍阈值 | 阻断阈值 | 校验数据源 |
|---|---|---|---|---|
| 金额 | 源数据二次核对 | 0.1% | 0.5%(含零偏差) | MCP: query_transaction_detail |
| 利率 | 基准利率表核对 | 0.01% | 0.1% | KB: 利率基准库 |
| 日期/期限 | 源数据时间戳核对 | 1天 | 7天 | MCP: query_contract_detail |
| 百分比 | 计算验证(A/B=C%) | 0.5% | 2% | 实时计算校验 |
| 风险评分 | 模型输出一致性 | 0.05 | 0.15 | 二次推理比对 |
"金额500万"
实际50万
>阻断阈值
+ HITL L4
| 矛盾类型 | 检测方法 | 示例 | 处置 | 频率 |
|---|---|---|---|---|
| 结论-建议矛盾 | 语义比对 | 风险低 + 建议冻结 | 阻断+重新推理 | 0.3%/周 |
| 数值-文字矛盾 | 数值提取比对 | 文字"增长" + 数值-5% | 阻断+修正 | 0.1%/周 |
| 前后文矛盾 | 上下文连贯性 | Step3"无异常" + Step5"高风险" | 标注+人工复核 | 0.4%/周 |
| 跨来源矛盾 | 多KB条目冲突 | 案例库"常见" + 规则库"红线" | 标注来源+HITL判定 | 0.2%/周 |
| 标记类型 | 标记符号 | 含义 | 校验方法 | 可信度 |
|---|---|---|---|---|
| 引用事实 | [引用] | 来自KB/MCP源数据 | 源数据核对 ✓ | 高(99%+) |
| AI推断 | [推断] | LLM基于证据推理 | 逻辑+数值校验 ✓ | 中(95%+) |
| 不确定 | [不确定] | 证据不足或矛盾 | 标注+替代方案 | 低 |
| 阻断 | [阻断] | 三层治理拦截,未输出 | 阻断+告警+HITL | 不可信 |
上下文工程 & 记忆管理 Context Engineering
Agent长期记忆管理、上下文窗口优化、会话间记忆共享与隔离、PII记忆治理
| Agent | 记忆类型 | 存储量 | 衰减策略 | PII含量 | 操作 |
|---|---|---|---|---|---|
| AML-Agent | 调查记忆 | 2,340条(12%) | 90天衰减·案例永久·临时24h | D3级32% | |
| Credit-Agent | 审批记忆 | 1,120条(6%) | 180天·审批结论永久·过程30天 | D3级45% | |
| CS-Agent | 对话记忆 | 18,400条(52%) | 7天·情绪30天·FAQ命中永久 | D2级18% | |
| Ops-Agent | 诊断记忆 | 3,200条(18%) | 30天·根因模式永久·告警7天 | D1级2% |
| 触发条件 | 压缩方法 | 效果 | 安全约束 |
|---|---|---|---|
| Token>80% | 历史对话→摘要压缩 | ↓60%token | D3级对话不压缩 |
| KB检索>top-10 | bge-reranker→top-3 | ↓70%KB token | 保留原文片段 |
| 推理链>5步 | 中间步骤→结论摘要 | ↓50%推理token | HITL决策点必须保留完整推理 |
| 场景 | 策略 | 安全约束 | 示例 |
|---|---|---|---|
| 同用户·同Agent | 共享工作记忆 | PII不跨会话·D3仅摘要 | 张伟第2次调查可看第1次画像摘要 |
| 同用户·不同Agent | 有限共享(Context Package) | 仅精炼摘要·不传递原始对话 | AML→Credit: 仅传递风险评分+证据链摘要 |
| 不同用户·同Agent | 严格隔离 | 任何记忆不跨用户·审计独立 | 张伟的调查记忆 ≠ 李芳的调查记忆 |
| 跨业务域 | 禁止共享 | 风控→零售禁止 | AML记忆不能被CS-Agent访问 |
| 团队级共享 | 审批后共享 | 需HITL L2·仅共享结论不含PII | 调查团队共享AML案例模式(不含客户信息) |
| 治理规则 | 适用范围 | 执行策略 | 审计要求 |
|---|---|---|---|
| PII过期删除 | 所有含PII记忆 | 姓名/身份证: 24h强制删除 · 账号: 7天 · 金额: 30天 | 删除操作记录WORM审计 |
| D3跨租户阻断 | D3级所有记忆 | 不允许跨部门传播·仅精炼摘要模式 | 跨域访问→实时告警+阻断 |
| 记忆版本管理 | 长期记忆(永久类) | 案例/红线: 版本管控·不可删除只可归档 | 变更记录版本号+变更人+审批人 |
| 容量上限 | 每个Agent | 长期≤10%·工作≤50%·临时≤40% | 超限自动触发衰减+清理 |
| 季度合规审查 | 所有Agent记忆 | 每季度审查: PII残留/D3越权/僵尸记忆 | 审查报告归档银保监合规 |
运行态监控 Pod Pool + HPA + gRPC
Manager/Executor Pod 实时状态、Dispatcher 队列、HPA 扩缩容事件
| Pod ID | 状态 | 会话数 | CPU | Memory | 启动时间 |
|---|---|---|---|---|---|
| mgr-pod-3a2f | Warm | 12 | 45% | 3.2G | 08:15 |
| mgr-pod-7b1e | Warm | 8 | 38% | 2.8G | 08:15 |
| mgr-pod-9c4d | Hot | 0 | 5% | 1.2G | 07:45 |
| mgr-pod-2f8a | Cold | 0 | 2% | 0.8G | 06:00 |
| Pod ID | 类型 | 状态 | Session | 当前 Step | CPU | GPU |
|---|---|---|---|---|---|---|
| exec-r-01 | Research | Warm | sess_8a3f | Step 3/5: llm_call | 62% | — |
| exec-r-02 | Research | Warm | sess_8a3f | Step 2/4: mcp_tool | 35% | — |
| exec-a-01 | Analysis | Warm | sess_7b2c | Step 4/6: llm_call | 78% | 45% |
| exec-c-01 | Code | Idle | — | — | 3% | — |
| exec-r-03 | Research | Cold | — | — | 1% | — |
| 时间 | Pod 类型 | 事件 | 触发条件 | 结果 |
|---|---|---|---|---|
| 09:32 | Research | 扩容 +2 | 队列深度 > 50 | ReplicaSet: 5→7 |
| 08:00 | Manager | 预热 +1 | 工作时间预热 | ReplicaSet: 3→4 |
| 22:00 (昨日) | All | 缩容 | 非工作时间 | 缩至 min |
Agent 纳管 A2A · MCP · 聊天室总线
将企业已部署的异构 Agent 无改造接入平台统一治理——Claude Code、自研Agent、开源Agent均可纳管
| Agent 名称 | 来源 | 接入协议 | 状态 | 所属 Team | 纳管时间 | 操作 |
|---|---|---|---|---|---|---|
| 信贷审批 Agent | 自研 LangGraph | A2A (gRPC) | 在线 | 信贷风控 Team | 2026-06-15 | |
| Claude Code 助手 | Anthropic | MCP Server | 在线 | 研发效能 Team | 2026-06-20 | |
| 数据分析助手 | 云厂商 | 聊天室总线 | 离线 | 数据平台 Team | 2026-07-01 | |
| 反洗钱调查 Agent | 自研 AgentScope | A2A (gRPC) | 在线 | 合规审计 Team | 2026-07-05 |
数据资产管理 Dataset + Pipeline + Experience
Golden/BadCase/OnlineSample 数据集管理、Trace Pipeline 自动化、Experience 经验库
| 名称 | 类型 | 条数 | Schema | 来源 | 更新 | 操作 |
|---|---|---|---|---|---|---|
| 信贷审批 Golden v3 | Golden | 500 | {query, context, expect, judge} | 人工标注 | 每日 | |
| 反洗钱 BadCase 集 | BadCase | 230 | {trace_id, step, violation} | Pipeline 自动 | 实时 | |
| 客服对话 在线采样 | OnlineSample | 1200 | {session, turns, sentiment} | Pipeline 采样 | 每小时 | |
| 故障诊断 实验集 | Experiment | 300 | {alert, diagnosis, steps} | 手动导入 | 手动 |
| Pipeline 名称 | 触发方式 | 处理条数 | 输出 Dataset | 状态 | 耗时 |
|---|---|---|---|---|---|
| 客服质量-每小时采样 | Cron: 0 */1 * * * | 10,000 → 300 | 客服对话 在线采样 | 成功 | 12s |
| 反洗钱 BadCase 识别 | 实时触发 | 5,000 → 200 | 反洗钱 BadCase 集 | 成功 | 8s |
| 信贷审批-周度评估 | Cron: 0 8 * * 1 | 50,000 → 500 | 信贷审批 Golden v3 | 运行中 | 45s |