主题
10 - 对标百炼与业内实践
一句话:对标一个托管平台,比的不是功能条数而是责任落点——同一条能力在托管侧由厂商兜住,在自托管侧必须有人接;本栏十二项能力里判定“同级”的过半,真正拉开差距的是那几项没人接就断链的:连接器带来的删除事件、内容合规审核、只读权限下的导出面,以及出事那一刻的止血开关。
一、对照口径
- 基准来源:百炼知识库能力面与机制细节取自 3.2 §二 / §二.5(官方文档检索于 2026-10),本栏不重新抓取,也不引用未在库内落地的百炼参数。
- 判定四态:同级(机制与参数面都在,能力可用)/降级(机制在,覆盖面或参数面少一截)/不做(显式取舍或本期不承诺)/占优(有机制理由,不是“开源更灵活”)。
- 状态与证据:涉及“能不能宣称已交付”的判断,一律回指 06 的十二组证据与归档状态,本栏不另立一套结论。
二、逐项对照
| 百炼能力 | 百炼侧机制 | 本栏落点 | 判定 | 差在哪一步可验证 |
|---|---|---|---|---|
| RAG-1 知识库管理与智能切片 | 6 种策略 + 场景推荐表,最大段 10–6000 | 01 §三(一张类型→策略→取值表) | 降级 | 策略面窄(无正则、符号分隔档);验证靠分类型抽检判据是否真能复现 |
| RAG-2 混合检索 | 双路各 1–100 TopK、相似度阈值、标签过滤、绑 1–15 库带权重 | 02 §一/§二/§四、03 §二 | 降级 | 标签与元数据过滤已列为服务端注入项,需 06 证据 1 复现;库级权重只有配置位,无产品化开关 |
| RAG-3 Rerank + Query 改写 + 多库路由 | qwen3-rerank / hybrid / vl-rerank;改写;LLM 判路由(单独计费) | 02 §三、§四 | 半同级半降级 | 文本重排与改写有开关判定流程;多模态重排一期不做;多库路由改为反向设计(见第三节) |
| RAG-4 问答 API + 引用溯源 + 防泄漏 | enable_citation / anti_leak 布尔开关 | 02 §五、03 §八、04 §二 | 占优 + 降级并存 | 引用粒度到页码坐标与版本哈希,且对已发出引用做权限复核(托管侧管不到历史引用);但 anti_leak 语义此前缺位,现按“引用不返回正文 + 分段与累计取回限量 + 导出独立授权”补,需 06 新增取回量榜验证 |
| MEM-1/2/3 记忆 | 记忆库 2.0:事实 / 画像 / 技能,全生命周期 API 与控制台观测 | 划给 3.2 记忆底座 | 范围外 | 本栏只保证知识检索不代答记忆隔离 |
| PX-1 多格式解析 → 双视图 | Parse / Extract,结果复用 7 天 | 01 §二 | 降级 | 无 Markdown/JSON 双视图输出契约,字段抽取(含 missing / conflict 语义)未纳入,改为切片级结构化文本 |
| PX-2 版面 / 表格 / 图表转表 | Document Mind 大模型版 | 01 §二(三项能力拆开) | 同级偏降级 | 表格还原可用;图表转表与公式依赖补充组件,覆盖范围需按库逐一确认,缺位直接判“需改写 / 拒收”(08) |
| PX-3 OCR 与扫描件 | Qwen-OCR | 01 §二/§四 | 同级 | 判据不是“支持 OCR”,而是错字率 + 页码回链双合格才进默认检索 |
| PX-4 音视频解析 | ParseX 音视频 | 06 §四 | 不做 | 一期不做,代价写清:会议决议、客服话术这类唯一记载处因此无解(01 §七) |
| CON-1 一次授权自动封装 MCP 工具 | 控制台授权 → 自动生成工具 → MCP 暴露 | 04 §一(只读四动作) | 有意降级 | 换取的是工具面稳定与权限可控;代价是每接一类系统要人写契约,验证看 06 证据 1 |
| CON-2 业务数据库实时查询 | DMS 数据源,数据不出库 | 08 §六 | 范围外 | 划界明确:知识库里不放实时数字,只放指标定义与口径;接法走独立受控工具 |
| CON-3 国内系统连接器矩阵 | 约 20 类开箱 | 01 §七、06 §四 | 缺口 | 不是功能缺口而是删除传播的前置:拿不到上游变更与删除事件,就只能每日全量清单比对兜底,删除可见延迟从秒级退化为一天 |
一句总结:能力条数上“几乎同级”是成立的,但同级的项靠引擎,不同级的项全靠我们自己补——补不上来的集中在解析双视图、连接器生态与内容审核这三块。
三、四项反向设计(是取舍,不是漏做)
| 托管常见做法 | 我们的做法 | 换来什么 | 付出什么 |
|---|---|---|---|
| 拨开关让模型判定查哪几个库 | 检索范围由授权与场景配置派生,客户端不可指定(02 §四) | 选错库不再同时是质量问题和安全问题 | 新域必须显式配置,漏配表现为“查不到”,靠零命中清单兜 |
| 控制台给一堆检索参数 | 参数由场景模板定,评测集校准后才调 | 参数变更可归因、可回滚 | 单点调优的灵活性下降 |
| 结果侧再过滤越权内容 | 过滤条件前置注入候选空间(07 §五) | 名额与阈值算在授权子空间内,拒答判定不被污染 | 条数可能不足,必须显式说明范围收窄 |
| 引擎自带 MCP 面直接对外 | 引擎 MCP 面只做登记,调用走 Broker 包装 | 凭证、ACL、限量、审计集中在一处 | 多一个自研服务要养 HA 与升级 |
四、真正占优的三条(各带机制理由)
- 片段级前置过滤 + 渲染时引用复核。TopK 与阈值在授权后的候选空间上计算,答案渲染前再按权限版本判一次。托管侧的权限面停在库绑定与标签过滤,防泄漏是个生成时开关,对已经发出去的历史引用没有判定权。可验证:06 证据 6、7。
- 引用绑定版本与内容哈希。页码坐标之外固定文档版本,事后能判定“当时答的是哪一版”。托管问答把引用当展示层,不做版本快照,因此“谁取走了哪一段的哪一版”这类审计问题在纯引用溯源形态下答不出。可验证:06 证据 8。
- 把相似度阈值当分布资产管。分数只在同一 embedding 分布内可比,所以换模型即广播失效、必须重新定标,且给出“新库新模型 + 旧库冻结”的替代路径(05 §六)。托管侧阈值是用户配置项,换模型后旧值静默失效,没人向业务宣告可比性已经断裂。可验证:升级回归清单与基线重置记录。
五、业内实际怎么做,我们做到哪一档
按企业里真的会发生的事对照,不按功能清单对照。
| 会发生的场景 | 业内实际做法 | 本栏档位 |
|---|---|---|
| 有人拿只读权限循环取回,拼出整篇文档 | 金融、医药几乎必问;引用只回标识、正文限量、按主体累计取回量告警、导出走独立授权双人 | 已定口径,取回量榜待上线(04 §二、05 §七) |
| 出侵权或泄密事件要立刻停一个知识域 | 不是自研开关,就是网关下路由 + 权限版本置失效两下,配一次演练计时 | 已定口径与证据组(03 §七、06 证据 10) |
| 涉政、暴恐、侵权内容进了库 | 基本不靠引擎,接外部内容安全服务或人工审核;接不了就在入库阶段拒收高风险类型 | 明确不承担方则拒收(03 §八、08) |
| 一份制度两处发文、互相打架 | 靠权威源清单 + 主题 ID,答案显式提示存在多个说法 | 已定数据通路(08 §二、02 §五),待 06 证据 12 验证 |
| 谁看内容、谁付钱 | 内容负责人与预算归因到部门,个人只统计不结算 | 已定(08 §二、09 §四) |
| 上线后没人用 | 看行为不看满意度:有效回答率、重复提问、转人工率、零命中主题 | 已定,反馈回流评测集待落(09 §五、06 §三) |
| 评测集用久了被过拟合 | 留出集不与调参共用、季度换一部分题 | 已定口径,样本量与换血比例待签字(06 §三) |
一句话:托管平台把“出事时怎么办”做成了产品默认值,自托管要自己把它写成机制与证据。本栏目前做到的,是让每一条都有归属组件、判定口径和可复现证据,缺的都标着“待归档 / 未覆盖”。
六、需要业务拍板的清单
评审后仍悬空、我不代为决定的项:
| 待决项 | 影响 | 需要谁 |
|---|---|---|
| 各桶通过线、“明显退化”的具体百分点 | 质量门能不能真拦 | 业务 + 平台共同签 |
| 每桶最小样本量、评测集换血比例、签字人角色 | 门禁的可信度与运营成本 | 业务 |
| 重排走本地还是按次 API(含 GPU 预算归属) | c_q 与常驻资源池 | 平台 + 财务口径 |
| 是否在 Broker 侧自建名次融合层(引擎只给线性加权) | 精确串桶的稳定性 | 平台架构 |
| 向量引擎容量见顶时是否切搜索引擎 | 阈值全部重定标的成本 | 平台 + 运维 |
| GraphRAG 对哪些知识域开、预算谁出 | 多跳能力的真实上限 | 业务 |
| 内容合规审核接哪家、未接入前拒收哪些类型 | 私有化能否过法务 | 合规 |
| 密级与脱敏查看的角色清单、审计保留年限 | “按角色脱敏”是否可执行 | 合规 + 安全 |
| 连接器优先级与自补范围 | 决定删除传播是秒级还是一天 | 业务 + 平台 |
七、边界
- 本栏是能力面与责任的对照,不是性能排名;不比吞吐、不比延迟,除非在同一压测口径下重跑(05 §九)。
- 对百炼的机制描述以 3.2 §二.5 为准,对方产品演进后本表可能过时——判据口径不过时,参数细节会。
- 多模态、音视频、写操作进工具面属“不做”,不计为交付缺口。
- 第四节三条占优结论只覆盖机制层面,不构成整体领先判断。