← 返回专题 B03 机制演示库 view_17 生产治理 · 27D

流量治理五层漏斗

FAQ 拦截 90% → 缓存 4% → 小模型 0.6% → RAG 0.4% → LLM 5%——大模型是最后一道闸

场景 —

① 五层漏斗：逐层削峰

流量从入口到 LLM，五层逐级削减——90% 在 FAQ 就拦住了。

100 万并发 → 10 万 QPS 入口

90% 被 FAQ 拦截剩余 10%

4% 缓存命中剩余 6%

0.6% 小模型剩余 5.4%

RAG 兜底 0.4% + 大模型 5% 5000 RPS

结果：100 万并发用户 → 10 万 QPS → 仅 5000 RPS 到大模型（流量下降 95%，20 倍）。收益：延迟 800ms → 250ms；算力成本 $100k → $2k/月。

② 每层做什么（自动播放演示请求逐层下钻）

观察一次请求如何被逐层「消化」——只有真正复杂的才走到大模型。

L1 FAQ 匹配规则/相似度 → 直接答

L2 语义缓存相似问题 → 命中缓存

L3 小模型简单任务 → 便宜模型

L4 RAG 兜底检索知识库 → 拼装回答

L5 大模型复杂推理 → 才走 Opus/GPT

③ 每层的取舍

④ 黄金法则与收束

黄金法则：FAQ 第一 → 缓存为王 → 小模型前置 → RAG 兜底 → 监控闭环。大模型是最后一道闸，不是第一道门。

为什么是「漏斗」而不是「开关」：每一层都是软判定（这条能不能在这层解决？不能 → 下钻），不是二选一的开关——同一请求可能经过多层（FAQ 判断不了 → 缓存没命中 → 小模型不会 → RAG 检索 → 大模型生成）。

监控闭环：每层命中率实时看板，命中率异常（FAQ 命中率骤降 = 知识库过期）自动告警。与 B03 降级阶梯联动：大模型挂 → 降级到 RAG+小模型。

一句话：流量治理 = 用「分层漏斗」把最贵的大模型调用降到最少——90% 的请求根本不需要聪明，只有 5% 需要真正的智能。

AI 工程小册 · view_17 生产治理 / 演示 27D 流量治理五层漏斗
← 返回专题 B03 · 动画作战地图