← 返回专题 B03 机制演示库 view_17 生产治理 · 27A

Token 经济学:三大放大器

路径爆炸 × 重试放大 × 上下文膨胀——把「看着不贵」放大成天价账单

场景 —
① 放大器 1:路径爆炸
一次任务不是「1 次 LLM 调用」——是「10-30 次」。
读文件→ 分析→ 写稿→ 校对→ 格式整理→ 最终输出
放大:一次「调研并写报告」= 10-30 次 LLM 调用。测试时 20 次/天没感觉,上线后 2000 次/天——调用次数 × 单次成本 = 账单爆炸。

Demo 视角

  • 跑 5 个用例,每个 3 步 = 15 次调用
  • 「很便宜啊」

生产视角

  • 2000 用户 × 每天 3 个任务 × 15 步 = 9 万次调用
  • 「月账单失控」
② 放大器 2:重试放大
失败重试是超线性成本——每次重试通常还带着更长的上下文。
数学:30% 重试率 × 25K tokens/次 = 每天 1500 万 token 被浪费。且重试通常加长上下文(上下文膨胀叠加上去)——重试一次 = 原成本 + 重试成本 + 更多 token。
真实教训:某团队测试 20 次/天 → 上线 2000 次/天,30% 重试、25K tokens/次 → 月账单 $22,500。这不是技术事故,是成本事故。
  • 根因 1:工具结果含糊 → LLM 以为没拿到 → 重试
  • 根因 2:输出格式不规范 → 解析失败 → 重试
  • 根因 3:超时无反馈 → 无限重试循环
③ 放大器 3:上下文膨胀 → O(n²)
LLM 无状态,每轮重发全部历史——输入量随轮次平方增长。
第 1 轮:User(U1) → 输入 ≈ 1 单位
第 2 轮:U1 + A1 + U2 → 输入 ≈ 3 单位
第 3 轮:U1 + A1 + U2 + A2 + U3 → 输入 ≈ 5 单位
第 N 轮:U1..A(N-1) + U_N → 输入 ≈ 2N-1 单位
→ 10 轮对话后,历史本身可能占输入的 80%
关键:Token 计费按输入+输出,历史每轮重发、每轮计费(模型无状态;重发部分落在已缓存前缀按约 0.1× 读价,不是零)。上下文窗口 200K,但「能塞」≠「值得塞」——中间信息 Lost in the Middle,浪费钱还没用。
④ 八大策略按 ROI 排序
① Prompt Cache
命中段约 0.1× 读价(约 9 成量级,各家折扣率不同)
② 模型路由
贵模型只在必要时用
③ 上下文裁剪
只给当前任务最需要的
④ 结构化输出
省重试(格式合法)
⑤ 缓存语义检索
相似问题不重复调用
⑥ 并行批处理
吞吐优化
⑦ 预算硬上限
防失控兜底
⑧ 增量监控
早发现早治理
⑤ 级联路由:1000 请求/天的省钱示范
不是所有请求都值得用最贵模型。

全上贵模型

1000 请求/天 × Opus
= $500/天

哪怕简单问题也烧钱
「杀鸡用牛刀」

级联路由

FAQ 直答走缓存 → 免费
简单问题走 DeepSeek → 便宜
复杂问题才上 Opus
= $55/天,省 89%
模型输入价格输出价格
Opus 4$15 / MTok$75 / MTok
DeepSeek-V3$0.27 / MTok$1.10 / MTok
四维度递进:Cache(先省大头)→ 模型路由(按需分级)→ 上下文裁剪(减冗余)→ 预算硬上限(兜底防失控)。
AI 工程小册 · view_17 生产治理 / 演示 27A Token 经济学三大放大器
← 返回专题 B03 · 动画作战地图