① 放大器 1:路径爆炸
一次任务不是「1 次 LLM 调用」——是「10-30 次」。
读文件→
分析→
写稿→
校对→
格式整理→
最终输出
放大:一次「调研并写报告」= 10-30 次 LLM 调用。测试时 20 次/天没感觉,上线后 2000 次/天——调用次数 × 单次成本 = 账单爆炸。
Demo 视角
- 跑 5 个用例,每个 3 步 = 15 次调用
- 「很便宜啊」
生产视角
- 2000 用户 × 每天 3 个任务 × 15 步 = 9 万次调用
- 「月账单失控」
② 放大器 2:重试放大
失败重试是超线性成本——每次重试通常还带着更长的上下文。
数学:30% 重试率 × 25K tokens/次 = 每天 1500 万 token 被浪费。且重试通常加长上下文(上下文膨胀叠加上去)——重试一次 = 原成本 + 重试成本 + 更多 token。
真实教训:某团队测试 20 次/天 → 上线 2000 次/天,30% 重试、25K tokens/次 → 月账单 $22,500。这不是技术事故,是成本事故。
- 根因 1:工具结果含糊 → LLM 以为没拿到 → 重试
- 根因 2:输出格式不规范 → 解析失败 → 重试
- 根因 3:超时无反馈 → 无限重试循环
③ 放大器 3:上下文膨胀 → O(n²)
LLM 无状态,每轮重发全部历史——输入量随轮次平方增长。
第 1 轮:User(U1) → 输入 ≈ 1 单位
第 2 轮:U1 + A1 + U2 → 输入 ≈ 3 单位
第 3 轮:U1 + A1 + U2 + A2 + U3 → 输入 ≈ 5 单位
第 N 轮:U1..A(N-1) + U_N → 输入 ≈ 2N-1 单位
→ 10 轮对话后,历史本身可能占输入的 80%
关键:Token 计费按输入+输出,历史每轮重发、每轮计费(模型无状态;重发部分落在已缓存前缀按约 0.1× 读价,不是零)。上下文窗口 200K,但「能塞」≠「值得塞」——中间信息 Lost in the Middle,浪费钱还没用。
④ 八大策略按 ROI 排序
① Prompt Cache
命中段约 0.1× 读价(约 9 成量级,各家折扣率不同)
⑤ 级联路由:1000 请求/天的省钱示范
不是所有请求都值得用最贵模型。
全上贵模型
1000 请求/天 × Opus
= $500/天
哪怕简单问题也烧钱
「杀鸡用牛刀」
级联路由
FAQ 直答走缓存 → 免费
简单问题走 DeepSeek → 便宜
复杂问题才上 Opus
= $55/天,省 89%
| 模型 | 输入价格 | 输出价格 |
| Opus 4 | $15 / MTok | $75 / MTok |
| DeepSeek-V3 | $0.27 / MTok | $1.10 / MTok |
四维度递进:Cache(先省大头)→ 模型路由(按需分级)→ 上下文裁剪(减冗余)→ 预算硬上限(兜底防失控)。