推理与部署 · 学习路线

这一栏讲模型怎么从权重变成可用的在线服务：显存怎么算、KV cache 怎么管、请求怎么调度、多卡怎么切、量化怎么换吞吐、网关怎么路由、GPU 节点怎么准备好。主线是 vLLM，但机制对同类推理引擎通用。

顺序不能倒：不算显存就调参，只会反复 OOM；不理解调度就加副本，可能只是把排队从网关挪到 GPU；不先做单机基线就上多卡，无法判断并行是加速还是拖慢。08 和 09 是横向能力：编译器决定同一张卡能跑出多少有效算力，成本模型决定这些算力该卖多少钱。

篇目	核心问题	读完应能
01-推理栈与性能模型	延迟花在哪，吞吐受什么限制	画出 prefill / decode 与瓶颈
02-显存与 KV 缓存	权重和 KV 各占多少，碎片怎么来的	估算并发上限
03-调度与连续批处理	为什么 batch 能动态换人	解释吞吐提升与尾延迟代价
04-前缀缓存与分布式推理	共享前缀怎么省，多卡怎么切	选 TP / PP 并估算通信
05-量化与吞吐调优	量化换来了什么，参数怎么配	给出场景化配置
06-部署、网关与多模型路由	怎么做高可用与灰度	设计一层推理网关
07-GPU 集群与部署运维	节点怎么从裸机变成可调度资源	判断节点层故障与共享策略
08-AI 编译器与异构算力	kernel 怎么从模型图生成到不同硬件	用 roofline 判断优化方向
09-成本战略与开源定价	每百万 token 成本怎么算，开源怎么定价	算清利用率、毛利与回收期
99-检查清单	上线前还缺什么	逐项核对

三条实战主线

九篇内容按问题类型只有三条主线。每条线从一个具体代价出发，不是一条知识点清单：读的时候先认痛点，再去找哪一篇给了判定式。

线上痛点	去哪一篇	对症机制
服务启动就 OOM，降并发才能活	02、05	权重 / 激活 / KV / CUDA context 四类占用分开算，KV 按每 token 公式估并发上限
吞吐上不去，GPU 利用率却很高	01、03、08	先分清算力受限还是带宽受限，再看 batch 空转与 kernel 有效算力
P99 TPOT 周期性尖峰	03	长 prompt 的 prefill 挤占 decode 预算，用分块 prefill 与单请求长度上限
首 token 慢，扩容无效	03、06	排队发生在哪一层要先定位；副本数不解决预算分配问题
成本翻倍，模型没变	04	前缀缓存命中率：按块哈希要求 token 前缀逐位相同，易变内容必须后置
多卡加到 8 张反而更慢	04	TP 的每层 All-Reduce 是带宽敏感操作，跨机互联域内不能放 TP
量化上线后业务集出错	05	困惑度和通用榜不能替代业务集评测，质量与吞吐必须同时验收
个别副本 KV 打满，其他空闲	06	K8s L4 按连接均衡看不见推理负载，长连接把流量压在少数副本上
扩容时权重下载打穿 SLA	07	InitContainer 幂等与只读缓存卷，节点上架是一次性的、Pod 启动是常态
换非 CUDA 硬件后静默变慢	08	算子级耗时对比，缺 kernel 会回退参考实现且不报错
量大之后毛利为负	09	单位成本公式里利用率是乘数，卡时报价必须把空闲摊销算进去

前置知识

• Transformer 的注意力、KV 是什么：不要求推导，但要知道每层缓存 K/V、长度随序列增长；没接触过可以先读 注意力机制 与 自回归推理与 KV 缓存。
• 基本的 GPU 显存概念：权重、激活、KV cache、CUDA context 是四类不同的占用。
• HTTP / gRPC 与 K8s Service：部署一节默认你理解副本、探针和负载均衡。

怎么读

第一遍按 01–07 读，重点建立“显存 → 并发 → 延迟 → 吞吐”的量化直觉；第二遍读 08–09，把 kernel 生成与单位成本接到同一张容量账上；第三遍带着自己的模型和卡型，把每篇的公式代一遍。每篇都有一节“实战场景”，写的是这套机制在线上失效时的样子——排障思路和参数取值都在那里，读完公式后接着读它，比只记结论有用。文中的数值是量级示例，具体以模型配置、引擎版本和实测为准。

适用：2026 年主流推理引擎与 GPU 部署实践；vLLM 参数与默认值以官方文档和实际版本为准 | 初稿 2026-10