主题
Transformer 与大模型基础 · 学习路线
前面八个专栏把模型当成一个可调用的黑箱：给上下文、选模型、算成本、看延迟。但黑箱内部决定了三件天天要面对的事——为什么上下文有上限、为什么输出按 token 计费、为什么长上下文又慢又贵。这一栏把黑箱拆开，只讲稳定的机制，不追模型榜单。
顺序有依赖：不知道 token 就无法理解上下文预算；不知道注意力，就解释不了长上下文的平方级成本；不知道预训练目标，就容易把“会预测下一个词”误当成“会保证事实正确”。先按 01 到 10 读一遍，再回到自己的工作里找对应现象。
| 篇目 | 核心问题 | 读完应能 |
|---|---|---|
| 01-从文本到 Token 与向量 | 一段文字怎么变成模型能算的数字 | 估算 token 数与上下文预算 |
| 02-注意力机制：Q、K、V | 信息怎么从一个位置流到另一个位置 | 写出缩放点积注意力，解释平方级成本 |
| 03-Transformer Block | 多头、残差、归一化、FFN 各解决什么 | 画出 block，算清参数都花在哪 |
| 04-位置编码与长上下文 | 模型怎么知道顺序，长上下文难在哪 | 判断“标称窗口”与“有效窗口” |
| 05-预训练目标与扩展规律 | 下一个 token 预测为什么能学到能力 | 解释能力、幻觉与 scaling 的边界 |
| 06-自回归推理与 KV 缓存 | 生成一个 token 要算什么、占多少显存 | 估算并发上限与首字/出字延迟 |
| 07-架构家族与现代组件 | Encoder-only、Decoder-only、MoE 怎么选 | 按任务选模型，不被参数名误导 |
| 08-后训练与对齐 | 预训练之后还要做什么，三种奖励信号怎么选 | 区分 RLHF、RLVR、RLCD 的目标与风险 |
| 09-模型蒸馏与推理轨迹 | 学生怎么从教师的推理轨迹里学会解题 | 设计蒸馏数据、训练目标与验收闭环 |
| 10-持续学习与自我迭代 | 新经验怎么进权重，旧能力怎么不忘 | 设计重放、评测与回滚闭环 |
前置知识
- 矩阵乘法与点积：知道
(n×d) @ (d×m)的形状变化即可。 - softmax：知道它把一组实数变成和为 1 的权重。
- 概率的乘法与条件概率：理解
p(x_t | x_<t)就够了。
不需要会推反向传播，也不需要 GPU。文中的最小上手都能在 CPU 上用 numpy 跑通。
怎么读
第一遍读 01–04，把“文本 → token → 向量 → 注意力 → block → 位置”这条链路连起来，重点看每篇的“为什么需要”。第二遍读 05–06，把训练目标和推理过程对上：训练时一次看完整序列，推理时只能一个 token 一个 token 地产。第三遍读 07–10，把具体模型的名字放回架构家族里，判断它为什么具备某些能力、又缺什么；再把后训练的三种奖励信号对上自己的任务，判断该优化行为、正确性还是置信度；然后看蒸馏如何把教师的过程变成学生的训练数据；最后看持续学习如何在更新与不遗忘之间做取舍，以及自我迭代为什么依赖验证器。
每篇的“生产动作”都对应 Agent 工程里的一个具体决策：上下文怎么截断、并发怎么估、采样参数怎么设、长上下文要不要开。读到那里时，回到自己的系统核一遍。
与其他栏目的关系
- 关心 KV 缓存怎么分页、并发怎么压测，读 推理与部署；
- 关心上下文怎么组装、怎么压缩，读 上下文工程；
- 关心训练、微调与数据飞轮，读 调优：归因、数据飞轮与黄金集；
- 关心模型怎么接进 Agent，读 AI Agent 工程体系。
这一栏只讲“模型本身怎么工作”。推理引擎、平台治理、Agent 编排属于其他栏目的职责，这里不重复。
适用：需要判断上下文、成本与延迟的 AI 工程读者 | 初稿 2026-10