Transformer 与大模型基础 · 检查清单

这份清单不考概念，只检查“机制有没有落到工程判断上”。答不出的项，回到对应文章；每项都应该能说出证据，而不是“应该没问题”。

上线前

• [ ] token 预算能算清：系统提示、工具 Schema、历史、检索内容、输出预留各占多少 token，用目标模型的分词器实测，不按字符估算。见 01。
• [ ] 分词器与模型版本绑定：对话模板、特殊 token、max_tokens 和模型匹配；没有手工拼字符串代替模板。
• [ ] KV 显存估算过：按 2 × layers × kv_heads × head_dim × dtype × seq × batch 算峰值，确认并发上限，而不是照抄默认值。见 06。
• [ ] 上下文上限按任务定：不是模型支持多长就用多长；能靠检索、摘要、分块解决的，没有整段塞入。
• [ ] 采样参数与任务匹配：抽取、分类、代码、工具调用用低温度；创意任务才放开；top-p 和重复惩罚有明确理由。
• [ ] 结构化输出有约束：JSON/工具参数用 Schema 或语法约束解码，并在服务端校验字段和业务含义。
• [ ] 长上下文在业务任务上测过：覆盖关键信息在开头/中间/结尾、多跳检索、跨段聚合，不只看“针在草堆里”。
• [ ] 模型家族选型有依据：生成/Agent 用 Decoder-only，检索/分类评估 Encoder-only，序列转换评估 Encoder-Decoder。见 07。
• [ ] 蒸馏前确认数据权利：教师模型条款、开源许可证、隐私与版权边界都确认过；不用未授权输出训练竞争模型。见 09。
• [ ] 蒸馏数据不是一条标准解：同一题有多条正确轨迹，做过答案/步骤验证、去重和难度分层；训练与推理的 reasoning 格式一致。
• [ ] 学生验收不只看准确率：留出集、OOD、轨迹扰动和过程审计都跑过；能发现“答案对但推理是表演”的样本。
• [ ] 持续学习先定义任务序列：新知识、新格式、新工具、新安全边界分开；重放集按任务分层，旧任务回归、灰度与回滚在同一个发布单元。见 10。
• [ ] 自我迭代有独立验证器：验证器被 reward hacking 的路径评估过；不只用模型自生成数据训练，避免分布退化。
• [ ] 成本口径统一：按单位成功任务成本算，失败、重试、长上下文和缓存未命中都计入分子。

运行中

• [ ] TTFT 与 TPOT 分开监控：首字慢查排队和 prefill，出字慢查 decode 带宽和 batch，不把两者混成一个“延迟”。
• [ ] KV 使用率与抢占可见：KV 块使用率、空闲块、抢占/换出次数有指标；持续打满或频繁抢占说明容量不足。
• [ ] 截断率可见：因 max_tokens 或上下文窗口导致的截断单独统计，尤其是 JSON、工具调用和代码场景。
• [ ] 缓存命中率可见：前缀缓存按模型、tokenizer、租户、知识版本分键；命中率下降要能定位到哪一段前缀变了。
• [ ] token 消耗按场景拆分：输入/输出、缓存命中/未命中、工具 Schema 开销分别统计，避免“总量涨了但不知道涨在哪”。
• [ ] 采样行为有回归：同一批题在固定温度/top-p 下定期重跑，发现输出长度、格式或重复率的漂移。

故障时

• [ ] 输出重复或空转：先看温度、top-p、重复惩罚和停止条件，再看上下文是否已经接近窗口上限。
• [ ] JSON/工具调用解析失败：先确认是否用了约束解码和 Schema 校验，再看是否被 max_tokens 截断；不要只改提示词。
• [ ] 长文回答漏掉中间信息：把关键材料移到开头/结尾做对照；确认是“没看见”还是“看见了没用上”，前者调位置，后者调任务拆解。
• [ ] 费用突然上涨：按输入/输出、缓存命中、重试、上下文长度四路拆账；优先查是否有超长材料被整段塞入。
• [ ] 首 token 很慢：查排队、prefill 长度、KV 容量和批处理策略；不是所有“慢”都该加副本。
• [ ] 生成速度下降：查 decode batch、KV 长度、GPU 带宽和是否发生抢占；长上下文会把 decode 拖慢。
• [ ] 同一输入结果差异大：确认温度是否大于 0、是否换了模型/分词器/推理框架；温度 0 也不保证跨环境完全可复现。

一页判断

现象	先查	对应机制
费用高	token 数、上下文长度、缓存命中	分词与 KV
首字慢	排队、prefill、KV 容量	prefill 算力受限
出字慢	decode batch、KV 长度、带宽	decode 带宽受限
长文漏信息	关键内容位置、有效窗口	注意力稀释 / 位置外推
格式错	约束解码、截断、Schema	采样与输出预算
结果飘	温度、top-p、模型版本	采样随机性
蒸馏后只会背题	轨迹多样性、过滤、OOD	行为克隆的覆盖偏差
更新后旧能力掉了	重放配比、旧任务回归	灾难性遗忘

适用：把 Transformer 机制落到上下文、成本与延迟判断的工程场景 | 初稿 2026-10