AI 工程小册

主题

后训练与对齐：RLHF、RLVR 与 RLCD ​

一句话：预训练只得到“会补全文本”的 base model；后训练用不同的奖励信号把它变成会听话、会推理、会给出可信概率的模型。RLHF 奖励“人喜欢”，RLVR 奖励“结果可验证”，RLCD 奖励“置信度和命中率一致”——三者优化的不是同一种“好”。

为什么需要 ​

“训练完模型”通常只指预训练完成。此时的模型会续写文本，但不会稳定遵循指令，不知道什么时候该拒绝，也不会用工具；更常见的问题是，它给出一个答案时，你无法判断这个答案有多可信。

后训练要解决三类不同的问题：

  • 行为问题：回答格式、角色、拒绝边界、工具调用协议——靠 SFT 和偏好优化；
  • 正确性问题：数学、代码、逻辑题有没有算对——靠可验证奖励；
  • 置信度问题：模型说“八成把握”时，事实是不是真的约八成——靠校准训练。

把这三类问题混成一个“对齐”目标，就会出现典型的错配：用人类偏好去优化数学正确性，用答案对错去评价一句主观建议，或者把一个准确率很高但过度自信的模型直接放进风控阈值里。

核心机制 ​

一、后训练是一条流水线，不是一步 ​

图中的顺序不是强制的：领域继续预训练和长上下文扩展可能发生在 SFT 之前，DPO 可以替代 RLHF，RLVR 和 RLCD 也可以叠加在 SFT 之后。但有一条主线不变——先教格式和行为，再用更贵的信号修正确性或置信度。跳过 SFT 直接做 RL，样本效率和稳定性通常都更差。

二、RLHF：用人类偏好做奖励 ​

RLHF（Reinforcement Learning from Human Feedback）的典型链路是：

  1. 用 SFT 得到一个初始策略；
  2. 让模型对同一问题生成多条回答，由人两两比较“哪条更好”；
  3. 用这些比较训练一个奖励模型，学习“人类更喜欢什么”；
  4. 用 PPO 等策略梯度方法最大化奖励，同时用 KL 惩罚约束模型不要偏离初始策略太远。

它优化的是偏好，不是事实。人类标注者更喜欢自信、结构清晰、顺耳的回答，模型就会朝这个方向走；这就是“讨好”（sycophancy）的来源。标注者的偏好、指南的松紧、奖励模型的泛化误差，都会变成模型的行为。RLHF 适合风格、安全边界、拒绝方式、对话体验这类“好坏只能靠比较判断”的问题；不适合把它当成事实正确性的保证。

DPO（Direct Preference Optimization）是另一条路：直接用 chosen/rejected 成对样本优化策略，跳过显式奖励模型和在线采样。工程上简单很多，但它仍然只改变偏好排序，不注入新知识——如果两条回答都错，DPO 只能学会“哪条更像对的”。

三、RLVR：用可验证结果做奖励 ​

RLVR（Reinforcement Learning with Verifiable Rewards）把奖励交给程序化验证器：数学题比对最终答案，代码跑单元测试，结构化输出过 Schema，逻辑题用求解器检查。它不需要人类逐条标注，可以大规模采样，特别适合推理模型。

它成立的前提是验证便宜且可靠。数学和代码是典型场景，因为答案可以机械检查；开放写作、商业判断、医疗建议没有这种验证器，RLVR 就无从下手。

风险也同样明显：

  • 验证器是代理目标。模型会学会迎合测试，而不是学会解题：硬编码样例、只过公开用例、利用测试漏洞、输出格式取巧；
  • 覆盖有限。只训练有验证器的领域，模型可能在这些领域变强，却在其他领域退化；
  • 奖励稀疏。一道题只有对/错，长推理链里哪一步错了没有信号，信用分配很难；
  • 多样性下降。反复优化同一批可验证题，模型会收敛到少数解法。

所以“可验证”不等于“正确”：验证器本身可能错、可能不全，也可能被模型钻空子。上线前要用隐藏测试集和对抗样本验收，而不是看训练时的通过率。

四、RLCD：用校准概率做奖励 ​

RLCD（Reinforcement Learning for Calibrated Decisions，校准决策强化学习）解决的是另一类问题：模型不需要生成一段话，只需要对一个封闭问题给出类型化答案 + 概率，而且这个概率要诚实。

校准的定义是统计意义上的：在一批同类样本里，模型给出 0.8 的判断，大约有八成确实成立。它不保证单次正确，也不保证跨领域成立，但它让阈值、升级、人工复核这些工程动作有了依据。

RLCD 的奖励不是“人选了什么”，也不是“答案对不对”，而是概率与真实命中率的一致性。公开复现 OpenJev-RLCD（arXiv:2609.38850）采用“先校准、再强化”的两段式：先用 proper scoring rule 给答案分布打分，再用 REINFORCE 优化推理过程；作者报告在 Qwen3-1.7B 上，校准与选择性预测优于 SFT、RFT/STaR 和 GRPO。这里的“校准”是训练目标，不是事后温度缩放。

它和 RLHF、RLVR 的分工可以这样看：

方法奖励来自优化什么典型任务主要风险
RLHF人类偏好比较更像人喜欢、更安全对话、风格、拒绝讨好、标注偏差、奖励黑客、成本高
RLVR程序化验证器结果正确数学、代码、逻辑验证器被钻空子、覆盖有限、奖励稀疏
RLCD校准评分置信度诚实路由、分类、风险评分校准 ≠ 准确、厂商黑箱、审计不过

具体到 Jev 这类决策模型：它不生成正文，只返回“是/否”“选哪个”“有多严重”以及概率和置信度；TypeSafe 在 2026 年 9 月发布 Jev 时把这种方法称为 RLCD，并声称用合成数据训练。这是厂商口径，不是独立验证的结论。公开审计（Zenodo 23179064）发现 Jev 的 Choice 原语在“公平硬币”式问题上给出 0.83–0.93 的置信度，存在过度自信；Noul 的是/否判断则校准得更好。OpenJev-RLCD 的作者也报告了负结果：按推理段打分会把推理“关掉”，某些 aleatoric 任务上校准训练打不过交叉熵。

还有一个命名坑：2023 年曾有另一个 RLCD 指“Reinforcement Learning from Contrastive Distillation”。本文说的是校准决策，不是对比蒸馏。

五、评估：训练奖励不是验收 ​

三种方法都不能拿训练奖励当验收：

  • RLHF：看独立标注集的胜率、安全违规率、讨好率；奖励模型分数只说明“像奖励模型喜欢的”，不说明事实正确；
  • RLVR：看隐藏测试、对抗测试、跨领域回归；训练集通过率高可能是记住了题；
  • RLCD：看校准曲线、ECE/Brier、风险–覆盖率曲线，并在本地样本上重新标定阈值；不要直接采用厂商给的置信度。

共同要求是：评测集与训练集隔离，验证器独立于训练器，发布前跑一遍旧任务的回归。后训练改变的是行为分布，不注入企业私有事实；该用 RAG、工具和上下文的地方，仍然要用。

最小上手 ​

用 8 条预测算一次 ECE，观察“准确率 62.5%、平均置信度 75%”的过度自信：

python
import numpy as np

conf = np.array([0.90, 0.80, 0.70, 0.60, 0.95, 0.55, 0.85, 0.65])
correct = np.array([1, 1, 1, 0, 1, 0, 1, 0])
bins = np.array([0, 0.6, 0.7, 0.8, 0.9, 1.0])
ece = 0.0
for lo, hi in zip(bins[:-1], bins[1:]):
    m = (conf > lo) & (conf <= hi)
    if m.any():
        ece += m.mean() * abs(correct[m].mean() - conf[m].mean())
print(f"accuracy={correct.mean():.3f}  confidence={conf.mean():.3f}  ECE={ece:.3f}")

输出：

text
accuracy=0.625  confidence=0.750  ECE=0.250

准确率只有 0.625，模型却平均给出 0.75 的置信度，ECE 为 0.25。这正是 RLCD 想修的东西：不是让答案更对，而是让“我说 0.75 时，事实真的接近 0.75”。如果只做温度缩放，可能把平均置信度拉回 0.625，但分桶后的条件校准仍可能很差；RLCD 试图在训练阶段改变表示，而不是只做事后缩放。

生产动作 ​

  • 先 SFT，再考虑 RL。格式、工具调用、拒绝边界用 SFT 最便宜；SFT 没跑通就上 RL，是在用最贵的方式修数据问题。
  • 奖励信号要能验伪。RLHF 要有标注指南和奖励模型的独立评测；RLVR 要有隐藏测试和对抗用例；RLCD 要有本地校准集和阈值验证。
  • 校准按领域分别看。一个模型在路由任务上校准，不代表在风险评分上也校准；分桶、分场景画可靠性曲线。
  • 保留事后校准基线。温度缩放、isotonic regression 等方法便宜且常常有效；RLCD 的增量收益要和它们比，而不是只和未校准模型比。
  • 回滚的是完整发布单元。模型、奖励模型/验证器、Prompt、阈值、采样参数要一起版本化；只回退权重会得到一套没验证过的组合。
  • 别把后训练当知识注入。新事实、企业术语、实时数据仍然靠 RAG 和工具；RL 更适合改行为、改推理习惯、改置信度表达。
  • 要压缩或迁移能力，走蒸馏。把教师轨迹变成 SFT、过程监督或 RLVR 数据，再用验证器验收；机制见 09-模型蒸馏。

边界 ​

  • RLHF 优化偏好，不优化真相。它会放大标注者的偏好，也可能奖励“看起来很对”的回答；讨好是机制性的，不是偶发 bug。
  • RLVR 只在有验证器的地方成立。验证器是代理目标，可能被钻空子；公开测试通过不等于真实能力。
  • RLCD 的校准不等于准确。一个模型可以又准又过度自信，也可以校准良好但整体很弱；校准只回答“置信度是否诚实”，不回答“能力是否够”。
  • RLCD 仍缺独立证据。厂商口径、黑箱实现、公开审计的过度自信问题都说明：它不是一个可以直接照搬的默认方案；OpenJev-RLCD 是可复现的起点，不是定论。
  • 后训练会退化。过度优化单一奖励会损失多样性、通用能力和长尾表现；每次改动都要跑旧任务回归。
  • 命名会撞车。RLCD 在不同语境下可能指对比蒸馏；读论文和产品文档时先确认定义。

讲清楚 ​

预训练得到 base model，后训练才把它变成可用模型：SFT 教格式和行为，RLHF 用人类偏好教“怎么说更讨喜”，RLVR 用答案/单测等验证器教“怎么算对”，RLCD 用概率与命中率的一致性教“怎么说自己有多确定”。三者优化的是不同的“好”，不能互相替代。

RLHF 的风险是讨好和标注偏差，RLVR 的风险是验证器被钻空子和覆盖有限，RLCD 的风险是校准不等于准确、厂商口径未经独立验证。验收要看独立评测、隐藏测试、校准曲线和本地阈值，不能看训练奖励；后训练改行为，不注入知识。

参考：TypeSafe 于 2026-09 发布 Jev 时提出 RLCD；OpenJev-RLCD, arXiv:2609.38850；Jev 校准审计, Zenodo 23179064

适用：大模型后训练、对齐与决策模型选型；厂商指标需在本地复验 | 初稿 2026-10

把 AI 工程讲到既懂也会用

AI 工程小册 · 持续更新