第 04 次课：RLHF 与强化学习
一、上节课回顾
- 上节课三个要点：
- 预训练像基础教育：模型读海量文本，靠自监督的「完形填空」从文本内部自动构造学习信号。
- 规模够大后出现涌现能力；同时模型有知识截止，还会编造幻觉内容。
- SFT 像岗前培训：用「问题—好回答」样本把续写机器调整成听指令的助手，数据质量比数量更要紧。
- 已经留下的基础：你能解释预训练、自监督、涌现、知识截止与幻觉、SFT 的基本关系，也能从准确性、格式、覆盖面和安全性判断一条 SFT 样本的好坏。
- 今天要接上的问题：SFT 之后，模型如何继续通过奖励信号优化推理，而不是只模仿标准答案？
- 开场检查：请用一句话回答「SFT 学的是什么信号？它与『环境或评委给分再调整行为』有什么不同？」
二、本节课主要内容和目标
这 80 分钟讲完，你该拿到的东西很具体：别人聊 RLHF、思维链、蒸馏时你能听懂在说什么，也能判断一条「思考过程」值不值得信。
本节课结束时，你能：
- 用状态、动作、奖励和反馈闭环解释强化学习的基本机制。
- 按顺序说明 RLHF 的 SFT、奖励模型、强化优化三个阶段，并解释人类排序数据的作用。
- 判断 CoT 适用场景，区分「展示中间推理步骤」与「结论必然正确」。
- 区分 DeepSeek-R1-Zero 的纯强化学习路径与 DeepSeek-R1 的多阶段训练路径。
- 说明 GRPO、MLA、FP8、MTP 分别解决什么问题，并选择合适的适用边界。
- 解释蒸馏如何让小模型继承大模型推理能力，同时判断其能力不一定全面等同。
- 根据「奖励来源、推理过程、训练成本、安全边界」比较不同训练方法。
| 顺序 | 知识点 | 你能做到 | 课堂练习 | 时间 |
|---|---|---|---|---|
| M1 | 强化学习基础 | 解释奖惩反馈如何塑造行为 | 【M1-01】【M1-02】 | 10分钟 |
| M2 | RLHF 三阶段 | 说明人类偏好如何进入训练 | 【M2-01】【M2-02】【M2-03】 | 15分钟 |
| M3 | 思维链 CoT | 判断中间推理步骤的价值与边界 | 【M3-01】【M3-02】【M3-03】 | 12分钟 |
| M4 | DeepSeek R1 与纯强化学习 | 区分 R1-Zero 与 R1 的训练路径 | 【M4-01】【M4-02】【M4-03】 | 15分钟 |
| M5 | R1 关键技术 | 匹配 GRPO/MLA/FP8/MTP 与效率问题 | 【M5-01】【M5-02】【M5-03】【M5-04】 | 18分钟 |
| M6 | 蒸馏与小模型 | 解释蒸馏收益和能力边界 | 【M6-01】【M6-02】【M6-03】 | 10分钟 |
课堂总时长 80 分钟，另留 10 分钟机动。
延伸视频
课前看：12 分钟讲清强化学习试错加奖励的核心循环，对应 M1，也是理解 M2 RLHF 的前置概念。
三、本节课知识内容
M1：强化学习基础（10分钟）
一个模型 SFT 后能按指令回答，可面对同一道数学题，它这次写对、下次写错——谁来告诉它「这个解题策略更值得保留，那个胡乱跳跃的路径应该被抑制」？SFT 给不了这个信号：示范只有「标准长什么样」，没有「你差在哪、该怎么改」。如果答案只有最终对错，模型怎么把结果变成下一次的行为调整？
强化学习，说白了是训小狗：狗做出动作，做对了给零食，做错了不给——狗慢慢就学会了「什么情况下做什么动作更容易拿零食」。术语上，智能体根据当前状态（state）选择动作（action），环境反馈奖励（reward）和新状态，学习算法据此提高高回报动作的概率、降低低回报动作的概率。这个循环反复进行，模型记住的不是某道题的答案，而是「遇到类似情况该怎么决策」的策略。训练时还要平衡探索与利用：不能只重复已知动作，也要尝试可能更好的动作。
一个关键边界：有奖励不等于学得对。奖励定义得不好，模型可能钻空子——得到高分却没完成真实目标；奖励太稀疏，学习会很不稳定。别把强化学习当成所有训练难题的万能答案。这个闭环的分工可以记成：状态供给处境，动作供给尝试，奖励供给方向。
一句心法：强化学习不是听人讲解，而是用状态、动作和奖励的闭环更新策略。
课堂练习：现在去学习通完成【M1-01】【M1-02】。
M2：RLHF 三阶段（15分钟）
同一个问题可以有很多不算语法错误的回答：有的啰嗦，有的编造来源，有的冷漠，有的危险。「正确答案」很难写成唯一字符串，人工也不可能逐条修改海量回复。怎么把人类觉得「更好」的判断，变成模型能学习的信号？
RLHF，说白了是培养新员工：先看优秀范文和岗位手册（SFT，行为起点）；再请资深评委给不同方案排序，形成评分标准（奖励模型）；员工以后按评委反馈改进工作方式（强化优化）。技术上分三步：第一阶段 SFT 让模型学会把输入当指令；第二阶段让模型对同一问题生成多个回答，标注员按帮助性、真实性、无害性排序，奖励模型学这个排序、给回答打分；第三阶段策略模型生成回答、奖励模型评分，强化学习算法提高高分回答的概率，同时加 KL 惩罚防止策略为讨好奖励模型而跑偏。这样，稀疏的人工判断被转成了可批量使用的评分信号。InstructGPT 论文是这条路最硬的证据：13 亿参数的模型在人类偏好评估中胜过 1750 亿的 GPT-3，事实性提升、毒性下降。
两个边界：RLHF 主要改善对齐和可用性，不保证消除事实错误；标注标准含糊、人群代表不足时，奖励模型会放大偏差，也可能被策略「钻空子」（reward hacking），所以 KL 约束和持续评估不能省。
一句心法：RLHF 把「人觉得哪个更好」转成奖励模型，再用强化学习优化模型行为。
课堂练习：现在去学习通完成【M2-01】【M2-02】【M2-03】。
M3：思维链 CoT（12分钟）
直接问模型一道多步数学题，它可能一口气跳到答案。答案若错了，你看不出错在哪一步；答案若对了，也分不清是推理成功还是碰巧。你可能觉得过程写不写无所谓，答案对就行——考试只看结果时确实如此。可考试之外，答案对在哪一步都不知道，就没法复查、没法迁移。为什么「把过程写出来」会让推理更容易成功？
思维链（CoT），说白了是草稿纸：题面对应输入，草稿上的公式和中间量对应中间步骤，最终答案对应输出。模型把提取条件、列式、转换、检查写成可见步骤，后续 token 就能以这些中间结论为条件继续推，不用一次跳跃到终点；对你来说，错误也更容易定位到具体步骤。Wei 等人 2022 年的论文给出硬证据：540B 模型加 8 个 CoT 示例，在 GSM8K 数学应用题上取得当时最佳结果。但草稿写得满不等于对——公式漂亮仍可能用错单位；「步骤合理」只是更容易检查，不是正确性的保证。
两个边界：CoT 对多步数学、逻辑、代码追踪帮助明显，对简单事实问答、情感陪伴未必必要，还增加延迟和成本；模型可能事后合理化、步骤错但答案碰巧对，重要结果仍要验算或工具校验。
一句心法：CoT 是把中间推理放到草稿纸上，便于推理和检查，但不自动保证结论正确。
课堂练习：现在去学习通完成【M3-01】【M3-02】【M3-03】。
延伸视频
课后看：科普 DeepSeek R1 的纯强化学习路线与 GRPO 等关键技术，对应 M4 和 M5。
M4：DeepSeek R1 与纯强化学习（15分钟）
DeepSeek 团队试了一条激进路线：跳过 SFT，直接用「做对加分、做错扣分」激励模型自己学会推理。你可能以为「R1 就是纯 RL 训练的」——新闻标题都这么写，这么记不奇怪。可标题省掉了关键区分：这里有两个不同的模型要分清——R1-Zero 确实跳过初始 SFT，纯 RL 激励推理；正式的 R1 是多阶段训练，包含冷启动数据、rejection sampling、RL 和 SFT。
R1-Zero，说白了是不看范文直接刷题的学生：数学、代码这类答案可验证的任务看最终对错，模型在奖励驱动下自发长出检查中间结果、回头看有没有矛盾、换方法再试的行为。但论文也报告了代价：可读性差、语言混杂。R1 则是这个学生后来整理套路：先用数千条长 CoT 冷启动数据改善表达，再 RL 提升推理；然后 rejection sampling 生成约 60 万条推理样本，补约 20 万条非推理样本，共约 80 万条 SFT 数据重训，最后继续 RL 优化对齐。R1-Zero 的意义是证明「推理行为可以从奖励中涌现」，R1 的意义是把它变成可读、对齐的产品。
一个关键纠偏：「Zero」指跳过初始 SFT 冷启动，不是「零样本输入」；不能从「R1-Zero 纯 RL」推出「R1 没有监督微调」。论文还报告早期 PRM 和 MCTS 尝试遇到标注、开销和奖励作弊困难——方法有效与否取决于任务、奖励与工程条件。
一句心法：R1-Zero 用纯 RL 激励推理，R1 再用多阶段训练把能力变成可读、对齐的产品。
课堂练习：现在去学习通完成【M4-01】【M4-02】【M4-03】。
M5：R1 关键技术：GRPO、MLA、FP8、MTP（18分钟）
推理模型要反复生成候选、检查错误、尝试策略，算力和显存压力成倍增加：PPO 要额外的价值网络，长上下文撑大 KV cache，低精度训练容易不稳，一次只预测一个 token 限制训练信号。四项技术各治一个病。它们各自的分工可以记成：GRPO 供给省网络的比较，MLA 供给压缩后的缓存，FP8 供给提速的精度，MTP 供给加密的信号。
GRPO，说白了是小组作业：同一道题让小组四人独立作答，老师不设绝对分数线，只按组内名次反馈谁的做法更值得保留——高于组内均值的回答被推高概率，低于均值的被抑制，不再需要单独训练一个价值网络。MLA 像把厚会议纪要压成索引卡：把 Key-Value cache 压进低秩向量，DeepSeek-V2 报告 KV cache 减少 93.3%、最大生成吞吐提升到 5.76 倍。FP8 像用短记号记账：多数计算用 8 位浮点省空间提速，关键路径保留高精度，分模块、分阶段控制误差。MTP 像练习时一次多看几步：每个位置除预测下一个 token 还预测更远的 token，训练信号密度更高；推理时还能改造成投机解码，DeepSeek-V3 报告第二 token 接受率 85%–90%，解码速度 1.8 倍。
四个边界：GRPO 的相对优势依赖组内样本——候选质量都很差时，相对较好不代表达到目标；MLA 降的是 KV cache 开销，不是取消所有显存消耗；FP8 是混合精度，不能说成「全程只用 8 位」；MTP 提升训练信号密度，不保证所有任务同比例提速。
一句心法：GRPO 降 RL 开销，MLA 压缓存，FP8 降训练成本，MTP 增加训练信号密度。
课堂练习：现在去学习通完成【M5-01】【M5-02】【M5-03】【M5-04】。
M6：蒸馏与小模型推理能力继承（10分钟）
R1 这类大推理模型能力强但部署成本高，课堂实验和边缘设备跑不动。能不能让大模型先解题、写思考路径，再把这些路径教给小模型，让它不必重复昂贵的强化学习也能学会类似推理？
蒸馏，说白了是名师带徒弟：名师先示范完整草稿，徒弟学习条件识别、步骤转换、检查方法。技术上：教师模型生成多条解题轨迹，系统用正确性和规则筛掉错误样本，留下的「问题—推理—答案」样本用来微调学生模型。R1-Distill 系列就是这么做的：用 R1 生成的 80 万样本直接微调 Qwen、Llama 等开源基座，蒸馏模型只做 SFT、不再做 RL，较小模型就获得了更强的推理表现。更早的证据是 Distilling Step-by-Step：770M 的 T5 用 80% 训练数据在部分基准上超过了 few-shot 的 540B PaLM。
关键边界：蒸馏不是无损复制——教师轨迹有错，学生跟着错；数据分布窄，学生遇到未见任务会退化；小模型容量也有限。所以蒸馏后的模型要单独评测事实性、安全性和推理鲁棒性；R1-Distill 的「继承」指相关基准提升，不代表全面等同 R1。
一句心法：蒸馏把大模型的推理路径变成小模型教材，但继承是选择性继承，不是完整复制。
课堂练习：现在去学习通完成【M6-01】【M6-02】【M6-03】。
课后作业
- 【作业-01】用 DeepSeek R1 完成 3 道数学、逻辑或编程题，记录题面、最终答案、关键思考步骤和人工验算结论，截止下节课前一天 22:00。