第 03 次课：预训练与后训练
一、上节课回顾
- 上节课五个要点：
- 人工神经元按「输入、加权、激活、输出」处理信息，权重决定每路信号的重要程度。
- 神经网络把神经元组织成输入层、隐藏层、输出层，逐层组合特征，越深越抽象。
- RNN 像传话游戏：信息逐个位置往后传，距离一远就衰减。
- Transformer 用注意力把「传话」改成「开会」，每个位置都能直接看全局、找重点。
- 一词多义靠上下文定夺：同一个 bank，前文决定它表示河岸还是银行。
- 已经留下的基础：你能解释注意力为什么按上下文加权，也知道现在的大模型都建立在 Transformer 结构上。
- 今天要接上的问题：结构只是「脑子和神经」，刚装配好的模型连一个词都不认识——它的知识从哪来？为什么同一个模型有时听话、有时答非所问？答案藏在「预训练」和「后训练」两个阶段里。
- 开场检查：两名同学分别回答「Transformer 解决了 RNN 的什么问题」「为什么它的比喻是开会而不是传话」，确认结构基础在位。
二、本节课主要内容和目标
这 80 分钟讲完，你该拿到的东西很具体：别人说「预训练」「SFT」时你能听懂在说什么，遇到 AI 报过时信息或编造内容，你能判断是哪一类问题、怎么核验。
本节课结束时，你能：
- 说出预训练的数据来源和训练目标，并用「下一步预测」解释模型怎样从海量文本里学出语言规律。
- 用「完形填空」向别人讲清自监督学习：学习信号从文本内部自动构造，不需要人工逐条标注。
- 面对一个「模型突然变强」的案例，判断它是否适合用涌现能力解释，并说出这类判断要用什么证据。
- 拿到一条错误回答，区分它是知识截止还是幻觉，并各配一种对应的核验动作。
- 用「岗前培训」说清 SFT 在训练流程中的位置，并举例说明 SFT 前后模型行为的差别。
- 拿到一份「问题—回答」训练样本，按事实准确、步骤可执行、格式匹配、覆盖面四条标准给出质量评价。
| 顺序 | 知识点 | 你能做到 | 课堂练习 | 时间 |
|---|---|---|---|---|
| M1 | 预训练 | 解释大模型的基础教育阶段 | 【M1-01】【M1-02】【M1-03】 | 15分钟 |
| M2 | 自监督学习 | 用完形填空解释训练机制 | 【M2-01】【M2-02】【M2-03】 | 15分钟 |
| M3 | 涌现能力 | 判断哪些能力适合用涌现解释 | 【M3-01】【M3-02】【M3-03】 | 12分钟 |
| M4 | 知识截止与幻觉 | 区分两类不可靠回答 | 【M4-01】【M4-02】【M4-03】 | 13分钟 |
| M5 | 后训练 SFT | 解释模型如何学会听指令 | 【M5-01】【M5-02】【M5-03】 | 15分钟 |
| M6 | SFT 数据质量 | 评估和改进训练样本 | 【M6-01】【M6-02】【M6-03】 | 10分钟 |
课堂总时长 80 分钟，另留 10 分钟机动。教师准备一段带空格的中文短文、一个可演示的大模型工具、一个近期新闻问题和一份好/坏 SFT 样本对照表。
延伸视频
课前看：《什么是大语言模型》通俗案例，对应 M1 预训练与 M2 自监督学习；课上讲到「下一步预测」「完形填空」正好对上号。
三、本节课知识内容
M1：预训练（15分钟）
上节课的 Transformer 已经会「开会」了，可你可能不知道：它刚装配好时连「今天天气很好」的下一句都接不上——结构里只有随机初始化的参数，一个词都不认识。而你现在问它「帮我写个通知」，它张口就来。一个从零开始的模型，是怎么变成「什么都聊得起来」的？
你可能以为「它把资料都背下来了」——这么猜有依据：答得那么全，像极了背过。恰恰相反：同一个问题换个问法措辞就变；让它复述课文它经常背串；问冷门书的页码它顺口就编。预训练，说白了是让模型读万卷书：把网页、书籍、文章、代码这些海量文本交给模型，让它在每个位置反复做「预测下一个词」的练习——藏起下一个词让它猜，猜完跟原文对照，按差距调整参数，换下一段再来。这个循环重复亿亿次量级，语言规律、常见事实、各领域表达方式就被压进了参数。2018 年 GPT-1 论文第一次系统证明「先通用预训练、再按任务微调」走得通；2020 年 GPT-3 把规模推到 1750 亿参数，不微调、只给几个例子就能完成多种任务——底子越厚，通用能力越强。
三个边界：「预训练=背资料」是最大误读，模型存的是统计规律不是原文条目；语料来自互联网，里面的错误、偏见、过时说法会一并学进来，「读过」不等于「正确」；预训练结束不等于产品能上线——没经过后训练的模型会答非所问，这正是 M5 要解决的。这一步的分工可以记成：语料供给题材，任务供给信号，循环供给能力。
一句心法：预训练就是把海量文本压进参数：语言规律、世界常识，外加一身还不会听指令的本事。
课堂练习：现在去学习通完成【M1-01】【M1-02】【M1-03】。
M2：自监督学习（15分钟）
按最自然的想象，训练要有「输入配答案」。可互联网上海量文本谁去标注？按每人每天标一千条算，几代人接力也标不完。GPT 和 BERT 确实用这些没人标注的文本训练出来了——那学习信号从哪来？
答案是四个字：自己出题。自监督学习，说白了就是考前自己给自己出完形填空：把书上的一句话挖个空，先盖住答案自己填，填完掀开书对照。遮住句子中的一部分（或藏起下一个词）让模型预测，再掀开原文对照——原文自动充当标准答案，学习信号从数据内部构造出来，全程不需要人工标注。BERT 的做法是随机遮住约 15% 的词让模型还原；GPT 的做法是预测下一个词；两条路殊途同归：要把空填准，就必须学会语法、搭配、语义关联，甚至常识。2018 年 BERT 用这条路预训练出的模型在 11 项任务上同时刷新当时最佳成绩——文本自己就是题库，学到的能力还能迁移到各种任务。
三个边界：「自监督=无监督」是常见混淆——自监督有明确的预测目标和自动反馈，只是答案不来自人工；「不需要标注」不等于「数据没被加工」，清洗、去重、过滤低质是预训练前的重活；语料里的错误知识同样被学走，这跟 M1 的提醒一致。
一句心法：文本一半当考题、一半当答案，海量文本自己就能把模型教大。
课堂练习：现在去学习通完成【M2-01】【M2-02】【M2-03】。
M3：涌现能力（12分钟）
同一个模型家族，小号的让它解多步数学题，它直接瞎给个答案；放大几十倍再问，它竟然会先拆条件、列关系、再逐步算。你可能觉得「模型变大就是各项能力匀速变强」——这个直觉来自日常：书本越厚，内容总该越多。恰恰相反：匀速改进是平滑上升的曲线，可多步推理这类任务在小模型上几乎趴在地板上，跨过某个规模后急剧抬头。多出来的不是「多一点」，是整套新行为。
涌现能力，说白了像烧水：从室温加热到 99 度，水只是慢慢变热；到 100 度整锅翻滚沸腾——不是线性变热，是状态跃迁。参数量、数据量和算力跨过某个规模阈值之后才显著出现、小模型不具备的能力，叫涌现能力，典型如多步推理、跨文档综合、按复杂指令组织回答。观察它要控制三个变量：同一模型家族、同一套评测、只放大规模。2022 年 Wei 等人在 TMLR 汇总多个模型家族的评测曲线，系统报告了这类现象；但 2023 年 Schaeffer 等人的《Are Emergent Abilities of Large Language Models a Mirage?》提出质疑：不少「突变」是评测指标造成的，改用连续指标曲线其实平滑——现象被广泛观察到，但它是不是「相变式突变」仍有争议，下结论前先问「用的什么指标」。
四个边界：涌现不等于可靠，跨过阈值后仍会错、会编，关键任务照样核验；别把所有改进都说成涌现，改提示词或外接工具带来的改善是另一回事；别拟人成「模型开窍了」，它描述的是统计曲线的形状；记住阈值位置因任务而异——有的能力几百亿参数就出现，有的要更大规模。
一句心法：涌现说的是曲线形状——小规模趴底、跨阈值陡增，且每个任务的阈值各不相同。
课堂练习：现在去学习通完成【M3-01】【M3-02】【M3-03】。
延伸视频
课后看：从模型机制讲 AI 为什么会一本正经地编造，对应 M4；看完再做【M4-01】到【M4-03】更顺手。
M4：知识截止与幻觉（13分钟）
把两个问题丢给同一个模型：问「三国是哪三国」，它对答如流；问「上周发布的最新款手机有哪些」，它报出一串型号——一查，一半是老款，还有一款根本不存在。你可能以为这只是「它没联网」——这么归因不算错，只是没切到底：联网确实能救一半，救不了另一半。这里坏了两层，而且是两种不同的病。
知识截止，说白了是「毕业即封存」：模型参数在训练完成那一刻就冻结，截止日之后的新品、新闻、政策不在它的知识范围里。幻觉是另一种病：模型生成了看似合理但虚构的内容——不存在的文献、网址、API——因为它优化的目标是「像不像回答」，不是「真不真」，机制本身不区分知道和不知道。判断一条错误回答属于哪类，看它和时间边界的关系：内容在截止日之后，先怀疑知识截止；内容在截止日之前却答错或编造，那就是幻觉。核验动作分两套：时间敏感信息（新闻、价格、版本）查官方来源或联网检索；事实性内容（文献、数据、引文）要出处，再用第二来源交叉验证。
三个提醒：不是所有错误都是幻觉——算错数是推理失误，信息过时是知识截止，处理方式不同；联网只能缓解知识截止，检索到的内容仍可能被转述错；「语气流畅、格式完整」与「内容正确」毫无关联，越编的文献越像模像样——标题作者年份齐全的引用必须逐条核对。
一句心法：知识截止是「不知道新的」，幻觉是「没把握也敢编」——一个靠更新，一个靠核验。
课堂练习：现在去学习通完成【M4-01】【M4-02】【M4-03】。
M5：后训练 SFT（15分钟）
让一个只会续写的模型回答「请用三条建议帮我安排复习」，它可能真的接着写一段谈「复习安排有多重要」的散文——三条建议一条没给。你可能觉得「模型大了自然听话」——读书多的人未必听话，这个类比其实已经提醒你了：听话不是知识量的问题。续写器放大到上千亿参数照样长篇大论。
SFT（Supervised Fine-Tuning，监督微调），说白了是岗前培训：预训练是十二年通识教育，会读会写、见多识广；SFT 拿一叠「客户来话—标准应答」案例手册反复演练，学会开场怎么说、格式怎么排、什么请求要婉拒。技术上就是收集大量「问题—好回答」成对样本，让预训练模型在这些样本上继续训练、模仿示范行为——依然是「预测下一个词、对答案、调参数」，但答案不再是原文，而是人写的高质量示范。这一步对好用程度影响巨大：InstructGPT 用 13 亿参数在人工盲评中胜过参数多它百倍的原始 GPT-3——「按要求说」的训练比堆参数更能决定好不好用。SFT 之后通常还有 RLHF 继续打磨，本课先抓住 SFT 这一步。
四个边界：SFT 不是重新预训练，它不灌新知识只调整行为方式；礼貌不等于正确，SFT 后事实错误照旧，核验一步不能少；SFT 不是终点，常见流水线是 SFT 后接 RLHF；指令跟随不是无条件服从，安全边界上的拒答行为也是示范出来的。
一句心法：预训练教会「会说」，SFT 教会「按要求说」，两步缺一不可。
课堂练习：现在去学习通完成【M5-01】【M5-02】【M5-03】。
M6：SFT 数据质量（10分钟）
两个团队都给自己的模型做 SFT：一个攒了十万条样本，大量回答从网上抓来，含糊冗长还编造接口名；另一个只精选一千条，逐条有人核对。上线后前者动不动输出半页废话，后者反而又稳又听话。你可能觉得样本越多越好——这么想在预训练阶段是对的：语料越多，底子越厚。恰恰相反：SFT 学的是示范行为，样本一半好一半坏，模型学到的就是一半好一半坏，它没有鉴别力，不会挑着学。
SFT 数据质量，说白了是编培训教材：十万页从各处扒来的讲义，对一千页逐条审校的精编手册——学员照哪本练，上岗就是哪本的样子。四个维度：事实准确（说法数据经得起查）、步骤可执行（照做能成）、格式匹配（形态符合任务）、覆盖面（任务类型贴近真实用户）。2023 年 LIMA 论文给出硬证据：650 亿参数底座上只用 1000 条精挑样本做 SFT，指令跟随表现可与数万条样本训练的产品竞争——标题就是结论：少而精胜过多而杂。前提要说清：底座已充分预训练，能力早在参数里，SFT 只是把行为校准出来。
四个边界：质量不排斥数量——能力不足的小底座给一千条样本也变不出能力，先预训练攒能力，再精样本定行为；「看起来专业」不是质量标准，事实可查、步骤可复跑才是；覆盖面窄同样危险，只见过简答的模型遇到表格、多轮追问会不稳；数据里必须有「不该答的拒答样例」，只教答题不教拒答的模型不完整。
一句心法：预训练攒能力，SFT 定行为——教材干净，学员才像样。
课堂练习：现在去学习通完成【M6-01】【M6-02】【M6-03】。
课后作业
- 【作业-01】大模型知识边界测试：设计 5 个问题测试常用大模型的知识边界，记录提示词、回答、错误类型和核验来源，截止下节课前一天 22:00。
- 设计抓手（任选其一开始）：时间敏感问题（问训练截止后的新闻、新品、政策）、冷门事实问题（小众文献、图书、API）、易编造的细节问题（页码、人名、数据），三类各备若干。
- 最小示例——测试问题：「请列出 2026 年 9 月以来新发布的大模型并给出参数规模」；预期观察：模型给出过时列表或编造型号，记录错误类型（知识截止/幻觉），并附核验来源链接。