🧠 神经网络与 Transformer · 动手体验馆

《AIGC应用与实践》第 2 次课 · 五个实验站,每个都能亲手玩

实验 1神经元投票机:它到底会不会"说话"?

一个神经元就是一个爱投票的小组:收到 3 条消息(输入),按每条消息的可信度(权重)加权,总分过了及格线(阈值)就开口说话(激活),否则保持沉默。

8
5
7
0.9
0.4
0.1
7
💤
🤔 想一想(跟同桌讨论 30 秒)
① 把"谣言"的权重调到 10,会发生什么?这说明权重决定了一个输入的话语权。 ② 神经网络越深越聪明,其实就是很多个这样的小组层层投票:第一层看出"明暗边缘",第二层拼出"五官",第三层认出"这是一张脸"。

实验 2传话游戏模拟器:老一代 AI 为什么会"忘事"?

RNN 读句子就像排队传话:一个人传给下一个人,每传一次就可能丢一块信息。调大"人数"和"丢失概率",亲眼看句子怎么烂掉的。

5
25%
🤔 想一想
① 丢掉的往往是句子开头还是结尾?为什么"今晚七点"这种关键信息丢了最要命? ② Transformer 的解法:不开传话会,直接开全班大会——所有人同时看到完整句子,谁重要就看谁。这就是下一站"注意力"要干的事。

对照Transformer 模式:全班大会

原句(每个人同时看到):

没有传递、没有丢失——这就是 Transformer 能处理长句子、长文章的根本原因。

实验 3注意力打分器:AI 怎么猜中 bank 的意思?

点击句子里任何一个词,看看 AI 在理解它时,会给句子里的其他词打多少"关注度分"。同一个 bank,邻居不同,含义就不同。

句子 A

句子 B

🤔 想一想
① 句 A 里给 bank 打分最高的是哪个词?句 B 里呢?——上下文不同,注意力分配完全不同,这就是 AI"听懂人话"的秘密。 ② 试着点击 He、sat、river,看看 AI 理解每个词时"看"的地方都不一样。 ③ 注意力不是"多看几遍",而是给重要的词打高分、给不重要的打低分——跟班长选举打分一个道理(下一站)。

实验 4班长选举实验:给不同的候选人"分配注意力"

班里 4 位候选人,各有特长。任务不同,你"打分"的侧重就不同——调整 4 个打分旋钮,看谁当选。这就是注意力机制在做的事。

5
5
5
5
🤔 想一想
同一个班、同一批人,任务一换,得分就全变了。注意力机制也一样:同一个词(比如 bank),上下文一换(任务一换),它给周围词打的分就完全不同。AI 里没有"标准答案的权重",只有"当前这个任务下的权重"。

挑战快测 5 题:玩完就测,看看你吸收了多少

做完 5 题会出总分。答错没关系,错题会告诉你原因——课堂上老师会讲评。