Transformer与Bert特训2 [NLP就业小班预习课之一]

如果你已经看过 Transformer 的注意力公式，也能背出 BERT 是「双向编码器」，但一到自己动手就卡壳——位置编码怎么加、多头到底在学什么、微调时学习率该设多少——那这门特训课就是冲这些缺口来的。它不是再讲一遍科普，而是把你在面试和实际任务里会被追问的细节补齐。

先确认你缺的是哪一块

这门课适合三类人自查：一是学过深度学习基础，但 NLP 只停留在调 HuggingFace 接口的水平；二是刷过八股，能说出 Self-Attention 的计算复杂度，却讲不清它为什么比 RNN 更适合长依赖；三是准备转岗到 NLP 方向，简历上缺一个能展开讲的项目。Transformer 和 BERT 是当前大多数 NLP 岗位的默认前提，跳过它们直接做应用，遇到效果不好时往往连排查方向都没有。

先做个自测：能不能手写一个 scaled dot-product attention 的前向过程？能不能解释 BERT 的 [CLS] 向量为什么可以被拿去做分类？如果这两问有一问答不上来，说明你需要的不只是复习。

课程重点落在哪几个硬骨头上

第一阶段围绕 Transformer 展开，重点不是复述论文结构，而是把几个容易被跳过的地方讲透：位置编码为什么用正弦函数而不是直接拼接索引、残差连接和 LayerNorm 放在哪个位置会影响训练稳定性、多头注意力中不同头是否真的学到了不同的语言现象。这些点直接决定你后面能不能自己改模型结构。

第二阶段转向 BERT，聚焦架构选择与训练细节：MLM 和 NSP 两个预训练目标各自解决了什么问题、NSP 后来为什么被质疑、微调时哪些层该冻结哪些层该解冻。课程会带着看实际的训练配置，包括学习率预热、batch size 与显存的关系，这些是在文档里查不到、但动手时必踩的坑。

第三阶段是案例串联，把前面的模型知识落到具体任务上，比如文本分类、句子对匹配这类常见场景，让你知道一个完整流程从数据到评估该怎么走。

配套练习怎么用

• 边看边写：注意力机制、位置编码这类模块，建议不看参考实现自己先写一遍，再对照检查。
• 改配置做对比：微调部分可以自己调学习率和 warmup 步数，观察 loss 曲线的变化，比记住结论更有用。
• 准备一个能讲透的小项目：不追求大，但要做到能说清数据怎么处理、为什么选这个预训练模型、效果不好时你试过哪些调整。

看完应该能回答的问题

• Self-Attention 的计算复杂度来自哪里，长文本场景下有哪些替代思路？
• BERT 和 GPT 在架构和预训练目标上的根本差别是什么，各自适合什么任务？
• 微调 BERT 时，为什么通常用比预训练更小的学习率？
• 如果分类效果不达预期，你会按什么顺序排查数据和模型两侧的问题？

这四问能顺畅答出来，说明你对 Transformer 与 BERT 的掌握已经从「知道」走到了「能用」。答不上来的，正好是这门课要补的位置。