个人研习课程 · TRANSFORMER 实现机制

从「下一词预测」
到手写完整 Transformer

十五讲,从分词到 PyTorch 实战——每一讲从一个具体问题出发,用通俗类比、过程动画、手算数值表和可运行的 Python 讲透每个模块的存在理由与数学运作,最后亲手拼出一个完整模型。

主干教材 Vizuara《The Transformers》1.1–1.24 每页代码可运行 · 可单步调试 过程动画 + 手算数值表 10 / 15 讲已发布 + 附录
已发布,可进入 学习中 未发布——像因果掩码一样,后面的课先"看不见"
Ⅰ

输入段

把文字变成向量:分词、嵌入、位置(第 1–6 课)

  1. 01 LLM 全景——下一词预测、缩放定律与三段架构只是猜下一个词而已,凭什么智能? 已发布
  2. 02 分词与 BPE——词表是怎么从语料里长出来的模型眼里的"词",到底从哪来? 已发布
  3. 03 中文怎么办——没有空格的语言怎么过 tokenizer 这一关 补充课没有空格的中文,模型怎么下刀切? 已发布
  4. 04 词嵌入——意思如何变成几何"意思"怎么变成可以计算的向量? 已发布
  5. 05 余弦相似度——把"像不像"变成一个数 补充课两个向量"像不像",怎么量成一个数? 已发布
  6. 06 位置编码——整数、二进制与正弦波注意力天生不认顺序,词袋怎么破? 已发布
Ⅱ

处理器

从注意力诞生到完整 block(第 7–12 课)

  1. 07 自注意力 I——注意力的诞生与 Q/K/V 投影RNN 有瓶颈、LSTM 有死穴,然后呢? 已发布
  2. 08 自注意力 II——打分、缩放与 softmax一句话之内,谁该看谁、看多少? 已发布
  3. 09 因果注意力——掩码、数据泄漏与 dropout训练时偷看未来,会出什么事? 已发布
  4. 10 多头注意力——一个头一种眼光一套 Q/K/V 打出的一种分数,照顾得过来吗? 已发布
  5. 11 LayerNorm 与残差——深网络的稳定器网络越深越不稳,谁来做稳定器? 未发布
  6. 12 前馈网络——每个 token 的私人 MLP 与 GELU注意力都干了,FFN 还要干嘛? 未发布
Ⅲ

整合与实战

全景、手拼、真训练(第 13–15 课)

  1. 13 全景与权衡——为什么赢了 RNN/CNN、预训练与局限注意力全赢了,还有输给 RNN 的地方吗? 未发布
  2. 14 实战——numpy 手拼迷你 Transformer 前向零件全齐了,能拼成一台发动机吗? 未发布
  3. 15 T4 实战——PyTorch 迷你序列分类器纸上谈完,真刀真枪训练一次呢? 未发布
附

附录

随时可看;课程完结后作为总复习站

  1. 附 Transformer 全景图——跟着一句话走完一趟前向零件各自都见过了,整台机器到底怎么转? 已发布

参考

术语表与速查卡将随课程发布