从损失函数到 Transformer:补齐大模型原理的底层拼图

很多转岗或进阶的同学对大模型(LLM)只有“ChatGPT 很厉害”的感性认识,却缺乏对深度学习核心机制的数学理解。本课程正是为了解决这个“能力缺口”而设计,它不直接抛出 API,而是从 NLP 入门讲起,覆盖神经网络的基础(交叉熵、梯度下降、反向传播)、RNN 架构,直至最终的大模型原理与训练实战。适合具备 Python 基础,但需要系统梳理深度学习理论,并希望掌握模型底层逻辑的技术学习者。

按需拆解,从 DNN 到 LLM 的进阶路径

建议先从基础模块入手,重点攻克“梯度下降与反向传播”的原理实现,这是理解模型训练的核心。随后跟随 RNN 模块,掌握文字序列数据的结构与编码方式。对于基础薄弱的同学,赠送的 NLP 入门课能帮助快速建立语感;对于有基础的同学,可直奔大模型原理与实战模块,理解 Transformer 架构及训练流程。建议配合 PyTorch 代码实操,理解每一层 Loss 的计算与更新机制。

学完能做什么:构建与训练自己的模型

完成学习后,你应能独立完成从数据预处理、模型搭建、反向传播计算到模型保存的全流程。不再局限于调用现成接口,而是具备理解模型参数、调整训练策略的能力,能够独立复现基础的 NLP 模型,并具备阅读大模型源码的入门能力。

资料配合与练习建议

不要只看不练。请利用课程中的代码示例,在本地环境复现 Fashion-MNIST 神经网络训练和 RNN 文本生成。遇到 Loss 不下降或梯度爆炸的情况时,结合课程中关于动量法和 Batch Size 的讲解进行调试,这是巩固原理最有效的手段。

课程目录

【赠送】10小时NLP高效入门
01_【神经网络入门】1 SSE与二分类交叉熵损失.mp4 248.76M
02_【神经网络入门】2 二分类交叉熵的原理与实现.mp4 422.61M
03_【神经网络入门】3 多分类交叉熵的原理与实现.mp4 504.37M
04_【DNN】1 梯度下降中的两个关键问题.mp4 544.01M
05_【DNN】2.1 反向传播的原理.mp4 522.83M
06_【DNN】2.2 反向传播的实现.mp4 431.97M
07_【DNN】3 走出第一步:动量法Momentum.mp4 678.56M
08_【DNN】4 开始迭代:batch与epochs.mp4 697.78M
09_【DNN】5.1 在Fashion-MNIST数据集上实现完整的神经网络(上).mp4 522.12M
10_【DNN】5.2 在Fashion-MNIST数据集上实现完整的神经网络(下).mp4 1.03G
11_【RNN】1.1 欢迎来到NLP的世界.mp4 167.13M
12_【RNN】1.2 大模型的行业影响与发展.mp4 195.85M
13_【RNN】2.1 深度学习中的时间序列数据.mp4 131.43M
14_【RNN】2.2 文字序列数据 - 结构与分词操作.mp4 145.97M
15_【RNN】2.3 文字序列数据 - Token与编码.mp4 162.15M
16_【RNN】3.1~3.2 RNN的架构与数据流.mp4 195.07M
17_【RNN】3.3 各类NLP任务下循环神经网络的输入与输出.mp4 262.59M
18_【RNN】3.4.1 认识PyTorch中nn.RNN层.mp4 134.82M
19_【RNN】3.4.2 在PyTorch中实现RNN.mp4 158.55M
20_【RNN】3.4.3 深度神经网络的实现.mp4 177.46M
21_【RNN】3.4.4 自定义循环层中的循环数据流.mp4 97.54M
22_【RNN】3.4.5 双向循环神经网络.mp4 72.08M
23_【RNN】3.4.6【加餐】手动实现RNN执行情感分类任务.mp4 88.45M
24_【RNN】3.4.7【加餐】手动实现RNN执行文本生成任务.mp4 65.71M
25_【RNN】3.5.1 RNN反向传播的数学流程.mp4 165.70M
26_【RNN】3.5.2 RNN各类缺陷的数学本质.mp4 141.97M
【赠送】2小时从0到1训练LlaMA模型
01 环境准备与算力准备.mp4 77.12M
02 预训练微调数据集准备.mp4 68.30M
03 训练定制化Tokenizer.mp4 66.31M
04 llama-like模型的预训练(上).mp4 90.18M
05 llama-like模型的预训练(下).mp4 136.33M
06 指令微调 + 结果展示.mp4 114.79M
【赠送】python基础
Lesson 1.Hello World!.mp4 125.92M
Lesson 10.列表的常用方法(一).mp4 99.38M
Lesson 11.列表常用方法(二).mp4 29.90M
Lesson 12.元组对象的创建与索引.mp4 77.69M
Lesson 13.元组的常用方法.mp4 16.38M
Lesson 14.字典对象的创建与索引.mp4 149.67M
Lesson 15.字典的常用方法.mp4 82.48M
Lesson 16.集合的创建(新).mp4 78.17M
Lesson 17.集合的常用方法(新).mp4 98.87M
Lesson 18.冻集合的创建与使用.mp4 39.71M
Lesson 19.控制语句(一):判别语句.mp4 133.65M
Lesson 2.数值型对象的创建.mp4 29.86M
Lesson 20.控制语句(二):循环语句.mp4 138.36M
Lesson 21.控制语句(三):条件循环.mp4 73.51M
Lesson 22.函数(一):函数的使用.mp4 127.48M
Lesson 23.函数(二):函数的参数.mp4 96.07M
Lesson 24.函数(三):变量作用域与lambda函数.mp4 65.27M
Lesson 25.类的创建.mp4 169.46M
Lesson 26.类的方法和继承.mp4 134.11M
Lesson 27.NumPy基础.mp4 202.88M
Lesson 28.NumPy数组的常用方法.mp4 168.57M
Lesson 29.NumPy的广播与科学计算.mp4 221.10M
Lesson 3.数值型对象的科学运算.mp4 57.44M
Lesson 30.Pandas入门.mp4 144.90M
Lesson 31.DataFrame数据结构基础.mp4 146.67M
Lesson 4.布尔型对象.mp4 38.48M
Lesson 5.字符串型对象的创建.mp4 45.21M
Lesson 6.字符串索引.mp4 48.35M
Lesson 7.字符串的常用方法(一).mp4 89.89M
Lesson 8.字符串常用方法(二).mp4 61.61M
Lesson 9.列表对象的创建与索引.mp4 126.83M
【赠送】大模型必备PyTorch基础
Lesson 1 张量的创建与常用方法.mp4 457.35M
Lesson 2 张量的索引、分片、合并及维度调整.mp4 345.80M
Lesson 3 张量的广播和科学运算.mp4 353.68M
Lesson 4 张量的线性代数运算.mp4 456.03M
Lesson 5 基本优化方法与最小二乘法.mp4 1.56G
Lesson 6 动态计算图与梯度下降入门.mp4 1.51G
Lesson 7.1 神经网络的诞生与发展.mp4 242.32M
Lesson 7.2 机器学习中的基本概念.mp4 526.86M
Lesson 7.3 深入理解PyTorch框架.mp4 425.81M
Lesson 8.1单层回归神经网络 & Tensor新手避坑指南.mp4 827.60M
Lesson 8.2 torch.nn.Linear实现单层回归网络的正向传播.mp4 329.38M
Lesson 8.3 二分类神经网络的原理与实现.mp4 515.47M
Lesson 8.4 torch.nn.functional实现单层二分类网络的正向传播.mp4 223.61M
Lesson 8.5 多分类神经网络.mp4 550.39M
Lesson 9.1 从异或门问题认识多层神经网络.mp4 757.69M
Lesson 9.2 黑箱:深度神经网络的不可解释性.mp4 418.97M
Lesson 9.3 & 9.4 层与激活函数.mp4 271.15M
Lesson 9.5 从0实现深度神经网络的正向传播.mp4 1.01G
【赠送】大模型入门基础
01_【预习课】Lesson 1 谷歌邮箱Gmail注册.mp4 120.81M
02_【预习课】Lesson 2 OpenAI账号注册.mp4 42.82M
03_【预习课】Lesson 3 ChatGPT Plus升级流程.mp4 101.25M
04_【预习课】Lesson 4 ChatGPT防封指南.mp4 62.87M
05_Ch 1.1 OpenAI官网使用说明.mp4 197.21M
06_Ch 1.2 本地调用OpenAI API方法.mp4 99.53M
07_Ch 2.1 Completion模型与Chat模型介绍.mp4 114.97M
08_Ch 2.2 Completion.create函数参数详解.mp4 198.13M
09_Ch 2.3 Completion.create函数调参数实践.mp4 114.54M
10_Ch 2.4手动创建可调节对话风格的对话机器人创建.mp4 93.82M
11_Ch 3.1 大语言模型原生能力与涌现能力介绍.mp4 79.78M
12_Ch 3.2 提示工程技术入门.mp4 121.19M
13_Ch 4.1 One-shot&Few-shot提示方法.mp4 123.32M
14_Ch 4.2 Zero-shot-CoT提示法(新).mp4 139.45M
15_Ch 4.3Few-shot-CoT提示法.mp4 79.94M
16_Ch 4.4 LtM提示方法.mp4 118.49M
17_Ch 5.1 SCAN指令翻译项目介绍与数据集准备.mp4 172.03M
18_Ch 5.2 针对SCAN数据集的Few-shot-LtM提示工程流程.mp4 338.18M
19_Ch 5.3 SCAN指令翻译项目完整建模流程.mp4 148.01M
20_Ch 6.1 Chat Completion模型背景介绍.mp4 139.08M
21_Ch 6.2 Chat Completion模型发展现状.mp4 111.83M
22_Ch 7.1 Chat Completion模型API详解.mp4 273.97M
23_Ch 7.2 Messages参数设置技巧.mp4 183.99M
24_Ch 7.3 基于特定知识的简易问答机器人创建方法.mp4 161.88M
第一阶段 大模型顶尖架构原理精讲
00 不同基础不同目标的学习路径规划.mp4 41.94M
【LLaMA】1 LLaMA中的Decoder架构详解.mp4 138.05M
【LLaMA】2 LLaMA中的Embedding层.mp4 163.47M
【LLaMA】3 RMSNorm均方根层归一化.mp4 159.64M
【LLaMA】4 旋转位置编码ROPE.mp4 249.86M
【LLaMA】4.5 旋转位置编码的Q&A.mp4 51.66M
【LLaMA】5 KV缓存的原理与初步实现.mp4 156.24M
【LLaMA】5.5 时间复杂度、机器翻译等Q&A.mp4 85.12M
【LLaMA】原理与架构复现 Part 2.mp4 1.53G
【LLaMA】原理与架构复现 Part 3.mp4 1.10G
【LLaMA】原理与架构复现 Part 4.mp4 1.58G
【Transformer】1 Transformer与注意力机制入门.mp4 129.38M
【Transformer】10 编码器结构详解之前馈神经网络FFN.mp4 113.68M
【Transformer】11 完整Transformer结构下的解码器Decoder.mp4 150.65M
【Transformer】12 Decoder的输入与teacher forcing.mp4 247.80M
【Transformer】13 掩码与掩码注意力机制.mp4 216.11M
【Transformer】14 填充掩码与前瞻掩码的实现.mp4 223.85M
【Transformer】15 编码-解码注意力层.mp4 162.42M
【Transformer】16 Decoder-Only结构下的Decoder.mp4 177.10M
【Transformer】2 Attention注意力机制的本质.mp4 197.76M
【Transformer】3 Transformer中的注意力计算流程 & 多头注意力机制.mp4 224.63M
【Transformer】4 Transformer的基本架构.mp4 142.29M
【Transformer】5 Embedding与位置编码.mp4 203.21M
【Transformer】6 正余弦编码的数学与实用意义.mp4 200.29M
【Transformer】7 正余弦编码的实际计算与高维空间可视化.mp4 122.95M
【Transformer】8 编码器结构详解之残差链接.mp4 169.05M
【Transformer】9 编码器结构详解之Layer Normalization.mp4 120.21M
九天菜菜-【正课】大模型原理与训练实战/