直击多模态阅读与复现痛点
在多模态领域，前沿论文更新极快，模型架构迭代迅速，许多学习者陷入“看懂图示但读不懂公式”或“理解原理但无法复现代码”的困境。这门课程精准填补这一缺口，聚焦计算机视觉与自然语言处理交叉领域的核心算法，不追求罗列所有最新模型，而是深入拆解 Transformer 演进、视觉基础模型及跨模态对齐机制等经典且通用的架构。它并非泛泛而谈的 AI 通识课，而是面向具备 Python 基础、熟悉 PyTorch 基本操作，但缺乏独立阅读顶会论文经验的学习者。如果你刚入门深度学习，建议先补齐线性代数与反向传播原理，再进入本课程内容，否则会在推导损失函数时感到吃力。课程旨在打通从数学直觉到工程实现的最后一公里，让你不再依赖二手解读，而是具备直接研读英文原著的能力。
建议学习路径与重点突破
建议按“架构基石—跨模态映射—代码验证”的顺序学习。首先攻克“Transformer 架构演进”模块，重点理解 Self-Attention 在不同模态中的变体，这是读懂绝大多数多模态大模型的基石。接着进入“视觉基础模型”章节，通过 MAE 等自监督学习案例，掌握如何利用预训练数据提升模型鲁性，理解掩码重建背后的逻辑。随后深入“跨模态对齐算法”，重点分析 CLIP 及其改进版中图文匹配的损失函数设计，理清向量空间中的语义映射原理。每个模块结束后，必须立即配合代码进行复现，不要试图看完所有视频再动手。学完后，你应能独立拆解一篇多模态 SOTA 论文，快速判断其网络结构、数据增强策略及训练技巧，并能编写基础复现代码进行消融实验，通过打印中间张量验证梯度流动。
资料配合与实操落地
课程配套代码资源应与视频内容严格对应，采取“边看边敲”的练习方式。不要仅靠记忆公式，动手调试代码是内化知识的最快路径。每学完一个模型架构，立即下载对应代码，在本地配置依赖，逐层运行。遇到报错是必经环节，通过解决报错强化对反向传播和内存管理的理解。若时间紧迫，可先运行提供的预训练权重进行推理，再逐步替换为自己微调的权重，对比输出差异。切忌只看不练，仅靠观看视频无法掌握工程细节。通过这种高强度的实操循环，你将建立起从论文公式到可运行 Demo 的完整链路，真正具备独立跟进多模态前沿研究的能力，而不仅仅是被动接受现成的结论。
课程介绍
【深度之眼】人工智能Paper年度会员（多模态方向）视频教程，。深度学习算法模型，实现代码复现。一手掌握人工智能！
课程目录
├── 1-1_大模型——前沿论文带读训练营（NLP方向）/ │ └── [ 233] 1-1_资料合集 ├── 1-2_大模型——前沿论文带读训练营（NLP方向）/ │ └── [ 233] 1-1_资料合集 ├── 1-3_02多模态—二期课程/ │ ├── [ 233] 1-1_课件资料 │ ├── [119M] 1-2_补充课程-GPT-4 │ ├── [ 67M] 1-3_11VQA论文泛读1 │ ├── [ 69M] 1-4_12VQA论文泛读2 │ ├── [ 75M] 1-5_13VQA3论文泛读3 │ └── [146M] 1-6_14VQA论文泛读4论文精读 ├── 1-4_01多模态-baseline/ │ ├── [ 259] 1-1_课件资料合集 │ ├── [170M] 1-2_11CLIP-论文泛读（体验课直播回放） │ ├── [279M] 1-3_12CLIP-论文精读（体验课直播回放） │ ├── [ 80M] 1-4_13CLIP-代码复现 │ ├── [2.6G] 1-5_21DeepVisual-Semanti-论文泛读 │ ├── [1.4G] 1-6_22DeepVisual-Semanti-论文精读1 │ ├── [1.3G] 1-7_23DeepVisual-Semanti-论文精读2 │ ├── [ 12M] 1-8_24DeepVisual-Semanti-代码复现1 │ ├── [ 48M] 1-9_25DeepVisual-Semanti-代码复现2 │ ├── [ 76M] 1-10_26DeepVisual-Semanti-代码复现3 │ ├── [1.4G] 1-11_31ShowandTell-论文泛读 │ ├── [580M] 1-12_32ShowandTell-论文精读 │ ├── [ 42M] 1-13_33ShowandTell-代码复现 │ ├── [533M] 1-14_41showAttenendandTell论文泛读 │ ├── [309M] 1-15_42showAttenendandTell论文精读1 │ ├── [877M] 1-16_43showAttenendandTell论文精读2 │ ├── [ 26M] 1-17_44showAttenendandTell代码复现1 │ ├── [ 72M] 1-18_45showAttenendandTell代码复现2 │ ├── [ 40M] 1-19_51ImageCaptioning论文泛读1 │ ├── [ 11M] 1-20_52ImageCaptioning论文泛读2 │ ├── [ 61M] 1-21_53ImageCaptioning论文精读1 │ ├── [ 42M] 1-22_54ImageCaptioning论文精读2 │ ├── [578M] 1-23_55ImageCaptioning代码讲解1 │ ├── [342M] 1-24_56ImageCaptioning代码讲解2 │ ├── [2.9G] 1-25_61densecaption论文泛读 │ ├── [1.0G] 1-26_62densecaption论文精读 │ ├── [1.8G] 1-27_63densecaption代码讲解 │ ├── [535M] 1-28_71KnowingWhentoLook论文泛读 │ ├── [1.1G] 1-29_72KnowingWhentoLook论文精读 │ ├── [2.0G] 1-30_73KnowingWhentoLook代码讲解 │ ├── [710M] 1-31_81SCA-CNN论文泛读 │ ├── [1.2G] 1-32_82SCA-CNN论文精读 │ ├── [284M] 1-33_83SCA-CNN代码讲解 │ ├── [651M] 1-34_91bottom-up论文泛读 │ ├── [845M] 1-35_92bottom-up论文精读 │ ├── [911M] 1-36_93bottom-up代码讲解 │ ├── [969M] 1-37_101evaluate论文泛读 │ ├── [566M] 1-38_102evaluate论文精读 │ ├── [343M] 1-39_103evaluate代码讲解 │ ├── [116M] 1-40_111NeuralBabyTalk论文泛读 │ ├── [861M] 1-41_112NeuralBabyTalk论文精读 │ └── [803M] 1-42_113NeuralBabyTalk代码讲解 ├── 1-5_03数学基础/ │ ├── [ 216] 1-1_PDF课件合集 │ ├── [ 23M] 1-2_【第一章】-1导读课 │ ├── [ 75M] 1-3_【第一章】-2矩阵的基本概念和运算性质 │ ├── [115M] 1-4_【第一章】-3矩阵的逆，转置和对称转置 │ ├── [ 80M] 1-5_【第一章】-4行列式的计算 │ ├── [ 97M] 1-6_【第一章】-5特殊矩阵的行列式与行列式的性质 │ ├── [ 82M] 1-7_【第一章】-6行列式按行列展开，代数余子式 │ ├── [ 20M] 1-8_【第一章】-7行列式的应用：克莱姆法则 │ ├── [111M] 1-9_【第一章】-8矩阵的逆的引入 │ ├── [ 73M] 1-10_【第一章】-9常用矩阵性质与特殊矩阵的逆 │ ├── [ 60M] 1-11_【第一章】-10分块矩阵 │ ├── [144M] 1-12_【第二章】-1初等变换引入+三种矩阵初等变换以及三种初等矩阵以及矩阵标准型 │ ├── [ 52M] 1-13_【第二章】-2初等变换的性质以及逆矩阵的另一种简单求法 │ ├── [137M] 1-14_【第二章】-3矩阵秩的定义和性质以及线性方程组解的个数 │ ├── [ 56M] 1-15_【第二章】-4矩阵的秩在线性回归算法中的应用 │ ├── [132M] 1-16_【第二章】-5向量的线性相关线性无关于可逆矩阵的关系+向量的内积范数正交规范正交基 │ ├── [ 89M] 1-17_【第二章】-6施密特规范正交化+特征值特征向量定义直观意义+特征值特征向量求法与常用性质 │ ├── [118M] 1-18_【第二章】-7施密特规范正交化+特征值特征向量定义直观意义+特征值特征向量求法与常用性质 │ ├── [117M] 1-19_【第二章】-8相似矩阵以及矩阵对角化+矩阵对角化的条件以及对称矩阵的对角化 │ ├── [ 67M] 1-20_【第二章】-9对角化在压缩算法的应用+二次型矩阵正定性+矩阵正定性在线性回归算法应用（上） │ ├── [ 75M] 1-21_【第二章】-10对角化在压缩算法应用+二次型矩阵正定性+矩阵正定性在线性回归算法应用（下） │ ├── [127M] 1-22_【第二章】-11SVD分解的应用 │ ├── [143M] 1-23_【第三章】-1常用函数的导数以及到导数的常用公式，复合函数求导 │ ├── [136M] 1-24_【第三章】-2中值定理洛必达法则泰勒公式及应用 │ ├── [269M] 1-25_【第三章】-3函数的凹凸性函数的极值 │ ├── [158M] 1-26_【第三章】-4不定积分 │ ├── [168M] 1-27_【第三章】-5定积分 │ ├── [122M] 1-28_【第三章】-6偏导数多元函数复合求导法则链式求导法则 │ ├── [ 224] 1-28_【第三章】-6偏导数多元函数复合求导法则链式求导法则_详情页 │ ├── [301M] 1-29_【第三章】-7方向导数与梯度及其应用 │ ├── [211M] 1-30_【第三章】-8多元函数泰勒公式与海森矩阵多元函数的极值 │ ├── [241M] 1-31_【第三章】-9矩阵的求导 │ ├── [283M] 1-32_【第三章】-10矩阵的求导在深度学习中的应用 │ ├── [312M] 1-33_【第四章-上】-1随机实验样本空间随机事件概率的定义条件概率与乘法公式 │ ├── [225M] 1-34_【第四章-上】-2全概率公式与贝叶斯公式及应用独立性 │ ├── [127M] 1-35_【第四章-上】-3随机变量与多维随机变量 │ ├── [115M] 1-36_【第四章-上】-4期望与方差（上） │ ├── [100M] 1-37_【第四章-上】-5期望与方差（下） │ ├── [132M] 1-38_【第四章-上】-6参数的估计 │ ├── [120M] 1-39_【第四章-下】-1无约束最优化梯度下降 │ ├── [108M] 1-40_【第四章-下】-2无约束最优化牛顿法 │ └── [ 93M] 1-41_【第四章-下】-3约束最优化 ├── 1-6_01Python·AI数据科学入门/ │ ├── [1.2K] 1-1_【资料合集】代码、数据及课件下载地址 │ ├── [ 56M] 1-2_第一章绪论和环境配置 │ ├── [3.1K] 1-2_第一章绪论和环境配置_详情页 │ ├── [229M] 1-3_【作业讲解】第一章：助教实际演示配置环境过程 │ ├── [ 372] 1-3_【作业讲解】第一章：助教实际演示配置环境过程_详情页 │ ├── [147M] 1-4_第二章Python基本语法元素 │ ├── [1.8K] 1-4_第二章Python基本语法元素_详情页 │ ├── [381M] 1-5_【作业讲解】第二章：Python基本语法元素 │ ├── [ 647] 1-5_【作业讲解】第二章：Python基本语法元素_详情页 │ ├── [117M] 1-6_第三章基本数据类型 │ ├── [2.2K] 1-6_第三章基本数据类型_详情页 │ ├── [440M] 1-7_【作业讲解】第三章：基本数据类型 │ ├── [ 794] 1-7_【作业讲解】第三章：基本数据类型_详情页 │ ├── [120M] 1-8_第四章组合数据类型 │ ├── [2.0K] 1-8_第四章组合数据类型_详情页 │ ├── [591M] 1-9_【作业讲解】第四章：复杂数据类型 │ ├── [ 923] 1-9_【作业讲解】第四章：复杂数据类型_详情页 │ ├── [105M] 1-10_第五章程序控制结构 │ ├── [2.1K] 1-10_第五章程序控制结构_详情页 │ ├── [ 34M] 1-11_【作业讲解】第五章：程序控制结构 │ ├── [1.1K] 1-11_【作业讲解】第五章：程序控制结构_详情页 │ ├── [163M] 1-12_第六章函数-面向过程的编程 │ ├── [3.5K] 1-12_第六章函数-面向过程的编程_详情页 │ ├── [ 60M] 1-13_【作业讲解】第六章：函数 │ ├── [1.2K] 1-13_【作业讲解】第六章：函数_详情页 │ ├── [101M] 1-14_第七章类-面向对象的编程 │ ├── [1.7K] 1-14_第七章类-面向对象的编程_详情页 │ ├── [ 40M] 1-15_【作业讲解】第七章：类 │ ├── [1.1K] 1-15_【作业讲解】第七章：类_详情页 │ ├── [153M] 1-16_第八章文件、异常和模块 │ ├── [2.0K] 1-16_第八章文件、异常和模块_详情页 │ ├── [ 16M] 1-17_【作业讲解】第八章：文件、异常和模块 │ ├── [ 942] 1-17_【作业讲解】第八章：文件、异常和模块_详情页 │ ├── [159M] 1-18_第九章有益的探索 │ ├── [2.1K] 1-18_第九章有益的探索_详情页 │ ├── [ 39M] 1-19_【作业讲解】第九章：有益的探索 │ ├── [113M] 1-20_第十章Python标准库 │ ├── [1.9K] 1-20_第十章Python标准库_详情页 │ ├── [ 19M] 1-21_【作业讲解】第十章：Python标准库 │ ├── [1.1K] 1-21_【作业讲解】第十章：Python标准库_详情页 │ ├── [104M] 1-22_第十一章科学计算库—Numpy应用 │ ├── [2.1K] 1-22_第十一章科学计算库—Numpy应用_详情页 │ ├── [220M] 1-23_【作业讲解】第十一章：Numpy库 │ ├── [1.1K] 1-23_【作业讲解】第十一章：Numpy库_详情页 │ ├── [188M] 1-24_第十二章Pandas库 │ ├── [2.1K] 1-24_第十二章Pandas库_详情页 │ ├── [204M] 1-25_【作业讲解】第十二章：Pandas库 │ ├── [1.1K] 1-25_【作业讲解】第十二章：Pandas库_详情页 │ ├── [127M] 1-26_第十三章Matplotlib │ ├── [260M] 1-27_【作业讲解】第十三章：Matplotlib │ ├── [ 73M] 1-28_第十四章Sklearn常规用法 │ ├── [2.1K] 1-28_第十四章Sklearn常规用法_详情页 │ ├── [335M] 1-29_【作业讲解】第十四章：Sklearn常规用法 │ ├── [1.1K] 1-29_【作业讲解】第十四章：Sklearn常规用法_详情页 │ └── [ 91M] 1-30_第十五章再谈编程 ├── 1-7_02PyTorch/ │ ├── 深度之眼人工智能Paper年度会员 │ ├── [1.7K] 1-1_【资料合集】课件及代码百度云盘下载地址 │ ├── [381M] 1-2_【必看】深入浅出PyTorch │ ├── [ 159] 1-2_【必看】深入浅出PyTorch_详情页 │ ├── [101M] 1-3_【第一周】PyTorch简介与安装 │ ├── [8.5K] 1-3_【第一周】PyTorch简介与安装_详情页 │ ├── [896M] 1-4_【第一周】补充-pytorch开发环境安装 │ ├── [6.7K] 1-4_【第一周】补充-pytorch开发环境安装_详情页 │ ├── [174M] 1-5_【第一周】张量简介与创建 │ ├── [8.2K] 1-5_【第一周】张量简介与创建_详情页 │ ├── [101M] 1-6_【第一周】张量操作与线性回归 │ ├── [8.1K] 1-6_【第一周】张量操作与线性回归_详情页 │ ├── [ 59M] 1-7_【第一周】计算图与动态图机制 │ ├── [7.9K] 1-7_【第一周】计算图与动态图机制_详情页 │ ├── [ 98M] 1-8_【第一周】autograd与逻辑回归 │ ├── [8.3K] 1-8_【第一周】autograd与逻辑回归_详情页 │ ├── [106M] 1-9_【第一周】作业讲解1 │ ├── [ 167] 1-9_【第一周】作业讲解1_详情页 │ ├── [138M] 1-10_【第一周】作业讲解2 │ ├── [110M] 1-11_【第一周】作业讲解3 │ ├── [ 85M] 1-12_【第二周】数据读取机制Dataloader与Dataset │ ├── [7.6K] 1-12_【第二周】数据读取机制Dataloader与Dataset_详情页 │ ├── [ 81M] 1-13_【第二周】数据预处理transforms模块机制 │ ├── [7.4K] 1-13_【第二周】数据预处理transforms模块机制_详情页 │ ├── [176M] 1-14_【第二周】二十二种transforms数据预处理方法 │ ├── [7.0K] 1-14_【第二周】二十二种transforms数据预处理方法_详情页 │ ├── [196M] 1-15_【第二周】学会自定义transforms方法 │ ├── [7.2K] 1-15_【第二周】学会自定义transforms方法_详情页 │ ├── [393M] 1-16_【第二周】作业讲解 │ ├── [ 89M] 1-17_【第三周】模型创建步骤与nnModule │ ├── [7.9K] 1-17_【第三周】模型创建步骤与nnModule_详情页 │ ├── [ 96M] 1-18_【第三周】模型容器与AlexNet构建 │ ├── [8.6K] 1-18_【第三周】模型容器与AlexNet构建_详情页 │ ├── [107M] 1-19_【第三周】nn网络层-卷积层 │ ├── [ 10K] 1-19_【第三周】nn网络层-卷积层_详情页 │ ├── [ 96M] 1-20_【第三周】nn网络层-池化-线性-激活函数层 │ ├── [ 11K] 1-20_【第三周】nn网络层-池化-线性-激活函数层_详情页 │ ├── [223M] 1-21_【第三周】作业讲解 │ ├── [ 95M] 1-22_【第四周】权值初始化 │ ├── [9.6K] 1-22_【第四周】权值初始化_详情页 │ ├── [161M] 1-23_【第四周】损失函数（一） │ ├── [ 11K] 1-23_【第四周】损失函数（一）_详情页 │ ├── [166M] 1-24_【第四周】损失函数(二) │ ├── [9.3K] 1-24_【第四周】损失函数(二)_详情页 │ ├── [102M] 1-25_【第四周】优化器optimizer的概念 │ ├── [8.9K] 1-25_【第四周】优化器optimizer的概念_详情页 … 其余 98 项略，目录共 298 项
