从“调包侠”到懂原理：补齐多模态落地的底层缺失

很多人学多模态 AI，上来就盯着 Transformer 架构或视觉编码器背概念，结果遇到实际问题时一头雾水。这门课解决的核心痛点是：在多模态开发前，先打通机器学习与深度学习的通用底层逻辑。很多学员卡壳不是因为模型太新，而是基础不牢——比如不懂梯度下降的本质、不知道过拟合在数据分布偏移时如何表现、不清楚损失函数是如何驱动模型收敛的。第 1 周重点梳理常见机器学习任务与算法，不是让你背诵所有模型，而是建立“任务类型—算法选择—评估指标”的映射思维。这正是缺什么补什么的关键一步：先搞清楚“为什么用这个方法”，再谈“怎么实现它”。如果你发现自己只能跑通现成的代码框架，却说不清每一行背后的数学含义，那么这门课正是为你设计的入门基石。

适合谁看？学习顺序与资料用法建议

本课程适合两类人群：一是有一定编程基础但理论薄弱的转岗学习者，希望系统补齐 ML/DL 知识断层；二是已经会调库但想深入理解原理，避免“黑盒依赖”的工程开发者。建议的学习门槛是：具备 Python 基础语法能力，了解基本的矩阵运算和导数概念。如果这些基础尚显生疏，建议先补充相关前置内容再进入正题。学习路径上，务必先看第 0 周的开营直播和答疑回放，了解整体框架和常见坑点，这能帮你建立全局视野；然后进入第 1 周，重点掌握课程概述和各任务类型对应的算法差异。配套资料中的直播答疑部分含金量很高，建议遇到问题时先回看往期答疑，再针对性提问。不要只看不练，每节课后都要动手复现核心算法的小样例，比如用 NumPy 从零实现一个线性回归，这是检验是否真正理解的最佳标准。

学完能做什么？如何配合练习巩固能力

完成本阶段学习后，你将能够独立分析一个简单的多模态任务需求，判断其属于分类、回归还是生成问题，并选择合适的基础算法进行初步建模。更重要的是，你能听懂后续进阶课程中关于模型结构设计的讲解，不再被术语吓住，能够清晰描述不同损失函数对训练结果的影响。建议练习方式：每节课后复现至少一个核心算法的小样例，并在答疑环节提交遇到的问题。这种“理论—实现—反馈”的闭环，是真正内化知识、形成独立解决问题能力的唯一路径。切记，多模态是大势所趋，但地基打得越牢，后续搭建应用时才会越稳定。不要急于求成，先把第 1 周的内容吃透，确保每一个基本概念都能用自己的话解释清楚，这才是为未来挑战复杂项目打下坚实根基的必要投入。

课程介绍

QQ_1776652449695.png 2026-4-20 10:37 上传 QQ_1776652383737.png 2026-4-20 10:37 上传 ├──第0周：直播答疑+开营直播回放 | ├──0-1 开营直播回放.ts_ev.mp4 149.76M | ├──0-2 直播答疑-20251025.ts_ev.mp4 97.08M | ├──0-3 直播答疑-20251108.ts_ev.mp4 145.30M | └──0-4 直播答疑-20251122.ts_ev.mp4 233.97M ├──第1周：机器学习与深度学习基础（上） | ├──1-1 课程概述.ts_ev.mp4 66.39M | ├──1-2 常见机器学习任务与算法：机器学习任务类型.ts_ev.mp4 57.09M | ├─

课程目录

QQ_1776652449695.png   2026-4-20 10:37 上传 QQ_1776652383737.png   2026-4-20 10:37 上传 ├──
第0周：直播答疑+开营直播回放 | ├──0-1 开营直播回放.ts_ev.mp4 149.76M | ├──0-2 直播答疑-20251025.ts_ev.mp4 97.08M | ├──0-3 直播答疑-20251108.ts_ev.mp4 145.30M | └──0-4 直播答疑-20251122.ts_ev.mp4 233.97M ├──
第1周：机器学习与深度学习基础（上） | ├──1-1 课程概述.ts_ev.mp4 66.39M | ├──1-2 常见机器学习任务与算法：机器学习任务类型.ts_ev.mp4 57.09M | ├──1-3 常见机器学习任务与算法：机器学习十大算法.ts_ev.mp4 111.67M | ├──1-4 常见机器学习任务与算法：机器学习的任务步骤.ts_ev.mp4 91.38M | ├──1-5 深度学习任务版图.ts_ev.mp4 75.26M | └──1-6 深度学习算法.ts_ev.mp4 71.32M ├──
第2周：机器学习与深度学习基础（下） | ├──2-1 深度学习训练要素.ts_ev.mp4 101.57M | ├──2-2 强化学习最小闭环.ts_ev.mp4 121.43M | ├──2-3 PyTorch基础与工程要素.ts_ev.mp4 51.20M | └──2-4 实战：电商SKU卡生成.ts_ev.mp4 91.31M ├──
第3周：大模型微调与落地（上） | ├──3-1 大模型的演进历史（一）.ts_ev.mp4 87.85M | ├──3-2 大模型的演进历史（二）.ts_ev.mp4 87.96M | ├──3-3 从AI到AGI到ASI（一）.ts_ev.mp4 84.49M | ├──3-4 从AI到AGI到ASI（二）.ts_ev.mp4 81.62M | └──3-5 Transformer核心原理.ts_ev.mp4 122.07M ├──
第4周：大模型微调与落地（下） | ├──4-1 Transformer核心原理的演示.ts_ev.mp4 231.80M | ├──4-2 知识工程与多模态RAG.ts_ev.mp4 131.42M | ├──4-3 微调方法与参数高效训练（一）.ts_ev.mp4 113.99M | ├──4-4 微调方法与参数高效训练（二）.ts_ev.mp4 100.23M | ├──4-5 提示词工程和模型压缩优化.ts_ev.mp4 94.95M | └──4-6 实战：可溯源的问答助手.ts_ev.mp4 77.04M ├──
第5周：多模态全景认知 | ├──5-1 多模态的定义与边界.ts_ev.mp4 46.90M | ├──5-2 多模态数据与表征.ts_ev.mp4 74.60M | ├──5-3 多模态模型架构.ts_ev.mp4 64.79M | ├──5-4 多模态任务类型.ts_ev.mp4 30.91M | ├──5-5 多模态应用场景.ts_ev.mp4 54.26M | ├──5-6 多模态实战.ts_ev.mp4 167.53M | └──5-7 音频模态扩展.ts_ev.mp4 25.07M ├──
第6周：虚拟人生成与交互技术 | ├──6-1 虚拟人生成全景.ts_ev.mp4 45.67M | ├──6-2 图像生成与条件控制（一）.ts_ev.mp4 134.66M | ├──6-3 图像生成与条件控制（二）.ts_ev.mp4 107.45M | ├──6-4 虚拟人的大脑.ts_ev.mp4 130.88M | ├──6-5 虚拟人的声音情感.ts_ev.mp4 150.69M | ├──6-6 虚拟人的口型与驱动.ts_ev.mp4 149.67M | ├──6-7 虚拟人直播.ts_ev.mp4 45.19M | └──6-8 虚拟人案例实操.ts_ev.mp4 109.57M ├──
第7周：多模态 OCR 与智能翻译链路 | ├──7-1 OCR的全景认知.ts_ev.mp4 69.00M | ├──7-2 传统OCR技术机制.ts_ev.mp4 118.68M | ├──7-3 生成式与Transformer式OCR（一）.ts_ev.mp4 96.52M | ├──7-4 生成式与Transformer式OCR（二）.ts_ev.mp4 89.87M | ├──7-5 版面与表格结构解析.ts_ev.mp4 119.49M | ├──7-6 手写OCR与多语种.ts_ev.mp4 103.73M | └──7-7 OCR到翻译链路与RAG落地.ts_ev.mp4 79.82M └──资料 | ├──【资料】多模态大模型训练营.z01 700.00M | ├──【资料】多模态大模型训练营.z02 700.00M | ├──【资料】多模态大模型训练营.z03 700.00M | ├──【资料】多模态大模型训练营.z04 700.00M | ├──【资料】多模态大模型训练营.z05 700.00M | ├──【资料】多模态大模型训练营.z06 700.00M | ├──【资料】多模态大模型训练营.z07 700.00M | ├──【资料】多模态大模型训练营.z08 700.00M | ├──【资料】多模态大模型训练营.z09 700.00M | ├──【资料】多模态大模型训练营.z10 700.00M | ├──【资料】多模态大模型训练营.z11 700.00M | ├──【资料】多模态大模型训练营.z12 700.00M | ├──【资料】多模态大模型训练营.z13 700.00M | ├──【资料】多模态大模型训练营.z14 700.00M | ├──【资料】多模态大模型训练营.z15 700.00M | ├──【资料】多模态大模型训练营.z16 700.00M | ├──【资料】多模态大模型训练营.z17 700.00M | ├──【资料】多模态大模型训练营.z18 700.00M | ├──【资料】多模态大模型训练营.z19 700.00M | ├──【资料】多模态大模型训练营.z20 700.00M | ├──【资料】多模态大模型训练营.z21 700.00M | ├──【资料】多模态大模型训练营.z22 700.00M | ├──【资料】多模态大模型训练营.z23 700.00M | ├──【资料】多模态大模型训练营.z24 700.00M | ├──【资料】多模态大模型训练营.z25 700.00M | ├──【资料】多模态大模型训练营.z26 700.00M | ├──【资料】多模态大模型训练营.z27 700.00M | └──【资料】多模态大模型训练营.zip 191.02M