做文本模型做久了，很容易形成一种错觉：只要把语言这一路打通，剩下的知识都能靠描述补上。真上手做图文问答、图文检索、文档理解时，问题就暴露了——图像怎么切成模型能吃的序列、两路特征在什么位置对齐、训练时哪一部分该冻住，这些不是"顺便了解一下"就能过去的。这门课面向的就是这类具体的缺口：你已经会训语言模型，但还没把视觉这一路真正接进来。

先确认自己缺的是哪一块

多模态的门槛不在概念，而在几个容易含糊过去的关节。看这门课之前，可以先自测：

能不能说清视觉编码器输出的 patch 特征，是怎么和文本 token 放进同一个序列的？中间是投影层、Q-Former 还是别的桥接方式，各自代价在哪？
对比学习里正负样本怎么构造，为什么有的做法要额外引入动量编码器？
图文指令微调阶段，通常冻结哪部分参数、解冻哪部分，为什么这么选？
模型能"看图说话"，不等于真的对齐了语义——怎么判断它是在读图，还是在靠语言先验编？

如果这几条里有两条以上答不实，说明你缺的不是"多模态概览"，而是从表示、对齐到训练流程的连贯理解。这门课的分量正好落在这里。

理论部分的重心在哪

讲多模态最容易滑向两种极端：要么只堆模型架构图，要么只讲应用效果。这门课的理论线更接近前者但不止于前者——它要把视觉表示、跨模态对齐、生成式与对比式两条技术路线的分歧讲清楚。这里的关键不是记住某篇论文的结构，而是理解为什么同样是"图文匹配"，对比式做法和生成式做法在数据需求、推理方式、下游适配上的取舍完全不同。这部分看懂了，你再看新出的模型，能自己判断它属于哪一类、继承了谁的思路。

需要提醒的是，理论段落不要只当成背景知识扫过去。对齐目标、损失设计、训练阶段划分，这些直接决定你后面调试时该往哪个方向改。

实践环节要带着问题看

实践部分的价值取决于你带着什么去看。建议不要只看它跑通，而是盯住几个动作：数据是怎么组织的、预训练和指令微调怎么分阶段、评测是用什么指标衡量的。多模态项目的坑往往不在模型本身，而在数据配比和评测口径——图文对的质量、负样本的难度、评测集是否和训练分布重叠，这些都会让指标好看但实际不能用。

如果你手头正有一个图文类的小项目，可以边看边对照：你的数据量级、算力条件、目标场景，和课程里的设定差多少，哪些做法能直接搬、哪些要打折扣。

看完应该能回答的问题

视觉特征接入语言模型，有哪几种主流桥接方式，各自的参数开销和适用场景是什么？
对比式与生成式多模态模型，分别在什么任务上更有优势？
多模态训练通常分几个阶段，每个阶段冻结/解冻哪些模块，为什么？
面对一个新出的多模态模型，你能否从它的训练目标反推出它可能擅长什么、短在哪里？
做图文任务评测时，怎么设计才不至于被语言先验蒙混过去？

这五个问题能答顺，说明你不只是"听过"多模态，而是具备了自己动手搭一遍、并在出问题时知道往哪查的能力。缺哪块补哪块，从上面自测里没过的那一条开始看，比从头顺一遍更快。