NLP 自然语言处理大模型基础必备

大模型用得越多，越容易露怯的地方不是提示词写得好不好，而是当效果不对时，你根本说不清是数据的问题、表示的问题，还是检索的问题。这门课解决的就是这个：把 NLP 的底层环节补齐，让你在调模型、做检索、跑分类任务时，知道每一步在干什么。

先确认一下，你是不是缺这几块

如果你符合下面任意一条，这门课的顺序基本就是为你排的：

• 能调 API 跑通对话，但看到"分词""词向量""停用词"这些词只能点头，说不出所以然。
• 做文本分类、情感判断时，第一反应是直接丢给大模型，没想过传统方法在什么场景下更稳、更便宜。
• 想上手 RAG，但检索出来的内容总是答非所问，不知道是该改切分、改向量模型，还是改召回策略。
• 听说过微调，但分不清微调和 RAG 各自解决什么问题，什么时候该用哪个。
• 中文文本处理时被繁简、分词歧义、停用词表坑过，却一直靠试错解决。

这些缺口有个共同点：它们都发生在"文本变成模型能吃的数字"这一段。大模型把这步藏起来了，藏起来不等于不存在，出问题时它照样找你。

这门课从哪儿切进去

起点是中文文本的清洗与切分。分词、停用词过滤、词性标注、繁简转换这些操作看着基础，但中文没有天然空格，分词结果直接决定后面所有环节的输入质量。很多人做 RAG 效果差，根子就在切分粒度上。

接着是文本表示。One-hot、词袋、N-gram 到 Word2Vec、GloVe，这条线不是历史陈列，而是让你理解"为什么稠密向量能表达语义"以及"为什么它仍有局限"。理解了这层，再看句向量模型和向量数据库，就不是黑盒了。

再往上是具体任务：情感分析、新闻多分类、垃圾短信识别、简易机器翻译、短文摘要、智能问答。这些任务规模不大，但覆盖了分类、生成、检索三类典型范式，练手成本低，反馈快。

和大模型那部分怎么接上

课程后半段落在两件事上：微调小模型，以及 RAG 入门。

微调部分重点关注的是"什么任务值得微调、数据怎么准备、效果怎么判断"，而不是堆参数。RAG 部分则把检索、召回、拼接、生成这条链路拆开讲，让你能定位问题出在哪一环。这两块和前面的词向量、文本表示是连着的——检索的本质就是向量相似度，微调的本质是让表示更贴合你的任务。

所以这门课的定位不是"教你训一个大模型"，而是让你具备判断力和动手能力：面对一个文本任务，能选对路子，能在效果不好时找到原因。

配套练习会逼你回答的问题

练习不是走流程，做完之后你应该能回答下面这些：

• 同一段中文，不同分词工具的结果差异在哪里，对下游任务影响有多大？
• 词袋和词向量各自的适用边界是什么，什么时候用哪个更划算？
• 一个情感分类任务，用传统方法和大模型分别做，成本和效果差多少，怎么取舍？
• RAG 检索结果不准，你会按什么顺序排查：切分、向量模型、召回数量还是提示词？
• 微调和 RAG 都能改善效果，给定一个具体场景，你选哪个，理由是什么？

能把这些说清楚，说明你不是在调包，而是在做工程判断。这也是这门课最想留下的东西。

建议的学法：前置的文本处理部分别跳，哪怕觉得简单，也动手跑一遍中文语料；任务部分挑一到两个和你工作相关的做透；最后把 RAG 那条链路自己搭一次，哪怕只用小规模数据。缺什么补什么，别假装什么都会——这句话在这门课上尤其适用。