NLP项目实战 — 敏感词检测2025

敏感词检测这件事，很多人第一反应是「建个词表，遍历匹配」。真放到线上跑一天，问题就来了：用户把「赌博」写成「赌*博」「赌 博」「赌bo」，词表匹配全部漏掉；再过滤得狠一点，正常发言又被误杀。这门课要解决的，就是这个看起来简单、做起来处处是坑的文本分类问题。

先确认一下你的缺口在哪

这门课不是给零基础讲 Python 的，它默认你至少写过一点代码、知道什么是训练集和测试集。真正需要补的是下面这几块：

• 知道词袋、TF-IDF 能跑出结果，但说不清它们为什么处理不了语序和上下文；
• 听说过 LSTM、BERT，也能背出「能捕捉长距离依赖」，但没自己搭过一次完整训练流程；
• 面试时被问到 Attention 的计算过程、Transformer 为什么要多头，只能含糊带过；
• 手里有标注数据，却不知道从简单模型开始做基线，一上来就想上大模型。

如果你对上两三条，这门课的位置就对了。它选的案例是敏感词检测，但训练的是「拿到一个中文文本二分类任务，该怎么一步步做到能上线」的通用能力。

九节课的行进路线

课程从项目背景和文本分类初探起步，先把代码框架搭起来，用一个简单模型跑通验证——这一步很关键，很多人跳过基线直接上深度模型，最后连数据管道有没有问题都判断不了。

接着进入深度学习部分：卷积网络文本分类器和循环网络文本分类器，也就是 TextCNN 和 RNN 这一类结构。你会看到它们在短文本上的实际表现，以及各自的适用边界。

再往后是全局词向量和 LSTM。Glove Embedding 解决的是「词表里每个词都从零学起」的问题，预训练词向量能让模型在标注数据有限时也不至于太差；LSTM 则是用来处理敏感词检测里那种「关键信息出现在句子后半段」的情况。

最后落到 Attention 和 Transformer。注意力机制讲的是模型该往哪儿看，Transformer 讲的是怎么把这件事做得可并行、可堆叠。这部分是当前 NLP 面试的高频区，课程会配合代码把结构拆开看，而不是只画一张框图。

配套练习怎么用

每节课都有对应的代码实践环节，建议不要只看不动手。具体做法：先自己按思路写一遍，再对照课程实现的差异；模型跑通之后，试着改几个超参数，观察准确率和召回率怎么变。敏感词检测这个任务里，召回率往往比准确率更要紧——漏掉一个违规内容，代价比误判一条正常评论大得多。这个权衡在代码里怎么体现，是值得自己动手验证的。

另外建议把数据换成自己找的一批中文短文本，哪怕只有几百条。换数据之后模型效果通常会掉一截，调参的过程才是真正长本事的地方。

学完之后你应该能回答

• 为什么词表匹配方案在真实场景里不可靠，深度学习方案补上了哪一环？
• TextCNN 和 LSTM 处理同一批中文短文本，各自的优势和短板是什么？
• 预训练词向量在标注数据只有几千条时，能带来多大提升？
• Attention 的 Q、K、V 分别对应什么，多头的作用是什么？
• 敏感词检测任务里，准确率和召回率冲突时该怎么选，阈值怎么定？

如果这些问题你现在答不利索，那就从第一节开始。别急着上 BERT，先把基线模型跑明白。