模型在服务器上跑得好好的，一到端侧就卡成幻灯片，或者干脆显存不够——这类问题多半不是网络结构写错了，而是权重占的位数太多。把 FP32 压到 INT8，速度能上来、体积能下去，但精度掉多少、哪些层掉得最狠、校准用哪一批数据，这一串问题在真正动手前很难凭空想明白。这门课就是冲着这些具体问题去的。

先确认自己缺的是哪一块

量化这件事，麻烦的地方不在「调用一个转换脚本」，而在转换脚本背后那套数值映射。如果你目前的状态是下面几种之一，这门课对得上：

知道量化能省资源，但说不清 scale 和 zero point 是怎么算出来的；
用过 TensorRT 或者别的推理框架做过 INT8，换成 NCNN 之后不知道校准流程怎么走；
跑通过量化转换，结果精度掉得离谱，只能靠感觉调，说不出该从哪一层开始查；
见过 kl_divergence 这类参数，但没搞清楚它到底在优化什么。

反过来说，如果你的模型还在 FP32 上做训练调参、压根没碰过部署链路，这门课会有点跳——它假设你已经有一个能跑通的 NCNN 推理流程，或者至少理解卷积网络的计算图长什么样。

KL 散度在这里到底干什么

8bit 对称量化的核心是把一个浮点区间线性映射到 [-127, 127]。区间取多大，直接决定精度：取太窄，尾部的大值被截断；取太宽，绝大部分数值挤在中间几个格子里，分辨率白白浪费。

KL 散度解决的就是「截断位置选在哪」。它把浮点权重的分布当成一个参考分布，把量化后的分布当成近似分布，通过最小化两者之间的相对熵，找出一个截断阈值——使得量化带来的信息损失最小，而不是简单地取最大值。这是整个流程里最有含金量的一步，也是很多教程一笔带过的地方。这门课把它拆开讲，并且落到 NCNN 的校准表生成上，校准表里每一层那个 threshold 是怎么来的，能对上号。

需要动手的部分

光看懂公式没用，量化的坑基本都在实操里。按课程线索，练习会围绕这么几件事展开：准备一批有代表性的校准数据并跑前向，观察每层的激活值分布；生成量化校准表并读懂里面的字段；用 NCNN 的工具链完成模型转换，再跑一次推理验证输出差异。

这里有个容易被忽略的点：校准集不用大，但分布必须贴近真实输入。用一批全黑图去校准一个人脸模型，出来的阈值基本没有参考价值。练习里如果能把「换一批校准数据，看精度怎么变」这件事做一遍，比背公式有用得多。

看完应该能回答的问题

对称量化和非对称量化的差别体现在哪一层，为什么 NCNN 这条路选了对称；
KL 散度校准出来的阈值，和直接取权重绝对值最大值，结果差在哪，什么情况下差别明显；
量化后某一层误差突然变大，排查顺序是什么——是先看校准数据，还是先看这一层的数值范围；
NCNN 的量化校准表具体记录了哪些量，推理时这些量是怎么参与计算的；
同样是 INT8，为什么有些层适合量化、有些层保留 FP32 反而更稳。

拿到一门量化课，最容易犯的错是把它当成工具说明书，照着敲一遍命令就结束。真正值钱的是那套判断力：知道误差从哪来，知道调哪个参数会影响什么。这门课偏原理加实操的路线，正好适合拿它把这块判断力补上。