Swin Transformer实战目标检测：训练自己的数据集

这篇导读写给谁

如果你已经能跑通 YOLO 系列的训练脚本，但一碰到「把骨干网换成 Swin Transformer」就卡在配置文件、权重加载、显存爆掉这几步，这门课值得你花时间。反过来，如果你连目标检测的标注格式、mAP 怎么算都还不清楚，先别急着上 Transformer——Swin 的窗口注意力机制会把基础不牢的问题放大，调参时你很难判断是数据的问题还是结构的问题。

换句话说，这里假设你已经具备卷积网络做检测的完整经验，缺的是把骨干换成 Transformer 系结构之后的那一整套工程细节。

真正的缺口在哪

Swin Transformer 拿下了 ICCV 2021 最佳论文，它在图像分类、检测、分割上都刷到了当时的 SOTA，这些结论你大概早就在各处的综述里看到过。但从「知道它强」到「用自己的数据训出一个能用的检测器」，中间隔着的恰恰是论文里不会写的部分：

• 层级式窗口注意力和移位窗口到底怎么影响感受野，为什么它比 ViT 更适合做检测骨干，而不是只有分类能打；
• 预训练权重在分类任务上得到的，迁移到检测头时哪些层该冻结、哪些该放开，学习率怎么分组；
• 自己的数据集从标注到转成检测框架能吃的格式，类别数、类别名、图片路径这些地方一改错就报奇怪的错；
• 显存和输入分辨率、窗口大小、batch size 之间的牵制关系，爆显存时先动哪个参数；
• 训完之后指标不动或者虚高，怎么判断是过拟合、标注漏标，还是评估脚本本身有问题。

这些问题单看某一个都不难，凑在一起才让人卡住。课程的组织方式基本是围着这些卡点走的。

配套练习怎么用

不要只看不动手。建议按这个顺序推进：先拿一份小规模的自建数据（几百张就够），把整条链路从头到尾跑通一遍，重点确认标注转换和数据加载没错；跑通之后再动结构相关的配置，比如换骨干的版本、调整窗口大小，观察显存和速度的变化；最后才去做精度调优，对比不同预训练权重和微调策略带来的差异。每一步都记录下改了什么、指标怎么变，这套记录比任何笔记都有用。

如果手上暂时没有自己的数据，可以先用公开的小数据集模拟一遍流程，把格式转换和评估这两个环节走扎实，再换成真实数据。

看完应该能回答的问题

• 为什么 Swin 用窗口注意力加移位，而不是像 ViT 那样做全局注意力？这对检测任务意味着什么？
• 用分类预训练权重初始化检测模型时，你实际加载了哪些参数，哪些是随机初始化的？
• 你的数据集标注格式转换过程中，最容易出错的是哪个字段？出错了会表现成什么现象？
• 训练时显存不够，除了调小 batch size，还有哪些手段，各自的代价是什么？
• 训练 loss 正常下降但验证 mAP 不涨，你会按什么顺序排查？

能把这些说清楚，说明你不是把脚本跑通了一遍，而是真的理解了这条链路。剩下的事，就是换更大的数据、更细的类别，反复迭代。