WOTI2017全球创新技术峰会——深度学习会场上午

这场 2017 年的深度学习会场上午档，放在今天看有点意思：它记录的是深度学习从「论文里的东西」变成「工程团队要排期落地的东西」的那个阶段。如果你现在要补深度学习这一块，或者从后端、数据、移动端转过来，这段录像的价值不在于教你写第一个神经网络，而在于让你看清当年一线团队把模型塞进真实业务时，卡在哪、怎么绕、哪些坑后来被工具链填平了、哪些坑至今还在。

先确认你缺的是哪一块

深度学习的学习者通常分成三种状态，这门课对三种人的作用完全不同。

• 已经会跑通 MNIST、CIFAR 那类教学数据集，但没接触过工业级训练流程的人：你缺的是「规模感」——数据怎么清洗和标注、训练任务怎么调度、模型上线后怎么监控。
• 做传统机器学习、特征工程出身的人：你缺的是表示学习那套思路的转换，为什么不再手工造特征、卷积和循环结构各自解决了什么。
• 完全没入门、只是想先看看这个领域长什么样的人：这场上午的分享能给你一个大致的地形图，但不要指望靠它动手写出东西，配套练习必须另找。

先对号入座，再决定是快进着看还是逐段暂停记笔记。会场分享的节奏普遍偏快，一上午塞进多个不同方向的报告，信息密度不均匀，认准自己缺的那几段就够了。

这个上午讨论的技术主线

2017 年前后，深度学习在工业界的几个主战场大致是：计算机视觉里的检测与识别、语音识别与合成、自然语言处理中的序列建模，以及推荐和广告排序。会场上午的安排基本围绕这些方向展开，穿插一些平台和工程侧的分享。

值得留意的是那个时间点的技术断代。Transformer 那篇论文刚出来不久，注意力机制还没成为默认选项，很多团队仍在用循环网络处理序列，卷积网络在视觉任务里几乎是唯一答案。你听这些报告时，可以刻意做一件事：把讲者当时的选择和今天的主流做法对照。哪些结论已经过时，哪些判断被后来的实践验证了，这种对照比单纯记结论有用得多。

听的时候带三个问题

• 这个任务当时的数据规模和标注成本是多少，换成今天的条件还成立吗？
• 讲者提到的精度提升，是靠模型结构、数据增广，还是靠算力和训练技巧堆出来的？
• 他们踩过的坑里，哪些是当时框架不成熟导致的，哪些是问题本身的固有难点？

配套练习怎么安排

光看分享容易产生「我都懂了」的错觉。建议按下面的方式配对练习，不必和课程内容一一对应，但方向要对得上。

• 看视觉相关分享时，同步用任意一个主流框架复现一个图像分类流程，重点不在调参，而在把数据加载、增强、训练循环、验证这套流程走完整。
• 看序列建模相关分享时，找一个文本分类或序列标注的小数据集，比较循环结构和卷积结构在同一任务上的表现差异。
• 看工程与平台相关分享时，试着把一次训练任务写成可重复执行的脚本，记录超参、数据版本和评估结果，养成可复现的习惯。

练习的目的不是刷高指标，而是让会场里那些一带而过的名词变成你手上真实遇到过的问题。听到「训练不稳定」时，你脑子里应该浮现出自己那次 loss 曲线炸掉的截图，而不是一个抽象概念。

看完应该能回答的问题

用下面几个问题自测，答不上来就回头找对应的那一段。

• 在那个时间点，工业界做深度学习落地，最主要的三个瓶颈分别是什么？
• 同一个任务，为什么不同团队会选不同的网络结构，取舍的依据是什么？
• 从实验环境到线上服务，中间还需要补哪些环节？
• 这场分享里的哪些判断，放到今天已经被推翻或者被工具链解决了？

最后提醒一句：这是峰会录像，不是系统课。它的作用是帮你定位知识缺口、看清行业当时的真实关注点，不能替代动手训练和系统的理论学习。缺什么补什么，看完能说出自己下一步该学哪块，这场上午就没白看。