Spark技术免费公开课视频课程［张敏老师］

别把 Spark 当成背参数，先搞懂它替你解决了什么

很多同学打开 Spark 相关资料，一上来就死磕 RDD 算子、算子分类，甚至去背诵各种参数配置，结果写了几行代码连分布式到底在哪都说不清。这门课虽然是一场公开课，但它的价值不在于给你塞多少个零碎知识点，而是帮你补齐一个核心能力缺口：到底为什么需要 Spark，它和单机数据处理、和 MapReduce 到底在机制上有什么本质区别。如果你现在连分布式计算的基本概念都没有，或者只会写单机 Python 脚本处理小数据，看着别人聊任务调度、数据倾斜却完全插不上话，那这节课就是给你扫清认知障碍的。它适合那些有基础编程能力、但对大数据处理框架还停留在听说过阶段的学习者。别假装自己懂分布式，先踏踏实实把这套底层逻辑听明白，缺什么补什么。

建议先吃透核心概念，再动手碰代码

这份资料只有两个多小时的讲解，不要指望像大部头体系课那样面面俱到。我的建议是，第一遍先别开编辑器，纯粹当概念课听，重点抓几个东西：Spark 的运行架构是怎么拆分的、为什么内存计算比磁盘迭代快、宽窄依赖到底怎么区分。把这些底层机制听懂了，你后续不管学 SQL 还是流处理，都有个主心骨。第二遍再配合资料包里的内容去补实践。资料包只是帮你理解主题的线索，别指望里面有什么现成的一键运行环境或者保姆级脚本，你得自己搭一套本地模式。听一段概念，就自己去敲几行初始化代码，试着把数据读进来做个简单转换。光看不练，过两天你连怎么创建基础上下文都忘光，这毛病别犯。配套练习的关键在于自己复现核心逻辑，而不是收集一堆文件。

学完能独立做什么，拿这三个问题自测

看完这节课，别急着去翻下一个框架，先拿几个具体问题拷问自己。第一，让你处理几个 G 的日志文件，你能说清楚用单机脚本和用 Spark 在机制上的差异吗？第二，提到弹性分布式数据集，你能向别人解释它为什么叫弹性、不可变到底体现在哪吗？第三，如果任务跑得慢，你脑子里有没有一个排查方向，是去查数据倾斜还是看资源分配？要是这三个问题答得磕磕巴巴，就回去把对应片段重新看。学完这门课，你至少能独立描述这套计算框架的运作逻辑，能写出跑通的基础转换操作，并知道后续该往哪个具体方向深挖。别贪多，先把这根认知钉子砸实了，再去补其他短板。