Spark 实战教程（第3版）深度导读：构建分布式计算的核心竞争力

在大数据生态系统中，Apache Spark 凭借其基于内存的迭代计算能力，已成为处理海量数据的工业标准。《Spark 实战教程（第3版）》是一门面向实战的系统性课程，旨在帮助学员从零搭建 Spark 知识体系，掌握从本地开发到集群部署的全链路技能。 **一、课程定位与学习门槛** 本课程适合具备 Java 或 Scala 编程基础，且对 Hadoop 生态系统有基本认知的学习者。虽然课程涵盖底层原理，但并未过分深入数学推导，而是侧重于“怎么做”与“为什么这样做”。对于希望转型大数据开发，或已在从事相关开发但缺乏 Spark 实战经验的工程师而言，这是一门极佳的进阶指南。建议学习前确保已配置好 JDK 环境，并了解基本的 Linux 命令行操作。 **二、核心内容详解** 课程逻辑严密，分为三大核心模块： 1. **快速入门与环境搭建**：第一模块从 Spark 简介入手，厘清其设计哲学及与 Hadoop MapReduce 的区别。随后，讲师详细演示了 Spark 的安装流程，涵盖了 Standalone 模式下的集群搭建。特别值得一提的是“独立应用例子”章节，展示了如何将 Spark 代码打包为可执行的 JAR 文件并部署，这是脱离 IDE、走向生产环境的关键一步。 2. **RDD 编程深度剖析**：这是课程的硬核部分。RDD（弹性分布式数据集）是 Spark 的基石。课程通过四讲内容，系统讲解了 RDD 的创建、转换算子（Transformation）与行动算子（Action）的执行机制。讲师深入分析了数据分区、依赖关系（宽依赖与窄依赖）以及任务调度的底层逻辑，帮助学员理解分布式计算中“数据移动”的本质，从而写出更高效的代码。 3. **集群架构与部署**：第三模块聚焦于集群模式，包括 Local、Standalone、YARN 等。通过理解 Master-Worker 架构及资源调度原理，学员能够掌握如何在真实生产环境中配置和管理 Spark 集群，为后续的性能调优打下基础。 **三、学习路径建议** 建议学习者按顺序跟进：先完成入门章节以建立宏观认知；接着重点攻克 RDD 编程，务必动手复现代码，理解每个算子的执行细节；最后研究集群模式，尝试在本地模拟多节点部署。 **四、学完产出与资料使用** 完成本课后，你将具备独立开发 Spark 批处理应用的能力，能够解释 Spark 的核心运行机制，并为学习 Spark SQL 和 Structured Streaming 等高阶模块奠定坚实基础。课程配套资料丰富，建议结合视频讲解，在本地搭建实验环境进行反复练习，特别是 RDD 部分的代码实战，切勿仅停留在观看层面。

课程目录

1-1 [Spark 快速入门] 1 Spark 简介 (23:26)
1-2 [Spark 快速入门] Spark 安装 (21:13)
1-3 [Spark 快速入门] Spark 示例 (26:03)
1-4 [Spark 快速入门] Spark 入门例子 (23:09)
1-5 [Spark 快速入门] Spark 独立应用例子 (26:34)
2-1 [Spark RDD 编程] Spark RDD 编程1 (38:54)
2-2 [Spark RDD 编程] Spark RDD 编程2 (30:31)
2-3 [Spark RDD 编程] Spark RDD 编程3 (13:41)
2-4 [Spark RDD 编程] Spark RDD 编程4 (26:56)
3-1 [Spark集群] Spark 集群模式概述 (13:44)
3-2 [Spark集群] CentOS安装 (14:13)
3-3 [Spark集群] Spark 独立模式环境安装 (12:34)
3-4 [Spark集群] Spark 独立模式启动程序 (21:40)
3-5 [Spark集群] Spark 独立模式提交作业 (04:50)
3-6 [Spark集群] Spark 独立模式提交作业2 (05:52)
3-7 [Spark集群] Spark 在YARN上运行 环境安装配置 (49:41)
3-8 [Spark集群] Spark 在YARN上运行 (36:37)
4-1 [Spark SQL1] Spark SQL DataFrames (17:48)
4-2 [Spark SQL1] Spark SQL入门 起点 (37:16)
4-3 [Spark SQL1] Spark SQL入门 创建DataFrame (05:07)
4-4 [Spark SQL1] Spark SQL入门 以编程方式运行 (03:10)
4-5 [Spark SQL1] Spark SQL入门 全局临时视图 (03:20)
4-6 [Spark SQL1] Spark SQL入门 创建Dataset (07:07)
5-1 [Spark SQL2] Spark SQL入门 与RDD互操作1 (15:00)
5-2 [Spark SQL2] Spark SQL入门 与RDD互操作2 (09:58)
5-3 [Spark SQL2] Spark SQL入门 答疑 (06:39)
5-4 [Spark SQL2] Spark SQL入门 起点 (05:38)
5-5 [Spark SQL2] Spark SQL入门 用户自定义聚合函数 (35:39)
5-6 [Spark SQL2] Spark SQL入门 用户自定义聚合函数2 (14:23)
6-1 [Spark SQL数据源1] Spark SQL数据源 通用加载保存功能1 (09:04)
6-2 [Spark SQL数据源1] Spark SQL数据源 通用加载保存功能2 (14:38)
6-3 [Spark SQL数据源1] Spark SQL数据源 复习答疑 (11:41)
6-4 [Spark SQL数据源1] Spark SQL数据源 通用加载保存功能3 (17:29)
6-5 [Spark SQL数据源1] Spark SQL数据源 通用加载保存功能4 (06:11)
6-6 [Spark SQL数据源1] Spark SQL数据源 通用加载保存功能5 (06:11)
6-7 [Spark SQL数据源1] Spark SQL数据源 通用加载保存功能6 (11:47)
6-8 [Spark SQL数据源1] Spark SQL数据源 通用加载保存功能7 (12:25)
7-1 [Spark SQL数据源2] Spark SQL数据源 Parquet文件1 (10:10)
7-2 [Spark SQL数据源2] Spark SQL数据源 Parquet文件2 (03:44)
7-3 [Spark SQL数据源2] Spark SQL数据源 Parquet文件3 (10:37)
7-4 [Spark SQL数据源2] Spark SQL数据源 Parquet文件4 (03:54)
7-5 [Spark SQL数据源2] Spark SQL数据源 ORC JSON文件 (26:46)
7-6 [Spark SQL数据源2] Spark SQL数据源 Hive表 (27:33)
7-7 [Spark SQL数据源2] Spark SQL数据源 JDBC (27:24)
8-1 [Spark Streaming1] Spark Streaming 总览 (09:11)
8-2 [Spark Streaming1] Spark Streaming 例子1 (11:40)
8-3 [Spark Streaming1] Spark Streaming 例子2 (23:14)
8-4 [Spark Streaming1] Spark Streaming 例子3 (10:26)
8-5 [Spark Streaming1] Spark Streaming 基本概念 连结 (05:57)
9-1 [Spark Streaming2] Streaming 基本概念 初始化 (08:48)
9-2 [Spark Streaming2] Streaming 基本概念 离散流 (05:50)
9-3 [Spark Streaming2] Streaming 输入DStreams1 (32:34)
9-4 [Spark Streaming2] Streaming 输入DStreams2 (18:36)
9-5 [Spark Streaming2] Streaming DStreams上的转换1 (21:47)
9-6 [Spark Streaming2] Streaming DStreams上的转换2 (06:32)
9-7 [Spark Streaming2] Streaming DStreams上的转换3 (15:50)
9-8 [Spark Streaming2] Streaming DStreams上的转换4 (12:05)
10-1 [Spark Streaming3] Streaming DStream输出操作1 (09:58)
10-2 [Spark Streaming3] Streaming DStream输出操作2 (06:58)
10-3 [Spark Streaming3] Streaming DStream输出操作3 (03:26)
10-4 [Spark Streaming3] Streaming DStream输出操作4 (13:43)
10-5 [Spark Streaming3] Streaming DStream输出操作5 (07:35)
10-6 [Spark Streaming3] Streaming DStream输出操作6 (06:40)
10-7 [Spark Streaming3] Streaming DataFrame操作 (08:43)
10-8 [Spark Streaming3] Spark Streaming 检查点等 (15:43)
11-1 [Spark MLlib 机器学习1] Spark 机器学习 (09:56)
11-2 [Spark MLlib 机器学习1] Spark 机器学习库（MLlib）指南 (12:02)
11-3 [Spark MLlib 机器学习1] Spark MLlib 机器学习概念1 (14:30)
11-4 [Spark MLlib 机器学习1] Spark MLlib 机器学习概念2 (08:27)
11-5 [Spark MLlib 机器学习1] Spark MLlib 机器学习概念3 (54)
11-6 [Spark MLlib 机器学习1] Spark MLlib 机器学习 复习 (10:12)
12-1 [Spark MLlib 机器学习2] Spark MLlib 基本统计1 (22:36)
12-2 [Spark MLlib 机器学习2] Spark MLlib 基本统计2 (06:40)
12-3 [Spark MLlib 机器学习2] Spark MLlib 基本统计3 (10:34)
12-4 [Spark MLlib 机器学习2] Spark MLlib 数据源 (09:07)
12-5 [Spark MLlib 机器学习2] Spark MLlib 管道 (36:56)
12-6 [Spark MLlib 机器学习2] Spark MLlib 特征提取 (08:09)
13-1 [Spark 《淘宝双11大数据分析》项目案例] Spark《淘宝双11大数据分析》项目案例1 (05:00)
13-2 [Spark 《淘宝双11大数据分析》项目案例] Spark 《淘宝双11大数据分析》项目案例2 (12:48)
13-3 [Spark 《淘宝双11大数据分析》项目案例] Spark 《淘宝双11大数据分析》项目案例3 (16:47)
13-4 [Spark 《淘宝双11大数据分析》项目案例] Spark 《淘宝双11大数据分析》项目案例4 (10:58)
13-5 [Spark 《淘宝双11大数据分析》项目案例] Spark 《淘宝双11大数据分析》项目案例5 (23:37)
13-6 [Spark 《淘宝双11大数据分析》项目案例] Spark 《淘宝双11大数据分析》项目案例6 (19:20)
13-7 [Spark 《淘宝双11大数据分析》项目案例] Spark 《淘宝双11大数据分析》项目案例7 (12:15)
13-8 [Spark 《淘宝双11大数据分析》项目案例] Spark 《淘宝双11大数据分析》项目案例8 (19:21)
13-9 [Spark 《淘宝双11大数据分析》项目案例] Spark 《淘宝双11大数据分析》项目案例9 (09:56)