告别伪代码，用 Python 搞定海量数据计算
很多技术学习者卡在大数据领域，往往是因为陷入"Java 语法重、环境搭建难”的困境。传统 Hadoop 生态对代码编写要求严苛，调试成本极高，导致很多只想快速处理数据的人望而却步。这门课正是为了解决这个痛点而设计，它不绕弯子讲底层 C++ 实现，而是直接通过 Python 语言切入 PySpark，让你用最熟悉的 Python 语法，去驾驭 Spark 强大的分布式内存计算能力。无论你是想从 Python 转岗做大数据开发，还是作为数据分析师想突破本地数据处理瓶颈，这门课都能帮你填平“只会单机脚本，不会集群处理”的能力缺口。
先装环境再动手，拒绝“理论先行”的空转
学习路径上，必须严格遵循“环境先行”的逻辑，不要一头扎进 Spark 核心原理里。课程前几章会手把手带你完成从本地测试到服务器部署的全过程。你会学到如何在 Linux 服务器上安装 Anaconda，理解 Local 模式的基本原理，以及如何配置 StandAlone 运行模式。这部分内容看似枯燥，却是后续所有开发工作的基石。建议你先花时间在“环境搭建”和“运行模式”这两块内容上，确保本地能跑通 PySpark 的 Demo，能独立配置集群环境，否则后续写代码时遇到的报错，你连排查方向都没有。只有跑通了环境，才能真正验证代码在分布式场景下的表现，而不是在本地单机上自嗨。
从 RDD 到 DataFrame，掌握核心开发范式
掌握了环境后，核心精力应集中在 Spark 的核心 API 和开发范式上。课程会深入讲解 Spark 的四大特点及架构角色，让你理解数据是如何在集群中流转的。更重要的是，你会从基础的 RDD（弹性分布式数据集）过渡到更高效的 DataFrame 和 Dataset。这里要重点练习如何用 Python 语法编写 ETL 脚本，进行数据清洗、转换、聚合以及复杂的 Join 操作。学完这些模块，你应该能独立回答：Spark 相比 Hadoop MapReduce 到底快在哪里？宽表和宽表怎么高效关联？如何处理倾斜数据导致任务失败？资料包中的代码片段和练习素材，是验证你这些理解的关键，请务必对照着资料包里的示例代码进行二次编写和参数调整，试着把静态的 Demo 改造成能处理自己手头真实数据的脚本。
学完这门课，你具备独立承接数据开发任务的能力
这门课的最终目标很明确：让你具备独立承接企业级大数据开发任务的能力。学完后，你不再局限于用 Pandas 处理几百万行数据导致的内存溢出，而是能从容应对 TB 级甚至 PB 级数据的全流程开发。你能够独立设计并部署一个基于 PySpark 的数据处理流程，从数据摄入、清洗、转换到最终输出结果，全程无需依赖他人协助即可运行在集群环境中。同时，你也能通过代码优化提升作业的运行效率，合理调整分区、序列化方式等参数。配合课程提供的资料包，你可以完成一系列实战演练，从简单的统计任务到复杂的数仓分层开发，构建起一套完整的大数据 Python 开发技能树，从而真正具备胜任高级大数据开发岗位的硬实力。
课程目录
〖课程简介〗: Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。 本课程基于Python语言学习Spark3.2开发，课程的讲解注重理论联系实际，高效快捷，深入浅出，让初学者也能快速掌握。让有经验的工程师也能有所收获。学习完成后可以胜任高级级别的大数据相关岗位。 〖课程目录〗： 0-导学视频 PySpark导学.mp4 368.43M 1-第一部分-Spark基础入门 1-第一章 01-课程导入.mp4 5.67M Spark基础入门-第一章-1.1-Spark简单介绍.mp4 46.18M Spark基础入门-第一章-1.2-Spark风雨十年.mp4 61.13M Spark基础入门-第一章-1.3-Spark和Hadoop的对比.mp4 75.02M Spark基础入门-第一章-1.4-Spark四大特点.mp4 64.85M Spark基础入门-第一章-1.5-Spark框架模块.mp4 57.79M Spark基础入门-第一章-1.6-Spark运行模式.mp4 59.03M Spark基础入门-第一章-1.7-Spark的架构角色.mp4 88.17M Spark基础入门-第一章-总结.mp4 11.04M 2-第二章 Spark基础入门-第二章-2.1-课程服务器环境.mp4 43.60M Spark基础入门-第二章-2.2-Local模式基本原理.mp4 88.65M Spark基础入门-第二章-2.3-在Linux上服务器上安装Anaconda.mp4 268.55M Spark基础入门-第二章-2.4-Spark Local模式部署.mp4 514.95M 3-第三章 Spark基础入门-第三章-3.1-StandAlone的运行原理.mp4 23.39M Spark基础入门-第三章-3.2-StandAlone部署.mp4 624.20M Spark基础入门-第三章-3.3-StandAlone程序测试.mp4 271.91M Spark基础入门-第三章-3.4-Spark程序运行层次划分.mp4 255.49M Spark基础入门-第三章-3.5-总结.mp4 34.76M 4-第四章 Spark基础入门-第四章-4.1-StandAlone HA模式的运行原理.mp4 63.25M Spark基础入门-第四章-4.2-StandAlone 部署和测试.mp4 251.35M Spark基础入门-第四章-4.3-总结.mp4 29.79M 5-第五章 Spark基础入门-第五章-5.1-Spark On YARN的运行原理.mp4 90.03M Spark基础入门-第五章-5.2-Spark On YARN 部署和测试.mp4 214.69M Spark基础入门-第五章-5.3-两种部署模式的区别.mp4 100.92M Spark基础入门-第五章-5.4-两种部署模式的演示和总结.mp4 157.93M Spark基础入门-第五章-5.5-两种模式任务提交流程.mp4 125.57M Spark基础入门-第五章-5.6-总结.mp4 38.74M 6-第六章 Spark基础入门-第六章-6.1-框架和类库.mp4 42.43M Spark基础入门-第六章-6.2-PySpark类库介绍.mp4 56.00M Spark基础入门-第六章-6.3-PySpark安装.mp4 156.69M Spark基础入门-第六章-6.4-总结.mp4 9.07M 7-第七章 Spark基础入门-第七章-7.1-本机配置Python环境.mp4 189.34M Spark基础入门-第七章-7.2-PyCharm本地和远程解释器配置.mp4 106.98M Spark基础入门-第七章-7.3-编程入口SparkContext对象以及WordCount演示.mp4 248.97M Spark基础入门-第七章-7.4-WordCount代码流程解析.mp4 134.60M Spark基础入门-第七章-7.5-提交WordCount到Linux集群运行.mp4 144.23M Spark基础入门-第七章-7.6-总结.mp4 23.75M 8-第八章 Spark基础入门-第八章-8.1-Spark运行角色回顾.mp4 72.42M Spark基础入门-第八章-8.2-分布式代码执行分析.mp4 156.84M Spark基础入门-第八章-8.3-Python On Spark执行原理.mp4 135.93M Spark基础入门-第八章-总结.mp4 11.95M 2-第二部分-SparkCore SparkCore-第一章-1.1-什么是RDD.mp4 22.11M SparkCore-第一章-1.2-RDD五大特性-特性1.mp4 15.74M SparkCore-第一章-1.3-RDD五大特性-特性2.mp4 61.14M SparkCore-第一章-1.4-RDD的五大特性-特性3.mp4 26.84M SparkCore-第一章-1.5-RDD的五大特性-特性4.mp4 42.87M SparkCore-第一章-1.6-RDD的五大特性-特性5.mp4.mp4 53.15M SparkCore-第一章-1.7-WordCount结合RDD特性进行执行分析.mp4 205.30M SparkCore-第一章-1.8-总结.mp4 21.49M SparkCore-第二章-1-RDD的创建-1.mp4 31.39M SparkCore-第二章-10-RDD算子-filter.mp4 37.06M SparkCore-第二章-11-RDD算子-distinct.mp4 53.73M SparkCore-第二章-12-RDD算子-union.mp4 31.62M SparkCore-第二章-13-RDD算子-join.mp4 86.96M SparkCore-第二章-14-RDD算子-intersection.mp4 29.46M SparkCore-第二章-15-RDD算子-glom.mp4 9.26M SparkCore-第二章-16-RDD算子-groupByKey.mp4 55.64M SparkCore-第二章-17-RDD算子-sortBy.mp4 100.83M SparkCore-第二章-18-RDD算子-sortByKey.mp4 78.44M SparkCore-第二章-19-RDD算子-案例.mp4 146.47M SparkCore-第二章-2-RDD的创建-2.mp4 210.02M SparkCore-第二章-20-RDD算子-案例-提交到YARN执行.mp4 340.44M SparkCore-第二章-21-RDD算子-countByKey.mp4 58.40M SparkCore-第二章-22-RDD算子-reduce.mp4 53.11M SparkCore-第二章-23-RDD算子-fold.mp4 57.46M SparkCore-第二章-24-RDD算子-take-first-count-top.mp4 41.78M SparkCore-第二章-25-RDD算子-takeSample.mp4 73.94M SparkCore-第二章-26-RDD算子-takeOrdered.mp4 40.16M SparkCore-第二章-27-RDD算子-foreach.mp4 72.47M SparkCore-第二章-28-RDD算子-saveAsTextFile.mp4 118.39M SparkCore-第二章-29-RDD算子-mapPartitions.mp4 86.75M SparkCore-第二章-3-RDD算子概念和分类.mp4 67.11M SparkCore-第二章-30-RDD算子-foreachPartition.mp4 37.86M SparkCore-第二章-31-RDD算子-partitionBy.mp4 74.59M SparkCore-第二章-32-RDD算子-repartition-coalesce.mp4 95.14M SparkCore-第二章-33-RDD算子-面试题-groupByKey和reduceByKey的区别.mp4 56.50M SparkCore-第二章-34-总结.mp4 10.35M SparkCore-第二章-4-转换算子-map.mp4 104.95M SparkCore-第二章-5-转换算子-flatMap.mp4 56.42M SparkCore-第二章-6-转换算子-reduceByKey.mp4 21.36M SparkCore-第二章-7-RDD算子-mapValues.mp4 40.74M SparkCore-第二章-8-WordCount案例回顾.mp4 53.72M SparkCore-第二章-9-RDD算子-groupBy.mp4 81.39M SparkCore-第三章-1-RDD的数据是过程数据概念.mp4 52.26M SparkCore-第三章-2-RDD的缓存.mp4 323.24M SparkCore-第三章-3-RDD的CheckPoint.mp4 138.09M SparkCore-第三章-4-总结.mp4 20.77M SparkCore-第四章-1-jieba库入门使用.mp4 146.29M SparkCore-第四章-2-案例需求1开发.mp4 373.43M SparkCore-第四章-3-案例需求2开发.mp4 227.51M SparkCore-第四章-4-案例需求3开发.mp4 140.39M SparkCore-第四章-5-提交代码到YARN集群运行.mp4 153.12M SparkCore-第四章-6-作业和总结.mp4 8.88M SparkCore-第五章-1-广播变量.mp4 354.61M SparkCore-第五章-2-累加器.mp4 213.12M SparkCore-第五章-3-广播变量累加器综合案例.mp4 287.43M SparkCore-第五章-4-总结.mp4 3.17M SparkCore-第六章-1-DAG.mp4 86.26M SparkCore-第六章-2-宽窄依赖和阶段划分.mp4 73.07M SparkCore-第六章-3-内存迭代计算.mp4 217.51M SparkCore-第六章-4-Spark并行度.mp4 86.48M SparkCore-第六章-5-Spark任务调度.mp4 168.34M SparkCore-第六章-6-Spark运行概念名词解释和层级梳理.mp4 90.16M SparkCore-第六章-7-总结.mp4 14.97M 3-第三部分-SparkSQL SparkSQL-第一章-SparkSQL基础入门.mp4 32.28M SparkSQL-第二章-1-SparkSQL和Hive的异同以及SparkSQL的数据抽象.mp4 141.30M SparkSQL-第二章-2-SparkSession执行环境入口构建和SparkSQL HelloWorld.mp4 142.14M SparkSQL-第二章-3-总结.mp4 5.56M SparkSQL-第三章-1-DataFrame对象的构成.mp4 18.96M SparkSQL-第三章-10-DSL风格入门API.mp4 200.05M SparkSQL-第三章-11-SQL风格入门API.mp4 73.21M SparkSQL-第三章-12-WordCount案例.mp4 216.29M SparkSQL-第三章-13-电影评分案例编程.mp4 530.20M SparkSQL-第三章-14-SparkSQL Shuffle阶段分区数参数设定.mp4 108.97M SparkSQL-第三章-15-异常数据处理API.mp4 300.02M SparkSQL-第三章-16-DataFrame数据写出.mp4 153.07M SparkSQL-第三章-17-DataFrame使用JDBC协议读写数据库(MySQL).mp4 176.64M SparkSQL-第三章-18-总结.mp4 9.53M SparkSQL-第三章-2-DataFrame创建-1.mp4 194.59M SparkSQL-第三章-3-DataFrame创建-2.mp4 92.99M SparkSQL-第三章-4-DataFrame创建-3.mp4 64.56M SparkSQL-第三章-5-DataFrame创建-4-基于Pandas的DF转换为SparkSQL的DF对象.mp4 6.96M SparkSQL-第三章-6-标准API读取text数据源构建DataFrame.mp4 69.29M SparkSQL-第三章-7-标准API读取json构建DataFrame.mp4 32.21M SparkSQL-第三章-8-标准API读取jcsv构建DataFrame.mp4 50.80M SparkSQL-第三章-9-标准API读取jparquet构建DataFrame.mp4 65.29M SparkSQL-第四章-1-UDF创建演示.mp4 228.18M SparkSQL-第四章-2-注册返回值是数组类型的UDF.mp4 131.32M SparkSQL-第四章-3-返回字典类型的UDF定义.mp4 145.40M SparkSQL-第四章-4-拓展-通过RDD代码模拟UDAF效果.mp4 101.60M SparkSQL-第四章-5-窗口函数的演示.mp4 170.80M SparkSQL-第四章-6-总结.mp4 4.74M SparkSQL-第五章-1-Catalyst优化器.mp4 54.68M SparkSQL-第五章-2-SparkSQL执行流程及本章总结.mp4 42.14M SparkSQL-第六章-SparkOnHive原理和配置及总结.mp4 334.22M SparkSQL-第七章-分布式SQL的执行引擎原理和配置.mp4 309.39M 4-第四部分-案例 案例-案例背景及需求1开发.mp4 81.98M 案例-需求2开发.mp4 411.11M 案例-需求3开发.mp4 71.42M 案例-需求4开发.mp4 235.69M 5-第五部分-Spark新特性及核心回顾 Spark新特性及核心回顾-1-1-HashShuffleManager.mp4 101.99M Spark新特性及核心回顾-1-2-SortShuffleManager.mp4 86.46M Spark新特性及核心回顾-1-3-总结.mp4 18.48M Spark新特性及核心回顾-2-1-3.0新特性-AQE.mp4 176.45M Spark新特性及核心回顾-2-2-新特性-动态分区裁剪.mp4 47.10M Spark新特性及核心回顾-2-3-新特性-koalas库.mp4 303.84M Spark新特性及核心回顾-2-4-总结.mp4 24.25M Spark新特性及核心回顾-3-Spark概念总结.mp4 60.94M 资料 PPT 1 - Spark基础入门.pdf 5.78M 2 - Spark核心编程.pdf 6.18M 3 - SparkSQL.pdf 6.48M 4 - Spark综合案例.pdf 466.45kb 5 - Spark核心回顾+新特性.pdf 2.11M 完整虚拟机2021-SZ 大数据环境统一虚拟机 文档 虚拟机 资料.zip 9.10G 2021_新版本软件安装_v5_20211002_192.168.88.2_安装Spark-NoSQL-Flink.docx 15.14M centos_20211005.zip.001 7.96G centos_20211005.zip.002 7.96G centos_20211005.zip.003 7.96G centos_20211005.zip.004 7.96G centos_20211005.zip.005 5.66G 说明1：1-7快照截图.jpg 26.30kb 说明2.txt 0.19kb hadoop-3.3.0 bin 测试数据 sql tiny_files accumulator_broadcast_data.txt 0.21kb apache.log 1.41kb mini.json 118.62M minimini.json 1.17M order.text 2.84kb SogouQ.txt 1.34M stu_info.txt 0.32kb stu_score.txt 1.20kb words.txt 0.04kb Anaconda3-2021.05-Linux-x86_64.sh 544.41M Anaconda3-2021.05-Windows-x86_64.exe 477.20M apache-hive-3.1.2-bin.tar.gz 265.90M DAG 和 Action.drawio 2.30kb hadoop-3.3.1.tar.gz 577.15M jdk-8u211-linux-x64.tar.gz 185.96M mysql-connector-java-5.1.41-bin.jar 969.54kb mysql-connector-java-8.0.13.jar 2.03M pyarrow-4.0.1-cp38-cp38-manylinux2014_x86_64.whl 20.87M Spark On YARN Client模式.drawio 2.12kb Spark On YARN Cluster模式.drawio 1.98kb spark-3.2.0-bin-hadoop3.2.tgz 287.02M Spark部署文档.md 28.93kb Spark层次关系概念图.png 118.54kb Spark核心概念.png 724.93kb Spark核心概念.xmind 746.76kb WordCount代码执行的图示.drawio 2.27kb 代码.zip 19.52M 〖课程简介〗: Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。本课程基于Python语言学习Spark3.2开发，课程的
