从"会写 SQL"到"驾驭分布式计算"的能力断层
很多学习者在接触 Spark 时，往往卡在这样一个尴尬的节点：Hive 的 SQL 写得滚瓜烂熟，但一旦数据量放大到集群级别，或者需要结合复杂业务逻辑进行 ETL 处理时，就束手无策。他们习惯了传统关系型数据库的思维定式，却对 Spark SQL 的核心抽象——DataFrame 和 Dataset 缺乏深入理解，更不清楚如何高效地处理异构数据源。这门课程正是为了解决这一关键的能力缺口而设计。它不纠结于冗长的理论推导，而是聚焦于 Spark 2.x 版本中最为实用、最高频的场景，帮助你打通从单机思维到分布式大数据处理思维的最后一公里。 适合有一定 Scala 或 Java 基础，且对 Hadoop 生态有初步认知的学习者。如果你已经了解 HDFS 的基本原理，但尚未在实际项目中大规模使用 Spark 进行数据处理，这门课就是你的最佳补位方案。它假设你已经具备了基本的编程能力，旨在让你掌握如何在 Spark 环境中，将数据读取、转换、清洗并持久化到各种主流存储介质中。 课程建议按照以下逻辑顺序进行预习和练习。首先，通过「SparkSql 概述及发展史」建立宏观认知，理解 Spark SQL 在大数据生态中的定位，这是后续实操的理论基石。紧接着，必须重点攻克「数据读写」这一核心模块。课程详细演示了如何从 CSV、JSON、HDFS 文本文件以及 RDD 创建 DataFrame 和视图，这是所有复杂分析的前置技能。只有掌握了灵活的数据接入方式，才能应对生产环境中千变万化的数据格式。随后，进入「结果保存」阶段，学习如何将处理后的数据输出为 CSV、JSON、Parquet 文件，或写入 MySQL 等关系型数据库。这种双向的数据流能力，是构建完整数据 pipelines 的关键。 学完本课后，你将能够独立承担基于 Spark SQL 的数据清洗与加载任务。你不再需要依赖现成的模板代码，而是能够根据业务需求，自主选择最适合的数据源格式和输出格式，编写高效、健壮的大数据处理程序。例如，面对一份杂乱的日志数据，你能迅速将其转换为 DataFrame，进行过滤和聚合，最终将结果以 Parquet 格式存入 HDFS 以供后续分析，或直接入库供业务系统调用。 资料包的配合练习至关重要。请密切关注课程目录中的实战环节，不要只看不练。每一个【实战】环节都对应着一个具体的文件操作或数据库连接场景。建议你在本地或实验环境中，逐行复现代码，特别是针对不同文件格式（CSV、JSON、Parquet）的读写参数调整，以及连接 MySQL 时的驱动配置细节。只有亲手解决了代码运行中的报错，才能真正内化这些知识点，将课程中的案例转化为你自己的工程能力。课程目录
1 SparkSql概述及发展史 (20:37) 2 【实战】SparkSql2.0结果保存为CSV文件 (14:22) 3 【实战】SparkSql保存结果为json文件 (06:27) 4 【实战】SparkSql保存结果为parquet文件 (11:43) 5 【实战】SparkSql保存结果到hdfs的text文件 (11:12) 6 【实战】Sparksql保存结果到关系型数据库mysql (21:06) 7 【实战】SparkSql读取CSV文件创建dataframe和视图 (12:08) 8 【实战】SparkSql读取json文件创建dataframe和视图 (09:25) 9 【实战】SparkSql使用RDD创建dataframe和视图 (11:06) 10 【实战】SparkSql读取HDFS文本文件创建dataframe和视图 (15:38) 11 【实战】SparkSql读取Parquet文件创建dataframe和视图 (07:37) 12 【实战】SparkSql读取关系型数据库数据创建dataframe和视图 (05:17) 13 【实战】SparkSql读取Hive表数据_Hive环境安装 (20:14) 14 【实战】SparkSql共享Hive元数据配置 (29:58) 15 【实战】SparkSql读取Hive表数据创建dataframe和视图 (07:20) 16 【实战】SparkSql中的UDF用户自定义函数 (08:43) 17 【实战】SparkSql常见的API使用 (23:01) 18 【实战】SparkSql实战之分析PM2.5数据_上 (39:34) 19 【实战】SparkSql实战之pm25数据分析_下 (09:32)
