**从零构建大数据基石：Hadoop+Spark+Flink 全链路实战指南**
在数字化转型的浪潮中，大数据已成为企业的核心资产，而掌握从基础设施搭建到上层应用开发的全栈能力，则是工程师突破职业瓶颈的关键。本课程《从0构建（Hadoop+Spark+Flink）大数据平台》专为希望深入理解大数据底层逻辑、具备独立搭建集群能力的学习者设计。不同于市场上泛泛而谈的概念课，本课程坚持“动手即所得”的理念，带你从最基础的虚拟机安装开始，一步步夯实大数据生态的地基。
课程开篇并非直接切入复杂的代码编写，而是回归本源，从环境准备做起。你将学习如何在 VMware WorkStation 中创建虚拟机组件，并亲手安装 CentOS 7 操作系统。这一步看似基础，却是许多初学者容易忽视却至关重要的环节。通过配置 Linux 静态 IP 及系统参数，你不仅是在完成安装，更是在深入理解服务器网络架构与资源调优的本质，为后续高可用集群的搭建扫清障碍。
随着环境的就绪，课程正式进入 Hadoop 伪分布式集群的搭建阶段。这是大数据世界的“Hello World”，也是理解分布式存储与计算核心思想的必经之路。你需要掌握 JDK 的安装与配置，理解 Java 环境在 Hadoop 生态中的主导地位，随后逐步解析 HDFS 与 YARN 的核心配置文件。通过亲手修改 `core-site.xml`、`hdfs-site.xml` 等关键文件，你将直观地看到 NameNode、DataNode 与 ResourceManager、NodeManager 是如何协同工作，共同支撑起海量数据的存储与任务调度。
之所以强调“从0构建”而非直接提供现成镜像，是因为只有经历过配置报错、日志排查、服务启动失败的完整闭环，才能真正建立起对系统故障的敏感度与解决能力。这种底层思维的建立，将使你在面对后续更复杂的 Spark 批处理或 Flink 流式计算场景时，具备更强的排查效率与架构掌控力。
对于立志成为大数据开发工程师或架构师的学习者而言，扎实的基础设施能力是通往高阶技术的唯一路径。本课程通过细致的步骤拆解与原理阐述，帮助你摒弃“黑盒”思维，真正读懂大数据平台的运行机理。无论你目前处于入门阶段还是希望巩固底层知识，这门体系化课程都将为你构建一个稳固、清晰且可复用的技术框架，助力你在大数据领域行稳致远。
课程目录
1-1 [课程介绍与资料下载] 从0构建（Hadoop+Spark+Flink）大数据平台 (05:13) 1-2 [课程介绍与资料下载] 完整资料下载 (05:13) 2-1 [从0搭建Hadoop伪分布集群环境] VMware WorkStations安装 (06:38) 2-2 [从0搭建Hadoop伪分布集群环境] Linux系统介绍 (06:41) 2-3 [从0搭建Hadoop伪分布集群环境] 创建新的虚拟机 (08:27) 2-4 [从0搭建Hadoop伪分布集群环境] 安装Centos7操作系统 (12:05) 2-5 [从0搭建Hadoop伪分布集群环境] Linux静态IP配置 (08:22) 2-6 [从0搭建Hadoop伪分布集群环境] Linux系统配置 (14:07) 2-7 [从0搭建Hadoop伪分布集群环境] JDK安装与配置 (09:54) 2-8 [从0搭建Hadoop伪分布集群环境] Hadoop伪分布集群配置 (15:06) 2-9 [从0搭建Hadoop伪分布集群环境] Hadoop伪分布集群启动与测试 (14:20) 3-1 [从0搭建Zookeeper分布式集群] 节点集群环境准备 (12:53) 3-2 [从0搭建Zookeeper分布式集群] 配置集群hosts文件 (03:19) 3-3 [从0搭建Zookeeper分布式集群] 配置集群时钟服务器 (08:54) 3-4 [从0搭建Zookeeper分布式集群] 配置集群ssh免密登录 (10:36) 3-5 [从0搭建Zookeeper分布式集群] 集群脚本开发 (18:31) 3-6 [从0搭建Zookeeper分布式集群] 搭建zookeeper分布式集群 (15:33) 4-1 [从0搭建Hadoop分布式集群] Hadoop集群规划 (04:19) 4-2 [从0搭建Hadoop分布式集群] HDFS集群配置 (17:54) 4-3 [从0搭建Hadoop分布式集群] 启动HDFS集群服务 (12:53) 4-4 [从0搭建Hadoop分布式集群] HDFS集群测试运行 (09:51) 4-5 [从0搭建Hadoop分布式集群] YARN集群配置 (07:50) 4-6 [从0搭建Hadoop分布式集群] 启动YARN集群服务 (04:18) 4-7 [从0搭建Hadoop分布式集群] YARN集群测试运行 (09:00) 4-8 [从0搭建Hadoop分布式集群] Hadoop集群故障转移测试 (13:27) 4-9 [从0搭建Hadoop分布式集群] Hadoop集群运维技巧 (12:37) 5-1 [从0搭建Hive数据仓库环境] 安装MySQL元数据库 (10:02) 5-2 [从0搭建Hive数据仓库环境] Hive数据仓库环境部署 (20:27) 6-1 [从0搭建HBase分布式集群] HBase集群规划 (03:35) 6-2 [从0搭建HBase分布式集群] HBase集群安装配置 (12:24) 6-3 [从0搭建HBase分布式集群] 启动HBase集群服务 (11:15) 7-1 [从0搭建Sqoop数据迁移工具] Sqoop客户端安装部署 (13:51) 7-2 [从0搭建Sqoop数据迁移工具] Sqoop迁移Hive仓库数据 (20:02) 8-1 [从0搭建Flume分布式集群] Flume环境安装部署 (15:39) 8-2 [从0搭建Flume分布式集群] 搭建Flume分布式集群1 (19:08) 8-3 [从0搭建Flume分布式集群] 搭建Flume分布式集群2 (09:03) 8-4 [从0搭建Flume分布式集群] 搭建Flume分布式集群3 (08:54) 9-1 [从0搭建Kafka分布式集群] Kafka分布式集群搭建1 (08:49) 9-2 [从0搭建Kafka分布式集群] Kafka分布式集群搭建2 (11:49) 9-3 [从0搭建Kafka分布式集群] Flume与Kafka集成开发 (13:36) 10-1 [从0搭建Spark分布式集群] Spark Standalone分布式集群搭建1 (09:25) 10-2 [从0搭建Spark分布式集群] Spark Standalone分布式集群搭建2 (10:54) 10-3 [从0搭建Spark分布式集群] Spark Standalone分布式集群搭建3 (08:40) 10-4 [从0搭建Spark分布式集群] Spark ON YARN分布式集群搭建 (08:37) 11-1 [从0搭建Flink分布式集群] Flink 运行模型与运行原理 (06:52) 11-2 [从0搭建Flink分布式集群] Flink Standalone集群配置 (14:21) 11-3 [从0搭建Flink分布式集群] 启动Flink Standalone集群服务 (08:32) 11-4 [从0搭建Flink分布式集群] Flink Standalone集群测试 (05:36) 11-5 [从0搭建Flink分布式集群] Flink ON YARN集群配置与启动 (07:31) 11-6 [从0搭建Flink分布式集群] Flink 提交Job至YARN集群方式1 (10:36) 11-7 [从0搭建Flink分布式集群] Flink 提交Job至YARN集群方式2 (07:58)
