先补架构认知，再啃环境配置：明确学习门槛与顺序

大数据学习最大的误区，是还没理解分布式原理，就直接死磕安装命令。这门课程专门解决“知其然不知其所以然”的痛点。入门前，你不需要拥有深厚的 Java 算法功底，但必须具备 Linux 基础操作能力，如文件权限管理、网络命令使用等。如果完全不懂命令行，建议先花少量时间补强基础，否则在配置集群网络时会被报错劝退。课程的前几块内容至关重要，请务必按顺序先看第 1 章的“大数据入门”与“架构问题”部分。这部分不讲代码，只讲为什么单机处理不了海量数据，HDFS 和 MapReduce 在架构中分别解决什么难题。只有搞懂了“为什么”，后续的“怎么做”才不会变成无脑复制粘贴。跳过这部分直接安装，遇到节点无法通信或数据丢失时，你将无从排查。

学完能独立部署集群，打通运维与开发链路

学完本课程，你将具备独立从零构建 Hadoop 集群的实战能力。具体产出包括：第一，能熟练规划多机网络环境，独立完成域名映射、SSH 免密登录等关键配置，确保集群节点间通信畅通；第二，能独立部署 HDFS 和 MapReduce 核心组件，并熟练使用 Shell 命令进行文件上传、下载、目录查看及权限管理，不再对分布式文件系统感到陌生；第三，能搭建本地 IDEA 开发环境，结合 Maven 编写并运行基础 MapReduce 程序，实现代码与集群的对接。这意味着你不再只是“调包侠”，而是能独立解决环境报错、理解数据流转逻辑的初级大数据工程师。你能清晰回答：HDFS 如何保证数据冗余？MapReduce 的 Shuffle 阶段发生了什么？如果节点连接失败，如何逐层排查网络与配置问题？

资料用法：动手排查比观看更重要

资料包是你的实验场，视频只是操作指南。学习顺序建议：先看第 1 章理解架构，带着问题暂停视频，立即进入第 2 章的“环境安装准备”环节。这里的重点不是看视频演示，而是亲手敲命令。Linux 网络配置、主机名设置、SSH 免密登录，这些步骤必须手动完成，严禁直接复制粘贴脚本。遇到环境报错是常态，甚至要故意制造网络不通、权限不足等错误，尝试自行修复，这种“破坏性测试”比照着做一遍更有效。到了 Hadoop 安装与 Shell 操作部分，重点在于“验证”。安装完成后，不要急着结束，尝试上传大文件、模拟节点宕机、查看数据恢复情况。配合 IDEA 搭建 Maven 项目时，重点练习编写最简 MapReduce 任务并上传运行。资料包里的所有配置示例，都要自己敲一遍，直到能在没有任何教程提示的情况下，独立跑通从环境搭建到代码运行的全过程。只有当你的集群配置、文件操作、代码运行全部独立跑通，才算真正掌握了这门课的核心。

课程目录

1-1 [大数据入门] 大数据入门 (51:54)
1-2 [大数据入门] 大数据入门2 (31:36)
1-3 [大数据入门] 大数据架构问题 (42:43)
1-4 [大数据入门] 大数据架构问题 (36:16)
1-5 [大数据入门] 大数据官网 (12:28)
2-1 [hadoop快速入门] 环境安装准备 (08:40)
2-2 [hadoop快速入门] 服务器网络配置 (32:09)
2-3 [hadoop快速入门] linux基本操作 (44:07)
2-4 [hadoop快速入门] 域名映射、主机名、ssh免登陆 (20:39)
2-5 [hadoop快速入门] hadoop安装流程 (09:43)
2-6 [hadoop快速入门] hdfs shell基本使用 (11:36)
2-7 [hadoop快速入门] IDEA搭建maven项目 (10:19)
3-1 [hadoop进阶篇(1)] Idea的快捷键 (20:50)
3-2 [hadoop进阶篇(1)] 打成jar包提交到集群 (17:50)
3-3 [hadoop进阶篇(1)] HDFS快速入门 (23:48)
3-4 [hadoop进阶篇(1)] HDFS上传文件 (12:23)
3-5 [hadoop进阶篇(1)] HDFS上传文件流程 (25:03)
3-6 [hadoop进阶篇(1)] HDFS写文件流程 (09:18)
3-7 [hadoop进阶篇(1)] HDFS api代码编写 (26:46)
3-8 [hadoop进阶篇(1)] namenode角色分析 (31:58)
4-1 [hadoop进阶篇(2)] 昨日回顾 (23:56)
4-2 [hadoop进阶篇(2)] 定期上传日志到HDFS (08:46)
4-3 [hadoop进阶篇(2)] log4j代码编写 (24:50)
4-4 [hadoop进阶篇(2)] 上传log4j代码到服务器，定期执行 (22:08)
4-5 [hadoop进阶篇(2)] 定期上传文件到HDFS (12:04)
4-6 [hadoop进阶篇(2)] MapReducer (18:51)
4-7 [hadoop进阶篇(2)] MapReducer-01 (32:57)
4-8 [hadoop进阶篇(2)] MapReducer-02 (38:48)
5-1 [南京市出租车GPS日志分析] block和split区别 (25:47)
5-2 [南京市出租车GPS日志分析] yarn资源调度策略 (13:23)
5-3 [南京市出租车GPS日志分析] hdfs-mapreduce-yran (30:30)
5-4 [南京市出租车GPS日志分析] 手机流量 (18:33)
5-5 [南京市出租车GPS日志分析] 自定义Partitioner (17:21)
5-6 [南京市出租车GPS日志分析] mapreduce压缩 (23:17)
5-7 [南京市出租车GPS日志分析] gps案例题1 (20:41)
5-8 [南京市出租车GPS日志分析] GPS案例题2 (21:14)
5-9 [南京市出租车GPS日志分析] GPS案例3，4 (24:41)
5-10 [南京市出租车GPS日志分析] GPS案例3 (24:04)
5-11 [南京市出租车GPS日志分析] GPS案例4 (50:23)
5-12 [南京市出租车GPS日志分析] 把数据写入到数据库 (36:57)
5-13 [南京市出租车GPS日志分析] echarts的简单入门 (22:04)
5-14 [南京市出租车GPS日志分析] 前后台数据交互 (25:35)
6-1 [hadoop高阶篇] combiner介绍 (21:12)
6-2 [hadoop高阶篇] 计数器的使用 (12:56)
6-3 [hadoop高阶篇] Hadoop序列化和Java序列化对比 (15:45)
6-4 [hadoop高阶篇] 手机流量封装对象案例 (11:14)
6-5 [hadoop高阶篇] 对象做Key的时候需要其具有可比性 (14:57)
6-6 [hadoop高阶篇] SequenceFile (16:21)
6-7 [hadoop高阶篇] 小文件合并（1） (18:10)
6-8 [hadoop高阶篇] 自定义输入 (25:29)
6-9 [hadoop高阶篇] 自定义输入(2) (14:07)
6-10 [hadoop高阶篇] 自定义输出 (27:47)
6-11 [hadoop高阶篇] groupingcomparator (45:29)
7-1 [ganglia配置安装] Hadoop在Idea里面把任务提交到集群 (04:06)
7-2 [ganglia配置安装] IDEA本地伪造HDFS权限问题 (07:02)
7-3 [ganglia配置安装] Hadoop监控的安装 (59:01)
7-4 [ganglia配置安装] HadoopLocal监控 (17:56)
7-5 [ganglia配置安装] Hadoop的jmx (09:15)
7-6 [ganglia配置安装] Zookeeper原理篇 (34:09)
8-1 [hadoop集群详解] hadoop HA原理篇 (17:24)
8-2 [hadoop集群详解] hadoopHA的架构图详解 (42:31)
8-3 [hadoop集群详解] hadoop HA集群搭建 (36:48)
9-1 [Zookeeper详解] zookeeper集群和结构 (44:32)
9-2 [Zookeeper详解] zookeeper数据结构和ACL (29:03)
9-3 [Zookeeper详解] zookeeper 基本命令使用 (40:26)
9-4 [Zookeeper详解] zookeeper api使用 (28:08)
9-5 [Zookeeper详解] zookeeper监听器 (24:58)
9-6 [Zookeeper详解] zookeeper 上下线感知 (30:06)
10-1 [数据仓库ETL和Hive] 数据仓库和数据库和ETL原理 (31:57)
10-2 [数据仓库ETL和Hive] 数据仓库和数据库案例 (20:19)
10-3 [数据仓库ETL和Hive] HIVE原理篇 (18:38)
10-4 [数据仓库ETL和Hive] 数据库MySQL的安装 (08:06)
10-5 [数据仓库ETL和Hive] 安装hive (40:12)
10-6 [数据仓库ETL和Hive] 内外表区别和hwi页面的安装 (15:37)
11-1 [hive详解篇] hive分区表 (21:03)
11-2 [hive详解篇] hive分桶 (18:32)
11-3 [hive详解篇] hive列修改 (10:37)
11-4 [hive详解篇] hive其它命令 (11:44)
11-5 [hive详解篇] hive动态分区 (42:05)
11-6 [hive详解篇] hive导出数据 (16:41)
11-7 [hive详解篇] hive的join操作 (13:16)
11-8 [hive详解篇] hive的maperjoin操作 (22:43)
12-1 [hive实战篇] UDF函数 (15:49)
12-2 [hive实战篇] 统计每一年每个月有效访问总和 (21:37)
12-3 [hive实战篇] 把上述结果存储到分区表里面 (11:44)
12-4 [hive实战篇] 计算UA的有效访问比 (07:06)
12-5 [hive实战篇] 统计用户来源情况 (06:42)
12-6 [hive实战篇] sqoop组件导出 (11:46)
12-7 [hive实战篇] hive导入HDFS (07:24)
12-8 [hive实战篇] Hive访问时长统计 (51:03)
12-9 [hive实战篇] Hive级联求和 (29:19)
13-1 [Hive的GPS数据分析] 基于hive的GPS项目分析 (44:56)
13-2 [Hive的GPS数据分析] Zepplin数据分析工具的安装 (19:57)
14-1 [hbase快速入门] hbase概念篇 (23:51)
14-2 [hbase快速入门] hbase安装 (17:54)
14-3 [hbase快速入门] hbase shell (39:17)
14-4 [hbase快速入门] hbase shell 1 (26:50)
14-5 [hbase快速入门] hbase shell 2 (10:34)
14-6 [hbase快速入门] hbase 预分区 (26:04)
15-1 [Hbase详解篇] HBASE原理介绍 (37:14)
15-2 [Hbase详解篇] Memstore刷入磁盘 (53:10)
15-3 [Hbase详解篇] Hbase物理存储 (36:40)
15-4 [Hbase详解篇] Hbase的读写过程 (24:53)
15-5 [Hbase详解篇] Hbase的wal机制和读取 (25:26)
16-1 [Hbase实战篇] Hbase的api (16:30)
16-2 [Hbase实战篇] Hbase的Bulk进行Loading操作 (27:13)
16-3 [Hbase实战篇] Hbase的hive进行SQL整合 (14:57)