别把Hadoop当八股背,得能动手搭起环境
很多转岗或查漏补缺的同学一提大数据就头疼:简历写着熟悉分布式,实际连单机伪分布环境都没配过。这门课解决的就是从零到一把跑通的核心缺口。它不扯架构演进,直接从装系统、配连接、装底层依赖起步,再带你把集群搭起来。适合有基础编程概念、基本命令能看懂,但没正经搭过大数据集群的人。如果你连终端操作都发怵,建议先补基础操作再看,否则到了配免密登录和改环境变量那几步会全程卡壳。这门课的价值就是帮你跨越看懂理论和实际能搭之间的鸿沟,把纸上谈兵变成真能跑起来的环境。
先啃底层环境,再碰集群搭建与排错
看这门课别按顺序死磕,建议先跳到环境配置那几块。依赖装错版本、数据库没配好权限,是后面跑不起来的最大元凶。把基础环境跑通后,重点看伪分布式集群搭建。这里的免密配置是重灾区,很多人照抄命令却没理解密钥分发逻辑,导致主节点连不上。看视频时别光记指令,得搞懂每条配置改的是哪个文件、为什么要这么改。配套资料里的配置文件别直接复制粘贴,对照着视频自己敲一遍,把端口冲突、路径不存在这些报错都踩一遍,记忆才扎实。看完这几块,你应该能回答:运行这套系统需要依赖哪些底层组件?为什么必须配置免密登录?核心配置文件里的参数决定了什么?节点之间到底靠什么通信?
学完得能独立排错,不是只会按回车
这门课的实战产出在于让你建立对大数据底层环境的体感。学完后,你应该能独立在一台干净虚拟机上,从装系统开始走完依赖部署、免密登录、集群配置全流程,并在启动失败时看懂日志报错。资料配合练习的正确姿势是:看完一章立刻开虚拟机实操,别囤着最后一起做。每配好一个组件,自己写个简单测试验证通不通。如果跑不通,先翻日志找异常栈,别急着搜答案。把环境搭顺了,再去碰后续的组件开发,你心里才有底,不至于遇到点环境报错就抓瞎。这套流程走下来,你收获的不仅是搭好的环境,更是面对陌生技术栈时从零构建的底气。
课程目录
1-1 [大数据产生背景] 认识大数据 (26:26) 1-2 [大数据产生背景] bigdata-0102_数据的价值 (13:42) 1-3 [大数据产生背景] 大数据开发技术与架构 (10:26) 2-1 [开发环境配置] 安装Linux操作系统 (17:04) 2-2 [开发环境配置] 配置超级管理员账户 (07:18) 2-3 [开发环境配置] SSH连接控制 (14:30) 2-4 [开发环境配置] 配置使用环境 (12:39) 2-5 [开发环境配置] 配置FTP服务 (17:24) 2-6 [开发环境配置] JDK安装与配置 (05:26) 2-7 [开发环境配置] MySQL安装与配置 (27:18) 3-1 [搭建Hadoop为分布式集群] Hadoop简介 (10:30) 3-2 [搭建Hadoop为分布式集群] 配置SSH连接 (10:29) 3-3 [搭建Hadoop为分布式集群] Hadoop安装与基本配置 (17:35) 3-4 [搭建Hadoop为分布式集群] 搭建Hadoop伪分布式集群 (23:31) 4-1 [Hadoop启动命令分析] Hadoop进程分析 (09:53) 4-2 [Hadoop启动命令分析] 手工启用服务进程 (15:49) 4-3 [Hadoop启动命令分析] 自动化脚本启动进程 (07:06) 5-1 [分布式文件系统(HDFS)] HDFS简介 (14:34) 5-2 [分布式文件系统(HDFS)] NameNode进程分析 (21:48) 5-3 [分布式文件系统(HDFS)] HDFS执行分析 (21:09) 5-4 [分布式文件系统(HDFS)] HDFS Shell命令 (08:05) 5-5 [分布式文件系统(HDFS)] Java操作HDFS (20:16) 6-1 [搭建Hadoop分布式集群] 集群搭建模式概览 (12:41) 6-2 [搭建Hadoop分布式集群] 集群主机配置 (20:34) 6-3 [搭建Hadoop分布式集群] 配置NameNode主机 (17:11) 6-4 [搭建Hadoop分布式集群] 配置子节点主机 (28:09) 6-5 [搭建Hadoop分布式集群] 动态追加DataNode (17:13) 7-1 [MapReduce基本操作] MapReduce简介 (15:27) 7-2 [MapReduce基本操作] 定义Map处理类 (21:43) 7-3 [MapReduce基本操作] 定义Reduce处理类 (10:00) 7-4 [MapReduce基本操作] 定义Job (15:13) 7-5 [MapReduce基本操作] 运行测试程序 (05:40) 7-6 [MapReduce基本操作] 读取MapReduce统计结果 (09:01) 8-1 [MapReduce深入操作] 自定义数据类型 (30:17) 8-2 [MapReduce深入操作] 数据分区 (09:09) 9-1 [MapReduce与YARN] MapReduce V1执行分析 (12:05) 9-2 [MapReduce与YARN] YARN(MapReduce V2)执行流程分析 (11:39) 9-3 [MapReduce与YARN] 使用YARN执行MapReduce (10:17) 10-1 [ZooKeeper组件作用与算法分析] 服务器集群问题分析 (15:39) 10-2 [ZooKeeper组件作用与算法分析] ZooKeeper简介 (07:15) 10-3 [ZooKeeper组件作用与算法分析] Paxos算法 (16:10) 11-1 [ZooKeeper安装与配置] 配置ZooKeeper集群主机 (09:22) 11-2 [ZooKeeper安装与配置] 安装并配置ZooKeeper (14:20) 11-3 [ZooKeeper安装与配置] 启动ZooKeeper集群 (07:26) 11-4 [ZooKeeper安装与配置] ZooKeeper客户端操作 (13:46) 12-1 [使用Java操作ZooKeeper] 连接ZooKeeper集群 (13:13) 12-2 [使用Java操作ZooKeeper] 创建ZNode节点 (15:44) 12-3 [使用Java操作ZooKeeper] ZooKeeper数据处理 (14:16) 12-4 [使用Java操作ZooKeeper] ZooKeeper数据监听 (15:42) 12-5 [使用Java操作ZooKeeper] ZooKeeper子节点监听 (06:32) 13-1 [ZooKeeper开发案例:服务器列表] 服务器列表实现思路 (13:22) 13-2 [ZooKeeper开发案例:服务器列表] 开发服务器端注册程序 (17:48) 13-3 [ZooKeeper开发案例:服务器列表] 开发客户端信息取得程序 (15:58) 13-4 [ZooKeeper开发案例:服务器列表] 项目部署与运行 (07:37) 14-1 [Hadoop-HA高可用集群] HA集群设计原理分析 (23:19) 14-2 [Hadoop-HA高可用集群] 配置HA集群主机 (33:28) 14-3 [Hadoop-HA高可用集群] 在QJournal中配置ZooKeeper (13:34) 14-4 [Hadoop-HA高可用集群] 在Hadoop-HA集群中配置DFS (34:50) 14-5 [Hadoop-HA高可用集群] 在Hadoop-HA集群中配置YARN (13:17) 14-6 [Hadoop-HA高可用集群] HA集群初始化 (34:32) 14-7 [Hadoop-HA高可用集群] HA测试 (17:57) 15-1 [HBase分布式数据仓库] HBase简介 (15:34) 15-2 [HBase分布式数据仓库] HBase伪分布式安装 (19:22) 15-3 [HBase分布式数据仓库] HBase Shell (33:49) 15-4 [HBase分布式数据仓库] 使用Java操作HBase数据库 (33:53) 16-1 [HBase集群配置] HBase集群简介 (07:46) 16-2 [HBase集群配置] 配置集群主机 (09:04) 16-3 [HBase集群配置] 在集群中配置Hadoop (15:49) 16-4 [HBase集群配置] 在集群中配置ZooKeeper (11:48) 16-5 [HBase集群配置] 在集群中配置HBase (14:08) 17-1 [Hive分析工具] Hive分析工具简介 (06:18) 17-2 [Hive分析工具] Hive安装与配置 (18:26) 17-3 [Hive分析工具] Hive内部表 (21:32) 17-4 [Hive分析工具] Hive外部表 (09:58) 17-5 [Hive分析工具] Hive分区表 (08:34) 17-6 [Hive分析工具] Hive桶表 (06:07) 17-7 [Hive分析工具] 使用Java操作Hive (12:27) 18-1 [Sqoop数据迁移工具] Sqoop简介与安装 (07:58) 18-2 [Sqoop数据迁移工具] MySQL导出数据到HDFS (09:28) 18-3 [Sqoop数据迁移工具] MySQL导出数据到Hive (06:18) 18-4 [Sqoop数据迁移工具] Hive或HDFS导出数据到MySQL (06:41) 19-1 [课程工具] 网盘地址 (00:00)





