Hadoop+Hive+ETL

如果你已经会写 SQL，也能用 Python 处理几百万行数据，但一遇到"数据量再大十倍"就不知道怎么下手，那这门课对准的正是这个缺口。Hadoop、Hive、ETL 三块内容放在一起讲，不是因为它们经常一起出现，而是因为真实的数据链路里，它们本来就是一条线上的三个环节：原始数据落在 HDFS 上，用 Hive 把它变成能查的表，再用 ETL 把表加工成能给分析用的结果。中间任何一环断掉，后面都跑不起来。

先确认你缺的是哪一块

这门课不适合零基础从头学编程的人，但对以下几类情况比较对口：

• 会 SQL，但没在分布式环境上跑过查询，不清楚 Hive 和 MySQL 在写法、执行方式、性能表现上差在哪；
• 听过 MapReduce、YARN 这些词，但说不清一个作业从提交到出结果经过了哪些角色；
• 做过数据清洗脚本，但没系统设计过 ETL 流程，不知道分层、调度、幂等这些事该怎么落地；
• 面试被问到"小文件问题怎么处理""数据倾斜怎么办"时，只能背结论，讲不出原因。

如果你的缺口在上面几条里，学起来会比较顺；如果连 SQL 的 group by、join 都用不熟，建议先把这部分补上再回来。

Hadoop 部分：重点在"数据怎么分布、作业怎么跑"

这部分容易学成名词解释，所以看的时候别停在概念上。真正要盯住的是几个问题：一个文件被切块存到多台机器上之后，读的时候怎么找到它；NameNode 和 DataNode 各自负责什么，谁挂掉会出大事；MapReduce 的 map 和 reduce 之间为什么要 shuffle，shuffle 为什么常常是瓶颈；YARN 里 ResourceManager 和 ApplicationMaster 怎么分工。这些问题想清楚了，后面调优才有依据，否则遇到慢作业只能瞎猜。

Hive 部分：把 SQL 思维迁移到分布式上

Hive 的语法看着像 SQL，但执行逻辑完全不同。这部分要解决的是：Hive 的表结构、分区、分桶分别解决什么问题；为什么分区字段选错会让查询慢十倍；内部表和外部表在删数据时行为不一样，什么时候该用哪个；Hive 的执行计划怎么看，从哪一步能判断出会不会触发全表扫描。学完这块，你应该能自己判断一条 HiveQL 大概会跑成什么样，而不是写完等结果。

ETL 部分：从"能跑通"到"能稳定跑"

ETL 是最容易被低估的一块。写一个能跑的转换脚本不难，难的是它每天定时跑、数据量在涨、上游偶尔延迟、下游还要求结果准时可用。这部分要关注的是数据仓库的分层思路（ODS、DWD、DWS 这类划分各自承担什么）、增量抽取和全量抽取怎么选、任务依赖和调度怎么组织、失败重跑时怎么保证不重复写入。这些问题在案例里会具体出现，看的时候注意别人是怎么处理的，比记住结论有用。

学完之后，试着回答这几个问题

• 给你一个每天新增几千万行的日志文件，你会怎么设计从落库到出报表的整条链路？
• 一条 Hive 查询突然从几分钟变成几小时，你会按什么顺序排查？
• 上游数据晚到两小时，下游任务该怎么调整才不至于把整条链路拖垮？
• HDFS 上堆了大量小文件，为什么会影响性能，你打算怎么处理？

如果这几个问题你现在答不上来，学完再回头看一遍，能答清楚就说明这块补上了。课程里的案例建议跟着动手跑一遍，光看不动手，遇到真实环境和课堂环境的差异时还是会卡住。