慕课体系-大数据工程师2024版（完结38周）

这套课标的周期是 38 周，差不多九个月。它不是那种「三小时入门大数据」的路子，节奏偏慢、偏扎实，适合你拿它当主线，而不是当速查手册。真正需要先想清楚的是：你现在缺的是哪一块——是连 Linux 命令行都发怵，还是 Hadoop、Hive 会用但说不清底层怎么跑，还是 Scala、Spark 这段一直没补上。缺什么补什么，别从头到尾顺着刷，那样最费时间。

先看清它铺开的是一条什么样的链路

从 Linux 起步，到 Hadoop 的存储与计算，再到数据采集、数仓、NoSQL、分析引擎，接着进 Scala 和 Spark 这条计算主线。这是一套典型的离线数仓加批处理的技术栈组合，覆盖的是企业里那批「数据从产生到能查、能算、能出报表」的环节。你要清楚它偏重什么：偏批处理、偏离线、偏传统大数据生态。如果你现在的工作是实时链路、湖仓一体、云原生调度那一挂，这门课只能帮你补历史地基，不能直接对上你手上的活。

反过来说，如果你面试时被问到 HDFS 的读写流程、MapReduce 的 shuffle 到底发生了什么、Hive 一条 SQL 怎么变成任务，而你只能答出「大概是分块存储、分布式计算」这种程度，那这门课的价值就很直接。

哪些周次是分水岭，哪些可以快进

Linux 那部分，如果你已经能熟练用 shell 处理日志、配环境变量、看进程和端口，直接跳过，别为了「完整」浪费时间。Hadoop 的 HDFS 使用和核心进程那几周要慢下来，很多人卡在这里不是不会敲命令，而是脑子里没有 NameNode、DataNode、SecondaryNameNode 各自管什么、故障时谁先出问题。

中间的数据采集、Hive、HBase、Impala 这几段，属于「会用但要理解边界」的内容——什么场景用 Hive 合适、什么时候该上 HBase、Impala 和 Hive 在查询路径上差在哪。这部分是面试和实际选型里最容易露怯的地方。Scala 那几周对没写过函数式语言的人是真门槛，建议单独留出时间练，不要指望看一遍就过。后面的 Spark 部分建立在此之上，Scala 没打牢，后面会一直别着劲。

配套练习该怎么用

• 环境别只用现成的。自己从零搭一次伪分布式，报错自己查，比看十遍视频有用。
• 每个组件学完，写一句「它解决什么问题、代价是什么」。写不出来，说明还没学会。
• 数仓那几周，自己设计一张事实表加两张维度表，把数据从采集灌到能查询，跑通一遍。
• Scala 和 Spark 部分，坚持手写，不要复制粘贴代码再改参数。
• 38 周的节奏，建议压到 20 周左右完成第一遍，留出时间做第二遍的重点回补。

学完之后，你应该能回答这些问题

• 一份日志文件从落盘到能在 Hive 里查出来，中间经过哪些组件、哪些环节可能丢数据？
• HDFS 为什么适合一次写入多次读取，它不适合什么场景？
• Hive、HBase、Impala 三者在你的项目里分别该放在哪一层？
• 一个 MapReduce 或 Spark 任务变慢，你会按什么顺序去排查？
• Scala 的不可变和函数式写法，对 Spark 程序的性能和行为有什么实际影响？

如果这些问题你现在答不上来，学完这门课再回来看一遍，能答个七七八八，这 38 周就没白花。答不上来，说明你只是跟着敲了一遍，得回去补。