Hadoop第二季-2.伪分布式模式的配置视频课程

从单机到伪分布：补上集群配置的第一道缺口

很多技术学习者在刚接触大数据时，往往能写出在本地跑通的词频统计代码，却死在环境部署这一步。这门课解决的核心问题就是：当一台Linux机器无法满足本地测试需求，而你手头又没有多台物理机时，如何用一台机器模拟出真正的集群环境，也就是Hadoop的伪分布式模式。它适合已经了解Hadoop基本架构、能跑通单机模式，但对核心守护进程怎么启动、各个组件之间怎么通信一知半解的人。如果你连基本的Linux文件权限修改和文本编辑命令都不熟，建议先去补操作系统基础，别在这里硬啃。学完这部分，你应该能独立在一台干净的Linux服务器上，把NameNode、DataNode、ResourceManager和NodeManager全部拉起来，并跑通一个真正读写HDFS文件、提交MapReduce或YARN任务的标准流程。

配置文件的修改逻辑与资料包配合练习

伪分布式的本质是让所有主节点和从节点进程在同一台机器上共存，这要求你对几个核心XML配置文件有精确的理解。在看视频时，建议重点跟着操作三个地方：一是core-site.xml中默认文件系统的地址必须改成带主机名的URI，二是hdfs-site.xml里副本数必须设为1（因为只有一台机器，设多了会一直处于安全模式等待），三是mapred和yarn的配置要把计算框架绑定到具体的调度器上。资料包里的配置示例不要直接复制粘贴到你的环境里，正确的练习方法是：先看一遍视频理解每个参数为什么要这么写，然后自己手敲一遍，改完配置文件后，一定要去检查SSH免密登录是否对本地主机生效。很多初学者配置完发现进程起不来，就是因为忽略了伪分布模式下，Hadoop依然会通过SSH去启动本机的节点进程。每次修改完配置，执行格式化命令前，务必确认之前的临时数据目录已经清空，否则集群ID不一致会导致DataNode直接启动失败。

看完后必须能回答的几个关键问题

检验这部分学习效果，不要以“视频看完了”为标准，而要具体回答出几个硬性问题：格式化文件系统到底是在初始化什么数据，为什么不能每次启动集群都去格式化？启动脚本和单独启动HDFS组件的命令有什么区别，各自会拉起哪些进程？如果在浏览器里打不开默认的Web端口，你应该从哪些维度去排查防火墙、监听地址还是网络配置？当你在命令行里把一个本地文件上传到HDFS后，它在Linux本地磁盘的哪个具体目录下，文件内容长什么样？只有把这些配置参数和底层运行机制的对应关系彻底搞清楚，后续真正去配置多台机器的完全分布式集群时，你才不会面对多节点网络互通和文件同步问题无从下手。把这台机器的伪分布环境彻底跑通，是你迈向真实集群运维的必经之路。