**《大数据存储与计算》课程导读：从底层原理到集群部署的全景入门**
在数字化转型的浪潮中，大数据已成为企业核心资产。然而，面对海量数据的爆发式增长，传统的单机数据库与计算架构已难以承载。本课程《大数据存储与计算》作为体系课的重要组成部分，旨在帮助学员构建从理论认知到实战部署的完整知识闭环，是踏入大数据领域不可或缺的基石。
**一、 夯实基础：重新理解存储与计算**
课程伊始，讲师并未急于引入复杂的分布式概念，而是回归本源，深入剖析了“什么是存储”与“什么是计算”。在第一章的前几讲中，我们系统梳理了存储的技术演进脉络，从本地存储到网络存储，再到分布式存储的演变逻辑清晰可见。通过对比不同分类下的存储介质与架构特点，学员将建立起对数据持久化保存的宏观认知。与此同时，关于“运算”的定义与分类讲解，则帮助我们从计算机组成原理的角度，理解数据如何在处理器中流动与处理。这一部分看似基础，实则是后续理解分布式系统将“任务拆解”、“数据分片”等高级概念的前提。
**二、 核心突破：分布式架构与 Hadoop 生态**
当单体架构触及天花板，分布式成为了唯一的出路。课程第三部分重点讲解了分布式系统的基本原理，探讨了如何通过多节点协作来解决单一节点的算力与存储瓶颈。作为大数据领域的事实标准，Hadoop 生态圈的介绍占据了关键篇幅。从 HDFS（分布式文件系统）到 MapReduce（分布式计算模型），学员将了解到这个庞大生态是如何协同工作以支撑 PB 级数据处理的。这部分内容不仅涵盖了理论架构，更强调了各组件在整体解决方案中的角色定位，为后续的安装配置打下坚实的理论基础。
**三、 实战落地：从零搭建 Hadoop 环境**
理论的终点是实践。第二章进入了极具操作性的“环境安装与部署”环节。课程循序渐进地展示了三种部署模式：单机版、伪分布式以及完全分布式。
* **单机安装**让学员快速熟悉 Hadoop 的二进制结构与配置文件布局；
* **伪分布式**在一台机器上模拟了多节点运行环境，是理解 NameNode、DataNode 等角色交互的最佳 playground；
* **完全分布式**则模拟了真实的生产环境集群搭建流程，涉及多机 SSH 免密登录、时间同步、集群参数调优等关键运维技能。
通过这三个阶段的实操训练，学员不仅能掌握 Hadoop 的安装技巧，更能深刻体会分布式系统中节点间的通信机制与容错逻辑。
**四、 学习建议**
本课程适合希望系统掌握大数据底层原理、有意从事大数据开发或运维工作的学习者。建议学员在观看视频的同时，务必动手搭建实验环境，特别是在完全分布式部署环节，遇到的网络配置、权限问题正是积累经验的最佳时机。通过本课程的学习，你将从一个大数据的旁观者，转变为能够独立搭建和驾驭分布式存储计算平台的入门实践者，为后续学习 Spark、Flink 等更高级的大数据组件扫清障碍，开启专业进阶之路。
课程目录
1-1 [大数据存储与计算介绍] 01-01-什么是存储-存储的概述 (06:12) 1-2 [大数据存储与计算介绍] 01-02-什么是存储-存储的分类1 (16:59) 1-3 [大数据存储与计算介绍] 01-03-什么是存储-存储的分类2 (06:52) 1-4 [大数据存储与计算介绍] 02-01-什么是运算 (16:11) 1-5 [大数据存储与计算介绍] 02-02-什么是运算 (07:28) 1-6 [大数据存储与计算介绍] 03-01-分布式介绍 (11:15) 1-7 [大数据存储与计算介绍] 03-03-Hadoop生态圈介绍 (10:08) 2-1 [大数据环境的安装和部署] Hadoop单机的安装和配置 (29:06) 2-2 [大数据环境的安装和部署] Hadoop伪分布式安装 (31:20) 2-3 [大数据环境的安装和部署] Hadoop完全分布式安装 (22:42) 2-4 [大数据环境的安装和部署] Hadoop完全分布式安装2 (24:15) 3-1 [分布式文件系统HDFS] 00-01-HDFS读写原理 (06:23) 3-2 [分布式文件系统HDFS] 00-02-HDFS读写原理 (08:02) 3-3 [分布式文件系统HDFS] 00-03-HDFS读写原理 (05:34) 3-4 [分布式文件系统HDFS] 01-01-NN&2NN&DN概述 (21:00) 3-5 [分布式文件系统HDFS] 01-02-NN&2NN&DN概述 (16:02) 3-6 [分布式文件系统HDFS] 01-03-NN&2NN&DN概述 (05:27) 3-7 [分布式文件系统HDFS] 02-01-Fsimage和edits解析 (21:37) 3-8 [分布式文件系统HDFS] 02-02-Datanode概述、安全模式 (16:50) 3-9 [分布式文件系统HDFS] 02-03-NN&2NN&DN概述 (07:02) 3-10 [分布式文件系统HDFS] 03-01-idea介绍与安装 (18:41) 3-11 [分布式文件系统HDFS] 03-02-idea基本配置和插件使用 (33:37) 3-12 [分布式文件系统HDFS] 03-03-idea基本配置和插件使用 (09:41) 3-13 [分布式文件系统HDFS] 04-01-HDFS快照 (13:19) 3-14 [分布式文件系统HDFS] 04-02-文件归档和回收站和HA和联邦 (21:57) 3-15 [分布式文件系统HDFS] 04-03-分布式文件系统与数据库存储区别 (08:14) 4-1 [MapReduce介绍] 01-MapReduce原理-概述 (06:46) 4-2 [MapReduce介绍] 02-MapReduce原理-案例 (18:52) 4-3 [MapReduce介绍] 03-MapReduce原理-原理 (07:50) 5-1 [HDFS HA] 01-01-Hadoop HA理论 (14:45) 5-2 [HDFS HA] 01-02-Hadoop HA理论 (15:17) 5-3 [HDFS HA] 02-01-HDFS HA (29:33) 5-4 [HDFS HA] 02-02-HDFS HA (12:18) 5-5 [HDFS HA] 03-01-Zookeeper原理-概述及基本操作 (16:07) 5-6 [HDFS HA] 03-02-Zookeeper原理-监听机制 (07:02) 5-7 [HDFS HA] 03-03-Zookeeper原理-选举原理和写数据流程 (09:42) 5-8 [HDFS HA] 03-04-Zookeeper原理-应用 (07:19) 6-1 [其它分布式存储系统介绍] 01-常见开源分布式存储系统 (10:53) 6-2 [其它分布式存储系统介绍] 02-常见开源分布式存储系统 (18:21) 7-1 [项目和案例-基于HDFS的文件共享平台] 01-基于HDFS的文件共享平台 (39:19) 7-2 [项目和案例-基于HDFS的文件共享平台] 02-基于HDFS的文件共享平台-文件列表 (18:18) 7-3 [项目和案例-基于HDFS的文件共享平台] 03-基于HDFS的文件共享平台-文件删除和下载 (26:21) 7-4 [项目和案例-基于HDFS的文件共享平台] 04-基于Fastdfs文件共享平台 (22:09) 7-5 [项目和案例-基于HDFS的文件共享平台] 05-Fastdfs的API操作 (20:39) 8-1 [云存储] 01-01_云存储的概念 (10:58) 8-2 [云存储] 01-02_云存储发展趋势 (13:58) 8-3 [云存储] 02-01_云存储的应用概述 (08:28) 8-4 [云存储] 02-02_云存储的架构模型 (17:25) 9-1 [云计算] 1-云计算 (12:48) 9-2 [云计算] 2-云计算 (07:44) 9-3 [云计算] 3-云计算 (09:30)
