课程目录
1-1 [课程答疑] 老汤大数据课程体系介绍 (06:21) 2-1 [大数据技术思想入门] 分布式存储的特点 (13:05) 2-2 [大数据技术思想入门] 分布式存储集群特点 (11:27) 2-3 [大数据技术思想入门] 分布式文件存储的流程 (10:18) 2-4 [大数据技术思想入门] 主节点中的元数据是怎么存储的 (11:54) 2-5 [大数据技术思想入门] 分布式计算的特点 (10:30) 3-1 [分布式存储 - HDFS 集群配置安装] HDFS 课程内容介绍 (01:51) 3-2 [分布式存储 - HDFS 集群配置安装] HDFS 集群介绍 (05:28) 3-3 [分布式存储 - HDFS 集群配置安装] 安装前准备：准备 3 台虚拟机 (02:47) 3-4 [分布式存储 - HDFS 集群配置安装] 安装前准备：配置无密钥登录 (06:13) 3-5 [分布式存储 - HDFS 集群配置安装] 安装前准备：配置 JAVA_HOME (04:21) 3-6 [分布式存储 - HDFS 集群配置安装] 安装前准备：关闭防火墙 (01:10) 3-7 [分布式存储 - HDFS 集群配置安装] 安装包的下载和解压 (06:14) 3-8 [分布式存储 - HDFS 集群配置安装] 配置 HDFS 的基本路径 (02:08) 3-9 [分布式存储 - HDFS 集群配置安装] 创建名字节点和数据节点存储数据的文件目录 (02:56) 3-10 [分布式存储 - HDFS 集群配置安装] HDFS 相关配置值的设置 (03:57) 3-11 [分布式存储 - HDFS 集群配置安装] 配置 Java Home以及从节点 (04:21) 3-12 [分布式存储 - HDFS 集群配置安装] 配置 HADOOP_HOME (03:18) 3-13 [分布式存储 - HDFS 集群配置安装] HDFS 集群启动 (03:45) 3-14 [分布式存储 - HDFS 集群配置安装] 验证 HDFS 集群是否正常 (03:35) 3-15 [分布式存储 - HDFS 集群配置安装] 怎么样查看 HDFS 的日志信息 (04:09) 3-16 [分布式存储 - HDFS 集群配置安装] HDFS 集群正确停止的方式 (02:02) 4-1 [分布式存储 - HDFS 集群的使用] HDFS Web UI 的讲解 (07:09) 4-2 [分布式存储 - HDFS 集群的使用] HDFS shell 命令介绍 (05:25) 4-3 [分布式存储 - HDFS 集群的使用] 本地文件上传到 HDFS 集群 (06:26) 4-4 [分布式存储 - HDFS 集群的使用] 文件操作命令 (04:07) 4-5 [分布式存储 - HDFS 集群的使用] 修改文件的权限 (02:26) 4-6 [分布式存储 - HDFS 集群的使用] df 和 du (02:17) 4-7 [分布式存储 - HDFS 集群的使用] 文件恢复机制 (09:45) 4-8 [分布式存储 - HDFS 集群的使用] 准备一个大文件 (04:09) 4-9 [分布式存储 - HDFS 集群的使用] HDFS 分布式文件写的过程 (05:17) 4-10 [分布式存储 - HDFS 集群的使用] HDFS 分布式文件读的过程 (03:29) 5-1 [分布式存储 - 数据块] 数据块元数据 (04:33) 5-2 [分布式存储 - 数据块] 设置数据块的备份数 (04:01) 5-3 [分布式存储 - 数据块] 设置数据块的大小 (05:40) 5-4 [分布式存储 - 数据块] 数据块真正存储的地方 (05:11) 5-5 [分布式存储 - 数据块] DataNode 和 NameNode 交互 (05:53) 5-6 [分布式存储 - 数据块] HDFS 分布式文件删除的流程 (02:57) 6-1 [分布式存储 - EditsLog 和 FsImage] 回顾 NameNode 元数据是怎么存储的 (03:55) 6-2 [分布式存储 - EditsLog 和 FsImage] EditsLog 存储目录和内容 (07:31) 6-3 [分布式存储 - EditsLog 和 FsImage] EditsLog 记录每次元数据操作信息 (09:33) 6-4 [分布式存储 - EditsLog 和 FsImage] EditsLog恢复NameNode元数据 (05:10) 6-5 [分布式存储 - EditsLog 和 FsImage] EditsLog 合并的条件 (03:54) 6-6 [分布式存储 - EditsLog 和 FsImage] FsImage 文件内容 (06:32) 6-7 [分布式存储 - EditsLog 和 FsImage] 为什么还要 EditsLog 呢？ (04:28) 6-8 [分布式存储 - EditsLog 和 FsImage] EditsLog 合并的流程 (08:04) 7-1 [分布式存储 - Java 操作 HDFS] Java 操作 HDFS 准备 (02:57) 7-2 [分布式存储 - Java 操作 HDFS] Java 写 HDFS 文件 (06:50) 7-3 [分布式存储 - Java 操作 HDFS] Java 读 HDFS 文件 (03:19) 7-4 [分布式存储 - Java 操作 HDFS] Java 查询 HDFS 文件元数据 (03:25) 7-5 [分布式存储 - Java 操作 HDFS] Java 删除 HDFS 文件 (02:08) 7-6 [分布式存储 - Java 操作 HDFS] 在 Java 代码中设置参数 (03:12) 7-7 [分布式存储 - Java 操作 HDFS] 在 classpath 中设置参数 (05:10) 7-8 [分布式存储 - Java 操作 HDFS] 两种设置参数的优先级 (01:47) 7-9 [分布式存储 - Java 操作 HDFS] HDFS 文件系统的两个特点 (03:47) 8-1 [分布式计算 - 内容介绍] 分布式计算内容介绍 (02:57) 9-1 [分布式计算 - 基础] 数据准备 (05:06) 9-2 [分布式计算 - 基础] 回顾分布式计算的特点 (04:04) 9-3 [分布式计算 - 基础] Yarn 的作用 (05:51) 9-4 [分布式计算 - 基础] Yarn 的安装配置 (07:46) 9-5 [分布式计算 - 基础] Yarn 的 Web UI 简介 (02:23) 9-6 [分布式计算 - 基础] 有了 Yarn 后的分布式计算 (02:49) 9-7 [分布式计算 - 基础] MapReduce 配置 (08:25) 9-8 [分布式计算 - 基础] 创建项目 (02:39) 9-9 [分布式计算 - 基础] 序列化的作用 (09:55) 9-10 [分布式计算 - 基础] Hadoop 序列化机制 (10:11) 10-1 [分布式计算 - DistributedCount程序] DistributedCount 流程 (06:56) 10-2 [分布式计算 - DistributedCount程序] Map 任务实现 (06:04) 10-3 [分布式计算 - DistributedCount程序] Reduce 任务实现 (05:31) 10-4 [分布式计算 - DistributedCount程序] Driver 实现 (09:55) 10-5 [分布式计算 - DistributedCount程序] Map 端合并 (03:13) 10-6 [分布式计算 - DistributedCount程序] 代码优化 (02:58) 10-7 [分布式计算 - DistributedCount程序] 在集群上运行程序 (07:31) 10-8 [分布式计算 - DistributedCount程序] 集群状态的变化 (06:14) 10-9 [分布式计算 - DistributedCount程序] Map Task 的数量和文件大小的关系 (05:36) 11-1 [分布式计算 - 移动计算而非移动数据] Yarn Web UI 查看日志 (04:29) 11-2 [分布式计算 - 移动计算而非移动数据] 问题：为什么移动了数据块？ (03:12) 11-3 [分布式计算 - 移动计算而非移动数据] 打开History Server 服务 (10:44) 11-4 [分布式计算 - 移动计算而非移动数据] MRAppMaster 计算资源的配置 (05:55) 11-5 [分布式计算 - 移动计算而非移动数据] YarnChild 计算资源的配置 (06:07) 11-6 [分布式计算 - 移动计算而非移动数据] 代码中设置 MR 进程需要的资源 (04:48) 11-7 [分布式计算 - 移动计算而非移动数据] Yarn 中的 Container 概念 (03:11) 11-8 [分布式计算 - 移动计算而非移动数据] Yarn 应用启动流程 (05:39) 11-9 [分布式计算 - 移动计算而非移动数据] Container 分配规则一：最小最大规则 (08:27) 11-10 [分布式计算 - 移动计算而非移动数据] Container 分配规则二：整数倍规则 (06:35) 11-11 [分布式计算 - 移动计算而非移动数据] Container 分配规则总结 (01:48) 11-12 [分布式计算 - 移动计算而非移动数据] 数据块移动的原因 (10:15) 11-13 [分布式计算 - 移动计算而非移动数据] 移动计算而尽可能少的移动数据 (09:51) 11-14 [分布式计算 - 移动计算而非移动数据] 设置 reduce task 的数量 (03:35) 11-15 [分布式计算 - 移动计算而非移动数据] 代码优化 (03:43) 12-1 [分布式计算 - WordCount] WordCount 计算流程 (07:11) 12-2 [分布式计算 - WordCount] WordCount Map Task 实现 (05:20) 12-3 [分布式计算 - WordCount] Reduce Task 实现 (04:20) 12-4 [分布式计算 - WordCount] WordCount Driver 实现 (02:41) 12-5 [分布式计算 - WordCount] 集群运行 WordCount (05:29) 12-6 [分布式计算 - WordCount] MapReduce 默认的分区规则 (04:46) 12-7 [分布式计算 - WordCount] Input 和 Output Format (08:45) 12-8 [分布式计算 - WordCount] MapReduce 执行流程 (03:59) 12-9 [分布式计算 - WordCount] WordCount 执行流程 (07:02) 12-10 [分布式计算 - WordCount] Shuffle 和 Sort (07:05) 12-11 [分布式计算 - WordCount] MapReduce On Yarn 运行原理 (07:52) 13-1 [Hadoop 2 之 HDFS 安装] Hadoop 2 学习前说明 (04:46) 13-2 [Hadoop 2 之 HDFS 安装] HDFS的安装(一) (33:06) 13-3 [Hadoop 2 之 HDFS 安装] WebUI看不了怎么办 (03:33) 13-4 [Hadoop 2 之 HDFS 安装] HDFS的安装(二) (06:16) 14-1 [Hadoop 2 之 HDFS 运维相关] Federation配置 (18:22) 14-2 [Hadoop 2 之 HDFS 运维相关] ViewFS的配置 (10:56) 14-3 [Hadoop 2 之 HDFS 运维相关] 回退到一个NameNode的状态 (05:04) 14-4 [Hadoop 2 之 HDFS 运维相关] 告诉你怎么使用Snapshots (23:43) 14-5 [Hadoop 2 之 HDFS 运维相关] 平衡数据 (03:32) 14-6 [Hadoop 2 之 HDFS 运维相关] SafeMode (03:46) 15-1 [Hadoop 2 之 MapReduce 和 Yarn] Yarn的安装 (09:13) 15-2 [Hadoop 2 之 MapReduce 和 Yarn] MapReduce安装 (13:51) 15-3 [Hadoop 2 之 MapReduce 和 Yarn] MapReduce应用(了解即可) (17:33) 15-4 [Hadoop 2 之 MapReduce 和 Yarn] Hadoop压缩机制(了解即可) (09:00) 16-1 [Hadoop 2 之文件格式(这章能理解代码即可)] text文件格式的读写 (21:02) 16-2 [Hadoop 2 之文件格式(这章能理解代码即可)] avro文件和parquet文件的讲解 (09:36) 16-3 [Hadoop 2 之文件格式(这章能理解代码即可)] avro文件的读写(能看懂代码即可) (20:45) 16-4 [Hadoop 2 之文件格式(这章能理解代码即可)] parquet文件的读写(必须掌握) (14:40) 16-5 [Hadoop 2 之文件格式(这章能理解代码即可)] sequenceFile文件(看懂代码即可) (08:37) 16-6 [Hadoop 2 之文件格式(这章能理解代码即可)] sequenceFile合并小文件 (18:14) 16-7 [Hadoop 2 之文件格式(这章能理解代码即可)] CombineTextInputFormat (10:08) 17-1 [Hadoop 2 之 Yarn 资源调度机制] Yarn的三种资源调度机制 (07:49) 17-2 [Hadoop 2 之 Yarn 资源调度机制] Capacity Scheduler (14:18) 17-3 [Hadoop 2 之 Yarn 资源调度机制] Yarn Fair Scheduler配置 (08:32) 18-1 [阶段项目实战 - NCDC 气候数据分析实战(跟着操作一遍)] NCDC数据源的获取 (19:53) 18-2 [阶段项目实战 - NCDC 气候数据分析实战(跟着操作一遍)] NCDC数据字段的详解 (17:55) 18-3 [阶段项目实战 - NCDC 气候数据分析实战(跟着操作一遍)] NCDC数据的预处理 (19:55) 18-4 [阶段项目实战 - NCDC 气候数据分析实战(跟着操作一遍)] 数据处理逻辑以及实现方案讲解 (16:14) 18-5 [阶段项目实战 - NCDC 气候数据分析实战(跟着操作一遍)] MapReduce代码实现讲解 (22:45) 18-6 [阶段项目实战 - NCDC 气候数据分析实战(跟着操作一遍)] Hadoop的本地安装 (04:46) 18-7 [阶段项目实战 - NCDC 气候数据分析实战(跟着操作一遍)] 单元测试、集成测试以及验证 (19:26) 18-8 [阶段项目实战 - NCDC 气候数据分析实战(跟着操作一遍)] 求每一年highest的温度 (10:41)
