填补分布式存储与运维效率的能力缺口
许多数据开发学习者在接触大数据生态时,往往停留在 HDFS 的离线批处理层面,面对海量数据的实时读写需求时,容易陷入 Java API 调用的困境。本课程聚焦于 HBase 这一列式分布式数据库,核心解决的痛点是:如何在亿级数据规模下,实现毫秒级的随机访问,以及如何处理集群高可用和客户端连接稳定性问题。你会发现,单纯的理论讲解无法覆盖实战中常见的“坑”,比如客户端请求卡死、RegionServer 重启导致的数据不一致、以及主节点单点故障的风险。这门课正是针对这些从“会部署”到“能运维”再到“懂优化”的能力断层而设计,帮助你建立对 LSM-Tree 存储结构的直观理解,并掌握生产环境下的集群调优思路。
前置基础与核心章节建议
学习本节前,你需要具备 Linux 基础操作能力和一定的 Hadoop HDFS 使用经验,若对 Hive 的开窗函数(如 rows between)不够熟悉,建议优先回顾相关知识点,因为课程开篇即通过对比 Hive 与 HBase 的查询场景,厘清不同存储引擎的适用边界。课程内容的切入点非常务实,第一阶段重点在于集群搭建与 HA 配置,这是后续所有操作的基石。建议不要跳过“启动不起来的原因排查”这一节,这不仅是关于配置文件的检查清单,更是培养日志分析能力的绝佳机会。进入核心操作后,需重点关注常见 Shell 命令与 Java API 的交互细节,特别是客户端卡死问题的解决方案,这直接关联到业务系统的稳定性。此外,课程中穿插的 xcall.sh 和 awk 动态 IP 提取脚本,看似是运维小工具,实则是提升多节点批量操作效率的关键技能,务必动手实践,而非仅浏览代码。
学后能力与资料配合策略
完成本阶段学习后,你应能独立在多台服务器上完成 HBase 集群的高可用部署,能够编写高效的 Java 客户端代码进行数据写入与扫描,并能通过日志快速定位服务启动异常或网络阻塞问题。你可以独立完成从建表、数据导入到简单查询的全流程,并理解 RowKey 设计对性能的决定性影响。在学习过程中,请务必配合课堂笔记与脚本代码进行复现。对于提到的 xkill.sh 等批量管理脚本,建议自行修改并测试其在不同网络环境下的表现;对于 HA 配置部分,可尝试模拟 Master 进程崩溃,观察 ZK 的选主过程,将抽象的脑裂问题转化为具象的运维经验,从而真正内化为解决复杂分布式问题的能力。
课程目录
1-1 [Hbase技术day01] 01.hive的开窗函数rows-range区别 (12:10) 1-2 [Hbase技术day01] 02.hbase集群搭建 (26:24) 1-3 [Hbase技术day01] 03.hbase配置master的HA (05:01) 1-4 [Hbase技术day01] 04.hbase集群启动不起来的原因 (01:09) 1-5 [Hbase技术day01] 05.hbase常见操作 (37:05) 1-6 [Hbase技术day01] 06.hbase API访问-客户端卡死问题 (27:43) 1-7 [Hbase技术day01] 07.xcall.sh脚本 (07:03) 1-8 [Hbase技术day01] 08.awk命令-动态ip提取 (09:12) 1-9 [Hbase技术day01] 09.xkill.sh脚本 (05:12) 1-10 [Hbase技术day01] 10.xsync.sh脚本 (10:33) 1-11 [Hbase技术day01] 11.sed命令 (19:26) 1-12 [Hbase技术day01] 12.表切割-合并-区域移动.sed命令 (01:02:27) 2-1 [Hbase技术day02] 01.hbase批量插入 (40:08) 2-2 [Hbase技术day02] 02.hbase检索scan (01:14:09) 2-3 [Hbase技术day02] 03.hbase扫描缓存和batch (38:46) 2-4 [Hbase技术day02] 04.hbase filer应用 (19:28) 2-5 [Hbase技术day02] 05.hbase filer组合应用-SingleColVa (31:38) 2-6 [Hbase技术day02] 06.hbase计数器-click量统计 (20:37) 2-7 [Hbase技术day02] 07.hbase MAX_VERSION-TTL-MIN_V (54:10) 2-8 [Hbase技术day02] 08.hbase keep-deleted-cells (22:00) 2-9 [Hbase技术day02] 09.hbase协处理器 (37:16) 3-1 [Hbase技术day03] 01.rowkey的设计-callLog分析 (55:53) 3-2 [Hbase技术day03] 02.rowkey-编程实现分区-rowkey-put (32:11) 3-3 [Hbase技术day03] 03.callLog实现分区-rowkey (01:06:08) 3-4 [Hbase技术day03] 04.callLog-扫描-get方法被叫透明处理 (23:34) 3-5 [Hbase技术day03] 05.使用bulkload实现批量数据加载 (34:56) 3-6 [Hbase技术day03] 06.从hbase读取数据进行MR计算 (39:25) 3-7 [Hbase技术day03] 07.将计算结果写入hbase (12:05) 3-8 [Hbase技术day03] 08.hive集成hbase-读写 (15:30) 3-9 [Hbase技术day03] 09.phoenix (31:08) 4-1 [Redis技术day04] 01.phoenix client访问 (34:46) 4-2 [Redis技术day04] 02.redis安装 (09:43) 4-3 [Redis技术day04] 03.redis-list (38:01) 4-4 [Redis技术day04] 04.redis-set (06:33) 4-5 [Redis技术day04] 05.redis-set-2 (14:45) 4-6 [Redis技术day04] 06.redis-sorted set (27:38) 4-7 [Redis技术day04] 07.redis-db常用命令 (21:48) 4-8 [Redis技术day04] 08.redis-linux下make (08:18) 4-9 [Redis技术day04] 08.redis-linux下安装 (07:50) 4-10 [Redis技术day04] 09.redis-客户端API访问 (06:50) 4-11 [Redis技术day04] 10.redis-服务器安全设置 (22:13) 4-12 [Redis技术day04] 11.redis-集群配置(有问题) (24:22) 4-13 [Redis技术day04] 12.redis-事务-发布订阅模型 (16:46) 4-14 [Redis技术day04] 13.flume (26:41) 5-1 [Flume技术day05] 01.redis集群搭建 (21:44) 5-2 [Flume技术day05] 02.redis cluster API操纵 (09:48) 5-3 [Flume技术day05] 03.跃点hop-avrosource-avrosink (36:18) 5-4 [Flume技术day05] 04.flume Source-Channel之间架构 (08:53) 5-5 [Flume技术day05] 05.flume拦截器 (13:22) 5-6 [Flume技术day05] 06.flume限速拦截器 (28:27) 5-7 [Flume技术day05] 07.flume限速拦截器-配置-测试 (18:37) 5-8 [Flume技术day05] 08.flume-source fanout-replica (24:45) 5-9 [Flume技术day05] 09.flume-source fanout-multipl (16:27) 5-10 [Flume技术day05] 10.内存通道 (30:24) 5-11 [Flume技术day05] 11.文件通道 (29:25) 5-12 [Flume技术day05] 12.hdfssink (12:46) 5-13 [Flume技术day05] 13.hbasesink (08:08) 5-14 [Flume技术day05] 14.hive sink (33:49) 5-15 [Flume技术day05] 15.hive sink2 (04:53) 5-16 [Flume技术day05] 16.sink处理器-failover模式 (16:23) 5-17 [Flume技术day05] 17.flume-架构总结 (21:05)





