填补分布式存储与运维效率的能力缺口

许多数据开发学习者在接触大数据生态时,往往停留在 HDFS 的离线批处理层面,面对海量数据的实时读写需求时,容易陷入 Java API 调用的困境。本课程聚焦于 HBase 这一列式分布式数据库,核心解决的痛点是:如何在亿级数据规模下,实现毫秒级的随机访问,以及如何处理集群高可用和客户端连接稳定性问题。你会发现,单纯的理论讲解无法覆盖实战中常见的“坑”,比如客户端请求卡死、RegionServer 重启导致的数据不一致、以及主节点单点故障的风险。这门课正是针对这些从“会部署”到“能运维”再到“懂优化”的能力断层而设计,帮助你建立对 LSM-Tree 存储结构的直观理解,并掌握生产环境下的集群调优思路。

前置基础与核心章节建议

学习本节前,你需要具备 Linux 基础操作能力和一定的 Hadoop HDFS 使用经验,若对 Hive 的开窗函数(如 rows between)不够熟悉,建议优先回顾相关知识点,因为课程开篇即通过对比 Hive 与 HBase 的查询场景,厘清不同存储引擎的适用边界。课程内容的切入点非常务实,第一阶段重点在于集群搭建与 HA 配置,这是后续所有操作的基石。建议不要跳过“启动不起来的原因排查”这一节,这不仅是关于配置文件的检查清单,更是培养日志分析能力的绝佳机会。进入核心操作后,需重点关注常见 Shell 命令与 Java API 的交互细节,特别是客户端卡死问题的解决方案,这直接关联到业务系统的稳定性。此外,课程中穿插的 xcall.sh 和 awk 动态 IP 提取脚本,看似是运维小工具,实则是提升多节点批量操作效率的关键技能,务必动手实践,而非仅浏览代码。

学后能力与资料配合策略

完成本阶段学习后,你应能独立在多台服务器上完成 HBase 集群的高可用部署,能够编写高效的 Java 客户端代码进行数据写入与扫描,并能通过日志快速定位服务启动异常或网络阻塞问题。你可以独立完成从建表、数据导入到简单查询的全流程,并理解 RowKey 设计对性能的决定性影响。在学习过程中,请务必配合课堂笔记与脚本代码进行复现。对于提到的 xkill.sh 等批量管理脚本,建议自行修改并测试其在不同网络环境下的表现;对于 HA 配置部分,可尝试模拟 Master 进程崩溃,观察 ZK 的选主过程,将抽象的脑裂问题转化为具象的运维经验,从而真正内化为解决复杂分布式问题的能力。

课程目录

1-1 [Hbase技术day01] 01.hive的开窗函数rows-range区别 (12:10)
1-2 [Hbase技术day01] 02.hbase集群搭建 (26:24)
1-3 [Hbase技术day01] 03.hbase配置master的HA (05:01)
1-4 [Hbase技术day01] 04.hbase集群启动不起来的原因 (01:09)
1-5 [Hbase技术day01] 05.hbase常见操作 (37:05)
1-6 [Hbase技术day01] 06.hbase API访问-客户端卡死问题 (27:43)
1-7 [Hbase技术day01] 07.xcall.sh脚本 (07:03)
1-8 [Hbase技术day01] 08.awk命令-动态ip提取 (09:12)
1-9 [Hbase技术day01] 09.xkill.sh脚本 (05:12)
1-10 [Hbase技术day01] 10.xsync.sh脚本 (10:33)
1-11 [Hbase技术day01] 11.sed命令 (19:26)
1-12 [Hbase技术day01] 12.表切割-合并-区域移动.sed命令 (01:02:27)
2-1 [Hbase技术day02] 01.hbase批量插入 (40:08)
2-2 [Hbase技术day02] 02.hbase检索scan (01:14:09)
2-3 [Hbase技术day02] 03.hbase扫描缓存和batch (38:46)
2-4 [Hbase技术day02] 04.hbase filer应用 (19:28)
2-5 [Hbase技术day02] 05.hbase filer组合应用-SingleColVa (31:38)
2-6 [Hbase技术day02] 06.hbase计数器-click量统计 (20:37)
2-7 [Hbase技术day02] 07.hbase MAX_VERSION-TTL-MIN_V (54:10)
2-8 [Hbase技术day02] 08.hbase keep-deleted-cells (22:00)
2-9 [Hbase技术day02] 09.hbase协处理器 (37:16)
3-1 [Hbase技术day03] 01.rowkey的设计-callLog分析 (55:53)
3-2 [Hbase技术day03] 02.rowkey-编程实现分区-rowkey-put (32:11)
3-3 [Hbase技术day03] 03.callLog实现分区-rowkey (01:06:08)
3-4 [Hbase技术day03] 04.callLog-扫描-get方法被叫透明处理 (23:34)
3-5 [Hbase技术day03] 05.使用bulkload实现批量数据加载 (34:56)
3-6 [Hbase技术day03] 06.从hbase读取数据进行MR计算 (39:25)
3-7 [Hbase技术day03] 07.将计算结果写入hbase (12:05)
3-8 [Hbase技术day03] 08.hive集成hbase-读写 (15:30)
3-9 [Hbase技术day03] 09.phoenix (31:08)
4-1 [Redis技术day04] 01.phoenix client访问 (34:46)
4-2 [Redis技术day04] 02.redis安装 (09:43)
4-3 [Redis技术day04] 03.redis-list (38:01)
4-4 [Redis技术day04] 04.redis-set (06:33)
4-5 [Redis技术day04] 05.redis-set-2 (14:45)
4-6 [Redis技术day04] 06.redis-sorted set (27:38)
4-7 [Redis技术day04] 07.redis-db常用命令 (21:48)
4-8 [Redis技术day04] 08.redis-linux下make (08:18)
4-9 [Redis技术day04] 08.redis-linux下安装 (07:50)
4-10 [Redis技术day04] 09.redis-客户端API访问 (06:50)
4-11 [Redis技术day04] 10.redis-服务器安全设置 (22:13)
4-12 [Redis技术day04] 11.redis-集群配置(有问题) (24:22)
4-13 [Redis技术day04] 12.redis-事务-发布订阅模型 (16:46)
4-14 [Redis技术day04] 13.flume (26:41)
5-1 [Flume技术day05] 01.redis集群搭建 (21:44)
5-2 [Flume技术day05] 02.redis cluster API操纵 (09:48)
5-3 [Flume技术day05] 03.跃点hop-avrosource-avrosink (36:18)
5-4 [Flume技术day05] 04.flume Source-Channel之间架构 (08:53)
5-5 [Flume技术day05] 05.flume拦截器 (13:22)
5-6 [Flume技术day05] 06.flume限速拦截器 (28:27)
5-7 [Flume技术day05] 07.flume限速拦截器-配置-测试 (18:37)
5-8 [Flume技术day05] 08.flume-source fanout-replica (24:45)
5-9 [Flume技术day05] 09.flume-source fanout-multipl (16:27)
5-10 [Flume技术day05] 10.内存通道 (30:24)
5-11 [Flume技术day05] 11.文件通道 (29:25)
5-12 [Flume技术day05] 12.hdfssink (12:46)
5-13 [Flume技术day05] 13.hbasesink (08:08)
5-14 [Flume技术day05] 14.hive sink (33:49)
5-15 [Flume技术day05] 15.hive sink2 (04:53)
5-16 [Flume技术day05] 16.sink处理器-failover模式 (16:23)
5-17 [Flume技术day05] 17.flume-架构总结 (21:05)