消息中间件选型与集群构建的实战缺口

很多开发者在日常工作中往往只关注“发消息”和“收消息”的简单调用，缺乏对底层架构的掌控力。当面对高并发、低延迟或消息堆积等线上故障时，极易因配置不当导致数据丢失或性能瓶颈。本课程直击 Kafka 核心技术与实战中的关键能力缺口，从集群部署方案到生产者分区机制，再到压缩算法与参数调优，带你从理论走向落地。课程首先通过开篇词和入门章节，厘清消息引擎系统的本质与术语，随后深入剖析最关键的集群参数配置。学完这部分内容，你应能独立搭建一个高可用的 Kafka 集群，并根据业务场景制定合理的部署策略，解决“只会用不会配”的痛点。对于有一定基础的学习者，建议先从“Kafka入门”章节入手，快速扫清术语障碍，再重点攻克“Kafka的基本使用”中的参数配置部分，这是掌握集群稳定运行的基础。

生产者与消费者的深度原理剖析

要真正掌握 Kafka，必须深入源码级原理，理解生产者与消费者是如何协同工作的。本课程重点覆盖了生产者的分区机制、压缩算法以及如何实现无消息丢失配置，这些都是构建可靠消息系统的基石。同时，课程还涵盖了客户端的高级特性剖析。通过学习，你应该能够回答诸如“如何选择合适的 Kafka 版本”、“客户端有哪些不常见但很高级的特性”等问题。这不仅要求你掌握基础操作，更要求你理解底层逻辑，从而在面对复杂场景时，能够通过参数调整和代码优化来提升系统的吞吐量和稳定性。这部分内容是进阶必修课，学完应能独立排查消息发送异常与消费阻塞问题。

配套练习与实战应用指南

理论必须通过实践来检验，本课程的设计初衷就是为了解决“看懂了但不会做”的尴尬。建议在观看课程时，配合资料包中的实战案例进行环境搭建和代码调试。重点练习 Kafka 的集群部署与参数调优，尝试复现生产者分区与压缩的原理。学完本课程，你应具备独立搭建 Kafka 环境、配置高可用集群、编写生产者与消费者代码以及排查常见性能问题的能力。请结合资料包中的环境搭建指南与经典学习资料，通过动手实验将知识点内化，从一名只会调 API 的使用者进阶为能够独立进行 Kafka 系统设计与优化的技术工程师。

课程目录

开篇词 (1讲)

  1. 开篇词 _ 为什么要学习Kafka？

特别放送 (2讲)

  1. 加餐 _ 搭建开发环境、阅读源码方法、经典学习资料大揭秘
  2. 用户故事 _ 黄云：行百里者半九十

Kafka入门 (5讲)

  1. 01 _ 消息引擎系统ABC
  2. 02 _ 一篇文章带你快速搞定Kafka术语
  3. 03 _ Kafka只是消息引擎系统吗？
  4. 04 _ 我应该选择哪种Kafka？
  5. 05 _ 聊聊Kafka的版本号

Kafka的基本使用 (3讲)

  1. 06 _ Kafka线上集群部署方案怎么做？
  2. 07 _ 最最最重要的集群参数配置（上）
  3. 08 _ 最最最重要的集群参数配置（下）

客户端实践及原理剖析 (14讲)

  1. 09 _ 生产者消息分区机制原理剖析
  2. 10 _ 生产者压缩算法面面观
  3. 11 _ 无消息丢失配置怎么实现？
  4. 12 _ 客户端都有哪些不常见但是很高级的功能？
  5. 13 _ Java生产者是如何管理TCP连接的？
  6. 14 _ 幂等生产者和事务生产者是一回事吗？
  7. 15 _ 消费者组到底是什么？
  8. 16 _ 揭开神秘的“位移主题”面纱
  9. 17 _ 消费者组重平衡能避免吗？
  10. 18 _ Kafka中位移提交那些事儿
  11. 19 _ CommitFailedException异常怎么处理？
  12. 20 _ 多线程开发消费者实例
  13. 21 _ Java 消费者是如何管理TCP连接的_
  14. 22 _ 消费者组消费进度监控都怎么实现？

深入Kafka内核 (5讲)

  1. 23 _ Kafka副本机制详解
  2. 24 _ 请求是怎么被处理的？
  3. 25 _ 消费者组重平衡全流程解析
  4. 26 _ 你一定不能错过的Kafka控制器
  5. 27 _ 关于高水位和Leader Epoch的讨论

管理与监控 (12讲)

  1. 28 _ 主题管理知多少_
  2. 29 _ Kafka动态配置了解下？
  3. 30 _ 怎么重设消费者组位移？
  4. 31 _ 常见工具脚本大汇总
  5. 32 _ KafkaAdminClient：Kafka的运维利器
  6. 33 _ Kafka认证机制用哪家？
  7. 34 _ 云环境下的授权该怎么做？
  8. 35 _ 跨集群备份解决方案MirrorMaker
  9. 36 _ 你应该怎么监控Kafka？
  10. 37 _ 主流的Kafka监控框架
  11. 38 _ 调优Kafka，你做到了吗？
  12. 39 _ 从0搭建基于Kafka的企业级实时日志流处理平台

高级Kafka应用之流处理 (3讲)

  1. 40 _ Kafka Streams与其他流处理平台的差异在哪里？
  2. 41 _ Kafka Streams DSL开发实例
  3. 42 _ Kafka Streams在金融领域的应用

结束语 (1讲)

  1. 结束语 _ 以梦为马，莫负韶华！

结课测试 (1讲)

  1. 期末测试 _ 这些Kafka核心要点，你都掌握了吗？