解决什么问题与适用人群
这门课专门解决在实时大数据场景下,如何将 Flink 的流处理能力与 ClickHouse 的高性能分析能力结合的实战难题。很多开发者掌握了 Flink 的基础算子,却不知道如何将结果高效写入 OLAP 引擎;或者只会 ClickHouse 的查询语句,却缺乏从流数据源进行实时写入和聚合的工程化经验。本课程适合有一定 Flink 基础,希望从“理论概念”跨越到“企业级开发”的技术人员,以及需要构建实时数据仓库、监控大屏或实时统计系统的转岗人员。建议在观看前,先复习 Flink 的 Source/Transform/Sink 流水线模型,以及 ClickHouse 的基本表结构设计,否则难以跟上实战节奏。
实战路径与独立开发能力
课程遵循“基础原理—中间件配置—项目落地”的逻辑,先通过第12章梳理 ClickHouse 的底层机制,再进入第10、11章的完整项目实战。学习重点应放在如何设计 Flink 的 Watermark 策略来处理乱序数据,以及如何利用 ClickHouse 的 MergeTree 引擎特性实现高性能的实时写入。学完本课,你应能独立搭建一套基于 Flink+ClickHouse 的实时数据处理链路,完成从 Kafka 消费、ETL 聚合到 ClickHouse 持久化的全流程开发,并具备解决数据倾斜、写入慢等实际生产问题的能力。
资料配合与练习建议
为了巩固所学,建议将课程代码与资料包中的脚本配合使用。在实战篇中,不要只看视频操作,要尝试自己修改 Flink 的配置参数和 ClickHouse 的建表语句,观察数据写入速度和查询性能的变化。重点练习如何处理数据格式转换和异常监控,这是企业级开发中最常遇到的问题。通过反复调试项目代码,你应该能够独立回答如何优化实时数仓的吞吐量、如何处理数据积压以及如何设计高可用的实时分析系统等核心问题。
课程目录
第10章 【项目实战第二篇】基于Flink+ClickHouse构建大数据实时分析项目实战 10-1.mp4 4.69M 10-2.mp4 62.60M 10-3.mp4 21.57M 10-4.mp4 90.65M 10-5.mp4 66.65M 10-6.mp4 16.55M 10-7.mp4 43.49M 10-8.mp4 17.92M 10-9.mp4 38.65M 第11章 【项目实战第三篇】基于Flink+ClickHouse构建大数据实时分析项目实战 11-1.mp4 9.65M 11-10.mp4 43.22M 11-11.mp4 44.25M 11-2.mp4 63.78M 11-3.mp4 60.98M 11-4.mp4 42.19M 11-5.mp4 44.83M 11-6.mp4 20.62M 11-7.mp4 7.30M 11-8.mp4 29.32M 11-9.mp4 36.50M 第12章 初识ClickHouse 12-1.mp4 3.57M 12-10.mp4 36.77M 12-11.mp4 10.75M 12-12.mp4 17.63M 12-13.mp4 21.14M 12-14.mp4 30.00M 12-15.mp4 20.08M 12-16.mp4 45.05M 12-17.mp4 31.75M 12-18.mp4 17.34M 12-19.mp4 62.53M 12-2.mp4 6.86M 12-20.mp4 30.71M 12-3.mp4 64.08M 12-4.mp4 59.55M 12-5.mp4 19.76M 12-6.mp4 46.01M 12-7.mp4 44.63M 12-8.mp4 5.39M 12-9.mp4 41.96M 第13章 【项目实战终极篇】基于Flink+ClickHouse构建大数据实时分析项目实战 13-1.mp4 2.98M 13-10.mp4 27.60M 13-11.mp4 34.93M 13-12.mp4 46.84M 13-13.mp4 24.91M 13-14.mp4 43.54M 13-2.mp4 27.29M 13-3.mp4 36.66M 13-4.mp4 11.54M 13-5.mp4 60.33M 13-6.mp4 58.62M 13-7.mp4 50.21M 13-8.mp4 48.90M 13-9.mp4 31.36M 第14章 Flink DataSet篇 14-1 课程目录.mp4 3.56M 14-10 Sink.mp4 39.72M 14-11 Flink中分布式缓存的使用.mp4 48.74M 14-12 Flink中计数器的使用.mp4 45.27M 14-13 重难点总结.mp4 33.10M 14-2 Flink批处理概述.mp4 45.35M 14-3 对接数据源为csv格式的数据.mp4 58.33M 14-4 对接数据源为压缩后的数据.mp4 12.11M 14-5 对接数据源为子目录的数据.mp4 17.09M 14-6 Transformation之map.mp4 29.11M 14-7 Transformation之mapPartition.mp4 17.37M 14-8 Transformation之distinct.mp4 15.36M 14-9 Transformation之first-n.mp4 45.65M 第15章 Flink Table&SQL API篇 15-1 课程目录.mp4 8.30M 15-10 Flink Table API&SQL Connector概述.mp4 26.18M 15-11 Flink Table API&SQL FileSystem Connector读取数据.mp4 50.37M 15-12 Flink Table API&SQL FileSystem Connector写出数据.mp4 24.79M 15-13 Flink Table API结合Window及EventTime编程.mp4 91.79M 15-14 Flink SQL结合Window及EventTime编程.mp4 28.07M 15-15 Flink UDF函数概述.mp4 39.31M 15-16 Flink UDF函数编程实战.mp4 45.27M 15-17 重难点总结.mp4 92.82M 15-2 Flink Table API&SQL概述.mp4 45.14M 15-3 Flink Table API&SQL编程模型.mp4 51.34M 15-4 Flink SQL整合DataStream编程.mp4 39.28M 15-5 Flink Table API整合DataStream编程.mp4 19.33M 15-6 Flink Table API整合DataStream编程toRetractStream使用.mp4 37.48M 15-7 动态表和连续查询.mp4 46.41M 15-8 图解连续查询.mp4 33.38M 15-9 Table转Stream的方式.mp4 34.88M 第16章 Flink版本升级篇 16-1 课程目录.mp4 6.91M 16-2 开发环境准备.mp4 22.71M 16-3 老版本keyBy的用法.mp4 38.30M 16-4 新版本keyBy的用法.mp4 14.58M 16-5 老版本WM的用法.mp4 32.95M 16-6 新版本WM的用法.mp4 41.85M 16-7 新老版本Table API&SQL整合WM的用法.mp4 82.99M 16-8 Flink on YARN运行及升级.mp4 89.15M 第17章 【拓展】基于Flink构建实时数仓项目实战 17-1 课程目录.mp4 13.93M 17-10 双流JOIN实现之未关联上的数据处理方案.mp4 30.23M 17-11 实时数仓数据流转&命名规范.mp4 36.22M 17-2 实时数仓架构及分层.mp4 85.02M 17-3 认识Canal.mp4 36.13M 17-4 Canal对接Kafka联调.mp4 81.86M 17-5 使用TCP方式拉取Canal数据.mp4 85.72M 17-6 双流JOIN设计思路.mp4 47.54M 17-7 双流JOIN实现之对接数据.mp4 48.18M 17-8 双流JOIN实现之设置WM.mp4 20.74M 17-9 双流JOIN实现之JOIN实现.mp4 52.98M 第18章 总结和展望 18-1 课程总结和回顾.mp4 84.55M 第1章 Flink认知篇 1-1.mp4 29.53M 1-2.mp4 4.15M 1-3.mp4 12.31M 1-4.mp4 47.70M 1-5.mp4 74.83M 1-6 【科普小贴士】Flink发展史&特点&行业应用_慕课网.pdf 175.06kb 1-7.mp4 117.86M 第2章 Flink本地开发快速上手篇 2-1.mp4 3.76M 2-10.mp4 28.34M 2-11.mp4 5.71M 2-12.mp4 22.25M 2-13.mp4 14.07M 2-14.mp4 18.35M 2-15.mp4 14.67M 2-16.png 34.77kb 2-17.png 19.67kb 2-2.mp4 57.40M 2-3.mp4 15.99M 2-4.mp4 67.48M 2-5.mp4 67.33M 2-6.mp4 23.04M 2-7.mp4 22.36M 2-8.mp4 69.80M 2-9.mp4 9.12M 第3章 Flink部署篇 3-1.mp4 3.77M 3-10.png 27.33kb 3-2 【环境配置】云主机开通及配置_慕课网.pdf 229.74kb 3-3.mp4 78.66M 3-4.mp4 90.55M 3-5.mp4 33.57M 3-6.mp4 58.96M 3-7.mp4 22.02M 3-8.mp4 15.19M 3-9.png 19.98kb 第4章 Flink实时处理核心API基础篇 4-1.mp4 3.17M 4-10.mp4 64.63M 4-11.mp4 30.05M 4-12.mp4 31.62M 4-13.mp4 38.86M 4-14.mp4 53.57M 4-15.mp4 16.98M 4-15_2021-06-18_16-39-15.mp4 16.98M 4-16.mp4 50.75M 4-17.png 21.64kb 4-2.mp4 44.14M 4-3.mp4 44.88M 4-4.mp4 48.56M 4-5.mp4 30.62M 4-6.mp4 35.66M 4-7 【核心组件部署】ZooKeeper&Kafka部署_慕课网.pdf 138.85kb 4-8.mp4 46.10M 4-9.mp4 46.85M 第5章 Flink实时处理核心API进阶篇 5-1.mp4 7.31M 5-10.mp4 32.96M 5-11.mp4 13.88M 5-12.mp4 61.43M 5-13.mp4 62.25M 5-14.mp4 24.28M 5-15.mp4 45.77M 5-16 【核心组件部署】Redis部署_慕课网.pdf 121.30kb 5-2.mp4 36.06M 5-3.mp4 40.84M 5-4.mp4 18.91M 5-5.mp4 57.17M 5-6.mp4 10.91M 5-7.mp4 79.50M 5-8.mp4 21.71M 第6章 【项目实战第一篇】基于Flink+ClickHouse构建大数据实时分析项目实战 6-1.mp4 6.87M 6-10.mp4 28.79M 6-11.mp4 24.90M 6-12.mp4 38.44M 6-13.mp4 40.78M 6-14.mp4 31.24M 6-15.mp4 20.92M 6-16.mp4 81.68M 6-17.mp4 35.13M 6-18.mp4 14.01M 6-2.mp4 36.45M 6-3.mp4 17.91M 6-4.mp4 12.09M 6-5.mp4 31.48M 6-6.mp4 15.91M 6-7.mp4 16.91M 6-8.mp4 32.32M 6-9.mp4 26.53M 第7章 Flink时间语义及Window API篇 7-1.mp4 8.79M 7-10.mp4 28.68M 7-11.mp4 61.52M 7-12.mp4 22.21M 7-13.mp4 25.60M 7-14.mp4 28.21M 7-15.mp4 20.33M 7-16.mp4 55.22M 7-17.mp4 26.65M 7-2.mp4 57.75M 7-3.mp4 28.60M 7-4.mp4 17.03M 7-5.mp4 66.99M 7-6.mp4 25.79M 7-7.mp4 18.04M 7-8.mp4 14.95M 7-9.mp4 19.18M 第8章 Flink Watermark 8-1.mp4 6.27M 8-2.mp4 80.28M 8-3.mp4 76.17M 8-4.mp4 85.66M 8-5.mp4 16.77M 8-6.mp4 40.41M 8-7.mp4 28.55M 第9章 Flink状态管理篇 9-1.mp4 6.69M 9-10.mp4 25.11M 9-11.mp4 38.66M 9-12.mp4 32.45M 9-13.mp4 15.91M 9-14.mp4 35.44M 9-15.mp4 13.29M 9-16.mp4 28.81M 9-17.mp4 15.78M 9-18.mp4 40.91M 9-19.mp4 19.58M 9-2.mp4 30.95M 9-20.mp4 25.26M 9-21.mp4 51.85M 9-22.mp4 11.77M 9-3.mp4 91.58M 9-4.mp4 86.97M 9-5.mp4 34.27M 9-6.mp4 99.89M 9-7.mp4 29.24M 9-8.mp4 51.01M 9-9.mp4 43.76M coding510-master.zip 56.51kb 慕课-Flink+ClickHouse 玩转企业级实时大数据开发【完结】/ rk0640-MK-Flink+ClickHouse 玩转企业级实时大数据开发【完结】​





