这门课解决什么问题
很多学习者停留在"知道 Flink 是实时计算框架"的认知层面,但真正动手做实时数据管道时,卡在几个关键节点:怎么从 Kafka 拉数据、怎么把处理逻辑封装成可复用的代码、参数怎么配置化、结果怎么落地到下游系统。这门课聚焦 Flink 与 ClickHouse 的联动,帮你打通从数据接入、实时计算到结果落库的完整链路,不是只讲概念。适合什么基础
需要具备 Java/Scala 基础,了解分布式系统基本概念,熟悉 Kafka 消息队列的基本使用。SQL 查询能力有帮助但不要求精通。从没写过 Flink 作业代码的同学,建议先补 Java 基础和 Kafka 入门再来看。建议先看哪几块
建议优先看第11章"Flink 对接 Kafka"和第12章"ClickHouse 初识"。第11章带你从数据接入、代码封装(V1/V2/V3 三个版本迭代)、参数配置化、结果入 Redis,一路打通 Kafka 到 Flink 的开发链路。第12章帮你快速建立 ClickHouse 数据模型认知,后面项目实战会用到。第10章项目实战是综合演练,建议学完第11章和第12章后再看,带着完整上下文。学完能独立做什么
学完这门课,你可以独立完成一个 Flink 实时数据管道:从 Kafka 拉取数据、用代码封装处理逻辑、通过参数配置化做灵活开发、将分析结果写入 Redis 做缓存查询、写入 ClickHouse 做 OLAP 分析。同时理解 ExactlyOnce 语义和两阶段提交机制,知道如何在生产环境中保证数据不丢不重。资料怎么配合练习
资料包按章节组织,每章配套练习针对代码开发、参数配置、数据封装等实战场景。建议先看视频理解思路,再对照练习逐项完成。第11章的数据封装 V1→V3 版本演进是重点练习方向,第12章的数据类型和建表是基础练习方向,第10章的项目实战则是综合练习。遇到卡点时回看对应视频,不要跳步。课程目录
第10章 【项目实战第二篇】基于Flink+ClickHouse构建大数据实时分析项目实战 10-1.mp4 5.05M 10-2 功能一之需求分析.mp4 72.54M 10-3 功能一之实现01.mp4 52.68M 10-4 功能一之实现02.mp4 191.66M 10-5 功能一之实现03.mp4 148.01M 10-6 功能二之需求分析.mp4 36.66M 10-7 功能二之实现01.mp4 102.98M 10-8 功能二之实现02.mp4 44.33M 10-9 重难点总结.mp4 83.94M 第11章 【项目实战第三篇】基于Flink+ClickHouse构建大数据实时分析项目实战 11-1 课程目录.mp4 5.94M 11-10 Flink ExactlyOnce图解.mp4 45.93M 11-11 Flink两阶段提交.mp4 117.50M 11-2 Flink对接Kafka数据入门.mp4 106.61M 11-3 Flink整合Kafka代码开发.mp4 164.87M 11-4 参数配置化并读取.mp4 84.60M 11-5 Flink对接Kafka完整参数配置开发.mp4 119.39M 11-6 Flink对接Kafka数据封装V1版本.mp4 54.59M 11-7 Flink对接Kafka数据封装V2版本.mp4 18.30M 11-8 Flink对接Kafka数据封装V3版本.mp4 76.36M 11-9 Flink对接Kafka数据分析结果入Redis.mp4 90.73M 第12章 初识ClickHouse 12-1 课程目录.mp4 4.70M 12-10 数据类型之Date&DateTime&DateTime64.mp4 47.69M 12-11 数据类型之Array.mp4 13.48M 12-12 数据类型之Tuple.mp4 24.67M 12-13 数据类型之Nested.mp4 27.96M 12-14 数据库和表创建语法及数据库引擎.mp4 44.61M 12-15 初识表引擎.mp4 25.31M 12-16 表引擎之TinyLog.mp4 55.09M 12-17 表引擎之StripeLog.mp4 42.59M 12-18 表引擎之Log.mp4 19.26M 12-19 ClickHouse整合MySQL.mp4 75.44M 12-2 背景需求.mp4 8.09M 12-20 ClickHouse API编程.mp4 55.67M 12-3 初识ClickHouse.mp4 72.34M 12-4 ClickHouse部署及快速入门.mp4 76.84M 12-5 ClickHouse常用参数讲解.mp4 22.90M 12-6 数据类型之Int和Float.mp4 60.71M 12-7 数据类型之Decimal.mp4 56.49M 12-8 数据类型之Bool.mp4 10.98M 12-9 数据类型之String&FixedString&UUID.mp4 53.34M 第13章 【项目实战终极篇】基于Flink+ClickHouse构建大数据实时分析项目实战 13-1 课程目录.mp4 4.12M 13-10 引入CEP.mp4 38.64M 13-11 CEP模式概述.mp4 66.71M 13-12 CEP功能开发.mp4 102.02M 13-13 CEP功能测试.mp4 61.47M 13-14 前端UI展示.mp4 53.63M 13-2 现存问题描述及分析.mp4 32.35M 13-3 ReplacingMergeTree引擎的用法.mp4 47.18M 13-4 CH表如何设计.mp4 17.19M 13-5 CH ID生成策略.mp4 128.46M 13-6 Flink整合CH插入数据.mp4 136.91M 13-7 使用Flink进行数据清洗.mp4 115.88M 13-8 Flink清洗后的数据落地到CH并进行各种维度的统计分析.mp4 107.32M 13-9 全流程服务器测试.mp4 62.24M 第14章 Flink DataSet篇 14-1 课程目录.mp4 3.51M 14-10 Sink.mp4 91.06M 14-11 Flink中分布式缓存的使用.mp4 92.10M 14-12 Flink中计数器的使用.mp4 80.80M 14-13 重难点总结.mp4 39.93M 14-2 Flink批处理概述.mp4 92.87M 14-3 对接数据源为csv格式的数据.mp4 134.15M 14-4 对接数据源为压缩后的数据.mp4 20.59M 14-5 对接数据源为子目录的数据.mp4 31.20M 14-6 Transformation之map.mp4 43.68M 14-7 Transformation之mapPartition.mp4 40.37M 14-8 Transformation之distinct.mp4 33.65M 14-9 Transformation之first-n.mp4 95.53M 第15章 Flink Table&SQL API篇 15-1 课程目录.mp4 7.22M 15-10 Flink Table API&SQL Connector概述.mp4 54.52M 15-11 Flink Table API&SQL FileSystem Connector读取数据.mp4 122.95M 15-12 Flink Table API&SQL FileSystem Connector写出数据.mp4 59.61M 15-13 Flink Table API结合Window及EventTime编程.mp4 146.05M 15-14 Flink SQL结合Window及EventTime编程.mp4 57.65M 15-15 Flink UDF函数概述.mp4 72.98M 15-16 Flink UDF函数编程实战.mp4 76.22M 15-17 重难点总结.mp4 55.67M 15-2 Flink Table API&SQL概述.mp4 66.53M 15-3 Flink Table API&SQL编程模型.mp4 96.65M 15-4 Flink SQL整合DataStream编程.mp4 95.45M 15-5 Flink Table API整合DataStream编程.mp4 38.00M 15-6 Flink Table API整合DataStream编程toRetractStream使用.mp4 82.84M 15-7 动态表和连续查询.mp4 72.95M 15-8 图解连续查询.mp4 45.90M 15-9 Table转Stream的方式.mp4 66.53M 第16章 Flink版本升级篇 16-1 课程目录.mp4 3.95M 16-2 开发环境准备.mp4 57.14M 16-3 老版本keyBy的用法.mp4 78.61M 16-4 新版本keyBy的用法.mp4 32.25M 16-5 老版本WM的用法.mp4 80.96M 16-6 新版本WM的用法.mp4 108.28M 16-7 新老版本Table API&SQL整合WM的用法.mp4 226.24M 16-8 Flink on YARN运行及升级.mp4 191.13M 第17章 【拓展】基于Flink构建实时数仓项目实战 17-1 课程目录.mp4 7.19M 17-10 双流JOIN实现之未关联上的数据处理方案.mp4 39.10M 17-11 实时数仓数据流转&命名规范.mp4 29.58M 17-2 实时数仓架构及分层.mp4 117.92M 17-3 认识Canal.mp4 52.11M 17-4 Canal对接Kafka联调.mp4 148.68M 17-5 使用TCP方式拉取Canal数据.mp4 147.81M 17-6 双流JOIN设计思路.mp4 39.55M 17-7 双流JOIN实现之对接数据.mp4 84.07M 17-8 双流JOIN实现之设置WM.mp4 55.87M 17-9 双流JOIN实现之JOIN实现.mp4 102.03M 第18章 总结和展望 18-1 课程总结和回顾.mp4 34.14M 第1章 Flink认知篇 试看 1-1 课前须知,这里有你需要了解得一切_.mp4 42.22M 1-2 课程目录_.mp4 6.61M 1-3 业界大数据分布式计算框架_.mp4 8.50M 1-4 初识Flink_.mp4 32.35M 1-5 什么是Flink_.mp4 150.90M 1-7 学习一个新框架的方法论_.mp4 91.84M 第2章 Flink本地开发快速上手篇 试看 2-1 课程目录_.mp4 2.98M 2-10 基于Flink开发第一个实时处理案例之功能实现三_.mp4 53.09M 2-11 基于Flink开发第一个批处理案例之需求分析_.mp4 8.74M 2-12 基于Flink开发第一个批处理案例之功能实现_.mp4 48.17M 2-13 基于Flink开发第一个批处理案例之功能实现重构_.mp4 32.07M 2-14 基于Flink编程套路总结_.mp4 35.67M 2-15 本章重难点总结_.mp4 15.71M 2-2 Maven部署_.mp4 63.86M 2-3 IDEA社区版和旗舰版区别_.mp4 12.04M 2-4 基于官方提供的命令来构建Flink项目_.mp4 73.77M 2-5 基于IDEA构建多module的Flink项目_.mp4 120.64M 2-6 Flink编程模型_.mp4 15.46M 2-7 基于Flink开发第一个实时处理案例之需求分析_.mp4 15.98M 2-8 基于Flink开发第一个实时处理案例之功能实现一_.mp4 120.14M 2-9 基于Flink开发第一个实时处理案例之功能实现二_.mp4 20.33M 第3章 Flink部署篇 3-1 课程目录_.mp4 2.66M 3-3 Flink架构_.mp4 82.67M 3-4 Flink部署_.mp4 128.88M 3-5 Flink UI参数讲解_.mp4 28.60M 3-6 通过命令行方式提交&展示&取消Flink作业_.mp4 117.01M 3-7 通过UI方式提交&展示&取消Flink作业_.mp4 16.75M 3-8 关于并行度的补充_.mp4 24.96M 第4章 Flink实时处理核心API基础篇 4-1 课程目录_.mp4 2.36M 4-10 Transformation算子之map_.mp4 110.91M 4-11 Transformation算子之filter_.mp4 64.28M 4-12 Transformation算子之flatMap_.mp4 56.47M 4-13 Transformation算子之keyBy_.mp4 75.05M 4-14 Transformation算子之reduce_.mp4 92.87M 4-15 Sink概述_.mp4 27.81M 4-16 Sink之print&printToErr及并行度_.mp4 102.29M 4-2 DataStream API概述_.mp4 48.36M 4-3 StreamExecutionEnvironment详解_.mp4 110.12M 4-4 Source概述_.mp4 123.08M 4-5 Source API编程之Socket及并行度_.mp4 61.84M 4-6 Source API编程之并行集合及并行度_.mp4 79.29M 4-8 Source API编程之对接Kafka数据_.mp4 90.02M 4-9 Transformation概述_.mp4 64.07M 第5章 Flink实时处理核心API进阶篇 试看 5-1 课程目录_.mp4 5.44M 5-10 Transformation算子之CoMapFunction_.mp4 66.86M 5-11 Transformation算子之CoFlatMapFunction_.mp4 27.38M 5-12 自定义分区器_.mp4 129.44M 5-13 自定义MySQLSink功能实现_.mp4 119.72M 5-14 自定义MySQLSink需求分析_.mp4 61.11M 5-15 RedisSink功能实现_.mp4 98.50M 5-2 MapFunction&RichMapFunction认识_.mp4 86.18M 5-3 通过RichMapFunction认识对应的生命周期方法_.mp4 90.40M 5-4 SourceFunction代码层级_.mp4 48.26M 5-5 自定义单并行度Source_.mp4 104.60M 5-6 自定义多并行度Source_.mp4 25.06M 5-7 自定义Source读取MySQL数据_.mp4 138.56M 5-8 Transformation算子之union_.mp4 49.57M 5-9 Transformation算子之connect_.mp4 92.33M 第6章 【项目实战第一篇】基于Flink+ClickHouse构建大数据实时分析项目实战 6-1 课程目录_.mp4 5.11M 6-10 功能一实现之统计结果入Redis_.mp4 68.79M 6-11 功能一实现之拓展_.mp4 43.40M 6-12 需求二之功能分析_.mp4 26.06M 6-13 需求二之IP解析测试_.mp4 61.99M 6-14 功能二实现之自定义UDF函数解析IP地址_.mp4 67.05M 6-15 功能二实现之统计分析及入库_.mp4 55.43M 6-16 需求二之异步IO补充_.mp4 163.21M 6-17 前面两个需求可能会遇到的问题提炼_.mp4 33.17M 6-18 重难点总结_.mp4 33.38M 6-2 同类产品分析_.mp4 40.61M 6-3 项目架构_.mp4 12.62M 6-4 项目子工程创建_.mp4 22.72M 6-5 字段说明_.mp4 82.84M 6-6 用户行为日志类定义_.mp4 27.66M 6-7 功能一需求分析_.mp4 13.93M 6-8 功能一实现之数据清洗_.mp4 67.96M 6-9 功能一实现之统计分析_.mp4 52.25M 第7章 Flink时间语义及Window API篇 7-1 课程目录_.mp4 6.12M 7-10 窗口生命周期_.mp4 58.61M 7-11 基于ProcessingTime的Non-Keyed滚动窗口实战_.mp4 163.83M 7-12 基于ProcessingTime的Keyed滚动窗口实战_.mp4 46.22M 7-13 WindowFunction概述_.mp4 58.76M 7-14 WindowFunction之ReduceFunction实战_.mp4 63.71M 7-15 WindowFunction补充_.mp4 47.37M 7-16 WindowFunction之ProcessWindowFunction实战_.mp4 126.97M 7-17 重难点总结_.mp4 53.51M 7-2 时间三兄弟_.mp4 60.58M 7-3 时间三兄弟举例解释_.mp4 20.12M 7-4 初识Window_.mp4 12.22M 7-5 Window分类_.mp4 79.86M 7-6 Window Assigner_.mp4 52.10M 7-7 滚动窗口_.mp4 26.31M 7-8 滑动窗口_.mp4 25.94M 7-9 会话窗口_.mp4 24.58M 第8章 Flink Watermark 8-1 课程目录_.mp4 4.59M 8-2 Watermark概述_.mp4 103.83M 8-3 基于EventTime和Watermark结合滚动窗口综合案例之没有延迟_.mp4 156.48M 8-4 基于EventTime和Watermark结合滚动窗口综合案例之有延迟_.mp4 155.61M 8-5 基于EventTime和Watermark结合滚动窗口综合案例之延迟数据丢失_.mp4 23.96M 8-6 基于EventTime和Watermark结合滚动窗口综合案例之捕获到延迟数据_.mp4 103.82M 8-7 重难点总结_.mp4 49.11M 第9章 Flink状态管理篇 9-1 课程目录.mp4 6.77M 9-10 Checkpoint整合重启策略及状态功能测试screenflow.mp4 38.39M 9-11 Flink StateBackend.mp4 53.91M 9-12 Flink StateBackend之MemoryStateBackend.mp4 60.72M 9-13 Flink StateBackend之FsStateBackend.mp4 34.98M 9-14 Flink StateBackend之RocksDBStateBackend.mp4 69.79M 9-15 FsStateBackend 本地文件系统功能测试.mp4 30.60M 9-16 ExternalizedCheckpointCleanup在生产上的使用.mp4 69.01M 9-17 FsStateBackend HDFS功能测试.mp4 28.09M 9-18 Checkpoint全流程测试之Flink UI操作.mp4 51.82M 9-19 Checkpoint全流程测试之命令行操作.mp4 29.69M 9-2 状态能为什么带来什么.mp4 36.18M 9-20 Checkpoint小结.mp4 33.31M 9-21 Savepoints.mp4 119.21M 9-22 重难点总结.mp4 11.43M 9-3 State分类.mp4 204.90M 9-4 使用ValueState完成求平均数功能.mp4 156.59M 9-5 使用MapState完成求平均数功能.mp4 72.95M 9-6 Flink Checkpoint机制.mp4 129.39M 9-7 Flink应用程序中开启checkpoint.mp4 73.71M 9-8 Restart Strategy.mp4 92.34M 9-9 Checkpoint整合重启策略功能测试screenflow.mp4 102.27M 资料 coding510-master.zip 57.50kb mksz510-Flink+ClickHouse 玩转企业级实时大数据开发(完结)/ 10





