从数仓到湖仓的架构演进与实战
很多开发者习惯将 Hudi 简单视为一张支持更新的表，但本课程聚焦于“湖仓一体”架构的落地，旨在解决传统数仓在处理海量实时增量数据时遇到的性能瓶颈和架构臃肿问题。课程从数据仓库与数据湖的本质区别讲起，深入剖析了湖仓一体架构的核心优势，随后详细演示了在 Flink 与 Hive 环境下的项目搭建与数据导入流程。对于希望从传统离线数仓向实时数仓转型的学习者，这门课能帮你补齐架构设计的短板；对于已经掌握基础操作的同学，它能提供一套完整的企业级项目实战范本，教你如何处理 ODS 层的数据清洗、DIM 层的维度管理、DWD 层的时效性控制以及 DWS 层的聚合计算，特别是针对数据丢失和状态恢复等常见故障的处理逻辑，是极具价值的查漏补缺内容。
实战路径与核心技能构建
建议学习者按照“环境搭建—ODS 层接入—DIM 层构建—DWD/DWS 层处理”的顺序循序渐进。在环境搭建阶段，重点掌握 Hudi 集成 Flink 和 Hive 的配置细节，以及模拟数据的生成方法；在开发阶段，不仅要关注 SQL 写法，更要理解为什么在 DWD 层要设置状态存活时间，以及在 DWS 层如何利用 LookupJoin 进行维度关联。学完本课程，你应该能独立完成从日志采集、清洗到建模的全链路开发，能够熟练配置 Flink 任务的 SavePoint 机制以应对数据丢失，并能根据业务需求设计高可用的数仓分层方案。配套资料中的项目代码和演示视频是演练的关键，建议在复现每一层开发任务时，先暂停视频尝试独立编写代码，再对比官方实现，重点关注异常处理和性能优化细节。
资料使用与练习建议
本资料包提供了从架构设计到代码实现的完整链路，建议先观看课程介绍与架构优势部分，建立全局认知，再进入具体的代码实战环节。练习时应重点关注 ODS 层日志导入、DIM 层特殊日期表处理以及 DWS 层聚合计算等高频考点。对于资料中涉及的每一个开发任务，都应尝试脱离视频独立完成，特别是对于 DIM 层数据导入可能出现的丢数据问题，要深入理解其原因并掌握恢复手段。通过反复演练这些核心环节，你将能够熟练掌握湖仓一体架构下的数据开发流程，真正具备独立搭建和优化项目的能力。
课程目录
CBW)HCYYH@OFEXG{MSP0JPO.png 下载附件 2023-1-16 17:45 上传
视频
01_湖仓一体项目课程介绍 .mp4 7.62M
02_数据仓库和数据湖的区别介绍 .mp4 375.97M
03_数仓一体架构介绍 .mp4 11.69M
04_湖仓一体架构的优势 .mp4 218.28M
05_环境搭建_hudi集成flink .mp4 45.56M
06_环境搭建_hudi集成hive .mp4 43.84M
07_环境搭建_模拟数据准备 .mp4 38.06M
08_项目开发环境介绍 .mp4 23.70M
09_ODS层整体任务介绍 .mp4 17.20M
10_ODS层用户行为日志导入 .mp4 81.80M
11_ODS层业务表导入展示 .mp4 84.04M
12_ODS层业务表数据导入 .mp4 73.13M
13_ODS层升级资源展示 .mp4 66.15M
14_DIM层整体内容介绍 .mp4 8.49M
15_DIM层sku商品表导入演示 .mp4 66.07M
16_DIM层数据导入丢问题介绍 .mp4 43.99M
17_DIM层整体数据导入 .mp4 68.94M
18_DIM层特殊日期表格导入 .mp4 18.50M
19_DWD层订单详情表导入展示 .mp4 64.22M
20_DWD层设置状态的存活时间 .mp4 46.96M
21_DWD层手动恢复savePoint任务 .mp4 28.35M
22_DWS层设计介绍 .mp4 13.93M
23_DWS层需求内容介绍 .mp4 25.99M
24_DWS层搭建级数据展示 .mp4 128.32M
25_DWS层使用lookupJoin维度关联 .mp4 97.50M
26_DWS层两种维度关联的比较 .mp4 44.32M
27_DWS层展示总结 .mp4 9.08M
28_ADS层导出数据到mysql .mp4 23.73M
29_可视化展示superSet的安装 .mp4 91.20M
30_可视化展示superSet环境初始化 .mp4 49.91M
31_可视化展示最终展示仪表盘 .mp4 17.84M
32_湖仓一体项目结束总结 .mp4 27.69M
笔记 .zip 43.55M
代码 .zip 38.84kb
资料 .zip 1.35G
