**【精品课】大数据仓库项目实战:从理论到落地的全流程指引**
在数字化转型的浪潮中,数据已成为企业的核心资产,而数据仓库(Data Warehouse)则是将原始数据转化为商业价值的关键枢纽。对于希望深耕大数据领域、掌握企业级数据治理能力的从业者而言,《【精品课】大数据仓库项目实战》提供了一条从概念认知到项目落地的完整学习路径。本课程并非单纯的工具说明书,而是一套基于真实业务场景的体系化实战指南,旨在帮助学习者建立全局视野,掌握大数据仓库的设计、规划与实施能力。
课程开篇即对数据仓库进行了透彻的概念梳理。通过“何为数据仓库”、“数据仓库VS数据库”等章节,讲师清晰地界定了 OLTP(联机事务处理)与 OLAP(联机分析处理)的本质区别,帮助学员破除“数仓只是大号数据库”的认知误区。同时,课程追溯了数仓的由来及其在大数据时代的演进,深入剖析了其核心价值与作用,让学员理解为何企业需要构建独立于业务系统之外的分析型数据存储。这一部分奠定了坚实的理论基础,使后续的技术实践不致于流于表面。
作为一门“实战”课程,项目规划与需求分析占据了重要篇幅。课程引入了极具代表性的“智慧社区”项目背景,详细拆解了项目的可行性评估、业务范围确定以及团队人员配备等关键管理环节。这一设计巧妙地模拟了企业真实工作中的项目启动流程,强调技术落地必须服务于业务目标。学员将学习到如何从模糊的业务需求中提炼出具体的数据指标,并理解不同子系统在整体数据架构中的定位。这种“业务驱动技术”的思维训练,是区分初级开发人员和资深数据工程师的分水岭。
虽然提供的资料线索主要涵盖前期规划阶段,但结合“体系课”的定位可以推断,该课程后续势必涵盖数仓分层架构设计(ODS/DWD/DWS/ADS)、ETL 流程开发、数据质量监控以及可视化应用等核心环节。智慧社区的案例贯穿始终,使得抽象的数据建模理论(如维度建模、星型模型)变得具象可感。学员不仅能掌握 Hadoop、Spark 等底层技术的配置与优化,更能习得如何在复杂业务场景下进行合理的维度与事实表设计。
总体而言,本课程适合具备一定 Linux 及 SQL 基础,希望向大数据开发工程师或数据仓库工程师转型的学习者。它不仅仅教授“怎么做”,更着重讲解“为什么这么做”。通过系统性的学习,学员将能够独立完成从项目立项、需求分析到数仓架构设计的全流程工作,为进入互联网、金融、零售等数据密集型行业打下坚实基础。在数据驱动决策的今天,掌握大数据仓库建设能力,即是掌握了开启企业智能大门的钥匙。
课程目录
1-1 [课程介绍] 数仓项目课程介绍 (15:49) 2-1 [数据仓库概述] 何为数据仓库 (11:32) 2-2 [数据仓库概述] 数据仓库VS数据库 (08:09) 2-3 [数据仓库概述] 数仓的由来 (09:43) 2-4 [数据仓库概述] 何为大数据仓库 (13:15) 2-5 [数据仓库概述] 数仓的价值与作用 (06:05) 2-6 [数据仓库概述] 大数据仓库的应用场景 (02:44) 3-1 [数仓项目规划] 项目可行性评估 (07:34) 3-2 [数仓项目规划] 业务范围确定 (04:06) 3-3 [数仓项目规划] 项目人员配备 (08:29) 4-1 [项目需求分析] 智慧社区项目背景 (04:14) 4-2 [项目需求分析] 智慧社区子系统介绍1 (07:59) 4-3 [项目需求分析] 智慧社区子系统介绍2 (07:48) 4-4 [项目需求分析] 智慧社区子系统介绍3 (07:02) 4-5 [项目需求分析] 智慧社区子系统4 (06:20) 4-6 [项目需求分析] 项目需求分析 (09:21) 5-1 [架构设计与技术选型] 数仓总体架构 (04:09) 5-2 [架构设计与技术选型] 技术选型 (07:08) 5-3 [架构设计与技术选型] 技术架构 (06:26) 5-4 [架构设计与技术选型] 数据流程设计 (03:28) 5-5 [架构设计与技术选型] 技术版本选择与集群规划 (02:31) 6-1 [大数据集群节点准备] 大数据集群节点准备 (03:24) 6-2 [大数据集群节点准备] VMware虚拟机软件安装配置 (17:02) 6-3 [大数据集群节点准备] Linux操作系统介绍 (09:15) 6-4 [大数据集群节点准备] Linux操作系统安装1 (11:23) 6-5 [大数据集群节点准备] VMware三种网络类型详解 (16:47) 6-6 [大数据集群节点准备] Linux操作系统安装2 (15:40) 6-7 [大数据集群节点准备] Linux系统网络配置 (08:21) 6-8 [大数据集群节点准备] Linux虚拟机克隆 (04:43) 6-9 [大数据集群节点准备] Linux静态IP技术 (05:11) 6-10 [大数据集群节点准备] x-shell远程连接工具使用 (06:02) 6-11 [大数据集群节点准备] Linux用户和用户组创建 (07:42) 6-12 [大数据集群节点准备] Linux主机名配置 (03:17) 6-13 [大数据集群节点准备] Linux防火墙配置 (04:07) 6-14 [大数据集群节点准备] openssh-clients服务安装 (02:40) 6-15 [大数据集群节点准备] Linux主机名与IP地址映射配置 (06:35) 6-16 [大数据集群节点准备] SSH免密码登录 (10:22) 6-17 [大数据集群节点准备] FileZilla工具使用 (05:27) 6-18 [大数据集群节点准备] 节点2所有配置 (17:05) 6-19 [大数据集群节点准备] 节点3所有配置 (12:19) 7-1 [Zookeeper分布式协调系统] Zookeeper分布式协调服务 (01:49) 7-2 [Zookeeper分布式协调系统] Zookeeper概述 (09:29) 7-3 [Zookeeper分布式协调系统] Zookeeper架构原理 (10:41) 7-4 [Zookeeper分布式协调系统] Zookeeper读写流程 (09:16) 7-5 [Zookeeper分布式协调系统] Zookeeper服务 (10:38) 7-6 [Zookeeper分布式协调系统] Zookeeper安装模式及不同厂商版本选择 (13:54) 7-7 [Zookeeper分布式协调系统] Zookeeper集群规划 (06:11) 7-8 [Zookeeper分布式协调系统] 搭建时钟同步服务器 (16:39) 7-9 [Zookeeper分布式协调系统] 集群节点IP地址映射与防火墙配置 (03:56) 7-10 [Zookeeper分布式协调系统] 集群节点SSH免密码登录 (07:42) 7-11 [Zookeeper分布式协调系统] 集群脚本配置文件开发 (05:45) 7-12 [Zookeeper分布式协调系统] 集群分发shell脚本开发 (25:25) 7-13 [Zookeeper分布式协调系统] 集群远程执行shell脚本开发 (12:30) 7-14 [Zookeeper分布式协调系统] 集群JDK安装配置 (17:58) 7-15 [Zookeeper分布式协调系统] Zookeeper集群安装部署 (18:01) 8-1 [HDFS分布式文件系统] HDFS分布式文件系统 (01:49) 8-2 [HDFS分布式文件系统] hdfs特点 (07:24) 8-3 [HDFS分布式文件系统] hdfs体系架构 (13:10) 8-4 [HDFS分布式文件系统] hdfs读数据流程 (04:15) 8-5 [HDFS分布式文件系统] hdfs写数据流程 (03:57) 8-6 [HDFS分布式文件系统] NameNode HA工作原理 (09:03) 8-7 [HDFS分布式文件系统] ZKFC工作原理 (06:48) 8-8 [HDFS分布式文件系统] QJM工作原理与防止脑裂 (09:49) 8-9 [HDFS分布式文件系统] NameNode主备切换完成流程详解 (04:36) 9-1 [YARN资源管理系统] YARN资源管理系统 (02:05) 9-2 [YARN资源管理系统] YARN概述 (07:20) 9-3 [YARN资源管理系统] YARN与MapReduce之间的关系 (02:47) 9-4 [YARN资源管理系统] YARN基本架构 (09:41) 9-5 [YARN资源管理系统] MapReduce ON YARN (08:09) 9-6 [YARN资源管理系统] YARN HA高可用 (06:39) 10-1 [Hadoop分布式集群搭建] 构建Hadoop分布式集群 (02:35) 10-2 [Hadoop分布式集群搭建] HDFS分布式文件系统安装配置 (35:38) 10-3 [Hadoop分布式集群搭建] HDFS服务启动与测试 (18:51) 10-4 [Hadoop分布式集群搭建] HDFS文件系统测试运行 (08:34) 10-5 [Hadoop分布式集群搭建] YARN集群安装配置 (06:29) 10-6 [Hadoop分布式集群搭建] YARN服务启动与测试 (05:18) 10-7 [Hadoop分布式集群搭建] YARN测试运行 (08:19) 10-8 [Hadoop分布式集群搭建] HDFS HA和YARN HA 故障转移实战演示 (09:42) 10-9 [Hadoop分布式集群搭建] Hadoop默认配置详解 (12:36) 11-1 [MapReduce离线计算框架] MapReduce离线计算 (01:55) 11-2 [MapReduce离线计算框架] MapReduce概述 (11:42) 11-3 [MapReduce离线计算框架] MapReduce基本设计思想 (05:32) 11-4 [MapReduce离线计算框架] MapReduce编程模型 (10:00) 11-5 [MapReduce离线计算框架] MapReduce案例分析 (04:54) 12-1 [智慧社区业务表结构及数据导入] 智慧社区业务表介绍 (02:44) 12-2 [智慧社区业务表结构及数据导入] 车辆表结构介绍与数据导入 (05:20) 12-3 [智慧社区业务表结构及数据导入] 业主表结构介绍与数据导入 (03:51) 12-4 [智慧社区业务表结构及数据导入] 房间表结构介绍与数据导入 (02:05) 12-5 [智慧社区业务表结构及数据导入] 楼栋表结构介绍与数据导入 (01:53) 12-6 [智慧社区业务表结构及数据导入] 小区表结构介绍与数据导入 (01:54) 12-7 [智慧社区业务表结构及数据导入] 地区表结构介绍与数据导入 (02:44) 12-8 [智慧社区业务表结构及数据导入] 时间表结构介绍与数据导入 (02:25) 12-9 [智慧社区业务表结构及数据导入] 车辆进出表结构介绍与数据导入 (02:39) 12-10 [智慧社区业务表结构及数据导入] 门禁表结构介绍与数据导入 (02:43) 13-1 [Hive大数据离线分析] Hive大数据离线分析 (03:01) 13-2 [Hive大数据离线分析] Hive概述 (05:59) 13-3 [Hive大数据离线分析] Hive体系结构及原理 (08:32) 13-4 [Hive大数据离线分析] HiveMetaStore安装方式与Hive部署方式 (04:22) 13-5 [Hive大数据离线分析] MySQL元数据库安装 (11:46) 13-6 [Hive大数据离线分析] Hive安装配置 (12:29) 13-7 [Hive大数据离线分析] Hive服务启动与测试 (07:10) 14-1 [Sqoop数据导入导出] Sqoop数据导入导出 (01:47) 14-2 [Sqoop数据导入导出] Sqoop数据导入导出原理 (10:50) 14-3 [Sqoop数据导入导出] Sqoop安装部署 (20:24) 14-4 [Sqoop数据导入导出] Sqoop将MySQL数据导入HDFS (22:29) 14-5 [Sqoop数据导入导出] Sqoop将HDFS数据导入MySQL (30:53) 14-6 [Sqoop数据导入导出] 利用Sqoop实现Hive与MySQL数据导入导出 (16:19) 14-7 [Sqoop数据导入导出] MySQL数据库乱码以及访问权限问题解决 (05:15) 15-1 [数仓建模理论] 数仓建模目标 (07:26) 15-2 [数仓建模理论] 关系范式模式介绍 (04:51) 15-3 [数仓建模理论] 数据库范式优缺点 (04:34) 15-4 [数仓建模理论] 第一范式(1NF) (03:20) 15-5 [数仓建模理论] 第二范式(2NF) (04:13) 15-6 [数仓建模理论] 第三范式(3NF) (02:45) 15-7 [数仓建模理论] ER实体模型 (14:42) 15-8 [数仓建模理论] 维度建模-事实表 (04:16) 15-9 [数仓建模理论] 维度建模-维度表 (08:35) 15-10 [数仓建模理论] 星型模型与雪花模型介绍 (04:05) 15-11 [数仓建模理论] 雪花模型与星型模型对比 (03:05) 15-12 [数仓建模理论] 维度建模模型如何选择 (02:47) 15-13 [数仓建模理论] DataVault模型与Anchor模型 (08:34) 15-14 [数仓建模理论] 主流建模方法对比 (08:21) 15-15 [数仓建模理论] 数仓架构为什么分层? (04:07) 15-16 [数仓建模理论] 数据源与ETL (03:36) 15-17 [数仓建模理论] ODS原始数据层 (02:45) 15-18 [数仓建模理论] DWD明细数据层 (03:55) 15-19 [数仓建模理论] 维度建模过程 (08:44) 15-20 [数仓建模理论] DWS服务数据层 (01:56) 15-21 [数仓建模理论] DM与ADS的区别与联系 (03:13) 15-22 [数仓建模理论] 数据集市与数据仓库的区别与联系 (02:31) 16-1 [数仓设计规范] 数据埋点规范 (10:20) 16-2 [数仓设计规范] 数仓层次规范 (03:26) 16-3 [数仓设计规范] 表命名规范 (09:02) 16-4 [数仓设计规范] 字段命名规范 (04:14) 16-5 [数仓设计规范] 脚本命名规范 (06:46) 16-6 [数仓设计规范] 脚本开发规范 (05:56) 16-7 [数仓设计规范] 数仓元数据库设计 (07:13) 17-1 [搭建数仓ODS层] 数仓ODS层介绍 (04:33) 17-2 [搭建数仓ODS层] 数据同步策略 (05:01) 17-3 [搭建数仓ODS层] 搭建数仓ODS层-车辆进出1 (14:24) 17-4 [搭建数仓ODS层] 搭建数仓ODS层-车辆进出2 (03:40) 17-5 [搭建数仓ODS层] 搭建数仓ODS层-车辆进出3 (04:50) 17-6 [搭建数仓ODS层] 搭建数仓ODS层-门禁日志 (08:28) 17-7 [搭建数仓ODS层] 搭建数仓ODS层-车辆 (06:52) 17-8 [搭建数仓ODS层] 搭建数仓ODS层-社区 (05:25) 17-9 [搭建数仓ODS层] 搭建数仓ODS层-业主 (05:43) 17-10 [搭建数仓ODS层] 搭建数仓ODS层-地区 (05:08) 17-11 [搭建数仓ODS层] 搭建数仓ODS层-楼栋 (04:19) 17-12 [搭建数仓ODS层] 搭建数仓ODS层-房间 (05:00) 17-13 [搭建数仓ODS层] 搭建数仓ODS层-日期 (05:16) 18-1 [搭建数仓DWD层] 搭建数仓DWD层-数仓DWD层概述 (03:38) 18-2 [搭建数仓DWD层] 搭建数仓DWD层-车辆进出事实表1 (16:18) 18-3 [搭建数仓DWD层] 搭建数仓DWD层-车辆进出事实表2 (03:38) 18-4 [搭建数仓DWD层] 搭建数仓DWD层-业主拉链表理论 (07:58) 18-5 [搭建数仓DWD层] 搭建数仓DWD层-拉链表实现原理与步骤 (03:22) 18-6 [搭建数仓DWD层] 搭建数仓DWD层-初始化拉链表 (06:03) 18-7 [搭建数仓DWD层] 搭建数仓DWD层-制作临时拉链表 (16:08) 18-8 [搭建数仓DWD层] 搭建数仓DWD层-生成业主拉链表 (06:23) 18-9 [搭建数仓DWD层] 搭建数仓DWD层-门禁事实表 (13:29) 18-10 [搭建数仓DWD层] 搭建数仓DWD层-车辆维度表 (05:58) 18-11 [搭建数仓DWD层] 搭建数仓DWD层-时间维度表 (04:30) 18-12 [搭建数仓DWD层] 搭建数仓DWD层-地区维度表 (10:58) 19-1 [搭建数仓DWS层] 数仓DWS层概述 (03:00) 19-2 [搭建数仓DWS层] 搭建数仓DWS层-每日用户出行行为 (19:37) 19-3 [搭建数仓DWS层] 搭建数仓DWS层-每日车辆出行行为 (09:59) 20-1 [搭建数仓ADS层] 数仓ADS层概述 (02:25) 20-2 [搭建数仓ADS层] 搭建数仓ADS层-小区出行数据统计 (07:06) 20-3 [搭建数仓ADS层] 搭建数仓ADS层-车辆出行数据统计 (04:38) 21-1 [报表数据导入mysql] 小区出行报表数据导出mysql (07:12) 21-2 [报表数据导入mysql] 车辆出行报表数据导出mysql (04:43) 22-1 [Azkaban作业调度系统] Azkaban概述 (06:16) 22-2 [Azkaban作业调度系统] Azkaban核心组件及部署模式 (04:04) 22-3 [Azkaban作业调度系统] Azkaban下载与编译1 (04:17) 22-4 [Azkaban作业调度系统] Azkaban下载与编译2 (05:36) 22-5 [Azkaban作业调度系统] Azkaban下载与编译3 (17:20) 22-6 [Azkaban作业调度系统] Azkaban下载与编译4 (05:03) 22-7 [Azkaban作业调度系统] Azkaban下载与编译5 (08:11) 22-8 [Azkaban作业调度系统] MySQL安装与配置准备 (06:14) 22-9 [Azkaban作业调度系统] Azkaban建表准备 (03:14) 22-10 [Azkaban作业调度系统] Azkaban web server配置 (12:25) 22-11 [Azkaban作业调度系统] Azkaban 用户管理 (02:19) 22-12 [Azkaban作业调度系统] Azkaban Executor server配置 (02:50) 22-13 [Azkaban作业调度系统] Azkaban服务启动 (09:36) 22-14 [Azkaban作业调度系统] Azkaban手动调度与自动调度 (16:18) 23-1 [大数据作业调度] Azkaban服务启动 (03:20) 23-2 [大数据作业调度] Azkaban Schedule详解 (15:51) 23-3 [大数据作业调度] Azkaban邮件通知 (09:55) 23-4 [大数据作业调度] Azkaban大数据作业调度1 (09:36) 23-5 [大数据作业调度] Azkaban大数据作业调度2 (08:40) 24-1 [智慧社区数仓大屏制作] Davinci架构 (03:21) 24-2 [智慧社区数仓大屏制作] Davinci安装配置 (06:49) 24-3 [智慧社区数仓大屏制作] Davinci初始化数据库 (09:25) 24-4 [智慧社区数仓大屏制作] Davinci初始化配置 (07:40) 24-5 [智慧社区数仓大屏制作] Davinci注册登录 (03:41) 24-6 [智慧社区数仓大屏制作] Davinci创建项目并添加数据源 (03:50) 24-7 [智慧社区数仓大屏制作] Davinci创建视图1 (05:38) 24-8 [智慧社区数仓大屏制作] Davinci创建视图2 (15:16) 24-9 [智慧社区数仓大屏制作] Davinci创建视图3 (04:49) 24-10 [智慧社区数仓大屏制作] Davinci创建可视化组件1 (04:24) 24-11 [智慧社区数仓大屏制作] Davinci创建可视化组件2 (07:44) 24-12 [智慧社区数仓大屏制作] Davinci数仓大屏制作1 (09:39) 24-13 [智慧社区数仓大屏制作] Davinci数仓大屏制作2 (10:34) 24-14 [智慧社区数仓大屏制作] Davinci数仓大屏制作3 (06:48)





