从“会写 SQL”到“能在大数据上跑通”,缺的是什么?
很多同学在简历上写着熟悉 Hive,但一问底层原理或者遇到生产环境报错就懵了。这门课解决的核心痛点,正是**“概念懂了,环境配不通;SQL 会写,性能调不动”**之间的断层。Hive 作为大数据生态中连接传统 SQL 与 Hadoop 集群的关键桥梁,是数据仓库岗位的硬门槛。课程以四天为周期,第一天夯实基础与环境,第二天深入数据类型与函数,后续几天则会扩展到实际操作层面。它不纠结于复杂的架构推导,而是直接带你把环境搭起来,把表建出来,把数据查出来,让你对 Hive 有一个从 0 到 1 的具象认知。
适合谁?建议先看哪几块?
**适合基础**:具备 Linux 基本操作能力,了解 Hadoop HDFS 基本概念(如文件上传下载、权限),且已掌握基础 SQL 语句(select, where, group by)的同学。如果你连 Hadoop 都没接触过,建议先补一下 HDFS 的基础操作,否则配置 Hive 时会非常痛苦。
**重点突破**:
1. **安装与初始化**:这是最容易踩坑的地方。Hive 的 Metastore 配置、MySQL 连接、HDFS 路径权限,任何一个环节出错都会导致启动失败。课程前几节会详细演示如何干净利落地完成这一过程,务必动手复现,不要只看视频。
2. **数据类型与表模型**:内部表与外部表的区别、数据的存储格式,这些是设计数仓分层的基础。如果不理解元数据与数据的分离,后续写 ETL 脚本时会经常数据丢失或覆盖。
3. **常用函数**:`explode` 等函数是处理 JSON 日志、数组字段的利器,在实际业务中高频使用,需熟练掌握其语法和陷阱。
学完能做什么?资料如何配合?
**独立能力**:学完这套内容,你将能够独立完成 Hive 的本地化部署,使用 CLI 或 JDBC 接口访问数据库;能根据业务需求选择合适的表类型(内部/外部)进行数据存储;能编写基本的 HQL 脚本进行数据清洗和分析,并理解脚本背后的执行逻辑。
**练习建议**:资料包中通常包含教学用的脚本文件和示例数据。建议边看边操作:
- 下载配套的安装包,在一台虚拟机或 Docker 容器中完整复现安装流程。
- 使用提供的 JDBC 示例代码,连接你搭建的 HiveServer2,验证远程访问是否通畅。
- 尝试创建一个内部表和一个外部表,分别导入数据,观察删除表时数据是否保留,以此验证理解。
- 利用 `explode` 函数处理一段嵌套的 JSON 字符串,模拟真实日志分析场景。
这四天的内容紧凑且实战性强,重点在于“上手”和“跑通”。不要急于追求高深的优化技巧,先把基础环境稳稳当当运行起来,才是进阶的第一步。
课程目录
1-1 [Hive教程day01] 01.hive介绍 (28:22) 1-2 [Hive教程day01] 02.hive安装与初始化 (23:53) 1-3 [Hive教程day01] 03.hive基本操作 (24:10) 1-4 [Hive教程day01] 04.hive脚本分析-hiveserver2 (25:02) 1-5 [Hive教程day01] 05.jdbc API编程访问hiveserver2 (07:14) 1-6 [Hive教程day01] 06.hive数据类型-外部表内部 (34:19) 1-7 [Hive教程day01] 07.hive-函数-explode函数 (26:25) 1-8 [Hive教程day01] 08.hive-显式表头-修改hadoop静态用户名 (17:28) 1-9 [Hive教程day01] 09.hive-复制表-CTAS (06:12) 1-10 [Hive教程day01] 10.hive-分区表 (21:30) 1-11 [Hive教程day01] 11.hive-连接查询-sql执行过程分析 (01:01:04) 2-1 [Hive教程day02] 01.桶表 (24:34) 2-2 [Hive教程day02] 02.map端连接-查询暗示-自动转换配置 (10:27) 2-3 [Hive教程day02] 03.严格检查 (23:48) 2-4 [Hive教程day02] 04.导出导入 (10:21) 2-5 [Hive教程day02] 05.排序-sort-order (44:15) 2-6 [Hive教程day02] 06.函数-时间函数-集合函数-复杂类型函数 (38:38) 2-7 [Hive教程day02] 07.lateral view-虚列 (31:14) 2-8 [Hive教程day02] 08.事务支持 (10:22) 2-9 [Hive教程day02] 09.mysql**查询时间设置 (12:21) 2-10 [Hive教程day02] 10.高级聚合函数-groupingset (37:04) 2-11 [Hive教程day02] 11.分析函数-开窗函数-range-rows (01:39:12) 3-1 [Hive教程day03] 01.采样-随机-桶-block (01:02:23) 3-2 [Hive教程day03] 02.explain sql解释 (42:57) 3-3 [Hive教程day03] 03.索引和文件格式-rcfile-orc (51:13) 3-4 [Hive教程day03] 04.map端合并 (01:12:07) 4-1 [Hive教程day04] 01.google pb多对象读写-hive查询优化 (01:06:50) 4-2 [Hive教程day04] 02.sortby全排序-动态分区 (47:47) 4-3 [Hive教程day04] 03.自定义函数-add (24:45)





