从单机到集群：掌握 Airflow 分布式任务编排核心

在数据管道开发和运维中，常面临任务依赖复杂、执行时间不可控、单点故障风险高等问题。本课程直击这些痛点，从架构原理讲起，通过环境搭建、WebUI 操作、Operator 实战到集群高可用部署，手把手带你构建一个可扩展的任务调度系统。适合有一定 Python 基础，希望从单机调度向分布式运维进阶的开发者。

学习顺序：先懂原理，再动手跑通

建议按章节顺序学习，遵循"理解概念—搭建环境—操作配置—实战脚本—集群部署"的递进逻辑。第一章先搞懂调度原理和核心角色，这是后续所有操作的地基；第二章在本地完成 Anaconda 环境安装和 Airflow 单机部署，能独立启动 WebUI 并查看运行状态；第三章重点掌握 DAG 定义与依赖关系设置，这是任务编排的核心语法；第四章通过 PythonOperator、BashOperator、SSHOperator、HiveOperator 等实战，把脚本执行与远程运维串成真实流水线；第五章则把前面能力放大到分布式集群，学习多节点部署与高可用配置。如果时间有限，建议优先精读前三章，第四章按需学习。

门槛与产出

前置门槛：需要熟悉 Python 基本语法，了解 Linux 基础操作（如 shell 命令、文件管理），有命令行使用经验。学完本课程，应能独立搭建 Airflow 单机调度环境，并利用各类 Operator 编写脚本处理数据；同时，通过第五章的集群搭建与 HA 配置学习，具备在多节点环境下保障调度服务高可用运行的能力。核心产出包括：能设计有依赖关系的 DAG 任务流、能编写多种类型的 Operator 任务、能配置集群调度并完成高可用测试。

资料配合与练习

配合课程中的安装与配置视频进行环境复现，重点练习 WebUI 中的 DAG 定义与依赖关系设置。第四章建议边看边动手，每学一种 Operator 就立即写一段对应代码跑通，不要只看不练。第五章集群搭建时，务必跟着步骤完成，理解每个配置项的作用，尤其是 Scheduler HA 配置，这是高可用能力的核心。学完前四章，建议自行设计一个包含多任务、多依赖的完整数据流水线，用 WebUI 端到端观察执行过程，这是检验学习效果的最佳方式。

课程目录

1-第一章-Airflow架构原理及术语
1-01-Airflow任务流调度工具-什么是Airflow.mp4 24.46M
2-02-Airflow任务流调度工具-Airflow架构角色及作用.mp4 32.54M
3-03-Airflow任务流调度工具-Airflow术语.mp4 19.51M
4-04-Airflow任务流调度工具-任务调度原理.mp4 8.56M
2-第二章-Airflow单机搭建及启动
1-05-Airflow任务流调度工具-Anconda及python3.7环境安装.mp4 69.54M
2-06-Airflow任务流调度工具-Airflow单节点安装.mp4 96.18M
3-07-Airflow任务流调度工具-Airflow配置及配置用户.mp4 68.76M
4-08-Airflow任务流调度工具-Airflow启动.mp4 30.59M
5-09-Airflow任务流调度工具-Airflowwebui介绍.mp4 69.36M
3-第三章-AirflowWebUI及DAG依赖参数设置
1-10-Airflow任务流调度工具-Airflow使用.mp4 18.23M
2-11-Airflow任务流调度工具-AirflowDAG定义三种方式.mp4 63.87M
3-12-Airflow任务流调度工具-Airflowtask创建及指定task依赖关系.mp4 56.48M
4-13-Airflow任务流调度工具-Airflow手动、自动调度DAG、删除DAG.mp4 54.97M
5-14-Airflow任务流调度工具-Airflow调度触发时间.mp4 25.75M
6-15-Airflow任务流调度工具-AirflowDAGCatchup参数.mp4 44.39M
7-16-Airflow任务流调度工具-DAG调度周期三种设置方式.mp4 50.46M
8-17-Airflow任务流调度工具-Airflow任务依赖设置.mp4 64.65M
4-第四章-AirflowOperator及案例实战
1-18-Airflow任务流调度工具-AirflowBaseOperator参数.mp4 22.15M
10-27-Airflow任务流调度工具-PythonOperator配置及执行案例.mp4 80.81M
2-19-Airflow任务流调度工具-AirflowBashOperator执行shell命令.mp4 29.48M
3-20-Airflow任务流调度工具-Airflow发送邮件配置.mp4 15.30M
4-21-Airflow任务流调度工具-BashOperator执行shell命令测试.mp4 49.70M
5-22-Airflow任务流调度工具-BashOperator执行shell脚本.mp4 51.53M
6-23-Airflow任务流调度工具-SSHOperator参数及依赖安装配置.mp4 73.20M
7-24-Airflow任务流调度工具-SSHOpeator远程执行脚本案例.mp4 25.01M
8-25-Airflow任务流调度工具-HiveOperator使用环境准备.mp4 67.31M
9-26-Airflow任务流调度工具-HiveOperatorDAG执行案例.mp4 46.02M
5-第五章-Airflow分布式集群原理、搭建及HA测试
1-28-Airflow任务流调度工具-Airflow分布式集群知识扩展.mp4 26.34M
2-29-Airflow任务流调度工具-Airflow集群搭建环境准备.mp4 73.34M
3-30-Airflow任务流调度工具-Airflow分布式集群搭建.mp4 92.79M
4-31-Airflow任务流调度工具-Airflow集群配置及SchedulerHA配置.mp4 59.85M
5-32-Airflow任务流调度工具-Airflow集群启动.mp4 36.14M
6-33-Airflow任务流调度工具-Airflow集群HA测试.mp4 64.63M
MSB-AirFlow分布式任务调度框架/
2-02-Ai