**从单机脚本到分布式调度的跨越**

很多运维和数据开发人员在日常工作中，往往依赖 Crontab 或简单的 Shell 脚本来管理定时任务。这种模式在任务量小、依赖关系简单时尚能维持，但一旦涉及跨节点数据同步、复杂的多步骤 ETL 流程或需要高可用保障的生产环境，传统脚本的局限性便暴露无遗：缺乏可视化的依赖管理、失败重试机制不完善、日志分散难以排查，且单机故障会导致整个调度体系瘫痪。本课程的核心价值在于填补这一能力缺口，它不只教如何安装 Airflow，而是深入解析其分布式架构原理，帮助你理解 Scheduler、Worker 和 Metadata Database 之间的协作机制。通过掌握 Airflow，你将能够构建具备 DAG 依赖管理、自动重试、实时监控和高可用容灾能力的生产级任务调度系统，彻底摆脱“手动运维”和“脚本黑盒”的困境。

**适合基础与学习路径建议**

这门课适合具备基础 Linux 操作能力、熟悉 Python 语法以及了解基本 Shell 脚本编写的技术人员。如果你能独立部署一个 Python 运行环境，并能读懂简单的 YAML 或 INI 配置文件，就可以开始学习。建议的学习路径应遵循“先原理后实操，先单机后集群”的逻辑。首先，务必吃透第一章的架构原理，明确 Web Server、Scheduler、Executor 等核心组件的职责，这是后续排错的理论基石。其次，在第二章完成单机环境搭建后，不要急于进入分布式，而应在第三章重点练习 DAG 的定义与参数配置，特别是 `catchup` 参数和调度周期的设置，这是新手最容易踩坑的地方。第四章的 Operator 实战是连接理论与业务的关键，建议重点掌握 `PythonOperator` 和 `BashOperator`，并尝试结合 `SSHOpeator` 实现跨机器脚本执行，这能极大提升你的实战灵活性。最后第五章的集群搭建与 HA 测试是进阶难点，建议在充分理解单机逻辑后再攻克，重点观察多节点间的状态同步与故障转移过程。

**学完后的独立能力与资料配合**

完成本课程后，你应能独立完成以下工作：设计并部署一套包含多个依赖节点的 ETL 调度流程；根据业务需求选择并配置合适的 Operator 来执行 SQL、Shell 或 Python 任务；搭建一个至少包含两个 Scheduler 节点的高可用 Airflow 集群，并验证其在单点故障下的自动恢复能力；通过 Web UI 监控任务状态，分析失败日志并进行根因定位。为了巩固这些技能，建议配合资料包中的代码示例进行复现。在练习时，不要仅满足于代码跑通，应主动修改 DAG 中的依赖关系和重试参数，观察任务执行顺序的变化；在集群搭建环节，尝试手动停止某个 Worker 节点，观察任务如何被重新调度，以此深化对分布式锁和心跳机制的理解。此外，针对 Hive 等大数据组件的 Operator 使用，建议结合实际数据仓库场景进行模拟测试，确保你能将调度框架无缝集成到现有的数据生态中，真正具备从开发到运维的全链路治理能力。

课程目录

1-第一章-Airflow架构原理及术语
1-01-Airflow任务流调度工具-什么是Airflow.mp4 24.46M
2-02-Airflow任务流调度工具-Airflow架构角色及作用.mp4 32.54M
3-03-Airflow任务流调度工具-Airflow术语.mp4 19.51M
4-04-Airflow任务流调度工具-任务调度原理.mp4 8.56M
2-第二章-Airflow单机搭建及启动
1-05-Airflow任务流调度工具-Anconda及python3.7环境安装.mp4 69.54M
2-06-Airflow任务流调度工具-Airflow单节点安装.mp4 96.18M
3-07-Airflow任务流调度工具-Airflow配置及配置用户.mp4 68.76M
4-08-Airflow任务流调度工具-Airflow启动.mp4 30.59M
5-09-Airflow任务流调度工具-Airflowwebui介绍.mp4 69.36M
3-第三章-AirflowWebUI及DAG依赖参数设置
1-10-Airflow任务流调度工具-Airflow使用.mp4 18.23M
2-11-Airflow任务流调度工具-AirflowDAG定义三种方式.mp4 63.87M
3-12-Airflow任务流调度工具-Airflowtask创建及指定task依赖关系.mp4 56.48M
4-13-Airflow任务流调度工具-Airflow手动、自动调度DAG、删除DAG.mp4 54.97M
5-14-Airflow任务流调度工具-Airflow调度触发时间.mp4 25.75M
6-15-Airflow任务流调度工具-AirflowDAGCatchup参数.mp4 44.39M
7-16-Airflow任务流调度工具-DAG调度周期三种设置方式.mp4 50.46M
8-17-Airflow任务流调度工具-Airflow任务依赖设置.mp4 64.65M
4-第四章-AirflowOperator及案例实战
1-18-Airflow任务流调度工具-AirflowBaseOperator参数.mp4 22.15M
10-27-Airflow任务流调度工具-PythonOperator配置及执行案例.mp4 80.81M
2-19-Airflow任务流调度工具-AirflowBashOperator执行shell命令.mp4 29.48M
3-20-Airflow任务流调度工具-Airflow发送邮件配置.mp4 15.30M
4-21-Airflow任务流调度工具-BashOperator执行shell命令测试.mp4 49.70M
5-22-Airflow任务流调度工具-BashOperator执行shell脚本.mp4 51.53M
6-23-Airflow任务流调度工具-SSHOperator参数及依赖安装配置.mp4 73.20M
7-24-Airflow任务流调度工具-SSHOpeator远程执行脚本案例.mp4 25.01M
8-25-Airflow任务流调度工具-HiveOperator使用环境准备.mp4 67.31M
9-26-Airflow任务流调度工具-HiveOperatorDAG执行案例.mp4 46.02M
5-第五章-Airflow分布式集群原理、搭建及HA测试
1-28-Airflow任务流调度工具-Airflow分布式集群知识扩展.mp4 26.34M
2-29-Airflow任务流调度工具-Airflow集群搭建环境准备.mp4 73.34M
3-30-Airflow任务流调度工具-Airflow分布式集群搭建.mp4 92.79M
4-31-Airflow任务流调度工具-Airflow集群配置及SchedulerHA配置.mp4 59.85M
5-32-Airflow任务流调度工具-Airflow集群启动.mp4 36.14M
6-33-Airflow任务流调度工具-Airflow集群HA测试.mp4 64.63M
MSB-AirFlow分布式任务调度框架/
2-02-Ai