Airflow 中文文档:概念

Airflow Platform是用于描述,执行和监控工作流的工具。

核心理念

DAG的

在Airflow中, DAG (或定向非循环图)是您要运行的所有任务的集合,以反映其关系和依赖关系的方式进行组织。

例如,一个简单的DAG可以包含三个任务:A,B和C.可以说A必须在B可以运行之前成功运行,但C可以随时运行。 它可以说任务A在5分钟后超时,并且B可以重新启动最多5次以防它失败。 它也可能会说工作流程将在每天晚上10点运行,但不应该在某个特定日期之前开始。

通过这种方式,DAG描述_了_您希望如何执行工作流程; 但请注意,我们还没有说过我们真正想做的事情! A,B和C可以是任何东西。 当C发送电子邮件时,也许A准备B进行分析的数据。 或者也许A监控你的位置,这样B可以打开你的车库门,而C打开你的房子灯。 重要的是,发展议程集团并不关心其组成任务的作用; 它的工作是确保无论他们做什么在正确的时间,或正确的顺序,或正确处理任何意外的问题。

DAG在标准Python文件中定义,这些文件放在Airflow的DAG_FOLDER 。 Airflow将执行每个文件中的代码以动态构建DAG对象。 您可以拥有任意数量的DAG,每个DAG都描述任意数量的任务。 通常,每个应该对应于单个逻辑工作流。

注意

搜索DAG时,Airflow将仅考虑字符串“airflow”和“DAG”都出现在.py文件内容中的文件。

范围

Airflow将加载它可以从DAG导入的任何DAG对象。 重要的是,这意味着DAG必须出现在globals() 。 考虑以下两个DAG。 只会加载dag_1 ; 另一个只出现在本地范围内。

阅读全文/改进本文

展开阅读全文
©️2020 CSDN 皮肤主题: 黑客帝国 设计师: 上身试试 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值