Airflow 中文文档:Lineage

注意

Lineage 支持是非常实验性的,可能会发生变化。

Airflow可以帮助跟踪数据的来源,发生的事情以及数据随时间的变化。 这有助于实现审计跟踪和数据治理,还可以调试数据流。

气流通过任务的入口和出口跟踪数据。 让我们从一个例子开始,看看它是如何工作的。

 from airflow.operators.bash_operator import BashOperator
from airflow.operators.dummy_operator import DummyOperator
from airflow.lineage.datasets import File
from airflow.models import DAG
from datetime import timedelta

FILE_CATEGORIES = [ "CAT1" , "CAT2" , "CAT3" ]

args = {
    'owner' : 'airflow' ,
    'start_date' : airflow . utils . dates . days_ago ( 2 )
}

阅读全文/改进本文

展开阅读全文
©️2020 CSDN 皮肤主题: 黑客帝国 设计师: 上身试试 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值