Airflow 中文文档:用Dask扩展

DaskExecutor允许您在Dask分布式群集中运行Airflow任务。

Dask集群可以在单个机器上运行,也可以在远程网络上运行。 有关完整详细信息,请参阅分布式文档

要创建集群,首先启动调度程序:

 # default settings for a local cluster
DASK_HOST = 127 .0.0.1
DASK_PORT = 8786

dask-scheduler --host $DASK_HOST --port $DASK_PORT

接下来,在任何可以连接到主机的计算机上启动至少一个Worker:

dask-worker $DASK_HOST : $DASK_PORT

阅读全文/改进本文

展开阅读全文
©️2020 CSDN 皮肤主题: 黑客帝国 设计师: 上身试试 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值