Airflow 中文文档:用Celery扩大规模

CeleryExecutor是您扩展工人数量的方法之一。 为此,您需要设置Celery后端( RabbitMQRedis ,…)并更改airflow.cfg以将执行程序参数指向CeleryExecutor并提供相关的Celery设置。

有关设置Celery代理的更多信息,请参阅有关该主题的详尽Celery文档

以下是您的员工的一些必要要求:

  • 需要安装airflow,CLI需要在路径中
  • 整个群集中的气流配置设置应该是同构的
  • 在worker上执行的操作符需要在该上下文中满足其依赖项。 例如,如果您使用HiveOperator ,则需要在该框上安装hive CLI,或者如果您使用MySqlOperator ,则必须以某种方式在PYTHONPATH提供所需的Python库
  • 工作人员需要访问其DAGS_FOLDER ,您需要通过自己的方式同步文件系统。 常见的设置是将DAGS_FOLDER存储在Git存储库中,并使用Chef,Puppet,Ansible或用于配置环境中的计算机的任何内容在计算机之间进行同步。 如果您的所有盒子都有一个共同的挂载点,那么共享您的管道文件也应该可以正常工作

要启动工作人员,您需要设置Airflow并启动worker子命令

airflow worker

阅读全文/改进本文

展开阅读全文
©️2020 CSDN 皮肤主题: 黑客帝国 设计师: 上身试试 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值