Airflow 中文文档:使用Mesos扩展(社区贡献)

有两种方法可以将气流作为mesos框架运行:

  1. 直接在mesos从站上运行气流任务,要求每个mesos从站安装和配置气流。
  2. 在安装了气流的docker容器内运行气流任务,该容器在mesos slave上运行。

任务直接在mesos从站上执行

MesosExecutor允许您在Mesos群集上安排气流任务。 为此,您需要一个正在运行的mesos集群,并且必须执行以下步骤 -

  1. 在将运行Web服务器和调度程序的mesos从站上安装气流,让我们将其称为“Airflow服务器”。
  2. 在Airflow服务器上,从mesos下载安装mesos python eggs。
  3. 在Airflow服务器上,使用可从所有mesos从站访问的数据库(例如mysql)并在airflow.cfg添加配置。
  4. airflow.cfg更改为指向airflow.cfg的point executor参数,并提供相关的Mesos设置。
  5. 在所有mesos奴隶上,安装气流。 从Airflow服务器复制airflow.cfg (以便它使用相同的sql炼金术连接)。
  6. 在所有mesos从服务器上,运行以下服务日志:
airflow serve_logs

阅读全文/改进本文

展开阅读全文
©️2020 CSDN 皮肤主题: 黑客帝国 设计师: 上身试试 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值