https://github.com/puckel/docker-airflow 镜像介绍:https://hub.docker.com/r/puckel/docker-airflow/ docker pull puckel/docker-airflow 次镜像在docker hu上找到的在里面安装vim和grpc FROM puckel/docker-airflow:1.8.1 MAINTAINER zhangchunyang@goldwind.com USER 0 RUN apt-get u…

airflow 是一个编排.调度和监控workflow的平台,由Airbnb开源,现在在Apache Software Foundation 孵化. airflow 将workflow编排为tasks组成的DAGs,调度器在一组workers上按照指定的依赖关系执行tasks.同时, airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作,并且airflow提供了监控和报警 系统 测试运行环境使用docker 基本安装 docker安装 使用别人已经构建好的 puckel/…

目录 Airflow部署及使用 1.Dockerhub查看镜像地址 2.拉取docker镜像 3.在宿主机创建外挂文件夹 4.创建docker容器 5.重新创建docker容器 5.1.查看airflow容器是否正常启动 5.2.启动成功才能将容器中的airflow.cfg拷贝出来修改 5.3.删除容器重新创建,非删除镜像 6.进入docker容器 7.sqlite数据库初始化 8.修改airflow的airflow.cfg配置 9.mysql数据库初始化 9.1.查看docker中mysql的…

一 官方 airflow官方分布式部署结构图 airflow进程 webserver scheduler flower(非必须) worker airflow缺点 scheduler单点 通过在scheduler的dags目录变动dag文件来提交流程 官方分布式部署方案 多个webserver 多个worker CeleryExecutor(依赖redis或rabbitmq) MesosExecutor(依赖mesos) 第三方开源方案ASFC 针对scheduler单点问题,有第三方方案:ht…

Airflow1.10.4介绍与安装 现在是9102年,8月中旬.airflow当前版本是1.10.4. 随着公司调度任务增大,原有的,基于crontab和mysql的任务调度方案已经不太合适了,需要寻找一个可以支持分布式扩容的调度系统解决方案. 最初瞄准azkaban来着,想着基于这个的二次开发.对比功能和社区热度之后,Airflow比较符合我们寻找的调度系统. 什么是Airflow Airflow是一个以编程方式创作,安排和监控工作流程的平台.对比crontab来看,它是一个可以定时调度任务…

部署方式:docker+airflow+mysql+LocalExecutor 使用airflow的docker镜像 https://hub.docker.com/r/puckel/docker-airflow 使用默认的sqlite+SequentialExecutor启动: $ docker run -d -p 8080:8080 puckel/docker-airflow webserver 将容器中的airflow.cfg拷贝出来修改 $ docker cp $container_id:…

dag模板 from airflow import DAG from airflow.operators.bash_operator import BashOperator from airflow.operators import ExternalTaskSensor from airflow.operators import EmailOperator from datetime import datetime, timedelta default_args = { 'owner': 'ai…

本人的环境是基于centos7下来安装的 一.安装docker  下载docker安装包,下载地址:https://download.docker.com/linux/static/stable/x86_64/ 下载到本地后解压 tar -zxf docker-.tgz  将解压出来的docker文件内容移动到 /usr/bin/ 目录下 cp docker/* /usr/bin/ 将docker注册为service 新建文件 vim /etc/systemd/system/docker.ser…

Docker 安装 Apache Airflow 参考资料 Running Airflow in Docker 安装依赖 Docker Engine Docker Composite 快速运行 Apache Airflow 2.2.4 在 Docker 使用 CeleryExecutor(一种统计…

环境 : ubuntu 14.04 LTS python 2.7 script: 设置环境变量: export AIRFLOW_HOME=~/airflow 安装相关依赖包: sudo apt-get install python-dev sudo apt-get install python-numpy sudo pip install airflow sudo pip install markupsafe sudo pip install sqlalchemy sudo pip instal…