环境 : ubuntu 14.04 LTS python 2.7 script: 设置环境变量: export AIRFLOW_HOME=~/airflow 安装相关依赖包: sudo apt-get install python-dev sudo apt-get install python-numpy sudo pip install airflow sudo pip install markupsafe sudo pip install sqlalchemy sudo pip instal…

官网: http://airflow.apache.org/installation.html 原理: https://www.cnblogs.com/cord/p/9450910.html 安装: https://www.cnblogs.com/cord/p/9226608.html 高可用部署等: https://www.jianshu.com/p/2ecef979c606 使用方法等: https://www.jianshu.com/p/cbff05e3f125 日志在: /tmp/sch…

目录 Airflow部署及使用 1.Dockerhub查看镜像地址 2.拉取docker镜像 3.在宿主机创建外挂文件夹 4.创建docker容器 5.重新创建docker容器 5.1.查看airflow容器是否正常启动 5.2.启动成功才能将容器中的airflow.cfg拷贝出来修改 5.3.删除容器重新创建,非删除镜像 6.进入docker容器 7.sqlite数据库初始化 8.修改airflow的airflow.cfg配置 9.mysql数据库初始化 9.1.查看docker中mysql的…

使用airflow-operator 我们可以让airflow 可以很方便的运行在k8s集群环境中,当前还在开发中 主要分为两部分:airflowbbase && airfowcluster 自定义资源. 可以用来做以下事情: 创建&&管理airflow 部署的k8s 资源 更新关联的k8s资源,当airflowbase&& airflowcluster 信息变更的时候 恢复删除的k8s 资源 支持创建不同的scheduler 支持在多个airflowclu…

部署方式:docker+airflow+mysql+LocalExecutor 使用airflow的docker镜像 https://hub.docker.com/r/puckel/docker-airflow 使用默认的sqlite+SequentialExecutor启动: $ docker run -d -p 8080:8080 puckel/docker-airflow webserver 将容器中的airflow.cfg拷贝出来修改 $ docker cp $container_id:…

一 官方 airflow官方分布式部署结构图 airflow进程 webserver scheduler flower(非必须) worker airflow缺点 scheduler单点 通过在scheduler的dags目录变动dag文件来提交流程 官方分布式部署方案 多个webserver 多个worker CeleryExecutor(依赖redis或rabbitmq) MesosExecutor(依赖mesos) 第三方开源方案ASFC 针对scheduler单点问题,有第三方方案:ht…

声明 本文摘录了很多前辈的文章,原文如下: https://www.jianshu.com/p/2ecef979c606 Airflow 简介 Airflow是一个可编程,调度和监控的工作流平台,基于有向无环图(DAG),airflow可以定义一组有依赖的任务,按照依赖依次执行.airflow提供了丰富的命令行工具用于系统管控,而其web管理界面同样也可以方便的管控调度任务,并且对任务运行状态进行实时监控,方便了系统的运维和管理. 基本概念 airflow守护进程 airflow 系统在运行时有…

本人在centos7 的环境下部署,怎么在centos7 下配置静态 IP 关闭防火墙 以及安装jdk在这里不多赘述, centos7 配置静态ip可以参考:https://www.cnblogs.com/braveym/p/8523100.html  和  https://www.cnblogs.com/braveym/p/9096402.html Airflow 基础安装 1.默认自带python2环境,自行安装pip sudo yum -y install epel-release sud…

ambari2.7.3(hdp3.1) 安装 airflow1.10 ambari的hdp中原生不支持airflow安装,下面介绍如何通过mpack方式使ambari支持airflow安装: 1 下载 # wget https://github.com/miho120/ambari-airflow-mpack/raw/master/airflow-service-mpack.tar.gz 2 安装 # ambari-server install-mpack --mpack airflow-ser…

开源项目airflow的一点研究 调研了一些几个调度系统, airflow 更满意一些. 花了些时间写了这个博文, 这应该是国内技术圈中最早系统性研究airflow的文章了.  转载请注明出处 http://www.cnblogs.com/harrychinese/ . ========================airflow概况========================文档:http://airflow.readthedocs.org/en/latest/几个调度系统的比较, 可参…