2.airflow参数简介
比较重要的参数:
参数 | 默认值 | 说明 |
---|---|---|
airflow_home | /home/airflow/airflow01 | airflow home,由环境变量$AIRFLOW_HOME决定 |
dags_folder | /home/airflow/airflow01/dags | dag python文件目录 |
base_log_folder | /home/airflow/airflow01/logs | 主日志目录 |
executor | SequentialExecutor, LocalExecutor, CeleryExecutor | executor方式,分别为序列、本地、队列 |
sql_alchemy_conn | sqlite:////home/airflow/airflow01/airflow.db | 数据库连接方式 |
sql_alchemy_pool_size | 5 | 数据库线程池 |
sql_alchemy_pool_recycle | 3600 | 数据库idle连接回收时间 |
parallelism | 32 | executor的并行度,即同时在一个executor上同时运行的task instance个数 |
dag_concurrency | 16 | 调度器同时可以运行的task instance个数(跟上个参数啥关系?) |
max_active_runs_per_dag | 16 | 不懂~ |
load_examples | True | 是否载入示例 |
default_impersonation | 当不设置task的用户时,以此用户执行 | |
security | 安全验证类似,如kerberos | |
default_owner | airflow | operator 绑定的默认用户名 |
default_cpus | 1 | operators 使用的cpu |
default_ram | 512 | operators 使用的内存 |
base_url | http://localhost:8080 | webserver的URL |
web_server_host | 0.0.0.0 | webserver的IP |
web_server_port | 8080 | webserver的端口 |
web_server_ssl_cert | webserver的certificate路径 | |
web_server_ssl_key | webserver的key路径 | |
web_server_worker_timeout | 120 | gunicorn webserver和worker的超时时间 |
worker_refresh_batch_size | 1 | webserver每次检测worker的个数。发现新的worker并杀死旧的worker |
worker_refresh_interval |30 | webserver检测的时间间隔 | |
access_logfile | - | webserver日志位置,-指标准输出 |
error_logfile | - | webserver日志位置,-指标准输出 |
expose_config | False | 是否在页面上显示配置信息 |
authenticate | False | webserver是否开始权限验证 |
filter_by_owner | False | 通过名称过滤dag,需要开启权限验证。 |
smtp_host | localhost | smtp主机 |
smtp_user | smtp上的用户 | |
smtp_password | 密码 | |
smtp_starttls | True | 使用tls协议 |
smtp_ssl | False | 使用ssl协议 |
smtp_port | smtp端口 | |
smtp_mail_from | 发邮件的账户 | |
celeryd_concurrency | 16 | |
broker_url | sqla+mysql://airflow:airflow@localhost:3306/airflow | celery broker url |
celery_result_backend | db+mysql://airflow:airflow@localhost:3306/airflow | celere result |
job_heartbeat_sec | 5 | Task instances接收外部kill信号(来自cli或者webserver)的时间时隔 |
scheduler_heartbeat_sec | 5 | scheduler和task之间的心跳间隔(应该是跟executor) |
scheduler_zombie_task_threshold | 300 | 检测僵尸task的时间间隔 |
catchup_by_default | 不懂~ |
parallelism = number of physical python processes the scheduler can run
dag_concurrency = the number of TIs to be allowed to run PER-dag at once
max_active_runs_per_dag = number of dag runs (per-DAG) to allow running at once* parallelism = number of physical python processes the scheduler can run
- dag_concurrency = the number of TIs to be allowed to run PER-dag at once
- max_active_runs_per_dag = number of dag runs (per-DAG) to allow running at once
其它:
https://cwiki.apache.org/confluence/display/AIRFLOW/Common+Pitfalls
2.airflow参数简介的更多相关文章
- mqtt------ mosca服务器端参数简介
一:服务器端 为什么使用mosca:mosca是基于node.js开发,上手难度相对较小,其次协议支持完整,除了不支持Qos 2,其它的基本都支持.持久化支持redis以及mongo.二次开发接口简单 ...
- 【ABAP系列】SAP abap dialog screen屏幕参数简介
公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[ABAP系列]SAP abap dialog ...
- HOG参数简介及Hog特征维数的计算(转)
HOG构造函数 CV_WRAP HOGDescriptor() :winSize(64,128), blockSize(16,16), blockStride(8,8), cellSize( ...
- VM参数简介
http://www.cnblogs.com/yuzhaoxin/p/4083612.html block_dump Linux 内核里提供了一个 block_dump 参数用来把 block 读写( ...
- 【转载】va_list 可变参数 简介 va_copy vprintf
[说明]本文转载自 smart 的文章 http://blog.sina.com.cn/s/blog_590be5290100qhxr.html 及百度百科 va_list是一个宏,由va_star ...
- vue路由对象($route)参数简介
路由对象在使用了 vue-router 的应用中,路由对象会被注入每个组件中,赋值为 this.$route ,并且当路由切换时,路由对象会被更新. so , 路由对象暴露了以下属性: 1.$rout ...
- Flask 参数简介
我们都知道学习了Flask的时候它里面的参数是有很多种的参数 都是需要相互进行调用传递的 今天就简要分析一些常见的参数 首先导入Flask之后看 源码 from flask import Flas ...
- logging.basicConfig参数简介
通过logging.basicConfig函数对日志的输出格式及方式做相关配置 import logging logging.basicConfig(level=logging.DEBUG, form ...
- HackRF One硬件架构及参数简介
本文内容.开发板及配件仅限用于学校或科研院所开展科研实验! 淘宝店铺名称:开源SDR实验室 HackRF链接:https://item.taobao.com/item.htm?spm=a1z10.1- ...
随机推荐
- Extjs 中callParent的作用
callParent 是 Sencha 类系统提供的一个用于调用你父/祖先类中的方法. 这个通常用于当你 继承一个框架类 或者 覆写一个类中提供的方法(比如 onRender) 时. 当你在一个带参数 ...
- SQL循环插入批量数据
declare @i intdeclare @qid int set @i=1set @qid=100 while @i<50000begininsert into Order(orderid, ...
- Scala相关笔记
一.Scala概述以及安装 1. 什么是Scala Scala 是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性.Scala 运行于 Java 平台(Java 虚拟机 ...
- 笔记:css中的position定位
position的值可以是:static,relative,absolute,fixed. 默认值是 static.设置 left.top值无效. relative是相对定位,可以设置left.top ...
- Bootstrap01
Bootstrap01内容概要 一.使用Bootstrap的步骤 1.下载Bootstrap类库,包含三个部分,fonts,css,Bootstrap 2.导入项目中,在头部引入JQ,css和Boot ...
- HTML5之拖拽
HTML5拖放 拖放(Drag和drop)是H5标准的组成部分 此处需具备js基础知识及其H5拖拽部分相关方法 在拖动目标上触发事件 (源元素): ondragstart - 用户开始拖动元素时触发 ...
- idea创建Scala入门HelloWorld
Scala开发环境的搭建 首先到Scala官网下载Scala网址为 https://www.scala-lang.org/download/ 找到下图所示位置:选择相对应的版本的Scala进行下载,这 ...
- Circos Ubuntu 安装
下载: http://www.circos.ca/software/download/circos/ Perl 需要5.8及以上的版本. 查看版本的命令: perl -v 解压安装包 安装包是一 ...
- PAT-A 1009. Product of Polynomials
参考:https://www.jianshu.com/p/e7a3ee0f82d9 #include<bits/stdc++.h> using namespace std; ; doubl ...
- 20155301 2016-2017-2 《Java程序设计》第1周学习总结
20155301 2016-2017-2 <Java程序设计>第1周学习总结 教材学习内容总结 Java SE的全称是Java Platform, Standard Edition,并用于 ...