celery(一) application
Application
application
- celery在使用之前,必须首先实例化。e.g.
app = Celery()
- app 是线程安全的,即:不同配置、组件和任务的多个app可以共存在同一个进程空间。
任务注册表(task-registry)
在Celery中发送一个task 消息,这个消息并不包含任何源代码(函数体)。而是只有你所期望执行的task的名字。每个worker有一个任务注册表(task-registry),它是task 名称与 task 源代码(函数)的映射。每当你定义一个task,这个task就会被注册到本地的注册表中
懒加载
Celery创建app实例是延迟的,只有在调用它的时候才会创建。也就是说,Celery()命令并没有立即创建app实例。
Celery实例化的过程中,做了如下操作:
- 创建了一个逻辑时钟,用于events
- 创建了一个任务注册表 task-registry
- 设置它自己为当前的Celery实例(如果
set_as_current
参数被置为disabled,那么就不会进行该操作) - 调用
app.on_init()
(默认情况下,啥都没做)
@app.task
装饰器也是延迟创建task的。task被定义的时候(在一个函数头上加装饰器的时候),task并没有立即创建。在task被使用的时候,或者是app finalized 的时候,task才会创建
finalized 做了如下操作:
- task是在多app之间共享的,拷贝task。(shard参数可以取消共享,使task独属于其绑定的app)
- 创建所有的task
- 确保所有的task都绑定到当前的app(只有绑定app,task才能读取默认的配置)
Main name
task 默认的名称组成是 model.fun
e.g. tasks.add
。
当model名获取不到的时候就会以 __main__
作为model名。因此会出现 某task以 __main__.add
为名注册到 任务注册表之后,当某个task被引入到其他模块时,会以源模块.task
作为任务名,这个时候,就会出现不一致的情况,所以,在Celery实例化的时候一定要指定app的名字。e.g. app=Celery(‘tasks’)
配置Celery
Celery的配置有如下几种:
- 直接配置app属性
- 使用配置文件
直接配置app属性
- 单个配置
app.conf.enable_utc = True
- 多个配置
app.conf.update(enable_utc=True, timezone='Asia/Shanghai')
使用配置文件
从配置文件加载配置,使用 app.config_from_object()
和 app.config_from_envvar()
方法。
config_from_object
app = Celery()
app.config_from_object('celeryconfig.py')
# 项目中要有 celeryconfig.py 文件
from xxxx import configmodel
app = Celery()
app.config_from_object(configmodel)
class Config:
enable_utc = True
app = Celery()
app.config_from_object(Config)
config_from_envva
从环境变量加载指定模块
app.config_from_envvar('CELERY_CONFIG_MODEL')
Task
所有使用 @task()
装饰器定义的task,都继承自基类 Task
。你也可以指定自己的基类 Task
。
- 在装饰器中指定其他类
@app.task(base=OtherTask)
def function():
...
- 在配置中指定其他类
app = Celery()
app.Task = OtherTask
自定义 Task
所有的自定义 Task
都必须
继承自 Task
类
class MyTask(Task):
...
最佳实践是 app 作为参数传给需要它的地方
class SomeClass:
def __init__(self, app):
self.app = app
...
celery(一) application的更多相关文章
- 【理论】python使用celery异步处理请求
Flask中使用celery队列处理执行时间较长的请求. 一. 安装celery pip install celery flask redis 二. celery简介 Celery是个异步分布式任务队 ...
- day102:MoFang:后端完成对短信验证码的校验&基于celery完成异步短信发送&flask_jwt_extended&用户登录的API接口
目录 1.用户注册 1.后端完成对短信验证码的校验 2.基于celery实现短信异步发送 2.用户登录 1.jwt登录验证:flask_jwt_extended 2.服务端提供用户登录的API接口 1 ...
- cellery ImportError & AttributeError
一.zz的问题 celery 运行work要进入到 文件所在的文件夹下执行 二.AttributeError: 'Flask' object has no attribute 'user_option ...
- day121:MoFang:植物的状态改动(幼苗→成长期)&植物的浇水功能
目录 1.当果树种植以后在celery的异步任务中调整浇水的状态 2.客户端通过倒计时判断时间,显示浇水道具 3.客户端判断当前种植物状态控制图标的显示和隐藏 4.当用户单击浇水图标, 则根据当前果树 ...
- Celery(三)实例Application
Celery必须实例化后才可以使用,实例称之为application或者简称app.实例是线程安全的,多个Celery实例(不同的配置.部件和任务)都可以在一个进程空间中运行. 创建一个最简单的app ...
- Celery,Tornado,Supervisor构建和谐的分布式系统
Celery 分布式的任务队列 与rabbitmq消息队列的区别与联系: rabbitmq 调度的是消息,而Celery调度的是任务. Celery调度任务时,需要传递参数信息,传输载体可以选择rab ...
- celery简单入门
写作背景介绍 最近在做后台图像处理,需要使用到celery这个异步任务框架.但是使用的时候遇到很多技术问题,为了方便日后再遇到相似问题时能够快速解决.写下这篇文章也希望能够帮助共同奋战在同一战线的程序 ...
- 异步任务神器 Celery 简明笔记
转自:http://www.jianshu.com/p/1840035cb510 异步任务 异步任务是web开发中一个很常见的方法.对于一些耗时耗资源的操作,往往从主应用中隔离,通过异步的方式执行.简 ...
- 独立两套DJANGO+CELERY配置(生产+测试)时要注意的一些细节
1,生产的NGINX环境,要指定自己的目录,而不是PROJ默认的. upstream ism_host { server ; } server { listen ; server_name local ...
随机推荐
- docker-compose up使用自定义的网段的两种方式(从其根源指定)
问题描述 还是那个研究安全大业的同事,在部署他的秘密武器,是用docker-compose部署的,有差不多20多个docker-compose.yml文件,然后由于docker-com ...
- layui select配合input实现动态模糊搜索
功能需求:select框可以自己输入,就是在下拉列表里找不到自己想要的选项就可以自己输入,同时还要支持模糊匹配功能 html代码: 样式: <style> .select-search-i ...
- DockerFile详解--转载
COPY 复制文件 格式: COPY ... COPY ["",... ""] 和 RUN 指令一样,也有两种格式,一种类似于命令行,一种类似于函数调用. CO ...
- mac下 chmod 不了文件,可以右键查看文件简介处修改权限
- 使用Navicat连接阿里云mysql报错10061
1.添加一个远程访问账号admin mysql> use mysql; mysql> GRANT ALL ON *.* TO 账户@'%' IDENTIFIED BY '密码' WITH ...
- note 8 字符串
字符串String 一个字符的序列 使用成对的单引号或双引号括起来 或者三引号""" 和 ''' 表示块注释 字符串运算 长度 len()函数 first_name = ...
- 事务回滚 try catch
USE tempdb IF OBJECT_ID ('dbo.test') IS NOT NULL DROP TABLE dbo.test GO CREATE TABLE dbo.test ( id I ...
- 关于new你应当知道的一切
new在C++中是一个我们经常用到的运算符.由它所创建的变量会被分配在堆中,并且在程序结束之前应当将分配的内存delete掉,否则就会导致内存泄漏.但是除此之外,你对new有更深入的了解吗?本篇文章将 ...
- linux下安装nexus repository及Intellij Idea集成私有maven
前段日子公司搞java项目,使用nexus repository搭建了私有maven库,现在把原来的私有nuget也迁到nexus repository上了,下面介绍下搭建流程: https://he ...
- Unity GeometryShader(从一个线框渲染的例子开始)
GeometryShader这个概念,已经出现很久了,但由于性能不佳,所以使用的并不多.甚至移动平台根本就不支持.移动平台的硬件更新速度也是越来越快,GS的应用普及应该不会太远.就现阶段而言,GS来做 ...