一、关于celery

芹菜celery是一个python实现的异步任务队列,可以用于爬虫、web后台查询、计算等等。通过任务队列,当一个任务来临时不再傻傻等待。

他的架构如下:

  • Broker

我们的生产者创建任务后会进入celery的任务调度队列中间件Broker,Broker通过调度规则将消息(任务)调度消息队列,Broker依赖第三方队列消息代理如rabbitmqredis等。

  • Worker

广大劳动者,盯着消息队列,当队列中有消息时把它拿过来给处理了。

  • Backend

用于结果存储经worker处理的结果,比如常用的数据库等。


使用celery

在本文中咱们使用rabbitmq(celery推荐)作为消息代理中间件。

我们创建的celery目录如下

learn_celery/
...celery_env/
...celery.py
...my_task1.py
...my_task2.py
...task1_run.py
...task2_run.py
1. 创建虚拟环境并安装celery、flower(web监控),这里不做赘述。
2.安装咱们的消息队列中间件rabbitmq

这里以docker的方式运行并配置,指定主机名为rabbit(rabbitmq是以主机名来访问的,所以这是必须的),容器名称为celery_rabbitmq

docker run -d -p 5672:5672 -h rabbit --name celery_rabbitmq rabbitmq

添加用于celery访问的用户,以及配置configurewriteread权限,在下面我们配置rabbit_user拥有所有配置、写入和读取权限。

docker exec -it celery_rabbitmq rabbitmqctl add_user rabbit_user rabbit_pass
docker exec -it celery_rabbitmq rabbitmqctl add_vhost rabbit_vhost
docker exec -it celery_rabbitmq rabbitmqctl set_user_tags rabbit_user celery
docker exec -it celery_rabbitmq rabbitmqctl set_permissions -p rabbit_vhost rabbit_user ".*" ".*" ".*"
3.创建celery应用
#celery.py
from celery import Celery broker_rabbitmq="amqp://rabbit_user:rabbit_pass@i-k9pwet2d/rabbit_vhost"
app=Celery("learn_celery",broker=broker_rabbitmq,backend="rpc://",include=["learn_celery.my_task2","learn_celery.my_task2"])

我们通过创建app来实例化Celery,项目包的名称为learn_celery,通过broker_rabbitmq来连接rabbitmq,rabbitmq的amqp协议格式为

amqp://userid:password@hostname:port/virtual_host

由于我们是在docker中启动的rabbitmq,所以我们的hostname应该为宿主机的hostname。

指定后端通过rpc回传数据,include加载带worker处理的任务learn_celery.my_task1learn_celery.my_task2

4.创建两个任务(消息)
#my_task1.py
from .celery import app
import time @app.task
def args_add1(x,y):
print("start task no.1 now!")
time.sleep(10)
print("task no.1 end!")
return x+y #my_task12.py
from .celery import app
import time @app.task
def args_add2(x,y):
print("start task no.2 now!")
time.sleep(20)
print("task no.2 end!")
return x+y

在这里我们导入了celery中的app,并用它来装饰我们的方法args_add,在args_add中模拟任务处理时间分别为10s、20s然后返回结果。

5.发送任务给celery
#tasks1_run.py
from .my_task1 import args_add1
import time reslut=args_add1.delay(11,22)
print("task over?{}".format(reslut.ready()))
print("task reslut:{}".format(reslut.result))
time.sleep(15)
print("task over?{}".format(reslut.ready()))
print("task reslut:{}".format(reslut.result)) #tasks2_run.py
from .my_task2 import args_add2
import time reslut=args_add2.delay(33,44)
print("task over?{}".format(reslut.ready()))
print("task reslut:{}".format(reslut.result))
time.sleep(25)
print("task over?{}".format(reslut.ready()))
print("task reslut:{}".format(reslut.result))

关于任务的delay,官方文档(参考)是这样描述的,我把它理解为发送任务给celery或者celery调用待进来的任务。

reslut.ready() 返回任务执行是否执行完成True or False

reslut.result 返回任务执行结果

我们在任务进入celery和结束分别检查一次。


二、看看结果

1.启动worker

进入learn_celery的父目录。启动learn_celery的这个应用worker,并指定并发数为10个

celery -A learn_celery worker --loglevel=info --concurrency=10

若celery连接rabbitmq正常,我们可以看到如下的info

2.执行任务

为了便于观察,我们另外开启一个窗口2,到learn_celery父目录运行task1_run模块

python -m learn_celery.tasks1_run

开启窗口3,到learn_celery父目录运行task2_run模块

python -m learn_celery.tasks2_run

可以看到经过各自任务的等待时间后,两个任务都顺利执行结束,并得到结果,接下来我们到worker上看一下info

由于celery的并发性,收到任务马上被调入执行,任务1耗时10s结果为33,任务2耗时20s结果为77


三、使用Flower监控celery

1.启动flower
celery -A learn_celery flower
2. 查看web监控 http://ip:5555

Tasks中可以查看到当前任务队列的状态、参数、接收和启动、执行时间。



Dashborad中查看当前worker节点的相关信息


文章有不足的地方欢迎指出。

欢迎收藏、点赞、提问。关注顶级饮水机管理员,除了管烧热水,有时还做点别的。


NEXT

  • celery的深入了解

  • celery在django中的使用

Python中任务队列-芹菜celery的使用的更多相关文章

  1. Python中Celery 的基本用法以及Django 结合 Celery 的使用和实时监控进程

    celery是什么 1 celery是一个简单,灵活且可靠的,处理大量消息的分布式系统 2 专注于实时处理的异步任务队列 3 同时也支持任务调度 执行流程 Celery 基本使用 tasks.py i ...

  2. python中利用redis构建任务队列(queue)

    Python中的使用标准queue模块就可以建立多进程使用的队列,但是使用redis和redis-queue(rq)模块使这一操作更加简单. Part 1. 比如首先我们使用队列来简单的储存数据:我们 ...

  3. Python 并行分布式框架 Celery

    Celery 简介 除了redis,还可以使用另外一个神器---Celery.Celery是一个异步任务的调度工具. Celery 是 Distributed Task Queue,分布式任务队列,分 ...

  4. 【转】Python 并行分布式框架 Celery

    原文链接:https://blog.csdn.net/freeking101/article/details/74707619 Celery 官网:http://www.celeryproject.o ...

  5. python中的轻量级定时任务调度库:schedule

    提到定时任务调度的时候,相信很多人会想到芹菜celery,要么就写个脚本塞到crontab中.不过,一个小的定时脚本,要用celery的话太“重”了.所以,我找到了一个轻量级的定时任务调度的库:sch ...

  6. 11: python中的轻量级定时任务调度库:schedule

    1.1 schedule 基本使用 1.schedule 介绍 1. 提到定时任务调度的时候,相信很多人会想到芹菜celery,要么就写个脚本塞到crontab中. 2. 不过,一个小的定时脚本,要用 ...

  7. Python定时任务-schedule vs. Celery vs. APScheduler

    在Python开发过程中我们经常需要执行定时任务,而此类任务我们通常有如下选项: 自己造轮子 使用schedule库 使用Celery定时任务 使用APScheduler 自己造轮子实现,最大的优势就 ...

  8. 任务队列 与 Celery概述

    一.任务队列(Task Queues) 1.1 什么是任务队列? 任务队列用于管理后台工作,通常这些后台工作必须在 HTTP请求-响应循环 之外执行. 1.2 为什么需要任务队列? 对于那些不是由客户 ...

  9. Python中实现异步并发查询数据库

    这周又填了一个以前挖下的坑. 这个博客系统使用Psycopy库实现与PostgreSQL数据库的通信.前期,只是泛泛地了解了一下SQL语言,然后就胡乱拼凑出这么一个简易博客系统. 10月份找到工作以后 ...

随机推荐

  1. 如何用WINPE备份电脑系统;电脑备份 听语音

    如何用WINPE备份电脑系统:电脑备份 听语音 原创 | 浏览:1046 | 更新:2017-09-30 15:09 1 2 3 4 5 6 7 分步阅读 备份系统已经成为一种常态,我们在安装完成系统 ...

  2. Canal和Otter介绍和使用

    Canal Canal原理 原理相对比较简单: canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议 mysql master收 ...

  3. mysql基础之mysql主从架构

    一.概念 主从多用于网站架构,因为主从的同步机制是异步的,数据的同步有一定延迟,也就是说有可能会造成数据的丢失,但是性能比较好,因此网站大多数用的是主从架构的数据库,读写分离必须基于主从架构来搭建 二 ...

  4. ubuntu中安装visual studio code-(转载)

    在Ubuntu中安装Visual Studio Code 编译自:http://itsfoss.com/install-visual-studio-code-ubuntu/ 作者: Abhishek ...

  5. linux 解压总结

    tar解压 gz解压 bz2等各种解压文件使用方法 .tar 解包:tar xvf FileName.tar 打包:tar cvf FileName.tar DirName (注:tar是打包,不是压 ...

  6. linux stat函数讲解 -(转自秋水Leo)

    stat函数讲解表头文件:    #include <sys/stat.h>             #include <unistd.h>定义函数:    int stat( ...

  7. Autofac 集成测试 在 ConfigureContainer 之后进行 Mock 注入

    在使用 Autofac 框架进行开发后,编写集成测试时,需要用 Mock 的用于测试的模拟的类型去代替容器里面已注入的实际类型,也就需要在 Autofac 完全收集完成之后,再次注入模拟的对象进行覆盖 ...

  8. 源码篇:Flutter Provider的另一面(万字图文+插件)

    前言 阅读此文的彦祖,亦菲们,附送一枚Provider模板代码生成插件! 我为啥要写这个插件呢? 此事说来话短,我这不准备写解析Provider源码的文章,肯定要写这框架的使用样例啊,然后再哔哔源码呀 ...

  9. MySQL是如何实现事物隔离?

    前言 众所周知,MySQL的在RR隔离级别下查询数据,是可以保证数据不受其它事物影响,而在RC隔离级别下只要其它事物commit后,数据都会读到commit之后的数据,那么事物隔离的原理是什么?是通过 ...

  10. 华为MDC软件架构

    华为MDC软件架构 平台软件零层逻辑架构如下图,由基础层.功能层.应用层和服务层组成. 零层逻辑架构 从平台软件一层逻辑架构可以看出,MDC用了华为自研的越影操作系统.兼容Autosar标准的软件中间 ...