python之APScheduler
介绍
APScheduler是Python中一个强大的第三方库,用于在后台执行定时任务。它允许我们根据设定的时间间隔、日期规则或特定时间来执行任务,适用于定时执行脚本、定时发送邮件、定时处理数据等场景。
APScheduler的功能使得在Python中实现定时任务变得非常简单和高效。
1. 安装和导入
首先,我们需要安装APScheduler库。可以使用pip命令进行安装:
pip install apscheduler
安装完成后,我们可以在Python代码中导入APScheduler:
from apscheduler.schedulers.background import BackgroundScheduler
2. 创建定时任务
APScheduler提供了BackgroundScheduler和BlockingScheduler两种类型的调度器,用于创建定时任务。
BackgroundScheduler在后台运行,不会阻塞主线程;
BlockingScheduler会阻塞主线程直到所有任务完成。
from apscheduler.schedulers.background import BackgroundScheduler
import time
# 创建后台调度器
scheduler = BackgroundScheduler()
# 定义任务函数
def job():
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 添加定时任务,每隔5秒执行一次
scheduler.add_job(job, 'interval', seconds=5)
# 启动调度器
scheduler.start()
# 主线程等待一段时间后结束
time.sleep(20)
# 关闭调度器
scheduler.shutdown()
print("主线程结束")
在上述代码中,我们首先创建了一个后台调度器scheduler,然后定义了一个名为job的任务函数,在其中打印当前时间。使用scheduler.add_job()添加了一个定时任务,设置为每隔5秒执行一次。
然后,我们启动了调度器scheduler,让定时任务在后台执行。主线程等待20秒后结束,并调用scheduler.shutdown()关闭调度器。
3. 定时任务触发器
APScheduler提供了多种触发器类型,用于设置定时任务的触发条件。
interval触发器: 按照设定的时间间隔来触发任务。
from apscheduler.schedulers.background import BackgroundScheduler
import time
# 创建后台调度器
scheduler = BackgroundScheduler()
# 定义任务函数
def job():
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 添加定时任务,每隔5秒执行一次
scheduler.add_job(job, 'interval', seconds=5)
# 启动调度器
scheduler.start()
# 主线程等待一段时间后结束
time.sleep(20)
# 关闭调度器
scheduler.shutdown()
print("主线程结束")
在上述代码中,我们使用'interval'触发器,设置任务每隔5秒执行一次。
cron触发器: 使用类似于Linux中cron表达式的规则来触发任务,可以精确到秒。
from apscheduler.schedulers.background import BackgroundScheduler
import time
# 创建后台调度器
scheduler = BackgroundScheduler()
# 定义任务函数
def job():
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 添加定时任务,每天的13点30分触发任务
scheduler.add_job(job, 'cron', hour=13, minute=30)
# 启动调度器
scheduler.start()
# 主线程等待一段时间后结束
time.sleep(60)
# 关闭调度器
scheduler.shutdown()
print("主线程结束")
在上述代码中,我们使用'cron'触发器,设置任务每天的13点30分触发。
date触发器: 在指定的时间点触发任务。
from apscheduler.schedulers.background import BackgroundScheduler
import time
# 创建后台调度器
scheduler = BackgroundScheduler()
# 定义任务函数
def job():
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 添加定时任务,设置任务在2023年7月31日10点30分触发
scheduler.add_job(job, 'date', run_date='2023-07-31 10:30:00')
# 启动调度器
scheduler.start()
# 主线程等待一段时间后结束
time.sleep(60)
# 关闭调度器
scheduler.shutdown()
print("主线程结束")
在上述代码中,我们使用'date'触发器,设置任务在2023年7月31日10点30分触发。
4. 任务存储
APScheduler支持将任务存储在不同的后端存储中,如内存、数据库等。默认情况下,任务是存储在内存中的。
from apscheduler.schedulers.background import BackgroundScheduler
import time
# 创建后台调度器
scheduler = BackgroundScheduler()
# 定义任务函数
def job():
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 添加定时任务,每隔5秒执行一次
scheduler.add_job(job, 'interval', seconds=5)
# 启动调度器
scheduler.start()
# 主线程等待一段时间后结束
time.sleep(20)
# 关闭调度器
scheduler.shutdown()
print("主线程结束")
在上述代码中,我们使用默认的内存存储来存储任务。
如果需要将任务存储在数据库中,可以使用jobstores参数来设置。
from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore
import time # 创建数据库存储
jobstores = {
'default': SQLAlchemyJobStore(url='sqlite:///jobs.sqlite')
} # 创建后台调度器
scheduler = BackgroundScheduler(jobstores=jobstores) # 定义任务函数
def job():
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S")) # 添加定时任务,每隔5秒执行一次
scheduler.add_job(job, 'interval', seconds=5) # 启动调度器
scheduler.start() # 主线程等待一段时间后结束
time.sleep(20) # 关闭调度器
scheduler.shutdown() print("主线程结束")
在上述代码中,我们使用了SQLAlchemyJobStore来将任务存储在SQLite数据库中。
5. 并发执行
默认情况下,APScheduler会将任务串行执行,也就是说一个任务结束后才会执行下一个任务。如果希望并发执行多个任务,可以使用max_instances参数来设置。
from apscheduler.schedulers.background import BackgroundScheduler
import time
# 创建后台调度器
scheduler = BackgroundScheduler()
# 定义任务函数
def job(index):
print(f"定时任务{index}执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 添加定时任务,每隔5秒执行一次,最多并发3个任务
scheduler.add_job(job, 'interval', seconds=5, args=[1], max_instances=3)
scheduler.add_job(job, 'interval', seconds=5, args=[2], max_instances=3)
scheduler.add_job(job, 'interval', seconds=5, args=[3], max_instances=3)
# 启动调度器
scheduler.start()
# 主线程等待一段时间后结束
time.sleep(20)
# 关闭调度器
scheduler.shutdown()
print("主线程结束")
在上述代码中,我们使用了args参数传递参数给任务函数,并使用max_instances参数设置最多并发3个任务。
6. 阻塞和非阻塞
APScheduler提供了阻塞和非阻塞两种调度器类型。
阻塞调度器: 在调度器启动后,会阻塞主线程直到所有任务完成。
from apscheduler.schedulers.blocking import BlockingScheduler
import time
# 创建阻塞调度器
scheduler = BlockingScheduler()
# 定义任务函数
def job():
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 添加定时任务,每隔5秒执行一次
scheduler.add_job(job, 'interval', seconds=5)
# 启动调度器
scheduler.start()
print("主线程结束")
非阻塞调度器: 在调度器启动后,不会阻塞主线程。
from apscheduler.schedulers.background import BackgroundScheduler
import time
# 创建后台调度器
scheduler = BackgroundScheduler()
# 定义任务函数
def job():
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 添加定时任务,每隔5秒执行一次
scheduler.add_job(job, 'interval', seconds=5)
# 启动调度器
scheduler.start()
# 主线程等待一段时间后结束
time.sleep(20)
# 关闭调度器
scheduler.shutdown()
print("主线程结束")
在上述代码中,我们分别使用BlockingScheduler和BackgroundScheduler创建了阻塞和非阻塞调度器。
7. 错误处理
在任务执行过程中,可能会出现异常。APScheduler提供了异常处理机制,我们可以通过try...except...捕获任务函数中的异常,并进行相应的处理。
from apscheduler.schedulers.background import BackgroundScheduler
import time
# 创建后台调度器
scheduler = BackgroundScheduler()
# 定义任务函数
def job():
try:
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 抛出一个异常
raise ValueError("任务出现异常")
except Exception as e:
print("任务执行过程中发生异常:", str(e))
# 添加定时任务,每隔5秒执行一次
scheduler.add_job(job, 'interval', seconds=5)
# 启动调度器
scheduler.start()
# 主线程等待一段时间后结束
time.sleep(20)
# 关闭调度器
scheduler.shutdown()
print("主线程结束")
在上述代码中,我们在任务函数中抛出了一个ValueError异常,并通过try...except...捕获并输出了异常信息。
8. 立即执行任务
有时候我们可能需要立即执行一个任务,而不是等到下次触发时间。APScheduler提供了run_job方法来立即执行任务。
from apscheduler.schedulers.background import BackgroundScheduler
import time
# 创建后台调度器
scheduler = BackgroundScheduler()
# 定义任务函数
def job():
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 添加定时任务,每隔5秒执行一次
scheduler.add_job(job, 'interval', seconds=5)
# 启动调度器
scheduler.start()
# 立即执行任务
scheduler.run_job(job)
# 主线程等待一段时间后结束
time.sleep(20)
# 关闭调度器
scheduler.shutdown()
print("主线程结束")
在上述代码中,我们使用scheduler.run_job(job)方法立即执行了任务。
9. 调度器持久化
在实际应用中,我们可能需要将调度器的配置保存到文件中,以便在下次启动时恢复。
from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore
import time
# 创建数据库存储
jobstores = {
'default': SQLAlchemyJobStore(url='sqlite:///jobs.sqlite')
}
# 创建后台调度器,并指定jobstores参数
scheduler = BackgroundScheduler(jobstores=jobstores)
# 定义任务函数
def job():
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 添加定时任务,每隔5秒执行一次
scheduler.add_job(job, 'interval', seconds=5)
# 启动调度器
scheduler.start()
# 主线程等待一段时间后结束
time.sleep(20)
# 关闭调度器
scheduler.shutdown()
print("主线程结束")
在上述代码中,我们创建了一个数据库存储jobstores,并在创建后台调度器时指定了jobstores参数。这样,在调度器运行过程中,任务的配置将会被持久化到数据库中。
10. 任务监听器
APScheduler提供了任务监听器,用于监听任务的状态变化。我们可以通过add_listener方法添加监听器,并在任务状态发生变化时进行相应的处理。
from apscheduler.schedulers.background import BackgroundScheduler
import time
# 创建后台调度器
scheduler = BackgroundScheduler()
# 定义任务函数
def job():
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 添加定时任务,每隔5秒执行一次
scheduler.add_job(job, 'interval', seconds=5)
# 定义任务监听器
def my_listener(event):
if event.exception:
print("任务执行过程中发生异常:", str(event.exception))
else:
print("任务执行成功")
# 添加任务监听器
scheduler.add_listener(my_listener, mask='all')
# 启动调度器
scheduler.start()
# 主线程等待一段时间后结束
time.sleep(20)
# 关闭调度器
scheduler.shutdown()
print("主线程结束")
在上述代码中,我们创建了一个任务监听器my_listener,并在任务执行过程中通过if...else...判断是否出现异常。然后通过scheduler.add_listener(my_listener, mask='all')方法添加了监听器。
11. 移除定时任务
如果我们希望在调度器运行过程中移除某个定时任务,可以使用scheduler.remove_job(job_id)方法。
from apscheduler.schedulers.background import BackgroundScheduler
import time
# 创建后台调度器
scheduler = BackgroundScheduler()
# 定义任务函数
def job():
print("定时任务执行:", time.strftime("%Y-%m-%d %H:%M:%S"))
# 添加定时任务,每隔5秒执行一次,并获取任务ID
job_id = scheduler.add_job(job, 'interval', seconds=5).id
# 启动调度器
scheduler.start()
# 主线程等待一段时间后移除定时任务
time.sleep(10)
scheduler.remove_job(job_id)
# 主线程等待一段时间后结束
time.sleep(10)
# 关闭调度器
scheduler.shutdown()
print("主线程结束")
在上述代码中,我们通过scheduler.add_job(job, 'interval', seconds=5).id获取了定时任务的ID,并使用scheduler.remove_job(job_id)移除了定时任务。
python之APScheduler的更多相关文章
- python 定时任务APScheduler 使用介绍
python 定时任务APScheduler 使用介绍 介绍: APScheduler的全称是Advanced Python Scheduler.它是一个轻量级的 Python 定时任务调度框架. ...
- python框架---->APScheduler的使用
这里介绍一下python中关于定时器的一些使用,包括原生的sche包和第三方框架APScheduler的实现.流年未亡,夏日已尽.种花的人变成了看花的人,看花的人变成了葬花的人. python中的sc ...
- Python使用APScheduler实现定时任务
APScheduler是基于Quartz的一个Python定时任务框架.提供了基于日期.固定时间间隔以及crontab类型的任务,并且可以持久化任务.在线文档:https://apscheduler. ...
- python 定时任务apscheduler的使用
apscheduler 的使用 我们项目中总是避免不了要使用一些定时任务,比如说最近的项目,用户点击报名考试以后需要在考试日期临近的时候推送小程序消息提醒到客户微信上,翻了翻 fastapi 中的 ...
- python定时任务APScheduler
APScheduler定时任务 APScheduler 支持三种调度任务:固定时间间隔,固定时间点(日期),Linux 下的 Crontab 命令.同时,它还支持异步执行.后台执行调度任务. 一.基本 ...
- thinkphp5+python.apscheduler实现计划任务
1.thinkphp5配置自定义命令行 /application/console/command namespace app\console\command; use think\console\Co ...
- python 定时任务框架apscheduler
文章目录 安装 基本概念介绍 调度器的工作流程 实例1 -间隔性任务 实例2 - cron 任务 配置调度器 方法一 方法二 方法三: 启动调度器 方法一:使用默认的作业存储器: 方法二:使用数据库作 ...
- Python定时任务利器—Apscheduler
导语 在工作场景遇到了这么一个场景,就是需要定期去执行一个缓存接口,用于同步设备配置.首先想到的就是Linux上的crontab,可以定期,或者间隔一段时间去执行任务.但是如果你想要把这个定时任务作为 ...
- Python开源框架
info:更多Django信息url:https://www.oschina.net/p/djangodetail: Django 是 Python 编程语言驱动的一个开源模型-视图-控制器(MVC) ...
- APScheduler
目录 APScheduler简介 支持的后端存储作业 集成的Python框架 APScheduler下载安装 APScheduler组件 各组件简介 调度器 作业存储器 执行器 触发器 使用 添加作业 ...
随机推荐
- Transforms的使用
Transform的作用 把图片经过Transforms的一些函数之后就会对图片进行一些变化.比如,resize就是改变其大小,totensor就是把图片PIL或者numpy类型转化为Tensor类型 ...
- 小tips:CSS3中的background-clip属性(背景的裁剪区域)
CSS3中的background-clip属性,其主要是用来确定背景的裁剪区域,换句话说,就是如何控制元素背景显示区域. 语法如下: background-clip : border-box || p ...
- PYRAFORMER: 用于长时间序列建模和预测的低复杂度金字塔注意力《PYRAFORMER: LOW-COMPLEXITY PYRAMIDAL ATTENTION FOR LONG-RANGE TIME SERIES MODELING AND FORECASTING》(金字塔注意力模块机制、PAM、CSCM、多尺度)
今天是2022年10月1日,今天重读一遍这篇论文. 10月1日16:48,上次读是4月20日,时间过得好快. 论文:PYRAFORMER: LOW-COMPLEXITY PYRAMIDAL ATTEN ...
- 前后端沟通 naming conversion 转换需要知道的事
c# 是 pascal case, js 是 camel case 所以在做 web api 和 odata 的时候经常需要转换. 早年 web api 是依赖 Newtonsoft json (JS ...
- web架构-nginx负载均衡
nginx的负载均衡 Nginx 是一个广泛使用的反向代理服务器,能够高效地实现负载均衡.负载均衡的核心作用是将来自客户端的请求分发到多个后端服务器上,从而平衡每台服务器的压力.通过Nginx,我们可 ...
- nexus 部署与设置
安装nexus df -h 先查看目录磁盘空间,我安装的版本占用了四个G 空间,目录文件空间不够导致启动失败 上传 nexus 压缩包,并解压 查询 8081 端口号是否被占用 sudo netsta ...
- 数列专题2 求数列的前n项和
\({\color{Red}{欢迎到学科网下载资料学习 }}\) [ [基础过关系列]高二数学同步精品讲义与分层练习(人教A版2019)] ( https://www.zxxk.com/docpack ...
- Java日期时间API系列40-----中文语句中的时间语义识别(time NLP)代码实现分析
从上篇 Java日期时间API系列39-----中文语句中的时间语义识别(time NLP 输入一句话,能识别出话里的时间)原理分析 中得知解析的主要步骤分为三步: (1)加载正则文件 (2)解析中文 ...
- Android复习(二)应用资源——>可绘制对象资源
可绘制对象资源是图形的一般概念,是指可在屏幕上绘制的图形,以及可使用 getDrawable(int) 等 API 检索,或应用到拥有 android:drawable 和 android:icon ...
- 云原生周刊:KubeSphere 宣布开源 Thanos 的企业级发行版 Whizard
开源项目推荐 Admiralty Admiralty 是一个 Kubernetes 控制器系统,可以智能地在多个集群之间调度工作负载.它使用简单,并且易于与其他工具集成. Cozystack Cozy ...