python函数超时情况应对总结
最近处理一个线程中的函数超时问题.
函数里面有一个地方可能会卡死,我们需要去判断这个是不是卡死了,并做出相应的应对方案.
最开始想的是在函数上增加一个装饰器,使其在超时时抛出异常,然后在其他地方捕获这个异常,并处理.
查询了一些前人的方案,写出的结果有两种.
方案一:使用threading的timer定时器,代码如下:
from threading import timer def time_limit(interval):
def wraps(func):
def time_out():
raise RuntimeError() def deco(*args, **kwargs):
timer = Timer(interval, time_out)
timer.start()
res = func(*args, **kwargs)
timer.cancel()
return res
return deco
return wraps
这个程序,在很多网页上看到了,使用方式,在需要监控的函数上写@time_limit(5),即可定时5秒报错.经过测试,觉得没什么用.
粗略看来,运行一下确实在程序超过interval规定的时间后抛出了RuntimeError.但是由于timer是另开的一个线程,所以这个异常别人获取不到,只有在本线程里处理才有用.
而且卡死的函数也不会停下来.
这种处理方式仅仅适用于一些函数与定时并不密切的时候,只是在函数超时时需要做一些动作的情况.
方案二:使用signal信号量机制,代码如下:
import signal
def time_limit(interval):
def wraps(func):
def handler():
raise RuntimeError()
def deco(*args, **kwargs):
signal.signal(signal.SIGALRM, handler)
signal.alarm(interval)
res = func(*args, **kwargs)
signal.alarm(0)
return res
return deco
return wraps
可以看出来,代码基本一样.但是原理大不相同.运行的结果也不一样,这段代码装饰需要定时的函数,在函数运行超时之后会抛出异常,停止程序.
一般情况下,这个装饰器就够用了.与之相同的方案,还有python的timeout模块,
可以直接pip install timeout,然后from timeout import timeout,在需要的函数前@timeout(n)即可.
这个方案已经很不错了,然而在实际应用中,由于是多线程,而signal不能在子线程中使用,所以否认了这个方案.
比较简单的装饰器想法否定掉了,就想了一些其他的办法.
1.定时检测线程是否alive----------卡死的线程只是不动,还是alive的
2.由于函数是生产者,可以通过计算时间,一定时间没有新的产出,则判定这个函数卡死,然后杀掉这个线程,重开一个----------python不支持杀掉线程
3.在线程里面增加标志位,检测标志位改变则退出循环----------天真的想法
4.改变线程为可接受stop的线程----------卡住不动收不到信号的,除非是进程
提出一些方案发现可行性都很低,最后也没有完全解决卡死的问题.
虽然这一个线程卡死并不会影响整个程序往下走,但是不生产,又占据资源不合理.
觉得否认了这些方案以后,最干脆的办法是检测到这个卡死之后,手动或自动杀掉其父进程.重启服务.
还有较不优雅的办法,由于卡死的情况不会很多,就记录下来,然后新开一个线程替代它的工作,直到记录队列满了,给一个信号要求重启服务.
重启服务影响较大,不建议随便重启.
总的说下来,还是没有较好的方案解决线程卡死的问题,毕竟函数卡死了就是卡死了,没法走下去,而且在线程里面又没法外界停下来.
先做一个记录吧!在继续学习的路上,希望有好的办法.
python函数超时情况应对总结的更多相关文章
- python函数超时,用装饰器解决 func_timeout
https://zhuanlan.zhihu.com/p/39743129 https://www.jianshu.com/p/a7fc98c7af4d https://ixyzero.com/blo ...
- python 函数之day3
一 函数的语法及特性 什么是函数? 定义:函数是一个功能通过一组语句的集合,由名字(函数名)将其封装起来的代码块,要想执行这个函数,只要调用其函数名即可. 特性: 减少重复代码 使程序变的可扩展 使程 ...
- Python函数参数默认值的陷阱和原理深究"
本文将介绍使用mutable对象作为Python函数参数默认值潜在的危害,以及其实现原理和设计目的 本博客已经迁移至: http://cenalulu.github.io/ 本篇博文已经迁移,阅读全文 ...
- Python开发【第四章】:Python函数剖析
一.Python函数剖析 1.函数的调用顺序 #!/usr/bin/env python # -*- coding:utf-8 -*- #-Author-Lian #函数错误的调用方式 def fun ...
- Python入门笔记(20):Python函数(3):关于lambda
一.lambda函数 1.lambda函数基础: lambda函数也叫匿名函数,即,函数没有具体的名称,而用def创建的方法是有名称的.如下: """命名的foo函数&q ...
- Python入门笔记(18):Python函数(1):基础部分
一.什么是函数.方法.过程 推荐阅读:http://www.cnblogs.com/snandy/archive/2011/08/29/2153871.html 一般程序设计语言包含两种基本的抽象:过 ...
- Day03 - Python 函数
1. 函数简介 函数是组织好的,可重复使用的,用来实现单一或相关联功能的代码段. 函数能提高应用的模块性,和代码的重复利用率.Python提供了许多内建函数,比如print():也可以自己创建函数,这 ...
- python函数的返回值 讲解
我们一起来聊聊python函数返回值的特殊情况,之前我也碰到过类似方面的问题,到后来查阅了一些资料后,发现原来是这样. 首先,写函数的时候,一定要写函数的文档,这样方便我们识别函数是做什么的.我记得很 ...
- Python 函数之路
---恢复内容开始--- python函数的定义 def add(): a = 1 b = 2 c == a + b print(c) 函数就是把一段实现某一个功能的代放进一个封装的方法名里,这个方法 ...
随机推荐
- 并查集 - 1611 The Suspects
题目地址: http://poj.org/problem?id=1611 分析: - 数据结构 - parent[x] 表示 x 元素的父节点位置. - rank[x] 记录x的子链的长度, 以便在合 ...
- 一起做RGB-D SLAM (3)
第三讲 特征提取与配准 2016.11 更新 把原文的SIFT替换成了ORB,这样你可以在没有nonfree模块下使用本程序了. OpenCV可以使用 apt-get install libopenc ...
- cookie与session组件
会话跟跟踪技术 cookie介绍 Djanjo中操作Cookle Session Django中Session相关方法 Django中的Session配置 CBV中加装饰器 session中运用aja ...
- (4)WePHP 模板引入CSS js
模板有两个定义了两个常量 父类已经定义好了 //模板常量 $dirStr=dirname($_SERVER['SCRIPT_NAME']); $dirStr=$dirStr=='\\'?NULL:$d ...
- CodeForces 540C Ice Cave (BFS)
题意:给定 n * m的矩阵,让你并给定初始坐标和末坐标,你只能走'.',并且走过的'.'都会变成'X',然后问你能不能在末坐标是'X'的时候走进去. 析:这个题,在比赛时就是没做出来,其实是一个水题 ...
- Jquery 欲绑定事件
有时候,想提前给即将添加的的元素绑定事件,这时候使用on就不行了,利用事件的冒泡机制可以完成这个功能 Jquery 提供了delegate方法就是这样实现的. $("#schemaaccor ...
- post上传文件限制--另一种解决途径
问题:项目之前的上传功能是没有问题的,但是今天同样的代码上传一个压缩包的时候出现了问题,报的是struts.xml的错,说是找不到返回的映射, 问题截图: 很奇怪的问题,之前都没问题的,仔细对比后发现 ...
- MyBatis 一级缓存避坑
MyBatis 一级缓存(MyBaits 称其为 Local Cache)无法关闭,但是有两种级别可选: package org.apache.ibatis.session; /** * @autho ...
- Iframe 高度自适应 example (跨子域实现)
跨子域的iframe高度自适应 比如 'https://www.kzwr.com/topics/baidu' 嵌入了 'http://pan.kzwr.com/',这种跨子域的页面,实现起来也比较简单 ...
- SOLR企业搜索平台 三 (schema.xml配置和solrj的使用)
标签:solrj 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://3961409.blog.51cto.com/3951409/8 ...