python多线程ctrl-c退出问题
场景:
经常会遇到下述问题:很多io busy的应用采取多线程的方式来解决,但这时候会发现python命令行不响应ctrl-c 了,而对应的java代码则没有问题:
- public class Test {
- public static void main(String[] args) throws Exception {
- new Thread(new Runnable() {
- public void run() {
- long start = System.currentTimeMillis();
- while (true) {
- try {
- Thread.sleep(1000);
- } catch (Exception e) {
- }
- System.out.println(System.currentTimeMillis());
- if (System.currentTimeMillis() - start > 1000 * 100) break;
- }
- }
- }).start();
- }
- }
java Test
ctrl-c则会结束程序
而对应的python代码:
- # -*- coding: utf-8 -*-
- import time
- import threading
- start=time.time()
- def foreverLoop():
- start=time.time()
- while 1:
- time.sleep(1)
- print time.time()
- if time.time()-start>100:
- break
- thread_=threading.Thread(target=foreverLoop)
- #thread_.setDaemon(True)
- thread_.start()
python p.py
后ctrl-c则完全不起作用了。
不成熟的分析:
首先单单设置 daemon 为 true 肯定不行,就不解释了。当daemon为 false 时,导入python线程库后实际上,threading会在主线程执行完毕后,检查是否有不是 daemon 的线程,有的化就wait,等待线程结束了,在主线程等待期间,所有发送到主线程的信号也会被阻测,可以在上述代码加入signal模块验证一下:
- def sigint_handler(signum,frame):
- print "main-thread exit"
- sys.exit()
- signal.signal(signal.SIGINT,sigint_handler)
在100秒内按下ctrl-c没有反应,只有当子线程结束后才会出现打印 "main-thread exit",可见 ctrl-c被阻测了
threading 中在主线程结束时进行的操作:
- _shutdown = _MainThread()._exitfunc
- def _exitfunc(self):
- self._Thread__stop()
- t = _pickSomeNonDaemonThread()
- if t:
- if __debug__:
- self._note("%s: waiting for other threads", self)
- while t:
- t.join()
- t = _pickSomeNonDaemonThread()
- if __debug__:
- self._note("%s: exiting", self)
- self._Thread__delete()
对所有的非daemon线程进行join等待,其中join中可自行察看源码,又调用了wait,同上文分析 ,主线程等待到了一把锁上。
不成熟的解决:
只能把线程设成daemon才能让主线程不等待,能够接受ctrl-c信号,但是又不能让子线程立即结束,那么只能采用传统的轮询方法了,采用sleep间歇省点cpu吧:
- # -*- coding: utf-8 -*-
- import time,signal,traceback
- import sys
- import threading
- start=time.time()
- def foreverLoop():
- start=time.time()
- while 1:
- time.sleep(1)
- print time.time()
- if time.time()-start>5:
- break
- thread_=threading.Thread(target=foreverLoop)
- thread_.setDaemon(True)
- thread_.start()
- #主线程wait住了,不能接受信号了
- #thread_.join()
- def _exitCheckfunc():
- print "ok"
- try:
- while 1:
- alive=False
- if thread_.isAlive():
- alive=True
- if not alive:
- break
- time.sleep(1)
- #为了使得统计时间能够运行,要捕捉 KeyboardInterrupt :ctrl-c
- except KeyboardInterrupt, e:
- traceback.print_exc()
- print "consume time :",time.time()-start
- threading._shutdown=_exitCheckfunc
缺点:轮询总会浪费点cpu资源,以及battery.
有更好的解决方案敬请提出。
ps1: 进程监控解决方案 :
用另外一个进程来接受信号后杀掉执行任务进程,牛
- # -*- coding: utf-8 -*-
- import time,signal,traceback,os
- import sys
- import threading
- start=time.time()
- def foreverLoop():
- start=time.time()
- while 1:
- time.sleep(1)
- print time.time()
- if time.time()-start>5:
- break
- class Watcher:
- """this class solves two problems with multithreaded
- programs in Python, (1) a signal might be delivered
- to any thread (which is just a malfeature) and (2) if
- the thread that gets the signal is waiting, the signal
- is ignored (which is a bug).
- The watcher is a concurrent process (not thread) that
- waits for a signal and the process that contains the
- threads. See Appendix A of The Little Book of Semaphores.
- http://greenteapress.com/semaphores/
- I have only tested this on Linux. I would expect it to
- work on the Macintosh and not work on Windows.
- """
- def __init__(self):
- """ Creates a child thread, which returns. The parent
- thread waits for a KeyboardInterrupt and then kills
- the child thread.
- """
- self.child = os.fork()
- if self.child == 0:
- return
- else:
- self.watch()
- def watch(self):
- try:
- os.wait()
- except KeyboardInterrupt:
- # I put the capital B in KeyBoardInterrupt so I can
- # tell when the Watcher gets the SIGINT
- print 'KeyBoardInterrupt'
- self.kill()
- sys.exit()
- def kill(self):
- try:
- os.kill(self.child, signal.SIGKILL)
- except OSError: pass
- Watcher()
- thread_=threading.Thread(target=foreverLoop)
- thread_.start()
注意 watch()一定要放在线程创建前,原因未知。。。。,否则立刻就结束
python多线程ctrl-c退出问题的更多相关文章
- python多线程threading
本文通过 4个example 介绍python中多线程package —— threading的常用用法, 包括调用多线程, 同步队列类Queue, Ctrl+c结束多线程. example1. 调用 ...
- [转]python 多线程threading简单分析
多线程和多进程是什么自行google补脑 对于python 多线程的理解,我花了很长时间,搜索的大部份文章都不够通俗易懂.所以,这里力图用简单的例子,让你对多线程有个初步的认识. 单线程 在好些年前的 ...
- python多线程学习记录
1.多线程的创建 import threading t = t.theading.Thread(target, args--) t.SetDeamon(True)//设置为守护进程 t.start() ...
- python多线程编程
Python多线程编程中常用方法: 1.join()方法:如果一个线程或者在函数执行的过程中调用另一个线程,并且希望待其完成操作后才能执行,那么在调用线程的时就可以使用被调线程的join方法join( ...
- Python 多线程教程:并发与并行
转载于: https://my.oschina.net/leejun2005/blog/398826 在批评Python的讨论中,常常说起Python多线程是多么的难用.还有人对 global int ...
- python 多线程就这么简单(转)
多线程和多进程是什么自行google补脑 对于python 多线程的理解,我花了很长时间,搜索的大部份文章都不够通俗易懂.所以,这里力图用简单的例子,让你对多线程有个初步的认识. 单线程 在好些年前的 ...
- 【python,threading】python多线程
使用多线程的方式 1. 函数式:使用threading模块threading.Thread(e.g target name parameters) import time,threading def ...
- Python多线程和Python的锁
Python多线程 Python中实现多线程有两种方式,一种基于_thread模块(在Python2.x版本中为thread模块,没有下划线)的start_new_thread()函数,另一种基于th ...
- 【跟我一起学Python吧】Python 多线程
其实自我感觉Python的多线程很类似于Java的多线程机制,但是比JAVA的多线程更灵活.在早期的Python多线程实现中,采用了thread模块.例如: from time import ctim ...
- 关于python多线程编程中join()和setDaemon()的一点儿探究
关于python多线程编程中join()和setDaemon()的用法,这两天我看网上的资料看得头晕脑涨也没看懂,干脆就做一个实验来看看吧. 首先是编写实验的基础代码,创建一个名为MyThread的 ...
随机推荐
- [转]useradd 与adduser的区别
转自:Deit_Aaron的专栏 添加用户:useradd -m 用户名 然后设置密码 passwd 用户名 删除用户:userdel -r 用户名 1. 在root权限下,useradd只是 ...
- C# Index 定义索---引具体使用
using System;using System.Collections.Generic;namespace TestThisIndex{ public class Program { ...
- Spring 事务中 readOnly 的解释
spring 中事务的PROPAGATION_REQUIRED,Readonly的解释 (2012-11-21 16:29:38) 转载▼ 标签: 杂谈 一. ...
- 转:表单中Readonly和Disabled的区别(HTML中使用javascript解除禁止input输入框代)
转:表单中Readonly和Disabled的区别 参考资料: disabled和readonly区别: 参考博文1地址:http://blog.csdn.net/symgdwyh/article/d ...
- bzoj1499: [NOI2005]瑰丽华尔兹
dp. 首先我们可以看到每个时间段只能往一个方向转移最多t步(t为时间段的长度),所以我们可以按时间段dp.因为这个前后值互不影响,也不用占用这一维空间就可以省去. 然后每个时间段内是一列一列(行) ...
- UVa 11992 (线段树 区间修改) Fast Matrix Operations
比较综合的一道题目. 二维的线段树,支持区间的add和set操作,然后询问子矩阵的sum,min,max 写完这道题也是醉醉哒,代码仓库里还有一份代码就是在query的过程中也pushdown向下传递 ...
- BZOJ_1628_[Usaco2007_Demo]_City_skyline_(单调栈)
描述 http://www.lydsy.com/JudgeOnline/problem.php?id=1628 给出\(n\)个距形的影子,问最少是多少个建筑的?(建筑的影子可以重叠). 分析 用单调 ...
- kindeditor编辑器图片水印
//upload_pic.ashx源码 <%@ webhandler Language="C#" class="edit_html_upload_pic" ...
- fancybox 点击 js脚本判断验证,fancybox的宽度高度设置
当我们在使用fancybox做弹出窗口的时候,可能在弹窗之前就需要判断一些验证条件,例如我这里有个案例,用户必须先得勾选一个 那么怎么做呢?我们用到fancybox的一个onStart方法就可以了 $ ...
- 极光推送使用实例(二) Android客户端
上一篇简单介绍了极光推送在Java服务端的实现,如果感兴趣的可以看一下极光推送使用实例(一)JAVA服务端.这篇文章介绍下极光推送在Android客户端的实现. JPush Android SDK 是 ...