python并发编程之线程剩余内容(线程队列,线程池)及协程
1. 线程的其他方法
import threading
import time
from threading import Thread,current_thread def f1(n):
time.sleep(1)
print('子线程名称', current_thread().getName()) # 获取线程名
print('%s号线程任务'%n) if __name__ == '__main__':
t1 = Thread(target=f1,args=(1,))
t1.start()
print('主线程名称',current_thread().getName()) # 获取线程名
print('主线程ID',current_thread().ident) # 获取线程id
print(current_thread()) # 当前线程对象
print(threading.enumerate()) # 当前正在运行的线程对象的一个列表 [<_MainThread(MainThread, started 6708)>, <Thread(Thread-1, started 7848)>]
print(threading.active_count()) # 当前正在运行的线程数
2. 线程队列
线程队列中三种队列形式,所使用的方法相同,都有put(),get(),put_nowait(),get_nowait(),qsize(),full(),empty() 等这些方法.就只传一组先进先出的代码
import queue
先进先出队列:queue.Queue(n)
q = queue.Queue(3)
q.put(1)
q.put(2)
print('当前队列内容长度',q.qsize())
q.put(3)
print('查看队列是否满了',q.full()) try:
q.put_nowait(4)
except Exception:
print('队列满了') print(q.get())
print(q.get())
print(q.get())
print('查看队列是否为空',q.empty()) try:
q.get_nowait()
except Exception:
print('队列空了')
先进后出 / 后进先出队列:queue.LifoQueue(n)
优先级队列:
queue.priorityQueue(n)
优先级队列中如果第一个参数相同,后面的比较方法为下面的描述.
如果说值里面的元素是数字类型,那么当两个值的优先级相同时,比较的是两个值的大小,小的优先被取出来.如果元素是字符串,那么依次比较每个字母的ascii表中的位置,小的优
先被取出来.如果put的数据是一个元组,元组的第一个参数是优先级数字,数字越小优先级越高,越先被get到被取出来,第二个参数是put进去的值,如果说优先级相同,那么值别忘了应
该是相同的数据类型,字典不行
3. 线程池
from concurrent_futures import ThreadPoolExecutor,ProcessPoolExecutor
p = ThreadPoolExecutor(4) #默认的线程个数是cpu个数 * 5
p = ProcessPoolExecutor(4) #默认的进程个数是cpu个数
map(f1,可迭代对象) : 异步提交任务
sublim(f1,参数) : 异步提交任务,和get方法一样,如果没有结果,会等待,阻塞程序
shutdown() : 锁定线程池,等待线程池中所有已经提交的任务全部执行完毕 , 相当于close + join
import time
from threading import current_thread
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor def f1(n,s):
time.sleep(1)
# print('%s号子线程'%current_thread().ident)
# print(n,s)
return if __name__ == '__main__': tp = ThreadPoolExecutor(4)
# tp = ProcessPoolExecutor(4)
# tp.map(f1,range(10)) #异步提交任务,参数同样是任务名称,可迭代对象
res_list = []
for i in range(10):
res = tp.submit(f1,i,'baobao') #submit是给线程池异步提交任务,
print(res)
# res.result()
res_list.append(res) for r in res_list:
print(r.result()) tp.shutdown() #主线程等待所有提交给线程池的任务,全部执行完毕 close + join
# for r in res_list:
# print(r.result())
print('主线程结束')
线程池回调函数
线程池的回调函数与进程池的相似
import time
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor def f1(n,s):
return n*s def f2(n):
print('回调函数',n.result()) if __name__ == '__main__': tp = ThreadPoolExecutor(4)
res = tp.submit(f1,11,12).add_done_callback(f2)
4. 协程
生成器版
import time def f1():
for i in range(10):
time.sleep(0.5)
print('f1=>',i)
yield def f2():
g = f1()
for i in range(10,20):
time.sleep(0.5)
print('f2=>', i)
next(g) f1()
f2()
greenlet模块
import time
from greenlet import greenlet def f1():
print('第一次f1')
g2.switch() #切换到g2这个对象的任务去执行
time.sleep(1)
print('第二次f1')
g2.switch() def f2():
print('第一次f2')
g1.switch()
time.sleep(1)
print('第二次f2') g1 = greenlet(f1) #实例化一个greenlet对象,并将任务名称作为参数参进去
g2 = greenlet(f2)
g1.switch() #执行g1对象里面的任务
gevent模块
from gevent import monkey;monkey.patch_all()
这个模块只要有io的地方就会自动切换,不必非要用gevent模块,下面的代码中gevent.sleep(1) 换成time.sleep(1)也可以执行.
import gevent
from gevent import monkey;monkey.patch_all()
import time
import threading def f1():
print('第一次f1')
gevent.sleep(1) # time.sleep(1)
print('第二次f1') def f2():
print('第一次f2')
gevent.sleep(1) #time.sleep(1)
print('第二次f2') g1 = gevent.spawn(f1) #异步提交了f1任务
g2 = gevent.spawn(f2) #异步提交了f2任务
gevent.joinall([g1,g2]) #相当于g1.join()+g2.join()
print('主程序任务')
python并发编程之线程剩余内容(线程队列,线程池)及协程的更多相关文章
- python并发编程之多进程(三):共享数据&进程池
一,共享数据 展望未来,基于消息传递的并发编程是大势所趋 即便是使用线程,推荐做法也是将程序设计为大量独立的线程集合 通过消息队列交换数据.这样极大地减少了对使用锁定和其他同步手段的需求, 还可以扩展 ...
- python并发编程基础之守护进程、队列、锁
并发编程2 1.守护进程 什么是守护进程? 表示进程A守护进程B,当被守护进程B结束后,进程A也就结束. from multiprocessing import Process import time ...
- python并发编程之多进程2-------------数据共享及进程池和回调函数
一.数据共享 1.进程间的通信应该尽量避免共享数据的方式 2.进程间的数据是独立的,可以借助队列或管道实现通信,二者都是基于消息传递的. 虽然进程间数据独立,但可以用过Manager实现数据共享,事实 ...
- Python并发编程(守护进程,进程锁,进程队列)
进程的其他方法 P = Process(target=f,) P.Pid 查看进程号 查看进程的名字p.name P.is_alive() 返回一个true或者False P.terminate( ...
- python并发编程之进程2(管道,事件,信号量,进程池)
管道 Conn1,conn2 = Pipe() Conn1.recv() Conn1.send() 数据接收一次就没有了 from multiprocessing import Process,Pip ...
- python3下multiprocessing、threading和gevent性能对比----暨进程池、线程池和协程池性能对比
python3下multiprocessing.threading和gevent性能对比----暨进程池.线程池和协程池性能对比 标签: python3 / 线程池 / multiprocessi ...
- Python并发编程-进程 线程 同步锁 线程死锁和递归锁
进程是最小的资源单位,线程是最小的执行单位 一.进程 进程:就是一个程序在一个数据集上的一次动态执行过程. 进程由三部分组成: 1.程序:我们编写的程序用来描述进程要完成哪些功能以及如何完成 2.数据 ...
- Python并发编程06 /阻塞、异步调用/同步调用、异步回调函数、线程queue、事件event、协程
Python并发编程06 /阻塞.异步调用/同步调用.异步回调函数.线程queue.事件event.协程 目录 Python并发编程06 /阻塞.异步调用/同步调用.异步回调函数.线程queue.事件 ...
- python并发编程之线程/协程
python并发编程之线程/协程 part 4: 异步阻塞例子与生产者消费者模型 同步阻塞 调用函数必须等待结果\cpu没工作input sleep recv accept connect get 同 ...
- 《转载》Python并发编程之线程池/进程池--concurrent.futures模块
本文转载自Python并发编程之线程池/进程池--concurrent.futures模块 一.关于concurrent.futures模块 Python标准库为我们提供了threading和mult ...
随机推荐
- 转 dos 下的 find 和 重定向 and 删除
1.find /i "ora-" *.* > check.log del /Q .\log\*.* 附录: 我对findstr是如此的依赖,以至于当我向各位讲解find命令的 ...
- MapReduce实战项目:查找相同字母组成的字谜
实战项目:查找相同字母组成的字谜 项目需求:一本英文书籍中包含有成千上万个单词或者短语,现在我们要从中找出相同字母组成的所有单词. 数据集和期望结果举例: 思路分析: 1)在Map阶段,对每个word ...
- fileReader 上传图片
function getImgSrc(target, callback) { if (window.FileReader) { var oPreviewImg = null, oFReader = n ...
- 《C#高效编程》读书笔记01-使用属性而不是可访问的数据成员
在需求变更中,属性比数据成员更容易修改,例:客户对象不该与空白名称,若你使用公有属性封装Name,那么现在修改一处,而数据成员则可能要修改多处 public class Customer { priv ...
- 老技术,UrlRewriter实现全站伪静态
看人家做淘宝客很火,就做了个网站.seo的话当然需要全站伪静态了,问了下空间商不支持mvc,尼玛,好吧,isapi_rewrite支持吗?“额,不支持!” -_-! 额,好吧,搬出n年前的东西了:微软 ...
- BootStrap Validator 版本差异问题导致的submitHandler失效问题的解决方法
最近一直在做互金平台,做到后台提交表单的时候出现验证提交数据一直没有提交的问题.于是百度了一下.果然是版本问题造成的.幸好找到了问题所在.我一直仿照的是东钿原微信平台的做法,但是使用byond的后台框 ...
- BUG数量和项目成本
这篇文章,不是讨论怎么提升程序员的能力避免BUG,因为程序员的能力不足造成的BUG,短期是无法避免的.这里主要探讨的是因为程序员疏忽大意和不良的开发习惯,产生的低级BUG,对项目成本影响. 首先了解下 ...
- eclipse3.4+对的处理插件(附SVN插件安装实例)
Eclipse 3.4以前安装插件无非有两种方式, 直接copy插件到features/plugins目录或者在links目录下创建链接文件. Eclipse 3.4又推出另一种新的安装途径, 更加灵 ...
- 【虚拟机-网关】如何在使用应用程序网关和 Nginx 的环境下实现强制 HTTPS 跳转
背景介绍 大家在使用 Nginx 部署网站时,实现 HTTP 到 HTTPS 的强制跳转是非常容易的事情,一般可以使用rewrite 命令或者使用返回自定义 301 页面的方法对 HTTP 请求进行 ...
- Java之栈空间和堆空间
1.变量的命名 (1)由字母,数字和下划线构成,首字母以字母或下划线开头 (2)变量的命名遵循见名知义 (3)Java变量命名建议不用中文 (4)变量名首字母建议不用大写字母开头 (5)用驼峰命名法命 ...