python3 线程_threading模块
'''
并发:同一个时间段内运行多个程序的能力 进程就是一个程序在一个数据集上的一次动态执行过程。进程一般由程序、数据集、进程控制块三部分组成 程序:食谱
数据集:鸡蛋、牛奶、糖等
进程控制块:记下食谱做到哪一步了 线程:最小的执行单元,程序中具体代码 比如:食谱中的具体操作方法
进程:最小的资源管理单元,线程,数据等等 比如:整个食谱 切换的操作者:操作系统
进程/线程切换原则:
1、时间片
2、遇到IO操作切换 代码执行input()函数时,本身不占cpu了,输入完成后再切回来。conn,client_addr = sock.accept()执行后不占cpu了,
开启了另一个有关监听的线程,当接收到数据是再切给accept 串行、并行、并发
并发的关键是你有处理多个任务的能力,不一定要同时。
并行的关键是你有同时处理多个任务的能力。
所以说,并行是并发的子集 IO密集型任务:程序存在大量IO操作
计算密集型任务:程序存在大量计算操作 对于PYTHON的多线程处理:
IO密集型任务有优势
计算密集型任务不推荐使用多线程 ''' 多线程
import threading
import time def foo(n):
print('>>>>>%s' %n)
time.sleep(3) def bar(n):
time.sleep(5)
print('>>>>>%s' %n) s = time.time() t1 = threading.Thread(target=foo,args=(2,))
t1.start() # .start()方法激活线程,可以去抢cpu执行 t2 = threading.Thread(target=bar,args=(5,))
t2.setDaemon(True) # 主线程结束不等待子线程
t2.start() t1.join() # 加入主线程阻塞
# t2.join() print('ending!')
print('cost time:',time.time()-s)
线程的类继承式创建
import threading
import time class MyThread(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
# super().__init__() def run(self):
print('OK')
time.sleep(2)
print('end t1') t1 = MyThread()
t1.start()
print('ending')
线程三把锁
互斥锁
import threading
import time def sub():
global num lock.acquire() temp = num
time.sleep(0.1)
num = temp-1 lock.release() time.sleep(2) num = 100 lock = threading.Lock() l = []
for i in range(100):
t = threading.Thread(target=sub,args=())
t.start()
l.append(t) for t in l:
t.join() print(num)
递归锁
import threading
import time class MyThread(threading.Thread): def __init__(self):
super().__init__() def run(self):
self.foo()
self.bar() def foo(self):
RLock.acquire()
print('I am %s GET LOCKA-----%s' %(self.name,time.ctime())) RLock.acquire()
print('I am %s GET LOCKB-----%s' %(self.name,time.ctime()))
RLock.release()
# time.sleep(1) RLock.release()
# time.sleep(1) def bar(self):
RLock.acquire()
print('I am %s GET LOCKA-----%s' %(self.name,time.ctime()))
# time.sleep(1)
RLock.acquire()
print('I am %s GET LOCKB-----%s' %(self.name,time.ctime()))
RLock.release()
# time.sleep(2) RLock.release() RLock = threading.RLock()
# LockB = threading.Lock() for i in range(10):
t = MyThread()
t.start()
信号量
import threading
import time semaphore = threading.Semaphore(10) def foo():
semaphore.acquire()
print('OK')
time.sleep(1)
semaphore.release() for i in range(100):
t = threading.Thread(target=foo,args=())
t.start()
event对象
import threading,time event = threading.Event() # 默认isSet()=False,加.wait()阻塞 def foo():
while not event.is_set():
print('wait.....')
event.wait(2) print('Connect to redis server') for i in range(5):
t = threading.Thread(target=foo,args=())
t.start() print('attempt to start redis server')
time.sleep(10)
event.set() # 主线程给子线程set()
队列
队列:基于锁实现的,用于多线程,保证线程安全的一种数据结构
############################################ FIFO先进先出模型
import queue q = queue.Queue(3) # 参数为队列最大数,不加参数默认无限大
print(q) q.put(11)
q.put('hello')
# q.put(3.14)
q.put(555,block = False) # 阻塞,如果队列满,报错
# q.put(555) # 大于最大值,会阻塞,等待队列中数据被拿走后在进队列 print(q.get())
print(q.get())
print(q.get())
# print(q.get(block = False)) # 阻塞,如果队空,报错 # print(q.get()) # 队列空后,会阻塞,等待队列被加入
############################################ LIFO后进先出模型
import queue q = queue.LifoQueue() q.put(11)
q.put(22)
q.put(33) while not q.empty():
print(q.get())
############################################ priority优先级模型
import queue q = queue.PriorityQueue() q.put([1,'']) # []表示一个序列数据类型,也可全部换成()
q.put([1,'']) # 优先级相同,优先级按照ascii码顺序
q.put([5,''])
q.put([3,''])
q.put([4,''])
q.put([2,'']) while not q.empty():
print(q.get())
队列的两个方法.join()和.task_done()
两个方法必须配合使用
.join()方法阻塞进程,知道所有任务完成
.task_done()方法在每次队列执行完后必须添加
import queue,threading q = queue.Queue() def foo():
q.put(111)
q.put(222)
q.put(333)
q.join()
print('ok') def bar():
print(q.get())
q.task_done() # 每取一个队列,必须执行一条task_done()
print(q.get())
q.task_done()
print(q.get())
q.task_done() t1 = threading.Thread(target=foo,args=())
t1.start() t2 = threading.Thread(target=bar,args=())
t2.start()
'''
队列实例:生产者消费者模型
生产者:创建数据的模型
消费者:获取数据的模型 优点:
1、解耦合
2、实现并发
'''
import queue,threading,time
import random q=queue.Queue(50) def Producer(id):
count=1
while count<10: # 一次可做10个包子
if q.qsize()<20: # 当包子数小于20个,厨师才做
s=random.randint(1,100) # 包子代号
q.put(s)
print(id+" has made baozi %s"%s)
time.sleep(1) # 此IO可切线程,每做一个包子换另一个厨师,直到做够最小包子数
count+=1 def Consumer(id): while True:
s=q.get() # 取包子,s是代号
print("Consumer "+id+" has eat %s"%s)
time.sleep(2) for i in range(10):
t1=threading.Thread(target=Producer,args=(str(i),))
t1.start() for i in range(10): t=threading.Thread(target=Consumer,args=(str(i),))
t.start()
python3 线程_threading模块的更多相关文章
- python基础系列教程——Python3.x标准模块库目录
python基础系列教程——Python3.x标准模块库目录 文本 string:通用字符串操作 re:正则表达式操作 difflib:差异计算工具 textwrap:文本填充 unicodedata ...
- python3.7 sys模块
#!/usr/bin/env python __author__ = "lrtao2010" #python3.7 sys模块 #sys模块负责程序与python解释器的交互,提供 ...
- Python3之时间模块详述
Python3之时间模块 time & datetime & calendar 一. 概述 python 提供很多方式处理日期与时间,转换日期格式是一个常见的功能. 时间元组:很多p ...
- Python3之logging模块浅析
Python3之logging模块浅析 目录 Python3之logging模块浅析 简单用法 日志与控制台同时输出 一个同时输出到屏幕.文件的完成例子 日志文件截取 日志重复打印问题解决 问题分 ...
- x64内核HOOK技术之拦截进程.拦截线程.拦截模块
x64内核HOOK技术之拦截进程.拦截线程.拦截模块 一丶为什么讲解HOOK技术. 在32系统下, 例如我们要HOOK SSDT表,那么直接讲CR0的内存保护属性去掉. 直接讲表的地址修改即可. 但是 ...
- Python3之turtle模块的使用
Python3之turtle模块的使用 直接扣代码就行: import turtle as t t.pensize(4) t.hideturtle() t.colormode(255) t.c ...
- Python3:Requests模块的异常值处理
Python3:Requests模块的异常值处理 用Python的requests模块进行爬虫时,一个简单高效的模块就是requests模块,利用get()或者post()函数,发送请求. 但是在真正 ...
- Python3中正则模块re.compile、re.match及re.search函数用法详解
Python3中正则模块re.compile.re.match及re.search函数用法 re模块 re.compile.re.match. re.search 正则匹配的时候,第一个字符是 r,表 ...
- Python3安装Celery模块后执行Celery命令报错
1 Python3安装Celery模块后执行Celery命令报错 pip3 install celery # 安装正常,但是执行celery 命令的时候提示没有_ssl模块什么的 手动在Python解 ...
随机推荐
- Mysql性能优化四:分库,分区,分表,你们如何做?
分库分区分表概念 分区 就是把一张表的数据分成N个区块,在逻辑上看最终只是一张表,但底层是由N个物理区块组成的 分表 就是把一张数据量很大的表按一定的规则分解成N个具有独立存储空间的实体表.系统读写时 ...
- CS229作业之过拟合
一.使用循环: 1.1原始版逻辑回归: function g = sigmoid(z) g = zeros(size(z)); g = ./ ( + exp(-z)); end function [J ...
- CVPR2018: Generative Image Inpainting with Contextual Attention 论文翻译、解读
注:博主是大四学生,翻译水平可能比不上研究人员的水平,博主会尽自己的力量为大家翻译这篇论文.翻译结果仅供参考,提供思路,翻译不足的地方博主会标注出来,请大家参照原文,请大家多多关照. 转载请务必注明出 ...
- 机器学习 (二) 多变量线性回归 Linear Regression with Multiple Variables
文章内容均来自斯坦福大学的Andrew Ng教授讲解的Machine Learning课程,本文是针对该课程的个人学习笔记,如有疏漏,请以原课程所讲述内容为准.感谢博主Rachel Zhang 的个人 ...
- Linux nohup 后台运行命令
有一些爬虫的程序需要在后台运行,所以简单总结了一下nohup 的一些用法 基本命令:nohup command $; 运行之后出现nohup: ignoring input and appendin ...
- video on web
一.video容器 你可能经常看到.avi或.mp4的视频文件,实际上avi或者mp4只是一种视频容器.打个比方,ZIP的压缩文件可以包含各种各样的文件,同理,视频容器也定义用来怎么存放各种 ...
- windows下 eclipse搭建spark java编译环境
环境: win10 jdk1.8 之前有在虚拟机或者集群上安装spark安装包的,解压到你想要放spark的本地目录下,比如我的目录就是D:\Hadoop\spark-1.6.0-bin-hadoop ...
- DataGridView过滤功能
http://www.codeproject.com/Articles/33786/DataGridView-Filter-Popup http://www.cnblogs.com/jaxu/arch ...
- 创建一个doc对象时候 如果读取了一个已存在的xml对象时候 该xml对象的结构已存在doc中 当改变该doc结构时候 不需要创建新的doc对象
创建一个doc对象时候 如果读取了一个已存在的xml对象时候 该xml对象的结构已存在doc中 当改变该doc结构时候不 需要创建新的doc对象 直接添加即可 他会同步过去
- Elasticsearch1.x 和Elasticsearch2.x 拼音分词插件lc-pinyin安装教程
Elasticsearch1.x 基于lc-pinyin和ik分词实现 中文.拼音.同义词搜索 https://blog.csdn.net/chennanymy/article/category/60 ...