python多线程,多进程编程。
进程,是目前计算机中为应用程序分配资源的最小单位;
线程,是目前计算机中运行应用程序的最小单位;
在实际系统中,其实进程都是被分为线程来实现的,所以参与时间片轮转的是线程;
但是管理应用程序的资源的单位和任务调度的单位都是进程。更像是一个逻辑概念。
线程是进程分出来的更精细的单位,线程间的上下文切换比进程间的上下文切换,要快很多。

多进程与多核,这个概念很奇怪,因为进程是不会直接在核心上运行的。
多线程与多核,涉及一个内核线程与用户线程的对应关系。
内核线程(Kernel Thread),一般与核心是一一对应的,一个处理核心对应一个内核进程。
目前的计算机,配置一般都是超线程的,即通过硬件冗余,将一个物理核心模拟成两个逻辑处理核心,
对应两个内核线程。所以在操作系统中看到的CPU是实际物理核心的两倍。
如双核四线程,四核八线程
------------------------------------------------------------------------
intel的cpu为了实现分支预测等技术,一般每个内核的运算单元是双份的,-------超线程
服务器方面的物理核心的运算单位,可能会更多,支持更大的超线程
------------------------------------------------------------------------
用户线程与内核线程的对应关系:
1) 一一对应,由于内核线程很少,所以限制了很多用户线程的执行数量;
2) 多对一,用户线程很慢,影响调度;
3) 多对多,目前应用的模式,

python中的多进程库,multiprocessing,提供的方法和属性:
属性:authkey,daemon(父进程终止后,自动结束子进程,必须在start之前设置),exitcode,name,pid
方法: Process(target,name,args,kwargs),创建进程对象
is_live(),进程状态
join('timeout'),表示等待后台的进程运行结束,如果指定timeout,一定时间后,杀掉进程
run(),
start(),
terminate(),
join(),等所有的后台子进程执行好;
cpu_count(),返回当前拥有的cpu的个数,超线程之后的。
进程创建时,target可以指定为一个函数,也可以直接例化一个进程class。
创建函数process:

创建class进程,start()之后,会自动调用run()函数:

加入daemon属性:并不会等到该worker的process结束,程序就执行结束了。

多进程遍历:active_children()

还可以加入lock,semaphore,实现对共享资源的控制,event,进程间通信。
还有进程队列(Queue),和进程管道(Pipe)
Pool,进程池,不需要自己在管理进程的数量,进程池自动管理。
如果池中的进程数量达到阈值,阻塞其他进程。
参考博客
https://www.cnblogs.com/kaituorensheng/p/4445418.html
python中的多线程,好像不是特别的好用,python内部有一个global interpreter lock(GIL),它阻碍了
python的多线程程序的同时运行。python中也有多线程的模块,threading模块。
有人做过实验,在CPU密集型的任务中,多线程并不能有多少效率上的提升,反而因为上下文的切换,降低效率。
而多进程,可以在多个core中并行的跑,效率会提高。
在IO密集型的任务中,多线程和多进程,都会带来性能的提高。
在网络请求密集型的任务中,多线程与多进程,相差无几。
多进程可以发挥多核芯片的性能,在一个进程中,可以在实现多线程的操作,来频繁调度,防止IO的阻塞。
python多线程,多进程编程。的更多相关文章
- Python多线程多进程那些事儿看这篇就够了~~
自己以前也写过多线程,发现都是零零碎碎,这篇写写详细点,填一下GIL和Python多线程多进程的坑~ 总结下GIL的坑和python多线程多进程分别应用场景(IO密集.计算密集)以及具体实现的代码模块 ...
- Python多线程多进程
一.线程&进程 对于操作系统来说,一个任务就是一个进程(Process),比如打开一个浏览器就是启动一个浏览器进程,打开一个记事本就启动了一个记事本进程,打开两个记事本就启动了两个记事本进程, ...
- python多线程网络编程
背景 使用过flask框架后,我对request这个全局实例非常感兴趣.它在客户端发起请求后会保存着所有的客户端数据,例如用户上传的表单或者文件等.那么在很多客户端发起请求时,服务器是怎么去区分不同的 ...
- Python的多进程编程
Python在2.6引入了多进程的机制,并提供了丰富的组件及api以方便编写并发应用.multiprocessing包的组件Process, Queue, Pipe, Lock等组件提供了与多线程类似 ...
- python学习笔记(十六)-Python多线程多进程
一.线程&进程 对于操作系统来说,一个任务就是一个进程(Process),比如打开一个浏览器就是启动一个浏览器进程,打开一个记事本就启动了一个记事本进程,打开两个记事本就启动了两个记事本进程, ...
- python 多线程网络编程 ( 二 )
背景 我在[第一篇文章中]已经介绍了如何实现一个多线程的todo应用,接下来我将会研究如何使这个服务器完成下面这几个功能. 1.使用正则表达式解析用户发送的请求数据: 2.使用ThreadLocal技 ...
- python多线程/多进程
thread和threading的区别 threading相对与thread是更高级别的线程管理模块 thread和threading模块中的一些属性会有冲突 thread模块拥有的同步原因实际上只有 ...
- python中的多线程和多进程编程
注意:多线程和多线程编程是不同的!!! 第一点:一个进程相当于一个要执行的程序,它会开启一个主线程,多线程的话就会再开启多个子线程:而多进程的话就是一个进程同时在多个核上进行: 第二点:多线程是一种并 ...
- Python多进程编程
转自:Python多进程编程 阅读目录 1. Process 2. Lock 3. Semaphore 4. Event 5. Queue 6. Pipe 7. Pool 序. multiproces ...
- 多线程&多进程解析:Python、os、sys、Queue、multiprocessing、threading
当涉及到操作系统的时候,免不了要使用os模块,有时还要用到sys模块. 设计到并行程序,一般开单独的进程,而不是线程,原因是python解释器的全局解释器锁GIL(global interpreter ...
随机推荐
- [nginx] 从源码编译安装NGINX
nginx通过rpm包进行的安装和配置: [web][nginx] 初识nginx -- 使用nginx搭建https DPI解码测试环境 现在,要通过源码进行安装. 参考:https://nginx ...
- 用2个DATETIMEPICKER分别输入时间和日期,再合并成一个DATETIME类型
DtpDate为日期的,DtpTime为时间的 StrToDateTime(FormatDateTime('yyyy-MM-dd', DtpDate.Date) + ' ' + TimeToStr(D ...
- day2_Jmeter压测
1.线程组各项设置的意思 2.压测结果查看各指标意思 备注:tps:每秒钟系统能够处理的交易或事务的数量.它是衡量系统处理能力的重要指标.tps越高说明服务器处理能力越好. 3.在一台电脑上做一个简单 ...
- 为单实例数据库配置ASM
环境配置沿用搭建RAC的环境配置 配置ASM可以在数据库软件安装之前进行,也可以在安装完数据库软件配置数据库前进行 [root@rac01 Packages]# cd /etc/yum.repos.d ...
- onload和DOMContentLoaded
执行时间 onload必须等到页面内包括图片的所有元素加载完毕后才能执行. DOMContentLoaded是DOM结构绘制完毕后就执行,不必等到加载完毕. 编写个数不同 onload不能同时编写多个 ...
- project proposal写作框架
主要有八个因素: 背景(Your Background):对于proposal有意义的要点,如国家职业证书.技能.经验.能力和实习经历等. 大纲(Outline Proposal):描述你明确的感兴趣 ...
- swift 颜色设置方法
如下: func RGB(red: CGFloat, green: CGFloat, blue: CGFloat) -> UIColor { return UIColor.init(red: r ...
- 王者荣耀里拿个王者有啥了不起,有胆就来挑战一下ApsaraCache源码
王者荣耀大家估计都玩的很溜吧,撸完代码开一局,只要不遇到个猪队友,拿个鲁班后羿估计你们都能爆掉对手的塔吧.大神们打个排位赛拿个王者就和吃饭夹菜一样简单... But...你们玩过Redis和Memca ...
- $(document).ready()方法和window.onload有什么区别?
①.window.onload 方法是在网页中所有的元素(包括元素的所有关联文件)完全加载到浏览器后才执行的: ②.$(document).ready()方法可以在DOM载入就绪时就对其进行操纵,并调 ...
- MyBatis的生命周期
MyBatis的生命周期 所谓的生命周期就是第一个对象应该存活的时间,比如一些对象一次用完后就要关闭,使它们被Java虚拟机(JVM)销毁,以避免继续占用资源,所以我们会根据每一个组件的作用去确定其生 ...