python基础 进程&线程 进程是一组资源的集合,运行一个系统就是打开了一个进程,如果同时打开了两个记事本就是开启了两个进程,进程是一个笼统的概念,进程中由线程干活工作,由进程统一管理 一个进程至少有一个线程,如果没有,进程也就没有了,线程分为主线程,子线程,而主线程负责调度,支配子线程运行,在代码运行时,主线程分配子线程去干活,而主线程分配之后继续执行后面代码,这时需要我们join一个,主线程等待子线程全部运行完之后,再运行后面代码 单线程 系统默认就起好一个进程,也就是起了一个进程,一个线…

ProcessPoolExecutor对multiprocessing进行了高级抽象,暴露出简单的统一接口. 异步非阻塞 爬虫 对于异步IO请求的本质则是[非阻塞Socket]+[IO多路复用]: """ 史上最牛逼的异步IO模块 """ import select import socket import time     class AsyncTimeoutException(TimeoutError):     ""&q…

学习多线程首先先要理解线程和进程的关系. 进程 计算机的程序是储存在磁盘中的可执行的二进制文件,执行时把这些二进制文件加载到内存中,操作系统调用并交给处理器执行对应操作,进程是程序的一次执行过程,这是一个动态的概念程序本没有生命的实体,只有通过处理器才能赋予程序生命.进程最大的特点就是可以申请和拥有系统资源,这是一个动态的概念,是一个活动的实体(比如qq程序需要的内存空间等等),进程不止是程序代码,还包括当前的活动,通过程序计数器的值和处理寄存器的内容来表示. 而线程是进程的一部分,一个进程可以…

1 消息队列 1.1 基本语法 消息队列:multiprocessing.Queue,Queue是对进程安全的队列,可以使用Queue实现对进程之间的数据传输:还有一个重要作用是作为缓存使用. Queue(maxsize = 0) method of multiprocessing, returns a queue obiect Queue(maxzize = 0)创建一个队列对象,maxsize 表示队列中最多存放消息的数量. 返回一个队列对象 1.1 队列对象操作方法: 1.1.1 put方…

1.主线程和次线程 若主线程结束则次线程也会结束 如何避免主线程先结束: 结尾处加上 while True: pass e.g. import win32api #引用系统函数 import _thread #多线程 def show(i): win32api.MessageBox(0, "Hello", "Me", 0) for i in range(4): _thread.start_new_thread(show,(i,))#把函数当作参数传递,()元组,用于…

进程间通信(IPC InterProcess Communication)是值在不同进程间传播或交换信息. IPC通过有管道(无名管道 和 有名 / 命名管道).消息队列.共享存储 / 内容.信号量.套接字socket.streams,其中socket和streams支持不同主机上的两个进程间通信 1 管道Pipe的基本语法 管道Pipe是multiprocessing中的方法Pipe(),也即multiprocessing.Pipe() multiprocessing.Pipe([duplex…

1 进程池Pool基本概述 在使用Python进行系统管理时,特别是同时操作多个文件目录或者远程控制多台主机,并行操作可以节约大量时间,如果操作的对象数目不大时,还可以直接适用Process类动态生成多个进程,几十个尚可,若上百个甚至更多时,手动限制进程数量就显得特别繁琐,此时进程池就显得尤为重要. 进程池Pool类可以提供指定数量的进程供用户调用,当有新的请求提交至Pool中时,若进程池尚未满,就会创建一个新的进程来执行请求:若进程池中的进程数已经达到规定的最大数量,则该请求就会等待,直到进程…

系统自带的fork模块创建的多进程是基于Linux或Unix平台的,而window平台并不支持: python中的multiprocess为跨平台版本的多进程模块,支持子进程.通信和共享数据.执行不同形式的同步,提供了Process(进程).Pool(进程池).Queue(队列).Pipe(管道).Lock等组件 1 Process进程 1.1 Process进程基础语法 创建进程的类:  Process([group [, target [, name [, args [, kwargs]]]…

多线程 什么是锁? - 锁通常被用来实现对共享资源的同步访问. - 为每一个共享资源创建一个Lock对象,当你需要访问该资源时,调用acquire方法来获取锁对象(如果其它线程已经获得了该锁,则当前线程需等待其被释放),待资源访问完后,再调用release方法释放锁: GIL(Global Interpreter Lock) 全局的解释器锁 增加锁的目的: 1.虽然效率十分低,但保证了数据的安全性 2.不同的锁对应保护不同的数据 3.谁拿到GIL锁就让谁得到Cpython解释器的执行权限 4.G…

多线程 什么是线程? - 能独立运行的基本单位——线程(Threads). - 线程是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位. - 一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务. - 就好比生产的工厂,一个车间的工作过程是一个进程,车间中的一条条流水线工作的过程是不同的线程. 下面的图片就是线程与进程之间的关系 注意:进程是资源分配的最小单位,线程是CPU调度的最小单位. 每一个进程中至少有一个线程. 线…