简介 可以先看看并发Concurrent与并行Parallel的区别 在谈并行前,头脑中总会浮出多线程.多进程.线程/进程同步.线程/进程通信等词语. 那为什么需要同步.通信,它们之间的作用是怎样的呢? 通信,稍微好理解,就是多线程/进程之间相互通话,比如我打电话呼叫你,我说什么,你答什么,或者我说,你只听.它着重于数据的传递 同步,其实是相对于共享内存而言,比如,我们在同一时刻同一个地方修改了共享对象的数据,这样就会导致数据的篡改,得不到理想中的结果,这时就需要同步.它的基础是基于共享同一个对

一.基于线程的并行编程 如何使用Python的线程模块 如何定义一个线程 如何探测一个线程 如何在一个子类中使用线程 Lock和RLock实现线程同步 信号实现线程同步 条件(condition)实现线程同步 事件(event)实现线程同步 如何使用with语句 使用队列实现线程消息传递 如何评估多线程应用的性能 兑现成编程的危险 二.基于进程的并行编程 如何使用Python的multiprocessing模块 如何生成一个进程 如何命名一个进程 如何在后台运行一个进程 如何杀死一个进程 如何在

一.编程思想 并行编程的思想:分而治之,有两种模型 1.MapReduce:将任务划分为可并行的多个子任务,每个子任务完成后合并得到结果 例子:统计不同形状的个数. 先通过map进行映射到多个子任务,分别统计个数,然后在用reduce进行归纳一下. 2.流水:将任务分为串行的多个子任务,每个子任务并行.ProductConsume 例子: 多个生产者进行并行,多个消费者进行并行.生产者生产出来东西放到队列里:队列里有东西时,消费者就可以进行消费,这样双方没有太大的依赖关系. 为什么要并行编程呢?

1.基本概念 除了顺序执行和并行执行的模型以外,还有异步模型,这是事件驱动模型的基础.异步活动的执行模型可以只有一个单一的主控制流,能在单核心系统和多核心系统中运行. 在并发执行的异步模型中,许多任务被穿插在同一时间线上,所有的任务都由一个控制流执行(单一线程).任务的执行可能被暂停或恢复,中间的这段时间线程将会执行其他任务.大致如下: 如上图所示,任务(不同的颜色表示不同的任务)可能被其他任务插入,但是都处在同一个线程下.这表明当某一个任务执行的时候,其他任务都暂停了.与多线程编程模型很大的一

1.介绍 软件应用中使用最广泛的并行编程范例是多线程.通常一个应用有一个进程,分成多个独立的线程,并行运行.互相配合,执行不同类型的任务. 线程是独立的处理流程,可以和系统的其他线程并行或并发地执行.多线程可以利用共享内存空间共享数据和资源.线程和进程的具体实现取决于你要运行的操作系统,但是总体来讲,我们可以说线程是包含在进程中的,同一个进程的多个不同的线程可以共享相同的资源,而进程之间不会共享资源. 每一个线程基本上包含3个元素:程序计数器,寄存器和栈.与同一进程的其他线程共享的资源基本上包括

计算机科学的研究,不仅应该涵盖计算处理所基于的原理,还因该反映这些领域目前的知识状态.当今,计算机技术要求来自计算机科学所有分支的专业人员理解计算机处理的基础的关键,在于知道软件和硬件在所有层面上的交互. 直到现在,程序员可以依赖于硬件设计者,编译器和芯片厂商,来使他们的软件程序运行更快或者更有效,而无须改变他们的程序.但是,在实际中,如果一个程序运行的更快,它肯定是一个并行程序.尽管很多研究者的目标是保证程序员在编写他们的程序的时,无需注意硬件的并行特征,但是,要实现这一点,还将需要很多年的时

1.基本概念 多进程主要用multiprocessing和mpi4py这两个模块. multiprocessing是Python标准库中的模块,实现了共享内存机制,可以让运行在不同处理器核心的进程能读取共享内存. mpi4py库实现了消息传递的编程范例(设计模式).简单来说就是进程之间不靠任何共享信息来进行通讯,所有的交流都通过传递信息代替. 这与使用共享内存通讯.加锁或类似机制实现互斥的技术形成对比.在信息传递的代码中,进程通过send和receive进行交流. 2.创建一个进程 由父进程创建

1.基本概念 多进程库提供了Pool类来实现简单的多进程任务.Pool类有以下方法: - apply():直到得到结果之前一直阻塞. - apply_async():这是apply()方法的一个变体,返回的是一个result对象.这是一个异步的操作,在所有的子类执行之前不会锁住主进程. - map():这是内置的map函数的并行版本,在得到结果之前一直阻塞,此方法将可迭代的数据的每一个元素作为进程池的一个任务来执行. - map_async():这是map的一个变体,返回一个result对象.如

1.基本概念 多个进程可以协同工作来完成一项任务,通常需要共享数据.所以在多进程之间保持数据的一致性就很重要,需要共享数据协同的进程必须以适当的策略来读写数据.同步原语和线程的库类似. - Lock:一个Lock对象有两个方法acquire和release来控制共享数据的读写权限. - Event:一个进程发事件的信号,另一个进程等待事件的信号.Event对象有两个方法set和clear来管理自己内部的变量. - Condition:此对象用来同步部分工作流程,在并行的进程中,有两个基本的方法,

1.基本概念 GIL是CPython解释器引入的锁,GIL在解释器层面阻止了真正的并行运行.解释器在执行任何线程之前,必须等待当前正在运行的线程释放GIL,事实上,解释器会强迫想要运行的线程必须拿到GIL才能访问解释器的任何资源,例如栈或Python对象等,这也正是GIL的目的,为了阻止不同的线程并发访问Python对象.这样GIL可以保护解释器的内存,让垃圾回收工作正常.但事实上,这却造成了程序员无法通过并行执行多线程来提高程序的性能.如果我们去掉GIL,就可以实现真正的并行.GIL并没有影响

1.基本概念 当线程之间要共享资源或数据的时候,可能变的非常复杂.Python的threading模块提供了很多同步原语,包括信号量,条件变量,事件和锁.如果可以使用这些原语的话,应该优先考虑使用这些,而不是使用queue模块.队列操作起来更容易,也使多线程编程更安全,因为队列可以将资源的使用通过单线程进行完全控制,并且允许使用更加整洁和可读性更高的设计模式. Queue常用的方法有以下四个: - put():往queue中放一个item - get():从queue删除一个item,并返回删除

1.线程和进程 进程是应用程序的一个执行实例,比如,在桌面上双击浏览器将会运行一个浏览器.线程是一个控制流程,可以在进程内与其他活跃的线程同时执行.控制流程指的是顺序执行一些机器指令.进程可以包含多个线程,所以开启一个浏览器,操作系统将创建一个进程,并开始执行这个进程的主线程.每一个线程将独立执行一系列的指令,通常是一个函数,并且和其他线程并行执行.然而,同一个进程内的线程可以共享一些地址空间和数据结构.线程也被称作轻量进程,因为它和进程有许多共同点,比如都是可以和其他控制流程同时运行的控制流程

1.基本概念 信号量是由操作系统管理的一种抽象数据类型,用于在多线程中同步对共享资源的使用.本质上说,信号量是一个内部数据,用于标明当前的共享资源可以有多少并发读取. 同样在threading中,信号量有acquire和release两个函数. - 每当线程想要读取关联了信号量的共享资源时,必须调用acquire,此操作减少信号量的内部变量,如果此变量的值非负,那么分配该资源的权限.如果是负值,那么线程被挂起,直到有其他的线程释放资源. - 当线程不再需要该共享资源,必须通过release释放,

基于指令和可被同时处理的存储单元的数目,计算机系统可以分为以下四种类目: 单指令,单数据单元(SISD)在该体系结构中,计算机是单处理器机器,一次只能用单一的指令来操作单一的数据流.在SISD中,机器指令按照顺序被处理.在一个计算机的时钟周期里,CPU执行三个操作,匹配.译指(decode,解码)和执行. 所谓匹配,指的是CPU从寄存器中读取需要进行操作处理的数据以及需要执行的指令: 所谓译指,是指CPU对指令的解码,使得计算机能够将指令转换为机器所能读懂的二进制码: 所谓执行,是指指令在数据上

1.基本概念 当有两个相关的操作需要在一部分代码块前后分别执行的时候,可以使用with语法自动完成.同时,使用with语法可以在特定的地方分配和释放资源,因此,with语法也叫作"上下文管理器".在threading模快中,所有带有acquire()方法和release()方法的对象都可以使用上下文管理器.主要用于代码块的收尾工作. 也就是说,下面的对象可以使用with语法: Lock.RLock.Condition.Semaphore 2.测试用例 # coding : utf-8

1.基本概念 事件是线程之间用于通讯的对象.有的线程等待信号,有的线程发出信号.基本上事件对象都会维护一个内部变量,可以通过set方法设置为true,也可以通过clear方法设置为false.wait方法将会阻塞线程,直到内部变量为true. 2.使用用例 # coding : utf-8 import time from threading import Thread, Event import random items = [] event = Event() class consumer(

1.基本概念 条件指的是应用程序状态的改变.其中某些线程在等待某一条件发生,其 他线程会在该条件发生的时候进行通知,一旦条件发生,线程会拿到共享资源的唯一权限. 2.示例代码 from threading import Thread, Condition import time items = [] condition = Condition() class consumer(Thread): def __init__(self): Thread.__init__(self) def consu

1.基本概念 如果想让只有拿到锁的线程才能释放该锁,那么应该使用RLock()对象.当需要在类外面保证线程安全,又要在类内使用同样方法的时候RLock()就很使用. RLock叫做Reentrant Lock,就是可以重复进入的锁,也叫递归锁.这种锁对比Lock有三个特点:1.谁拿到锁,谁释放:2.同一线程可以多次拿到该锁:3.acquire多少次就必须release多少次,只有最后一次release才能改变RLock的状态为unlocked. 2.RLock示例代码 # coding:utf-

1.基础概念 当两个或以上对共享内存操作的并发线程中,如果有一个改变数据,又没有同步机制的条件下,就会产生竞争条件,可能会导致执行无效代码.bug等异常行为. 竞争条件最简单的解决方法是使用锁.锁的操作非常简单,当一个线程需要访问部分共享内存时,它必须先获得锁才能访问.此线程对这部分共享资源使用完成之后,释放锁,然后其他线程才可再次获得锁并访问这部分资源. 然而,在实际使用中,这个方法经常导致死锁现象.当不同线程要求得到同一个锁时,死锁就会发生,此时程序不会继续执行,因为他们互相拿着对方需要的锁

关于我 一个有思想的程序猿,终身学习实践者,目前在一个创业团队任team lead,技术栈涉及Android.Python.Java和Go,这个也是我们团队的主要技术栈. Github:https://github.com/hylinux1024 微信公众号:终身开发者(angrycode) 0x00 前言 在前面的文章中对Python协程的概念和实现做了简单地介绍.为了对Python并发编程有更加全面地认识,我也对Python线程和进程的概念和相关技术的使用进行了学习,于是有了这篇文字. 0x

进程和线程 进程是程序运行的实例.一个进程里面可以包含多个线程,因此同一进程下的多个线程之间可以共享线程内的所有资源,它是操作系统动态运行的基本单元:每一个线程是进程下的一个实例,可以动态调度和独立运行,由于线程和进程有很多类似的特点,因此,线程又被称为轻量级的进程.线程的运行在进程之下,进程的存在依赖于线程: 开胃菜 基于 Python3 创建一个简单的进程示例 from threading import Thread from time import sleep class CookBook