通过下面这张图你就能看清楚了,进程.线程和携程的关系   进程: 多个进程是可以运行在多个CPU当中的,比如你的电脑是4核,可以同时并行运行四个进程,这是真正物理上的并行运行. 线程: 每个进程又可以有多个线程,线程是轮询执行的,因为轮询的速度很快,所以可以看成是并行. 微线程: 携程是微线程,一个线程可以分为多个携程,同样也是轮询执行,这样的好处是减少CPU的资源消耗,一些比较多而且小的事件可以用携程去处理,减少资源的开销. 协程原理 生成器器 def fun1(): print(100) p

在引出协成概念之前先说说python的进程和线程. 进程: 进程是正在执行程序实例.执行程序的过程中,内核会讲程序代码载入虚拟内存,为程序变量分配空间,建立 bookkeeping 数据结构,来记录与进程有关的信息, 比如进程 ID,用户 ID 等.在创建进程的时候,内核会为进程分配一定的资源,并在进程存活的时候不断进行调整,比如内存,进程创建的时候会占有一部分内存. 进程结束的时候资源会释放出来,来让其他资源使用.我们可以把进程理解为一种容器,容器内的资源可多可少,但是在容器内的程序只能使用容

本文参考:http://www.dabeaz.com/coroutines/   作者:David Beazley 缘起: 本人最近在学习python的协程.偶然发现了David Beazley的coroutine课程,花了几天时间读完后,为了加深理解就把其中个人认为最为精华的部分摘下来并加上个人理解写了本篇博客. 扯一些淡: 既然要搞一个操作系统,那我们就先来设一个目标吧!就像找女朋友,我们不可能随随便便的是个女的就上,肯定要对女方有一定的要求,比如肤白貌美气质佳…… 所以,我们对这个' 姑娘

提到定时任务调度的时候,相信很多人会想到芹菜celery,要么就写个脚本塞到crontab中.不过,一个小的定时脚本,要用celery的话太“重”了.所以,我找到了一个轻量级的定时任务调度的库:schedule.   库的安装还是最简单的pip install schedule,使用起来也是很容易理解的.我们从最简单的栗子看起:   import schedule import time def job(): print("I'm working...") schedule.every

协程 协程,又称微线程,纤程.英文名Coroutine. 协程是啥 协程是python个中另外一种实现多任务的方式,只不过比线程更小占用更小执行单元(理解为需要的资源). 为啥说它是一个执行单元,因为它自带CPU上下文.这样只要在合适的时机, 我们可以把一个协程 切换到另一个协程. 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的. 通俗的理解:在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行,注意不是通过调用函数的方式做到的,并且

携程-eleven分析 一.eleven的位置 通过对旁边栈的分析,它是在另一个js文件中调用的.那个js文件是一个自调用的函数,所以我们可以直接copy下来,用浏览器执行看看 执行运行是会报错的,undefind没有call属性 经过调试发现,报错这里是想调用window下面的某一个函数,也就是这个对象属性key为29对应的值 所以我们需要将这个函数添加进去 我们再运行一次,这样就不会报错了 虽说能够成功运行,不报错,但是本地生成的eleven的值是跟携程官网生成的eleven是不一样的 三.

一.数据共享 1.进程间的通信应该尽量避免共享数据的方式 2.进程间的数据是独立的,可以借助队列或管道实现通信,二者都是基于消息传递的. 虽然进程间数据独立,但可以用过Manager实现数据共享,事实上Manager的功能远不止于此. 1 2 3 4 命令就是一个程序,按回车就会执行(这个只是在windows情况下) tasklist 查看进程 tasklist | findstr  pycharm   #(findstr是进行过滤的),|就是管道(tasklist执行的内容就放到管道里面了,

1.1 schedule 基本使用 1.schedule 介绍 1. 提到定时任务调度的时候,相信很多人会想到芹菜celery,要么就写个脚本塞到crontab中. 2. 不过,一个小的定时脚本,要用celery的话太“重”了.所以,我找到了一个轻量级的定时任务调度的库:schedule. 3. 安装: pip install schedule 2.schedule最基本使用 官网地址:https://schedule.readthedocs.io/en/stable/ 参考博客:https:/

python线程的事件用于主线程控制其他线程的执行,事件主要提供了三个方法wait.clear.set 事件处理的机制:全局定义了一个“Flag”,如果“Flag”值为 False,那么当程序执行 event.wait 方法时就会阻塞,如果“Flag”值为True,那么执行event.wait 方法时便不再阻塞. clear:将“Flag”设置为False set:将“Flag”设置为True 用 threading.Event 实现线程间通信,使用threading.Event可以使一个线程等

通过关键字yield,可以从生成器中产生值,并返回.我们可以将生成器作为一个生产者来使用. 在协程中,通过使用关键字yield,还可以让具有yield的程序接收值.此时函数作为消费者,消费我们传入(send)的值. 在协程中,可以把yield作为右值来用.在foo函数中,我们这样写: n = yield 可以通过send方法来向foo函数发送值,这时,发送的值被foo接收,并存到n里. n中的值可以在foo函数中使用 这样,yield作为右值来使用,就使得foo函数变成了一个消费者. 我们知道,

1:接下来我们看看思路  和相应的功能 使用python+selenium+unittest完成测试脚本 打开chrome浏览器,窗口最大化,设置等待时间10s 打开百度首页 鼠标移动到更多产品,点击糯米    点击火车票 始发站选择北京,终点站选择上海 时间选择明天 截屏搜素结果页面 测试结果写入html文件 ActionChains是自动执行低级交互的一种方式,例如:鼠标移动,鼠标点按,键盘操作,文本操作等. click(element=null)                      

例子1 把字符串分割为列表 def line_splitter( delimiter = None ): print( 'ready to split' ) result = None while True: line = (yield result) result = line.split( delimiter ) if __name__ == '__main__': s = line_splitter(',') print( 'inital:' ) next( s ) print( 'cal

这周又填了一个以前挖下的坑. 这个博客系统使用Psycopy库实现与PostgreSQL数据库的通信.前期,只是泛泛地了解了一下SQL语言,然后就胡乱拼凑出这么一个简易博客系统. 10月份找到工作以后,认真读了<数据库系统概念>这本书,对数据库有了更深的认识.然后就开始对博客系统的数据库查询模块开始重构. 改进之前 之前,我的查询步骤很简单,就是: 前端提交查询请求 --> 建立数据库连接 --> 新建游标 --> 执行命令 --> 接受结果 --> 关闭游标.连

1.简介 apscheduler是python中的任务定时模块,它包含四个组件:触发器(trigger),作业存储(job store),执行器(executor),调度器(scheduler). 2.安装 pip install apscheduler 3.示例 # coding=utf-8 from apscheduler.schedulers.blocking import BlockingScheduler #作业1 def my_job1(): print 'hello world!'

1.python中函数的工作原理 def foo(): bar() def bar(): pass python的解释器,也就是python.exe(c编写)会用PyEval_EvalFramEx(c函数)运行foo()函数首先会创建一个栈帧(stack Frame),在栈帧对象的上下文里面去运行这个字节码. import dis print(dis.dis(foo)) #打印字节码 可以尝试着去打印foo的字节码: 关于字节码的解释: LOAD_GLOBAL:首先导入bar这个函数 CALL_

进程和线程究竟是什么东西?传统网络服务模型是如何工作的?协程和线程的关系和区别有哪些?IO过程在什么时间发生? 一.上下文切换技术 简述 在进一步之前,让我们先回顾一下各种上下文切换技术. 不过首先说明一点术语.当我们说“上下文”的时候,指的是程序在执行中的一个状态.通常我们会用调用栈来表示这个状态——栈记载了每个调用层级执行到哪里,还有执行时的环境情况等所有有关的信息. 当我们说“上下文切换”的时候,表达的是一种从一个上下文切换到另一个上下文执行的技术.而“调度”指的是决定哪个上下文可以获得接

进程 python中使用multiprocessing模块对进程进行操作管理 进程同步(锁.信号量.事件) 锁 —— multiprocessing.Lock 只要用到了锁 锁之间的代码就会变成同步的锁 :控制一段代码 同一时间 只能被一个进程执行 信号量 —— multiprocessing.Semaphore 互斥锁同时只允许一个线程更改数据,而信号量Semaphore是同时允许一定数量的线程更改数据 . 假设商场里有4个迷你唱吧,所以同时可以进去4个人,如果来了第五个人就要在外面等待,等到

一.IO多路复用 IO多路复用:检测多个socket是否已经发生变化(是否已经连接成功/是否已经获取数据)(可读/可写) import socket def get_data(key): client = socket.socket() client.setblocking(False) #将原阻塞的位置变成非阻塞 try: client.connect(("www.baidu.com",80)) #因为没有等待所以会报错 except BlockingIOError as e: pa

深入浅析python中的多进程.多线程.协程 我们都知道计算机是由硬件和软件组成的.硬件中的CPU是计算机的核心,它承担计算机的所有任务. 操作系统是运行在硬件之上的软件,是计算机的管理者,它负责资源的管理和分配.任务的调度. 程序是运行在系统上的具有某种功能的软件,比如说浏览器,音乐播放器等. 每次执行程序的时候,都会完成一定的功能,比如说浏览器帮我们打开网页,为了保证其独立性,就需要一个专门的管理和控制执行程序的数据结构--进程控制块. 进程就是一个程序在一个数据集上的一次动态执行过程. 进

1. 前言 在执行一些 IO 密集型任务的时候,程序常常会因为等待 IO 而阻塞.比如在网络爬虫中,如果我们使用 requests 库来进行请求的话,如果网站响应速度过慢,程序一直在等待网站响应,最后导致其爬取效率是非常非常低的. 为了解决这类问题,本文就来探讨一下 Python 中异步协程来加速的方法,此种方法对于 IO 密集型任务非常有效.如将其应用到网络爬虫中,爬取效率甚至可以成百倍地提升. 注:本文协程使用 async/await 来实现,需要 Python 3.5 及以上版本. 2.

本文中的内容来自我的笔记.撰写过程中参考了胡俊峰老师<Python程序设计与数据科学导论>课程的内容. 并发处理:多进程和多线程 前置 概念: 并发:一段时间内同时推进多个任务,但不一定要在一个时刻同时进行多个任务. 并行:一段时间内同时推进多个任务,且在一个时刻要同时进行多个任务. 并行是并发的子集:单核CPU交替执行多个任务是并发但不是并行:多核CPU同时执行多个任务既是并发也是并行. 何时需要并发? 需要同时处理多个任务 经常需要等待资源 多个子过程互相协作 电脑执行任务的机制: 操作系