最近学习了多线程.多进程.协程以及IO多路复用,那么对于爬取数据来说,这几个方式哪个最快呢,今天就来稍微测试一下 普通方式请求百度5次 import socket import time import socks socks.set_default_proxy(socks.HTTP,addr='192.168.105.71',port=80) #设置socks代理 socket.socket = socks.socksocket # 把代理应用到socket def blocking(wd):…

IO多路复用 I/O多路复用 : 通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作. Python Python中有一个select模块,其中提供了 : select , poll , epoll ,三个方法,分别调用系统的select , poll , epoll ,从而实现IO多路复用.        注意:网络操作.文件操作.终端操作等均属于IO操作,对于windows只支持Socket操作,其他系统支持其他IO操作,但是无法检…

并发:要做到同时服务多个客户端,有三种技术 1. 进程并行,只能开到当前cpu个数的进程,但能用来处理计算型任务 ,开销最大 2. 如果并行不必要,那么可以考虑用线程并发,单位开销比进程小很多 线程:并发(轮询调度,遇到阻塞就切换) 只要是网络,就会有延迟,有延迟就阻塞,所以比一般的单路要好些 3. 如果轮询不必要,可考虑是否可以只需要遇到阻塞切换 就可以用IO多路复用技术 + 协程来实现阻塞切换,消耗资源很少,并发量最高…

参考博客: 线程.进程.协程: http://www.cnblogs.com/wupeiqi/articles/5040827.html http://www.cnblogs.com/alex3714/articles/5230609.html IO多路复用: http://www.cnblogs.com/wupeiqi/articles/5040823.html 课堂笔记: - 线程进程介绍 1. 工作最小单元是线程 2. 应用程序 -> 至少有一个进程 -> 至少有一个线程 3. 应用场景…

详情戳击下方链接 Python之进程.线程.协程 python之IO多路复用…

 协程介绍                                                                                                                     协程:是单线程下的并发,又称微线程,是一种用户态的轻量级线程.本身并不存在,是由程序员创造的. 需要强调的是: 1. python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行) 2.…

多进程(multiprocessing): 多进程的使用 multiprocessing是一个使用类似于线程模块的API支持产生进程的包. 多处理包提供本地和远程并发,通过使用子进程而不是线程有效地侧向执行全局解释器锁. 因此,多处理模块允许程序员充分利用给定机器上的多个处理器. 多进程的使用与多线程的使用方法类似 p=multiprocessing.Process(group=None,target=None,name=None,args=0,kwargs=0)(实例化一个进程) p.star…

内容目录: 1.socket服务端实现并发 2.进程池,线程池 3.协程 4.IO模型 1.socket服务端实现并发 # 客户端: import socket client = socket.socket() client.connect(('127.0.0.1', 8080)) while True: data = input('>>>:').encode('utf-8') if len(data) == 0: continue client.send(data) res = cli…

from urllib import request import gevent,time from gevent import monkey#该模块让当前程序所有io操作单独标记,进行异步操作. monkey.patch_all()#对当前程序的io操作打上补丁.没有该monkey方法,异步IO无效. def f(url): print('GET:%s'%url) resp = request.urlopen(url)#获取网页 data = resp.read()#读取网页 print('%…

协程介绍及基本示例 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是协程:协程是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈.因此: 协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置. 协程的好处: 无需线程上下文切换的开销 无需原子操作锁定及同步的开销 "原子操作(a…