今天看到一篇文章,讲述的是几个提升python性能的项目:传送门 在看的过程中,接触到一个名词,一个从学python开始就一直看到,但是从来都是一知半解的名词,心里不开心,必须把它搞明白,对了,这个词就是 GIL.网上搜索了一些资料,粗浅的理解了什么是GIL,自己感觉学习的过程比较好,感觉略有收获,老规矩,为了巩固知识,自己整片文章出来写一写,其实好多文章已经写的很完善了,所以这篇随笔,只做知识巩固,如有雷同,请各位原创作者原谅,小菜鸟一枚,如果哪里写的有问题,还请各位前辈不吝指正. 一句话:解…

概述 由于python中全局解释器锁(GIL)的存在,所以python多线程并不能有效利用CPU多核的性能(相当于单核并发)实现多线程多核并行,所以在对CPU密集型的程序时处理效率较低,反而对IO密集型的才有效率的大幅度提高. 如果想要充分地使用多核CPU的资源,需要使用多进程,python中提供multiprocessing实现. CPU密集型:主要特点是需要进行大量的计算,消耗CPU资源,比如计算圆周率.对视频进行高清解码等等,全靠CPU的运算能力.这种计算密集型任务虽然也可以用多任务完成,…

Python并发编程内容回顾 并发编程小结 目录 • 一.到底什么是线程?什么是进程? • 二.Python多线程情况下: • 三.Python多进程的情况下: • 四.为什么有这把GIL锁? • 五.Python中线程和进程(GIL锁) • 六.为什么要创建线程? • 七.为什么要创建进程? • 八.进程和线程的区别? • 九.线程创建的越多越好吗? • 十.生产者消费者模型解决了什么问题? • 十一.Lock和RLock的区别? • 十二.进程和线程以及协程的区别? • 十三.IO多路复用作…

'''并发:同一个时间段内运行多个程序的能力 进程就是一个程序在一个数据集上的一次动态执行过程.进程一般由程序.数据集.进程控制块三部分组成 程序:食谱数据集:鸡蛋.牛奶.糖等进程控制块:记下食谱做到哪一步了 线程:最小的执行单元,程序中具体代码 比如:食谱中的具体操作方法进程:最小的资源管理单元,线程,数据等等 比如:整个食谱 切换的操作者:操作系统进程/线程切换原则: 1.时间片 2.遇到IO操作切换 代码执行input()函数时,本身不占cpu了,输入完成后再切回来.conn,client…

    一.目的 解决Shell脚本单线程下效率低下的问题 二.适用场景 需要在Linux系统执行同一项命令,但是针对不同的对象,例如PING检测主机,当然可以延展,只要是命令之间不会产生冲突就可以了 三.场景模拟 3.1.我为啥写这个? 学习这个东西的原因是因为朋友需要对多达几百个IP进行Telnet检测,然后询问我能不能写脚本实现,一开始我没考虑太多,直接开始写,脚本内容如下: #!/bin/bash ##tenlnet扫描 if [ -f "/usr/bin/nc" ];then…

一个简单的例子,深入研究一下socket的多线程处理任务 Server端: #!/usr/bin/env python #encoding:utf8 # # 注意:定义encoding时必须在第二行 import socket import Queue import threading from time import sleep host = "127.0.0.1" port = 60283 timeWait = 3 #定义每个线程处理任务时需要的时间,模拟处理任务 ThreadNu…

多线程处理框架 python2.7 python3.5 多线程通用任务处理型驱动框架 probe_type 探测类型rtsp或者http task_queue 任务队列 task_handler 任务处理函数 thread_count 线程数数目 result_queue 结果存放队列 args,kwargs为可变参数列表,为扩展性考虑 2016-8-26 python3新增中断操作 #!/usr/bin/env python2 # coding=utf-8 import threading i…

在引出协成概念之前先说说python的进程和线程. 进程: 进程是正在执行程序实例.执行程序的过程中,内核会讲程序代码载入虚拟内存,为程序变量分配空间,建立 bookkeeping 数据结构,来记录与进程有关的信息, 比如进程 ID,用户 ID 等.在创建进程的时候,内核会为进程分配一定的资源,并在进程存活的时候不断进行调整,比如内存,进程创建的时候会占有一部分内存. 进程结束的时候资源会释放出来,来让其他资源使用.我们可以把进程理解为一种容器,容器内的资源可多可少,但是在容器内的程序只能使用容…

使用Python,HtmlParser来统计深圳市保障房申请人的原籍省份分布,年龄分布等.从侧面可以反映鹏城人的地域分布.以下python代码增大了每一次获取的记录数,从而少提交几次请求.如果按照WEB主页设定的每一次请求最多50个记录,那就得提交数千次请求,显然费时.另外,也可以使用多线程处理,快速获得数据,解析数据,然后使用pandas,matplotlib等工具进行数据处理和绘制.查询了系统,截止2016年2月,轮候系统的保障房人数大概4万多,公租房轮候人数大概5万,以下数据仅作学习使用,…

大学是学习过java,但是工作中没用,忘完了,而且哪怕以后有了机会,就是很不愿意去学这个语言,开始喜欢上了c#,但是随着学的升入,感觉.net太庞大了,要学习那么多,总感觉我学这个要做什么,感觉要做的很多,所以最终没有坚持下来,心里没有明白. 偶然的机会,接触了python,瞬间被简单的语法征服,跨平台性,可扩展性,感觉好方便,VS很好用,但是对我来说太庞大. 忘了说最重要的一点,开源,MS的.NET也说开源,因为当时已经不深入关注,社区说是也开的不彻底. 以后主要关注的语言就是python和C…