闲的蛋疼又想起之前看到的文章,想想还是拿来复习一遍写进博客里. 原文链接:https://www.ibm.com/developerworks/cn/opensource/os-cn-python-yield/ yeild可以把普通的function函数,变成 generator生成器. 由原来的return,变为yeild.没调用一次generator.next()就返回一个值,然后停住,等待下次的next(),直到再没有值,raise一个StopIteration.…

带有yield的函数不仅仅只用于for循环中,而且可用于某个函数的参数,只要这个函数的参数允许迭代参数.比如array.extend函数,它的原型是array.extend(iterable). 带有 yield 的函数不再是一个普通函数,而是一个生成器generator,可用于迭代,工作原理同上. yield 是一个类似 return 的关键字,迭代一次遇到yield时就返回yield后面(右边)的值.重点是:下一次迭代时,从上一次迭代遇到的yield后面的代码(下一行)开始执行. 简要理解:…

python生成器Generator——yield 思考: 首先思考这样一个问题: 创建一个列表,但是内存受限,容量一定是有限的.那么如果创建了一个包含100万个元素的列表,不仅占用很大的存储空间,而我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了? 这个时候就需要一个容器,在我们需要数据的时候拿出来,不取数据的时候就释放掉.这样就能够节省资源和空间. yield的作用: 把一个函数变成一个生成器,起到一个延迟的作用,在需要的时候产生结果,节省资源.与声明一个序列相比,生成…

python多线程其实在操作系统级别是进程,因为在执行时,默认加了一个全局解释器锁(GIL),python的多线程,本质还是串行的,无法利用多核的优势:在java和C# 中,多线程是并发的,可以充分利用多核优势,但是线程切换是有调度器控制的:也会带来其他一些麻烦,线程共享的不可控性带来的安全问题,通过加锁来解决,又会导致对性能产生影响. 协程: #!/usr/bin/env python # encoding: utf-8 """ @author: 侠之大者kamil @fi…

python中的进程.线程(threading.multiprocessing.Queue.subprocess) Python中的进程与线程 学习知识,我们不但要知其然,还是知其所以然.你做到了你就比别人NB. 我们先了解一下什么是进程和线程. 进程与线程的历史 我们都知道计算机是由硬件和软件组成的.硬件中的CPU是计算机的核心,它承担计算机的所有任务. 操作系统是运行在硬件之上的软件,是计算机的管理者,它负责资源的管理和分配.任务的调度. 程序是运行在系统上的具有某种功能的软件,比如说浏览器…

一.collection系列: 1.counter计数器 如果counter(dict)是对字典的一个补充,如果counter(list)则是对列表的补充,初步测试对字典的值进行排序. ######################################################################## ### Counter ########################################################################…

Python中的进程与线程 学习知识,我们不但要知其然,还是知其所以然.你做到了你就比别人NB. 我们先了解一下什么是进程和线程. 进程与线程的历史 我们都知道计算机是由硬件和软件组成的.硬件中的CPU是计算机的核心,它承担计算机的所有任务. 操作系统是运行在硬件之上的软件,是计算机的管理者,它负责资源的管理和分配.任务的调度. 程序是运行在系统上的具有某种功能的软件,比如说浏览器,音乐播放器等. 每次执行程序的时候,都会完成一定的功能,比如说浏览器帮我们打开网页,为了保证其独立性,就需要一个专…

一.线程 线程是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位.一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务 1.threading模块 线程创建有2种方式:如下 直接调用 import threading,time def run(n): print("test...",n) time.sleep(2) if __name__ == '__main__': t1 = threading.Thread(…

一.进程: 1.语法 2.进程间通讯 3.进程池 二.Gevent协程 三.Select\Poll\Epoll异步IO与事件驱动 一.进程: 1.语法 简单的启动线程语法 def run(name): time.sleep(2) print("hello",name) if __name__ == '__main__': for i in range(10):同时启动10个进程 p = multiprocessing.Process(target=run,args=("bob…

l=[1,2,3,4] for n in l: print n 在看上面这段代码的时候,我们没有显式的控制列表的偏移量,就可以自动的遍历了整个列表对象.那么for 语句是怎么来遍历列表l的呢?要回答这个问题,我们必须首先来看一下迭代器相关的知识. 1.迭代器 迭代器对象要求支持迭代器协议,所谓支持迭代器协议就是对象包含__iter__()和next()方法.其中__iter__()方法返回迭代器对象自己:next()方法返回下一个前进到下一个结果,在结尾时引发StopIteration异常. 列…

如果在一个函数中使用了yield,那么这个函数实际上生成的是一个生成器函数 ,返回的是一个generator object.生成器是实现迭代的一种方式 特点: 其实返回的就是可以的迭代对象 和迭代的方法一样,可以使用next(),for循环的方法取值: 当一个yeild语句被执行,这个迭代器(函数)的状态像是被冻结(frozen)了一样并且返回next()调用的结果 协程 The "yield" statement ********************* yield_stmt ::…

函数: 可以返回多个值,其实函数是返回一个对象,就是元组,元组中的元素被拆分到各个结果变量中了 匿名函数: lambda函数,仅仅由单条语句组成,结果就是返回值 这种函数没有提供名称属性 闭包: closure就是其他函数动态生成并返回的函数 被返回的函数可以访问其创建者的局部命名空间 def make_closure(a): def closure(): print("I know the secret: %d" % a) return closure() closure = mak…

现在 Python 已经支持用协程进行异步处理.但最近有建议称添加协程以全面完善 Python 的语言结构,而不是像现在这样把他们作为生成器的一个类型.此外,两个新的关键字---异步(async)和等待(await),都该添加到 Python 中来支持协程. 也许有人不太了解协程,其实协程的原理很简单,打个比方就能讲明白了:假设有十个人去食堂打饭,这个食堂比较穷,只有一个打饭窗口和一个打饭阿姨,那么打饭就只能一个一个排队进行.这十个人胃口很大,每个人都要点5个菜,但这十个人都喜欢犹豫不决,点菜的…

一.函数的定义和使用 1.基本结构: def 函数名(参数): """ 文档字符串 """ 函数体 返回值 2.函数名: 和变量名命名规则一致,最好不要与内置函数名相同 3.参数: 和C/C++不同,参数无需指定类型,直接交由解释器去判断: 对于number, str, tuple等不可变的对象,相当于传值,即是传递了拷贝 对于list,dict,set等可变对象,相当于引用传递,内部更改会影响外部的值 a.普通参数:和c类似,但是无需指定类型,…

最近在学learn python the hard way,学习到第37章,进行了关于关键字.转义符和字符串格式化的总结.看手头上的中文版没有及时更新.于是就把这些翻译过来,以作查阅. 关键字: 关键字 描述 例子 and 逻辑与 True and False == False as 作为with-as语句的一部分 with X as Y: pass assert 保证某些事情为真 assert False, "Error!" break 马上停止循环 while True: brea…

上一篇<面向对象基础>文章介绍了面向对象基本知识: 面向对象是一种编程方式,此编程方式的实现是基于对 类 和 对象 的使用 类 是一个模板,模板中包装了多个“函数”供使用(可以讲多函数中公用的变量封装到对象中) 对象,根据模板创建的实例(即:对象),实例用于调用被包装在类中的函数 面向对象三大特性:封装.继承和多态 本篇将详细介绍Python 类的成员.成员修饰符.类的特殊成员. 一.类的成员 类的成员可以分为三大类:属性.方法和包装 (很重要的一句话,实例可以访问实例属性和方法包括类中的所有…

一 引出协成 并发的本质是:切换+保存状态 CPU在运行行一个任务时,会在两种情况下切走去执行其他任务,一是该任务发生了阻塞,二是运行该任务的时间过长 yeild可以保存状态,yeild状态保存与操作系统很像 send可以把一个函数的结果传给另外一个函数,从而实现单线程内程序之间的切换 #串行执行 import time def consumer(res): '''任务1:接收数据,处理数据''' pass def producer(): '''任务2:生产数据''' res=[] for i…

协程,英文名Coroutine.前面介绍Python的多线程,以及用多线程实现并发(参见这篇文章[浅析Python多线程]),今天介绍的协程也是常用的并发手段.本篇主要内容包含:协程的基本概念.协程库的实现原理以及Python中常见的协程库. 1 协程的基本概念 我们知道线程的调度(线程上下文切换)是由操作系统决定的,当一个线程启动后,什么时候占用CPU.什么时候让出CPU,程序员都无法干涉.假设现在启动4个线程,CPU线程时间片为 5 毫秒,也就是说,每个线程每隔5ms就让出CPU,让其他线程…

本章内容 迭代器 面向过程编程 一.什么是迭代 二.什么是迭代器 三.迭代器演示和举例 四.生成器yield基础 五.生成器yield的表达式形式 六.面向过程编程 ============================================================ 一.什么是迭代 迭代是重复反馈过程的活动,其目的通常是为了逼近所需目标或结果.每一次对过程的重复称为一次"迭代",而每一次迭代得到的结果会作为下一次迭代的初始值. # 我们以前学习的while按照如下执…

迭代器 生成器 一 什么是迭代器协议 1.迭代器协议是指:对象必须提供一个next方法,执行该方法要么返回迭代中的下一项,要么就引起一个StopIteration异常,以终止迭代 (只能往后走不能往前退) 2.可迭代对象:实现了迭代器协议的对象(如何实现:对象内部定义一个__iter__()方法) 3.协议是一种约定,可迭代对象实现了迭代器协议,python的内部工具(如for循环,sum,min,max函数等)使用迭代器协议访问对象. 1 2 3 4 5 6 7 #序列类型      字符串,…

最近在看两个github项目的代码时对迭代器有些困惑,因此写一篇笔记以理清脉络,经过两天的修改完善对迭代器有了一个初步的理解,相信会比网上绝大多数笔记有用些. 一.基础概念 在进行具体的迭代类和迭代函数示例之前,首先介绍几个概念以防混淆(和java中的概念大体一致): # collections是一个包含了许多类型的module from collections import Iterator,Iterable,Generator **生成器generator generator对象是一种特殊的…

什么是协程 协程又叫做微线程,它是在单一线程内通过不断切换执行的.协程的切换不是上下文的切换也就是说不是CPU的执行任务的切换,比如CPU执行一会线程1,然后再执行一会线程2,在多核CPU上,Python由于有GIL,所以它的切换是核心1上的线程1执行一会,然后核心2上的线程2执行一会.协程是单线程的也就是线程这种东西是在单一线程内部,协程的切换也是在线程内部切换的,它切换的是执行流,所以本质上线程内的所有协程执行是顺序的那也就是意味着某个协程阻塞会阻塞整个线程,这也就是为什么说协程切换没有开销…

一.线程队列 队列:1.Queue 先进先出 自带锁 数据安全 from queue import Queue from multiprocessing import Queue (IPC队列)2.LifoQueue后进先出 后进先出 自带锁 数据安全 from queue import LifoQueue lq=LifoQueue(5) lq.put(123) lq.put(666) lq.put(888) lq.put(999) lq.put("love") print(lq.pu…

1.python常用的数据类型. int.float.str.set.list.dict.tuple.frozenset.bool.None. 2.docstring是什么? Docstring是一种文档字符串,用于解释构造的作用.我们在函数.类或方法中将它放在首位来描述其作用.我们用三个单引号或双引号来声明docstring. 要想获取一个函数的docstring,我们使用它的_doc_属性. 3.PYTHONPATH变量是什么? PYTHONPATH是Python中一个重要的环境变量,用于在…

asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持. asnycio是用来编写并发代码的库,python3.5以后使用async/await语法. asyncio 被用作多个提供高性能 Python 异步框架的基础,包括网络和网站服务,数据库连接库,分布式任务队列等等. asyncio 往往是构建 IO 密集型和高层级 结构化 网络代码的最佳选择. asyncio 提供一组 高层级 API 用于: 并发地 运行 Python 协程 并对其执行过程实现完全控制; 执行…

https://www.cnblogs.com/yuanchenqi/articles/5769491.html 1. 列表生成式 我现在有个需求,看列表[0, 1, 2, 3, 4, 5, 6, 7, 8, 9],我要求你把列表里的每个值加三次方,你怎么实现?你可能会想到2种方式 a=[0,1,2,3,4,5,6,7,8,9] b=[] for i in a: b.append(i+1) a=b print(a) 普通版本 a=map(lambda x:x+1,range(10)) print…

生成器 在python中生成器是指用代码实现迭代器的的功能本质还是迭代器,只不过是代码实现迭代器功能.在python中生成器是由函数实现的,通常我们在函数中加入yeild就可以实现生成器. 生成器中yield #定义一个函数 def func(): print(111) yield 3 print(222) g=func() 运行上面代码你会发现函数根本没有执行,因为此时g是一个生成器对象,生成器是不会自己运行的,需要你调用next方法才会运行,并且每次遇到yield就会停止,继续调用next方…

一.迭代 迭代就是逐个并且单向访问容器 (这里的容器暂时指数据类型,比如list和dict) 中的元素的行为.举个例子:将一个长度为五的数组逐个从头到尾(即单向)打印的方式称之为迭代.如下图. >>> list = [1,2,3,4,5] >>> for i in list: ... print i ... 1 2 3 4 5 二.迭代器 1.迭代器概念 迭代器简单的说就是可以对数据(这里指可以迭代的数据)进行迭代行为的对象. 可以通过以下两个方面描述迭代器[4]: 1…

一:什么协程 协程: coroutine/coro - 轻量级线程(一个线程) - 调度由用户控制 - 有独立的寄存器上下文和栈 - 切换时保存状态,回来时恢复 二:协程和多线程比较 协程: coroutine/coro - 轻量级线程(一个线程) - 调度由用户控制 - 有独立的寄存器上下文和栈 - 切换时保存状态,回来时恢复 - 异步 - 一次调用,多个入口和结果 多进程,多线程 - 系统调度 - 上下文切换 - 占用内存 - 耗费CPU时间 - 同步 - 一次调用一次返回 三:python…

一.Python基本知識 1.Python屬高階語言,所編築的是字節碼 2.一般狀態statement 終止於換行,如需使用多數行編寫,可在行末加上 \,以表延續 但在 parentheses ( ), brackets [ ] and braces { }中,換行則沒有影響 3.其他語言使用{}來圈分code,但Python 則使用 indentation(縮排) 來圈分 4.Python 使用  hash (#) symbol to start writing a comment,multi…