生成器(generator) 详解

1. 生成器是什么？

利用迭代器，我们可以在每次迭代获取数据（通过next()方法）时按照特定的规律进行生成。但是我们在实现一个迭代器时，关于当前迭代到的状态需要我们自己记录，进而才能根据当前状态生成下一个数据。为了达到记录当前状态，并配合next()函数进行迭代使用，我们可以采用更简便的语法，即生成器(generator)。生成器是一类特殊的迭代器。

 

 

2.列表生成式

 

2.1列表推导式书写形式：　　

[表达式 for 变量 in 列表]    或者  [表达式 for 变量 in 列表 if 条件]

示例代码如下：

>>>[i for i in range(10)]
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

示例代码如下：

>>>[x**2 for x in [1,2,5,8,7] if x>5]
[64, 49]

 

2.2 列表生成式：

列表生成式即List Comprehensions，是Python内置的非常简单却强大的可以用来创建list的生成式。

列表生成式书写形式：　　

　（表达式 for 变量 in 列表）   或者  （表达式 for 变量 in 列表 if 条件）

列表生成式不同于列表推导式， 创建列表推导式和列表生成式的区别仅在于最外层的”[]“和"()"，列表推导式是一个list，而列表生成式是一个generator。切不可相混淆。

 

3. 创建生成器方法1

生成器表达式：要创建一个生成器，有很多种方法。第一种方法很简单，即生成器表达式，只要把一个列表推导式的 [ ] 改成 ( )；

如下代码返回的不是一个列表，而是一个生成器对象, 可通过 next() 函数 或者__next__() 方法获得generator的下一个返回值：

>>>obj = (i for i in range(5))
>>>obj
<generator object <genexpr> at 0x03F79D80>
>>>next(obj)
0
>>>next(obj)
1
>>>obj.__next__()
2
>>>obj.__next__()
3
>>>obj.__next__()
4

注意：generator保存的是算法，每次调用next()方法，就计算出generator的下一个元素的值，直到计算到最后一个元素，没有更多的元素时，抛出StopIteration的错误。因为generator也是可迭代对象,所以可以使用for循环来取出数据。

>>> list = (x *2 for x in range(5))
>>> for num in list:
...          print(num)
...
0
2
4
6
8

4. 创建生成器方法2

生成器函数： 在函数中如果出现了yield关键字，那么该函数就不再是普通函数，而是生成器函数。

但是生成器函数可以生产一个无限的序列，这样列表根本没有办法进行处理。yield 的作用就是把一个函数变成一个 generator，带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator。generator非常强大。如果推算的算法比较复杂，用类似列表生成式的 for 循环无法实现的时候，还可以用函数来实现。

In [30]: def fib(n):
　　....: 　　current = 0
　　....: 　　num1, num2 = 0, 1
　　....: 　　while current < n:
　　....: 　　　　num = num1
　　....: 　　　　nm1, num2 = num2, num1+num2
　　....: 　　　　current += 1
　　....: 　　　　yield num
　　....: 　　　　return 'done'
   ....:
In [31]: F = fib(5)

In [32]: next(F)
Out[32]: 0

In [33]: next(F)
Out[33]: 1

In [34]: next(F)
Out[34]: 1

In [35]: next(F)
Out[35]: 2

In [36]: next(F)
Out[36]: 3

In [37]: next(F)
---------------------------------------------------------------------------
StopIteration Traceback (most recent call last)
<ipython-input-37-8c2b02b436bn> in <module>()
----> 1 next(F)

StopIteration: done

 

在使用生成器实现的方式中，我们将原本在迭代器__next__方法中实现的基本逻辑放到一个函数中来实现，但是将每次迭代返回数值的return换成了yield，此时新定义的函数便不再是函数，而是一个生成器了。

简单来说：只要在def中有yield关键字的 就称为 生成器.

在 for 循环执行时，每次循环都会执行 fab 函数内部的代码，执行到 yield num 时，fab 函数就返回一个迭代值，下次迭代时，代码从 yield num 的下一条语句继续执行，而函数的本地变量看起来和上次中断执行前是完全一样的，于是函数继续执行，直到再次遇到 yield。看起来就好像一个函数在正常执行的过程中被 yield 中断了数次，每次中断都会通过 yield 返回当前的迭代值。

5. yield 与 return

5.1 在一个生成器中，如果没有return，则默认执行到函数完毕时返回StopIteration；

>>> def g1():
... 　　yield 6
...
>>> g=g1()
>>> next(g)  #第一次调用next(g)时，会在执行完yield语句后挂起，所以此时程序并没有执行结束。
6
>>> next(g)  #程序试图从yield语句的下一条语句开始执行，发现已经到了结尾，所以抛出StopIteration异常。
Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
StopIteration
>>>

5.2 如果在return后返回一个值，那么这个值为StopIteration异常的说明，不是程序的返回值。

>>> def g2():
... 　　yield 'hello'
... 　　return 'error information'
...
>>> g=g2()
>>> next(g) 
'hello'
>>> next(g)
Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
StopIteration: error information

5.3 如果遇到return,如果在执行过程中 return，则直接抛出 StopIteration 终止迭代。

>>> def g3():
... 　　yield 'a'
... 　　return
... 　　yield 'b'
...
>>> g=g3()
>>> next(g) #程序停留在执行完yield 'a'语句后的位置。
'a'
>>> next(g) #执行到此处，程序发现下一条语句是return，所以抛出StopIteration异常，这样yield 'b'语句永远也不会执行。
Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
StopIteration

5.4 close()函数   手动关闭生成器函数，后面的调用会直接返回StopIteration异常。

>>> def g4():
...　　yield 1
...　　yield 2
...　　yield 3
...
>>> g=g4()
>>> next(g)
1
>>> g.close()
>>> next(g) #关闭后，yield2 和yield3 语句将不再起作用
Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
StopIteration

 

5.5 send()函数 

我们除了可以使用next()函数来唤醒生成器继续执行外，还可以使用send()函数来唤醒执行。使用send()函数的一个好处是可以在唤醒的同时向断点处传入一个附加数据。生成器函数最大的特点是可以接受外部传入的一个变量，并根据变量内容计算结果后返回。

In [35]: def gen():
....: 　　　　i = 0
....: 　　　　while i<5:
....: 　　　　　　temp = yield i
....: 　　　　　　print(temp)
....: 　　　　　　i+=1
....:

In [43]: f = gen()

In [44]: next(f)
Out[44]: 0

In [45]: f.send('haha')
haha
Out[45]: 1

In [46]: next(f)
None
Out[46]: 2

In [47]: f.send('haha')
haha
Out[47]: 3

上方代码执行到yield时，gen函数作用暂时保存，返回 i 的值; temp接收下次f.send("haha")，即send发送过来的值，next(f)等价f.send(None)

总结

• 使用了yield关键字的函数不再是函数，而是生成器。（使用了yield的函数就是生成器）
• 可作用于for循环的对象都是Iterable类型；
• next(f) 等价于 f.send(None)
• yield关键字有两点作用：
• 保存当前运行状态（断点），然后暂停执行，即将生成器（函数）挂起
• 将yield关键字后面表达式的值作为返回值返回，此时可以理解为起到了return的作用
• 可以使用next()函数让生成器从断点处继续执行，即唤醒生成器（函数）