python学习【第六篇】python迭代器与生成器

一、什么是迭代器

迭代器协议：对象必须提供一个next方法，执行该方法要么返回迭代中的下一项，要么就引起一个StopIteration异常，以终止迭代(只能往后走不能往前退)

可迭代对象：实现了迭代器协议的对象(如何实现：对象内部定义一个__iter__()方法)

协议是一种约定，可迭代对象实现了迭代器协议，python的内部工具(如：for循环，sum，min，max函数等)使用迭代器协议访问对象

可迭代对象

可以使用isinstance()函数来判断一个对象是否是可迭代对象(Iterable):

In [50]: from collections import Iterable

In [51]: isinstance([], Iterable)
Out[51]: True

In [52]: isinstance({}, Iterable)
Out[52]: True

In [53]: isinstance('abc', Iterable)
Out[53]: True

In [54]: isinstance(mylist, Iterable)
Out[54]: False

In [55]: isinstance(100, Iterable)
Out[55]: False

可迭代对象的本质

我们分析对可迭代对象进行迭代使用的过程，发现每迭代一次（即在for...in...中每循环一次）都会返回对象中的下一条数据，一直向后读取数据直到迭代了所有数据后结束。那么，在这个过程中就应该有一个“人”去记录每次访问到了第几条数据，以便每次迭代都可以返回下一条数据。我们把这个能帮助我们进行数据迭代的“人”称为迭代器(Iterator)。

 

可迭代对象的本质就是可以向我们提供一个这样的中间“人”即迭代器帮助我们对其进行迭代遍历使用。

 

可迭代对象通过__iter__方法向我们提供一个迭代器，我们在迭代一个可迭代对象的时候，实际上就是先获取该对象提供的一个迭代器，然后通过这个迭代器来依次获取对象中的每一个数据.

 

那么也就是说，一个具备了__iter__方法的对象，就是一个可迭代对象

from collections import Iterable

class MyList(object):
    def __init__(self):
        self.container = []

    def add(self, item):
        self.container.append(item)

    def __iter__(self):
        pass

my_list = MyList()
flag = isinstance(my_list, Iterable)
print(flag)

"""
运行结果：True
说明MyList创建的对象是一个可迭代对象这回测试发现添加了__iter__方法的mylist对象已经是一个可迭代对象了
"""

iter()函数与next()函数

list、tuple等都是可迭代对象，我们可以通过iter()函数获取这些可迭代对象的迭代器。然后我们可以对获取到的迭代器不断使用next()函数来获取下一条数据。iter()函数实际上就是调用了可迭代对象的__iter__方法。

>>> li = [11, 22, 33, 44, 55]
>>> li_iter = iter(li)
>>> next(li_iter)
11
>>> next(li_iter)
22
>>> next(li_iter)
33
>>> next(li_iter)
44
>>> next(li_iter)
55
>>> next(li_iter)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration
>>>

注意，当我们已经迭代完最后一个数据之后，再次调用next()函数会抛出StopIteration的异常，来告诉我们所有数据都已迭代完成，不用再执行next()函数了。

如何判断一个对象是否是迭代器

可以使用 isinstance() 判断一个对象是否是 Iterator 对象：

In [56]: from collections import Iterator

In [57]: isinstance([], Iterator)
Out[57]: False

In [58]: isinstance(iter([]), Iterator)
Out[58]: True

In [59]: isinstance(iter("abc"), Iterator)
Out[59]: True

迭代器Iterator

通过上面的分析，我们已经知道，迭代器是用来帮助我们记录每次迭代访问到的位置，当我们对迭代器使用next()函数的时候，迭代器会向我们返回它所记录位置的下一个位置的数据。实际上，在使用next()函数的时候，调用的就是迭代器对象的__next__方法（Python3中是对象的__next__方法，Python2中是对象的next()方法）。所以，我们要想构造一个迭代器，就要实现它的__next__方法。但这还不够，python要求迭代器本身也是可迭代的，所以我们还要为迭代器实现__iter__方法，而__iter__方法要返回一个迭代器，迭代器自身正是一个迭代器，所以迭代器的__iter__方法返回自身即可。

 

一个实现了__iter__方法和__next__方法的对象，就是迭代器。

class MyList(object):
    """
    自定义的一个可迭代对象
    """

    def __init__(self):
        self.items = []

    def add(self, val):
        self.items.append(val)

    def __iter__(self):
        myiterator = MyIterator(self)

        return myiterator

class MyIterator(object):
    """
        自定义的供上面可迭代对象使用的一个迭代器
    """
    def __init__(self, mylist):
        self.mylist = mylist
        # current用来记录当前访问到的位置
        self.current = 0

    def __next__(self):
        if self.current < len(self.mylist.items):
            item = self.mylist.items[self.current]
            self.current += 1
            return item
        else:
            raise StopIteration

    def __iter__(self):
        return self

if __name__ == '__main__':
    mylist = MyList()
    mylist.add(1)
    mylist.add(2)
    mylist.add(3)
    mylist.add(4)
    mylist.add(5)
    for num in mylist:
        print(num)

for...in...循环的本质

for item in Iterable 循环的本质就是先通过iter()函数获取可迭代对象Iterable的迭代器，然后对获取到的迭代器不断调用next()方法来获取下一个值并将其赋值给item，当遇到StopIteration的异常后循环结束。

迭代器的应用场景

class FibIterator(object):
    """
        斐波那契数列
    """

    def __init__(self, n):
        """
        :param n:int, 指明生成数列的前n个数
        """
        self.n = n
        # current用来保存当前生成到数列中的第几个数了
        self.current = 0
        # num1用来保存前前一个数，初始值为数列中的第一个数0
        self.num1 = 0
        # num2用来保存前一个数，初始值为数列中的第二个数1
        self.num2 = 1

    def __next__(self):
        """
        被next()函数调用来获取下一个数
        :return:
        """

        if self.current < self.n:
            num = self.num1
            self.num1, self.num2 = self.num2, self.num1+self.num2
            self.current += 1
            return num
        else:
            raise StopIteration

    def __iter__(self):
        """
        "迭代器的__iter__返回自身即可
        :return:
        """
        return self

if __name__ == '__main__':
    fib = FibIterator(10)
    for num in fib:
        print(num, end=" ")

斐波那契数列

三、生成器

可以理解为一种数据类型，这种数据类型自动实现了迭代器协议，所以生成器就是可迭代对象

生成器的创建方式：

• 生成器函数：常规函数定义，但是使用yield语句而不是return语句返回结果；yield语句一次返回一个结果，在每个结果中间，挂起函数的状态，以便下次从它离开的地方继续执行
• 生成器表达式：类似于列表推导，但是生成器返回按需产生结果的一个对象，而不是一次构建一个结果列表

生成器函数

def fun():
    print("hhloo")
    yield 1
    print("44444")
    yield 2
    print('dddddd')
    yield 3

g = fun()  # 生成器对象
print(g)   # 结果：<generator object fun at 0x00000000010373B8>

# 进行一次打印
print(g.__next__())  # 第一次next时调用函数到yield 1处函数返回，结果为hhloo，1
print(g.__next__())  # 第二次会从上一次离开的地方继续往下执行，结果：44444,2
print(g.__next__())  # 第三次执行   结果为：dddddd,3
print(g.__next__())  # 会抛StopIteration异常

　　

生成器表达式

ccc = ('鸡蛋%s' % i for i in range(10))
print(ccc)   # <generator object <genexpr> at 0x0000000000A273B8>
print(ccc.__next__())

　　

注：

　　生成器表达式比生成器函数更加的节省内存

生成器注意项

• 生成器在产生的过程中不做任何操作
• 生成器只能遍历一次

def fun1():
    for i in range(4):
        yield i

t = fun1()

t1 = (i for i in t)
t2 = (i for i in t1)

print(list(t1))  # [0, 1, 2, 3]
print(list(t2))  # []

　　

生成器的优点

• 生成器的好处就是延迟计算，一次返回一个结果，它不会一次生成所有的结果。对于大数据处理，将会非常有用
• 生成器还能有效的提供代码的可读性，使用生成器会使python代码更加的pythonic