python（17）- 迭代器和生成器及应用

什么是迭代器协议

1.迭代器协议是指：对象必须提供一个next方法，执行该方法要么返回迭代中的下一项，要么就引起一个StopIteration异常，以终止迭代 （只能往后走不能往前退）

2.可迭代对象：实现了迭代器协议的对象（如何实现：对象内部定义一个__iter__()方法）

3.协议是一种约定，可迭代对象实现了迭代器协议，python的内部工具（如for循环，sum，min，max函数等)使用迭代器协议访问对象。

#序列类型      字符串，列表，元组都有下标，你用上述的方式访问
#非序列类型   字典，集合，文件

#for循环就是基于迭代器协议提供了一个统一的可以遍历所有对象的方法，
#即在遍历之前，先调用对象的__iter__方法将其转换成一个迭代器，
#然后使用迭代器协议去实现循环访问，这样所有的对象就都可以通过for循环来遍历了，
#而且你看到的效果也确实如此，这就是无所不能的for循环，觉悟吧，年轻人

迭代器

#可迭代的：只要对象本身有__iter__方法，那它就是可迭代的

#执行对象下的__iter__方法，得到的结果就是迭代器

为什么要用迭代器：

#优点
# 1：迭代器提供了一种不依赖于索引的取值方式，这样就可以遍历那些没有索引的可迭代对象了（字典，集合，文件）
# 2：迭代器与列表比较，迭代器是惰性计算的，更节省内存

#缺点：
# 1：无法获取迭代器的长度，使用不如列表索引取值灵活
# 2：一次性的，只能往后取值，不能倒着取值

迭代器的用途

for循环　

生成器

一.函数

1.什么是生成器？

可以理解为一种数据类型，这种数据类型自动实现了迭代器协议（其他的数据类型需要调用自己内置的__iter__方法），所以生成器就是可迭代对象 　

2.生成器分类及在python中的表现形式：（Python有两种不同的方式提供生成器）

1.生成器函数：常规函数定义，但是，使用yield语句而不是return语句返回结果。yield语句一次返回一个结果，在每个结果中间，挂起函数的状态，
以便下次重它离开的地方继续执行

2.生成器表达式：类似于列表推导，但是，生成器返回按需产生结果的一个对象，而不是一次构建一个结果列表

3.为何使用生成器之生成器的优点

Python使用生成器对延迟操作提供了支持。所谓延迟操作，是指在需要的时候才产生结果，而不是立即产生结果。
这也是生成器的主要好处。

4.生成器小结：

1.是可迭代对象
2.实现了延迟计算,省内存啊
3.生成器本质和其他的数据类型一样，都是实现了迭代器协议，只不过生成器附加了一个延迟计算省内存的好处，其余的可迭代对象可没有这点好处，记住喽！！！

5.yield的功能：

1.相当于把__iter__和__next__方法封装到函数内部
2.与return比，return只能返回一次，而yield能返回多次
3.函数暂停已经继续运行的状态是通过yield保存的

 #yield表达形式：
     food=yield

 #生成器.send与next(生成器)区别：
 1.如果函数内yeild是表达式形式，那么必须先next(e)
 2.二者的共同之处都可以让函数在上次暂时的位置继续运行不同之处在于send在出发下一次的执行时，会顺便给yield传一个值

yield表达式

tail 命令实现

#/usr/bin/env python
import time
#定义阶段：定义俩生成器函数
def tail(file_path):
    with open(file_path,'r') as f:
        f.seek(0,2)
        while True:
            line=f.readline()  #最后一行

            if not line:
                time.sleep(0.3)
                continue
            else:
                #print(line,end='')
                yield line

def grep(pattern,lines):
    for line in lines:
        if pattern in line:
            yield line

#调用阶段：得到俩生成器对象
g1=tail('/tmp/a.txt')
g2=grep('error',g1)

#next触发执行g2生成器函数
for i in g2:
    print(i)

tail -f /tmp/a.txt | grep error

二.生成器表达式

#三元表达式
name='alex'
name='linhaifeng'
res='SB' if name == 'alex' else 'shuai'
print(res)

#列表解析
li = [i for i in range(10) ]
li = [i for i in range(10) if i > 5]

1.迭代器的应用

　　文件名：a.txt，文件内容如下：

　　　　apple 10 3

　　　　tesla 100000 1

　　　　mac 3000 2

　　　　lenovo 30000 3

　　　　chicken 10 3

　　实现功能：cat a.txt |grep apple

　　　　要求1：定义迭代器函数cat

　　　　要求2：定义迭代器函数grep

　　　　要求3：模拟管道的功能，将cat的处理结果作为grep的输入

import time
#定义迭代器函数cat
def cat(file):
    with open(file) as f:  #打开a.txt文档
        f.seek(0)          #光标移动到文档首行行头
        while True:
            line=f.readline()   #按行读取文档
            if not line:    #采用bool状态，表示读取的这行没有内容
                time.sleep(0.2)
                # print("--------->")
                continue    #结束本次循环，重新开始循环继续读取文档
            else:
                yield line   #文档读取的行有内容，则返回改行

#定义迭代器函数grep
def grep(args,lines):
    for line in lines:  #相当于多次next(r1)
        if args in line:  #args被赋值“apple”，判断“apple”在不在line这一行内
            yield line    #“apple”在line这一行内，返回该行

r1=cat("a.txt")
r2=grep("apple",r1)

for i in r2:   #相当于多次print(next(r2))
    print(i)

　　

2.生成器的应用

　　把下述函数改成生成器的形式，执行生成器函数的到一个生成器g，然后每次g.send(url)，打印页面的内容，利用g可以无限send

　　def get(url):

　　　　def index():

　　　　　　return urlopen(url).read()

　　　　return index

from urllib.request import urlopen
def get():
    print("开始爬取网页")
    while True:
        url=yield  #将传入参数赋值给url，可迭代的函数中，yield赋值有表达式就是生成器
        print(urlopen("%s"%url).read())   #输出爬取url的内容
        print("%s 爬取成功"%url)

g=get()      #生成迭代器
g.__next__()    #触发函数的运行，停留在yield表达式这一行
g.send("http://www.baidu.com")
g.send("http://www.python.org")