Python协程理解——基于爬虫举例

当前代码在工作当中没有太大的含义，但是对于大家理解协程的基础概念是相当有好处的
协程最直接的可以理解为程序当中一个没有返回的功能块儿
我们之前有学过多线程，所谓的多线程不论是异步并发，还是并发强调的时候将功能放到不同的线程上分别运行的过程
但是协程不是这样的，协程强调的是在同一个线程上进行运行，这样免去了线程生产、消费、抛弃的损耗
站在生产消费者模式来看
多线程主张的是
    生产者生产
    生产的内容放入缓存
    然后取出使用

协程的主张是
    生产者生产
    然后生产函数终止
    然后消费函数启动
    消费完成接着生产

闲话不多说，上代码。

 #coding:utf-8
 import requests
 from time import sleep
 from lxml import etree

 def setUp(fun):
     """
     启动生成器
     :param fun: 生成器函数
     """
     def inner(**kwargs):
         k = fun(**kwargs)  #调用生成器
         next(k) #执行一次，效果类似初始化
         return k
     return inner

 @setUp
 def getSrc():
     """
         根据内容获取链接
     """
     a = 1
     while True:
         content = yield a
         html = etree.HTML(content)
         imglist = html.xpath('//div[@id="content-left"]//img')
         for img in imglist:
             src = "http"+img.attrib.get("src")
             print(src)
 @setUp
 def getData():
     """
     根据地址获取内容
     :return:
     """
     while True:
         url = "https://www.qiushibaike.com/pic/page/%s/?s=5144861"
         page = yield url
         if page == 1:
             Referer = "https://www.qiushibaike.com"
             url = "https://www.qiushibaike.com/pic/"
         else:
             Referer = url%page
             url = url % page
         print(url)
         headers = {
             "Referer": Referer,
             "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36",
         }
         request_data = requests.get(url = url,headers = headers)
         content = request_data.content
         img = getSrc()
         img.send(content)
         sleep(1)

 def getPage():
     """
     启动，获取所有的页码
     """
     d = getData()
     page = 0
     while page < 35:
         page += 1
         d.send(page)

 if __name__ == "__main__":
     getPage()