用redis做简单的任务队列（二）

是用redis做任务队列时，要思考：

• 用什么数据类型来做任务队列
• 怎样才能防止重复爬取

上一篇文章已经决定使用list来做任务队列，但是去重问题没有得到解决。这里可以用set来解决思考二的问题，就是防止重复爬取的问题。

使用list当作未完成任务队列，存储还没有爬的url（或者是用户id，文章id等唯一标识）
使用set当作已完成任务队列，存储已经爬取的url
每次爬虫程序从list未完成任务队列获取任务的时候，都去set已完成任务队列里面验证一下，如果已完成队列里已经有了，就舍弃掉，如果没有，就开始爬取，并将这个url加入到已爬取的任务队列
这样做的方便之处在于：每当我往list未完成任务队列里加任务的时候，我不用考虑这个任务有没有爬过，这个任务是不是已经在未爬取任务队列了，我只需要往里加就行了，当爬虫去取的时候，让爬虫程序去做这个操作。

以下是具体代码 
算是一个生产消费把，master往队列里塞任务，parser使用get_html的返回值进行解析，然后入库。

协程爬取贴吧里发帖内容（redis做任务队列，mongo存储）

 import requests
 from lxml import etree
 import redis
 import asyncio,aiohttp

 import pymongo
 conn = pymongo.MongoClient('localhost',27017)

 db = conn.nicedb # 指定数据库名称，连接nicedb数据库，没有则自动创建
 my_set = db.test_set # 使用test_set集合，没有则自动创建
 # 以上两步都是延时操作，当往数据库插入第一条数据的时候，才会真正的创建数据库和集合

 # decode_responses=True，记得加这个参数，不加的话取出来的数据都是bytes类型的
 r = redis.StrictRedis(host = '127.0.0.1', port = 6379, db = 2,decode_responses=True)
 # pool = redis.ConnectionPool(host = '127.0.0.1', port = 6379, db = 2)
 # r = redis.StrictRedis(connection_pool=pool,decode_responses=True)

 def master(page):
     url = 'https://tieba.baidu.com/f?kw=美女&ie=utf-8&pn={}'.format(page*50)
     base = 'https://tieba.baidu.com'
     res = requests.get(url).text
     html = etree.HTML(res)
     half_urls = html.xpath("//div[@class='threadlist_title pull_left j_th_tit ']/a/@href")
     full_urls = [base + i for i in half_urls]
     for url in full_urls:
         # 从url_list列表头部塞任务，也就是url
         r.lpush('url_list',url)
     #print(r.llen('url_list'))

 async def get_html(url):
     async with asyncio.Semaphore(5):  # 限制并发数为5个
         async with aiohttp.ClientSession() as session:
             async with session.get(url) as html:
                 # errors='ignore'，不加这个参数的话，会报错，具体错误内容见下面图片
                 response = await html.text(encoding='utf-8',errors='ignore')
                 return response
 async def parse():
     while True:
         # 从redis的url_list列表取任务，从右边开始取
         url = r.rpop('url_list')
         if url == None:
             break
         # 判断这个任务是否已经做过了，也就是判断这个url在没在redis的history集合里
         if r.sismember('history',url) == 1:
             continue
         response = await get_html(url)
         html = etree.HTML(response)
         content = html.xpath("//div[@class='left_section']/div[2]/div[1]//cc/div[1]/text()")[0].strip()
         if content != '':
             # 当内容不为空时，将内容存到mongo里
             my_set.save({'content':content})
             #print(content)
         # 将爬取过的任务放到redis的history集合里，也就是已完成任务队列
         r.sadd('history', url)
 t1 = time.time()
 # 爬取前10页
 for i in range(10):
     master()

 # async的一些步骤
 loop = asyncio.get_event_loop()
 tasks = [parse() for _ in range(15)]
 loop.run_until_complete(asyncio.wait(tasks))
 loop.close()

 t2 = time.time()
 print(t2-t1)
 # 最后用时：32.930299043655396
 # 把mongo数据库换成mysql后，用时：43.06192493438721

 原文：https://blog.csdn.net/fiery_heart/article/details/82121237