python多线程爬取图片二

上一篇的多线程是使用类创建的，这一次使用函数创建多线程，还是同一个网站https://www.quanjing.com/category/1286521/1.html，

代码如下：

 # 多线程，自动创建文件夹，每个页面单独存储一个文件夹

 import requests
 import threading
 import re
 import time
 import queue
 import os
 from bs4 import BeautifulSoup

 string = 'https://www.quanjing.com/category/1286521/'
 url_queue = queue.Queue()
 pipei = re.compile('lowsrc="(.*?)" m=')　　　　　　　　# 定义正则表达式，匹配出每一张图片的链接

 def get_url(page):　　　　　　　　　　# 根据传入的页面数，创建1-page每个页面的url
     for i in range(1, page+1):
         url = string + str(i) + '.html'　　　　　　# 拼接url
         url_queue.put(url)　　　　　　　　　　　　# 把每个url放入队列中
     # print(url_queue.queue)

 def spider(url_queue):　　　　　　# 爬取函数
     url = url_queue.get()　　　　# 从队列中取出最前面的url
     floder_count = url[-7:-5]　　# 判断当前爬取的为第几页，用于后面的创建文件夹，如果页数为两位数，则会截取当前页数，如果为一位数字，则会截取当前页数和前面的‘/’符号
     if floder_count[0] == '/':
         floder_name = floder_count[1]
     else:
         floder_name = floder_count
     os.mkdir('第{0}页'.format(floder_name)) # mkdir创建文件夹
     html = requests.get(url=url).text
     soup = BeautifulSoup(html, 'lxml')　　　　# 对源码进行解析
     ul = soup.find_all(attrs={"class": "gallery_list"})　　　　# 提取出图片链接的部分
     # print(ul)
     lianjies = re.findall(pipei, str(ul))       # 匹配出每一张图片的链接，正则匹配必须是字符串类型
     i = 1
     for lianjie in lianjies:
         # print(lianjie)
         result = requests.get(url=lianjie).content　　　　# 二进制方式请求每张图片，并存储。
         with open('第{0}页\{1}.jpg'.format(floder_name, i), 'ab') as f:
             f.write(result)
         print('第{0}页第{1}张存储完成'.format(floder_name, i))
         i += 1

     if not url_queue.empty():　　　　# 如果队列未空，则该线程继续工作，从队列中取出url
         spider(url_queue)

 def main():　　　　　　# main函数，用于线程的创建，线程的启动
     queue_list = []　　　　# 线程列表
     queue_count = 3　　　　# 线程数量
     for i in range(queue_count):
         t = threading.Thread(target=spider, args=(url_queue, ))　　# 创建线程，第一个参数为线程要调用的函数，第二个参数为函数的参数
         queue_list.append(t)　　　　　　　　# 把线程加入队列
     for t in queue_list:　　　　# 线程开始
         t.start()
     for t in queue_list:　　# 等待所有线程结束
         t.join()

 if __name__ == '__main__':
     page = int(input("请输入需要爬取的页数:"))
     get_url(page)
     start_time = time.time()
     main()
     print("test3用时：%f" % (time.time() - start_time))　　　　# 计算爬取用时　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

在写代码时，遇到了两点困难：一是队列未空时，怎么让线程继续工作。刚开始是在if判断后调用main函数，但这样做等于又重新定义了新的线程，并不是之前的线程在继续工作，且有时候会存在爬取不完的情况，后来尝试调用spider函数，爬取成功

第二个困难是文件夹的创建，刚开始没有对截图的两个字符进行判断，导致创建失败，百度一下后发现可以用makedirs解决，试了后发现这样创建的是多级目录，也不行，（可能是‘/’字符的缘故），后来加了一个判断，才解决这一问题。

写完这两个多线程爬虫，才算是了解了线程的工作机制的程序。（ps：若有错误的地方，欢迎大佬随时指正。。xixix）