自学Python十 爬虫实战三（美女福利续）

　　我又来送福利啦！！！不同于上篇文章，这次我们的爬虫采用了多线程，一直以来被所谓的分布式  多线程  爬虫 给唬的怕怕的。今天就来一发多线程爬虫吧，还能看妹子图，想想就觉得很激动！！！

　　依然是流程解释：

　　1.分析要爬取的网址，发现页面分两级，第一级是多个图片集的入口，第二集是图片的入口。我们新建两个类，一个类是爬取所有图片集的url，一个类是根据得到的图片集的url爬取图片下载下来。第二个类的功能就跟我们上篇爬取煎蛋的功能一样。

　　2.我们考虑用多线程去实现爬虫，为此我们引入了Queue模块，主线程爬取第一级得到多个图片集url放入到queue中，新建多个线程，从queue中取出数据，然后下载图片！

　　3.遇到的困难呢  万恶的编码坑，要注意规避可能出现的错误 因为出现问题 线程就会死掉。

　　这篇正则啥的就不搞了，其实都很简单的，对于html分析python有一些库是比较不错的，比如Beautiful Soup 有机会再学习学习！还有爬虫框架Scrapy。。。要学习的东西还非常非常多啊。务必脚踏实地！！！

 # -*- coding: utf-8 -*-
 from __future__ import unicode_literals
 from HttpClient import HttpClient
 import sys,re,os
 from threading import Thread
 from Queue import Queue
 from time import sleep

 q = Queue()#图片集url队列
 imgCount = 0
 class getRosiUrl(HttpClient):#一级url爬取类
     def __init__(self):
         self.__pageIndex = 1
         self.__Url = "http://www.5442.com/tag/rosi/"
         self.__refer = 'http://www.5442.com/tag/rosi.html'
 　　#将爬取的图片集url放入队列
     def __getAllPicUrl(self,pageIndex):
         realurl = self.__Url + str(pageIndex) + ".html"
         print realurl
         pageCode = self.Get(realurl,self.__refer)
         type = sys.getfilesystemencoding()
         #print pageCode[0:1666].decode("gb2312",'ignore').encode(type)
         pattern = re.compile('<div.*?title">.*?<span><a href="(.*?)".*?</a>',re.S)
         items = re.findall(pattern,pageCode.decode("gb2312",'ignore').encode(type))
         for item in items:
             #print item
             global q
             q.put(item)
             #print "放入队列"
 　　#得到最新页码
     def __getNewPage(self):
         pageCode = self.Get("http://www.5442.com/tag/rosi.html",self.__refer)
         type = sys.getfilesystemencoding()
         pattern = re.compile(r'<ul.*?<li .*?pageinfo">(.*?)</li>',re.S)
         newPage = re.search(pattern,pageCode.decode("gb2312",'ignore').encode(type))
         num  = re.search("[0-9]+",newPage.group(1).decode("gb2312",'ignore').split("/")[0]).group()
         if newPage != None:
             return int(num)
         return 0

     def start(self):
         page = self.__getNewPage()
         for i in range(1,page):
             self.__getAllPicUrl(i)

 #图片下载类
 class downloadImg(HttpClient):
     def __init__(self):
         self.__pageIndex = 1
         self.__floder = "rosi"
         self.__Url = "http://www.5442.com/meinv/20150904/27058.html"
         self.__refer = 'http://www.5442.com/tag/rosi.html'
     def __getNewPage(self):
         pageCode = self.Get(self.__Url,self.__refer)
         type = sys.getfilesystemencoding()
         pattern = re.compile(r'<ul.*?<li>.*?<a>(.*?)</a></li>',re.S)
         newPage = re.search(pattern,pageCode.decode("gb2312",'ignore').encode(type))
         if newPage !=None:             num = re.search("[0-9]+",newPage.group(1).decode("gb2312",'ignore').split("/")[0]).group()             return int(num)
         return 0
 　　#得到图片集名称
     def __getBookName(self):
         pageCode = self.Get(self.__Url,self.__refer)
         type = sys.getfilesystemencoding()
         pattern = re.compile(r'<h1><a.*?>(.*?)</a>',re.S)
         title = re.findall(pattern,pageCode.decode("gb2312",'ignore').encode(type))
         if title != None:
             return title[0]
         return "未命名"
 　　#得到每页图片url
     def __getAllPicUrl(self,pageIndex):
         realurl = self.__Url[:-5] + "_" + str(pageIndex) + ".html"
         pageCode = self.Get(realurl)
         type = sys.getfilesystemencoding()
         pattern = re.compile('<p align="center" id="contents">.*?<a.*?<img src=(.*?) alt=.*?>',re.S)
         items = re.findall(pattern,pageCode.decode("gb2312",'ignore').encode(type))
         self.__savePics(items,self.__floder)
 　　#下载保存图片
     def __savePics(self,img_addr,folder):
         for item in img_addr:
             filename = self.__floder + "\\" +item.split('/')[-1][:-1]
             print "正在保存图片：" + filename
             print item[1:-1]
             with open(filename,'wb') as file:
                 img = self.Get(item[1:-1])
                 file.write(img)
             global imgCount
             imgCount = imgCount + 1
     def start(self):
         while True:
             global q
             self.__Url = q.get()#从队列中取出一条图片集url
             title = self.__getBookName()
             self.__floder = os.getcwd() + "\\rosi\\" + title.decode("gb2312",'ignore')
             isExists=os.path.exists(self.__floder)
             if not isExists:
                 type = sys.getfilesystemencoding()
                 os.mkdir(self.__floder)

             page = self.__getNewPage() + 1
             for i in range(self.__pageIndex,page):
                 self.__getAllPicUrl(i)

             q.task_done()#完成一项任务

 if __name__ == '__main__':
     isExists=os.path.exists("rosi")#创建保存目录
     if not isExists:
         os.mkdir("rosi")
     for i in range(5):#新建5个线程 等待队列
         print i
         downImg = downloadImg()
         t = Thread(target=downImg.start)
         t.setDaemon(True)
         t.start()
     rosi = getRosiUrl()
     rosi.start()

     q.join

　　其中HttpClient.py就参考前面文章的吧，不过这个网站不需要代理了。。。下面看看成果吧，一波妹子图正在袭来：