爬虫实战3：使用request,bs4爬动态加载图片

参考网站：https://blog.csdn.net/Young_Child/article/details/78571422

在爬的过程中遇到的问题:

1、被ban：更改header的User-Agent，伪装成浏览器浏览，如果还被ban可以使用代理，这个网站只需要伪装头再加上time.sleep()就可以解决了（我导入了fake_useragent，也可以自己造个轮子，我比较懒，直接用了别人的轮子）

2、下载下来的图片是同一张，全是防盗链图片这个问题我也找了好久，结果发现只要在头里加上’Referer’就可以了

HTTP Referer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器我是从哪个页面链接过来的，服务器基此可以获得一些信息用于处理。——百度百科

3. 此代码需要在在linux的python2下运行，在windows下会出现异常。

完整代码如下

 #!/usr/bin/evn python
 # -*- coding:utf-8 -*-
 # __author__:
 #import urllib2
 import bs4
 import time
 import requests
 import fake_useragent
 import os
 import re
 import sys
 #import xlrd
 import random

 # 用于将u 转换成 string
 reload(sys)
 sys.setdefaultencoding('utf-8')  # u -> str

 class GetPictures(object):
     def __init__(self):
         self.url = 'http://www.mmjpg.com/mm/1'
         self.first_num = 0
         self.sum_num = 0
         self.pictures_sum()
         self.urls = self.get_urls()
         for url in self.urls:
             self.down_pictures(self.get_img_urls(url))

     # 输入需要的套数
     def pictures_sum(self):
         str1 = raw_input(r"第几套开始，重复会跳过")
         try:
             self.first_num = int(float(str1))
         except ValueError:
             print ('输入的不为数字')

         str1 = raw_input("收集多少套")
         try:
             self.sum_num = int(float(str1))
         except ValueError:
             print("输入的不为数字")
             exit(1)

     # 得到所有套图的第一张所在网页的URL
     def get_urls(self):
         urls = []
         for i in xrange(self.first_num, self.first_num+self.sum_num):
             url_split = self.url.split('/')
             url_split[-1] = str(i)
             urls.append('/'.join(url_split))
         # print urls
         return urls

     # 得到一共有多少张图
     def get_img_sum_num(self, img_url):
         fa = fake_useragent.UserAgent()
         headers = {'User-Agent': fa.random,
                    'Referer': 'http://www.mmjpg.com'}
         request = requests.get(img_url, headers=headers)
         soup = bs4.BeautifulSoup(request.content, 'lxml')
         # 获取标签里面的值
         img_sum_number = soup.find_all('a', href=re.compile('/mm'))[8].get_text().strip()
         print img_sum_number
         img_sum_number = int(img_sum_number)
         # print img_sum_number
         return img_sum_number

     # 得到该套图中的所有图片的URL
     def get_img_urls(self, url):
         fa = fake_useragent.UserAgent()
         headers = {'User-Agent': fa.random,
                    'Referer': 'http://m.mmjpg.com'}
         request = requests.get(url, headers=headers)
         soup = bs4.BeautifulSoup(request.content, 'lxml')
         first_img_url = soup.find('img').get('src')     # 获取标签值
         url_split = first_img_url.split('/')
         img_urls = []
         for i in xrange(1, self.get_img_sum_num(url)+1):
             url_split[-1] = (str(i)+'.jpg')
             img_urls.append('/'.join(url_split))
         # print img_urls
         return img_urls

     # 下载图片
     def down_pictures(self, img_urls):
         img_name = str(img_urls[0].split('/')[-2])+'-'+str(img_urls[0].split('/')[-3])
         if os.path.exists(img_name):    # 查重 如果这个文件夹存在则跳过 防止重复下载
             time.sleep(1)
             print img_name+'存在'
             return
         os.mkdir(img_name)
         for img_url in img_urls:
             fa = fake_useragent.UserAgent()
             headers = {'User-Agent': fa.random,
                        'Referer': 'http://m.mmjpg.com'}
             request = requests.get(img_url, headers=headers)

             with open(img_name + u'/' + img_url.split('/')[-1], 'wb') as f:
                 f.write(request.content)    # contents返回的为二进制   text返回的为union类型
                 f.close()
                 print "已保存" + img_name + '/' + img_url.split('/')[-1]
                 time.sleep(random.random()*2)

 # 运行程序
 if __name__ == '__main__':
     GetPictures()

 '''
 用requests,bs4 抓取mmjpg.com上的套图
 将上面的套图按套进行保存
 '''