关于python 爬虫遇到的反盗链

首先声明：目标网址是从别人案例里得到的，内容你懂的。。。

本来闲来无事，学习下爬虫的知识，遇到恶心的反盗链，好在目标网址防盗链简单，代码里注明了如何去查看目标网址的防盗检查；

防盗链原理

http标准协议中有专门的字段记录referer

一来可以追溯上一个入站地址是什么

二来对于资源文件，可以跟踪到包含显示他的网页地址是什么

因此所有防盗链方法都是基于这个Referer字段

防盗链的作用

在很多地方，如淘宝、拍拍、有啊等C2C网站，发布商品需要对宝贝进行描述，就需要图片存储，而为了使自己辛辛苦苦拍摄的图片不被别人调用，就需要防盗链的功能。

提供防盗链的图片网站很多，如有照片、又拍网、百度相册、QQ相册、网易相册等等，但是既能支持网店外链，又有防盗链功能的网站很少；

上述原理部分具体详细解释请再百度；

#!/usr/bin/env python
#coding:utf-8
#date 20171202
#author maomao

from bs4 import BeautifulSoup
import os
import requests
import sys

reload(sys)
sys.setdefaultencoding('gbk')   ###解决windows 下python 中文的编码问题

class DownLoadBeautiful(object):

    def __init__(self,URL):
        self.URL = URL

    def allUrls(self):
        headers = {
            'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
        }                                                             ###设置请求的头部，伪装成浏览器
        start_html = requests.get(self.URL,headers=headers)           ###使用了更为人性化的requests来发送请求
        soup = BeautifulSoup(start_html.text,'lxml')                 ###使用BS4 框架来解析网页源码
        hreflist = soup.find('div',attrs={'class':'all'}).find_all('a')      ###查找主页里面所有的图片链接html标签
        for href in hreflist:
            title = href.get_text()                                      ###图片链接的具体中文描述
            path = str(title).strip()
            os.makedirs(os.path.join("D:\meizitu",path))               ###在本地创建保存
            os.chdir("D:\meizi\\"+path)
            hrefs = href['href']                                        ###获取图片的URL
            html = requests.get(hrefs,headers=headers)                   ###请求图片的URL
            html_soup = BeautifulSoup(html.text,'lxml')                 ###解析图片URL的网页源码
            max_span = html_soup.find('div',attrs={'class':'pagenavi'}).find_all('span')[-2].get_text()  ###分析图片一共多少页
            for page in xrange(1,int(max_span)+1):
                page_url = hrefs + '/' + str(page)                       ###拼接每张图片的URL
                img_html = requests.get(page_url,headers=headers)         ###请求每张图片的URL
                img_soup = BeautifulSoup(img_html.text,'lxml')            ###解析每张图片的源码
                img_url = img_soup.find('div',attrs={'class':'main-image'}).find('img')['src'] ####查找实际每张图片的具体地址
                headers = {
                    'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
                    'Referer':page_url
                }                                                         ###因为网站有防盗链，重新设置了头部的Referer ；F12里打开网络监听，在Request Headers 里面
                img = requests.get(img_url,headers=headers,stream=True)   ###请求图片的实际URL
                print img.url
                name = img_url[-9:-4]
                f = open(name+'.jpg','wb')                               ###将图片下载并保存，注意对于多媒体文件，必须使用二进制写入
                f.write(img.content)
                f.close()

if __name__ == "__main__":
    test = DownLoadBeautiful("http://www.mzitu.com/all")
    test.allUrls()

　　

以上代码，基本功能已实现，还有很多需要改进的地方：使用代理服务器、并发爬取、日志功能、容错机制等等；

过程是最终要的，爬虫的知识还有很多，继续学习ing