4-5 Scrapy知识补充

　　FormRequest

　　FormRequest类是专门用来处理HTML表单的，同时对隐藏的表单处理也很方便。适合用来完成登录操作。

　　类原型：class scrapy.http.FormRequest(url[, formdata, ...])其构造参数formdata可以是字典形式，也可以是（key, value）元组形式。代表需提交的表单数据。

return FormRequest(url="http://www.example.com/post/action",formdata={'name': 'John Doe', 'age': '27'},callback=self.after_login)

　　通常网站通过<inputtype=“hidden”>实现对某些表单字段（如数据或是登录界面中的认证令牌等）的预填充，如前知乎的 _xsrf参数。FormRequest类提供了一个类方法from_response。可以处理这种隐藏的表单。

注意html知识补充：所有需要登陆的表单字段都会在html中的form标签中找到，其中需要输入的在form标签的后辈节点input标签中，然后输出的name和value会在input标签中的name属性和value属性中找到。from_response正式利用此到form标签中的后辈节点寻找input标签然后将其name属性为key和value属性为value收集在一起构造（key, value）作为添加进入formdata的值。

　　　from_response(response[, formname=None, formnumber=0, formdata=None, formxpath=None, clickdata=None])

参数说明：

　　response：一个包含HTML表单的响应页面。

　　formname（string）：如果不为None，表单中的name属性将会被设定为这个值。

　　formnumber（int）：当响应页面中包含多个HTML表单时，本参数用来指定使用第几个表单，第一个表单数字为0。

　　formdata（dict）：本参数用来填充表单中属性的值。如果其中一个属性的值在响应页面中已经被预填充，但formdata中也指定了这个属性的值，将会把预填充的值覆盖掉。

　　formxpath（string）：如果页面中有多个HTML表单，可以用xpath表达式定位页面中的表单，第一个被匹配的将会被操作。

　　用from_response方法来实现登录功能，示例如下：

import scrapy

class LoginSpider(scrapy.Spider):

　　name = 'example.com'

　　start_urls = ['http://www.example.com/users/login.php']

　　def parse(self, response):

　　　　return scrapy.FormRequest.from_response(response,formdata={'username': 'john', 'password': 'secret'},callback=self.after_login)

　　def after_login(self, response):

　　# check login succeed before going on

　　　　if "authentication failed" in response.body:

　　　　　　self.logger.error("Login failed")

　　　　　　return

BrowserCooCookieJarkiesMiddleware

　　源码分析：

　　　　首先构造方法中有个 self.jars = defaultdict(CookieJar) 这涉及到defaultdict()的使用。

defaultdict()方法和字典的用法大同小异，最大的区别是当defaultdict()可以接受一个函数或者是类作为参数，然后如果只指定defaultdict的一个键，那么该键的值会被默认的参数（如果是函数则为函数返回值，如果为类则为最基础类）填充。看实例：

from collections import defaultdict

a = defaultdict(list)

b = a['frank']

print(b)

输出结果：

[]

因为defaultdict参数为list，则当指定一个键frank的时候，就会设置该frank的值为一个最基础的列表，即[]，将其值赋给b所以b为[] 甚至可以不指定值给b，直接指定一个键，然后该defaultdict就会变成{'frank': []}

的形式。

from collections import defaultdict

a = defaultdict(list)

a['frank']

print(a)

输出结果：

defaultdict(<class 'list'>, {'frank': []})

　　回到BrowserCookiesMiddleware类，中构造方法，self.jars = defaultdict(CookieJar) 意思即为类的jars变量创建一个CookieJar对象。回到CookieJar源码，可以看到该类有一个重要的方法，set_cookie(),该防范出入一个cookie对象作为参数，然后将其添加到CookieJar中。于是根据以上我们可以自己设置自己的 BrowserCooCookieJarkiesMiddleware 来为Request设置cookie

import browsercookie

from scrapy.downloadermiddlewares.cookies import 

CookiesMiddleware

class MyCookie(CookiesMiddleware):

    def __init__(self, debug=False):

        super().__init__(debug)

        self.load_browser_cookies()

    def load_browser_cookies(self):

        # 加载Chrome 浏览器中的Cookie

        jar = self.jars['chrome']

        chrome_cookiejar = browsercookie.chrome()

        for cookie in chrome_cookiejar:

            jar.set_cookie(cookie)

　　分析：

self.load_browser_cookies方法加载浏览器Cookie 。
在load_browser_cookies方法中，使用self.jars['chrome']和self.jars['firefox']从默认字典中获得两个CookieJar对象。
然后调用browsercookie的chrome和firefox方法，分别获取两个浏览器中的Cookie，将它们填入各自的CookieJar对象中。

Scrapy & bloomfilter

　　scrapy 自带的去重方案是set()与hashlib.sha1()完成的。源码如下：

    def __init__(self, path=None, debug=False):

        self.file = None

        self.fingerprints = set()

        self.logdupes = True

        self.debug = debug

        self.logger = logging.getLogger(__name__)

        if path:

            self.file = open(os.path.join(path, 'requests.seen'), 'a+')

            self.file.seek(0)

            self.fingerprints.update(x.rstrip() for x in self.file)

request_fingerprint方法实现过滤的，将Request指纹添加到set（）中。部分源码如下：

def request_fingerprint(request, include_headers=None):

    if include_headers:

        include_headers = tuple(to_bytes(h.lower())

                                 for h in sorted(include_headers))

    cache = _fingerprint_cache.setdefault(request, {})

    if include_headers not in cache:

        fp = hashlib.sha1()

        fp.update(to_bytes(request.method))

        fp.update(to_bytes(canonicalize_url(request.url)))

        fp.update(request.body or b'')

        if include_headers:

            for hdr in include_headers:

                if hdr in request.headers:

                    fp.update(hdr)

                    for v in request.headers.getlist(hdr):

                        fp.update(v)

        cache[include_headers] = fp.hexdigest()

    return cache[include_headers]

去重指纹为sha1（method+url+body+header）