scrapy-redis+selenium+webdriver解决动态代理ip和user-agent的问题（全网唯一完整代码解决方案）

问题描述：在爬取一些反爬机制做的比较好的网站时，经常会遇见一个问题就网站代码是通过js写的，这种就无法直接使用一般的爬虫工具爬取，这种情况一般有两种解决方案

第一种：把js代码转为html代码，然后再使用html代码解析工具爬取，目前常用的工具是selenium和scrapy-splash,我使用的是第一个工具，第二个还有搞个docker服务，太麻烦

第二种：自己观察js代码，找到存放数据的地方，直接获取，这种方式需要有js基础，反正我看到一堆乱七八糟的js就头大，这种方式pass

下面就是第一种实现方式：

技术架构：scrapy-redis + selenium + webdriver

解释：使用scrapy-redis进行分布式爬虫效率高，而且直接把url放到redis中，这种方式对于请求链接的管理非常简单， selenium这工具可以直接融入到scrapy中，作为一个中间件，至于这个中间件的原理，网上有很多资料，其实原理很简单，就是每次请求进来，先让selenium这中间件处理一下，把js代码转为html，然后直接return一个对象给spider进行爬虫，这个对象里面放的就是html，

下面就是这个中间件的代码：

class SeleniumMiddleware(object):

    def __init__(self,timeout=25):
        profile = FirefoxProfile()
        profile.set_preference('permissions.default.image', 2)
        self.browser = webdriver.Firefox(profile)
        self.timeout = timeout
        self.browser.maximize_window()
        # # self.browser.implicitly_wait(20)
        self.browser.set_page_load_timeout(self.timeout)
        self.wait = WebDriverWait(self.browser, self.timeout)
    def __del__(self):
        self.browser.close()

    def process_request(self, request, spider):
        """
           用WebDriver抓取页面
           :param request: Request对象
           :param spider: Spider对象
           :return: HtmlResponse
           """
        logging.info('******WebDriver is Starting******')
        try:
　　　  #这里的ip和port可以根据自己的情况填充，比如通过api获取的代理ip，或者从代理池中获取也可以
            ip = '60.182.17.174'
            port = ''
　　　　#user_agent仍然可以动态修改，这里测试写死，网上有很多每次请求随机修改代理的user-agent的方法
　　　　user_agent ='Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)'
            self.browser.get("about:config")
            script = '''
            var prefs = Components.classes["@mozilla.org/preferences-service;1"].getService(Components.interfaces.nsIPrefBranch);
            prefs.setIntPref("network.proxy.type", 1);
            prefs.setCharPref("network.proxy.http", "{ip}");
            prefs.setIntPref("network.proxy.http_port", "{port}");
            prefs.setCharPref("network.proxy.ssl", "{ip}");
            prefs.setIntPref("network.proxy.ssl_port", "{port}");
            prefs.setCharPref("network.proxy.ftp", "{ip}");
            prefs.setIntPref("network.proxy.ftp_port", "{port}");
　　　　　　　prefs.setBoolPref("general.useragent.site_specific_overrides",true);
　　　　　　　prefs.setBoolPref("general.useragent.updates.enabled",true);
　　　　　　prefs.setCharPref("general.useragent.override","{user_agent}");
            '''.format(ip = ip,port=port，user_agent=user_agent)
            self.browser.execute_script(script);
            time.sleep(1);
            self.browser.get(request.url)
            self.wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="s-result-list sg-row"]')))
            return HtmlResponse(url=request.url, body=self.browser.page_source, request=request, encoding='utf-8',
                            status=200)
        except TimeoutException:
            return HtmlResponse(url=request.url, status=500, request=request)

　　　　
-------------------------------------------------姑娘滑溜溜的马甲线------------------------------------------------------

注意：这是网上目前可以找到的唯一个完整代码的解决方案，可以直接复制粘贴，上面都没有说重点，其实这里最重要的就是动态修改代理ip，网上很多资料都是当浏览器启动的时候指定代理ip，那如果想要更换代理ip，不好意思，重启浏览器，这种方式效率非常低，对于一个有追求的程序员来说就是种耻辱

然后把这个中间件配置到settings中：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,  # 必需 ,禁用默认的middleware
    'amazon.custom_rewrite.SeleniumMiddlewares.SeleniumMiddleware': 541, #自定义selenium中间件
}

-------------------------------------------------姑娘滑溜溜的马甲线------------------------------------------------------
更新：上面只是解决了动态代理ip的问题，那如何解决动态修改浏览器头呢，很简单，只需要在上面的js中添加

prefs.setBoolPref("general.useragent.site_specific_overrides",true);
prefs.setBoolPref("general.useragent.updates.enabled",true);
prefs.setCharPref("general.useragent.override","{user_agent}");

-------------------------------------------------姑娘滑溜溜的马甲线------------------------------------------------------

2019-04-17更新：

　　上面的配置在运行的过程中，浏览器一般运行几天之后就会崩溃， 我定位了很久才发现是浏览器内存泄露导致的，因为firefox浏览器默认是可以使用缓存的，随着爬虫的运行，这就会使浏览器的缓存越来越大，从而导致内存

泄露，那怎么解决呢？很简单，直接把缓存给禁用了就可以，不过有的爬虫需要用缓存加快爬虫的速度，这种情况下我还没有想到好的处理办法，一个思路是定时启动浏览器，比如定时5个小时重启一次浏览器，但是这样子有点麻烦吧，下面是禁用

缓存的代码

prefs.setBoolPref("browser.cache.disk.enable", false);
prefs.setBoolPref("browser.cache.memory.enable", false);
prefs.setBoolPref("browser.cache.offline.enable", false);

说明：火狐浏览器从25版本之后就已经在about:config中无法找到general.useragent.override属性了，解决办法就是在about:config右键，新建-->字符串，添加这个属性就可以