使用redis所维护的代理池抓取微信文章

搜狗搜索可以直接搜索微信文章，本次就是利用搜狗搜搜出微信文章，获得详细的文章url来得到文章的信息.并把我们感兴趣的内容存入到mongodb中。

因为搜狗搜索微信文章的反爬虫比较强，经常封IP，所以要在封了IP之后切换IP，这里用到github上的一个开源类，当运行这个类时，就会动态的在redis中维护一个ip池，并通过flask映射到网页中，可以通过访问 localhost:5000/get/

来获取IP

这是搜狗微信搜索的页面，

构造搜索url .搜索时会传递的参数，通过firefox浏览器可以查到：

具体代码如下，其中关键部分已添加注释

from urllib.parse import urlencode
import requests
from settings import *
from requests.exceptions import ConnectionError
from pyquery import PyQuery as pq
import pymongo
from lxml.etree import XMLSyntaxError

class WeixinArticle(object):
    """
    通过搜狗搜索微信文章，爬取到文章的详细内容，并把我们感兴趣的内容存入到mongodb中
    因为搜狗搜索微信文章的反爬虫比较强，经常封IP，所以要在封了IP之后切换IP，这里用到github上的一个开源类，
    当运行这个类时，就会动态的redis中维护一个ip池，并通过flask映射到网页中，可以通过访问 localhost:5000/get/
    来获取IP，
    """
    # 定义一个全局变量，这样在各个函数中均可以使用，就不用在传递这个变量
    proxy = None

    def __init__(self):
        self.keyword = KEYWORD
        self.proxy_pool_url = PROXY_POOL_URL
        self.max_count = MAX_COUNT
        self.mongo_url = MONGO_URL
        self.mongo_db = MONGO_DB
        self.base_url = BASE_URL
        self.headers = HEADERS
        self.client = pymongo.MongoClient(self.mongo_url)
        self.db = self.client[self.mongo_db]

    def get_proxy(self, url):
        """获取我们所维护的IP"""
        try:
            response = requests.get(url)
            if response.status_code == 200:
                return response.text
            return None
        except ConnectionError:
            return self.get_proxy(url)

    def get_html(self, url, count=1):
        """
        通过传的url 获取搜狗微信文章页面信息，
        :param count: 表示最后递归的次数
        :return: 页面的信息
        """
        if not url:
            return None
        if count >= self.max_count:
            print("try many count ")
            return None
        print('crowling url ', url)
        print('crowling count ', count)
        # 定义一个全局变量，这样在各个函数中均可以使用，就不用在传递这个变量
        global proxy
        try:
            if self.proxy:
                # 如果有代理就用代理去访问
                proxy = {
                    "http": "http://" + proxy,
                }
                response = requests.get(url=url, allow_redirects=False, headers=self.headers, proxy=proxy)
            else:
                # 如果没有代理就不用代理去访问
                response = requests.get(url=url, allow_redirects=False, headers=self.headers)
            if response.status_code == 200:
                print(response.text)
                return response.text
            elif response.status_code == 302:
                # 如果重定向了，说明我们的IP被ban了，此时就要更换代理
                print("status code is 302 ")
                proxy = self.get_proxy(self.proxy_pool_url)
                if proxy:
                    print("Useing proxy: ", proxy)
                    return self.get_html(url)
                else:
                    # 如果我们的代理都获取失败，那这次爬取就完全失败了，此时返回None
                    print("Get proxy failed")
                    return None
            else:
                print("Occur Error : ", response.status_code)
        except ConnectionError as e:
            # 我们只是递归调用max_count 这么多次，防止无限递归
            print("Error Occured ", e.args)
            count += 1
            proxy = self.get_proxy(self.proxy_pool_url)
            return self.get_html(url, count)

    def get_index(self, keyword, page):
        """use urlencode to constract url"""
        data = {
            "query": keyword,
            "type": 2,
            # "s_from": "input",
            # "ie": "utf8",
            "page": page
        }
        queries = urlencode(data)
        url = self.base_url + queries
        # 为了让程序的的流程更直观，可以不在这里调用 get_html函数，在main函数中调用
        # print(url)
        # html = get_html(url)
        # return html
        return url

    def parse_index_html(self, html):
        """解析get_html函数得到的html,即是通过关键字搜索的搜狗页面，解析这个页面得到微信文章的url"""
        # print(html)
        if not html:
            """如果传进来的html是None,则直接返回"""
            print("the html is None")
            return None
        try:
            doc = pq(html)
            items = doc(".news-box .news-list li .txt-box h3 a").items()
            for item in items:
                article_urls = item.attr("href")
                for article_url in article_urls:
                    # 在程序中做了迭代之后，在主程序中就可以不用迭代，这样mian函数中的逻辑会更清楚
                    yield  article_url
        except UnicodeDecodeError:
            print("UnicodeDecodeError error")

    def get_detail(self, url):
        """通过parse_index_html函数得到微信文章的url,利用requests去得到这个url的网页信息"""
        print("get_detail url  :",url)
        try:
            response = requests.get(url,headers=self.headers)
            if response.status_code == 200:
                return response.text
            return None
        except ConnectionError:
            return None

    def parse_detail(self, html):
        """解析通过get_detail函数得到微信文章url网页信息，得到我们想要的信息"""
        if not html:
            return None
        try:
            doc = pq(html)
            title = doc('#activity-name').text()
            content = doc(".rich_media_content p span").text()
            date = doc("#post-date").text()
            weichat_name = doc("#post-user").text()
            return {
                "title": title,
                "content": content,
                "date": date,
                "weichat_name": weichat_name,
            }
        except XMLSyntaxError:
            return None

    def save_to_mongo(self, data):
        """保存到mongodb 中，这里我们希望 title 不重复，所以用update 这种方式进行更新"""
        if self.db['articls'].update({"title": data["title"]}, {"$set": data}, True):
            print("save to mongo ")
        else:
            print("save to mongo failed ", data["title"])

    def main(self):
        """
        这个爬虫的主要逻辑就在main函数中，
        我在所有的处理函数都加了异常处理，和当传入的值是None时的处理，所以在main函数就不用做处理
        """

        keyword = self.keyword
        for page in range(1, 5):
            url = self.get_index(keyword, page)
            html = self.get_html(url)
            article_url = self.parse_index_html(html)
            article_html = self.get_detail(article_url)
            article_data = self.parse_detail(article_html)
            self.save_to_mongo(article_data)

    def run(self):
        self.main()

if __name__ == "__main__":
    weixin_article = WeixinArticle()
    weixin_article.run()

之后，把这们常用的配置写在settings.py，方便程序的修改。

KEYWORD="风景"
PROXY_POOL_URL="http://127.0.0.1:5000"
MAX_COUNT=5
MONGO_URL="localhost"
MONGO_DB="weixin"
BASE_URL = "http://weixin.sogou.com/weixin?"
HEADERS = {
    # "Accept": "* / *",
    # "Accept-Encoding": "gzip, deflate",
    # "Accept-Language": "zh-CN,zh;q=0.9",
    # "Connection": "keep-alive",
    # "Cookie": "SUID=2FF0747C4990A000000005A45FE0C; SUID=59A4FF3C52110A0000005A45FE0D; weixinIndexVisited=1; SUV=00E75AA0A99675A45FE104A7DA232; CXID=B3DDF3C9EA20CECCB4F94A077C74ED; ad=Xkllllllll0U1lllllVNllll9lllll9qxlw@@@@@@@@@@@; ABTEST=0|1517209704|v1; SNUID=D8A7384B3C395FD4BC22C3DDE2172; JSESSIONID=aaa3zBm9sI7SGeZhCaCew; ppinf=5|1517210191|8419791|dHJ1c3Q6MToxfGNsaWVudGlkOjQ6MjAxN3x1bmlxbmFtZToxODolRTYlODElODElRTYlODAlODJ8Y3J0OjEwOjE1MTcyMTAxOTF8cmzoxODolRTYlODElODElRTYlODAlODJ8dXNlcmlkOjQ0Om85dDJsdUN1Rm5aVTlaNWYzMGpjDUGN6NW9Ad2VpeGluLnNvaHUuY29tfA; pprdig=m",
    "Host": "account.sogou.com",
    "Referer": "http://weixin.sogou.com/weixin?query=python&s_from=input&type=2&page=10&ie=utf8",
    "Upgrade-Insecure-Requests": "",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}

项目目录结构如下：

关于怎么使用redis维护一个IP代理池,我会在另一篇博客中作说明.