分析AJAX抓取今日头条的街拍美图并把信息存入mongodb中

今天学习分析ajax 请求,现把学得记录,

把我们在今日头条搜索街拍美图的时候,今日头条会发起ajax请求去请求图片,所以我们在网页源码中不能找到图片的url,但是今日头条网页中有一个json 文件,这相文件中就包括单个图集的具体url,通过访问这个url ,又可以获取一个json 文件,这个json 文件中有个键是url_list  这个键的值是一个List ,这个list中就存入了具体单个图片的下载url ,通过request.get()方法去访问这个url ,然后把得到content以二进制的方式写入到本地,并把其他数据存入到mongodb中,

代码如下,

 import requests
 import json
 from urllib.parse import urlencode
 from requests.exceptions import RequestException
 import re
 from bs4 import BeautifulSoup
 from config import *
 import pymongo
 from hashlib import md5
 import os
 from multiprocessing import Pool

 def get_page_index(offset, keyword):
     """传入要数据,获得详情页面"""
     data = {
         "autoload": "true",
         "count": 20,
         "cur_tab": 3,
         "format": "json",
         "from": "gallery",
         "keyword": keyword,
         "offset": offset,
     }
     url = "https://www.toutiao.com/search_content/?" + urlencode(data)
     try:
         response = requests.get(url)
         if response.status_code == 200:
             return response.text
         return None
     except RequestException:
         print("请求index页面失败")
         return None

 def parse_page_index(html):
     """头条街拍图片存在一个json中,json中的data就是单个图集的信息"""
     data = json.loads(html)
     if data and "data" in data.keys():
         for item in data.get("data"):
             yield item.get("article_url")

 def get_page_detail(url):
     """获得单个图集url的信息"""
     try:
         response = requests.get(url)
         if response.status_code == 200:
             return response.text
         return None
     except RequestException:
         print("请求详情页面失败")
         return None

 def parse_page_detail(html, url):
     """解析单位个图集url的网页信息,因为信息存放于一个json文件中,这个json文件嵌套在html中,所以使用re解析"""
     # 先用BeautifulSoup获得title.
     soup = BeautifulSoup(html, "lxml")
     title = soup.select("title")[0].get_text()
     print(title)
     images_pattern = re.compile('parse\("(.*?)"\),', re.S)
     result = re.search(images_pattern, html)

     if result:
         data = result.group(1)
         data = json.loads(data)
         if data and "url_list" in data.keys():
             url_list = data.get("url_list")
             images = [item.get("url") for item in url_list]
             for image in images:
                 # 调用函数下载图片到本地
                 download_imag(image)
             # 返回数据,返回的数据存入mongodb
             return {
                 "title": title,
                 "images": images,
                 "url": url,
             }

 def save_to_mongo(result):
     client = pymongo.MongoClient(MONGO_URL, connect=False)
     db = client[MONGO_DB]
     if db[MONGO_TABLE].insert(result):
         print("insert into mongo success", result)
         return True
     else:
         return False

 def download_imag(url):
     """# 下载图片到本地"""
     print("正在下载 :", url)
     try:
         response = requests.get(url)
         if response.status_code == 200:
             # response.content 返回二进制内容
             # response.text返回字符串
             save_image(response.content)
     except RequestException:
         print("请求图片失败", url)

 def save_image(content):
     """解析图片url的信息,把获得的信息写入本地文件中"""
     file_path = '{0}/{1}.{2}'.format(os.getcwd(), md5(content).hexdigest(), "jpg")
     if not os.path.exists(file_path):
         with open(file_path, "wb") as f:
             f.write(content)

 def main(offset):
     """主函数"""
     html = get_page_index(offset, KEYWORD)
     # 防止get_page_index没有取回数据
     if html is not None:
         for url in parse_page_index(html):
             html = get_page_detail(url)
             if html:
                 result = parse_page_detail(html, url)
                 save_to_mongo(result)
                 print(result)
     else:
         print("get_page_index 函数没有取到数据")

 if __name__ == "__main__":
     """使用多进程加快速度"""
     groups = [x * 20 for x in range(GROUP_START, GROUP_END)]
     pool = Pool()
     pool.map(main, groups)

这个程度代码相对简单,逻辑清楚,程序之间参数传递及程序的跳转也不难,只是分析今日头条的ajax请求,及获得各个json文件相对复杂一点.

我把程度的配置信息写在config.py 这个文件中,这样方法之后程序的重用,

config.py 代码如下:

MONGO_URL="localhost"
MONGO_DB="toutiao"
MONGO_TABLE="toutiao"

GROUP_START = 1 # 定义起始循环点
GROUP_END = 20 # 定义终止循环点
KEYWORD="街拍"

通过这个程序,学会了分析,这种通过发起ajax请求而获取数据的网页的源码分析.这个程序不足的地方是,这个程序是用requsts库做的解析,程序会是用函数而不是类去实现,后续要把这个程序改用scrapy 库去实现.