百度APP爬虫

1.抓包

访问一个频道，Charles抓包，找到真实连接，一般返回json数据和网页中数据对应为真实连接

请求方式为post，所以要添加请求头和表单数据，由于在charles环境下，所以要添加charles的代理ip和认证文件，然后进行测试，访问成功。

对不同的频道分别经过charles抓包，发现请求的链接都是一样的，只是更换了表单中tab_id属性来对应不同的频道，所以创建一个存储tab_id和频道名的字典，更换时从tab_id字典中取值，来实现不同频道的访问

2.封ip测试

一直访问并没有被封，所以就放开了采吧

3.概览页

一般概览页的数据库中存放文章的链接，但是这个百度APP返回数据中含有所有字段，所以将返回的数据全部存放到数据库中。

4.细览页

读取概览页数据库中的数据，通过正则解析出各个字段，去除无效信息，字段加密存放到数据库中

 

 

注：charles代理ip自行设置；url只提供一个样子，自行抓取；数据库自行设置；认证文件自行设置；表单数据自行抓取；数据解析模块需要什么自己就解析什么，这里不提供了；处理上还不是很完美，自行修改；

 gailanye.py

 import requests
 import re
 import time
 import pymysql

 class BD(object):
     def __init__(self):
         self.url = 'https://mbd.baidu.com/searchbox?-此处省略-7ig'
         self.form = {
             'data': '''此处省略。。。

         '''

         }
         self.proxy = {
             'https': 'https://此处省略'
         }
         self.channel = {
             '': '推荐',
             '': '娱乐',
             '': '体育',
             '': '时尚',
             '': '国际',
             '': '热点',
             '': '汽车',
             '': '军事',
             '': '科技',
             '': '财经',
             '': '游戏',
             '': '女人',
             '': '历史',
             '': '搞笑',
             '': '情感',
             '': '美食',
             '': '居家',
             '': '政务',
             '': '旅游',
             '': '辟谣',
             '': '健康',
             '': '萌宠',
             '': '新华社',
             '': '虎扑',
             '': '澎湃新闻',
             '': '人民日报',
             '': '36氪',
             '': '虎嗅',
             '': '上海',
             '': '广州',
             '': '深圳',
             '': '天津',
             '': '杭州',
             '': '南京',
             '': '武汉',
             '': '北京',
         }

     def modify_tab_id(self, tab_id):
         # 修改表单中的tab_id
         self.form['data'] = re.sub('"tab_id": "(\d+)"', '"tab_id": "{}"'.format(tab_id), self.form['data'])
         # self.form['data'] = re.sub('"last_update_time": (\d+),', '"last_update_time": {}000,'.format(int(time.time())), self.form['data'])
         return self.form['data']

     def get_data(self):
         # 获得频道和内容
         list_d = []
         for data in self.channel:
             data_channel = []
             print('='*20)
             print(data)
             self.form['data'] = self.modify_tab_id(data)
             response = requests.post(self.url, data=self.form, proxies=self.proxy, verify='*.pem')
             datas = response.text
             channel = self.channel[data]
             data_channel = [channel, datas]
             print(data_channel)
             list_d.append(data_channel)
         return list_d

     def save_data(self, list_d):
         # 写入数据库
         host = '127.0.0.1'
         db = 'bd'
         user = 'root'
         psd = ''
         charset = 'utf8'

         con = pymysql.connect(host=host, db=db, user=user, passwd=psd, charset=charset)

         cur = con.cursor()

         for i in list_d:
             print(i)
             sql = (
                 "insert into gly(此处省略)"
                 "values(此处省略)")
             list_m = [i[0], i[1]]  # i[0]为频道名  i[1]为数据
             try:
                 cur.execute(sql, list_m)
                 print('insert success')
             except Exception as e:
                 print('insert error', e)
                 con.rollback()
             else:
                 con.commit()
         cur.close()
         con.close()

 if __name__ == '__main__':
     bd = BD()
     list_d = bd.get_data()
     bd.save_data(list_d)

xilanye.py

 import pymysql
 import json
 import time
 import hashlib
 import requests
 from lxml import etree
 import re

 # 娱乐频道先删除掉
 # 体育频道有导航栏目前还无法获取data，先过滤掉

 class XLY(object):
     def __init__(self):
         self.no_results_channel = []  # 存储没有数据的频道
         self.proxy = {
             'https': '....'
         }
         self.sum_data = 0

     def get_data(self):
         host = '127.0.0.1'
         db = 'bd'
         user = 'root'
         pwd = ''
         charset = 'utf8'
         con = pymysql.connect(host=host, db=db, user=user, passwd=pwd, charset=charset)

         datas = []
         cur = con.cursor()
         sql = 'select * from gly'
         try:
             cur.execute(sql)
             results = cur.fetchall()
             i = 0
             for result in results:
                 i += 1
                 data = []
                 # 读出来是元组类型，转化为列表返回
                 result = list(result)
                 if '{"100":[]}' in result[1]:
                     self.no_results_channel.append(result[0])
                     print('no results channel:', result[0])
                 elif 'navigatorItems' in result[1]:
                     print('有导航栏的频道，还没有处理')
                 else:
                     data = [result[0], result[1]]
                     datas.append(data)
                     print('get_data')
                 print('=' * 20, i)
                 # if i == 5:
                 #     break
         except Exception as e:
             print('error', e)
             con.rollback()
         else:
             con.commit()
         return datas

     def parse_data(self, datas):
         items = []
         for data in datas:
             channel = data[0]
             channel_data = data[1]
             channel_data = json.loads(channel_data)
             channel_data = channel_data['data']['']['itemlist']['items']

             for text in channel_data:
                 print('='*20)
                 item = {}
                 try:
                     mode = text['data']['mode']
                 except:
                     mode = ''
                     print('mode not found')
                 # 根据mode判断是否为文章，过滤掉图集广告
                 if mode == 'text':
                     此处省略

                     m1 = hashlib.md5()
                     m1.update(item['urlname'].encode("utf8"))
                     item['hkey'] = m1.hexdigest()

                     try:
                         item['comments'] = text['data']['comment_num'][:-2]
                     except:
                         item['comments'] = ''
                         print('no comment_num')

                     # 解析content
                     content, url_time = self.parse_content(item['urlname'])
                                                               print(item)
                     self.save_data(item)
                 if item != {}:
                     items.append(item)
         return items

     def parse_content(self, url):
         # 根据每一篇文章获取content， url_time
         response = requests.get(url, proxies=self.proxy, verify='此处省略.pem')
         text = response.text
         element = etree.HTML(text)
         contents = element.xpath('//p[@class="contentText contentSize contentPadding"]//text()')
         url_time = element.xpath('//div[@class="infoSet"]//text()')
         try:
             if '17-' in url_time:
                 url_time = re.sub('', '', url_time)
                 print(url_time)
             else:
                 url_time = '2018-' + str(url_time[1])
         except:
             url_time = ''
         if not contents:
             contents = ''
         else:
             contents = ''.join(contents)
         return contents, url_time

     def save_data(self, item):
         host = '127.0.0.1'
         db = 'bd'
         user = 'root'
         pwd = ''
         charset = 'utf8'

         con = pymysql.connect(host=host, db=db, user=user, passwd=pwd, charset=charset)
         cur = con.cursor()
         sql = 'insert into xly(此处省略)' \
               'values(此处省略)'
         list = [此处省略]
         try:
             cur.execute(sql, list)
             print('insert success')
             self.sum_data += 1
             print('成功插入数据库第{}条'.format(self.sum_data))
         except Exception as e:
             print('error~~', e)
             con.rollback()
         else:
             con.commit()
         # cur.execute(sql, list)
         cur.close()
         con.close()

 if __name__ == '__main__':
     xly = XLY()
     datas = xly.get_data()
     items = xly.parse_data(datas)