python 批量爬取四级成绩单

使用本文爬取成绩大致有几个步骤：1、提取表格（或其他格式文件——含有姓名，身份证等信息）中的数据，为进行准考证爬取做准备。2、下载准考证文件并提取出准考证和姓名信息。3、根据得到信息进行数据分析和存储。

所有需要的工具库：

import urllib
import requests
import xlrd
import json
import re
import time
import os
import operator

from aip import AipOcr
from selenium import webdriver
from PIL import Image

　　

　　

准考证下载网址：http://cet-bm.neea.edu.cn/Home/QuickPrintTestTicket

使用查分数网址：http://cet.neea.edu.cn/cet/

具体实现：

一、提取姓名身份证信息并获取下载url关键信息

# 创建session访问对象
session = requests.session()
session.headers = {'打开对应网站http://cet-bm.neea.edu.cn/Home/QuickPrintTestTicket，复制cookies，必需！！！'}

# 得到身份证和姓名信息

# 返回一个包含名字和id的列表
def get_name_id():
    xls_data = xlrd.open_workbook(r'你的表格.xls')
    tables = xls_data.sheets()[0]
    for i in range('范围'):
        rows = tables.row_values(i)
        id = rows[7]

        # 对中文进行了url编码处理
        name = urllib.parse.quote(rows[5])
        yield [name, id]

list_info = get_name_id()

# 经过观察发现下载链接中只有一个sid参数有变化，所以我们下面筛选出sid参数并保存

# 需要手动到网站上点一个验证码， 时间大概在一分钟
# 到时后可能会有变动，请根据具体情况修改
yzm = '验证码'

# 存储最终数据
data = []

for i in list_info:

    # 参数provinceCode是省份编码，请根据具体情况及时修改
    # 另参数这里我没有用字典形式传入，所以中文转化成了url形式的
    res = session.post('http://cet-bm.neea.edu.cn/Home/ToQuickPrintTestTicket',
                       data='Name={}&verificationCode={}&provinceCode=34&IDNumber={}&IDTypeCode=1'.format(i[0], yzm, i[1]))

    # 处理数据 以便存储
    txt = res.content.decode('utf8')
    txt = txt.replace('\\', '')
    sid_one = re.findall("SID\":\"(.*?)\",", txt)[0]

    name_ = urllib.parse.unquote(i[0])
    data.append({'name': name_, 'sid': sid_one})

with open("sid.json", 'w') as f:
    f.write(json.dumps(data))

　　至此，我们得到了下载地址

二、下载文件并读取

with open('sid.json', 'r') as f:
    sid = json.loads(f.read())

# 下载地址列表
urls = []
for i in sid:
    url = 'http://cet-bm.neea.edu.cn/Home/DownTestTicket?SID={}'.format(i['sid'])
    urls.append([url, i['name']])

for i in urls:
    response = requests.get(i[0])

    # 这里注意保存格式一定要写对！！！
    # 不然是很头疼的一件事
    with open(r'pdf\{}.zip'.format(i[1]), 'wb') as f:
        f.write(response.content)
    print('success')

　　这一步我们下载了准考证文件，注意最好创建一个新文件夹保存下载的文件，另外，前一篇写到的批量解压文件又用到了，自己修改一下即可

　　下面一段代码我们分析准考证号信息并另存为json文件

# 打开pdf文件并读取，网上很容易找到，这里也只做采用
def open_one_pdf(url):
    # 定义变量接收我们所需的数据
    admission_ticket_number = []
    name = []

    #  文件对象
    pd_file = open(url, 'rb')

    #  pdf文件解析对象
    parser = PDFParser(pd_file)

    # print(parser)
    #  pdf文档对象
    document = PDFDocument()
    parser.set_document(document)
    document.set_parser(parser)

    #  初始化文档密码
    document.initialize()
    if document.is_extractable:
        print(True)
    else:
        raise PDFTextExtractionNotAllowed

    #  存储文档资源
    src = PDFResourceManager()

    #  设备对象
    device = PDFPageAggregator(src, laparams=LAParams())

    #  解释器对象

    inter = PDFPageInterpreter(src, device)

    pages = document.get_pages()

    # 总文本
    str_total = ''

    for page in pages:
        inter.process_page(page)
        layout = device.get_result()
        for x in layout:
            if isinstance(x, LTTextBoxHorizontal):
                str_total += str(x.get_text())

    # 提取所需数据
    admission_ticket_number.append(re.findall('准考证号：(.*?)\n', str_total, re.S)[0])
    name.append(re.findall('姓名：(.*?)\n', str_total, re.S)[0])

    return {'admission_ticket_number': admission_ticket_number, 'name': name}

# 存储所有爬取对象的信息
data_list = []

for file in os.listdir('你的文件目录'):
    if file.endswith('.pdf'):
        # 斜杠别删了，这里没有使用os.path
        data_list.append(open_one_pdf('你的文件目录\' + file))
    else:
        pass

with open('admission_num.json', 'w') as f:
    f.write(json.dumps(data_list))

　　到这里，我们得到了准考证信息

三、爬取成绩

# 百度api识别验证码
def deal_yzm():
    """ 你的 APPID AK SK """
    APP_ID = ''
    API_KEY = ''
    SECRET_KEY = ''
    client = AipOcr(APP_ID, API_KEY, SECRET_KEY)

    def get_file_content(filePath):
        with open(filePath, 'rb') as fp:
            return fp.read()

    url = r'yzm.png'
    image = get_file_content(url)

    """ 调用文字识别, 图片参数为本地图片 """
    x = client.basicAccurate(image)
    # 一天500次，一般情况足够使用

    # 设置时间间隔，减少出错率
    time.sleep(1)

    # 筛选 这里的条件是识别出的结果只有一个且长度为4，请自行修改
    if x['words_result_num'] == 1 and len(x['words_result'][0]['words'].replace(' ', '')) == 4:
        return x['words_result'][0]['words'].replace(' ', '')
    else:
        return 'none'

# 保存验证码
# webdriver提取元素的路径可能会有变动，使用前请检查
def save_yzm(img):
    src_url = img.get_attribute('src')
    response = requests.get(src_url)
    with open('yzm.png', 'wb') as f:
        f.write(response.content)

    # 几次试验得到的结果，可能转为灰度更易识别
    I = Image.open('yzm.png')
    L = I.convert('1')
    L.save('yzm.png')

# 保存失败和成功信息的列表
fail = []

while True:

    # 加载准考证和姓名信息
    # 如果有失败记录文件则使用失败记录中的数据
    if os.path.exists('fail.json'):
        with open('fail.json', 'r') as f:
            data = json.loads(f.read())
    else:
        with open('admission_num.json', 'r') as f:
            data = json.loads(f.read())

    # 有分数记录则继续添加
    if os.path.exists('score.json'):
        with open('score.json', 'r') as f:
            score = json.loads(f.read())
    else:
        score = []

    # 遍历列表中的准考证和姓名信息
    for i in data:

        # 创建Chrome对象
        driver = webdriver.Chrome()

        # driver等待时间
        driver.implicitly_wait(3)

        number = i["admission_ticket_number"][0]
        name = i['name'][0]
        driver.get('http://cet.neea.edu.cn/cet/')

        # 获取元素
        btn_id = driver.find_element_by_xpath('//*[@id="zkzh"]')
        btn_name = driver.find_element_by_xpath('//*[@id="name"]')
        btn_yzm = driver.find_element_by_xpath('//*[@id="verify"]')
        btn_submit = driver.find_element_by_xpath('//*[@id="submitButton"]')
        btn_id.send_keys(number)
        btn_name.send_keys(name)
        btn_yzm.click()
        # 点击后验证码出现　　

        # 等待加载
        time.sleep(1)
        img = driver.find_element_by_xpath('//*[@id="img_verifys"]')
        # 保存图片 得到验证码
        save_yzm(img)

        # 识别出的字符值
        value = deal_yzm()

        # 处理识别失败的情况，有一类加入了干扰线，不好识别
        # 这里选择刷新重复上传识别
        while value == 'none':
            img_change = driver.find_element_by_xpath('//*[@id="verifysStrDiv"]/a')
            img_change.click()
            time.sleep(1)
            save_yzm(img)
            value = deal_yzm()

        # 发送验证码并点击提交
        btn_yzm.send_keys(value)
        btn_submit.click()

        # 等待
        time.sleep(1)

        # 因为登陆失败会有alert弹窗，driver会有错误提示，会结束程序，所以使用错误处理
        try:
            source = driver.page_source
        except:
            source = ''

        if '找出成绩单中的标志性信息，如学校等' not in source:
            print('验证码获取不正确，请重新执行一次\n 失败id{}已保存至fail.json'.format(i))
            fail.append(i)
            driver.close()
            continue

        # 筛选成绩
        score_one = re.findall('<span id="s">(.*?)</span>', source, re.S)
        print({'name': i['name'][0], 'score': score_one})
        score.append({'name': i['name'][0], 'score': score})

        driver.close()

    with open('fail.json', 'w') as f:
        f.write(json.dumps(fail))

    with open('score.json', 'w') as f:
        f.write(json.dumps(score))

    if not fail:
        break

　　至此已经做完了数据的爬取，下面进行数据分析：

with open('score.json', 'r')as f:
    data = json.loads(f.read())

sorted_x = sorted(data, key=operator.itemgetter('score'))
flag = 1
for i in sorted_x:
    if i['score'][0] > '425' and flag == 1:
        flag += 1
        print("".center(60, '='))
    print(i['name'] + '\t\t' + i['score'][0])

os.system('pause')

　　打印排序后的成绩，在第一个大于425的数后面加一个横线，暂停

代码和文章结构可能有些不调理，存在许多不足，使用时请自行修改