python爬虫学习(4) —— 手刃「URP教务系统」

0. 本爬虫目标

模拟登陆URP教务系统
查询本学期/历年成绩
计算历年成绩的绩点

下面是一点废「私」话「货」：

一般情况，查询成绩大家会通过如下方式：

登陆信息门户 -> 转到教学空间 -> 选择教务管理 -> 选择综合查询

最终可以看到你的成绩

吐槽一下，查询成绩必须使用IE内核的浏览器，在IE11中还需要设置兼容性，非IE内核的浏览器是无法查看成绩的。

好。我们查看一下源代码，或者凭经验可以发现，，这个「成绩」是嵌套在一个frame框架中的。

啊，，好蛋疼啊。。。。。

啊，，好蛋疼啊。。。。。

啊，，好蛋疼啊。。。。。

是的，，，事实上，，我们可以发现四个页面：

本学期成绩： http://bksjw.chd.edu.cn/bxqcjcxAction.do

学年成绩：http://bksjw.chd.edu.cn/gradeLnAllAction.do?type=ln&oper=qbinfo&lnxndm

方案成绩：http://bksjw.chd.edu.cn/gradeLnAllAction.do?type=ln&oper=fainfo&fajhh=3792

打印成绩：http://bksjw.chd.edu.cn/reportFiles/student/cj_zwcjd_all.jsp

抛开这些，试着点击一下注销，，我靠，我们从信息门户跳转到了URP教务系统。。

实际上，信息门户的系统只是以框架的形式将URP教务系统的页面嵌套进来，那就不奇怪了！

更神奇的是，，，，，啊，，在没有修改密码的情况下，，所有人。。。。。是的，是所有人。。。。

*默认帐号密码都是自己的学号！！！！！自己的学号，己的学号，的学号~~~~~*

所以，，，我们下面。直接拿URP来开刀，，，，查询成绩以及计算绩点！！

1. 模拟登陆URP教务系统

1.1 页面分析

打开IE浏览器 -> 按F12打开调试工具 -> 进入URP综合教务系统的主页

输入帐号密码，登陆系统，页面跳转，观察页面的信息
- IE下看不到表单数据，但是非IE内核却又不能查看成绩，怎么办，，先到非IE内核浏览器下查看表单数据，再回来？其实你可以用其他抓包工具啊，比如 httpwatch 吖。
- 另外一个问题需要明白，我们post的URL并非是主页http://bksjw.chd.edu.cn/
  
  而是`http://bksjw.chd.edu.cn/loginAction.do```，这个我们在分析过程中是可以发现的

我们可以看到headers，cookies，postdata等我们需要的数据

模拟登陆的关键就是这个 Form Data

1.2 尝试登陆

#coding=utf-8

import urllib,urllib2,cookielib

# hosturl用于获取cookies, posturl是登陆请求的URL

hosturl = 'http://bksjw.chd.edu.cn/'

posturl = 'http://bksjw.chd.edu.cn/loginAction.do' 

#获取cookies

cj = cookielib.LWPCookieJar()

cookie_support = urllib2.HTTPCookieProcessor(cj)

opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

urllib2.install_opener(opener)

h = urllib2.urlopen(hosturl)  

# 伪装成浏览器，反“反爬虫”——虽然我们学校的URP好像没有做反爬虫

headers = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729)',

    'Referer':'http://bksjw.chd.edu.cn/'}

# 构造POST数据 用户名和密码，，自行修改啊，，别乱来啊。

postData = {

    'dllx':'dldl',

    'zjh':'xxxx',

    'mm':'xxxx' }

postData = urllib.urlencode(postData)

# 构造请求

request = urllib2.Request( posturl, postData, headers )

# 登陆

urllib2.urlopen(request)

2. 查询成绩

好的，我们成功模拟登陆URP系统，接下来。。继续分析吧。。。

查看源代码。。。发现，，这个URP系统是一个框架套一个框架。简直爆炸。。

没关系，我们仔细找，最终可以找到类似如下的地址，，是的，这正是我们需要的，其实就是我上面说的那四个。。。。。

我们接着写

#coding=utf-8

import urllib,urllib2,cookielib

# hosturl用于获取cookies, posturl是登陆请求的URL

hosturl = 'http://bksjw.chd.edu.cn/'

posturl = 'http://bksjw.chd.edu.cn/loginAction.do' 

#获取cookies

cj = cookielib.LWPCookieJar()

cookie_support = urllib2.HTTPCookieProcessor(cj)

opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

urllib2.install_opener(opener)

h = urllib2.urlopen(hosturl)  

# 伪装成浏览器，反“反爬虫”——虽然我们学校的URP好像没有做反爬虫

headers = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729)',

    'Referer':'http://bksjw.chd.edu.cn/'}

# 构造POST数据

postData = {

    'dllx':'dldl',

    'zjh':'201224060201',

    'mm':'XXXXXXXX' }

postData = urllib.urlencode(postData)

# 构造请求

request = urllib2.Request( posturl, postData, headers )

# 登陆

urllib2.urlopen(request)

# 用一个方案成绩做测试

testurl = 'http://bksjw.chd.edu.cn/gradeLnAllAction.do?type=ln&oper=fainfo&fajhh=3792'

save = urllib2.urlopen(testurl).read()

open( 'score.html', "w").write(save)

可以看到，程序运行之后，桌面上产生了一个 score.html 我们查询到了自己的方案成绩，nice！

一个应该注意的问题

在linux下html可能会出现乱码，原因是，保存下来的html代码并没有指明编码方式，好蛋疼的代码啊

我们用如下方法来处理：

testurl = 'http://bksjw.chd.edu.cn/gradeLnAllAction.do?type=ln&oper=fainfo&fajhh=3792'

head = '<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">'

save = head + urllib2.urlopen(testurl).read().decode('GBK').encode('UTF-8')

open( 'score.html', "w").write(save)

3. 计算绩点

还是看源代码，，发现，，，，好垃圾的代码，，好乱的代码。。。。。。无语

最后可以发现，每门成绩对应的html代码如下：

大框架是一个<tr>xxxxxxx</tr>，，开始尝试写正则表达式

却发现又存在一个问题，，，空格好多，，而且代码好乱

怎么办。。。强行写了一个很难看的RE表达式：

reg = re.compile(r'<tr class="odd".*?>.*?<td.*?</td>.*?<td.*?</td>.*?<td.*?</td>.*?<td.*?</td>.*?<td align="center">\s*(\S+)\s*</td>.*?<td.*?</td>.*?<td align="center">.*?<p align="center">(.*?)&nbsp.*?</P>.*?</td>.*?<td.*?</td>.*?</tr>.*?',re.S)

使用正则表达式匹配出每门课的学分和分数，相乘之后相加，最后再除以总学分数，就OK了

\[GPA =\frac{\sum credit \times grade }{\sum credit }
\]

然而，还有一个问题需要解决，，我的天，，，有些成绩给的是等级「优秀、良好之类云云」，而不是分数。

好吧，我们首先把字符统一转化为utf-8，然后再进行判断，转化为浮点型进行计算

那就有了如下函数：

def calc_gpa(self):

    reg = re.compile(r'<tr class="odd".*?>.*?<td.*?</td>.*?<td.*?</td>.*?<td.*?</td>.*?<td.*?</td>.*?<td align="center">\s*(\S+)\s*</td>.*?<td.*?</td>.*?<td align="center">.*?<p align="center">(.*?)&nbsp.*?</P>.*?</td>.*?<td.*?</td>.*?</tr>.*?',re.S)

    myItems = reg.findall(self.score_html)

    score = []

    credit = []

    sum = 0.0

    weight = 0.0

    for item in myItems:

        credit.append(item[0])

        score.append(item[1])

    for i in range(len(score)):

        try:

            we = float(credit[i])

            add = float(score[i])

            sum += add*we

            weight += we

        except:

            if score[i] == "优秀":

                sum += 95.0*we

                weight += we

            elif score[i] == "良好":

                sum += 85.0*we

                weight += we

            elif score[i] == "中等":

                sum += 75.0*we

                weight += we

            elif score[i] == "及格":

                sum += 60.0*we

                weight += we

            else:

                weight += we

    if weight == 0 :

        return

    print 'your GPA is ', sum/weight

4. 最终成果

是的，最后我实现了以四种模式查看成绩，计算GPA两个功能。

5. 一点扩展

如果是在windows下，我们还可以使用 PyInstaller 把python程序 .py转为 .exe 可执行程序

我只说一点，，，，切记不要放在中文目录，，否则你会死的很难看。。。。

6. 源代码

代码有点撮不是很想贴，，你可以在我的 github 中找到，算了，还是贴出来吧

#!/usr/bin/python

# -*- coding: utf-8 -*-

__author__ = 'BG'  

import urllib, urllib2

import cookielib

import re

class URP:

    def __init__(self,username,password):

        self.usr = username

        self.psw = password

        self.hosturl = 'http://bksjw.chd.edu.cn/'

        self.posturl = 'http://bksjw.chd.edu.cn/loginAction.do' 

        cj = cookielib.LWPCookieJar()

        cookie_support = urllib2.HTTPCookieProcessor(cj)

        opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

        urllib2.install_opener(opener)

        h = urllib2.urlopen(self.hosturl)  

        self.headers = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729)',

            'Referer':'http://bksjw.chd.edu.cn/'}

        self.postData = {'dllx':'dldl','zjh':self.usr,'mm':self.psw }

        self.postData = urllib.urlencode(self.postData)

        self.request = urllib2.Request( self.posturl, self.postData, self.headers )  

    def login(self):

        flag = False

        try:

            urllib2.urlopen(self.request)

            urllib2.urlopen('http://bksjw.chd.edu.cn/gradeLnAllAction.do?type=ln&oper=qbinfo&lnxndm').read()

        except urllib2.HTTPError, e:

            print '-----------------------------------------------------------'

            print 'Login Failed [%s], maybe your username or password is error!'  %e.code

            print '-----------------------------------------------------------'

        else:

            print '-----------------------------------------------------------'

            print 'Login Successful'

            print '-----------------------------------------------------------'

            flag = True

        return flag

    def BXQ_score(self):

        self.score_html = urllib2.urlopen('http://bksjw.chd.edu.cn/bxqcjcxAction.do').read()

    def NJ_score(self):

        self.score_html = urllib2.urlopen('http://bksjw.chd.edu.cn/gradeLnAllAction.do?type=ln&oper=qbinfo&lnxndm').read()

    def TAB_score(self):

        self.score_html = urllib2.urlopen('http://bksjw.chd.edu.cn/reportFiles/student/cj_zwcjd_all.jsp').read()

    def FA_score(self):

        self.score_html = urllib2.urlopen('http://bksjw.chd.edu.cn/gradeLnAllAction.do?type=ln&oper=fainfo&fajhh=3792').read()

    def calc_gpa(self):

        reg = re.compile(r'<tr class="odd".*?>.*?<td.*?</td>.*?<td.*?</td>.*?<td.*?</td>.*?<td.*?</td>.*?<td align="center">\s*(\S+)\s*</td>.*?<td.*?</td>.*?<td align="center">.*?<p align="center">(.*?)&nbsp.*?</P>.*?</td>.*?<td.*?</td>.*?</tr>.*?',re.S)

        myItems = reg.findall(self.score_html)

        score = []

        credit = []

        sum = 0.0

        weight = 0.0

        for item in myItems:

            credit.append(item[0])

            score.append(item[1])

        for i in range(len(score)):

            try:

                we = float(credit[i])

                add = float(score[i])

                sum += add*we

                weight += we

            except:

                if score[i] == "优秀":

                    sum += 95.0*we

                    weight += we

                elif score[i] == "良好":

                    sum += 85.0*we

                    weight += we

                elif score[i] == "中等":

                    sum += 75.0*we

                    weight += we

                elif score[i] == "及格":

                    sum += 60.0*we

                    weight += we

                else:

                    weight += we

        if weight == 0 :

            return

        print 'your GPA is ', sum/weight

    def save_html(self):

        fout=open("score.html","w")

        head = '<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">'

        self.score_html = head + self.score_html.decode('GBK').encode('UTF-8')

        fout.write(self.score_html)

        print '-----------------------------------------------------------'

        print 'The result was saved in score.html\nGod bless you!!!!!!'

def query_score():

    print 'Please input your username:'

    usr = raw_input()

    print 'Please input your password:'

    psw = raw_input()

    urp = URP(usr,psw)

    if urp.login() == True:

        print 'Please choose an mode:'

        print '1 - your score of each subject in this term'

        print '2 - all of your score in each term'

        print '3 - all of your score in a table'

        print '4 - all of your score by plan'

        choose = raw_input()

        if choose == '1':

            urp.BXQ_score()

        elif choose == '2':

            urp.NJ_score()

        elif choose == '3':

            urp.TAB_score()

        else:

            urp.FA_score()

        urp.save_html()

        urp.calc_gpa()

    else:

        return

if __name__ == '__main__':

    query_score()

    raw_input ('Press Enter to exit!')

7. TODO

我又更新了一个版本，可以获取自己的证件照。。其实就是入学时候的身份证照片。丑到爆。。

本来想把全年级同学的照片都爬下来，后来想想不是很道德。还是算了吧。