2017-11-11 Sa Oct Spider

4:33 PM

Again.

Firstly test liburl:

# -*- coding: utf-8 -*-

import json

import datetime

import HTMLParser

import urlparse

import urllib

import urllib2

import cookielib

import string

import re

import sys

import threading

import os

import tempfile

from bs4 import BeautifulSoup

from prettytable import PrettyTable

reload(sys)

sys.setdefaultencoding("utf-8")

def openWithBrowser(filename):

    os.system('python -m webbrowser "{}"'.format(filename))

name = 'xxx'

no = 'xxx'

hosturl = 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

posturl = 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

cj = cookielib.LWPCookieJar()

cookie_support = urllib2.HTTPCookieProcessor(cj)

opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

urllib2.install_opener(opener)

h = urllib2.urlopen(hosturl)

headers = {

    'User-Agent' : 'Mozilla/5.0 (iPad; U; CPU OS 3_2_1 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/7B405',

    'Referer' : 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

}

idx = name + ' ' + no

postData = {

    '__VIEWSTATE' : '/wEPDwULLTE3NzI1OTE3OTFkZJk4xBOpTGvHILGFeCbFQfQQv9dbWzdoB6AOexN4BTx0',

    '__EVENTVALIDATION' : '/wEWBQLMmfO1BgL7uPQdAt765bwOAsaZ0ZUMApn3i+sBQi9nlVqoFrBfAjkxtVAWnUBZPnKm6VON7F01iBJzBXw=',

    'name' : name,

    'pwd' : '12345',

    'btnchange' : '登录',

    'xuehao' : no

}

postData = urllib.urlencode(postData)

request = urllib2.Request(posturl, postData, headers)

response = urllib2.urlopen(request, timeout=5)

with tempfile.NamedTemporaryFile(suffix='.html', delete=False) as f:

    f.write(response.read())

    openWithBrowser(f.name)

Good. Nothing changed. Them apply the table.

5:09 PM

# -*- coding: utf-8 -*-

import json

import datetime

import HTMLParser

import urlparse

import urllib

import urllib2

import cookielib

import string

import re

import sys

import threading

import os

import tempfile

from bs4 import BeautifulSoup

from prettytable import PrettyTable

reload(sys)

sys.setdefaultencoding("utf-8")

def openWithBrowser(filename):

    os.system('python -m webbrowser "{}"'.format(filename))

version = datetime.datetime.now().strftime("%y-%m-%d %a %b %H-%M-%S result")

os.mkdir(version)

hosturl = 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

posturl = 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

cj = cookielib.LWPCookieJar()

cookie_support = urllib2.HTTPCookieProcessor(cj)

opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

urllib2.install_opener(opener)

h = urllib2.urlopen(hosturl)

headers = {

    'User-Agent' : 'Mozilla/5.0 (iPad; U; CPU OS 3_2_1 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/7B405',

    'Referer' : 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

}

def get(name, no):

    global hosturl, posturl, cj, cookie_support, opener, h, headers

    postData = {

        '__VIEWSTATE' : '/wEPDwULLTE3NzI1OTE3OTFkZJk4xBOpTGvHILGFeCbFQfQQv9dbWzdoB6AOexN4BTx0',

        '__EVENTVALIDATION' : '/wEWBQLMmfO1BgL7uPQdAt765bwOAsaZ0ZUMApn3i+sBQi9nlVqoFrBfAjkxtVAWnUBZPnKm6VON7F01iBJzBXw=',

        'name' : name,

        'pwd' : '12345',

        'btnchange' : '登录',

        'xuehao' : no

    }

    postData = urllib.urlencode(postData)

    request = urllib2.Request(posturl, postData, headers)

    response = urllib2.urlopen(request, timeout=5)

    with open('{}/{}.html'.format(version, no), 'w') as f:

        f.write(response.read().replace('<head>', '<head><meta charset="utf-8">'))

with open('result_utf8.csv', "rb") as f:

    print version

    for line in f:

        (name, no, x1, x2) = line.split(',')

        try:

            get(name, no)

        except:

            pass

It took some time to output to Chinese filename. Gave up eventually. It even raised exception when I printed name (Chinese) to the console (decode stuff).

Then I'd write a reporter.

6:41 PM

# -*- coding: utf-8 -*-

import json

import datetime

import HTMLParser

import urlparse

import urllib

import urllib2

import cookielib

import string

import re

import sys

import threading

import os

import tempfile

from bs4 import BeautifulSoup

from prettytable import PrettyTable

import Tkinter

reload(sys)

sys.setdefaultencoding("utf-8")

csv = [line.split(',') for line in open('result_utf8.csv')]

def getname(no):

    for i in csv:

        if i[1] == no:

            return i[0]

    return ''

def getcourse(filename):

    s = open(filename).read()

    i = s.find('退选')

    if i != -1:

        trbegin = s.find('<tr>', i)

    # s[trbegin...] e.g.

    # <tr>

    #                                         <td width="10%">

    #                                     <a id="GridView1_ctl02_LinkButton1" href="ja

    # vascript:__doPostBack('GridView1$ctl02$LinkButton1','')">348</a>

    #

    #                                 </td><td>12</td><td>生物培优班</td><td>xxx</td><td>&n

    # bsp;</td><td width="10%">

    #                                     <a id="GridView1_ctl02_LinkButton2" href="ja

    # vascript:__doPostBack('GridView1$ctl02$LinkButton2','')">退选</a>

    #                                </td>

        trend = s.find('</tr>', trbegin)

        read = 0

        res = ''

        i = trbegin

        while i < trend:

            if s[i] == '<':

                while s[i] != '>':

                    i += 1

                i += 1

                continue

            end = False

            while s[i] != '<':

                if s[i] == '&':

                    end = True

                    break

                res += s[i]

                i += 1

            if end:

                break

            res += ' '

        res2 = ''

        i = 0

        while i < len(res) and not (res[i] in "0123456789"):

            i += 1

        while i < len(res):

            if res[i] == '\n':

                i += 1

            else:

                res2 += res[i]

                if res[i] == ' ':

                    while i < len(res) and res[i] == ' ':

                        i += 1

                else:

                    i += 1

        return res2

    return ''

def report():

    with tempfile.NamedTemporaryFile(suffix='.html', delete=False) as f:

        wd = workdir.get()

        os.chdir(wd)

        f.write('<head><meta charset="utf-8"></head>')

        f.write('<h1>Spider report</h1>')

        f.write('<p><b>Version {}</b></p>'.format(wd))

        f.write('<table>')

        for i in os.listdir('.'):

            (no, x1) = i.split('.')

            name = getname(no)

            s = getcourse(i)

            f.write('<tr><th>{}</th><th>{}</th><td>{}</td></tr>'.format(no, name, s))

        os.system('python -m webbrowser {}'.format(f.name))

        os.chdir('..')

gui = Tkinter.Tk()

workdir = Tkinter.StringVar()

Tkinter.Button(gui, text="Report", command=report).pack(side=Tkinter.LEFT)

Tkinter.Entry(gui, textvariable=workdir, width=40).pack(side=Tkinter.LEFT)

gui.mainloop()

2017-11-11 Sa Oct Spider的更多相关文章

  1. 2017年11月Dyn365/CRM用户社区活动报名

    UG是全球最大Dynamics的用户组织,由最终用户自发组织,由行业有经验的专家自愿贡献知识和经验的非营利机构,与会人员本着务实中立的态度,不进行推介产品,服务以及其他营销行为.在美国,微软Dynam ...

  2. WPS 表格筛选两列相同数据-完美-2017年11月1日更新

    应用: 1.选出A列中的数据是否在B列中出现过: 2.筛选出某一批序号在一个表格里面的位置(整批找出) 3.其实还有其他很多应用,难描述出来... ... A列中有几百的名字,本人想帅选出B列中的名字 ...

  3. 2017年11月GitHub上最热门的Java项目出炉

    2017年11月GitHub上最热门的Java项目出炉~ 一起来看看这些项目你使用过哪些呢? 1分布式 RPC 服务框架 dubbohttps://github.com/alibaba/dubbo S ...

  4. 2017.11.11 B201 练习题思路及解题方法

    2017.11.11 B201 练习题思路及解题方法 题目类型及涵盖知识点 本次总共有6道题目,都属于MISC分类的题目,涵盖的知识点有 信息隐藏 暴力破解 音轨,摩斯电码 gif修改,base64原 ...

  5. 【主席树维护mex】 【SG函数递推】 Problem H. Cups and Beans 2017.8.11

    Problem H. Cups and Beans 2017.8.11 原题: There are N cups numbered 0 through N − 1. For each i(1 ≤ i ...

  6. 2017-11-11 Sa Oct 消参

    2017-11-11 Sa Oct 消参 Prior versions: 2017-11-04 Sa Oct 消参 2017-11-10 Fr Oct 消参 2017-11-04 Sa $ P(-3, ...

  7. NOIp 11.11/12

    最后一场比较正式的NOIp模拟赛,写一发小总结.题目没什么好说的,大部分很简单,先贴一下代码. 1111 T1 //string //by Cydiater //2016.11.11 #include ...

  8. 11.11光棍节工作心得——github/MVP

    11.11光棍节工作心得 1.根据scrum meeting thirdday中前辈的指导进行学习 我在博客中贴了链接,竟然TrackBack引来了原博主,

  9. 下面程序的输出结果是____ A:11,10 B:11,11 C:10,10 D:10,11 int x=10; int y=x++; printf("%d,%d",(x++,y),y++);

    下面程序的输出结果是____ A:11,10 B:11,11 C:10,10 D:10,11 int x=10; int y=x++; printf("%d,%d",(x++,y) ...

随机推荐

  1. freemaker学习

    1,依赖 <!-- Spring Boot Freemarker 依赖 --><dependency> <groupId>org.springframework.b ...

  2. 18.23 inline函数功能

    GUN的C关键字,在函数定义中函数返回类型前加上关键字inline,可以把函数指定为内联函数.关键字inline必须与函数定义放在一起才能使函数成为内联,仅仅将inline放在函数声明前面不起任何作用 ...

  3. GP中Geoprocessor.Execute(string name, IVariantArray parameters, ITrackCancel trackCancel)

    在做一个项目的过程中,发现GP运算方法 Execute(string name, IVariantArray parameters, ITrackCancel trackCancel) 与Execut ...

  4. RN—Android 物理返回键监听

    A → B 使用 navigator 导航,用 goBack() 返回的时候传递参数 在 A 页面 this.props.navigation.navigate("B", { ca ...

  5. Git使用，将本地项目推送到GitHub上

    首先本地仓库中创建一个项目 ex: proA 在远程github仓库中创建项目 ex: proA 在本地仓库proA下打开terminal 使用命令: 1.git add * 2.git commit ...

  6. zxing生成二维码和条码

    /*** * 生成二维码方法 * @param str 生成内容 * @param widthHeight 宽度和高度 * @return * @throws WriterException */ p ...

  7. python之路——22

    学习内容 1.初识面向对象 类:抽象的,模子 对象:具体的,根据类规范 代码精简,修改方便,属性规范2.对象 查看属性 调用方法 __dict__,增删改查,通过字典语法进行3.类名 1.实例化 2. ...

  8. Java中final、finally、finalize有什么区别？

    final.finally和finalize的区别是什么? final: 最终的意思,可以修饰类,方法和变量. 它修饰的类,不能被继承 它修饰的方法,不能被重写 它修饰的变量,不能被改变 finall ...

  9. 如何限制指定textFiled第三方输入法切换

    在有些项目中需要用到输入纯数字的键盘,并且还不能切换到第三方输入法! textFiled.secureTextEntry = YES; [textFiled addTarget:self action ...

  10. WebApi设置HttpContext.Current.User

    1.Web.config配置上system.web节点下加入以下配置 <system.web> <authentication mode="Forms"> ...