2017-11-11 Sa Oct Spider

4:33 PM

Again.

Firstly test liburl:

# -*- coding: utf-8 -*-

import json

import datetime

import HTMLParser

import urlparse

import urllib

import urllib2

import cookielib

import string

import re

import sys

import threading

import os

import tempfile

from bs4 import BeautifulSoup

from prettytable import PrettyTable

reload(sys)

sys.setdefaultencoding("utf-8")

def openWithBrowser(filename):

    os.system('python -m webbrowser "{}"'.format(filename))

name = 'xxx'

no = 'xxx'

hosturl = 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

posturl = 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

cj = cookielib.LWPCookieJar()

cookie_support = urllib2.HTTPCookieProcessor(cj)

opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

urllib2.install_opener(opener)

h = urllib2.urlopen(hosturl)

headers = {

    'User-Agent' : 'Mozilla/5.0 (iPad; U; CPU OS 3_2_1 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/7B405',

    'Referer' : 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

}

idx = name + ' ' + no

postData = {

    '__VIEWSTATE' : '/wEPDwULLTE3NzI1OTE3OTFkZJk4xBOpTGvHILGFeCbFQfQQv9dbWzdoB6AOexN4BTx0',

    '__EVENTVALIDATION' : '/wEWBQLMmfO1BgL7uPQdAt765bwOAsaZ0ZUMApn3i+sBQi9nlVqoFrBfAjkxtVAWnUBZPnKm6VON7F01iBJzBXw=',

    'name' : name,

    'pwd' : '12345',

    'btnchange' : '登录',

    'xuehao' : no

}

postData = urllib.urlencode(postData)

request = urllib2.Request(posturl, postData, headers)

response = urllib2.urlopen(request, timeout=5)

with tempfile.NamedTemporaryFile(suffix='.html', delete=False) as f:

    f.write(response.read())

    openWithBrowser(f.name)

Good. Nothing changed. Them apply the table.

5:09 PM

# -*- coding: utf-8 -*-

import json

import datetime

import HTMLParser

import urlparse

import urllib

import urllib2

import cookielib

import string

import re

import sys

import threading

import os

import tempfile

from bs4 import BeautifulSoup

from prettytable import PrettyTable

reload(sys)

sys.setdefaultencoding("utf-8")

def openWithBrowser(filename):

    os.system('python -m webbrowser "{}"'.format(filename))

version = datetime.datetime.now().strftime("%y-%m-%d %a %b %H-%M-%S result")

os.mkdir(version)

hosturl = 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

posturl = 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

cj = cookielib.LWPCookieJar()

cookie_support = urllib2.HTTPCookieProcessor(cj)

opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

urllib2.install_opener(opener)

h = urllib2.urlopen(hosturl)

headers = {

    'User-Agent' : 'Mozilla/5.0 (iPad; U; CPU OS 3_2_1 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/7B405',

    'Referer' : 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

}

def get(name, no):

    global hosturl, posturl, cj, cookie_support, opener, h, headers

    postData = {

        '__VIEWSTATE' : '/wEPDwULLTE3NzI1OTE3OTFkZJk4xBOpTGvHILGFeCbFQfQQv9dbWzdoB6AOexN4BTx0',

        '__EVENTVALIDATION' : '/wEWBQLMmfO1BgL7uPQdAt765bwOAsaZ0ZUMApn3i+sBQi9nlVqoFrBfAjkxtVAWnUBZPnKm6VON7F01iBJzBXw=',

        'name' : name,

        'pwd' : '12345',

        'btnchange' : '登录',

        'xuehao' : no

    }

    postData = urllib.urlencode(postData)

    request = urllib2.Request(posturl, postData, headers)

    response = urllib2.urlopen(request, timeout=5)

    with open('{}/{}.html'.format(version, no), 'w') as f:

        f.write(response.read().replace('<head>', '<head><meta charset="utf-8">'))

with open('result_utf8.csv', "rb") as f:

    print version

    for line in f:

        (name, no, x1, x2) = line.split(',')

        try:

            get(name, no)

        except:

            pass

It took some time to output to Chinese filename. Gave up eventually. It even raised exception when I printed name (Chinese) to the console (decode stuff).

Then I'd write a reporter.

6:41 PM

# -*- coding: utf-8 -*-

import json

import datetime

import HTMLParser

import urlparse

import urllib

import urllib2

import cookielib

import string

import re

import sys

import threading

import os

import tempfile

from bs4 import BeautifulSoup

from prettytable import PrettyTable

import Tkinter

reload(sys)

sys.setdefaultencoding("utf-8")

csv = [line.split(',') for line in open('result_utf8.csv')]

def getname(no):

    for i in csv:

        if i[1] == no:

            return i[0]

    return ''

def getcourse(filename):

    s = open(filename).read()

    i = s.find('退选')

    if i != -1:

        trbegin = s.find('<tr>', i)

    # s[trbegin...] e.g.

    # <tr>

    #                                         <td width="10%">

    #                                     <a id="GridView1_ctl02_LinkButton1" href="ja

    # vascript:__doPostBack('GridView1$ctl02$LinkButton1','')">348</a>

    #

    #                                 </td><td>12</td><td>生物培优班</td><td>xxx</td><td>&n

    # bsp;</td><td width="10%">

    #                                     <a id="GridView1_ctl02_LinkButton2" href="ja

    # vascript:__doPostBack('GridView1$ctl02$LinkButton2','')">退选</a>

    #                                </td>

        trend = s.find('</tr>', trbegin)

        read = 0

        res = ''

        i = trbegin

        while i < trend:

            if s[i] == '<':

                while s[i] != '>':

                    i += 1

                i += 1

                continue

            end = False

            while s[i] != '<':

                if s[i] == '&':

                    end = True

                    break

                res += s[i]

                i += 1

            if end:

                break

            res += ' '

        res2 = ''

        i = 0

        while i < len(res) and not (res[i] in "0123456789"):

            i += 1

        while i < len(res):

            if res[i] == '\n':

                i += 1

            else:

                res2 += res[i]

                if res[i] == ' ':

                    while i < len(res) and res[i] == ' ':

                        i += 1

                else:

                    i += 1

        return res2

    return ''

def report():

    with tempfile.NamedTemporaryFile(suffix='.html', delete=False) as f:

        wd = workdir.get()

        os.chdir(wd)

        f.write('<head><meta charset="utf-8"></head>')

        f.write('<h1>Spider report</h1>')

        f.write('<p><b>Version {}</b></p>'.format(wd))

        f.write('<table>')

        for i in os.listdir('.'):

            (no, x1) = i.split('.')

            name = getname(no)

            s = getcourse(i)

            f.write('<tr><th>{}</th><th>{}</th><td>{}</td></tr>'.format(no, name, s))

        os.system('python -m webbrowser {}'.format(f.name))

        os.chdir('..')

gui = Tkinter.Tk()

workdir = Tkinter.StringVar()

Tkinter.Button(gui, text="Report", command=report).pack(side=Tkinter.LEFT)

Tkinter.Entry(gui, textvariable=workdir, width=40).pack(side=Tkinter.LEFT)

gui.mainloop()

2017-11-11 Sa Oct Spider的更多相关文章

  1. 2017年11月Dyn365/CRM用户社区活动报名

    UG是全球最大Dynamics的用户组织,由最终用户自发组织,由行业有经验的专家自愿贡献知识和经验的非营利机构,与会人员本着务实中立的态度,不进行推介产品,服务以及其他营销行为.在美国,微软Dynam ...

  2. WPS 表格筛选两列相同数据-完美-2017年11月1日更新

    应用: 1.选出A列中的数据是否在B列中出现过: 2.筛选出某一批序号在一个表格里面的位置(整批找出) 3.其实还有其他很多应用,难描述出来... ... A列中有几百的名字,本人想帅选出B列中的名字 ...

  3. 2017年11月GitHub上最热门的Java项目出炉

    2017年11月GitHub上最热门的Java项目出炉~ 一起来看看这些项目你使用过哪些呢? 1分布式 RPC 服务框架 dubbohttps://github.com/alibaba/dubbo S ...

  4. 2017.11.11 B201 练习题思路及解题方法

    2017.11.11 B201 练习题思路及解题方法 题目类型及涵盖知识点 本次总共有6道题目,都属于MISC分类的题目,涵盖的知识点有 信息隐藏 暴力破解 音轨,摩斯电码 gif修改,base64原 ...

  5. 【主席树维护mex】 【SG函数递推】 Problem H. Cups and Beans 2017.8.11

    Problem H. Cups and Beans 2017.8.11 原题: There are N cups numbered 0 through N − 1. For each i(1 ≤ i ...

  6. 2017-11-11 Sa Oct 消参

    2017-11-11 Sa Oct 消参 Prior versions: 2017-11-04 Sa Oct 消参 2017-11-10 Fr Oct 消参 2017-11-04 Sa $ P(-3, ...

  7. NOIp 11.11/12

    最后一场比较正式的NOIp模拟赛,写一发小总结.题目没什么好说的,大部分很简单,先贴一下代码. 1111 T1 //string //by Cydiater //2016.11.11 #include ...

  8. 11.11光棍节工作心得——github/MVP

    11.11光棍节工作心得 1.根据scrum meeting thirdday中前辈的指导进行学习 我在博客中贴了链接,竟然TrackBack引来了原博主,

  9. 下面程序的输出结果是____ A:11,10 B:11,11 C:10,10 D:10,11 int x=10; int y=x++; printf("%d,%d",(x++,y),y++);

    下面程序的输出结果是____ A:11,10 B:11,11 C:10,10 D:10,11 int x=10; int y=x++; printf("%d,%d",(x++,y) ...

随机推荐

  1. Python图片裁剪

    我们使用的是Image中的crop(box)功能,它需要一个参数box,元组 类型,元组包括4个元素,如:(距离图片左边界距离x, 距离图片上边界距离y,距离图片左边界距离+裁剪框宽度x+w,距离图片 ...

  2. Btrace介绍

    一.Btrace简介 BTrace可以动态的向目标应用程序的字节码注入追踪代码 用到的技术JavaComplierApi,JVMTI,Agent,Instrumentation+ASM 二.Btrac ...

  3. Go外包 Go语言外包 Golang外包商 浅谈Go的全局变量和生命周期

    最近做Go语言开发,有些心得分享下: Go语言全局var不同于PHP里的全局var,最大区别session 还是app,app 所有人都可以改.session自己改.不同过程之间通用   比如我php ...

  4. 工控随笔_13_西门子_WinCC的VBS脚本_04_变量类型之二

    上一个随笔说了一些关于vbs变量类型的内容,这一篇我们继续说说变量类型相关的内容. 一.NULL补充内容 '需要注意的是,NULL不能简单通过 = 来进行比较,而必须通过 'IsNull函数来实现 ' ...

  5. adb 常用命令-转载

    转自:https://blog.csdn.net/suxing_ing/article/details/54907860 显示当前运行的全部模拟器:adb devices 获取序列号:adb get- ...

  6. Linux系统编程——fcntl

    fcntl可实现对指定文件描述符的各种操作,其函数原型如下: int fcntl(int fd, int cmd, ... /* arg */ ); 头文件 #include <unistd.h ...

  7. 【原创】Open JDK更换过程及更换后的问题总结与分析

    由于2019年1月起Oracle对通用计算以外的应用场景开始收费,综合看来还是主要针对嵌入式的Java应用进行收费,毕竟嵌入式设备的数量是庞大的,可以有数亿元进账. 因Oracle JDK收费,各大公 ...

  8. 使用 ping++做支付的流程

    获取支付凭据 /// <summary> /// 获取支付凭据 /// </summary> /// <param name="model">& ...

  9. 在局域网中搭建自己的gis服务器

    在局域网中搭建自己的gis服务器 需求        在客户的B/S应用系统中使用电子地图.该系统只可运行于内部网中. 分析        由于系统中的电子地图只能运行于局域网中所以不能采用googl ...

  10. 从javascript 调用angular的函数

    从vanilla javascript 调用angular的函数: * 调用 service中的函数var yourService = angular.element(document.body).i ...