python 爬poj.org的题目

主要是正则表达式不熟练，基础知识不扎实，函数也不怎么会用，下次再深入了解这3个函数吧。

主要是一个翻页的功能，其实，就是通过一个url替换一下数字，然后得到一个新的url，再找这个新的链接的信息。

 #-*-coding:utf8-*-

 import requests
 import re
 import sys
 reload(sys)
 sys.setdefaultencoding("utf-8")

 class spider(object):
     def __init__(self):
         print "开始爬虫"

     def getsource(self,url):
         html = requests.get(url)
         return html.text

     def changepage(self,url,total_page):
         now_page = 1
         page_group = []

         for i in range(now_page,total_page+1):
             link = re.sub('(\d+)','%s'%i,url,re.S)
             page_group.append(link)

         return page_group

 if __name__ =='__main__':

     problem = []
     url = 'http://poj.org/problemlist?volume=1'

     pojspider = spider()
     all_link = pojspider.changepage(url,10)

     for link in all_link:
         print link
         htm = pojspider.getsource(link)

         problem = re.findall('href=problem?(.*?)</a>',htm,re.S)

         for i in problem:
             if i[0]=='?':
                 print i
                 f = open('info.txt','a')
                 f.writelines(i+'\n')
                 f.close()