python爬虫训练——爬poj题目

首先要解决的就是不同的题目在不同的页上，也就是要实现翻页功能，自动获取所要爬取的地址，通过分析可以得出不同的页面也就是volume=后面的数字不同

所以我们可以用re模块来替换即可：

new_url = re.sub('(\d+)', '%s' %i, url)

得到所有URL后就很简单了，写个正则表达式来匹配即可。

 from urllib import request
 import re

 def get_page_list(url, total_page):
     page_list = []
     for i in range(1, total_page):
         new_url = re.sub('(\d+)', '%s' %i, url)
         page_list.append(new_url)
     return page_list

 if __name__ == '__main__':
     f = open('in.txt','a')
     url = 'http://poj.org/problemlist?volume=1'

     page_list = get_page_list(url, 3)
     for page in page_list:
         text = request.urlopen(page).read().decode()
         s = re.compile(r'href=problem\?(.*?)</a>')
         problem_list = re.findall(s, text)
         for problem in problem_list:
             f.writelines(problem+'\n')
     f.close()