python爬虫训练——正则表达式+BeautifulSoup爬图片

这次练习爬 传送门 这贴吧里的美食图片。

如果通过img标签和class属性的话，用BeautifulSoup能很简单的解决，但是这次用一下正则表达式，我这也是参考了该博主的博文：传送门

所有图片的src地址前面都是相同的，所以根据这个就可以筛选出我们想要的图片了。也就是在匹配时不用class属性的值，而是用正则表达式去匹配src的值。

 from urllib import request
 from bs4 import BeautifulSoup
 import re

 def get_page(url, tot_page):
     url_list = []
     for i in range(1,tot_page):
         new_url = re.sub(('=(.*)'),'%s%s' %('=',i), url)
         url_list.append(new_url)
     return url_list

 if __name__ == '__main__':
     url = 'http://tieba.baidu.com/p/4792769205?pn=1'
     path = 'D:\python\project\爬虫结果'
     count = 0
     url_list = get_page(url, 4)
     for url in url_list:
         print(url)
         page = request.urlopen(url).read().decode()
         soup = BeautifulSoup(page, 'lxml')
         regex = re.compile("http://imgsrc.baidu.com/forum/w%3D580/sign=.+\.jpg")
         pic_list = soup.findAll('img', {'src': regex})
         for pic in pic_list:
             pic = pic['src']
             request.urlretrieve(pic, '%s/%s.jpg' % (path, count))
             count += 1

我就爬了3页的图片：