我的图片爬虫demo

本来是根据scrapy教程写了一个下载图片的简易爬虫，但是搞了一天，死活下载不了图片。

然后换了一个网站，用原生的库写了一个图片爬虫。

import urllib.request
import os
def crawl():
    for i in range(2000,2100):
        for j in range(1,10):
            imgurl="http://img1.mm131.com/pic/"+str(i)+"/"+str(j)+".jpg"
            imgname="F:/CrawlDownload/mm131/mm"+str(i)+"/"+"mm"+str(i)+"_"+str(j)+".jpg"
            try:
                os.mkdir(r'F:/CrawlDownload/mm131/mm'+str(i))
                urllib.request.urlretrieve(imgurl,filename=imgname)
            except Exception as e:
                print(imgurl+" not found")
crawl()

但是最终还是有点问题，每个美女只能下载一个图片，害的我新建文件夹的功能白弄了。。

然后新建文件夹其实没判断是否已经存在此目录的情况。