Python爬虫抓取糗百的图片，并存储在本地文件夹

思路：

1.观察网页，找到img标签

2.通过requests和BS库来提取网页中的img标签

3.抓取img标签后，再把里面的src给提取出来，接下来就可以下载图片了

4.通过urllib的urllib.urlretrieve来下载图片并且放进文件夹里面（第一之前的准备工作就是获取当前路径然后新建一个文件夹）

5.如果有多张图片，不断的重复3-4

由于爬虫写得少，通过自己的调试，终于写了出来了

下面直接上代码：

 #coding = 'utf-8'
 import requests
 from bs4 import BeautifulSoup
 import urllib
 import os
 import sys
 reload(sys)
 sys.setdefaultencoding("utf-8")

 if __name__ == '__main__':
     url = 'http://www.qiushibaike.com/'
     res = requests.get(url)
     res.encoding = 'utf-8'
     soup = BeautifulSoup(res.text, 'html.parser')
     imgs = soup.find_all("img")

     _path = os.getcwd()
     new_path = os.path.join(_path , 'pictures')
     if not os.path.isdir(new_path):
         os.mkdir(new_path)
     new_path += '\ '

     try:
         x = 1
         if imgs == []:
             print "Done!"
         for img in imgs:
             link = img.get('src')
             if 'http' in link:
                 print "It's downloading %s" %x + "th's piture"
                 urllib.urlretrieve(link, new_path + '%s.jpg' %x)
                 x += 1

     except Exception, e:
         print e
     else:
         pass
     finally:
         if x :
             print "It's Done!!!"

接下来上结果：

python3中的版本，略有有一点点不同，就是下载图片的方法需要加上request，然后才能使用urlretrieve方法进行下载

 #!/usr/bin/python3
 #coding = 'utf-8'

 import requests
 from bs4 import BeautifulSoup
 import urllib
 import os
 import sys
 #reload(sys)
 #sys.setdefaultencoding("utf_8")

 if __name__ == '__main__':
     url = 'http://www.qiushibaike.com/'
     res = requests.get(url)
     res.encoding = 'utf-8'
     print (res)
     soup = BeautifulSoup(res.text,'html.parser')
     #imgs = soup.find_all('img', attrs={'class': 'item_img'})
     imgs = soup.find_all('img')

     _path = os.getcwd()
     new_path = os.path.join(_path,'pictures\\')#需要添加斜杠，才能将图片放进单独的文件夹里面
     print(new_path)

     if not os.path.isdir(new_path):
         os.mkdir(new_path)

     #new_path = new_path + '\'
     #print (str(new_path))

     try:
         x = 1
         if imgs == []:
             print ("Done!")
             print (len(imgs))
         for img in imgs:
             link = img.get('src')
             link = 'http:' + link
             #print (link)
             if True:
                 print ("It's downloading %s" %x + "th's piture")
                 #python3如下使用urlretrieve
                 #_new111 = new_path + '%s.jpg'%5
                 #print (_new111)
                 urllib.request.urlretrieve(link,new_path + '%s.jpg' %x)
                 x += 1

     except Exception:
         pass
 #    else:
 #        pass
     finally:
         if x:
             print ("It's Done!")

结果都是一样，就不再另外贴结果截图了

总结：

虽然一开始思路不清晰，而且对怎样把图片保存下来，都不是很熟

但是经过自己的思考，只要思路清楚了，确定了方向就好办了，至于函数不会用的话，可以直接百度查，很方便的

总而言之，写程序之前一定要有思路，边写边想思路是不行的，那样容易返工

不过最后还是写出来了，哈哈

也请大家来共同学习和指正

----------------------

转载的话请大家注明出处哦，谢谢了