【pyhon】nvshens图片批量下载爬虫1.01

# nvshens图片批量下载爬虫1.01
# 原先版本在遇到网络故障时回下载不全，这回更改了模式使得下载不成就重新下载，直到全部下载完毕
from bs4 import BeautifulSoup
import requests
import time
import urllib.request

user_agent='Mozilla/4.0 (compatible;MEIE 5.5;windows NT)'
headers={'User-Agent':user_agent}

# 找到的图片
pictures=[]

# 不断追逐，直到结束
def crawl(url):
    print("爬取页面"+url);

    try:
        rsp=requests.get(url,headers=headers)
        soup= BeautifulSoup(rsp.text,'html.parser',from_encoding='utf-8')
        nextUrl="none";

        for divs in soup.find_all(class_="gallery_wrapper"):
            # 把找到的图片放到数组里去
            for img in divs.find_all('img'):
                print(img.get("src"))
                pictures.append(img.get("src"))

            #找下一页
            for link in divs.find_all('a',class_='a1'):
                if link.string=='下一页' and link.get("href").find('.html')!=-1:
                    nextUrl='https://www.nvshens.com'+link.get("href");

        #if len(pictures)>10:
        #    downloadPics()

        #time.sleep(5)

        if nextUrl!="none":
            print("前往下一页");
            crawl(nextUrl)
        else:
            print('爬取结束，开始下载...')
            downloadPics()
            print('下载结束，nvshens图片批量下载爬虫工作完毕.')
    except Exception as e:
        print("发生异常。重新爬行")# 不管怎么出现的异常，就让它一直爬到底
        crawl(url)

# 下载图片到本地
def downloadPics():
    while(len(pictures)>0):
        pic=pictures.pop()

        name=pic.split('/')[-1]

        try:
            rsp=urllib.request.urlopen(pic)
            img=rsp.read()
            with open(name,'wb') as f:
                f.write(img)
            print('图片'+pic+'下载完成')
        except Exception as e:
            print('图片'+pic+'下载异常,塞回重试')
            pictures.append(pic);

# Kickoff Start
# https://www.nvshens.com/g/22268/
crawl('https://www.nvshens.com/g/22210/')

输出：

C:\Users\horn1\Desktop\python\7>python downloadall.py
爬取页面https://www.nvshens.com/g/22210/
C:\Users\horn1\AppData\Local\Programs\Python\Python36\lib\site-packages\bs4\__init__.py:146: UserWarning: You provided Unicode markup but also provided a value for from_encoding. Your from_encoding will be ignored.
  warnings.warn("You provided Unicode markup but also provided a value for from_encoding. Your from_encoding will be ignored.")
https://img.onvshen.com:85/gallery/23789/22210/s/0.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/001.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/002.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/003.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/004.jpg
前往下一页
爬取页面https://www.nvshens.com/g/22210/2.html
https://img.onvshen.com:85/gallery/23789/22210/s/005.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/006.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/007.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/008.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/009.jpg
前往下一页
爬取页面https://www.nvshens.com/g/22210/3.html
https://img.onvshen.com:85/gallery/23789/22210/s/010.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/011.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/012.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/013.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/014.jpg
前往下一页
爬取页面https://www.nvshens.com/g/22210/4.html
https://img.onvshen.com:85/gallery/23789/22210/s/015.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/016.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/017.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/018.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/019.jpg
前往下一页
爬取页面https://www.nvshens.com/g/22210/5.html
https://img.onvshen.com:85/gallery/23789/22210/s/020.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/021.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/022.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/023.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/024.jpg
前往下一页
爬取页面https://www.nvshens.com/g/22210/6.html
https://img.onvshen.com:85/gallery/23789/22210/s/025.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/026.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/027.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/028.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/029.jpg
前往下一页
爬取页面https://www.nvshens.com/g/22210/7.html
https://img.onvshen.com:85/gallery/23789/22210/s/030.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/031.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/032.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/033.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/034.jpg
前往下一页
爬取页面https://www.nvshens.com/g/22210/8.html
https://img.onvshen.com:85/gallery/23789/22210/s/035.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/036.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/037.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/038.jpg
https://img.onvshen.com:85/gallery/23789/22210/s/039.jpg
爬取结束，开始下载...
图片https://img.onvshen.com:85/gallery/23789/22210/s/039.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/039.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/038.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/038.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/038.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/037.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/036.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/036.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/035.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/034.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/033.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/032.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/031.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/030.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/029.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/028.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/028.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/027.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/027.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/026.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/025.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/025.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/025.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/024.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/024.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/024.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/023.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/022.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/022.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/021.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/020.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/019.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/019.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/019.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/019.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/018.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/018.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/018.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/017.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/016.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/015.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/014.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/013.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/012.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/011.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/010.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/009.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/008.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/008.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/008.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/007.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/006.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/005.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/005.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/005.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/005.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/005.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/004.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/003.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/002.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/001.jpg下载完成
图片https://img.onvshen.com:85/gallery/23789/22210/s/0.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/0.jpg下载异常,塞回重试
图片https://img.onvshen.com:85/gallery/23789/22210/s/0.jpg下载完成
下载结束，nvshens图片批量下载爬虫工作完毕.

：）

【pyhon】nvshens图片批量下载爬虫1.01的更多相关文章

Node.js nvshens图片批量下载爬虫1.01
//====================================================== // nvshens图片批量下载爬虫1.01 // 用最近的断点续传框架改写原有1.0 ...
【pyhon】nvshens图片批量下载爬虫
代码: # nvshens图片批量下载爬虫 from bs4 import BeautifulSoup import requests import time import urllib.reques ...
Node.js mm131图片批量下载爬虫1.01 增加断点续传功能
这里的断点续传不是文件下载时的断点续传,而是指在爬行页面时有时会遇到各种网络中断而从中断前的页面及其数据继续爬行的过程,这个过程和断点续传原理上相似故以此命名.我的具体做法是:在下载出现故障或是图片已 ...
Node.js nvshens图片批量下载爬虫 1.00
//====================================================== // www.nvshens.com图片批量下载Node.js爬虫1.00 // 此程 ...
Node.js meitulu图片批量下载爬虫1.01版
在 http://www.cnblogs.com/xiandedanteng/p/7614051.html 一文我曾经书写过一个图片下载爬虫,但原有程序不是为下载图片而设计故有些绕,于是稍微改写了一下 ...
【pyhon】nvshens按目录图片批量下载爬虫1.00（多线程版）
# nvshens按目录图片批量下载爬虫1.00(多线程版) from bs4 import BeautifulSoup import requests import datetime import ...
Node.js abaike图片批量下载爬虫1.02
//====================================================== // abaike图片批量下载爬虫1.02 // 用最近的断点续传框架改写原有1.01 ...
Node.js meitulu图片批量下载爬虫1.051
原有1.05版程序没有断点续传模式,现在在最近程序基础上改写一版1.051. //====================================================== // m ...
Node.js mzitu图片批量下载爬虫1.00
又攻下一座山头. //====================================================== // mzitu图片批量下载爬虫1.00 // 2017年11月19 ...

随机推荐

Bakery CodeForces - 707B （最短路的思路题）
Masha wants to open her own bakery and bake muffins in one of the n cities numbered from 1 to n. The ...
【CF contest/792/problem/E】
E. Colored Balls time limit per test 1 second memory limit per test 256 megabytes input standard inp ...
理解面向消息中间件及JMS 以及 ActiveMQ例子
为了帮助你理解ActiveMQ的意义,了解企业消息传送背景和历史是很重要的.讨论完企业消息传送,你将可以通过一个小例子了解JMS及其使用.这章的目的是简要回顾企业消息传送及JMS规范.如果你已经熟悉这 ...
【UOJ #107】【APIO 2013】ROBOTS
http://uoj.ac/problem/107 设\(f(l,r,i,j)\)表示\([l,r]\)中的机器人聚集到\((i,j)\)需要花的最小操作数. \(f(l,r,i,j)=\min\le ...
谈HTTPS中间人攻击与证书校验（二）
上文说到HTTPS的三次握手:http://www.cnblogs.com/wh4am1/p/6616851.html 不懂的再回头去看看三.中间人攻击 https握手过程的证书校验环节就是为了识别 ...
[NC13B]贝伦卡斯泰露/[51Nod1400]序列分解
[NC13B]贝伦卡斯泰露/[51Nod1400]序列分解题目大意: 给定\(A_{1\sim n}(n\le40)\),问是否能将\(A\)分解成两个相同的子序列? 思路: 折半搜索.时间复杂度\ ...
[SimpleOJ238]宝藏探寻
题目大意: 给你一棵带点权的n个结点的树,有m次询问,每次从树上删掉一条路径(u,v),问删掉每条路径后各个连通块权值和的平方之和. 每次询问是独立的. 思路: 首先对树遍历一遍求出每棵子树的权值和. ...
zoj 3261 逆向并查集+离线处理
题意:给出一些点,每个点有权值,然后有一些边,相连.无向的.然后有一些操作链接:点我 query a.表示从a出发的能到达的所有点权值最大的点的编号(相同取编号最小,而且权值要比自己大) desto ...
java中的多线程 // 基础
java 中的多线程简介进程 : 指正在运行的程序,并具有一定的独立能力,即当硬盘中的程序进入到内存中运行时,就变成了一个进程线程 : 是进程中的一个执行单元,负责当前程序的执行.线程就是CP ...
hdu 5207 Greatest Greatest Common Divisor 数学
Greatest Greatest Common Divisor Time Limit: 1 Sec Memory Limit: 256 MB 题目连接 http://acm.hdu.edu.cn/ ...

【pyhon】nvshens图片批量下载爬虫1.01

【pyhon】nvshens图片批量下载爬虫1.01的更多相关文章

随机推荐

热门专题