孤荷凌寒自学python第八十一天学习爬取图片1

孤荷凌寒自学python第八十一天学习爬取图片1

（完整学习过程屏幕记录视频地址在文末）

通过前面十天的学习，我已经基本了解了通过requests模块来与网站服务器进行交互的方法，也知道了BeautifulSoup模块的基本用法。

但之前的学习主要还是获取网页上的文字内容为主，从今天起我开始尝试学习从网页上获取其中的图片并下载到本地。

一、首先加深了对requests模块的认识

找到了requests模块的官方文档：

http://docs.python-requests.org/en/latest/user/quickstart/

是全英文的。

然后又找到一篇比较详尽的文章：

http://www.sharejs.com/codes/python/9013

二、尝试了两种下载图片到本地的方法

（一）第一种

在通过requests模块的get或post方法去访问具体的url后获取response数据后，通过response的content属性的数据直接保存为图片。

参照的是博客文章：

https://blog.csdn.net/small_brother/article/details/75003392

谢谢博主的分享。

代码如下：

```

#使用content的写法，速度要慢得多

def downloadpicfirst():

header={

'cookie':'uuid_tt_dd=10_11685725060-1535977152139-368966; Hm_ct_6bcd52f51e9b3dce32bec4a3997715ac=1788*1*PC_VC; dc_session_id=10_1545396180085.288077; _ga=GA1.2.789896779.1545739300; ARK_ID=JS37a466e7e4ee36b9ce4ed9892df8d14337a4; smidV2=201809131456053120144ad460339bd628ba921ff129c3002a47323f76baa60; __yadk_uid=yBjJ76lx46GoRgyv8KgGxQV4FXAySfOr; firstDie=1; dc_tos=plj2dk; Hm_lvt_6bcd52f51e9b3dce32bec4a3997715ac=1547688865,1547815074,1547815726,1547815881; Hm_lpvt_6bcd52f51e9b3dce32bec4a3997715ac=1547815881; c-login-auto=60',

'upgrade-insecure-requests':'1',

'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'

}

strpicurl='https://img-blog.csdn.net/20170712075151071?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc21hbGxfYnJvdGhlcg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast'

r=requests.get(strpicurl,headers=header)

r.raise_for_status() #raise异常自动抛出，如果读取的Url服务器端返回400或500及后的错误，那么，则会抛出异常后，不再向后执行

#下一句指定了读取网页时要使用的编码格式

r.encoding=r.apparent_encoding #requests的返回结果对象里有个apparent_encoding函数, apparent_encoding通过调用chardet.detect()来识别文本编码. 但是需要注意的是，这有些消耗计算资源.

#r.encoding='utf-8'

with open('1.jpg','wb') as f:

f.write(r.content) #content属性与text属性不同

```

我只下载了一张图片，但居然花费了一分钟，原因不明。

（二）第二种

在requests模块获取指定url数据时，指定一个参数：

stream=True

表示，获取回的数据变成数据流的模式.

然后直接将数据流保存为文件。

具体代码如下：

```

#使用流模式的写法，速度快得多

def downloadpicsecond():

header={

'cookie':'uuid_tt_dd=10_11685725060-1535977152139-368966; Hm_ct_6bcd52f51e9b3dce32bec4a3997715ac=1788*1*PC_VC; dc_session_id=10_1545396180085.288077; _ga=GA1.2.789896779.1545739300; ARK_ID=JS37a466e7e4ee36b9ce4ed9892df8d14337a4; smidV2=201809131456053120144ad460339bd628ba921ff129c3002a47323f76baa60; __yadk_uid=yBjJ76lx46GoRgyv8KgGxQV4FXAySfOr; firstDie=1; dc_tos=plj2dk; Hm_lvt_6bcd52f51e9b3dce32bec4a3997715ac=1547688865,1547815074,1547815726,1547815881; Hm_lpvt_6bcd52f51e9b3dce32bec4a3997715ac=1547815881; c-login-auto=60',

'upgrade-insecure-requests':'1',

'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'

}

strpicurl='https://img-blog.csdn.net/20170712075151071?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc21hbGxfYnJvdGhlcg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast'

r=requests.get(strpicurl,headers=header,stream=True)

r.raise_for_status() #raise异常自动抛出，如果读取的Url服务器端返回400或500及后的错误，那么，则会抛出异常后，不再向后执行

#流模式不需要指定编码格式

#下一行用意在于，在写完流之后，自动关闭流

with closing(requests.get(strpicurl,headers=header,stream=True)) as r:

with open('1.jpg','wb') as f:

#将流分成n个部分写入，每个部分分成128字节

for chunk in r.iter_content(128):  #这一句vscode提示有错，但是假的报错，不影响实际执行

f.write(chunk)

```

使用这种方法速度就正常了。

具体原因还不清楚。

三、今天完整的测试代码

import requests

from bs4 import BeautifulSoup

import re

import datetime

import pymongo

from contextlib import closing

from docx.shared import RGBColor #将三个数值生成色彩对象

import _mty

import _mf

import _mbs4

import _mmongo

import _mre

import _mdb

import _mword

intc=0

def msgbox(info,titletext='孤荷凌寒的DB模块对话框QQ578652607',style=0,isShowErrMsg=False):

return _mty.msgboxGhlh(info,titletext,style,isShowErrMsg)

#使用content的写法，速度要慢得多

def downloadpicfirst():

header={

'cookie':'uuid_tt_dd=10_11685725060-1535977152139-368966; Hm_ct_6bcd52f51e9b3dce32bec4a3997715ac=1788*1*PC_VC; dc_session_id=10_1545396180085.288077; _ga=GA1.2.789896779.1545739300; ARK_ID=JS37a466e7e4ee36b9ce4ed9892df8d14337a4; smidV2=201809131456053120144ad460339bd628ba921ff129c3002a47323f76baa60; __yadk_uid=yBjJ76lx46GoRgyv8KgGxQV4FXAySfOr; firstDie=1; dc_tos=plj2dk; Hm_lvt_6bcd52f51e9b3dce32bec4a3997715ac=1547688865,1547815074,1547815726,1547815881; Hm_lpvt_6bcd52f51e9b3dce32bec4a3997715ac=1547815881; c-login-auto=60',

'upgrade-insecure-requests':'1',

'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'

}

strpicurl='https://img-blog.csdn.net/20170712075151071?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc21hbGxfYnJvdGhlcg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast'

r=requests.get(strpicurl,headers=header)

r.raise_for_status() #raise异常自动抛出，如果读取的Url服务器端返回400或500及后的错误，那么，则会抛出异常后，不再向后执行

#下一句指定了读取网页时要使用的编码格式

r.encoding=r.apparent_encoding #requests的返回结果对象里有个apparent_encoding函数, apparent_encoding通过调用chardet.detect()来识别文本编码. 但是需要注意的是，这有些消耗计算资源.

#r.encoding='utf-8'

with open('1.jpg','wb') as f:

f.write(r.content) #content属性与text属性不同

#使用流模式的写法，速度快得多

def downloadpicsecond():

header={

'cookie':'uuid_tt_dd=10_11685725060-1535977152139-368966; Hm_ct_6bcd52f51e9b3dce32bec4a3997715ac=1788*1*PC_VC; dc_session_id=10_1545396180085.288077; _ga=GA1.2.789896779.1545739300; ARK_ID=JS37a466e7e4ee36b9ce4ed9892df8d14337a4; smidV2=201809131456053120144ad460339bd628ba921ff129c3002a47323f76baa60; __yadk_uid=yBjJ76lx46GoRgyv8KgGxQV4FXAySfOr; firstDie=1; dc_tos=plj2dk; Hm_lvt_6bcd52f51e9b3dce32bec4a3997715ac=1547688865,1547815074,1547815726,1547815881; Hm_lpvt_6bcd52f51e9b3dce32bec4a3997715ac=1547815881; c-login-auto=60',

'upgrade-insecure-requests':'1',

'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'

}

strpicurl='https://img-blog.csdn.net/20170712075151071?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc21hbGxfYnJvdGhlcg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast'

r=requests.get(strpicurl,headers=header,stream=True)

r.raise_for_status() #raise异常自动抛出，如果读取的Url服务器端返回400或500及后的错误，那么，则会抛出异常后，不再向后执行

#流模式不需要指定编码格式

#下一行用意在于，在写完流之后，自动关闭流

with closing(requests.get(strpicurl,headers=header,stream=True)) as r:

with open('1.jpg','wb') as f:

#将流分成n个部分写入，每个部分分成128字节

for chunk in r.iter_content(128):  #这一句vscode提示有错，但是假的报错，不影响实际执行

f.write(chunk)

downloadpicsecond()

#downloadpicfirst()

——————————

今天整理的学习笔记完成，最后例行说明下我的自学思路：

根据过去多年我自学各种编程语言的经历，认为只有真正体验式，解决实际问题式的学习才会有真正的效果，即让学习实际发生。在2004年的时候我开始在一个乡村小学自学电脑 并学习vb6编程语言，没有学习同伴，也没有高师在上，甚至电脑都是孤岛（乡村那时还没有网络），有的只是一本旧书，在痛苦的自学摸索中，我找到适应自己零基础的学习方法：首先是每读书的一小节就作相应的手写笔记，第二步就是上机测试每一个笔记内容是否实现，其中会发现书中讲的其实有出入或错误，第三步就是在上机测试之后，将笔记改为电子版，形成最终的修订好的正确无误的学习笔记 。

通过反复尝试错误，在那个没有分享与交流的黑暗时期我摸黑学会了VB6，尔后接触了其它语言，也曾听过付费视频课程，结果发现也许自己学历果然太低，就算是零基础的入门课程，其实也难以跟上进度，讲师的教学多数出现对初学者的实际情况并不了解的情况，况且学习者的个体也存在差异呢？当然更可怕的是收费课程的价格往往是自己难以承受的。

于是我的所有编程学习都改为了自学，继续自己的三步学习笔记法的学习之路。

当然自学的最大问题是会走那么多的弯路，没有导师直接输入式的教学来得直接，好在网络给我们带来无限搜索的机会，大家在网络上的学习日志带给我们共享交流的机会，而QQ群等交流平台、网络社区的成立，我们可以一起自学，互相批评交流，也可以获得更有效，更自主的自学成果。

于是我以人生已过半的年龄，决定继续我的编程自学之路，开始学习python，只希望与大家共同交流，一个人的独行是可怕的，只有一群人的共同前进才是有希望的。

诚挚期待您的交流分享批评指点！欢迎联系我加入从零开始的自学联盟。

这个时代互联网成为了一种基础设施的存在，于是本来在孤独学习之路上的我们变得不再孤独，因为网络就是一个新的客厅，我们时刻都可以进行沙龙活动。

非常乐意能与大家一起交流自己自学心得和发现，更希望大家能够对我学习过程中的错误给予指点——是的，这样我就能有许多免费的高师了——这也是分享时代，社区时代带来的好福利，我相信大家会的，是吧！

根据完全共享的精神，开源互助的理念，我的个人自学录制过程是全部按4K高清视频录制的,从手写笔记到验证手写笔记的上机操作过程全程录制，但因为4K高清文件太大均超过5G以上，所以无法上传至网络，如有需要可联系我QQ578652607对传，乐意分享。上传分享到百度网盘的只是压缩后的720P的视频。

我的学习过程录像百度盘地址分享如下：（清晰度：1280x720）

链接：https://pan.baidu.com/s/1UrZzTsAk2duMGhh0gcxw0w

提取码：wbsg

Bilibili:

https://www.bilibili.com/video/av41235967/

喜马拉雅语音笔记：

https://www.ximalaya.com/keji/19103006/156016081