1.异常处理 URLError类来自urllib库的error模块,它继承自OSError类,是error异常模块的基类,由request模块产生的异常都可以通过这个类来处理. from urllib import request, error try: response = request.urlopen('http://cuiqingcai.com/index.htm') except error.HTTPError as e: print(e.reason, e.code, e.heade…

# 注意一下 是import urllib.request 还是 form urllib import request 0. urlopen() 语法:urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) 实例0:(这个函数 一般就使用三个参数 url data timeout) *添加的data参数需要使用bytes()方法将参数…

urllib库的总结: 用ProcessOn(安利这个软件,够用了)根据前面的几节内容做了个思维导图. urllib库一共有四个模块: request:它是最基本的模块,可以用来模拟发送请求 error:异常处理模块,如果出现请求错误,我们可以捕获这些异常,然后进行重试或其它操作以保证程序不会意外终止 parse:一个工具模块,提供了URL处理方法,比如拆分.解析.合并等 robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以爬.哪些网站不可以爬,用的比较少.…

在前面我们总结了urllib库的 urlopen()和Request()方法的使用,在这一小节我们要使用相关的Handler来实现代理.cookies等功能. 写在前面: urlopen()方法不支持代理.cookie等其它的HTTP/GTTPS高级功能,所以要支持这些功能: 使用相关的Handler处理器来创建特定功能的处理器对象 然后调用urllib.request.build_opener()方法使用这些处理器对象,创建自己的opener对象 使用自定义的opener对象,调用open()…

requests库相比于urllib库更好用!!! 0.各种请求方式 import requests requests.post('http://httpbin.org/post') requests.put('http://httpbin.org/put') requests.delete('http://httpbin.org/delete') requests.head('http://httpbin.org/get') requests.options('http://httpbin.o…

requests库的总结: 用ProcessOn根据前面的几节内容做了个思维导图:…

0.文件上传 import requests files = {'file': open('favicon.ico', 'rb')} response = requests.post("http://httpbin.org/post", files=files) print(response.text) 1.获取cookies import requests response = requests.get("https://www.baidu.com") print…

专栏目录: Python爬虫与数据分析之python教学视频.python源码分享,python Python爬虫与数据分析之基础教程:Python的语法.字典.元组.列表 Python爬虫与数据分析之进阶教程:文件操作.lambda表达式.递归.yield生成器 Python爬虫与数据分析之模块:内置模块.开源模块.自定义模块 Python爬虫与数据分析之爬虫技能:urlib库.xpath选择器.正则表达式 Python爬虫与数据分析之京东爬虫实战:爬取京东商品并存入sqlite3数据库 Py…

[根据北京理工大学嵩天老师“Python网络爬虫与信息提取”慕课课程编写  文章中部分图片来自老师PPT 慕课链接:https://www.icourse163.org/learn/BIT-1001870001?tid=1002236011#/learn/announce] 一.python爬虫的思路 爬虫是指根据一定规则(如页面HTML结构)可以在网络页面上获取大量数据的代码或程序.python语言提供了很多适合编写爬虫的库. python爬虫有很多种思路,这里使用3个python库搭建:Re…

urlib库实际上不是很常用,因为其api调用复杂,已被requests模块取代. 1.request发送请求 from urllib import request #默认指定的是get请求 #urlopen可以指定data,设置了这个值,那么将变成post请求 response=request.urlopen('http://www.baidu.com') # print(response) #返回值:返回值是一个http.client.HTTPResponse对象,有read,readlin…