前言

该文章主要说明Python3 标准库urllib的使用。

修改时间:20191216

修改时间:20191217

修改时间:20191218

添加urllib.parse.urlencode,urllib.request.Request方法解释

天象独行

0X01;urllib作用是什么?

  urllib是Python3的一个内置标准库,主要用来进行http请求。其中主要包含四个常见模块。分别是:request,error,parse,robotparser。request模块功能提供一个基本的请求功能,来模拟http请求。error异常处理模块,主要功能是在出现错误的时候可以捕获异常。parse工具模块,提供了URL处理的方法,比如:拆分,解析,合并等。robotparser模块主要用来识别网站的robots.txt文件。

0X02;urllib.request模块

  urllib.request模块当中常见使用方法有:

  A;urlopen(url,data,timeout) 作用打开一个url方法,返回一个文件对象HttpResponse,然后可以进行类似文件对象的操作。

例如:基本使用方法。

  B;urllib.request.urlretrieve(url,filename=None,reporthook=None,data=None)作用下载定制的url内容到本地。

  url:外部或者本地url。

  filename:指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据)。

  reporthook:是一个回调函数,当连接上服务器,以及相应的数据块传输完毕的时候会触发该回调

  data:指post到服务器的数据。该方法返回一个包含两个元素的元组(filename,headers),filename表示保存到本地的路径,header表示服务器的响应头。

  基本使用:

  C;Request()方法作用是发送一个请求,常见操作是构建HTTP请求。

举例:构建请求头:

0X03;urllib.error模块

  urllib.error模块作用是可以接收urllib.request产生的异常。其中包含了两个方法。即URLError,HTTPError。

  A;URLError举例

  B;HTTPError举例:

0X04;urllib.parse模块

  A;urlparse()方法作用:将URL分解为六个组件分别是:协议,位置,路径,参数,查询,片段

举例:

  B;urlsplit方法类似于urlparse,区别在于urlsplit没有返回“params”

  C;urlunparse(parts)方法作用,从urlparse()返回的元组元素构造一个URL。

举例:

  D;urlunsplit方法与urlunparse类似。

  E;parse_qs和parse_qsl

  urllib.parse.parse_qs返回字典

  urllib.parse.parse_qsl返回列表

举例:

  F;urljoin(base,url,allow_fragments=True)作用组合两个URL.。注释:url一定需要完整的url。

举例:

  G;quout()方法,作用URL编码

  H;unquote()方法作用url解码

举例:

  

  I;urlencode(data)作用针对一个字典data,将字典编码处理并且拼接为query_string。

举例:

0X0X;补充说明:

  A;HttpRequest类是一个封闭HTTP提交信息的类型,而封闭HTTP输出信息的类型就是HttpResponse类,使用HttpResponse类可以实现三种类型的输出,即文本,URL,二进制流.HTTPResposne 类型的对象,它主要包含的方法有 read()、readinto(),getheader(name)、getheaders()、fileno() 等方法和 msg、version、status、reason、debuglevel、closed 等属性。

  read() 读取相应内容,内容是字节类型

  geturl() 获取请求url

  getheaders() 获取请求头信息,列表里面有元组

  getcode() 获取状态码

  readlines() 按行读取,返回列表,都是字节类型

详情参考下面链接:https://www.iteye.com/blog/guoying252166655-2041373

  B;try...except 在程序出现异常处理是使用。格式 try: 执行代码 except:发生异常时执行的代码。详情参考下面链接:https://www.runoob.com/python3/python3-errors-execptions.html

  C;__main__是Python的内置变量,用于代指当前模块。详细参考下面链接:https://www.cnblogs.com/chenhuabin/p/10118199.html

  D;字典是另一种可变容器模型,且可存储任意类型的对象。

  E;列表是最常见的Python数据类型,它可以作为一个方括号内的逗号分隔值出现。

Python3---标准库---urllib的更多相关文章

  1. Python3 标准库

    Python3标准库 更详尽:http://blog.csdn.net/jurbo/article/details/52334345 文本 string:通用字符串操作 re:正则表达式操作 diff ...

  2. python023 Python3 标准库概览

    Python3 标准库概览 操作系统接口 os模块提供了不少与操作系统相关联的函数. >>> import os >>> os.getcwd() # 返回当前的工作 ...

  3. python3标准库总结

    Python3标准库 操作系统接口 os模块提供了不少与操作系统相关联的函数. ? 1 2 3 4 5 6 >>> import os >>> os.getcwd( ...

  4. 8.Python3标准库--数据持久存储与交换

    ''' 持久存储数据以便长期使用包括两个方面:在对象的内存中表示和存储格式之间来回转换数据,以及处理转换后数据的存储区. 标准库包含很多模块可以处理不同情况下的这两个方面 有两个模块可以将对象转换为一 ...

  5. 7.Python3标准库--文件系统

    ''' Python的标准库中包含大量工具,可以处理文件系统中的文件,构造和解析文件名,还可以检查文件内容. 处理文件的第一步是要确定处理的文件的名字.Python将文件名表示为简单的字符串,另外还提 ...

  6. 1.Python3标准库--前戏

    Python有一个很大的优势便是在于其拥有丰富的第三方库,可以解决很多很多问题.其实Python的标准库也是非常丰富的,今后我将介绍一下Python的标准库. 这个教程使用的书籍就叫做<Pyth ...

  7. 比较两个文件的异同Python3 标准库difflib 实现

    比较两个文件的异同Python3 标准库difflib 实现 对于要比较两个文件特别是配置文件的差异,这种需求很常见,如果用眼睛看,真是眼睛疼. 可以使用linux命令行工具diff a_file b ...

  8. 3.Python3标准库--数据结构

    (一)enum:枚举类型 import enum ''' enum模块定义了一个提供迭代和比较功能的枚举类型.可以用这个为值创建明确定义的符号,而不是使用字面量整数或字符串 ''' 1.创建枚举 im ...

  9. 9.Python3标准库--数据压缩与归档

    ''' 尽管现代计算机系统的存储能力日益增长,但生成数据的增长是永无休止的. 无损(lossless)压缩算法以压缩或解压缩数据花费的时间来换取存储数据所需要的空间,以弥补存储能力的不足. Pytho ...

  10. python系列十七:Python3 标准库概览

    #!/usr/bin/python #-*-coding:gbk-*- #Python3 标准库概览'''操作系统接口os模块提供了不少与操作系统相关联的函数.建议使用 "import os ...

随机推荐

  1. centos7.2中部署私有仓库harbor

    1.安装docker #安装依赖和驱动 sudo yum install -y yum-utils device-mapper-persistent-data lvm2 #配置docker的官方源 s ...

  2. 【GZOI 2019】特技飞行

    Problem Description 公元 \(9012\) 年,Z 市的航空基地计划举行一场特技飞行表演.表演的场地可以看作一个二维平面直角坐标系,其中横坐标代表着水平位置,纵坐标代表着飞行高度. ...

  3. .netcore实现一个读写分离的数据库访问中间件

    在实际业务系统中,当单个数据库不能承载负载压力的时候,一般我们采用数据库读写分离的方式来分担数据库负载.主库承担写以及事务操作,从库承担读操作. 为了支持多种数据库我们先定义一个数据类型字典.key为 ...

  4. 敏捷之旅--携程行程&订单团队

    转自本人运营的公众号“ 携程技术中心PMO”(ID:cso_pmo)     关于我们   我们面临的挑战   敏捷开发是以用户的需求进化为核心,采用迭代.循序渐进的方法进行软件开发.先把一个大项目分 ...

  5. STM32F407外部晶体改为25M后检测不到芯片的解决办法

    问题描述 分享一个之前遇到的STM32F4晶体频率问题,导致单片机死机的解决办法.使用一款新的F4开发板,直接使用的正点原子STM32F407工程模板代码,管脚配置正确,下载到外部晶体为25MHz的开 ...

  6. 关于c#winform用sharpGL(OpenGL)绘制不出图形,绘制窗口是个黑框的坑

    原文作者:aircraft 原文链接:https://www.cnblogs.com/DOMLX/p/11790309.html 在c++的opengl中可能是因为是最基本的库,很多东西都把你做好了 ...

  7. SpringCloud之Feign 负载均衡请求超时时间

    版本声明: SpringCloud:Greenwich.SR4 SpringBoot:2.1.9.RELEASE Feign调用服务的默认时长是1秒钟,也就是如果超过1秒没连接上或者超过1秒没响应,那 ...

  8. Vue之富文本tinymce爬坑录

    前言 最近因业务需求在项目中嵌入了tinymce这个富文本编辑器,用于满足平台给用户编辑各类新闻内容什么的业务需求,前后也花了不少时间体验和对比了市面上各类开源编辑器. *案例demo版本:vue-t ...

  9. source insight 3 常用设置

    总结了一些source insight的一些常用设置,这些设置需求因人而异,自己用的顺手的才是最好的. 1.括号配对高亮“在前括号左侧,后括号左侧”双击鼠标左键,可以选定匹配括号和其中内容(<& ...

  10. Windows和linux下的端口转发

    利用VPN,实现无公网IP或内网服务器的服务 @@@code netsh interface portproxy add v4tov4 listenport=8887 connectaddress=1 ...