get方法的学习

 1import urllib.request
2import ssl
3#设置全局证书
4ssl._create_default_https_context = ssl._create_unverified_context
5response = urllib.request.urlopen("https://www.python.org/getit/")
6print(response.read().decode('utf-8'))
7print(type(response))
8#响应状态码
9print(response.status)
10#响应头
11print(response.getheaders())
12#响应头中server的值
13print(response.getheader("Server"))
14#响应的msg值
15print(response.msg)

post的方法

 1import urllib.parse
2import urllib.request
3import socket
4import urllib.error
5'''byte方法 将参数转化为字节流'''
6def studyData():
7    data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')
8    print(data)
9    '''data参数'''
10    response = urllib.request.urlopen("http://httpbin.org/post", data=data)
11    print(response.read().decode('utf-8'))
12'''timeout参数'''
13
14def studyTimeout():
15    try:
16        response1 = urllib.request.urlopen("http://httpbin.org/get", timeout=0.1)
17        print(response1)
18    except urllib.error.URLError as e:
19        if isinstance(e.reason, socket.timeout):
20            print('ITME OUT')
21
22studyData()
23studyTimeout()

request请求对象1

1import urllib.request
2import ssl
3ssl._create_default_https_context = ssl._create_unverified_context
4
5request = urllib.request.Request('https://www.python.org')
6response = urllib.request.urlopen(request)
7print(response.read().decode('utf-8'))

request请求对象2

 1from urllib import request,parse
2import ssl
3ssl._create_default_https_context = ssl._create_unverified_context
4
5url = 'https://www.python.org/post'
6headers = {
7        'User-Agent': 'Mozilla/4.0(compile;MSIE 5.5;Window NT)',
8        'Host': 'httpbin.org',
9}
10dict = {
11    'name': 'Germey'
12}
13data = bytes(parse.urlencode(dict), encoding='utf8')
14req = request.Request(url=url, data=data, headers=headers, method='POST')
15response = request.urlopen(req)
16print(response.read().decode('utf8'))
17
18req =request.Request(url=url, data=data, method='POST')
19req.add_header('User-Agent', 'Mozilla/4.0(compile;MSIE 5.5;Window NT)')

urllib基本库的使用的更多相关文章

  1. Python3 urllib.request库的基本使用

    Python3 urllib.request库的基本使用 所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地. 在Python中有很多库可以用来抓取网页,我们先学习urlli ...

  2. 爬虫——urllib.request库的基本使用

    所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地.在Python中有很多库可以用来抓取网页,我们先学习urllib.request.(在python2.x中为urllib2 ...

  3. 爬虫入门【1】urllib.request库用法简介

    urlopen方法 打开指定的URL urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, ca ...

  4. python爬虫03:那个叫做 Urllib 的库让我们的 python 假装是浏览器

    相信你已经摸清了 浏览器各种请求的套路 也知道了怎么在手机上进行请求和返回数据的抓取 那么接下来我们就开始来使用 python 了 代码 lu 起来 那么 怎么用 python 写各种请求呢? 今天要 ...

  5. python3.6 urllib.request库实现简单的网络爬虫、下载图片

    #更新日志:#0418 爬取页面商品URL#0421 更新 添加爬取下载页面图片功能#0423 更新 添加发送邮件功能# 优化 爬虫异常处理.错误页面及空页面处理# 优化 爬虫关键字黑名单.白名单,提 ...

  6. Python 的 urllib.parse 库解析 URL

      Python 中的 urllib.parse 模块提供了很多解析和组建 URL 的函数. 解析url urlparse() 函数可以将 URL 解析成 ParseResult 对象.对象中包含了六 ...

  7. 通过python的urllib.request库来爬取一只猫

    我们实验的网站很简单,就是一个关于猫的图片的网站:http://placekitten.com 代码如下: import urllib.request respond = urllib.request ...

  8. Python爬虫入门:Urllib parse库使用详解(二)

    文字转载:https://www.jianshu.com/p/e4a9e64082ef,转载内容仅供学习 如有侵权,请联系删除 获取url参数 urlparse 和 parse_qs ParseRes ...

  9. python爬虫---urllib库的基本用法

    urllib是python自带的请求库,各种功能相比较之下也是比较完备的,urllib库包含了一下四个模块: urllib.request   请求模块 urllib.error   异常处理模块 u ...

随机推荐

  1. c语言模块化编程

    C语言模块化编程(封装) 模块即是一个.c 文件和一个.h 文件的结合,头文件(.h)中是对于该模块接口的声明.模块化的实现方法和实质:将一个功能模块的代码单独编写成一个.c文件,然后把该模块的接口函 ...

  2. windows上部署hadoop(单机版)

    在window系统开发程序时,远程linux服务器上的hadoop速度很慢,影响开发效率,能不能在本地搭建hadoop环境的?答案肯定的,且看下文如何在window上部署hadoop: (源文地址:h ...

  3. 洛谷 P1140 相似基因 ( 线性DP || 类LCS )

    题意 : 题目链接 分析 :  可以观察到给出的配对代价表中对角线部分是正数 其余的都是负数,也就是说让相同字母的匹配的越多越好 即找出 LCS 但是这里 DP 的过程需要记录一下代价 有关 LCS ...

  4. [Noip模拟题]宠物之战senso

    Description 众所周知,moreD的宠物已经被moreD奴役得体无完肤.这只宠物实在忍无可忍,把自己每天走魔法树的经历告诉了 自己的宠物.同时他还说明了自己爬树是多么地慢,以至于moreD每 ...

  5. Logger工具类

    org.slf4j.Logger的简单封装,传入所在类的class,和类名或全类名. public class LoggerFactory { public static Logger getLogg ...

  6. shell基础操作

    一.字符串 字符串是shell编程中最常用的数据类型,字符串可以用单引号,也可以用双引号,也可以不用引号. 单引号 name='xiaoxi' 单引号的限制: 单引号里的任何字符都会原样输出,单引号中 ...

  7. SPFA算法的判负环问题(BFS与DFS实现)

    经过笔者的多次实践(失败),在此温馨提示:用SPFA判负环时一定要特别小心! 首先SPFA有BFS和DFS两种实现方式,两者的判负环方式也是不同的.       BFS是用一个num数组,num[x] ...

  8. 从三十而立的迷茫,到30K

    很标题党的标题,但是希望分享一下自己的经历,一份有点儿不寻常的经历. 12年创业,到17年末,举步维艰,没有项目,公司只剩下两个人,负债,现实给我这个每见过什么市面,却自命不凡的人狠狠的一个耳光.加上 ...

  9. SQL Server 2016升级迁移过程中性能问题诊断案例

    日常运行的批量更新作业,平日是5分钟之内结束,今天出现超过30分钟没结束的情况,实际运行3个小时以上,应用程序超时报错. 数据库版本:SQL Server 2016企业版 问题SQL: declare ...

  10. Windows程序调用dll

    可以写在WndProc的WM_CREATE里面,不能写在WinMain里面