urllib基本库的使用
get方法的学习
1import urllib.request
2import ssl
3#设置全局证书
4ssl._create_default_https_context = ssl._create_unverified_context
5response = urllib.request.urlopen("https://www.python.org/getit/")
6print(response.read().decode('utf-8'))
7print(type(response))
8#响应状态码
9print(response.status)
10#响应头
11print(response.getheaders())
12#响应头中server的值
13print(response.getheader("Server"))
14#响应的msg值
15print(response.msg)
post的方法
1import urllib.parse
2import urllib.request
3import socket
4import urllib.error
5'''byte方法 将参数转化为字节流'''
6def studyData():
7 data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')
8 print(data)
9 '''data参数'''
10 response = urllib.request.urlopen("http://httpbin.org/post", data=data)
11 print(response.read().decode('utf-8'))
12'''timeout参数'''
13
14def studyTimeout():
15 try:
16 response1 = urllib.request.urlopen("http://httpbin.org/get", timeout=0.1)
17 print(response1)
18 except urllib.error.URLError as e:
19 if isinstance(e.reason, socket.timeout):
20 print('ITME OUT')
21
22studyData()
23studyTimeout()
request请求对象1
1import urllib.request
2import ssl
3ssl._create_default_https_context = ssl._create_unverified_context
4
5request = urllib.request.Request('https://www.python.org')
6response = urllib.request.urlopen(request)
7print(response.read().decode('utf-8'))
request请求对象2
1from urllib import request,parse
2import ssl
3ssl._create_default_https_context = ssl._create_unverified_context
4
5url = 'https://www.python.org/post'
6headers = {
7 'User-Agent': 'Mozilla/4.0(compile;MSIE 5.5;Window NT)',
8 'Host': 'httpbin.org',
9}
10dict = {
11 'name': 'Germey'
12}
13data = bytes(parse.urlencode(dict), encoding='utf8')
14req = request.Request(url=url, data=data, headers=headers, method='POST')
15response = request.urlopen(req)
16print(response.read().decode('utf8'))
17
18req =request.Request(url=url, data=data, method='POST')
19req.add_header('User-Agent', 'Mozilla/4.0(compile;MSIE 5.5;Window NT)')
urllib基本库的使用的更多相关文章
- Python3 urllib.request库的基本使用
Python3 urllib.request库的基本使用 所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地. 在Python中有很多库可以用来抓取网页,我们先学习urlli ...
- 爬虫——urllib.request库的基本使用
所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地.在Python中有很多库可以用来抓取网页,我们先学习urllib.request.(在python2.x中为urllib2 ...
- 爬虫入门【1】urllib.request库用法简介
urlopen方法 打开指定的URL urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, ca ...
- python爬虫03:那个叫做 Urllib 的库让我们的 python 假装是浏览器
相信你已经摸清了 浏览器各种请求的套路 也知道了怎么在手机上进行请求和返回数据的抓取 那么接下来我们就开始来使用 python 了 代码 lu 起来 那么 怎么用 python 写各种请求呢? 今天要 ...
- python3.6 urllib.request库实现简单的网络爬虫、下载图片
#更新日志:#0418 爬取页面商品URL#0421 更新 添加爬取下载页面图片功能#0423 更新 添加发送邮件功能# 优化 爬虫异常处理.错误页面及空页面处理# 优化 爬虫关键字黑名单.白名单,提 ...
- Python 的 urllib.parse 库解析 URL
Python 中的 urllib.parse 模块提供了很多解析和组建 URL 的函数. 解析url urlparse() 函数可以将 URL 解析成 ParseResult 对象.对象中包含了六 ...
- 通过python的urllib.request库来爬取一只猫
我们实验的网站很简单,就是一个关于猫的图片的网站:http://placekitten.com 代码如下: import urllib.request respond = urllib.request ...
- Python爬虫入门:Urllib parse库使用详解(二)
文字转载:https://www.jianshu.com/p/e4a9e64082ef,转载内容仅供学习 如有侵权,请联系删除 获取url参数 urlparse 和 parse_qs ParseRes ...
- python爬虫---urllib库的基本用法
urllib是python自带的请求库,各种功能相比较之下也是比较完备的,urllib库包含了一下四个模块: urllib.request 请求模块 urllib.error 异常处理模块 u ...
随机推荐
- IP地址(参考百度百科)
题目1:用子网掩码划分网络时,如果划分8个子网,则需要4位.因为24-2>=8.(全0代表网络自身,全1代表广播地址,所以减2) 以C类地址为例,(1)8个子网,则4位子网,主机号为后4位,主机 ...
- 如何使用Android Studio与夜神模拟器开发调试
(1)运行夜神模拟器, (2)打开命令行窗口, (3)打开到夜神安装目录(如cd D:\Program Files\NOX\Nox\bin)本人安装的目录, (4)执行命令:nox_adb.exe c ...
- Linux培训教程 Git在linux下的使用
*初始化git仓库,使用gitinit命令 *添加文件到git仓库分两步: 1.使用git add filename ;可分多次使用,添加多个文件到暂存区 2.使用git commit -m “ ...
- #418 Div2 Problem B An express train to reveries (构造 || 全排列序列特性)
题目链接:http://codeforces.com/contest/814/problem/B 题意 : 有一个给出两个含有 n 个数的序列 a 和 b, 这两个序列和(1~n)的其中一个全排列序列 ...
- 【模板】【数论】二次剩余Cipolla算法,离散对数BSGS 算法
Cipolla LL ksm(LL k,LL n) { LL s=1; for(;n;n>>=1,k=k*k%mo) if(n&1) s=s*k%mo; return s; } n ...
- Applied Spatiotemporal Data Mining应用时空数据挖掘
Course descriptionWith the continuing advances of geographic information science and geospatialtechn ...
- hihoCoder #1558 : H国的身份证号码I
题目链接:https://hihocoder.com/problemset/problem/1558 H国的身份证号码I 时间限制:10000ms 单点时限:1000ms 内存限制:256MB 描述 ...
- 两类特殊的Nim游戏:Nim-K游戏与反Nim游戏
Nim-K游戏 描述 有\(n\)堆石子,每次可从\(k\)堆石子中拿走任意数量的石子. 两个人轮流拿,谁不能拿谁输. 先手必胜条件 把\(n\)堆石子的石子数用二进制表示,统计每一个二进制位上\(1 ...
- legend3---PHP使用阿里云短信服务
legend3---PHP使用阿里云短信服务 一.总结 一句话总结: 使用步骤照官方文档,代码拷贝即可 1.php使用阿里云短信服务的步骤? 入驻阿里云->开通短信服务->获取Access ...
- python调用c++/c 共享库,开发板上编译的一些坑!
1.对于python,ctypes只能load动态库,但现在我的对象是一个静态库,而且我没有源代码,静态库在编译过程中没有加--fPIC参数,所以我也没办法将其编译为动态库,有没有什么方法在pytho ...