爬虫基础(1):urllib库
urllib库
urllib库是python中的一个基本网络请求库。用于模拟浏览器的行为,向指定服务器发送请求,并接收返回的数据。
在python3中所有的网络请求相关函数都集中在urllib.request模块下面
urlopen函数
向服务器发起请求
urlopen函数的参数
- url 目标地址
- data 如果有这个参数,将变为post请求
- 返回值 http.client.HTTPResponse对象,其中含有下面几个方法:
- read(size) size为空则读取所有
- readline() 读取一行
- readlines() 读取多行
- getcode() 读取状态值
基本的使用:
from urllib import request
res = request.urlopen("http://www.baidu.com")
print(res.read())
urlretrieve函数
这个函数可以方便的将网页的一个文件保存到本地。
urlretrieve函数的参数
- url 目标地址
- 下载路径
基本使用
from urllib import request
request.urlretrieve("http://www.baidu.com","index.html") #下载百度首页到index.html
urlencode函数
用于完成url中中文以及特殊字符的编码和解码
基本使用:
from urllib import parse
params = {
"name": "张三",
"age": 14,
"地址": "上海市海河大道1544弄3号楼302"
}
res = parse.urlencode(params)
print(res)
执行结果:
age=14&name=%E5%BC%A0%E4%B8%89&%E5%9C%B0%E5%9D%80=%E4%B8%8A%E6%B5%B7%E5%B8%82%E6%B5%B7%E6%B2%B3%E5%A4%A7%E9%81%931544%E5%BC%843%E5%8F%B7%E6%A5%BC302
在百度上搜索刘德华
from urllib import request
from urllib import parse
# request.urlopen("http://www.baidu.com/s/?wd=刘德华") #直接这样请求会报错
url = "http://www.baidu.com/s/?"
# 定义参数字典
params = {
"wd": "刘德华"
}
# 参数转码
qs = parse.urlencode(params)
# url拼接
url += qs
# 发送请求
res = request.urlopen(url)
print(res.read())
parse_qs函数
将已经编码的url进行解码
基本使用
from urllib import parse
qs = "age=14&name=%E5%BC%A0%E4%B8%89&%E5%9C%B0%E5%9D%80=%E4%B8%8A%E6%B5%B7%E5%B8%82%E6%B5%B7%E6%B2%B3%E5%A4%A7%E9%81%931544%E5%BC%843%E5%8F%B7%E6%A5%BC302"
res = parse.parse_qs(qs)
print(res)
执行结果
{'name': ['张三'], 'age': ['14'], '地址': ['上海市海河大道1544弄3号楼302']}
urlparse 和 urlsplit函数
用于将url各个部分进行分割
基本使用
from urllib import parse
url = "http://www.baidu.com/s/?wd=python"
res = parse.urlsplit(url)
print(res)
res = parse.urlparse(url)
print(res)
执行结果:
SplitResult(scheme='http', netloc='www.baidu.com', path='/s/', query='wd=python', fragment='')
ParseResult(scheme='http', netloc='www.baidu.com', path='/s/', params='', query='wd=python', fragment='')
可以发现两个结果基本相同,唯一不同的是urlsplit()函数返回结果没有params属性
request.Request类
如果需要在请求中添加header信息,则必须用request.Request类实现
基本使用:
# 通过构造请求头 获取拉勾网的招聘信息
from urllib import request
from urllib import parse
url = "https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false"
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',
"Cookie": "_ga=GA1.2.620765502.1560083999; _gid=GA1.2.758158058.1560083999; user_trace_token=20190609203959-b18d608c-8ab3-11e9-a228-5254005c3644; LGUID=20190609203959-b18d64d3-8ab3-11e9-a228-5254005c3644; index_location_city=%E5%85%A8%E5%9B%BD; JSESSIONID=ABAAABAAAIAACBI2C1935D6770E19BC5BE4390354414026; X_HTTP_TOKEN=b6c2ab256a325419948821065120ec66a55a5e4b49; _gat=1; LGSID=20190610090729-1e5547bf-8b1c-11e9-a22c-5254005c3644; PRE_UTM=; PRE_HOST=; PRE_SITE=; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; LGRID=20190610090729-1e5549e6-8b1c-11e9-a22c-5254005c3644; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1560084000,1560090525,1560128850; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1560128850; TG-TRACK-CODE=index_search; SEARCH_ID=60cd24c737344a6f98c48dd4fc94c39c"
}
data = {
"first": "true",
"pn": 1,
"kd": "python"
}
req = request.Request(url, headers=headers, data=(
parse.urlencode(data)).encode("utf-8"), method="POST")
resp = request.urlopen(req)
print(resp.read().decode("utf-8"))
ProxyHandler代理
因为爬虫爬取信息频率过高,容易被服务器的检测机制通过ip地址判定为恶意访问,通过更换代理ip是预防这种情况的有效手段。
基本使用:
from urllib import request
# 不使用代理
req = request.Request("http://httpbin.org/ip")
resp = request.urlopen(req)
print(resp.read())
# 使用代理
# 1.构建handler
handler = request.ProxyHandler({"http": "175.23.43.193:8080"})
# 2.使用handler构建opener
opener = request.build_opener(handler)
# 3. 使用opener发送请求
resp = opener.open("http://httpbin.org/ip")
print(resp.read())
执行结果
b'{\n "origin": "101.88.45.142, 101.88.45.142"\n}\n'
b'{\n "origin": "175.23.43.193, 175.23.43.193"\n}\n'
小练习 使用urllib登录人人网并访问个人主页
代码:
from urllib import request
from http.cookiejar import CookieJar
from urllib import parse
# 1.人人网登录
# 创建cookiejar对象
cookiejar = CookieJar()
# 创建httpcookieprocess对象
handler = request.HTTPCookieProcessor(cookiejar=cookiejar)
# 创建opener
opener = request.build_opener(handler)
# 使用opener发送登录请求,需要传递用户名和密码
headers = {
"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"
}
data = {
"email": "970138074@qq.com",
"password": "pythonspider"
}
data = parse.urlencode(data)
url = "http://www.renren.com/PLogin.do"
req = request.Request(url, data=data.encode("utf-8"), headers=headers)
opener.open(req)
# 2.访问个人主页
dapeng_url = "http://www.renren.com/880151247/profile"
resp = opener.open(dapeng_url)
res = resp.read().decode("utf-8")
with open("renren.html", "w") as f:
f.write(res)
通过opener携带cookie
cookiejar.save() 保存cookie 到本地以及从本地加载cookie
# 保存cookie到本地
cookiejar = MozillaCookieJar('cookie.txt')
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)
resp = opener.open("http://httpbin.org/cookies/set?corse=python")
cookiejar.save(ignore_discard=True) # 该参数设置保存即将过期的cookie
# 加载本地的cookie
cookiejar = MozillaCookieJar('cookie.txt')
cookiejar.load(ignore_discard=True)
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)
resp = opener.open("http://httpbin.org/cookies")
cookiejar.save(ignore_discard=True) # 该参数设置保存即将过期的cookie
for cookie in cookiejar:
print(cookie)
爬虫基础(1):urllib库的更多相关文章
- 爬虫基础之urllib库(代码演示)
# 自定义opener from urllib.request import ProxyHandler,build_opener from urllib.error import URLError ...
- 爬虫基础之urllib库
urllib库的基本使用 urlopen() # 导入urllib库 import urllib # 往指定url发送请求,返回一个响应对象 response = urllib.request.url ...
- 第三百三十六节,web爬虫讲解2—urllib库中使用xpath表达式—BeautifulSoup基础
第三百三十六节,web爬虫讲解2—urllib库中使用xpath表达式—BeautifulSoup基础 在urllib中,我们一样可以使用xpath表达式进行信息提取,此时,你需要首先安装lxml模块 ...
- 第三百二十七节,web爬虫讲解2—urllib库爬虫—基础使用—超时设置—自动模拟http请求
第三百二十七节,web爬虫讲解2—urllib库爬虫 利用python系统自带的urllib库写简单爬虫 urlopen()获取一个URL的html源码read()读出html源码内容decode(& ...
- python 3.x 爬虫基础---常用第三方库(requests,BeautifulSoup4,selenium,lxml )
python 3.x 爬虫基础 python 3.x 爬虫基础---http headers详解 python 3.x 爬虫基础---Urllib详解 python 3.x 爬虫基础---常用第三方库 ...
- 第三百三十节,web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号—抓包软件安装Fiddler4讲解
第三百三十节,web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号—抓包软件安装Fiddler4讲解 封装模块 #!/usr/bin/env python # -*- coding: utf- ...
- 第三百二十九节,web爬虫讲解2—urllib库爬虫—ip代理—用户代理和ip代理结合应用
第三百二十九节,web爬虫讲解2—urllib库爬虫—ip代理 使用IP代理 ProxyHandler()格式化IP,第一个参数,请求目标可能是http或者https,对应设置build_opener ...
- 第三百二十八节,web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术、设置用户代理
第三百二十八节,web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术.设置用户代理 如果爬虫没有异常处理,那么爬行中一旦出现错误,程序将崩溃停止工作,有异常处理即使出现错误也能继续执 ...
- 爬虫入门之urllib库详解(二)
爬虫入门之urllib库详解(二) 1 urllib模块 urllib模块是一个运用于URL的包 urllib.request用于访问和读取URLS urllib.error包括了所有urllib.r ...
随机推荐
- BZOJ 3990 [SDOI2015]排序
题解: 首先很容易看出各个操作是互不影响的,即对于一个合法的操作序列,我们可以任意交换两个操作的位置而不影响合法性. 因此我们可以忽略操作先后的影响,只考虑这个操作是否会出现在操作序列中. 如果用2n ...
- [HDU4609] 3-idiots FFT+计数
用FFT再去重计算出两条边加起来为某个值得方案数,然后用总方案数减去不合法方案数即可. #include<iostream> #include<cstdio> #include ...
- <J2EE学习笔记>关于Servlet的讲义
题外话:接触java又是半年之前的事情了,当初好好学了java却把cpp给忘了,到现在又把手里发热的cpp给放下重新捡起来java,究竟这两种OOP语言我能不能清晰分开记住呢 以下全部课件来自于同济大 ...
- Spring Boot2.0之整合多数据源
一般公司分两个数据库: 一个放共同配置文件, 一个数据库垂直业务数据库 垂直拆分和水平拆分: 垂直是根据业务划分具体数据库 在一个项目中有多个数据源(不同库jdbc) 无限个的哈~ 根据包名 或者 注 ...
- 尚学堂xml学习笔记
1.打开eclipse,文件-新建java project,输入文件的名字,比如输入20181112. 2.对着src右键,选择new-file,输入文件名字,比如:book.xml. 3.开始写.x ...
- python学习笔记:第七天(函数)
Python3 函数 函数是组织好的,可重复使用的,用来实现单一,或相关联功能的代码段. 函数能提高应用的模块性,和代码的重复利用率. 与C一样,Python提供了许多内建函数,比如print().同 ...
- YYYY-mm-dd HH:MM:SS 备忘录
d 月中的某一天.一位数的日期没有前导零. dd 月中的某一天.一位数的日期有一个前导零. ddd 周中某天的缩写名称,在 AbbreviatedDayNames 中定义. dddd 周中某天的完整名 ...
- hdu1521排列问题
题目链接 利用指数型母函数解决排列问题 1.口袋中有白球2个,红球3个,黄球1个,任取3个作为一个排列,总共有多少种排列? 类似地用指数型母函数解决 用(1+x/1!+x2/2!)表示取白球0个,1个 ...
- hdu-2874 Connections between cities(lca+tarjan+并查集)
题目链接: Connections between cities Time Limit: 10000/5000 MS (Java/Others) Memory Limit: 32768/327 ...
- 【面试题046】求1+2+...+n
[面试题046]求1+2+...+n 题目: 求1+2+...+n,要求不能使用乘除法.for.while.if.else.switch.case等关键字及条件判断语句(A?B:C). 思 ...