$python爬虫系列（2）—— requests和BeautifulSoup库的基本用法
本文主要介绍python爬虫的两大利器：requests和BeautifulSoup库的基本用法。
1. 安装requests和BeautifulSoup库
可以通过3种方式安装：
easy_installpip- 下载源码手动安装
这里只介绍pip安装方式：
pip install requests
pip install BeautifulSoup4
2. requests基本用法示例
# coding:utf-8
import requests
# 下载新浪新闻首页的内容
url = 'http://news.sina.com.cn/china/'
# 用get函数发送GET请求，获取响应
res = requests.get(url)
# 设置响应的编码格式utf-8（默认格式为ISO-8859-1），防止中文出现乱码
res.encoding = 'utf-8'
print type(res)
print res
print res.text
# 输出：
'''
<class 'requests.models.Response'>
<Response [200]>
<!DOCTYPE html>
<!-- [ published at 2017-04-19 23:30:28 ] -->
<html>
<head>
<meta http-equiv="Content-type" content="text/html; charset=utf-8" />
<title>国内新闻_新闻中心_新浪网</title>
<meta name="keywords" content="国内时政,内地新闻">
...
'''
下面将上面获取到的网页html内容写入到文件中，这里有一点需要注意的是：python是调用ASCII编码解码程序去处理字符流的，当字符不属于ASCII范围时会抛异常（ordinal not in range(128)），所以要提前设置程序的默认编码：
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
然后再将响应的html内容存入文件中：
with open('content.txt','w+') as f:
f.write(res.text)
3. BeautifulSoup基本用法
1. 自定义测试html
html = '''
<html>
<body>
<h1 id="title">Hello World</h1>
<a href="#link1" class="link">This is link1</a>
<a href="#link2" class="link">This is link2</a>
</body>
</html>
'''
2. 从html文本中获取soup
from bs4 import BeautifulSoup
# 这里指定解析器为html.parser（python默认的解析器），指定html文档编码为utf-8
soup = BeautifulSoup(html,'html.parser',from_encoding='utf-8')
print type(soup)
# 输出：<class 'bs4.BeautifulSoup'>
3. soup.select()函数用法
(1) 获取指定标签的内容
header = soup.select('h1')
print type(header)
print header
print header[0]
print type(header[0])
print header[0].text
# 输出：
'''
<type 'list'>
[<h1 id="title">Hello World</h1>]
<h1 id="title">Hello World</h1>
<class 'bs4.element.Tag'>
Hello World
'''
alinks = soup.select('a')
print [x.text for x in alinks]
# 输出：[u'This is link1', u'This is link2']
(2) 获取指定id的标签的内容（用'#'）
title = soup.select('#title')
print type(title)
print title[0].text
# 输出：
'''
<type 'list'>
Hello World
'''
(3) 获取指定class的标签的内容（用'.'）
alinks = soup.select('.link')
print [x.text for x in alinks]
# 输出：[u'This is link1', u'This is link2']
(4) 获取a标签的链接（href属性值）
print alinks[0]['href']
# 输出：#link1
(5) 获取一个标签下的所有子标签的text
body = soup.select('body')[0]
print body.text
# 输出：
'''
Hello World
This is link1
This is link2
'''
(6) 获取不存在的标签
aa = soup.select('aa')
print aa
# 输出：[]
(7) 获取自定义属性值
html2 = '<a href="www.test.com" qoo="123" abc="456">This is a link.</a>'
soup2 = BeautifulSoup(html2,'html.parser')
alink = soup2.select('a')[0]
print alink['qoo']
print alink['abc']
# 输出：
'''
123
456
'''
4. soup.find()和soup.find_all()函数用法
(1) find()和find_all()函数原型：
find和find_all函数都可根据多个条件从html文本中查找标签对象，只不过find的返回对象类型为bs4.element.Tag，为查找到的第一个满足条件的Tag；而find_all的返回对象为bs4.element.ResultSet（实际上就是Tag列表）,这里主要介绍find函数，find_all函数类似。
find(name=None, attrs={}, recursive=True, text=None, **kwargs)
注：其中name、attrs、text的值都支持正则匹配。
find_all(name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)
注：其中name、attrs、text的值都支持正则匹配。
(2) find函数的用法示例
html = '<p><a href="www.test.com" class="mylink1 mylink2">this is my link</a></p>'
soup = BeautifulSoup(html,'html.parser')
a1 = soup.find('a')
print type(a1)
# 输出：<class 'bs4.element.Tag'>
print a1.name
print a1['href']
print a1['class']
print a1.text
# 输出：
'''
a
www.test.com
[u'mylink1', u'mylink2']
this is my link
'''
# 多个条件的正则匹配：
import re
a2 = soup.find(name = re.compile(r'\w+'),class_ = re.compile(r'mylink\d+'),text = re.compile(r'^this.+link$'))
# 注：这里的class属性之所以写成'class_'，是为了防止和python关键字class混淆，其他属性名写正常的名就行，不用这样特殊处理
print a2
# 输出：
'''
<a class="mylink1 mylink2" href="www.test.com">this is my link</a>
'''
# find函数的链式调用
a3 = soup.find('p').find('a')
print a3
# 输出：
'''
<a class="mylink1 mylink2" href="www.test.com">this is my link</a>
'''
# attrs参数的用法
# 注：支持正则匹配属性值（包括自定义属性）
import re
html = '<div class="myclass" my-attr="123abc"></div><div class="myclass" my-attr="abc">'
soup = BeautifulSoup(html,'html.parser')
div = soup.find('div',attrs = {'class':'myclass','my-attr':re.compile(r'\d+\w+')})
print div
# 输出：
'''
<div class="myclass" my-attr="123abc"></div>
'''
4. 网络爬虫基本架构
5. 补充
1. 代理访问
有时候为了避免封IP，或者在某些公司内网访问外网时候，需要用到代理服务器发送请求，代理的用法示例：
import requests
proxies = {'http':'http://proxy.test.com:8080','https':'http://proxy.test.com:8080'} # 其中proxy.test.com即为代理服务器的地址
url = 'https://www.baidu.com' # 这个url为要访问的url
resp = requests.get(url,proxies = proxies)
如果代理服务器需要账号、密码，则可以这样写proxies：
proxies = {'http':'http://{username}:{password}@proxy.test.com:8080','https':'http://{username}:{password}@proxy.test.com:8080'}
2. 向https的url发送请求
有时候向https的url发送请求会报错：ImportError:no module named certifi.
解决方法：在发送请求时关闭校验：verify = False，如：
resp = requests.get('https://test.com',verify = False)
注：也可通过在headers中传相关鉴权参数来解决此问题。
3. httpbin.org
httpbin.org是requests库的作者开发的一个网站，可以专门用来测试requests库的各种功能，其页面如下：
但httpbin.org的服务器在国外，访问速度比较慢。所以需要在本地搭建一个该网站的镜像，方法如下：
- 前提：安装好requests库，才能基于该网站测试requests库的功能。
pip install gunicorn httpbingunicorn httpbin:app- 浏览器输入：127.0.0.1:8000,即可访问。
注：以上步骤在windows下会报错：缺少模块pwd.fcanl，在linux下没问题。
4. requests库官方文档
http://docs.python-requests.org/en/master/
随机推荐
- centos 删除文件和目录
每次都记不住,发个文章记录一下.直接rm就可以了,不过要加两个参数-rf 即:rm -rf 目录名字-r 就是向下递归,不管有多少级目录,一并删除-f 就是直接强行删除,不作任何提示的意思 删除文件夹 ...
- iis配置asp.net常见问题解决方案
很多朋友在用IIS6架网站的时候遇到不少问题,而这些问题有些在过去的IIS5里面就遇到过,有些是新出来的,俺忙活了一下午,做 了很多次试验,结合以前的排错经验,做出了这个总结,希望能给大家帮上忙:) ...
- Flink1.4.0中反序列化及序列化类变化
Flink1.4.0中,反序列化及序列化时继承的类,有一些被标记为了“@deprecated”,路径上也有变化: 1.AbstractDeserializationSchema 以前路径 org.ap ...
- 产品相关 做产品VS做项目
做产品VS做项目 by:授客 QQ:1033553122 相关定义 根据GB/T19000—2008<质量管理体系基础和术语>,有以下定义 过程process 一组将输入转化为输出的相互关 ...
- wmware中网络设置技巧
wmware中网络的三种方式: .............................................. (1)桥接模式: 将主机网卡与虚拟机虚拟的网卡利用虚拟网桥进行通信. 默认 ...
- Ext根据条件显示隐藏列
Ext根据条件显示隐藏列 写在ExtonReady函数里面,并在表格成功渲染之后,可以添加判断是否隐藏或者显示某一列 /* 判断是否显示版本号一列 */ var showVersionFlag = ' ...
- Axure响应式进阶
Axure响应式进阶 2018年6月2日luodonggan 随大屏幕分辨率普及,网页设计在交互阶段就必须考虑响应式方案,Axure7作为我偏爱的交互设计工具果然也没让大家失望的新增了Adaptive ...
- Oracle EBS PO 接受入库
- SQL Server ->> 使用CROSS APPLY语句是遇到聚合函数中包含外部引用列时报错
本次遇到的问题是CROSS APPLY的内部查询语句中的聚合函数包含CASE WHEN判断,且同时又内部语句的表的列和外部引用的表的列,此时会报下列的错误. 消息 8124,级别 16,状态 1,第 ...
- 解决eclipse 文件更新不自动刷新的问题
打开eclipse 1. Window ===> Preferences ===> General ===> Workspace 2. 勾选 1> Refresh using ...