常用正则表达式爬取网页信息及HTML分析总结

Python爬取网页信息时，经常使用的正则表达式及方法。

1.获取<tr></tr>标签之间内容

2.获取<a href..></a>超链接之间内容

3.获取URL最后一个参数命名图片或传递参数

4.爬取网页中所有URL链接

5.爬取网页标题title两种方法

6.定位table位置并爬取属性-属性值

7.过滤<span></span>等标签

8.获取<script></script>等标签内容

1). 获取<tr></tr>标签之间内容
开始标签如：<tr>、<th>、<td>、<a>、<table>、<div>...
后缀标签如：</tr>、</th>、</td>、</a>、</table>、</div>...

核心代码：

res_tr = r'<tr>(.*?)</tr>'

m_tr = re.findall(res_tr,language,re.S|re.M)

# eg_v1

import re

language = '''<tr><th>床前明月光</th><td>忧思独伤心</td></tr><tr>'''

# 正则表达式获取<tr></tr>之间内容

res_tr = r"<tr>(.*?)</tr>"

m_tr = re.findall(res_tr,language,re.S|re.M)

print (unicode(m_tr,"utf-8"))

for line in m_tr:

print line

res_th = r"<th>(.*?)</th>"

m_th = re.findall(res_th,line,re.S|re.M)

for mm in m_th:

print (unicode(mm,"utf-8"))

res_td = r"<td>(.*?)</td>"

m_td = re.findall(res_td,line,re.S|re.M)

for nn in m_td:

print (unicode(nn,"utf-8"))

2). 获取超链接<a href=..></a>之间内容
在使用正则表达式时，需要分析网页链接，获取URL或网页内容。核心代码如下：

res = r'<a .*?>(.*?)</a>'

mm = re.findall(res, content, re.S|re.M)

urls=re.findall(r"<a.*?href=.*?<\/a>", content, re.I|re.S|re.M)

# eg_v2

import re

content = '''

<td>

<a href="https://www.baidu.com/articles/zj.html" title="浙江省">浙江省主题介绍</a>

<a href="https://www.baidu.com//articles/gz.html" title="贵州省">贵州省主题介绍</a>

</td>

'''

# 获取<a href></a>之间的内容

res = r'<a .*?>(.*?)</a>'

mm = re.findall(res,content,re.S|re.M)

for value in mm:

print (value)

# 获取所有<a href></a>链接所有内容

urls = re.findall(r"a.*?href=.*?<\/a>",content,re.I|re.S|re.M)

for i in urls:

print i

# 获取<a href></a>中的URL

res_url = r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')"

link = re.findall(res_url,content,re.I|re.S|re.M)

for url in link:

print (url)

3). 获取URL最后一个参数命名图片或传递参数
使用Python爬取图片过程中，会遇到图片对应的URL最后一个字段通常用于命名图片
通过该URL的"/"后面的参数命名图片
# eg_v3

urls = 'http://i1.hoopchina.com.cn/blogfile/201411/11/BbsImg141568417848931_640*640.jpg'

value = urls.split("/")[-1]

print (value)

# BbsImg141568417848931_640*640.jpg

使用Python获取GET方法的URL链接中，还可能存在传递参数的值,获取参数方法:

url = 'http://localhost/test.py?a=hello&b=world'

values = url.split('?')[-1]

print (values)

# a=hello&b=world

for key_value in values.split('&'):

print (key_value.split('='))

# ['a', 'hello']

# ['b', 'world']

4). 爬取网页中所有URL链接
从固有网页中爬取URL链接，再进行下一步的循环爬取或URL抓取.
# eg_v4 (爬取CSDN首页的所有URL链接)

import re

import urllib2

url = "http://www.csdn.net/"

content = urllib2.urlopen(url).read()

urls = re.findall(r'<a.*?href=.*?<\/a>',content,re.I)

for url in urls:

print (unicode(url,"utf-8"))

link_list = re.findall(r"(?=href=\".+?(?=\")|(?<=href=\').+?(?=\')",content)

for url in link_list:

print (url)

5). 爬取网页标题title两种方法
获取网页标题也是一种常见的爬虫,常位于<html><head><title>标题</title></head></html>中
# eg_v5 (爬取CSDN标题)

import re

import urllib2

url = 'http://www.csdn.net/'

content = urllib2.urlopen(url).read()

# 方法一

title_pat = r'(?<=<title>).*?(?=</title>)'

title_ex = re.compile(title_pat,re.M|re.S)

title_obj = re.search(title_ex,content)

title = title_obj.group()

print (title)

# 方法二

title = re.findall(r'<title>(.*?)</title>',content)

print (title[0])

6). 定位table位置并爬取属性-属性值
# eg_v6 (正则表达式获取td值的例子)

import re

s = '''<table>

<tr>

<td>序列号</td><td>DEIN3-39CD3-2093J3</td>

<td>日期</td><td>2013年1月22日</td>

<td>售价</td><td>392.70 元</td>

<td>说明</td><td>仅限5用户使用</td>

</tr>

</table>

'''

res = r'<td>(.*?)</td><td>(.*?)</td>'

m = re.findall(res,s,re.S|re.M)

for line in m:

print (unicode(line[0],'utf-8'),unicode(line[1],'utf-8'))

# 如果<td id="">包含该属性则正则表达式为r'<td id=.*?>(.*?)</td>'；同样如果不一定是id属性开头，则可以使用正则表达式r'<td .*?>(.*?)</td>'

7). 过滤<span></span>等标签
获取值过程中，通常会存在<span>、<br>、<a href>等标签
核心代码：

elif "span" in nn: #处理标签<span>

res_value = r'<span .*?>(.*?)</span>'

m_value = re.findall(res_value,nn,re.S|re.M)

for value in m_value:

print unicode(value,'utf-8'),

# eg_v7

import re

language = '''

<table class="infobox bordered vcard" style="width: 21em; font-size: 89%; text-align: left;" cellpadding="3">

<caption style="text-align: center; font-size: larger;" class="fn"><b>购书</b></caption>

<tr>

<th>性別：</th>

<td>男</td>d

</tr>

<tr>

<th>異名：</th>

<td><span class="nickname">(字) 翔宇</span></td>

</tr>

<tr>

<th>政黨：</th>

<td><span class="org"><a href="../articles/%E4%B8%AD9A.html" title="购书中心"></a></span></td>

</tr>

<tr>

<th>籍貫：</th>

<td><a href="../articles/%E6%B5%9981.html" title="广东省">广东省</a><a href="../articles/%E7%BB%8D82.html" title="绍兴市">绍兴市</a></td>

</tr>

</table>

'''

# 获取table中tr值

res_tr = r'<tr>(.*?)</tr>'

m_tr = re.findall(res_tr,language,re.S|re.M)

# 获取表格第一列th 属性

for line in m_tr:

res_th = r'<th>(.*?)</th>'

m_th = re.findall(res_th,line,re.S|re.M)

for mm in m_th:

if "href" in mm： # 如果获取加粗的th中含超链接则处理

restr = r'<a href=.*?(.*?)<\a>'

h = re.findall(res_tr,mm,re.S|re.M)

print (unicode(h[0],'utf-8'))

else:

print (unicode(mm,'utf-8'))

# 取表格第二列td 属性值

res_td = r'<td>(.*?)</td>'

m_td = re.findall(res_td,line,re.S|re.M)

for nn in m_td:

if 'href' in nn:

res_value = r'<a .*?>(.*?)</a>'

m_value = re.findall(res_value,nn,re.S|re.M)

for value in m_value:

print (unicode(value,'utf-8'))

elif "span" in nn:

res_value = r'<span .*?>(.*?)</span>'

m_value = re.findall(res_value,nn,re.S|re.M)

for value in m_value:

print (unicode(value,'utf-8')

else:

print (unicode(nn,'utf-8'))

print (' ')

8). 获取<script></script>等标签内容
在获取游讯网图库中，图集对应的原图它是存储在script中，其中获取原图-original即可
通过正则表达式下载URL：

res_original = r'"original":"(.*?)"' #原图

m_original = re.findall(res_original,script)

# eg_v8

import re

import os

import urllib

content = '''

<script>var images = [

{ "big":"http://i-2.yxdown.com/2015/3/18/KDkwMHgp/6381ccc0-ed65-4422-8671-b3158d6ad23e.jpg",

  "thumb":"http://i-2.yxdown.com/2015/3/18/KHgxMjAp/6381ccc0-ed65-4422-8671-b3158d6ad23e.jpg",

  "original":"http://i-2.yxdown.com/2015/3/18/6381ccc0-ed65-4422-8671-b3158d6ad23e.jpg",

  "title":"","descript":"","id":75109},

{ "big":"http://i-2.yxdown.com/2015/3/18/KDkwMHgp/fec26de9-8727-424a-b272-f2827669a320.jpg",

  "thumb":"http://i-2.yxdown.com/2015/3/18/KHgxMjAp/fec26de9-8727-424a-b272-f2827669a320.jpg",

  "original":"http://i-2.yxdown.com/2015/3/18/fec26de9-8727-424a-b272-f2827669a320.jpg",

  "title":"","descript":"","id":75110},

</script>

'''

html_script = r'<script>(.*?)</script>'

m_script = re.findall(html_script,content,re.S|re.M)

for script in m_script:

	res_original = r'"original":"(.*?)"'

	m_original = re.findall(res_original,script)

	for pic_url in m_original:

		print (pic_url)

		filename = os.path.basename(pic_url)

		urllib.urlretrieve(pic_url,"D:\\" + filename)

常用正则表达式爬取网页信息及HTML分析总结的更多相关文章

[python] 常用正则表达式爬取网页信息及分析HTML标签总结【转】
[python] 常用正则表达式爬取网页信息及分析HTML标签总结转http://blog.csdn.net/Eastmount/article/details/51082253 标签: pytho ...
python学习之——爬取网页信息
爬取网页信息说明:正则表达式有待学习,之后完善此功能 #encoding=utf-8 import urllib import re import os #获取网络数据到指定文件 def getHt ...
Python爬取网页信息
Python爬取网页信息的步骤以爬取英文名字网站(https://nameberry.com/)中每个名字的评论内容,包括英文名,用户名,评论的时间和评论的内容为例. 1.确认网址在浏览器中输入初 ...
python 嵌套爬取网页信息
当需要的信息要经过两个链接才能打开的时候,就需要用到嵌套爬取. 比如要爬取起点中文网排行榜的小说简介,找到榜单网址:https://www.qidian.com/all?orderId=&st ...
用shell脚本爬取网页信息
有个小需求,就是爬取一个小网站一些网页里的某些信息,url是带序号的类似的,不需要写真正的spider,网页内容也是差不多的需要取出网页中<h1></h1>中间的字符串,而且 ...
python网络爬虫之解析网页的正则表达式(爬取4k动漫图片)[三]
前言 hello,大家好本章可是一个重中之重,因为我们今天是要爬取一个图片而不是一个网页或是一个json 所以我们也就不用用到selenium模块了,当然有兴趣的同学也一样可以使用selenium去 ...
使用webdriver+urllib爬取网页数据(模拟登陆，过验证码)
urilib是python的标准库,当我们使用Python爬取网页数据时,往往用的是urllib模块,通过调用urllib模块的urlopen(url)方法返回网页对象,并使用read()方法获得ur ...
初识python 之爬虫：使用正则表达式爬取“糗事百科 - 文字版”网页数据
初识python 之爬虫:使用正则表达式爬取"古诗文"网页数据的兄弟篇. 详细代码如下: #!/user/bin env python # author:Simple-Sir ...
初识python 之爬虫：使用正则表达式爬取“古诗文”网页数据
通过requests.re(正则表达式) 爬取"古诗文"网页数据. 详细代码如下: #!/user/bin env python # author:Simple-Sir # tim ...

随机推荐

os.path的使用
os.path 1.返回当前目录举个例子: (1)给出一个目录名称,返回绝对路径 project_path = "Exercise" path = os.path.dirname ...
zha男/女的三种境界
本文为chedan贴,谈一谈找对象时渣男/女的三种表现,分别对应三种境界,涉世未深的男生女生可加以小心,自身属于zha类型的可略过本文. 另,本文的恋爱观基于两个原则.一是对象应是从朋友到恋人的 ...
asp.net乱码问题
1.html文件乱码 html文件是有编码方式的,比如"UTF-8"."GB2312". A.VS中在文件选项,文件另存为...,保存右边的下拉框编码保存... ...
Trie树（转：http://blog.csdn.net/arhaiyun/article/details/11913501）
Trie 树, 又称字典树,单词查找树.它来源于retrieval(检索)中取中间四个字符构成(读音同try).用于存储大量的字符串以便支持快速模式匹配.主要应用在信息检索领域. Trie 有三种结构 ...
【Tools】-NO.4.Tools.1.VM.1.001-【VMware Workstation PRO 12 Install CentOS 7.1】-
1.0.0 Summary Tittle:[Tools]-NO.4.Tools.1.VM.1.001-[VMware Workstation PRO 12 Install CentOS 7.1]- S ...
ssh和scp时指定端口
(1)ssh ssh -p xx $user@ip 其中xx是端口号,user是用户名,ip是主机ip 比如:ssh -p 23241 root@192.168.1.2 参考:https://blog ...
CentOS6.5安装RHBase
1.安装依赖包 yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel lib-dev ...
python call so
作为一个老程序员,如果,python不能与c发生点儿关系,我都挺过意不去的啊那么,就解决了这个强迫症吧,阿门! //pycall.c #include <stdio.h> #includ ...
android studio 编译sdk版降低报错解决方法
解决办法如下: 步骤1:在gradle中修改 compile sdk 版本,比如 8. 步骤2:在gradle中删除v7包的依赖步骤3:在manifest中修改theme,supportsRtl.t ...
uft调用rfc接口
RFC接口函数调用: 以下代码是封装好的,为了提供给UFT工具调用,使用c#写成dll. 类型项目分成两个: 1.baseConfigModel.cs //sap配置登录信息,属性实体类 using ...

常用正则表达式爬取网页信息及HTML分析总结

常用正则表达式爬取网页信息及HTML分析总结的更多相关文章

随机推荐

热门专题