python 正则表达式re模块
#####################总结##############
优点: 灵活, 功能性强, 逻辑性强.
缺点: 上手难,旦上手, 会爱上这个东西
工具: 各大文本编辑器一般都有正则匹配功能. 我们也可以去 http://tool.chinaz.com/regex/进行在线测试.
正则表达式由普通字符和元字符组成,普通字符包含大小写字母, 数字,在匹配普通字符的时候我们直接写就可以了
(1) 字符组
字符组很简单用[]括起来,在[]中出现的内容会被匹配,例如:[abc] 匹配a或b或c
[a-z] 匹配a到z之间的所有字母, [0-9]匹配所有阿拉伯数字
[a-zA-Z0-9] : 匹配的是大写字母,小写字母和阿拉伯数字
(2)简单元字符
- . 匹配除换行符以外的任意字符
- \w 匹配字母或数字下划线
- \s 匹配任意的空白符
- \d 匹配数字
- \n 匹配一个换行符
- \t 匹配一个制表符
- \b 匹配一个单词的结尾
- ^ 匹配字符串的开始
- $ 匹配字符串的结尾
- \W 匹配非字母或数字或下划线
- \D 匹配非数字
- \S 匹配非空白符
- a|b 匹配字符a或字符b
- () 匹配括号内表达式,也表示一个组
- [......] 匹配字符组中的字符
- [^...] 匹配除了字符组中字符的所有字符
(3)量词
当一次性匹配多个字符时,需要用到量词
- * 重复零次或更多次
- + 重复一次或多次
- ? 重复零次或一次
- {n} 重复n次
- {n,} 重复n次或者更多次
- {n,m}重复n到m次
比如:
m = re.match(r'^(\d{3})-(\d{3,10})$', '025-7654321')
得到的结果group(0)始终都是字符串本身。 m.group(0)
Out[103]: '025-7654321'
group(1)是提取的第一个字符串 m.group(1)
Out[104]: ''
group(2)是提取的第二个字符串 m.group(2)
Out[105]: ''
groups()会全部输出一个tuple。 type(m.groups())
Out[107]: tuple
m.groups()
Out[106]: ('', '')
(4)惰性匹配和贪婪匹配
在量词中 *,+,{ }都属于贪婪匹配,就是尽可能多的匹配到结果.
str: 麻花藤昨天让英雄联盟关服了
reg: 麻花藤.*
此时匹配的是整句话
在使用.*后面如果加了? 则是尽可能少的匹配,
str: 麻花藤昨天让英雄联盟关服了
reg: 麻花藤.*?
此时匹配的是 麻花藤
.*?x的特殊含义找到下一X为止
str: abcdefgxhijklmn
reg: .*?x
结果: abcdefgx
(5) 分组
在正则中使用()进行分组.
比如. 我们要匹配身份证号,身份证号分成两种,老的身份证号有15位,新的身份证号有18位,并且新的身份证号结尾有可能是x
给出以下正则:
^[1-9]\d{13,16}[0-9x]$ 错误
^[1-9]\d{14}(\d{2}[0-9x])?$ 正确
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ 正确
(6)转义:
在正则表达式中, 有很多有特殊意义的是元字符,比如\n和\s等,如果要在正则中匹 配正常的"\n"而不是"换行符"就需要对"\"进行转义, 变成'\\'.
在python中, 无论是正则表达式, 还是待匹配的内容, 都是以字符串的形式出现的, 在字符串中\也有特殊的含义, 本身还需要转义.
所以如果匹配一次"\n", 字符串中要写成'\\n', 那么正则里就要写成"\\\\n",这样就太麻烦了. 这个时候我们就用到了r'\n'这个概念, 此时的正则是r'\\n'就可以了
2. re模块
re模块是python提供的一套关于处理正则表达式的模块.核心功能有四个:
(1) findall 查找所有. 返回list
import re
lst = re.findall("a","adsadjafaaowjf")
print(lst) #['a', 'a', 'a', 'a', 'a'] lst = re.findall(r"\d+","12年了,你只挣了10000")
print(lst) #['12', '10000']
(2)search进行匹配,但是如果匹配到了第一个结果,就会返回这个结果,如果匹配不上search返回的则是None
ret = re.search(r"\d","20年了,你只挣了20000").group()
print(ret)
(3)match 只能从字符串的开头进行匹配
ret = re.match('a', 'abc').group() #如果没有取group就会报错
print(ret) # a
(4) finditer 和findall差不多,只不过这时返回的是迭代器
it = re.finditer("m","mdhahsfofncamdnmdadod")
for el in it :
print (el.group()) #依然需要分组
(5)其他操作
ret = re.split("[ab]","qwerafjbcd") #先按"a"分割得到"qwer"和"fjbcd",再对"qwer"和"fjbcd"按"b"分割
print(ret) #['qwer', 'fj', 'cd']
ret = re.sub(r"\d+","_sb_","alex250taibai250wusir250ritian38") # 把字符串中的数字换成__sb__
print(ret) #alex_sb_taibai_sb_wusir_sb_ritian_sb_
ret = re.subn(r"\d+","_sb_","alex250taibai250wusir250ritian38") # 把字符串中的数字换成__sb__返回元组(替换的结果,替换了多少次)
print(ret) #('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4)
compile()
obj = re.compile(r'\d{3}') # 将正则表达式编译成为一个正则表达式对象,规则要匹配的是3个数字
ret = obj.search("ajdjffafk456") # 正则表达式对象调⽤用search, 参数为待匹配的字符串串
print(ret.group()) #
re爬虫重点:
obj = re.compile(r"(?P<id>\d+)(?P<name>e+)") # 从正则表达式匹配的内容每个组起名字
ret = obj.search("abc123eee") #搜索 print(ret.group()) #123eee
print(ret.group("id")) #123 #获取id组的内容
print(ret.group("name")) #eee 获取name组的内容
(6)两个坑
注意: 在re模块中和我们在线测试工具中的结果可能是不一样的
ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
print(ret) # 结果 ['oldboy'] 这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可 ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['www.oldboy.com']
split里也有一个坑
ret=re.split("\d+","eva3egon4yuan")
print(ret) #结果 : ['eva', 'egon', 'yuan']
ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #结果 : ['eva', '3', 'egon', '4', 'yuan']
#在匹配部分加上(之后所切出的结果是不不同的)
#没有()的没有保留所匹配的项,但是有()的却能够保留了匹配的项,
#这个在某些需要保留匹配部分的使用过程是非常重要的
1.手机号的匹配
^[1-9]\d{14}(\d{2}[0-9x])?$
2.将douban250的电影信息爬下来.并将信息写入文件中
import re
from urllib.request import urlopen
import ssl #有时候需要
ssl._create_default_https_context = ssl._create_unverified_context def get_page(url):
response = urlopen(url)
return response.read().decode("utf-8") def parse_page(s):
outcome =re.compile(r'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*? <span class="title">(?P<title>.*?)</span>.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*? <span>(?P<comment_num>.*?)评价</span>',re.S)
result = outcome.finditer(s)
for i in result:
yield {"id": i.group("id"),
"title": i.group("title"),
"rating_num": i.group("rating_num"),
"comment_num": i.group("comment_num"),
} def main(num):
url ='https://movie.douban.com/top250?start=%s&filter=' % num
response = get_page(url)
result = parse_page(response)
with open("movie_info1", "a", encoding="utf8") as f:
for el in result:
print(el)
data = str(el)
f.write(data + "\n")
count = 0
for i in range(10):
main(count)
count += 25
3.爬取电影天堂最新电影地址
from urllib.request import urlopen
import re
import json main_url = "https://www.dytt8.net/"
reg = re.compile(r'\[<a href="/html/gndy/dyzz/index.html">最新电影下载</a>\]<a href=\'(?P<url>.*?)\'>', re.S)
son_reg = re.compile(r'<div id="Zoom">.*?◎片 名(?P<name>.*?)<br />.*?◎主 演(?P<main>.*?)<br />◎简 介.*?<td style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(?P<download>.*?)">', re.S) # 获取主页面内容
def get_main_page():
main_page = urlopen(main_url).read().decode("gbk")
# 主页面
it = reg.finditer(main_page)
lst = []
for el in it:
d = get_son_page(main_url+el.group("url"))
lst.append(d)
# indent 控制格式
json.dump(lst, open("movie.json", mode="w", encoding="utf-8"), indent=4, ensure_ascii=False) # 获取子页面内容
def get_son_page(son_url):
content = urlopen(son_url).read().decode("gbk")
it = son_reg.finditer(content)
for el in it:
return {"name":el.group("name").strip(), "main":el.group("main").strip().replace(" ", "").split("<br />"), "download":el.group("download").strip()} get_main_page()
python 正则表达式re模块的更多相关文章
- python正则表达式Re模块备忘录
title: python正则表达式Re模块备忘录 date: 2019/1/31 18:17:08 toc: true --- python正则表达式Re模块备忘录 备忘录 python中的数量词为 ...
- Python面试题之Python正则表达式re模块
一.Python正则表达式re模块简介 正则表达式,是一门相对通用的语言.简单说就是:用一系列的规则语法,去匹配,查找,替换等操作字符串,以达到对应的目的:此套规则,就是所谓的正则表达式.各个语言都有 ...
- Python 正则表达式——re模块介绍
Python 正则表达式 re 模块使 Python 语言拥有全部的正则表达式功能,re模块常用方法: re.match函数 re.match从字符串的起始位置匹配,如果起始位置匹配不成功,则matc ...
- python正则表达式——re模块
http://blog.csdn.net/zm2714/article/details/8016323 re模块 开始使用re Python通过re模块提供对正则表达式的支持.使用re的一般步骤是先将 ...
- python正则表达式re模块详细介绍--转载
本模块提供了和Perl里的正则表达式类似的功能,不关是正则表达式本身还是被搜索的字符串,都可以是Unicode字符,这点不用担心,python会处理地和Ascii字符一样漂亮. 正则表达式使用反斜杆( ...
- python正则表达式-re模块的爱恨情仇
利用python的re模块,使用正则表达式对字符串进行处理 # 编辑者:闫龙 import re restr = "abccgccc123def456ghi789jgkl186000&quo ...
- python正则表达式-re模块
目录: 一.正则函数 二.re模块调用 三.贪婪模式 四.分组 五.正则表达式修饰符 六.正则表达式模式 七.常见的正则表达式 导读: 想要使用python的正则表达式功能就需要调用re模块,re模块 ...
- python -- 正则表达式&re模块(转载)
1. 正则表达式基础 1.1. 简单介绍 正则表达式并不是Python的一部分.正则表达式是用于处理字符串的强大工具,拥有自己独特的语法以及一个独立的处理引擎,效率上可能不如str自带的方法,但功能十 ...
- Python正则表达式re模块学习遇到的问题
Python正则表达式处理的组是什么? Python正则表达式处理中的匹配对象是什么? Python匹配对象的groups.groupdict和group之间的关系 Python正则表达式re.mat ...
随机推荐
- Codeforces Round #443 Div. 1
A:考虑每一位的改变情况,分为强制变为1.强制变为0.不变.反转四种,得到这个之后and一发or一发xor一发就行了. #include<iostream> #include<cst ...
- 第十九天 标准目录与time 模块
今日内容 1.目录规范 ***** (1)文件夹的规范写法 bin 可执行文件 conf 配置文件 core 主要业务逻辑 db 数据文件 lib 库 (公共代码 第三方模块) log 日志文件 ...
- nginx反向代理时配置访问密码
在有些情况下,我们需要对服务器上的某些资源进行限流或者禁止陌生人访问,我们可以通过nginx配置来对url添加访问密码. 效果如下 nginx 开启访问验证在 nginx 下,提供了 ngx_http ...
- Matplotlib学习---用seaborn画矩阵图(pair plot)
矩阵图非常有用,人们经常用它来查看多个变量之间的联系. 下面用著名的鸢尾花数据来画一个矩阵图.从sklearn导入鸢尾花数据,然后将其转换成pandas的DataFrame类型,最后用seaborn画 ...
- Bomb Game HDU - 3622(二分最小值最大化)
题意: 就是给出n对坐标,每对只能选一个,以选出来的点为圆心,半径自定义,画圆,而这些圆不能覆盖,求半径最小的圆的最大值 解析: 看到最x值最x化,那二分变为判定性问题,然后...然后我就没想到... ...
- Quartus prime 16.0 signaltap II 使用
前言 由于逻辑分析仪太贵,altera贴心提供signal tap II来观察输出波形,不过使能signaltap II会占用片内ram,毕竟原理就是把数据采样到ram中再通过jtag口上传到quar ...
- MT【295】线段比的仿射变换
已知$F_1,F_2$分别为椭圆$\dfrac{x^2}{4}+\dfrac{y^2}{3}=1$的左右焦点.$A,B,C$是椭圆上$x$轴上方的三点,且$AF_1//BO//CF_2$,则$\dfr ...
- Hdoj 4508.湫湫系列故事——减肥记I 题解
Problem Description 对于吃货来说,过年最幸福的事就是吃了,没有之一! 但是对于女生来说,卡路里(热量)是天敌啊! 资深美女湫湫深谙"胖来如山倒,胖去如抽丝"的道 ...
- [luogu4149][bzoj2599][IOI2011]Race【点分治】
题目描述 给一棵树,每条边有权.求一条简单路径,权值和等于 K,且边的数量最小. 题解 比较明显需要用到点分治,我们定义\(d\)数组表示当前节点到根节点\(rt\)之间有多少个节点,也可以表示有多少 ...
- python中,print函数的sep和end参数
print函数是我们经常使用的,但是它的sep和end参数或许对很多python使用者相对陌生,他们可以让我们的打印更具有个性化. 先来看下官方解释, sep:分割值与值,默认是一个空格 end:附件 ...