1、re模块(#regex)

# 查找

# findall : 匹配所有 每一项都是列表中的一个元素

import re
ret = re.findall('\d+','dawdawd154wadwad848')# 正则表达式,带匹配的字符串
print(ret)
#输出['154', '848']
ret = re.findall('\d','dawdawd154wadwad848')# 正则表达式,带匹配的字符串
print(ret)
#输出['1', '5', '4', '8', '4', '8']

# search : 只匹配从左到右的第一个,得到的不是直接的结果,而是一个变量,通过这个变量的group方法来获取结果

# 如果没有匹配到,会返回None,使用group会报错

import re
# ret = re.findall('\d+','dawdawd154wadwad848')
# print(ret)
# ret = re.findall('\d','dawdawd154wadwad848')
# print(ret)
ret = re.search('\d+','dawdawd154wadwad848')
print(ret)
#输出<_sre.SRE_Match object; span=(7, 10), match='154'>
# 内存地址,这是一个正则匹配的结果
print(ret.group())
#输出154
#只能取出第一个

# match 从头开始匹配,相当于search中的正则表达式加上一个^

re.search('^\d+','dawdawd154wadwad848')

# 字符串处理的扩展 : 替换 切割

# split

s = 'alex|taibai|egon|'
# print(s.split('|'))
# #输出['alex', 'taibai', 'egon', '']
# s = 'alex83taibai40egon25'
# ret = re.split('\d+',s)
# print(ret)
# #输出['alex', 'taibai', 'egon', '']

# sub # 谁 旧的 新的 替换次数

ret = re.sub('\d+','H','alex83taibai40egon25')
print(ret)
#输出alexHtaibaiHegonH
ret = re.sub('\d+','H','alex83taibai40egon25',1)
print(ret)
#输出alexHtaibai40egon25

# subn 返回一个元组,第二个元素是替换的次数

ret = re.subn('\d+','H','alex83taibai40egon25')
print(ret)
#输出('alexHtaibaiHegonH', 3)

# re模块的进阶 : 时间/空间

# compile 节省你使用正则表达式解决问题的时间

ret = re.compile('\d+')   # 已经完成编译了
print(ret)
#输出re.compile('\\d+')
res = ret.findall('alex83taibai40egon25')
print(res)
#输出['83', '40', '25']
res = ret.search('sjkhk172按实际花费928')
print(res.group())
#输出172

# finditer 节省你使用正则表达式解决问题的空间/内存

ret = re.finditer('\d+','alex83taibai40egon25')
for i in ret:
print(i.group())
#输出83 40 25

#总结

# findall 返回列表 找所有的匹配项
# search 匹配就 返回一个变量,通过group取匹配到的第一个值,不匹配就返回None,group会报错
# match 相当于search的正则表达式中加了一个'^'
# spilt 返回列表,按照正则规则切割,默认匹配到的内容会被切掉
# sub/subn 替换,按照正则规则去寻找要被替换掉的内容,subn返回元组,第二个值是替换的次数
# compile 编译一个正则表达式,用这个结果去search match findall finditer 能够节省时间
# finditer 返回一个迭代器,所有的结果都在这个迭代器中,需要通过循环+group的形式取值 能够节省内存

2、分组在re模块中的使用

# 标签语言 html 网页

import re
s = '<a>wahaha</a>' # 标签语言 html 网页
ret = re.search('<(\w+)>(\w+)</(\w+)>',s)
print(ret.group()) # 所有的结果 <a>wahaha</a>
print(ret.group(1)) # 数字参数代表的是取对应分组中的内容 a
print(ret.group(2)) # 输出wahaha
print(ret.group(3)) # 输出a

# 为了findall也可以顺利取到分组中的内容,有一个特殊的语法,就是优先显示分组中的内容

import re
s = '<a>wahaha</a>'
ret = re.findall('(\w+)',s)
print(ret)
#输出['a', 'wahaha', 'a']
ret = re.findall('>(\w+)<',s)
print(ret)
#输出['wahaha']

# 取消分组优先(?:正则表达式)

ret = re.findall('\d+(\.\d+)?','1.234*4')
print(ret)
#输出['.234', '']

# 关于分组

# 对于正则表达式来说 有些时候我们需要进行分组,来整体约束某一组字符出现的次数
# (\.[\w]+)?
# 对于python语言来说 分组可以帮助你更好更精准的找到你真正需要的内容
# <(\w+)>(\w+)</(\w+)>

# 分组命名 (?P<这个组的名字>正则表达式)

s = '<a>wahaha</a>'
ret = re.search('>(?P<con>\w+)<',s)
print(ret.group(1))#输出wahaha
print(ret.group('con'))#输出wahaha

# 使用前面的分组 要求使用这个名字的分组和前面同名分组中的内容匹配的必须一致

s = '<a>wahaha</a>'
pattern = '<(?P<tab>\w+)>(\w+)</(?P=tab)>'
ret = re.search(pattern,s)
print(ret)

# 精准的取到整数 过滤掉小数

ret=re.findall(r"\d+\.\d+|(\d+)","1-2*(60+(-40.35/5)-(-4*3))")
ret.remove('')
print(ret)

3、爬虫实例

import re
from urllib.request import urlopen def getPage(url): # 获取网页的字符串
response = urlopen(url)
return response.read().decode('utf-8') def parsePage(s):
ret = com.finditer(s) # 从s这个网页源码中 找到所有符合com正则表达式规则的内容 并且以迭代器的形式返回
for i in ret:
yield {
"id": i.group("id"),
"title": i.group("title"),
"rating_num": i.group("rating_num"),
"comment_num": i.group("comment_num"),
} def main(num): # 0 25 50 # 这个函数执行10次,每次爬取一页的内容
url = 'https://movie.douban.com/top250?start=%s&filter=' % num
response_html = getPage(url) # response_html就是这个url对应的html代码 就是 str
ret = parsePage(response_html) # ret是一个生成器
print(ret)
f = open("move_info7", "a", encoding="utf8")
for obj in ret:
print(obj)
data = str(obj)
f.write(data + "\n")
f.close() com = re.compile(
'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>'
'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>', re.S) count = 0
for i in range(10):
main(count)
count += 25

python note 16 re模块的使用的更多相关文章

  1. Python(五)模块

    本章内容: 模块介绍 time & datetime random os sys json & picle hashlib XML requests ConfigParser logg ...

  2. [转载]Python中的sys模块

    #!/usr/bin/python # Filename: cat.py import sys def readfile(filename): '''Print a file to the stand ...

  3. Python 五个常用模块资料 os sys time re built-in

    1.os模块   os模块包装了不同操作系统的通用接口,使用户在不同操作系统下,可以使用相同的函数接口,返回相同结构的结果.   os.name:返回当前操作系统名称('posix', 'nt', ' ...

  4. Python中的random模块,来自于Capricorn的实验室

    Python中的random模块用于生成随机数.下面介绍一下random模块中最常用的几个函数. random.random random.random()用于生成一个0到1的随机符点数: 0 < ...

  5. Python基础之--常用模块

    Python 模块 为了实现对程序特定功能的调用和存储,人们将代码封装起来,可以供其他程序调用,可以称之为模块. 如:os 是系统相关的模块:file是文件操作相关的模块:sys是访问python解释 ...

  6. Python自动化之常用模块

    1 time和datetime模块 #_*_coding:utf-8_*_ __author__ = 'Alex Li' import time # print(time.clock()) #返回处理 ...

  7. Python学习笔记-常用模块

    1.python模块 如果你退出 Python 解释器并重新进入,你做的任何定义(变量和方法)都会丢失.因此,如果你想要编写一些更大的程序,为准备解释器输入使用一个文本编辑器会更好,并以那个文件替代作 ...

  8. Python中的logging模块

    http://python.jobbole.com/86887/ 最近修改了项目里的logging相关功能,用到了python标准库里的logging模块,在此做一些记录.主要是从官方文档和stack ...

  9. Python处理时间 time && datetime 模块

    Python处理时间 time  &&  datetime 模块 个人整理,获取时间方式: import datetime import time #获取当前时间:Thu Nov 03 ...

随机推荐

  1. "Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs

    最近在部署MySQL主从复制架构的时候,碰到了"Last_IO_Error: Fatal error: The slave I/O thread stops because master a ...

  2. android 中activity重启的方法

    private void reLoadActivity(){ Intent intent = new Intent(context, SettingsActivity.class); intent.s ...

  3. linux Ubuntu 16.04安装 postgresql

    两次的重装系统安装数据库折磨的死去活来. 安装步骤: 1,运行  sudo apt-get update     --这个用来查找数据源 2 ,运行  apt install postgresql  ...

  4. C#,ASP.NET简单的MD5加密,解密

    简单的MD5加密 首先要有一个加解密的规则  就是key 代码如下 // 创建Key public string GenerateKey() { DESCryptoServiceProvider de ...

  5. C语言的“编译、链接”

    我们写的代码,仅仅是文本文件(txt),不管后缀怎么变,终究是文本文件,计算机只能显示,不能做事(执行). 文本文件通过“编译.链接”,成为可执行文件(windows下是exe): 编译:生成.o文件 ...

  6. Android View添加删除或隐藏显示的默认动画;

    代码中给控件设置Visibility ? VISIBLE : GONE ;时太生硬,用户体验不好:设置一个Android ViewGroup的默认动画很实用: 给需要添加动画的控件或布局的父布局,记住 ...

  7. linux服务器后台运行服务

    linux 后台运行一个服务 难免会遇到在Linux,后台执行任务.下面,总结了一下关闭窗口任然在后台执行的方法,例如 #执行一个打包命令 tar czf /data/backup.tgz /data ...

  8. python学习之-用scrapy框架来创建爬虫(spider)

    scrapy简单说明 scrapy 为一个框架 框架和第三方库的区别: 库可以直接拿来就用, 框架是用来运行,自动帮助开发人员做很多的事,我们只需要填写逻辑就好 命令: 创建一个 项目 : cd 到需 ...

  9. 【python】django上传文件

    参考:https://blog.csdn.net/zahuopuboss/article/details/54891917 参考:https://blog.csdn.net/zzg_550413470 ...

  10. DBUtils工具类

    import java.io.IOException; import java.io.InputStream; import java.sql.Connection; import java.sql. ...