Python爬虫教程-19-数据提取-正则表达式(re)

本篇主页内容：match的基本使用，search的基本使用，findall,finditer的基本使用，匹配中文，贪婪与非贪婪模式

Python爬虫教程-19-数据提取-正则表达式(re)

• 正则表达式：一套规则，可以在字符串文本中进行搜查替换等
• 正则使用步骤：
  • 1.使用 compile 函数将正则表达式的字符串编译成一个 pattern 对象
  • 2.通过 pattern 对象的一些方法对文本进行匹配，匹配结果是一个 match 对象
  • 3.用 match 对象的方法，对结果进行操作
• 正则的常用方法：
  • match：从开始位置开始查找，一次匹配，即1次匹配成功则退出
  • search：从任何位置开始查找，一次匹配
  • findall：全部匹配，返回列表
  • finditer：全部匹配，返回迭代器
  • split：分割字符串，返回列表
  • sub：替换
• 匹配中文
  • 中文是Unicode编码(utf-8也是Unicode编码)，范围：主要在[u4e00-u9fa5]
  • 中文全角逗号一类的不在[u4e00-u9fa5]范围内
• 贪婪与非贪婪模式
  • 贪婪模式：在整个表达式匹配成功的前提下，尽可能多的匹配
  • 非贪婪模式：在整个表达式匹配成功的前提下，尽可能少的匹配
  • python里面数量词默认是贪婪模式
  • 例如：
    • 查找文本abbbbbbbccc
    • re结果是： ab*
    • 贪婪模式结果是：abbbbbbb
    • 非贪婪模式结果是：a

案例v23 match的基本使用

• 案例v23文件：https://xpwi.github.io/py/py爬虫/py20match.py

# 正则结果match的使用案例
import re

# 以下正则分成2个组，以小括号为单位
# [a-z]表示出现小写a-z任意字母都可以，+表示至少出现1次
# 两组之间有一个空格，表示匹配的两个英文字符之间有空格
s = r"([a-z]+) ([a-z]+)"

# 编译
pattern = re.compile(s, re.I)  # s, I表示忽略大小写

m = pattern.match("Hello world wide web")

# group(0) 表示返回整个匹配成功的字符串，即所有小组
s = m.group(0)
print("所有小组的匹配结果：\n", s)

# 返回匹配成功的整个字符串的跨度，即所有小组
a = m.span(0)
print("所有小组的匹配结果跨度：\n", a)

# group(0) 表示返回的第一个分组匹配成功的字符串
s = m.group(1)
print("第1小组的匹配结果：\n", s)

# 返回匹配成功的整个字符串的跨度
a = m.span(1)
print("第1小组的匹配结果跨度：\n", s)

# groups() 打印出所有的小组，等价于m.group(1), m.group(2)...
s = m.groups()
print(s)

运行结果

从结果可以看到：匹配到两个小组，一个Hello，一个world，中间的空格是外面的，代码中包含一些具体的输出格式

案例v24 search的基本使用

• 案例v24文件：https://xpwi.github.io/py/py爬虫/py21search.py

# search的基本使用

import re

s = r'\d+'

pattern = re.compile(s)

# 无参数表示从头开始查找，到最后结束
m = pattern.search("one12two34three56")
print(m.group(0))

# 参数表明搜查的范围，例如：10-40
m = pattern.search("one12two34three56", 10, 40)
print(m.group(0))

运行结果

因为是从第10个开始查找，所以查到的是56

案例v25 findall，finditer的基本使用

• 案例v25文件：https://xpwi.github.io/py/py爬虫/py22find.py

# findall，finditer的基本使用
import re

s = r'\d+'

pattern = re.compile(s)

m = pattern.findall("I am 18 years old, and 185 high")
print(m)

n = pattern.finditer("I am 18 years old, and 185 high")
print(type(n))

# 迭代器使用for循环输出
for i in n:
    # 只输出i会包含无用数据
    print(i.group())

运行结果

查找所有匹配的字符串

匹配中文

• 代码文件：https://xpwi.github.io/py/py爬虫/py23unicode.py

# 中文unicode案例

import re

hello = u'你好，再见陌生人'

# 中文全角逗号一类的不在[u4e00-u9fa5]范围内
pattern = re.compile(r'[\u4e00-\u9fa5]+')

m = pattern.findall(hello)

print(m)

运行结果

因为中文全角逗号一类的不在[u4e00-u9fa5]范围内，所在 findall 返回的是一个列表，包含两个值

更多文章链接：Python 爬虫随笔

---

- 本笔记不允许任何个人和组织转载