洗礼灵魂，修炼python（63）--爬虫篇—re模块/正则表达式（1）

爬虫篇前面的某一章了，我们要爬取网站页面源代码的数据，要从中获取到我们想要的数据，是不是感觉很费力，确实费力对吧？那么有没有什么有利的工具来解决这个问题呢？那就是这一篇博文的主题——

正则表达式简介

1.概念理解

正则表达式（Regular expressions 也称为 REs，或 regexes 或 regex patterns）本质上是一个微小的且高度专业化的编程语言。正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。使用正则表达式，你需要指定一些规则来描述那些你希望匹配的字符串集合。这些字符串集合可能包含英语句子，e-mail 地址，任何你想要的东东。正则表达式模式被编译成一系列的字节码，然后由一个 C 语言写的匹配引擎所执行（正因为正则表达式引擎是用 C 语言写的，所以效率是极高）。对于高级的使用，你可能需要更关注匹配引擎是如何执行给定的 re，并通过一定的方式来编写 re，以便产生一个可以运行得更快的字节码。利用正则表达式，可以处理你 98% 的文本任务。
正则表达式对于Python来说并不是独有的。它被嵌入到 Python 中，并通过 re 模块提供给程序猿使用

提到正则表达式，那么必须得提到正则表达式的“几元大将”，它们有一个统一的名字——元家军，又名元字符

2.元字符

.   ^   $   *   +   ?   { }   [ ]   \   |   ( )

如果没有这几个“将士”，那么正则表达式将变得和字符串的find()方法无二了。

那么这几个“将士”什么来路呢？分别又有什么特技呢？

.  ：匹配任意字符，除了换行符。而当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符

^  ：匹配字符串的开头，脱字符

• 匹配输入字符串的开始位置
• 如果设置了 re.MULTILINE 标志，^ 也匹配换行符之后的位置

$  ：匹配字符串的末尾，如果设置了 re.MULTILINE 标志，$ 也匹配换行符之前的位置

*   ：匹配前面的子表达式零次或多次，等价于 {0,}
+  ：匹配前面的子表达式一次或多次，等价于 {1,}
?  ：匹配前面的子表达式零次或一次，等价于 {0,1}

{M,N} ：M 和 N 均为非负整数，其中 M <= N，表示前边的 RE 匹配 M ~ N 次

• {M,} 表示至少匹配 M 次
• {,N} 等价于 {0,N}
• {N} 表示需要匹配 N 次

[...]  ：字符类，匹配所包含的任意一个字符

• 连字符 - 如果出现在字符串中间表示字符范围描述；如果如果出现在首位则仅作为普通字符
• 特殊字符仅有反斜线 \ 保持特殊含义，用于转义字符。其它特殊字符如 *、+、? 等均作为普通字符匹配
• 脱字符 ^ 如果出现在首位则表示匹配不包含其中的任意字符；如果 ^ 出现在字符串中间就仅作为普通字符匹配

\   ：（下面还有详解）

• 将一个普通字符变成特殊字符，例如 \d 表示匹配所有十进制数字
• 解除元字符的特殊功能，例如 \. 表示匹配点号本身
• 引用序号对应的子组所匹配的字符串

| ：A | B，表示匹配正则表达式 A 或者 B

(...)  ：匹配圆括号中的正则表达式，或者指定一个子组的开始和结束位置。子组的内容可以在匹配之后被 \数字 再次引用

3.还有一些扩展出来的功能：

*?, +?, ??：

默认情况下 *、+ 和 ? 的匹配模式是贪婪模式（即会尽可能多地匹配符合规则的字符串）；*?、+? 和 ?? 表示启用对应的非贪婪模式。

(?...)：(? 开头的表示为正则表达式的扩展语法（下边这些是 Python 支持的所有扩展语法）

(?aiLmsux)：

• (? 后可以紧跟着 'a'，'i'，'L'，'m'，'s'，'u'，'x' 中的一个或多个字符，只能在正则表达式的开头使用
• 每一个字符对应一种匹配标志：re-A（只匹配 ASCII 字符），re-I（忽略大小写），re-L（区域设置），re-M（多行模式）, re-S（. 匹配任何符号），re-X（详细表达式），包含这些字符将会影响整个正则表达式的规则
• 当你不想通过 re.compile() 设置正则表达式标志，这种方法就非常有用啦。注意，由于 (?x) 决定正则表达式如何被解析，所以它应该总是被放在最前边（最多允许前边有空白符）。如果 (?x) 的前边是非空白字符，那么 (?x) 就发挥不了作用了。

(?:...)：非捕获组，即该子组匹配的字符串无法从后边获取

(?P<name>...)：命名组，通过组的名字（name）即可访问到子组匹配的字符串
(?P=name)：反向引用一个命名组，它匹配指定命名组匹配的任何内容
(?#...)：注释，括号中的内容将被忽略
(?=...)：前向肯定断言。如果当前包含的正则表达式（这里以 ... 表示）在当前位置成功匹配，则代表成功，否则失败。一旦该部分正则表达式被匹配引擎尝试过，就不会继续进行匹配了；剩下的模式在此断言开始的地方继续尝试。

(?!...)：前向否定断言。这跟前向肯定断言相反（不匹配则表示成功，匹配表示失败）。

(?<=...)：后向肯定断言。跟前向肯定断言一样，只是方向相反。

(?<!...)：后向否定断言。跟前向肯定断言一样，只是方向相反。

(?(id/name)yes-pattern|no-pattern)：如果子组的序号或名字存在的话，则尝试 yes-pattern 匹配模式；否则尝试 no-pattern 匹配模式，no-pattern 是可选的
比如(<)?(\w+@\w+(?:\.\w+)+)(?(1)>|$) 是一个匹配邮件格式的正则表达式，可以匹配 <user@fishc.com> 和 'user@fishc.com'，但是不会匹配 '<user@fishc.com' 或 'user@fishc.com>'

 

\

 

 

当\作转义符号时：

正则表达式还支持大部分 Python 字符串的转义符号：\a，\b，\f，\n，\r，\t，\u，\U，\v，\x，\\

• \b 通常用于匹配一个单词边界，只有在字符类中才表示“退格”
• \u 和 \U 只有在 Unicode 模式下才会被识别
• 八进制转义（\数字）是有限制的，如果第一个数字是 0，或者如果有 3 个八进制数字，那么就被认为是八进制数；其他情况则被认为是子组引用；至于字符串，八进制转义总是最多只能是 3 个数字的长度

\序号：

• 引用序号对应的子组所匹配的字符串，子组的序号从 1 开始计算
• 如果序号是以 0 开头，或者 3 个数字的长度。那么不会被用于引用对应的子组，而是用于匹配八进制数字所表示的 ASCII 码值对应的字符

\A：匹配输入字符串的开始位置
\Z：匹配输入字符串的结束位置
\b：匹配一个单词边界，单词被定义为 Unidcode 的字母数字或下横线字符

\B：匹配非单词边界，其实就是与 \b 相反

\d：

• 对于 Unicode（str 类型）模式：匹配任何一个数字，包括 [0-9] 和其他数字字符；如果开启了 re.ASCII 标志，就只匹配 [0-9]
• 对于 8 位（bytes 类型）模式：匹配 [0-9] 中任何一个数字

\D：匹配任何非 Unicode 的数字，其实就是与 \d 相反；如果开启了 re.ASCII 标志，则相当于匹配 [^0-9]
\s：

• 对于 Unicode（str 类型）模式：匹配 Unicode 中的空白字符（包括 [ \t\n\r\f\v] 以及其他空白字符）；如果开启了 re.ASCII 标志，就只匹配 [ \t\n\r\f\v]
• 对于 8 位（bytes 类型）模式：匹配 ASCII 中定义的空白字符，即 [ \t\n\r\f\v]

\S：匹配任何非 Unicode 中的空白字符，其实就是与 \s 相反；如果开启了 re.ASCII 标志，则相当于匹配 [^ \t\n\r\f\v]
\w：

• 对于 Unicode（str 类型）模式：匹配任何 Unicode 的单词字符，基本上所有语言的字符都可以匹配，当然也包括数字和下横线；如果开启了 re.ASCII 标志，就只匹配 [a-zA-Z0-9_]
• 对于 8 位（bytes 类型）模式：匹配 ASCII 中定义的字母数字，即 [a-zA-Z0-9_]

\W：匹配任何非 Unicode 的单词字符，其实就是与 \w 相反；如果开启了 re.ASCII 标志，则相当于 [^a-zA-Z0-9_]