Python之正则

从学习Python至今，发现很多时候是将Python作为一种工具。特别在文本处理方面，使用起来更是游刃有余。

说到文本处理，那么正则表达式必然是一个绝好的工具，它能将一些繁杂的字符搜索或者替换以非常简洁的方式完成。

我们在处理文本的时候,或是查询抓取,或是替换.

一.查找

如果你想自己实现这样的功能模块,输入某一个ip地址,得到这个ip地址所在地区的详细信息.

然后你发现http://ip138.com 可以查出很详细的数据

但是人家没有提供api供外部调用,但是我们可以通过代码模拟查询然后对结果进行抓取.

通过查看这个相应页面的源码,我们可以发现,结果是放在三个<li></li>中的

<table width="80%" border="0" align="center" cellpadding="0" cellspacing="0">
<tr>
<td align="center"><h3>ip138.com IP查询(搜索IP地址的地理位置)</h3></td>
</tr>
<tr>
<td align="center"><h1>您查询的IP:121.0.29.231</h1></td>
</tr>
<tr>
<td align="center"><ul class="ul1"><li>本站主数据：浙江省杭州市阿里巴巴</li><li>参考数据一：浙江省杭州市阿里巴巴</li><li>参考数据二：浙江省杭州市阿里巴巴</li></ul></td>
</tr>
<tr>
<td align="center">如果您发现查询结果不详细或不正确，请使用<a href="ip_add.asp?ip=121.0.29.231"><font color="#006600"><b>IP数据库自助添加</b></font></a>功能进行修正<br/><br/>
<iframe src="/jss/bd_460x60.htm" frameborder="no" width="460" height="60" border="0" marginwidth="0" marginheight="0" scrolling="no"></iframe><br/><br/></td>
</tr>
<form method="get" action="ips8.asp" name="ipform" onsubmit="return checkIP();">
<tr>
<td align="center">IP地址或者域名：<input type="text" name="ip" size="16"> <input type="submit" value="查询"><input type="hidden" name="action" value="2"></td>
</tr><br>
<br>
</form>
</table>

如果你了解正则表达式你可能会写出

正则表达式

(?<=<li>).*?(?=</li>)

这里使用了前瞻：lookahead 后顾: lookbehind,这样的好处就是匹配的结果中就不会包含html的li标签了.

如果你对自己写的正则表达式不是很自信的话,可以在一些在线或者本地的正则测试工具进行一些测试,以确保正确.

接下来的工作就是如果用Python实现这样的功能,首先我们得将正则表达式表示出来:

r"(?<=<li>).*?(?=</li>)"

Python中字符串前面加上前导r这个字符,代表这个字符串是R aw String(原始字符串),也就是说Python字符串本身不会对字符串中的字符进行转义.这是因为正则表达式也有转义字符之说,如果双重转义的话,易读性很差.

这样的串在Python中我们把它叫做"regular expression pattern"

如果我们对pattern进行编译的话

prog = re.compile(r"(?<=<li>).*?(?=</li>)")

我们便可以得到一个正则表达式对象regular expression object,通过这个对象我们可以进行相关操作.

比如

result=prog.match(string)
##这个等同于
result=re.match(r"(?<=<li>).*?(?=</li>)",string)
##但是如果这个正则需要在程序匹配多次,那么通过正则表达式对象的方式效率会更高

接下来就是查找了,假设我们的html结果已经以html的格式存放在text中,那么通过

result_list = re.findall(r"(?<=<li>).*?(?=</li>)",text)

便可以取得所需的结果列表.

二.替换

使用正则表达式进行替换非常的灵活.

比如之前我在阅读Trac这个系统中wiki模块的源代码的时候,就发现其wiki语法的实现就是通过正则替换进行的.

在使用替换的时候会涉及到正则表达式中的Group分组的概念.

假设wiki语法中使用!表示转义字符即感叹号后面的功能性字符会原样输出,粗体的语法为

写道

'''这里显示为粗体'''

那么有正则表达式为

r"(?P<bold>!?''')"

这里的?P<bold>是Python正则语法中的一部分,表示其后的group的名字为"bold"

下面是替换时的情景,其中sub函数的第一个参数是pattern,第二个参数可以是字符串也可以是函数,如果是字符串的话,那么就是将目标匹配的结果替换成指定的结果,而如果是函数,那么函数会接受一个match object的参数,并返回替换后的字符串,第三个参数便是源字符串.

result = re.sub(r"(?P<bold>!?''')", replace, line)

每当匹配到一个三单引号,replace函数便运行一次,可能这时候需要一个全局变量记录当前的三单引号是开还是闭,以便添加相应的标记.

在实际的trac wiki的实现的时候,便是这样通过一些标记变量,来记录某些语法标记的开闭,以决定replace函数的运行结果.

--------------------

写的有点粗,改日补详细.