Python——正则表达式初步应用（一）

1、先附上转载(www.cnblogs.com/huxi)的一张图，有重要的参考价值，其含义大家请通过阅读来理解。

2、附上初步学习Python时编写的一个爬糗事百科段子的代码。

 # -*- coding: utf-8 -*-
 import urllib
 import urllib.request
 import re
 import os
 from os import makedirs

 if __name__ == '__main__':
     print('Start getting data...')
     for i in range(1,13):
         url = 'https://www.qiushibaike.com/text/page/'+str(i)+'/'
         #url = 'https://www.qiushibaike.com/text/page/1/'
         user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36 QIHU 360SE'
         headers = {'User-Agent':user_agent}
         request = urllib.request.Request(url = url,headers = headers)
         response = urllib.request.urlopen(request)
         #print(response)
         content = response.read()
         content = content.decode('utf8')
         #print(content) last step proves to be necessary
         
'''这里是本片内容表述的重点'''
         patternArticleNum =re.compile('(?<=<a href="/article/)[1-9][0-9]{7,}(?=" target=")',re.S)
         patternArticle =re.compile('<div class="content">\s<span>(.*?)\s</span>',re.S)
         #print(re.findall(pattern,content))
         itemsArticleNum = re.findall(patternArticleNum,content)
         lenItemsArticleNum =len(itemsArticleNum)
         #print(lenItemsArticleNum)
         itemsArticle = re.findall(patternArticle,content)
         #itemsArticle = itemsArticle.encode('utf8')
         #lenItemsArticle =  len(itemsArticle)
         #print(lenItemsArticle)
         #items = re.split(pattern,content)
         #print(items) type(item)=tuple
         #print(itemsArticleNum[0])
         print(itemsArticle)
         path = 'qiubai'
         if not os.path.exists(path):
             os.makedirs(path)
         while lenItemsArticleNum > -1:
             lenItemsArticleNum = lenItemsArticleNum - 1
             file_path = path + '/' + itemsArticleNum[lenItemsArticleNum]+ '.txt'
             f = open(file_path,'w')
             itemsArticle[lenItemsArticleNum] = itemsArticle[lenItemsArticleNum].replace('\n','').replace('<br/>','').replace('\u261e','') .replace('\u261c','').replace('\u0ca5','').replace('\ufffc','').replace('\u26bd','').replace('\uff78','').replace('\uff9e','').replace('\uff6f','')
             #itemsArticle[lenItemsArticleNum] = str(str(itemsArticle[lenItemsArticleNum]).encode('gb2312')
             f.write(itemsArticle[lenItemsArticleNum])
         f.close()
             #file_path = path + '/' + item[0]+ '.txt'
             #for itemArticle in itemsArticle:
             #    print(itemsArticle)
     print('Data acquireing compnished...')
         

3、查看网页源代码，发现我们所需要的内容具备如下的结构：

<a href="/article/119488591" target="_blank" class="contentHerf" onclick="_hmt.push(['_trackEvent','web-list-content','chick'])">
<div class="content">
<span>

今天看见的新闻：古有凿壁偷光，今有男子凿壁偷窥。杭州闸弄口派出所接到一名年轻姑娘报警，称隔壁男子在墙上挖了一个洞偷窥她。据民警介绍，男子自己交代，他是看到姑娘后起了歹念，洞是用手抠出来的……

</span>

</div>

标黄的使我们关注的两部分内容，一是文章编号，提取后名为文本文件名称，二是段子内容，为文本文件内容。

4、如何提取文章编号：

patternArticleNum =re.compile('(?<=<a href="/article/)[1-9][0-9]{7,}(?=" target=")',re.S)

(?<=<a href="/article/)：筛选前缀包含：<a href="/article的文本
[1-9][0-9]{7,} 筛选第一位是1-9，第二位是0-9，的，九位数及以上数字。{7,}表示匹配前一个字符7次及以上。
(?=" target=") 筛选后缀包含" target="的文本内容。

5、如何提取段子文本

<div class="content">\s<span>(.*?)\s</span>

<div class="content">\s<span>  筛选前缀包含<div class="content">\s<span>的文本，\s代表空白字符。 
\s</span> 筛选后缀包含\s</span>的文本，
(.*?) 代表两者之间的所有字符，要用()括起来。

6、提取的公式

patternArticleNum =re.compile('(?<=<a href="/article/)[1-9][0-9]{7,}(?=" target=")',re.S)
itemsArticleNum = re.findall(patternArticleNum,content)
patternArticle =re.compile('<div class="content">\s<span>(.*?)\s</span>',re.S)
itemsArticle = re.findall(patternArticle,content)

需要调用re库，使用compile和正则表达式生成所需的pattern，利用re.findall在content内容里面匹配并读取出来。

备注1：content的获得：

(1)、根据Headers和User Agenturllib.request.Request()设置一个request。

(2)、用urllib.request.urlopen()根据这个request生成一个response。

(3)、最后用response.read()读取出来。

备注2：Python3.6中取消了urllib2，取而代之是自带的urllib.request。