• 正则表达式（Regular Expression）是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为"元字符"）。

  • 正则表达式通常被用来匹配、检索、替换和分割那些符合某个模式(规则)的文本。

一、常用正则表达式回顾

   单字符：

        . : 除换行以外所有字符

        [] ：[aoe] [a-w] 匹配集合中任意一个字符

        \d ：数字  [0-9]

        \D : 非数字

        \w ：数字、字母、下划线、中文

        \W : 非\w

        \s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。

        \S : 非空白

    数量修饰：

        * : 任意多次  >=0

        + : 至少1次   >=1

        ? : 可有可无  0次或者1次

        {m} ：固定m次 hello{3,}

        {m,} ：至少m次

        {m,n} ：m-n次

    边界：

        $ : 以某某结尾

        ^ : 以某某开头

    分组：

        (ab)  

    贪婪模式： .*

    非贪婪（惰性）模式： .*?

    re.I : 忽略大小写

    re.M ：多行匹配

    re.S ：单行匹配

re.sub(正则表达式, 替换内容, 字符串)

回顾练习：

import re

#提取出python

key="javapythonc++php"

re.findall('python',key)[0]            # 都有引号

#提取出hello world

key="<html><h1>hello world<h1></html>"

re.findall('<h1>(.*)<h1>',key)[0]

#提取170

string = '我喜欢身高为170的女孩'

re.findall('\d+',string)

#提取出http://和https://

key='http://www.baidu.com and https://boob.com'

re.findall('https?://',key)

#提取出hello

key='lalala<hTml>hello</HtMl>hahah' #输出<hTml>hello</HtMl>

re.findall('<[Hh][Tt][mM][lL]>(.*)</[Hh][Tt][mM][lL]>',key)

#提取出hit.

key='bobo@hit.edu.com'            #想要匹配到hit.

re.findall('h.*?\.',key)

#匹配sas和saas

key='saas and sas and saaas'

re.findall('sa{1,2}s',key)

#匹配出i开头的行

string = '''fall in love with you

i love you very much

i love she

i love her'''

re.findall('^i.*',string,re.M)

#匹配全部行

string1 = """<div>静夜思

窗前明月光

疑是地上霜

举头望明月

低头思故乡

</div>"""

re.findall('.*',string1,re.S)

注意：re.findall()通常匹配出来的是列表，所以要通过索引的方式将内容提取出来。

二、数据解析-正则表达式

1. 需求：爬取糗事百科中所有糗图照片

import requests

import re

import os

#创建一个文件夹

if not os.path.exists('./qiutuLibs'):        # 注意里面要有引号

    os.mkdir('./qiutuLibs')

headers = {

    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'

}

url = 'https://www.qiushibaike.com/pic/'

page_text = requests.get(url=url,headers=headers).text

#进行数据解析（图片的地址）

ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'        #不相关的可以用.*，非贪婪匹配

#re.S单行匹配

src_list = re.findall(ex,page_text,re.S)

print(src_list)

for src in src_list:

src = 'https:'+src                                #发现src属性值不是一个完整的url，缺少了协议头

    #对图片的url单独发起请求，获取图片数据.content返回的是二进制类型的响应数据

    img_data = requests.get(url=src,headers=headers).content

    img_name = src.split('/')[-1]                            # url 最后一个斜杠的就是图片名

    img_path = './qiutuLibs/'+img_name

    with open(img_path,'wb') as fp:

        fp.write(img_data)

        print(img_name,'下载成功！')

2. 糗图分页爬取

import requests

import re

import os

# 创建一个文件夹

if not os.path.exists('./qiutuLibs'):

    os.mkdir('./qiutuLibs')

headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'

}

#封装一个通用的url模板

url = 'https://www.qiushibaike.com/pic/page/%d/?s=5185803'

for page in range(1,36):

    new_url = format(url%page)                            #不要忘了format，里面不加引号

    page_text = requests.get(url=new_url, headers=headers).text

    # 进行数据解析（图片的地址）

    ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'

    src_list = re.findall(ex, page_text, re.S)                        # re.S单行匹配，因为页面源码里面有 \n

    # 发现src属性值不是一个完整的url，缺少了协议头

    for src in src_list:

        src = 'https:' + src

        # 对图片的url单独发起请求，获取图片数据.content返回的是二进制类型的响应数据

        img_data = requests.get(url=src, headers=headers).content

        img_name = src.split('/')[-1]

        img_path = './qiutuLibs/' + img_name

        with open(img_path, 'wb') as fp:

            fp.write(img_data)

            print(img_name, '下载成功！')

观察各个页面之间的关联

输入1，结果自动跳转到首页

 注意：url使用format的编写格式

#封装一个通用的url模板

url = 'https://www.qiushibaike.com/pic/page/%d/?s=5185803'

for page in range(1,36):

    new_url = format(url%page)                            #不要忘了format，里面不加引号

3. 爬取糗事百科指定页面的糗图，并将其保存到指定文件夹中

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import requests

import re

import os

if __name__ == "__main__":

     url = 'https://www.qiushibaike.com/pic/%s/'

     headers={

         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',

     }

     #指定起始也结束页码

     page_start = int(input('enter start page:'))

     page_end = int(input('enter end page:'))

     #创建文件夹

     if not os.path.exists('images'):

         os.mkdir('images')

     #循环解析且下载指定页码中的图片数据

     for page in range(page_start,page_end+1):

         print('正在下载第%d页图片'%page)

         new_url = format(url % page)

         response = requests.get(url=new_url,headers=headers)

         #解析response中的图片链接

         e = '<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>'

         pa = re.compile(e,re.S)

         image_urls = pa.findall(response.text)

          #循环下载该页码下所有的图片数据

         for image_url in image_urls:

             image_url = 'https:' + image_url

             image_name = image_url.split('/')[-1]

             image_path = 'images/'+image_name



             image_data = requests.get(url=image_url,headers=headers).content

             with open(image_path,'wb') as fp:

                 fp.write(image_data)

Python爬虫 | re正则表达式解析html页面的更多相关文章

  1. 玩转python爬虫之正则表达式

    玩转python爬虫之正则表达式 这篇文章主要介绍了python爬虫的正则表达式,正则表达式在Python爬虫是必不可少的神兵利器,本文整理了Python中的正则表达式的相关内容,感兴趣的小伙伴们可以 ...

  2. 【python爬虫和正则表达式】爬取表格中的的二级链接

    开始进公司实习的一个任务是整理一个网页页面上二级链接的内容整理到EXCEL中,这项工作把我头都搞大了,整理了好几天,实习生就是端茶送水的.前段时间学了爬虫,于是我想能不能用python写一个爬虫一个个 ...

  3. 【Python爬虫】正则表达式与re模块

    正则表达式与re模块 阅读目录 在线正则表达式测试 常见匹配模式 re.match re.search re.findall re.compile 实战练习 在线正则表达式测试 http://tool ...

  4. python 爬虫之-- 正则表达式

    正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配. 正则表达式非python独有,python 提供了正则表达式的接口,re模块 一.正则匹配字符简介 模式 描述 \d ...

  5. python爬虫使用xpath解析页面和提取数据

    XPath解析页面和提取数据 一.简介 关注公众号"轻松学编程"了解更多. XPath即为XML路径语言,它是一种用来确定XML(标准通用标记语言的子集)文档中某部分位置的语言.X ...

  6. Python爬虫10-页面解析数据提取思路方法与简单正则应用

    GitHub代码练习地址:正则1:https://github.com/Neo-ML/PythonPractice/blob/master/SpiderPrac15_RE1.py 正则2:match. ...

  7. Python爬虫——使用 lxml 解析器爬取汽车之家二手车信息

    本次爬虫的目标是汽车之家的二手车销售信息,范围是全国,不过很可惜,汽车之家只显示100页信息,每页48条,也就是说最多只能够爬取4800条信息. 由于这次爬虫的主要目的是使用lxml解析器,所以在信息 ...

  8. python之urllib2简单解析HTML页面之篇一

    一.urllib2简单获取html页面 #!/usr/bin/env python # -*- coding:utf-8 -*- import urllib2 response = urllib2.u ...

  9. python爬虫之html解析Beautifulsoup和Xpath

    Beautiifulsoup Beautiful Soup 是一个HTML/XML的解析器,主要的功能也是如何解析和提取 HTML/XML 数据.BeautifulSoup 用来解析 HTML 比较简 ...

随机推荐

  1. Mysql练习题(1)

    表名和字段------------------------------------------------------------------------------–1.学生表Student(s_i ...

  2. Jmeter相关参数

    一.线程组 线程组主要包含三个参数:线程数.准备时长(Ramp-Up Period(in seconds)).循环次数. 线程数:虚拟用户数.一个虚拟用户占用一个进程或线程.设置多少虚拟用户数在这里也 ...

  3. HTML文件直接在浏览器打开和本地服务器localhost打开有什么区别？

    最直接的区别,很容易注意到,一个是file协议,另一个是http协议. file协议更多的是将该请求视为一个本地资源访问请求,和你使用资源管理器打开是一样的,是纯粹的请求本地文件. http请求方式则 ...

  4. SQL注入获取Sa账号密码

    漏洞位置:http://168.1.1.81/Information/Search?Keyword=1111 漏洞利用: MSSQL 2000 http://168.1.1.81/Informatio ...

  5. spark-sql使用笔记

    如何使用hive的udf 可以使用spark-sql --jars /opt/hive/udf.jar,指定udf的路径 还可以在spark-default.conf里指定spark.jars /op ...

  6. vue请求简单配置

    简单记录一下vue的http请求配置相关 测试环境请求接口设置: 1.  config/dev.env.js添加: module.exports = merge(prodEnv, { NODE_ENV ...

  7. 爬取网易云音乐歌手和id

    pip install lxml csv requests from lxml import etree from time import sleep import csv import reques ...

  8. 前端框架 Vue.js 概述

    Vue.js 是什么 图片 Vue (读音 /vjuː/,类似于 view) 是一套用于构建用户界面的渐进式框架.与其它大型框架不同的是,Vue 被设计为可以自底向上逐层应用.Vue 的核心库只关注视 ...

  9. PHP控制结构if else,while，do while，for，foreach，break ，continue

    php中控制结构有 控制结构 判断分支 if else, 三元运算符,  switch case, 循环 while do while for foreach 跳出 break continue // ...

  10. linux档案和目录的管理

    资料来自鸟哥的linux私房菜,记录下来供自己平常使用参考 一:目录和路径: cd:change direcoty,变换目录的意思,就是从一个目录变到另一个目录,然后可以用绝对路径去变换目录,也可以用 ...