1.String类中与正则有关的方法

replaceAll方法中要填入两个正则表达式，第一个是我们要修改的字符串，第二个则是我们要改成以后的字符串

如下图，出师表中存在很多数字，我们要删去这些数字，就可以使用该方法



2.使用正则表达式做爬取

如图，我们要从这些文字中获取有效的信息，就可以使用正则表达式做爬取，将有效信息搞出来

1.先制定正则表达式，将对应的有效内容写为正则表达式，方便获取

2.使用Pattren类封装对象

Pattern类是专门给正则表达式做封装的类，里面有一个compile方法，可以将我们指定的正则表达式封装成Pattern对象



3.调用matcher方法获取到匹配器对象

封装正则表达式的目的就是为了调用到matcher方法，将要爬取的字符串放入该方法，该方法会返回一个匹配器对象



4.通过匹配器对象调用find和group方法进行爬取

find方法负责查找要爬取的内容里面是否有符合正则表达式，如果有就会返回true



group方法负责将find方法找到的符合正则表达式的内容进行打印输出



需要注意的是，group方法是调用一次就爬取一次，所以要想把所有的内容都爬取出来就要调用多次

而且group方法只能爬取到find找到的内容，因此需要find加group配合使用才能将所有的内容爬取，否则调用多个group，爬取到的也只是find找到一次的内容

当搭配使用时



5.爬取代码优化

实际生活中，我们不知道有多少内容要爬取，也就不知道要调用多少次find和group，但我们可以利用find的一个特点来优化代码

如图，当我们将要爬取的内容修改为两个有效内容，我们调用了3次find方法，第三次时就返回了false

find方法如果找到了就会返回true，没找到有效内容就会返回false，因此我们可以设计一个while循环

用正则表达式做爬取--java进阶day06的更多相关文章

  1. PYTHON 爬虫笔记九:利用Ajax+正则表达式+BeautifulSoup爬取今日头条街拍图集（实战项目二）

    利用Ajax+正则表达式+BeautifulSoup爬取今日头条街拍图集 目标站点分析 今日头条这类的网站制作,从数据形式,CSS样式都是通过数据接口的样式来决定的,所以它的抓取方法和其他网页的抓取方 ...

  2. 微信公众号批量爬取java版

    最近需要爬取微信公众号的文章信息.在网上找了找发现微信公众号爬取的难点在于公众号文章链接在pc端是打不开的,要用微信的自带浏览器(拿到微信客户端补充的参数,才可以在其它平台打开),这就给爬虫程序造成很 ...

  3. 正则表达式_爬取豆瓣电影排行Top250

    前言: 利用简单的正则表达式,获取响应内容爬取数据. Part1 正则表达式(Regular Expression) 1.1 简介 正则表达式,又称规则表达式,它是一种文本模式,就是通过事先定义好的一 ...

  4. 【python爬虫和正则表达式】爬取表格中的的二级链接

    开始进公司实习的一个任务是整理一个网页页面上二级链接的内容整理到EXCEL中,这项工作把我头都搞大了,整理了好几天,实习生就是端茶送水的.前段时间学了爬虫,于是我想能不能用python写一个爬虫一个个 ...

  5. python爬虫+正则表达式实例爬取豆瓣Top250的图片

    直接上全部代码 新手上路代码风格可能不太好 import requests import re from fake_useragent import UserAgent #### 用来伪造爬头部信息 ...

  6. scrapy实例:爬取中国天气网

    1.创建项目 在你存放项目的目录下,按shift+鼠标右键打开命令行,输入命令创建项目: PS F:\ScrapyProject> scrapy startproject weather # w ...

  7. scrapy实例:爬取天气、气温等

    1.创建项目 scrapy startproject weather # weather是项目名称 scrapy crawl spidername开始运行,程序自动使用start_urls构造Requ ...

  8. Python 网络爬虫 004 (编程) 如何编写一个网络爬虫，来下载（或叫：爬取）一个站点里的所有网页

    爬取目标站点里所有的网页 使用的系统:Windows 10 64位 Python语言版本:Python 3.5.0 V 使用的编程Python的集成开发环境:PyCharm 2016 04 一 . 首 ...

  9. Python 爬取的类封装【将来可能会改造，持续更新...】（2020年寒假小目标09）

    日期:2020.02.09 博客期:148 星期日 按照要求,我来制作 Python 对外爬取类的固定部分的封装,以后在用 Python 做爬取的时候,可以直接使用此类并定义一个新函数来处理CSS选择 ...

  10. Python+Requests+Re（正则）爬取某糗事百科图片（数据分析一）

    1.博客目前在学习爬虫课程,使用正则表达式来爬取网页的图片信息 2.下面我们一起来回归下Python中的正则使用方式/方法 3.糗事百科图片爬取源码如下: import requestsimport ...

随机推荐

  1. VSTO踩坑记录（3）- 用ClickOnce发布outlook插件 - 我数据文件呢？

    概述 上面两篇文章虽然很简略,不过vsto说白了就是winform开发,所以需要说的内容不是很多,下面直接到发布阶段. 这次先介绍ClickOnce的发布方式,默认右击项目 - 发布,就是这种方式. ...

  2. 搭建 VuePress 站点必做的 10 个优化

    前言 在 <一篇带你用 VuePress + Github Pages 搭建博客>中,我们使用 VuePress 搭建了一个博客,最终的效果查看:TypeScript 中文文档. 在搭建这 ...

  3. 使用TUniSQLMonitor监视SQL语句执行的耗时

    //代码来自官方论坛type TUniSqlMonitorEx = class(TUniSqlMonitor) private FExecuteDuration: Cardinal; FFinalEv ...

  4. 使用Vant做移动端对图片预览ImagePreview和List的理解

    使用Vant3做移动端的感受 最近在使用Vant3做移动端. 感觉还可以,使用起来也简单,但是也遇见一些坑. 图片预览ImagePreview的使用 在使用图片预览的时候, 我们在main.js中进行 ...

  5. server_patrol.sh服务器巡查脚本

    server_patrol.sh #!/bin/bash #!/usr/bin/expect -f#! auther by wangxp #定义一个变量 LANG="zh_CN.UTF-8& ...

  6. Romberg 数值积分算法+P3779 题解

    Romberg 算法 吊打 Simpson(?) 的且不玄学(没有什么十五倍)的数值积分算法. 缺点是过程复杂一点,但是只体现在证明上,代码很短. 铺垫算法 梯形求积公式 公式 \[\int _a^b ...

  7. 本地AI搭建

    搭建本地博客AI 目录 搭建本地博客AI 环境 下载ollama 选择模型 选择embedding模型 查看性能测试 选择合适的嵌入模型(Embedder) 估算内存 选择模型 量化类型介绍 Q5_0 ...

  8. 动态编译 Java 的神器 Liquor v1.3.10 发布

    Liquor 是一个开源的轻量级 Java 动态编译器(零依赖,40KB),它可以在运行时编译 Java 字符串代码片段.类.方法等. 源码地址:https://gitee.com/noear/liq ...

  9. JavaScript 滚动条滚动到底部才触发按钮是否可用

    应用代码片段: <!DOCTYPE html> <html lang="en"> <head> <meta charset="U ...

  10. [HEOI2014]大工程 题解

    发现可以直接建立虚树. 设 \(dp_{u,0/1/2}\) 表示第 \(u\) 个节点的子树内,所有选中节点到它的距离之和/选中节点中到它的最短距离/选中节点中到它的最长距离,\(as_{u,0/1 ...