一、爬虫基本步骤

  • 指定URL信息
  • 发起请求
  • 获取响应数据
  • 对响应数据进行数据解析
  • 持久化存储

二、数据解析

1. 正则表达式

(1) 基本语法
1. 单字符：

	. : 除换行以外所有字符

	[] ：[aoe] [a-w] 匹配集合中任意一个字符

	\d ：数字  [0-9]

	\D : 非数字

	\w ：数字、字母、下划线、中文

	\W : 非\w

	\s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。

	\S : 非空白

2. 数量修饰：

	* : 任意多次  >=0

	+ : 至少1次   >=1

	? : 可有可无  0次或者1次

	{m} ：固定m次 hello{3,}

	{m,} ：至少m次

	{m,n} ：m-n次

3. 边界：

	$ : 以某某结尾

	^ : 以某某开头

4. 分组：

	(ab)

5. 贪婪模式： .*

6. 非贪婪（惰性）模式： .*?

7. 爬虫正则

	re.I : 忽略大小写

    re.M ：多行匹配

    re.S ：单行匹配  //爬虫常用

    re.sub(正则表达式, 替换内容, 字符串)
(2) 相关案例
import re

# 提取出python

key="javapythonc++php"

re.findall('python',key)[0]

-----------------------------------------------------------------------------------------

# 提取出hello world

key="<html><h1>hello world<h1></html>"

re.findall('<h1>(.*)<h1>',key)[0]

-----------------------------------------------------------------------------------------

# 提取170

string = '我喜欢身高为170的女孩'

re.findall('\d+',string)

-----------------------------------------------------------------------------------------

# 提取出http://和https://

key='http://www.baidu.com and https://boob.com'

re.findall('https?://',key)

-----------------------------------------------------------------------------------------

# 提取出hello

key='lalala<hTml>hello</HtMl>hahah' #输出<hTml>hello</HtMl>

re.findall('<[Hh][Tt][mM][lL]>(.*)</[Hh][Tt][mM][lL]>',key)

-----------------------------------------------------------------------------------------# 提取出hit.

key='bobo@hit.edu.com'  # 想要匹配到hit.

re.findall('h.*?\.',key)

-----------------------------------------------------------------------------------------

# 匹配sas和saas

key='saas and sas and saaas'

re.findall('sa{1,2}s',key)

-----------------------------------------------------------------------------------------

# 匹配出i开头的行

string = '''fall in love with you

i love you very much

i love she

i love her'''

re.findall('^.*',string,re.M)

-----------------------------------------------------------------------------------------

# 匹配全部行

string1 = """<div>静夜思

窗前明月光

疑是地上霜

举头望明月

低头思故乡

</div>"""

re.findall('.*',string1,re.S)

2. Beautifulsoup

(1) 环境安装
- 需要将pip源设置为国内源，阿里源、豆瓣源、网易源等

   - windows

    （1）打开文件资源管理器(文件夹地址栏中)

    （2）地址栏上面输入 %appdata%

    （3）在这里面新建一个文件夹  pip

    （4）在pip文件夹里面新建一个文件叫做  pip.ini ,内容写如下即可

        [global]

        timeout = 6000

        index-url = https://mirrors.aliyun.com/pypi/simple/

        trusted-host = mirrors.aliyun.com

   - linux

    （1）cd ~

    （2）mkdir ~/.pip

    （3）vi ~/.pip/pip.conf

    （4）编辑内容，和windows一模一样

- 需要安装：pip install bs4

     bs4在使用时候需要一个第三方库，把这个库也安装一下

     pip install lxml
(2) 基础使用
1. 使用流程：

    - 导包：from bs4 import BeautifulSoup

    - 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的节点

2. 内容

	(1)转化本地文件：

		- soup = BeautifulSoup(open('本地文件'), 'lxml')

	(2)转化网络文件：

		- soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')

	(3)打印soup对象显示内容为html文件中的内容

3. 基础巩固：

    （1）根据标签名查找

        - soup.a   只能找到第一个符合要求的标签

    （2）获取属性

        - soup.a.attrs  获取a所有的属性和属性值，返回一个字典

        - soup.a.attrs['href']   获取href属性

        - soup.a['href']   也可简写为这种形式

    （3）获取内容

        - soup.a.string

        - soup.a.text

        - soup.a.get_text()

       【注意】如果标签还有标签，那么string获取到的结果为None，而其它两个可以获取文本内容

    （4）find：找到第一个符合要求的标签

        - soup.find('a')  找到第一个符合要求的

        - soup.find('a', title="xxx")

        - soup.find('a', alt="xxx")

        - soup.find('a', class_="xxx")

        - soup.find('a', id="xxx")

    （5）find_all：找到所有符合要求的标签

        - soup.find_all('a')

        - soup.find_all(['a','b']) 找到所有的a和b标签

        - soup.find_all('a', limit=2)  限制前两个

    （6）根据选择器选择指定的内容

               select:soup.select('#feng')

        - 常见的选择器：标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器

            - 层级选择器：

                div .dudu #lala .meme .xixi  下面好多级

                div > p > a > .lala          只能是下面一级

        【注意】select选择器返回永远是列表，需要通过下标提取指定的对象

3. xpath

(1) 选取节点
表达式 描述
nodename 选取此节点的所有子节点
/ 从根节点选取
// 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性
(2) 案例
路径表达式 结果
bookstore 选取 bookstore 元素的所有子节点
/bookstore 选取根元素 bookstore;注释：假如路径起始于正斜杠( / )则此路径始终代表到某元素的绝对路径
bookstore/book 选取属于 bookstore 的子元素的所有 book 元素
//book 选取所有 book 子元素，而不管它们在文档中的位置
bookstore//book 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置
//@lang 选取名为 lang 的所有属性
(3) 谓语
表达式 结果
/bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素
/bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素
/bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素
/bookstore/book[position()❤️] 选取最前面的两个属于 bookstore 元素的子元素的 book 元素
//title[@lang] 选取所有拥有名为 lang 的属性的 title 元素
//title[@lang='eng'] 选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性
/bookstore/book[price>35.00] 选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00
/bookstore/book[price>35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00
(4) 选取位置节点
表达式 结果
* 匹配任何元素节点
@* 匹配任何元素属性节点
node() 匹配任何类型的节点
路径表达式 结果
/bookstore/* 选取bookstore元素的所有子元素
//* 选取文档中的所有元素
//title[@*] 选取所有带属性的title元素
路径表达式 结果
//book/title | //book/price 选取 book 元素的所有 title 和 price 元素
//title | //price 选取文档中的所有 title 和 price 元素
/bookstore/book/title | //price 选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素
(5) 基本案例
1. 属性定位：

    #找到class属性值为song的div标签

    //div[@class="song"]

2. 层级&索引定位：

    #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a

    //div[@class="tang"]/ul/li[2]/a

3. 逻辑运算：

    #找到href属性值为空且class属性值为du的a标签

    //a[@href="" and @class="du"]

4. 模糊匹配：

    //div[contains(@class, "ng")]

    //div[starts-with(@class, "ta")]

5. 取文本：

    # /表示获取某个标签下的文本内容

    # //表示获取某个标签下的文本内容和所有子标签下的文本内容

    //div[@class="song"]/p[1]/text()

    //div[@class="tang"]//text()

6. 取属性：

    //div[@class="tang"]//li[2]/a/@href

三、流程

1.下载：pip install lxml

2.导包：from lxml import etree

3.将html文档或者xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点

	2.1 本地文件: tree = etree.parse(文件名)

                 tree.xpath("xpath表达式")

    2.2 网络数据：tree = etree.HTML(网页内容字符串)

                 tree.xpath("xpath表达式")

4.备注:

    安装Chrome的xpath插件

    安装xpath插件在浏览器中对xpath表达式进行验证：可以在插件中直接执行xpath表达式

	将xpath插件拖动到谷歌浏览器拓展程序（更多工具）中，安装成功

    启动和关闭插件 ctrl + shift + x

5.xpath解析原理

- 实例化一个etree的对象，且将页面源码数据加载到该对象中

- 调用etree对象中的xpath方法实现标签定位和数据的提取

- 在xpath函数中必须作用xpath表达式

- xpath函数返回的一定是一个列表

Request模块—数据解析工具的更多相关文章

  1. Gprinter热敏打印机光栅位图点阵数据解析工具

    最近参与的项目有一个需求,解析佳博热敏打印机的光栅位图点阵数据并保存为图片文件.数据是通过Bus Hound抓取的,如下图所示. 其中1b 40为初始化打印机的指令,对应的ASCII码为ESC @,1 ...

  2. TCP 服务端接收数据解析工具类

    package com.ivchat.common.util; import java.io.BufferedReader;import java.io.IOException;import java ...

  3. iOS开发之Socket通信实战--Request请求数据包编码模块

    实际上在iOS很多应用开发中,大部分用的网络通信都是http/https协议,除非有特殊的需求会用到Socket网络协议进行网络数 据传输,这时候在iOS客户端就需要很好的第三方CocoaAsyncS ...

  4. dojo/request模块整体架构解析

    总体说明 做前端当然少不了ajax的使用,使用dojo的童鞋都知道dojo是基于模块化管理的前端框架,其中对ajax的处理位于dojo/request模块.一般情况下我们使用ajax请求只需要引入do ...

  5. cJONS序列化工具解读二(数据解析)

    cJSON数据解析 关于数据解析部分,其实这个解析就是个自动机,通过递归或者解析栈进行实现数据的解析 /* Utility to jump whitespace and cr/lf *///用于跳过a ...

  6. 05.Python网络爬虫之三种数据解析方式

    引入 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指 ...

  7. Python爬虫之三种数据解析方式

    一.引入 二.回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需 ...

  8. 05，Python网络爬虫之三种数据解析方式

    回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据 ...

  9. 数据解析,懒加载,代理ip

    在前面的requests流程中,还缺少了一步重要的流程,就是在持久化存储之前需要进行制定的数据解析.因为在大多数情况下,我们都会使用聚焦爬虫,也就是爬取页面中的指定部分数据值,而不是整个页面的数据. ...

随机推荐

  1. python大法好——面向对象

    python大法好——面向对象 Python从设计之初就已经是一门面向对象的语言,正因为如此,在Python中创建一个类和对象是很容易的.本章节我们将详细介绍Python的面向对象编程. 如果你以前没 ...

  2. leetcode1

    public class Solution { public int[] TwoSum(int[] nums, int target) { ]; ; i < nums.Length; i++) ...

  3. python批量处理文件夹中文件的问题

    用os模块读取文件夹中文件 原来的代码: import osfrom scipy.misc import imread filenames=os.listdir(r'./unprocess')for ...

  4. Java语法 [开发环境搭建]

    自行百度. https://www.baidu.com 自行必应 https://cn.bing.com

  5. java导出excel模板数据

    Java导出excel数据模板,这里直接贴代码开发,流程性的走下去就是步骤: String[] colName=new String[]{"期间","科目代码" ...

  6. 安装64位office时，弹出提示，要求卸载32位office

    运行 regedit,进入到HKEY_CLASSES_ROOT\Installer\Products下,删除0000510开头的项或00002开头项.然后重启计算机. 参考:  https://blo ...

  7. c++ 中的数字和字符串的转换

    理由:一直忘记数字型的字符串和数字之间的转换,这次总结一下,以便后面再次用到. 其实 C++ 已经给我们写好了相应的函数,直接拿来用即可 QA1:如何把一个数字转换为一个数字字符串?(这个不是很常用) ...

  8. 求树的重心 poj 1655

    题目链接:https://vjudge.net/problem/POJ-1655 这个就是找树的重心,树的重心就是树里面找一个点,使得以这个点为树根的所有的子树中最大的子树节点数最小.题目应该讲的比较 ...

  9. 【c++】内存检查工具Valgrind介绍，安装及使用以及内存泄漏的常见原因

    转自:https://www.cnblogs.com/LyndonYoung/articles/5320277.html Valgrind是运行在Linux上一套基于仿真技术的程序调试和分析工具,它包 ...

  10. 循序渐进VBA EXCEL数据操作小实例

    1 向指定单元格区域内写入数据 Sub example1() ) arr() = Array("A", "B", "C", "D& ...