1. 正则解析

  • 正则例题
import  re

# string1 = """<div>静夜思

# 窗前明月光

# 疑是地上霜

# 举头望明月

# 低头思故乡

# </div>"""

# print(re.findall('<div>(.*)</div>',string1,re.S))

#如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始，不会跨行。

# 而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，将“\n”当做一个普通的字符加入到这个字符串中，在整体中进行匹配

#匹配以i 开头的行

# string = '''fall in love with you

# i love you very much

# i love she

# i love her'''

# print(re.findall('^i.*',string,re.M))

#re.M表示将字符串视为多行,从而^匹配每一行的行首,$匹配每一行的行尾

#提取出python

# key="javapythonc++php"

# print(re.findall('python',key))

#提取出hello world

# key="<html><h1>hello world<h1></html>"

# print(re.findall('<h1>(.*)<h1>',key)[0])

#提取170

# string = '我喜欢身高为170的女孩'

# print(re.findall('\d+',string))

#提取出hit. :贪婪模式：尽可能多的匹配数据

# key='bobo@hit.edu.com'#想要匹配到hit.

# print(re.findall('h.*?\.',key))
  • 糗图下载案例
import requests

import re

import os

url = 'https://www.qiushibaike.com/pic/'

header = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'

}

# 创建一个存储图片的文件夹

dir_name = 'qiutu'

if not os.path.exists(dir_name):

    os.mkdir(dir_name)

response = requests.get(url=url, headers=header)

# 获取字符串类型数据

page_text = response.text

# print(page_text)

# 使用正则进行数据解析（图片（img中src属性中存储的数据值））

src_list = re.findall('<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>', page_text, re.S)

# 拼接图片的url

for src in src_list:

    # 获取了图片完整的url

    src = 'https:' + src

    # 下载图片（发请求）

    image_data = requests.get(url=src, headers=header).content

    fileName = src.split('/')[-1]

    filePath = dir_name + '/' + fileName

    with open(filePath, 'wb') as fp:

        fp.write(image_data)

        print('一张图片下载成功')

2. xpath

2.1 格式

from lxml import etree

    两种方式使用：将html文档变成一个对象，然后调用对象的方法去查找指定的节点

    （1）本地文件

        tree = etree.parse(文件名)

    （2）网络文件

        tree = etree.HTML(网页字符串)

    ret = tree.xpath(路径表达式)

3.bs4解析

  • 环境安装
- windows

    （1）打开文件资源管理器(文件夹地址栏中)

    （2）地址栏上面输入 %appdata%

    （3）在这里面新建一个文件夹  pip

    （4）在pip文件夹里面新建一个文件叫做  pip.ini ,内容写如下即可

        [global]

        timeout = 6000

        index-url = https://mirrors.aliyun.com/pypi/simple/

        trusted-host = mirrors.aliyun.com

   - linux

    （1）cd ~

    （2）mkdir ~/.pip

    （3）vi ~/.pip/pip.conf

    （4）编辑内容，和windows一模一样

  - 需要安装：pip install bs4

    bs4在使用时候需要一个第三方库，把这个库也安装一下

    pip install lxml
  • 用法
- from bs4 import BeautifulSoup

- 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的内容

  （1）转化本地文件：

      - soup = BeautifulSoup(open('本地文件'), 'lxml')

  （2）转化网络文件：

      - soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')

  （3）打印soup对象显示内容为html文件中的内容

Python网络爬虫之三种数据解析方式的更多相关文章

  1. 05.Python网络爬虫之三种数据解析方式

    引入 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指 ...

  2. 05，Python网络爬虫之三种数据解析方式

    回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据 ...

  3. 《Python网络爬虫之三种数据解析方式》

    引入 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指 ...

  4. Python网络爬虫之三种数据解析方式 (xpath, 正则, bs4)

    引入 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指 ...

  5. Python爬虫之三种数据解析方式

    一.引入 二.回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需 ...

  6. Python网络爬虫实战(二)数据解析

    上一篇说完了如何爬取一个网页,以及爬取中可能遇到的几个问题.那么接下来我们就需要对已经爬取下来的网页进行解析,从中提取出我们想要的数据. 根据爬取下来的数据,我们需要写不同的解析方式,最常见的一般都是 ...

  7. Python爬虫的三种数据解析方式

    数据解析方式 - 正则 - xpath - bs4 数据解析的原理: 标签的定位 提取标签中存储的文本数据或者标签属性中存储的数据 正则 # 正则表达式 单字符: . : 除换行以外所有字符 [] : ...

  8. python网络爬虫数据中的三种数据解析方式

    一.正则解析 常用正则表达式回顾: 单字符: . : 除换行以外所有字符 [] :[aoe] [a-w] 匹配集合中任意一个字符 \d :数字 [0-9] \D : 非数字 \w :数字.字母.下划线 ...

  9. Python多线程爬虫与多种数据存储方式实现(Python爬虫实战2)

    1. 多进程爬虫 对于数据量较大的爬虫,对数据的处理要求较高时,可以采用python多进程或多线程的机制完成,多进程是指分配多个CPU处理程序,同一时刻只有一个CPU在工作,多线程是指进程内部有多个类 ...

随机推荐

  1. 【ASP.NET】website转webapplication

    *以下操作都以VS2013为参考: #新建两种web项目 1.添加webapplication项目: 2.添加website项目: #比较两种web项目新建的webform页面的不同点: 1.文件目录 ...

  2. vue动态添加对象属性，视图不渲染

    发现数据确实改变了.但是视图没有渲染.原因是赋值的问题,应该这样动态增加属性 vm.$set(vm.template.titleAttachInfoDetail,newKey,newVal) vm 当 ...

  3. Vorticity directions 1: self-improving property of the vorticity

    在 [Li, Siran. "On Vortex Alignment and Boundedness of $ L^ q $ Norm of Vorticity." arXiv p ...

  4. [物理学与PDEs]第3章第2节 磁流体力学方程组 2.1 考虑到导电媒质 (等离子体) 的运动对 Maxwell 方程组的修正

    1.  Maxwell 方程组 $$\bee\label{3_2_1_Maxwell} \bea \Div{\bf D}&=\rho_f,\\ \rot{\bf E}&=-\cfrac ...

  5. [物理学与PDEs]第2章习题7 一维不可压理想流体的求解

    设有以 $x$ 轴为轴向的等轴截面管道, 其中充满着沿 $x$ 方向流动的不可压缩的理想流体, 在每一横截面上流体的状态相同, 且 $p=p(x)$. 若已知 $p(0) =p_1$, $p(L)=p ...

  6. SQLServer数据库文件由高版本向低版本转换

    这个只能用2012的生成脚本功能,在高级里面把脚本兼容设置成2008,并且选择生成架构和数据(默认是只有架构)拿这个脚本在2008上跑一次就行了 sqlserver 中使用sqlcmd 执行*.sql ...

  7. C# Textbox 自动换行

    方法1 使用textbox的AppendText方法 方法2 textBox.ScrollToCaret(); this.textBox.Focus();//获取焦点 this.textBox.Sel ...

  8. 【汇总目录】Java

    疯狂Java学习笔记 [2019年03月20日] Lambda表达式与函数式接口 [2019年03月20日] Lambda表达式概念与基本语法 [2019年03月18日] 内部类 [2019年02月1 ...

  9. Leetcode#344. Reverse String（反转字符串）

    题目描述 编写一个函数,其作用是将输入的字符串反转过来. 示例 1: 输入: "hello" 输出: "olleh" 示例 2: 输入: "A man ...

  10. Python3：排序函数sort() 和 sorted() 之介绍

    今天来讲一下Python中的排序函数.Python中有2个内建的排序函数,分别为sort() 和 sorted() 下面介绍分别介绍一下2个函数: 1.有一个列表 :a=[1,4,5,88,0,7], ...