python爬虫---爬虫的数据解析的流程和解析数据的几种方式

python爬虫---爬虫的数据解析的流程和解析数据的几种方式

一丶爬虫数据解析

概念：将一整张页面中的局部数据进行提取/解析

作用：用来实现聚焦爬虫的吧

实现方式：

正则 (针对字符串)

bs4

xpath (最常用)

pyquery   " https://www.jianshu.com/p/770c0cdef481"  # 有待查询

数据解析的通用原理是什么？

标签的定位

数据的提取

页面中的相关的字符串的数据都存储在哪里呢？

标签中间

标签的属性中

基于聚焦爬虫的编码流程

1. 指定url

2. 发起请求

3. 获取响应数据

4. 数据解析

5. 持久化存储

正则解析

### 使用python中的re模块进行正则匹配,对找到的指定数据进行数据解析

    # 例如:
        # text获取页面内容.
    	page_text = requests.get(url,headers=headers).text

        # 解析数据：img标签的src的属性值
    	ex = '<div class="text">.*?<img src="(.*?)" referrerPolicy.*?</div>'

        # ex 是正则表达式,page_text是获取的页面,flags=re.S表示不换行(一行查找,正则表达式会将这个字符串作为一个整体，在整体中进行匹配)
    	img_src_list = re.findall(ex,page_text,re.S)

BS4解析

# 概述BS4的用法
	# 环境的安装：
        pip install bs4
        pip install lxml

	# bs4的解析原理：
        实例化一个BeautifulSoup的一个对象，把即将被解析的页面源码数据加载到该对象中
        需要调用BeautifulSoup对象中的相关的方法和属性进行标签定位和数据的提取

    # BeautifulSoup的实例化
        BeautifulSoup(fp,'lxml'):将本地存储的html文档中的页面源码数据加载到该对象中
        BeautifulSoup（page_text,'lxml'）:将从互联网中请求道的页面源码数据加载到改对象中

    # 标签的定位
		 标签定位:soup.tagName:只可以定位到第一个tagName标签

		 属性定位：soup.find('tagName',attrName='value'),只可以定位到符合要求的第一个标签
			# findAll:返回值是一个列表。可以定位到符合要求的所有标签
		 选择器定位：soup.select('选择器')
			# 选择器：id，class，tag,层级选择器(大于号表示一个层级，空格表示多个层级)

	# 取文本
		text:将标签中所有的文本取出
		 string:将标签中直系的文本取出

    # 取属性
		 tag['attrName']

XPATH解析

# 概述
	# 环境的安装
		pip install lxml

	# 解析原理
		实例化一个etree的对象，且把即将被解析的页面源码数据加载到该对象中
		调用etree对象中的xpath方法结合这不同形式的xpath表达式进行标签定位和数据提取

	# etree对象的实例化
        etree.parse('fileName')
        etree.HTML(page_text)

	# 标签定位
        最左侧的/:一定要从根标签开始进行标签定位

        非最左侧的/:表示一个层级

        最左侧的//：可以从任意位置进行指定标签的定位

        非最左侧的//：表示多个层级

        属性定位：//tagName[@attrName="value"]

        索引定位：//tagName[@attrName="value"]/li[2],索引是从1开始

        逻辑运算：
        	找到href属性值为空且class属性值为du的a标签
        	//a[@href="" and @class="du"]
        	模糊匹配：
        	//div[contains(@class, "ng")]
        	//div[starts-with(@class, "ta")]

	# 取文本
		/text():直系的文本内容
		//text()：所有的文本内容

	# 取属性
		/@attrName

其他问题

# 乱码问题
	# 1. 先编码成 iso-8895-1 在解码
 img_name = img_name.encode('iso-8859-1').decode('gbk')

# .bs4实现的数据解析中常用的方法和属性有哪些？各自的作用是什么？
    soup.tagName
    find/findAll()
    select()
    text/string
    tag['attrName]

# .写出常用的xpath表达式？
    属性定位
    索引定位
    取文本
    取属性