正则表达式拆分

import re

# 1.拆分字符串

one = 'asdsfsgsh'

# 标准 是 s 为拆分

pattern = re.compile('s')

result = pattern.split(one)

# print(result)

# 2.匹配中文

two = '<a href="https://www.baidu.com/" nslog="normal" nslog-type="10600112" data-href="https://www.baidu.com/s?ie=utf-8&amp;fr=bks0000&amp;wd=">网页是最新版本的,适配移动端</a>'

# python中 匹配中问 [a-z] unicode的范围 * + ?

pattern = re.compile('[\u4e00-\u9fa5]+')

result = pattern.findall(two)

print(result)
import re

import requests

url = 'http://news.baidu.com/'

headers = {

    "User-Agent": 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'

}

# response.text 不太准确 转码 是靠推测

data = requests.get(url, headers=headers).content.decode()

# 正则解析 数据

#  每个新闻的titile, url

# <a href="http://news.cnr.cn/native/gd/20181028/t20181028_524397644.shtml" target="_blank" mon="r=1">民营经济再吃定心丸,民企当体会怎样深意</a>

pattern = re.compile('<a href="(.*?)" target="_blank" mon="(.*?)">(.*?)</a>')

# pattern = re.compile('<a (.*?)</a>',re.S)

result = pattern.findall(data)

print(result)

# with open('02news.html', 'w') as f:

#     f.write(data)
xpath解析
import re

import requests

# 安装支持 解析html和XML的解析库 lxml

# pip install lxml

from lxml import etree

url = 'http://news.baidu.com/'

headers = {

    "User-Agent": 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'

}

# response.text 不太准确 转码 是靠推测

data = requests.get(url, headers=headers).content.decode()

# 1.转解析类型

xpath_data = etree.HTML(data)

# xpath 语法 1. 节点 /

#            2. 跨节点: //

#            3. 精确的标签: //a[@属性="属性值"]

#            4. 标签包裹的内容 text()

#            5. 属性:@href

#              xpath--s数据类型---list

# 2调用 xpath的方法

result = xpath_data.xpath('/html/head/title//text()')

result = xpath_data.xpath('//a/text()')

result = xpath_data.xpath('//a[@mon="ct=1&a=2&c=top&pn=18"]/text()')

result = xpath_data.xpath('//a[@mon="ct=1&a=2&c=top&pn=18"]/@href')

result = xpath_data.xpath('//li/a/text()')

print(result)

# with open('02news.html', 'w') as f:

#     f.write(data)

注意事项

from  lxml import etree

html = """

    <html>

    <body>

    <ul>

     <li>1

         <a href="">子</a>

     </li>

     <li>2

        <a href="">子</a>

     </li>

     <li>3

        <a href="">子</a>

     </li>

     <li>4

         <a href="">子</a>

     </li>

     <li>5

        <a href="">子</a>

     </li>

 </ul>

 </body>

 </html>

"""

# 1.转类型

x_data = etree.HTML(html)

# 2.xpath 下标 是从 1开始; 只能取 平级关系的标签

result = x_data.xpath('//li[5]/text()')

result = x_data.xpath('/html/body/ul/li/a/text()')

result = x_data.xpath('//a[2]')

print(result)

拆分实例

import requests

from lxml import etree

import json

class BtcSpider(object):

    def __init__(self):

        self.base_url = 'http://8btc.com/forum-61-'

        self.headers = {

            "User-Agent": 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'

        }

        self.data_list = []

    # 1.发请求

    def get_response(self, url):

        response = requests.get(url, headers=self.headers)

        # 网页的 编码到底 是 gbk 还是 urf-8  head--meta-charset=""

        # 原因 是 抓取 网页的 编码 就是 gbk的 所以 解码的时候 也是要gbk

        # data = response.content.decode('gbk')

        data = response.content

        return data

    # 2.解析数据

    def parse_data(self, data):

        # 使用xpath 解析当前页面 所有的 新闻title 和url 保存

        # 1.转类型

        x_data = etree.HTML(data)

        # 2.根据xpath路径解析

        # 路径 1. 纯手写  2. 借助浏览器的 右击 粘贴xpath路径; 需要修改

        title_list = x_data.xpath('//a[@class="s xst"]/text()')

        # title_list = x_data.xpath('//form[@id="moderate"]/div/div[2]/div/a[@class="s xst"]/text()')

        url_list = x_data.xpath('//a[@class="s xst"]/@href')

        for index, title in enumerate(title_list):

            news = {}

            # print(index)

            # print(title)

            news['name'] = title

            news['url'] = url_list[index]

            self.data_list.append(news)

    # 3.保存数据

    def save_data(self):

        # 将 list---str

        data_str = json.dumps(self.data_list)

        with open('05btc.json', 'w') as f:

            f.write(data_str)

    # 4.启动

    def run(self):

        for i in range(1, 5):

            # 1.拼接 完整url

            url = self.base_url + str(i) + '.html'

            print(url)

            # 2.发请求

            data = self.get_response(url)

            # 3.做解析

            self.parse_data(data)

        # 4.保存

        self.save_data()

BtcSpider().run()

解析数据(正则,xpath)的更多相关文章

  1. 爬虫的三种解析方式(正则解析, xpath解析, bs4解析)

    一 : 正则解析 : 常用正则回顾: 单字符: . : 除换行符以外的所有字符 [] : [aoe] [a-w] 匹配集合中任意一个字符 \d : 数字 [0-9] \D : 非数字 \w : 非数字 ...

  2. 爬虫系列二(数据清洗--->xpath解析数据)

    一 xpath介绍 XPath 是一门在 XML 文档中查找信息的语言.XPath 用于在 XML 文档中通过元素和属性进行导航. XPath 使用路径表达式在 XML 文档中进行导航 XPath 包 ...

  3. xpath解析数据

    xpath解析数据 """ xpath 也是一种用于解析xml文档数据的方式 xml path w3c xpath搜索用法 在 XPath 中,有七种类型的节点:元素.属 ...

  4. 爬虫——网页解析利器--re & xpath

    正则解析模块re re模块使用流程 方法一 r_list=re.findall('正则表达式',html,re.S) 方法二  创建正则编译对象 pattern = re.compile('正则表达式 ...

  5. python爬虫---爬虫的数据解析的流程和解析数据的几种方式

    python爬虫---爬虫的数据解析的流程和解析数据的几种方式 一丶爬虫数据解析 概念:将一整张页面中的局部数据进行提取/解析 作用:用来实现聚焦爬虫的吧 实现方式: 正则 (针对字符串) bs4 x ...

  6. 《爬虫学习》（四）（使用lxml,bs4库以及正则表达式解析数据）

    1.XPath: XPath(XML Path Language)是一门在XML和HTML文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历. 工具:扩展商店里搜索:XPath ...

  7. python网络爬虫之解析网页的XPath(爬取Path职位信息)[三]

    目录 前言 XPath的使用方法 XPath爬取数据 后言 @(目录) 前言 本章同样是解析网页,不过使用的解析技术为XPath. 相对于之前的BeautifulSoup,我感觉还行,也是一个比较常用 ...

  8. scrapy架构与目录介绍、scrapy解析数据、配置相关、全站爬取cnblogs数据、存储数据、爬虫中间件、加代理、加header、集成selenium

    今日内容概要 scrapy架构和目录介绍 scrapy解析数据 setting中相关配置 全站爬取cnblgos文章 存储数据 爬虫中间件和下载中间件 加代理,加header,集成selenium 内 ...

  9. Android之三种网络请求解析数据(最佳案例)

    AsyncTask解析数据 AsyncTask主要用来更新UI线程,比较耗时的操作可以在AsyncTask中使用. AsyncTask是个抽象类,使用时需要继承这个类,然后调用execute()方法. ...

随机推荐

  1. java 读写分离

    源码地址:http://git.oschina.net/xiaochangwei 先回答下 1.为啥要读写分离? 大家都知道最初开始,一个项目对应一个数据库,基本是一对一的,但是由于后来用户及数据还有 ...

  2. mysql5.5碰到的type= MyISAM报错问题

    最近把mysql升级到5.5版本,发现type= MyISAM报错,网上查了一下原来MYSQL5.5.x 版本 不支持 TYPE=MyISAM  这样的语句了!!! MYSQL语句写法 TYPE=My ...

  3. java中常用的转义字符

    Day02_SHJavaTraing_4-3-2017 Java中允许使用转义字符‘\’来将其后的字符转变为特殊字符型常量. 一.JAVA中常用的转义字符

  4. Code Snippet 插件 使用——代码高亮

    Code Snippet 下载地址 下载后安装,重启windows live writer 插入-->CodeSnippet 将代码粘贴进去,如图: 代码效果: @Controllerpubli ...

  5. Sublime 是自动检测而非自动设置缩进

    以为是自动设置规范化的缩进 以前一直认为是:识别出文件类型后,设置统一的缩进规范.比如说 识别为CSS,就把缩进设成2个空格 其实是自动检测然后与你保持统一 亲测发现,根据你文本里用的是几个空格的缩进 ...

  6. CDR 2017压感笔和压感设备该怎么设置使用?

    您可以通过CorelDRAW 2017 中的以下工具来运用压感笔.笔或其他设备的压力:艺术笔(表达模式).橡皮擦.涂抹.转动.吸引.排斥.粗糙和弄脏.此外,您还可以通过艺术笔(表达模式)工具.橡皮擦. ...

  7. BZOJ2440: [中山市选2011]完全平方数 容斥原理_莫比乌斯函数

    emmm....... 数学题都不友好QAQ...... Code: #include <cstdio> #include <algorithm> #include <c ...

  8. 05 ADO.net

    ADO.NET就是一组类库 操作数据库用的.

  9. 使用Git--将本地项目提交到Github

    前置工作 1. 在GitHub官网注册一个GitHub账号: 2. 安装git工具,在Git官网下载对应版本的Git: 方法一: 1. 进入Github首页,点击New repository新建一个项 ...

  10. java中Collection 与Collections的区别

    1. Collection是集合类的一个顶级接口,其直接继承接口有List与Set 而Collections则是集合类的一个工具类/帮助类,其中提供了一系列静态方法,用于对集合中元素进行排序.搜索以及 ...