有人会问re和xpath是什么关系？如果你了解js与jquery，那么这个就很好理解了。

上一篇：利用python脚本（re）抓取美空mm图片

# -*- coding:utf-8 -*-

from lxml import etree

html = """

    <!DOCTYPE html>

    <html>

        <head lang="en">

        <title>我的文档</title>

        <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />

        </head>

        <body>

            <div id="cctv">

                <div class="content">

                    <ul id="ul">

                        <li>NO.1</li>

                        <li>NO.2</li>

                        <li>NO.3</li>

                    </ul>

                    <ul id="ul2">

                        <li><span class="ctv">one</span></li>

                        <li><span class="ctv">two</span></li>

                    </ul>

                </div>

                <div id="url">

                    <a href="http://www.jd.com" title="jd">jd</a>

                    <a href="http://www.360buy.com" title="360buy">360buy</a>

                </div>

            </div>

        </body>

    </html>

"""

selector = etree.HTML(html)

# ########### example 1 ############

# 这里使用id属性来定位哪个div和ul被匹配 使用text()获取文本内容

# 这里注意要层层匹配

# content = selector.xpath('//div[@id="cctv"]/div[@class="content"]/ul[@id="ul"]/li/text()')

# content = selector.xpath('//div[@id="cctv"]/div[@class="content"]/ul[@id="ul2"]/li/span[@class="ctv"]/text()')

content = selector.xpath('//a/@href')

for i in content:

    print(i)

print(u"************ 华丽分割符1 ************")

# ########### example 2 ############

# 使用绝对路径定位a标签的title

con = selector.xpath('/html/body/div/a/@title')

# 使用相对路径定位 两者效果是一样的

con = selector.xpath('//a/@title')

print(len(con))

print(con[0], con[1])

print(u"************ 华丽分割符2 ************")

# ########### example 3 ############

# starts-with 解决标签属性值以相同字符串开头的情况

con2 = selector.xpath('//span[starts-with(@class,"c")]/text()')  # 这里使用starts-with方法提取div的id标签属性值开头为a的div标签

for i in con2:

    print(i)

print(u"************ 华丽分割符3 ************")

# string(.) 标签套标签

html2 = '''

   <div id="a">

       left

        <span id="b">

           right

            <ul>

               up

                <li>down</li>

            </ul>

           east

        </span>

        west

    </div>

'''

# 下面是没有用string方法的输出

selector2 = etree.HTML(html2)

con3 = selector2.xpath('//div[@id="a"]/text()')

for i in con3:

    print(i)

print(u"************ 华丽分割符4 ************")

# 下面使用string方法的输出

data = selector2.xpath('//div[@id="a"]')

# info = data[0].xpath('string(.)').extract()[0]

info = data[0].xpath('string(.)')

con4 = info.replace('\n', '').replace(' ', '')

for i in con4:

    # python 输出结果默认是\n，换行，将结尾替换掉即可实现不换行。

    print(i, end='')

print("\r")

print(u"************ 华丽分割符5 ************")

# ########### example 4 ############

html3 = """

    <div>hello

        <p>H</p>

    </div>

    <div>hehe</div>

"""

selector3 = etree.HTML(html3)

# 使用text()的方法来判别是哪个div标签

con5 = selector3.xpath('//div[text()="hehe"]/text()')

print(con5[0])

print(u"************ 华丽分割符6 ************")

# ########### example 5 ############

html4 = """

    <div id="utv">hello

        <p>H</p>

        <p>J</p>

        <p>I</p>

    </div>

    <div>hehe</div>

"""

selector4 = etree.HTML(html4)

# 在XPath中可以使用多重过滤方法寻找标签，例如ul[3][@id=”a”] 这里使用【3】来寻找第三个ul标签 并且它的id属性值为a

con6 = selector4.xpath('//div/p[position()>=2]/text()')

for i in con6:

    print(i)

print(u"************ 华丽分割符7 ************")

利用python脚本（xpath）抓取数据的更多相关文章

  1. 爬虫学习笔记（1）-- 利用Python从网页抓取数据

    最近想从一个网站上下载资源,懒得一个个的点击下载了,想写一个爬虫把程序全部下载下来,在这里做一个简单的记录 Python的基础语法在这里就不多做叙述了,黑马程序员上有一个基础的视频教学,可以跟着学习一 ...

  2. 如何利用Python网络爬虫抓取微信朋友圈的动态（上）

    今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门.不过不要慌 ...

  3. 利用Python网络爬虫抓取微信好友的签名及其可视化展示

    前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...

  4. 如何利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例

    前几天给大家分享了利用Python网络爬虫抓取微信朋友圈的动态(上)和利用Python网络爬虫爬取微信朋友圈动态——附代码(下),并且对抓取到的数据进行了Python词云和wordart可视化,感兴趣 ...

  5. 利用Python网络爬虫抓取微信好友的所在省位和城市分布及其可视化

    前几天给大家分享了如何利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,感兴趣的小伙伴可以点击链接进行查看.今天小编给大家介绍如何利用Python网络爬虫抓取微信好友的省位和城市,并且将 ...

  6. 利用python scrapy 框架抓取豆瓣小组数据

    因为最近在找房子在豆瓣小组-上海租房上找,发现搜索困难,于是想利用爬虫将数据抓取. 顺便熟悉一下Python. 这边有scrapy 入门教程出处:http://www.cnblogs.com/txw1 ...

  7. Python爬虫处理抓取数据中文乱码问题

    乱码原因:因为你的文件声明为utf-8,并且也应该是用utf-8的编码保存的源文件.但是windows的本地默认编码是cp936,也就是gbk编码,所以在控制台直接打印utf-8的字符串当然是乱码了. ...

  8. 怎么用Python写爬虫抓取网页数据

    机器学习首先面临的一个问题就是准备数据,数据的来源大概有这么几种:公司积累数据,购买,交换,政府机构及企业公开的数据,通过爬虫从网上抓取.本篇介绍怎么写一个爬虫从网上抓取公开的数据. 很多语言都可以写 ...

  9. Python 3.6 抓取微博m站数据

    Python 3.6 抓取微博m站数据 2019.05.01 更新内容 containerid 可以通过 "107603" + user_id 组装得到,无需请求个人信息获取: 优 ...

随机推荐

  1. 【Log】SLF4J简单入门

    SLF4J介绍 SLF4J,即简单日志门面(Simple Logging Facade for Java),不是具体的日志解决方案,它只服务于各种各样的日志系统.按照官方的说法,SLF4J是一个用于日 ...

  2. 【规范】前端编码规范——css 规范

    编码 在 css 首行设置文件编码为 UTF-8. @charset "UTF-8"; class 命名 class 名称应当尽可能短,并且意义明确.使用有意义的名称,使用有组织的 ...

  3. mysql主从复制-方案2

    MySQL主从介绍 (两台机器数据同步) 主:-->binlog 从:-->relaylog 主上有一个log dump线程,用来和从的I/O线程传递binlog 从上有两个线程,其中I/ ...

  4. TCP是如何保证可靠传输的

    TCP 协议如何保证可靠传输   一.综述 1.确认和重传:接收方收到报文就会确认,发送方发送一段时间后没有收到确认就重传. 2.数据校验 3.数据合理分片和排序: UDP:IP数据报大于1500字节 ...

  5. 基于FeignClient提供简单的用户查询服务

    前言: 由于系统升级,之前的员工数据库(mongo库)被弃用,改为用python维护的mysql库,其他系统访问通过http请求,表结构对外不可见,其他系统之前对员工mongo库的依赖要解除.每套系统 ...

  6. Python实现AD域认证

    Python 通过ldap进行ad域账号的校验. 首先需要安装python-ldap的模块 http://www.python-ldap.org/. 在这里用的是windows系统,当然比较容易,下载 ...

  7. 解决：Windows安装Composer及全局配置时提示部分.dll结尾的php扩展文件找不到指定的模板

    当安装Composer或者全局配置时出现.dll扩展文件找不到指定模板,如下图: 解决办法: 打开php.ini,将extension_dir 改为绝对路径即可 例如:

  8. Win系统的快捷键

    用了Macos觉得win系统不好用,其实不然,win也有很多方便的快捷键. win系统的快捷键: super/Alt+Tab键切换应用程序,而不是用鼠标点,切换多任务,super就是win win+D ...

  9. [LeetCode] Flip Game II 翻转游戏之二

    You are playing the following Flip Game with your friend: Given a string that contains only these tw ...

  10. Jquery 获取 radio选中值，select选中值

    随着Jquery的作用越来越大,使用的朋友也越来越多.在Web中,由于CheckBox.Radiobutton .DropDownList等控件使用的频率比较高,就关系到这些控件在Jquery中的操作 ...