xpath工具（解析）

xpath
- 在XML文档中查找信息的语言,同样适用于HTML文档的检索
xpath辅助工具
- Chrome插件：XPath Helper
  - 打开：Ctrl + Shift + X
  - 关闭：Ctrl + Shift + X
- Firefox插件：XPath checker
- XPath表达式编辑工具：XML quire

xpath匹配规则

匹配演示
1. 查找bookstore下所有节点：/bookstore
2. 查找所有的book节点：//book
3. 查找所有book下的title节点中,lang属性为"en"的节点
  - //book/title[@lang="en"]
4. 查找bookstore下的第2个book节点下的title节点:
  - /bookstore/book[2]/title/text()
选取节点
- / ：从根节点开始选取
- //：从整个文档中查找节点
  - //price 、 /bookstore/book//price
- @ ：选取某个节点的属性
  - //title[@lang="en"]
@的使用
- 选取1个节点：//title[@lang="en"]
- 选取N个节点：//title[@lang]
- 选取节点的属性值：//title/@lang
  - <a class=....,src="http://..."
匹配多路径
- 符号：|
- 获取所有book节点下的 title节点和price节点
  - //book/title | //book/price
函数
- contains()：匹配一个属性值中包含某些字符串的节点
  - //title[contains(@lang,"e")]
- text()
  - //title[contains(@lang,"e")]/text()

lxml库及xpath使用

lxml库：HTML/XML解析库

安装
- python -m pip install lxml
- conda install lxml
使用流程
1. 导模块
  - from lxml import etree
2. 利用lxml库的etree模块创建解析对象
  - parseHtml = etree.HTML(html)
3. 解析对象调用xpath工具定位节点信息
  - r_list = parseHtml.xpath('xpath表达式')

只要调用了xpath,结果一定是列表

4. 如何获取节点对象的内容

- 节点对象.text

from lxml import etree

html = """<div class="wrapper">

	<i class="iconfont icon-back" id="back"></i>

	<a href="/" id="channel">新浪社会</a>

	<ul id="nav">

		<li><a href="http://domestic.firefox.sina.com/" title="国内">国内</a></li>

		<li><a href="http://world.firefox.sina.com/" title="国际">国际</a></li>

		<li><a href="http://mil.firefox.sina.com/" title="军事">军事</a></li>

		<li><a href="http://photo.firefox.sina.com/" title="图片">图片</a></li>

		<li><a href="http://society.firefox.sina.com/" title="社会">社会</a></li>

		<li><a href="http://ent.firefox.sina.com/" title="娱乐">娱乐</a></li>

		<li><a href="http://tech.firefox.sina.com/" title="科技">科技</a></li>

		<li><a href="http://sports.firefox.sina.com/" title="体育">体育</a></li>

		<li><a href="http://finance.firefox.sina.com/" title="财经">财经</a></li>

		<li><a href="http://auto.firefox.sina.com/" title="汽车">汽车</a></li>

	</ul>

	<i class="iconfont icon-liebiao" id="menu"></i>

</div>"""

# 构造解析对象

parseHtml = etree.HTML(html)

# 利用解析对象调用xpath匹配

r1 = parseHtml.xpath('//a/@href')

#print(r1)

# 获取 /

r2 = parseHtml.xpath('//a[@id="channel"]/@href')

#print(r2)

# 获取非 /

r3 = parseHtml.xpath('//ul[@id="nav"]//a/@href')

#print(r3)

# 获取所有 a 节点的文本内容

r4 = parseHtml.xpath('//a/text()')

#print(r4)

# 获取 图片、军事 ...

r5 = parseHtml.xpath('//ul[@id="nav"]//a')

for i in r5:

    print(i.text)

案例1 ：抓取百度贴吧帖子里面所有的图片

目标：抓取指定贴吧所有图片
思路：
- 获取贴吧主页URL,下一页：找URL规律
- 获取1页中每个帖子的URL
- 对每个帖子URL发请求,获取帖子里图片URL
- 对图片URL发请求,以wb方式写入本地文件
步骤
1. 获取贴吧主页URL
  - http://tieba.baidu.com/f? + 查询参数
2. 找到页面中所有帖子的URL
  - src : 完整链接
  - href : 和主URL进行拼接
    - /p/5926064184
    - http://tieba.baidu.com/p/5926064184
  - xpath匹配链接：
    - 写法1：//div[@class="col2_right j_threadlist_li_right"]/div/div/a/@href
    - 写法2(推荐)：//div[@class="t_con cleafix"]/div/div/div/a/@href
3. 找每个帖子中图片URL
  - Xpath匹配：//img[@class="BDE_Image"]/@src
4. 代码实现

'''百度贴吧图片抓取'''

import requests

from lxml import etree

class TiebaImageSpider:

    def __init__(self):

        self.headers = {"User-Agent": "Mozilla/5.0"}

        self.baseurl = 'https://tieba.baidu.com'

        self.pageurl = 'https://tieba.baidu.com/f?'

    # 获取所有帖子URL列表

    def get_page_url(self, params):

        res = requests.get(self.pageurl, params=params, headers=self.headers)

        res.encoding = 'utf-8'

        print(res.url)

        html = res.text

        parse_html = etree.HTML(html)

        t_list = parse_html.xpath('//div[contains(@class,"t_con")]/div/div/div/a/@href')

        print(t_list)

        for t_link in t_list:

            t_link = self.baseurl + t_link

            self.get_image_url(t_link)

    # 获取帖子中图片URL列表

    def get_image_url(self, t_link):

        res = requests.get(t_link, headers=self.headers)

        res.encoding = 'utf-8'

        html = res.text

        parse_html = etree.HTML(html)

        img_list = parse_html.xpath('//img[@class="BDE_Image"]/@src')

        for img_link in img_list:

            self.write_image(img_link)

    # 保存到本地

    def write_image(self, img_link):

        res = requests.get(img_link, headers=self.headers)

        res.encoding = 'utf-8'

        html = res.content

        filename = img_link[-12:]

        with open(filename, 'wb') as f:

            f.write(html)

            print("%s下载成功" % filename)

    # 主函数

    def main(self):

        name = input("请输入贴吧名字：")

        begin = int(input("请输入起始页："))

        end = int(input("请输入中止页："))

        for n in range(begin, end + 1):

            pn = (n - 1) * 50

            params = {'kw': name,

                      'pn': str(pn)}

            self.get_page_url(params)

# s = '//div[@class="t_con cleafix"]/div/div/div/a/@href'

# s = '//*[@id="thread_list"]/li/div/div[2]/div[1]/div[1]/a/@href'

# s2 = '//cc/div/img[@class="BDE_Image"]/@src'

if __name__ == '__main__':

    spider = TiebaImageSpider()

    spider.main()

案例2：糗事百科-xpath

目标：用户昵称、段子内容、好笑数、评论数
步骤
- 找URL
  - https://www.qiushibaike.com/8hr/page/1/
- xpath匹配
  - 基准xpath：//li[contains(@id,"qiushi")]
    - 标题内容：``
    - 用户昵称：.//span[@class="recmd-name"]
    - 好笑数量：./div/div/div/span[1]
    - 评论数量：./div/div/div/span[4]

import requests

from lxml import etree

import pymongo

class QiuShiSpider:

    def __init__(self):

        self.url = "https://www.qiushibaike.com/"

        self.headers = {"User-Agent": "Mozilla/5.0"}

        self.conn = pymongo.MongoClient("localhost", 27017)

        self.db = self.conn.spiderdb

        self.set = self.db.qiushi

    def get_page(self):

        res = requests.get(self.url, headers=self.headers)

        res.encoding = 'utf-8'

        html = res.text

        self.parse_page(html)

    def parse_page(self, html):

        parse_html = etree.HTML(html)

        # 匹配每个段子列表

        base_list = parse_html.xpath('//li[contains(@id,"qiushi")]')

        # 遍历每个段子的借点对象

        for base in base_list:

            # 标题

            title = base.xpath('./div/a')[0].text

            # 用户昵称

            username = base.xpath('.//span[@class="recmd-name"]')[0].text

            # 好笑数量

            try:

                laugh_num = base.xpath('./div/div/div/span[1]')[0].text

                # 或：laugh_num = base.xpath('./div/div/div/span')[0].text

            except IndexError:

                laugh_num = 0

            # 评论数量

            try:

                com_num = base.xpath('./div/div/div/span[4]')[0].text

                # com_num = base.xpath('./div/div/div/span')[3].text

            except IndexError:

                com_num = 0

            d = {

                "title": title,

                "username": username,

                "laugh_num": laugh_num,

                "com_num": com_num

            }

            self.set.insert(d)

            print("存入数据库成功！")

if __name__ == "__main__":

    spider = QiuShiSpider()

    spider.get_page()

Spider_lxml的更多相关文章

随机推荐

在Fedora18上配置个人的Hadoop开发环境
在Fedora18上配置个人的Hadoop开发环境 1. 背景文章中讲述了类似于"personalcondor"的一种"personal hadoop" ...
HDU 4572 Bottles Arrangement
具体的证明:点击打开链接我的想法: 要想保证题目所说构造最小行的和,仅仅能是这样的情况 ..... m-3 m-2 m-1 m | m m-1 m-2 m-3 ...
idea里新建maven项目时，在new module页面，一直显示loading archetype list...
不知道什么时候开始,在idea里新建maven项目时,在new module页面,一直显示loading archetype list....,导致一直没办法新建.后来我以为是防火墙问题,各种设置还是 ...
19.volatile
volatile 编译器会自动优化,而volatile起到的作用是禁止优化,每次读内存
Android使用token维持登陆状态的方法
什么是token token(令牌)是一串唯一的字符串,通常由服务端生成,在注册完成时返回给客户端,用来标识此用户,客户端将此字符串存储在本地.在以后的网络请求时,客户端先查询本地的token,如果有 ...
MD markdown入门
1.Headings: 2.Phrase emphasis *italic text* **Bold text** 3.Listing items (在文字之前添加 + , - 或者 * ) -ite ...
tensorflow学习之路----保存和提取数据
#保存数据注意他只能保存变量,不能保存神经网络的框架.#保存数据的作用:保存权重有利于下一次的训练,或者可以用这个数据进行识别#np.arange():arange函数用于创建等差数组,使用频率非常高 ...
数据库范式小结 1NF 2NF BCNF 3NF 4NF DB normal form
1. 1NF指关系中的每个变量不可再分 2. 2NF指消除了非主属性对码(candidate key)的部分依赖的1NF 比如(S#,C#)-> SN ,(S#,C#)-> SD .S#- ...
tcp_tw_recycle检查tcp_timestamps的内核代码
注意:本文档中的内核代码的版本号:linux-4.0.5 /************************************************* * Author : Samson * ...
Swift Standard Library Reference.pdf
Swift Standard Library Reference.pdf 下载地址 http://download.csdn.net/detail/swifttrain/7446331 自己的Mark ...

Spider_lxml

xpath工具（解析）

xpath匹配规则

lxml库及xpath使用

lxml库 ：HTML/XML解析库

案例1 ：抓取百度贴吧帖子里面所有的图片

案例2：糗事百科-xpath

Spider_lxml的更多相关文章

随机推荐

热门专题

lxml库：HTML/XML解析库