HTML的三大概念：标签、元素以及属性

标签：尖括号中的文本       例：<head>……</head> 标签通常成对出现

元素：标签中的所有内容        元素中可包含元素

属性：标签的特殊标注等     例：<a href="http:\\www.baidu.com">……</a>  其中，href部分称为属性

使用XPath选择HTML元素

使用‘/’+标签名定位

例： /html/body        将定位到body部分

当某便签下出现多个同标签元素时，使用类似数组的方式定位到最准确的位置

切记：此处下标从1开始，而不是编程中常见的从0开始

例：/html/body/div/p[1]         返回相应位置的第一个p元素

/html/body/div/p             返回相应位置的所有p元素

对于大型文档，精确定位往往需要一个非常大的XPath表达式，为避免这种问题，我们可以使用‘//’语法

例：//p         将会选择HTML中所有的p元素

　　//a         将会选择HTML中所有的链接

同时，//语法可用于层次结构中

例：//div//a       得到div元素下所有链接

　　//div/a        得到div元素直接下级的所有链接

注意：元素下与元素直接下级的区别

此外，可通过符号@来直接定位标签属性

例：//a/@href          得到所有链接中的href属性

使用text()函数，只选取文本

例：//a/text()           得到所有链接中的文本信息

使用符号*选择指定层级的所有元素

//*[@itemprop="name"]           得到包含itemprop="name"的所有元素

选择包含某个特定属性或特定属性值的标签时使用如下结构

例：//a[@href]      得到包含href属性的所有链接

　　//a[@href="http://www.baidu.com"]      得到href值为“http://www.baidu.com”的所有链接

此外，还可以使用以特定子字符起始或包含的能力

例：//a[starts-with(@href, "http://")]           得到href属性以http://为起始的所有链接

　　//a[contains(@href, "baidu")]              得到href属性包含baidu的所有链接

　　//a[not (contains(@href, "baidu"))]     得到所有href属性不包含baidu的链接

更多类似函数，参照http://www.w3schools.com/xsl/xsl_functions.asp

在使用XPath时，应尽量

　　避免使用数组索引；

　　避免使用与数据关系不密切的类名；

　　使用面向数据的类名；

　　ID通常都比较可靠（例外情况：以编程方式生成的包含唯一标记的ID     如“order-F5568”；此外，还需注意部分HTML中ID不唯一的情况）

python应用：爬虫框架Scrapy系统学习第一篇——xpath详解的更多相关文章

  1. python应用：爬虫框架Scrapy系统学习第二篇——windows下安装scrapy

    windows下安装scrapy 依次执行下列操作: pip install wheel pip install lxml pip install PyOpenssl 安装Microsoft visu ...

  2. python应用：爬虫框架Scrapy系统学习第四篇——scrapy爬取笔趣阁小说

    使用cmd创建一个scrapy项目: scrapy startproject project_name (project_name 必须以字母开头,只能包含字母.数字以及下划线<undersco ...

  3. python应用：爬虫框架Scrapy系统学习第三篇——初识scrapy

    scrapy的最通用的爬虫流程:UR2IM U:URL R2:Request 以及 Response I:Item M:More URL 在scrapy shell中打开服务器一个网页 cmd中执行: ...

  4. 《精通Python爬虫框架Scrapy》学习资料

    <精通Python爬虫框架Scrapy>学习资料 百度网盘:https://pan.baidu.com/s/1ACOYulLLpp9J7Q7src2rVA

  5. 学会Git玩转GitHub(第一篇) 入门详解 - 精简归纳

    学会Git玩转GitHub(第一篇) 入门详解 - 精简归纳 JERRY_Z. ~ 2020 / 9 / 25 转载请注明出处!️ 目录 学会Git玩转GitHub(第一篇) 入门详解 - 精简归纳 ...

  6. python 网络爬虫框架scrapy使用说明

    1 创建项目scrapy startproject tutorial 2 定义Itemimport scrapyclass DmozItem(scrapy.Item):    title = scra ...

  7. python网络爬虫（7）爬取静态数据详解

    目的 爬取http://seputu.com/数据并存储csv文件 导入库 lxml用于解析解析网页HTML等源码,提取数据.一些参考:https://www.cnblogs.com/zhangxin ...

  8. 系统学习前端之FormData详解

    FormData 1. 概述 FormData类型其实是在XMLHttpRequest 2级定义的,它是为序列化表以及创建与表单格式相同的数据(当然是用于XHR传输)提供便利. 2. 构造函数 创建一 ...

  9. Flask第一篇——URL详解

    原创 2018-02-14 孟船长 自动化测试实战 URL是Uniform Resource Locator的缩写,即统一资源定位符. 一个URL通常由一下几个部分组成: scheme://host: ...

随机推荐

  1. HDFS元数据管理机制

    元数据管理概述 HDFS元数据,按类型分,主要包括以下几个部分: 1.文件.目录自身的属性信息,例如文件名,目录名,修改信息等. 2.文件记录的信息的存储相关的信息,例如存储块信息,分块情况,副本个数 ...

  2. 一个老IT产品管理者对于产品经理工作的经验总结

    一个老IT产品管理者对于产品经理工作的经验总结 1. 任何行业,包括IT行业,所谓产品管理.产品经理,其核心应该是企业产品管理制度,也就是说,只有企业存在相应的.合理的产品管理体系和制度,产品管理.产 ...

  3. February 7 2017 Week 6 Tuesday

    It does not do to dwell on dreams, and forget to live. 人不能只生活在梦里,只依靠虚幻的东西而忘记了生活. Don't forget to liv ...

  4. ZT sem_init sem_wait sem_post sem_destroy

    sem_init() 2009-06-26 16:43:11|  分类: linux |字号 订阅       信号量的数据类型为结构sem_t,它本质上是一个长整型的数.函数sem_init()用来 ...

  5. C语言编译器，写给萌新们看看。

    就我已经经历过的大学课程,仿佛每一门计算机的专业课程的开头,都是在介绍计算机发展的历史,和大名鼎鼎的冯诺依曼结构. 譬如C语言,比较水的计算机导论,c++,数据结构,计算机组成原理,甚至是Linux实 ...

  6. sublime text html5开发学习 插件篇记录

    1.第一步先按照 Package Control,具体步骤自行百度,Google. 2. view in browser 默认的快捷键应该是这样的,我用的是IE浏览器.所以ctrl+alt+i 即可让 ...

  7. hdu-1695 GCD---容斥定理

    题目链接: http://acm.hdu.edu.cn/showproblem.php?pid=1695 题目大意: 求解区间[1, n]和[1, m]中有多少对不同的x和y使得gcd(x, y) = ...

  8. 关于Hibernate懒加载问题的最终解决方案

    看到一篇Hibernate懒加载的文章,所以转载,原地址如下: http://tuoxie007.iteye.com/blog/334853 Hibernate的强大之处之一是懒加载功能,可以有效的降 ...

  9. VGG使用重复元素的网络

    由5个卷积层块(2个单卷积层,3个双卷积层),3个全连接层组成——VGG-11 from mxnet import gluon,init,nd,autograd from mxnet.gluon im ...

  10. PHP----预定义数组

    预定义数组    超全局数组 <?php  /* 预定义数组:  * 自动全局变量---超全局数组  *  * 1.包含了来自WEB服务器,客户端,运行环境和用户输入的数据  * 2.这些数组比 ...