今天刚刚接触pyspider,在调试的时候注意匹配数据可以这样写:

<div class="download-wp">         <a data-app-id="28855" data-app-vid="800689740" data-app-name="爱奇艺" data-app-pname="com.qiyi.video" data-app-vcode="81130" data-app-vname="9.7.6" data-app-icon="http://android-artworks.25pp.com/fs08/2018/08/03/6/110_60e3799782d5b646000125fb2c7b3a3c_con_130x130.png" data-app-rtype="0" data-oe="web" data-type="bind" data-feat="binded" data-app-categoryid="5029" data-app-subcategoryid="" data-install="7.9亿" data-like="64.00%" data-name="爱奇艺" data-pn="com.qiyi.video" class="install-btn i-source" rel="nofollow" href="http://www.wandoujia.com/apps/com.qiyi.video/binding?source=web_inner_referral_binded" data-track="detail-download-bind_direct_com.qiyi.video"> 安全下载 </a>  <!--  --></div>

比如我想匹配当中的包名和版本名:

packagename=response.doc('div[class="download-wp"]>a').attr('data-app-pname')

version=response.doc('div[class="download-wp"]>a').attr('data-app-vname')

就是拿到了对应的a标签后,通过.attr('属性名')获取对应的属性名。

匹配安装包大小:

<dl class="infos-list">  <dt>大小</dt><dd> 29.75MB <meta itemprop="fileSize" content="29.75MB"></dd>   <dt>分类</dt><dd class="tag-box">  <a href="http://www.wandoujia.com/category/5029?pos=w/tags/detail_com.qiyi.video" itemprop="SoftwareApplicationCategory" data-track="detail-click-appTag">影音播放</a>    <a href="http://www.wandoujia.com/category/5029_716?pos=w/tags/detail_com.qiyi.video" itemprop="SoftwareApplicationCategory" data-track="detail-click-appTag">视频</a>   </dd>   <dt>TAG</dt><dd><div class="side-tags clearfix">   <div class="tag-box"><a href="http://www.wandoujia.com/tag/4">  益智休闲  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/6">  趣味  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/8">  消除  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/12">  战斗  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/10">  经典  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/18">  动作  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/20">  关卡  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/22">  简单  </a></div>       </div></dd>   <dt>更新</dt><dd><time id="baidu_time" itemprop="datePublished" datetime="2018年08月03日">2018年08月03日</time></dd>  <dt>版本</dt><dd>&nbsp;9.7.6</dd>  <dt>要求</dt><dd class="perms" itemprop="operatingSystems" content="Android">Android 4.0.2 以上  <div><a href="javascript:;" rel="nofollow" class="view-perms" id="j-view-perms">查看权限要求<i class="arrow-down">&nbsp;</i></a><ul id="j-perms-list" class="perms-list" style="display:none">  <li><span class="perms" itemprop="permissions">读取短信或彩信</span></li>  <li><span class="perms" itemprop="permissions">发送短信或彩信</span></li>  </ul></div>  </dd>   <dt>开发者</dt><dd><span class="dev-sites" itemprop="name">北京爱奇艺科技有限公司</span></dd>  </dl>

这样写也可以

size=response.doc('.infos-list > dd>meta[itemprop="fileSize"]').attr.content

但是如果上面匹配包名的时候这样写:

packagename=response.doc('div[class="download-wp"]>a').attr.data-app-pname

就会报错~~

<dl class="infos-list">  <dt>大小</dt><dd> 29.75MB <meta itemprop="fileSize" content="29.75MB"></dd>   <dt>分类</dt><dd class="tag-box">  <a href="http://www.wandoujia.com/category/5029?pos=w/tags/detail_com.qiyi.video" itemprop="SoftwareApplicationCategory" data-track="detail-click-appTag">影音播放</a>    <a href="http://www.wandoujia.com/category/5029_716?pos=w/tags/detail_com.qiyi.video" itemprop="SoftwareApplicationCategory" data-track="detail-click-appTag">视频</a>   </dd>   <dt>TAG</dt><dd><div class="side-tags clearfix">   <div class="tag-box"><a href="http://www.wandoujia.com/tag/4">  益智休闲  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/6">  趣味  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/8">  消除  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/12">  战斗  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/10">  经典  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/18">  动作  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/20">  关卡  </a></div>    <div class="tag-box"><a href="http://www.wandoujia.com/tag/22">  简单  </a></div>       </div></dd>   <dt>更新</dt><dd><time id="baidu_time" itemprop="datePublished" datetime="2018年08月03日">2018年08月03日</time></dd>  <dt>版本</dt><dd>&nbsp;9.7.6</dd>  <dt>要求</dt><dd class="perms" itemprop="operatingSystems" content="Android">Android 4.0.2 以上  <div><a href="javascript:;" rel="nofollow" class="view-perms" id="j-view-perms">查看权限要求<i class="arrow-down">&nbsp;</i></a><ul id="j-perms-list" class="perms-list" style="display:none">  <li><span class="perms" itemprop="permissions">读取短信或彩信</span></li>  <li><span class="perms" itemprop="permissions">发送短信或彩信</span></li>  </ul></div>  </dd>   <dt>开发者</dt><dd><span class="dev-sites" itemprop="name">北京爱奇艺科技有限公司</span></dd>  </dl>

【pyspider】关于匹配html的数据的更多相关文章

  1. pyspider用PyQuery解析页面数据

    示例说明: 本示例主要是PyQuery解析返回的response页面数据.response.doc解析页面数据是pyspider的主要用法,应该熟练掌握基本使用方法.其他返回类型示例见后续文章. py ...

  2. laravel+vue+vuetify 前端匹配不到数据记录 No matching records found

    后端数据:使用guzzle获取api数据,(安装扩展包guzzle) use GuzzleHttp\Client; //获取请求远程产品信息需要的参数public function getParams ...

  3. COLLATE匹配两表数据

    MesOrd.MesNO COLLATE Chinese_Taiwan_Stroke_CI_AS = ErpSO.SoNO

  4. 【转载】使用Pandas进行数据匹配

    使用Pandas进行数据匹配 本文转载自:蓝鲸的网站分析笔记 原文链接:使用Pandas进行数据匹配 目录 merge()介绍 inner模式匹配 lefg模式匹配 right模式匹配 outer模式 ...

  5. Python正则匹配多行,多个数据

    最近用Python做一个crawler工具的时候,发现用一个正则表达式可以匹配到个数据的时候用match.group()只能打印出第一个数据,其它数据不能打印出来.最后找到解决方法,现在记录一下,直接 ...

  6. 转载:【原译】Erlang构建和匹配二进制数据(Efficiency Guide)

    转自:http://www.cnblogs.com/futuredo/archive/2012/10/19/2727204.html Constructing and matching binarie ...

  7. Python-使用Magellan进行数据匹配总结

    参考:http://www.biggorilla.org/zh-hans/walkt/ 使用Magellan进行数据匹配过程如下: 假设有两个数据源为A和B, A共有四列数据:(A_Column1,A ...

  8. 转载:使用Pandas进行数据匹配

    使用Pandas进行数据匹配 本文转载自:蓝鲸的网站分析笔记 原文链接:使用Pandas进行数据匹配 目录 merge()介绍 inner模式匹配 lefg模式匹配 right模式匹配 outer模式 ...

  9. C#简单爬取数据(.NET使用HTML解析器ESoup和正则两种方式匹配数据)

    一.获取数据 想弄一个数据库,由于需要一些人名,所以就去百度一下,然后发现了360图书馆中有很多人名 然后就像去复制一下,发现复制不了,需要登陆 此时f12查看源码是可以复制的,不过就算可以复制想要插 ...

随机推荐

  1. ubuntu14.04 rabbitmq安装与使用 --修改RabbitMQ数据存储位置

    参考:https://blog.csdn.net/tianjiewang/article/details/58383062 说明: ubuntu14.04   rabiitmq 默认 安装路径 /va ...

  2. electron 项目的打包方式,以及 jquery 插件的修改使用

    < 一 > 应用打包 1,首先确定安装了 node 和 npm 2,全局安装打包依赖  => npm i electron-packager -g 3,打包命令 electron-p ...

  3. HTML5 图片宽高自适应,居中裁剪不失真

    一,使用 JS,先上效果图,右图为定死宽高的效果,左图为处理之后的 1, 主要思路是,在图片 onload 后,将图片的宽高比和 div 容器的宽高比进行比较, 2, 从而确定拉伸或者压缩之后是宽还是 ...

  4. PHP5 的五种常用模式

    PHP5 的五种常用模式. 工厂模式 最初在设计模式 一书中,许多设计模式都鼓励使用松散耦合.要理解这个概念,让我们最好谈一下许多开发人员从事大型系统的艰苦历程.在更改一个代码片段时,就会发生问题,系 ...

  5. WPF中TextBox文件拖放问题

    在WPF中,当我们尝试向TextBox中拖放文件,从而获取其路径时,往往无法成功(拖放文字可以成功).造成这种原因关键是WPF的TextBox对拖放事件处理机制的不同,具体可参考这篇文章Textbox ...

  6. JVM jstack 详解

    https://blog.csdn.net/zxp_cpinfo/article/details/54971115 输出到文件 >jstack -l PID >> /root/123 ...

  7. 分布式存储Seaweedfs源码分析

    基于源码版本号 0.67 , [Seaweedfs以前旧版叫Weedfs]. Seaweedfs 是一个非常优秀的由 golang 开发的分布式存储开源项目, 虽然在我刚开始关注的时候它在 githu ...

  8. Spark、Hadoop、Hive相关文章

    1.Spark On Yarn(HDFS HA)详细配置过程 2.Hive安装与配置详解

  9. C++“隐藏实现,开放接口”的实现方案

    为什么要有接口? 接口就是一个程序与其它程序交流的窗口.就比如有一个电视机,我并不需要知道它是怎样工作的,我只要知道按电源键就可以开启电视,按节目加(+)减(-)可以切换电视频道就可以了. Java程 ...

  10. 转:display:flex不兼容Android、Safari低版本的解决方案 【flex布局】

    <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...