pyquery学习笔记
很早就听说了pyquery的强大。写了个简单的测试程序实验下。
思路是找个动态网页,先用PhantomJS加载,然后用PYQUERY解析。
1、随便找了个带表格的股票网页,里面有大量的股票数据,测试的目的就是抓取表格中的数据。
链接如下
http://quote.eastmoney.com/center/BKList.html#notion_0_0?sortRule=0
2、使用PhantomJS加载。
all_url = "http://quote.eastmoney.com/center/BKList.html#notion_0_0?sortRule=0"
a_driver = webdriver.PhantomJS()
a_driver.get(all_url)
3、使用pyquery分析。之前看有的博主建议在传入pq前先用lxml的etree规整一遍,测试了发现会报错。不如不用。
Traceback (most recent call last):
File "C:/Users/Administrator/PycharmProjects/p3test/pyquery_test.py", line 25, in <module>
doc = pq(etree.fromstring(a_driver.page_source))
File "lxml.etree.pyx", line 3213, in lxml.etree.fromstring (src\lxml\lxml.etree.c:77616)
File "parser.pxi", line 1819, in lxml.etree._parseMemoryDocument (src\lxml\lxml.etree.c:116413)
File "parser.pxi", line 1700, in lxml.etree._parseDoc (src\lxml\lxml.etree.c:114959)
File "parser.pxi", line 1040, in lxml.etree._BaseParser._parseUnicodeDoc (src\lxml\lxml.etree.c:109084)
File "parser.pxi", line 573, in lxml.etree._ParserContext._handleParseResultDoc (src\lxml\lxml.etree.c:103323)
File "parser.pxi", line 683, in lxml.etree._handleParseResult (src\lxml\lxml.etree.c:104977)
File "parser.pxi", line 613, in lxml.etree._raiseParseError (src\lxml\lxml.etree.c:103886)
lxml.etree.XMLSyntaxError: Opening and ending tag mismatch: link line 11 and head, line 17, column 4656
详细代码如下。
all_url = "http://quote.eastmoney.com/center/BKList.html#notion_0_0?sortRule=0" a_driver = webdriver.PhantomJS()
a_driver.get(all_url)
#doc = pq(etree.fromstring(a_driver.page_source))
doc = pq(a_driver.page_source)
print("doc=",doc("tr")) for li in doc("tr").items():
if len(li("td"))>=12:
print("{0}-{1}-{2}-{3}-{4}-{5}".format(li("td").eq(0).text(),
li("td").eq(1).text(),
li("td").eq(2).text(),
li("td").eq(3).text(),
li("td").eq(4).text(),
li("td").eq(5).text(),))
输出结果如下:
1-共享经济-行情 股吧 资金流-1164.83-47.98-4.30%
2-PM2.5-行情 股吧 资金流-2804.73-81.69-3.00%
3-钛白粉-行情 股吧 资金流-1139.54-32.39-2.93%
4-美丽中国-行情 股吧 资金流-2991.04-57.94-1.98%
5-京津冀-行情 股吧 资金流-2866.82-48.62-1.73%
6-北京冬奥-行情 股吧 资金流-1168.58-18.85-1.64%
7-OLED-行情 股吧 资金流-1394.67-22.55-1.64%
8-民营医院-行情 股吧 资金流-1670.81-24.72-1.50%
9-虚拟现实-行情 股吧 资金流-951.37-12.92-1.38%
10-次新股-行情 股吧 资金流-38011.00-499.03-1.33%
11-节能环保-行情 股吧 资金流-13137.08-151.37-1.17%
12-3D玻璃-行情 股吧 资金流-1067.91-11.35-1.07%
13-病毒防治-行情 股吧 资金流-1915.40-19.41-1.02%
14-蓝宝石-行情 股吧 资金流-1981.26-19.67-1.00%
15-体育产业-行情 股吧 资金流-1978.79-19.61-1.00%
16-二胎概念-行情 股吧 资金流-1799.18-17.44-0.98%
17-食品安全-行情 股吧 资金流-3180.84-30.23-0.96%
18-海绵城市-行情 股吧 资金流-1155.37-10.92-0.95%
19-ST概念-行情 股吧 资金流-26773.39-227.49-0.86%
20-创业成份-行情 股吧 资金流-2104.93-17.20-0.82%
21-合同能源-行情 股吧 资金流-1545.17-12.25-0.80%
22-网红直播-行情 股吧 资金流-855.33-6.28-0.74%
23-AB股-行情 股吧 资金流-10146.54-74.23-0.74%
24-雄安新区-行情 股吧 资金流-1425.79-9.86-0.70%
25-车联网-行情 股吧 资金流-1014.41-7.06-0.70%
26-滨海新区-行情 股吧 资金流-11399.25-72.70-0.64%
27-国产芯片-行情 股吧 资金流-992.71-6.22-0.63%
28-王亚伟系-行情 股吧 资金流-2568.52-14.95-0.59%
29-石墨烯-行情 股吧 资金流-2490.11-13.95-0.56%
30-燃料电池-行情 股吧 资金流-2121.03-11.85-0.56%
31-金融机具-行情 股吧 资金流-1768.72-9.12-0.52%
32-人工智能-行情 股吧 资金流-970.58-4.95-0.51%
33-独家药品-行情 股吧 资金流-1684.69-8.34-0.50%
34-免疫治疗-行情 股吧 资金流-1309.56-6.32-0.49%
pyquery学习笔记的更多相关文章
- js学习笔记:webpack基础入门(一)
之前听说过webpack,今天想正式的接触一下,先跟着webpack的官方用户指南走: 在这里有: 如何安装webpack 如何使用webpack 如何使用loader 如何使用webpack的开发者 ...
- PHP-自定义模板-学习笔记
1. 开始 这几天,看了李炎恢老师的<PHP第二季度视频>中的“章节7:创建TPL自定义模板”,做一个学习笔记,通过绘制架构图.UML类图和思维导图,来对加深理解. 2. 整体架构图 ...
- PHP-会员登录与注册例子解析-学习笔记
1.开始 最近开始学习李炎恢老师的<PHP第二季度视频>中的“章节5:使用OOP注册会员”,做一个学习笔记,通过绘制基本页面流程和UML类图,来对加深理解. 2.基本页面流程 3.通过UM ...
- 2014年暑假c#学习笔记目录
2014年暑假c#学习笔记 一.C#编程基础 1. c#编程基础之枚举 2. c#编程基础之函数可变参数 3. c#编程基础之字符串基础 4. c#编程基础之字符串函数 5.c#编程基础之ref.ou ...
- JAVA GUI编程学习笔记目录
2014年暑假JAVA GUI编程学习笔记目录 1.JAVA之GUI编程概述 2.JAVA之GUI编程布局 3.JAVA之GUI编程Frame窗口 4.JAVA之GUI编程事件监听机制 5.JAVA之 ...
- seaJs学习笔记2 – seaJs组建库的使用
原文地址:seaJs学习笔记2 – seaJs组建库的使用 我觉得学习新东西并不是会使用它就够了的,会使用仅仅代表你看懂了,理解了,二不代表你深入了,彻悟了它的精髓. 所以不断的学习将是源源不断. 最 ...
- CSS学习笔记
CSS学习笔记 2016年12月15日整理 CSS基础 Chapter1 在console输入escape("宋体") ENTER 就会出现unicode编码 显示"%u ...
- HTML学习笔记
HTML学习笔记 2016年12月15日整理 Chapter1 URL(scheme://host.domain:port/path/filename) scheme: 定义因特网服务的类型,常见的为 ...
- DirectX Graphics Infrastructure(DXGI):最佳范例 学习笔记
今天要学习的这篇文章写的算是比较早的了,大概在DX11时代就写好了,当时龙书11版看得很潦草,并没有注意这篇文章,现在看12,觉得是跳不过去的一篇文章,地址如下: https://msdn.micro ...
随机推荐
- Service Intent must be explicit的解决方法
今天遇到如标题问题,查阅资料:http://blog.android-develop.com/2014/10/android-l-api-21-javalangillegalargumen.html ...
- vim配置高亮显示
经常使用SecureCRT在linux下修改一些配置文件,使用vi打开总是一个颜色,找起来比较头大. 因为vi不支持高亮,所以需要使用vim. 安装vim:yum install -y vim(ubu ...
- Razor:从aspx到cshtml常见错误及正确书写方法
http://blog.csdn.net/cheny_com/article/details/6298496 从aspx转到chshtml还是有很多要适应的地方的,本帖是个人学习笔记帖不断更新.每天开 ...
- UML类图与类间六种关系表示
UML类图与类间六种关系表示 1.类与类图 类封装了数据和行为,是面向对象的重要组成部分,它是具有相同属性,操作,关系的对象集合的总称. 类图是使用频率最高的UML图之一. 类图用于描述系统中所包含的 ...
- 七、java数组
目录 一.一维数组 声明方式 数组对象的创建 元素为引用数据类型的数组 数组初始化 数组元素默认初始化 数组元素的引用 二.二维数组 概念 初始化 二维数组举例 三.数组的拷贝 四.练习 数组可以堪称 ...
- Docker入门与应用系列(三)容器管理
一.启动容器 启动容器有两种方式,一种是基于镜像新建一个容器并启动,另一个是将终止状态的容器重新启动. 1.1 新建并启动 主要命令为 docker run 下面的命令输出一个”Hello,world ...
- 我的Pycharm,我做主
之间花了一周多的时间把Pycharm官方帮助文档翻译了一遍,一共43篇博客,累得要屎,感悟颇多. 发牢骚之前先总结点干货,这里把所有的翻译文档列成如下目录,方便大家索引: 最全Pycharm教程(1) ...
- hbase系列之:独立模式部署hbase
一.概述 在上一篇博文中,我简要介绍了hbase的部分基础概念,如果想初步了解hbase的理论,可以参看上一篇博文 hbase系列之:初识hbase .本博文主要介绍独立模式下部署hbase及hbas ...
- Django 2.0.1 官方文档翻译: 快速安装向导 (Page5)
快速安装向导 (Page 5) 在你使用 Django 前,你需要先安装它.我们有一个完整的安装向导,它包含所有涉及的内容,这个向导会指导你进行一个简单的.最小化的安装,当你通过浏览介绍内容的时候,这 ...
- idea插件安装的通用操作
序:今天下午看到一个bug,很神奇,粘出来大家看看 看到这个异常栈,有经验的或者查到的答案都是mapper.xml中哪个的方法配置错了,应替换parameterMap为parameterType, 奇 ...