PyQuery是解析页面常用的库.是python对jquery的封装.
下面是一份解析基本页面的代码.后期用到复杂或者实用的方式再增加.

 from pyquery import PyQuery as pq

 # 参数为字符串的情况

 html_str = "<html></html>"

 # 参数为网页链接（需带 http：//）

 your_url = "http://www.baidu.com"

 # 参数为文件

 path_to_html_file = "hello123.html"

 # 将参数传入pq库之后得到html页面

 # d = pq(html_str)

 # d = pq(etree.fromstring(html_str))

 # d = pq(url=your_url)

 # d = pq(url=your_url,

 #        opener=lambda url, **kw: urlopen(url).read())

 d = pq(filename=path_to_html_file)

 # 此时的'd'相当于Jquery的'$',选择器,可以通过标签,id,class等选择元素

 # 通过id选择

 table = d("#my_table")

 # 通过标签选择

 head = d("head")

 # 通过样式选择,多个样式写一起,使用逗号隔开即可

 p = d(".p_font")

 # 获取标签内的文本

 text = p.text()

 print text

 # 获取标签的属性值

 t_class = table.attr('class')

 print t_class

 # 遍历标签内的选项

 # 打印表格中的td中的文字

 for item in table.items():

     # 这个循环只循环一次,item仍然是pquery的对象

     print item.text()

 for item in table('td'):

     # 这个循环循环多次,item是html的对象

     print item.text

用于测试的html代码:

 1 
 2     <head>
 3         <title>Test</title>

     </head>

     <body>

         <h1>Parse me!</h1>

         <img src = "" />

         <p>A paragraph.</p>

                 <p class = "p_font">A paragraph with class.</p>

                 <!-- comment -->

         <div>

             <p>A paragraph in div.</p>

         </div>

         <table id = "my_table" class = "test-table">

         <thead>

         </thead>

         <tbody>

             <tr>

                 <td>Month</td>

                 <td>Savings</td>

             </tr>

             <tr>

                 <td>January</td>

                 <td>$100</td>

             </tr>

         </tbody>

         </table>

     </body>

 </html>

分析html的结果输出如下:

A paragraph with class.
test-table
Month Savings January $100
Month
Savings
January
$100

由于使用python2,有的网页使用requests直接抓取下来放入pyquery()里面会出编码问题,这时使用unicode()转换一下即可.部分代码如下:

import requests

from pyquery import PyQuery as pq

r = requests.get('http://www.baidu.com')

# d = pq(r.content)

u = unicode(r.content, 'utf-8')

d = pq(u)

Python爬虫常用之PyQuery的更多相关文章

  1. Python爬虫常用小技巧之设置代理IP

    设置代理IP的原因 我们在使用Python爬虫爬取一个网站时,通常会频繁访问该网站.假如一个网站它会检测某一段时间某个IP的访问次数,如果访问次数过多,它会禁止你的访问.所以你可以设置一些代理服务器来 ...

  2. 爬虫-Python爬虫常用库

    一.常用库 1.requests 做请求的时候用到. requests.get("url") 2.selenium 自动化会用到. 3.lxml 4.beautifulsoup 5 ...

  3. python爬虫常用第三方库

    这个列表包含与网页抓取和数据处理的Python库 网络 通用 urllib -网络库(stdlib). requests -网络库. grab – 网络库(基于pycurl). pycurl – 网络 ...

  4. 芝麻HTTP： Python爬虫利器之PyQuery的用法

    前言 你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有 ...

  5. Python 爬虫常用的库

    一.常用库 1.requests 做请求的时候用到. requests.get("url") 2.selenium 自动化会用到. 3.lxml 4.beautifulsoup 5 ...

  6. 【Python爬虫】安装 pyQuery 遇到的坑 Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed?

    windows 64位操作系统下,用 Python 抓取网页,并用 pyQuery 解析网页 pyQuery是jQuery在python中的实现,能够以jQuery的语法来操作解析HTML文档,十分方 ...

  7. Python爬虫常用之HtmlParser

    HtmlParser,顾名思义,是解析Html的一个工具.python自带的. 一.常用属性和方法介绍 HtmlParser是一个类,在使用时一般继承它然后重载它的方法,来达到解析出需要的数据的目的. ...

  8. Python爬虫常用库安装

    建议更换pip源到国内镜像,下载会快很多:https://www.cnblogs.com/believepd/p/10499844.html requests pip3 install request ...

  9. python爬虫常用库和安装 -- windows7环境

    1:urllib  python自带 2:re      python自带 3:requests     pip install requests 4:selenium      需要依赖chrome ...

随机推荐

  1. Flask框架 之 学生管理分析

    先看模板吧. index.html <body> <h1>学生列表</h1> <table border="1"> <thea ...

  2. Entity Framework 6.0 Tutorials（10）：Index Attribute

    Index Attribute: Entity Framework 6 provides Index attribute to create Index on a particular column ...

  3. Java设计模式(1)——简单工厂模式

    简单工厂模式属于类的创建型模式,又叫做静态工厂方法模式.通过专门定义一个类来负责创建其他类的实例,被创建的实例通常都具有共同的父类. 一.模式中包含的角色及其职责 1.工厂(Creator)角色 简单 ...

  4. Instruments Tutorial for iOS: How To Debug Memory Leaks【转】

    If you're new here, you may want to subscribe to my RSS feed or follow me on Twitter. Thanks for vis ...

  5. Windows下配置Visualsvn Server时需要注意的几点事项

    1配置用户组与用户 用户组的权限高于用户的权限, 如果一个用户只有只读权限,同时被加入了拥有写权限的用户组中,此用户可以执行写操作. 2在Pre-commit hook下增加 强制添加注释的钩子脚本 ...

  6. android获取USB设备的名称

    1.注释内 .是三星设备可能不支持,需要更换的代码. 2.mUsbManager.是getSystemService(Context.USB_SERVICE)获的. 3. 从stackoverflow ...

  7. .Net Core 项目引用本地类库方式（二）

    上篇文章有详细的介绍.Net Core 项目中引用本地类库通过打包,然后Nugety引用方式,这里再介绍一种引用包的方式

  8. Google Earth 8.0

    前几天有看到全新的Google Earth 8.0升级,刚好适合自己的手机应用.Google Earth 8.0 官方下载:https://play.google.com/store/apps/det ...

  9. vue生态圈

    本文来自网易云社区 作者:刘凌阳 前言 公司社区上关于Vue的文章挺少的(少的可怜),不禁为Vue愤愤不平,此文应运而生. 但笔者水平有限,也写不了什么特别高深的东西,只能简单介绍下Vue生态圈,如有 ...

  10. [转载] C++ namespaces 使用

    原地址:http://blog.sina.com.cn/s/blog_986c99d601010hiv.html 命名空间(namespace)是一种描述逻辑分组的机制,可以将按某些标准在逻辑上属于同 ...