以前要采集某个网页，一般做法是写程序源代码爬出来，然后用正则去匹配出来，这种针对指定的网页去爬效果还可以，但是如果是批量的网页这种实现就会变得不现实，在这时候就有readability出手的意义了，readability能迅速将内容爬取出来，其他的有几种库也可以，这里就不比较了但是我觉得这个挺好用的。接着说，用pip 安装好readability模块就可以使用了。代码如下

html = urllib.urlopen("http://www.cnblogs.com/EncryptingLife/p/5156263.html").read()

readable_article = Document(html).summary()

readable_title = Document(html).short_title()

这个时候readable_article就是爬取的内容，按照常例写正则匹配，前面已经说过了这种方式不适合大量的页面，

BeautifulSoup 非常强大可以用来找出对应的东西不需要写正则。官方文档是：

http://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id5

简单的说说里面的几种用法吧。

　　soup =BeautifulSoup(readable_article,"lxml")

１．按照标签来获取

　　eg:

　　　　１．tag = soup.p

　　　　这个会获取p标签的内容　如果直接打印的话会显示为第一个p元素的值

　　　　２．tag = soup.head

　　　　这个获取head里面的内容

２．用css选择器来获取

　　eg:

　　　　1.soup.select(".python")

　　　　　这里会查找所有class为python的元素，ＩＤ直接是soup.select("#python")

　　　　2.

　　　　　　

z=soup.select("p > a")

for a in z:

	print a.get("href")

　　　　　　这个可以把p标签下的a标签全部取出来，然后获取它的url

　　　　３．soup.find_all("p", class_="body strikeout")

3.取文本的可以使用soup.get_text()

　　　　这里会取出里面所有的文本

４．find()　与find_all()

　　eg

　　1.soup.find('head')

　　　　这个会查找head

　　2.soup.find_all('b')

　　　　这个是查找所有的b元素

　　３．传递方法

　　　　也可以是这样的：

　　　　　　def has_class_but_no_id(tag): return tag.has_attr('class') and not tag.has_attr('id')

　　４．也可以用正则

　　　　for tag in soup.find_all(re.compile("^b")):

　　　　　　print(tag.name)

　　５．也可以传递列表这时候会匹配出符合其中一个条件的项相当于或者

　　　　soup.find_all(["a", "b"])

　　　　这个会查找所有a标签与b标签

　　６．还可以有如下几种形式

　　　　soup.find_all(id="link2")

　　　　soup.find_all("p", "title")

　　　　soup.find_all("title")

　　　　soup.find_all(href=re.compile("elsie"))

５．还有几种类似jquery的写法

　　first_link.find_next_siblings("a")

　　last_link = soup.find("a", id="link3")

　　last_link　　# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

　　last_link.find_previous_siblings("a")

　　这时候会查找到符合前面条件的兄弟节点

　　下面这个可以查找父元素

　　

　　title_tag = soup.title

　　title_tag # <title>The Dormouse's story</title>

　　title_tag.parent

　　# <head><title>The Dormouse's story</title></head>

暂时就写到这里

python 之readability与BeautifulSoup的更多相关文章

  1. python学习之——安装Beautifulsoup、requests、lxml

    安装Beautiful soup: 1.下载安装包,解压到python的安装目录: 2.cmd 进入安装包解压后的存放位置: 3.使用命令:python  setup.py build   , pyt ...

  2. Python学习 － 使用BeautifulSoup来解析网页一：基础入门

    写技术博客主要就是总结和交流的,如果文章用错,请指正啊! 以前一直在使用SGMLParser,这个太费时间和精力了,现在为了毕业设计,改用BeautifulSoup来实现HTML页面的解析工作的. 一 ...

  3. Python爬虫：用BeautifulSoup进行NBA数据爬取

    爬虫主要就是要过滤掉网页中没用的信息.抓取网页中实用的信息 一般的爬虫架构为: 在python爬虫之前先要对网页的结构知识有一定的了解.如网页的标签,网页的语言等知识,推荐去W3School: W3s ...

  4. 【Python】 html解析BeautifulSoup

    BeautifulSoup bs是个html解析模块,常用来做爬虫? ■ 安装 BeautifulSoup可以通过pip来安装,用pip install beautifulsoup4 即可.但是仅仅这 ...

  5. Python爬虫基础之BeautifulSoup

    一.BeautifulSoup的基本使用 from bs4 import BeautifulSoup from bs4 import SoupStrainer import re html_doc = ...

  6. Python开发爬虫之BeautifulSoup解析网页篇：爬取安居客网站上北京二手房数据

    目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称.价格.几室几厅.大小.建造年份.联系人.地址.标签等. 网址为:https://beijing.anjuke.com/sale/ B ...

  7. Python HTML解析器BeautifulSoup(爬虫解析器)

    BeautifulSoup简介 我们知道,Python拥有出色的内置HTML解析器模块——HTMLParser,然而还有一个功能更为强大的HTML或XML解析工具——BeautifulSoup(美味的 ...

  8. python爬虫训练——正则表达式+BeautifulSoup爬图片

    这次练习爬 传送门 这贴吧里的美食图片. 如果通过img标签和class属性的话,用BeautifulSoup能很简单的解决,但是这次用一下正则表达式,我这也是参考了该博主的博文:传送门 所有图片的s ...

  9. Python爬虫利器：BeautifulSoup库

    Beautiful Soup parses anything you give it, and does the tree traversal stuff for you. BeautifulSoup ...

随机推荐

  1. 【转】三十分钟掌握STL

    转自http://net.pku.edu.cn/~yhf/UsingSTL.htm 三十分钟掌握STL 这是本小人书.原名是<using stl>,不知道是谁写的.不过我倒觉得很有趣,所以 ...

  2. centos7引导项修复

    每次装了双系统,都会发现原来的windows引导项不见了,这让我这个windows重度依赖者情何以堪,所以,必须要把我挚爱的windows给找回来. 翻看了一些网上的教程,看来这并不是一个困难的问题. ...

  3. CentOS下MySQL数据库安装

    前辈们总是说,要边学边记录,要总结.所以,开始把每天学到的内容一点一点记录. 复杂的理论不懂,只会目前安装,安好后就开始玩咯! 1.在官网下载相应的rpm安装包 下载地址:http://dev.mys ...

  4. css总集

    1 font-style normal 正常显示 italic 斜体 百分比 字体大小 font-size 像素 字体大小 font-family 字体名称 设置字体名称 letter-spacing ...

  5. proc文件系统

    在shell终端里不带任何参数,直接运行mount命令可以显示正在挂载的文件系统.其中有这么一行 none on /proc type proc (rw) 这就是/proc文件系统.第一个域显示non ...

  6. mysql将一张表中多条记录按联系整合成一条

    现有表如下:id time is_login 3 2012-07-03 11:20:20 13 2012-07-03 11:25:20 04 2012-07-03 12:30:20 14 2012-0 ...

  7. 什麼是 mvc

    非常多的Web框架都實踐一個叫做MVC的軟體架構設計模式,將軟體分成三個部分: Model物件包裝了資料與商業邏輯,例如操作資料庫 View表示使用者介面,顯示及編輯表單,可內嵌Ruby程式的HTML ...

  8. nio 弊端

    java-nio在Android上使用的种种弊端 August 12, 2013programming 我们知道,手机上的网络一般会比较慢(使用wifi除外),用户非常不希望自己在使用手机时被考验耐心 ...

  9. Max Sum

    Description Given a sequence a[1],a[2],a[3]......a[n], your job is to calculate the max sum of a sub ...

  10. 伟大的GCD和NSOperationQueue

    一. GCD GCD中最重要的两个东西 任务 和 队列 任务就是一段代码(用来缓存,下载,计算等操作) 队列从大的方面分为两个队列:主队列(串行队列)和 自己创建的队列(串行,和并行) 主队列中: 在 ...